JP2008185506A - Apparatus and method for navigation, and automobile - Google Patents
Apparatus and method for navigation, and automobile Download PDFInfo
- Publication number
- JP2008185506A JP2008185506A JP2007020563A JP2007020563A JP2008185506A JP 2008185506 A JP2008185506 A JP 2008185506A JP 2007020563 A JP2007020563 A JP 2007020563A JP 2007020563 A JP2007020563 A JP 2007020563A JP 2008185506 A JP2008185506 A JP 2008185506A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- information
- calculating
- image
- navigation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、ナビゲーション装置、ナビゲーション方法、および、自動車に関する。 The present invention relates to a navigation device, a navigation method, and an automobile.
近年、自動車のナビゲーション装置の普及は著しいものであり、モニタに映し出されるコンピュータグラフィックス（ＣＧ）の描写能力や案内時に提供される各種情報の充実振りを各社で競うかたちとなっている。このように、多機能・高性能型の追求では、ナビゲーション装置の価格高騰は避けられないものとなっている。 In recent years, navigation devices for automobiles have been widely used, and companies have competed in drawing ability of computer graphics (CG) displayed on a monitor and various information provided during guidance. In this way, in the pursuit of multi-function and high-performance type, the price of navigation devices is inevitable.
その一方で、２００５年あたりから、欧州を中心にパーソナルナビゲーションデバイス（以下、ＰＮＤという）の需要が急速に高まっている。世界のカーナビ市場が急成長する原動力ともいわれ、その理由のひとつとして、通常のナビゲーション装置に比べて低価格な設定を挙げることができる。 On the other hand, since around 2005, demand for personal navigation devices (hereinafter referred to as PND) has been rapidly increasing mainly in Europe. It is also said that the global car navigation market is a driving force for rapid growth, and one of the reasons is that it is cheaper than ordinary navigation devices.
現在のＰＮＤは、グローバルポジショニングシステム（以下、ＧＰＳという）で現在位置を確認してナビゲーションを行うものであり、通常のナビゲーション装置のように車速パルスは不要となる。もちろん、トンネル内やビルの陰のようにＧＰＳが利用できない区間では、使用できないという問題も持ち合わせている。 The current PND performs navigation by confirming the current position with a global positioning system (hereinafter referred to as GPS), and no vehicle speed pulse is required unlike a normal navigation device. Of course, there is a problem that it cannot be used in sections where GPS is not available, such as in tunnels or behind buildings.
このように、ＰＮＤはＧＰＳに依存した簡易型ナビゲーション装置ではあるが、非接触慣性航法装置（加速度センサとジャイロセンサとの組み合わせ）を用いれば、トンネル内でも移動距離や移動方向を入手できるので上記の問題を解決することができる。 Thus, although the PND is a simple navigation device that relies on GPS, if a non-contact inertial navigation device (a combination of an acceleration sensor and a gyro sensor) is used, the moving distance and moving direction can be obtained even in a tunnel. Can solve the problem.
ＧＰＳと非接触慣性航法装置とを組み合わせたとしても、相対位置を取得する非接触慣性航法装置はＧＰＳの補完的な役割を担うに過ぎないことから、ＧＰＳからつぎの絶対位置を取得するまでの区間で計測誤差を解消する必要がある。この解消を怠ると、計測誤差が累積して真位置とのずれは拡がるばかりとなり、ナビゲーションとして求められる許容範囲を逸脱する虞がある。そこで、近年、相対位置検出における方位あるいは加速度に対して補正を行うことで、累積誤差の影響を可及的に抑制する提案がなされている（特許文献１）。 Even if GPS and a non-contact inertial navigation device are combined, the non-contact inertial navigation device that acquires the relative position only plays a complementary role of GPS, so it is necessary to acquire the next absolute position from the GPS. It is necessary to eliminate the measurement error in the section. If this solution is neglected, the measurement error will accumulate and the deviation from the true position will only widen, possibly deviating from the allowable range required for navigation. Therefore, in recent years, a proposal has been made to suppress the influence of the accumulated error as much as possible by correcting the azimuth or acceleration in the relative position detection (Patent Document 1).
近年、自動車に取り付けたカメラを用いて、撮影時間に時間差のある画像を比較し、その差から物体の移動状態を検出するオプティカルフロー手段を備えた画像処理装置の提案がある（特許文献１）。また、走行領域表面およびその近傍の情景の画像のあらなじめ記憶しているオプティカルフローと現在のオプティカルフローとの比較する移動体現在位置検出方法が提案されている（特許文献２）。 In recent years, there has been a proposal of an image processing apparatus provided with an optical flow means for comparing images having a time difference in photographing time using a camera attached to an automobile and detecting a moving state of an object from the difference (Patent Document 1). . In addition, there has been proposed a moving body current position detection method for comparing an optical flow stored in advance and images of scenes in the vicinity of the surface of a traveling region and a current optical flow (Patent Document 2).
しかしながら、上述した従来例においては、同一地点での過去と現在のオプティカルフロー比較に頼っているだけの構成なので、ＧＰＳ測位が困難な走行区間においては、適切な補正タイミングを得ることが困難であった。 However, in the above-described conventional example, since the configuration relies only on the past and current optical flow comparison at the same point, it is difficult to obtain an appropriate correction timing in a traveling section where GPS positioning is difficult. It was.
本発明の目的は、非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能なナビゲーション装置、ナビゲーション方法、および、自動車を提供することにある。 An object of the present invention is to provide a navigation device, a navigation method, and an automobile capable of realizing highly accurate navigation on a route where GPS positioning is difficult when a non-contact inertial navigation device is used. It is in.
上述した課題を解決し、上記目的を達成するため、本発明の請求項１に係るナビゲーション装置は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、を備えたことを特徴とするものである。
In order to solve the above-described problems and achieve the above object, a navigation device according to
また、請求項２の発明に係るナビゲーション装置は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、道路ネットワークに対応するＸＹＺ座標系の３次元座標データを記憶する記憶手段と、前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する画像処理手段と、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記画像処理手段により前記オブジェクトがマッチングした際に、前記画像処理手段により当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する算出手段と、前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、を備えたことを特徴とするものである。
Further, the navigation device according to the invention of
また、請求項３の発明は、請求項１または２において、さらに、前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、前記移動体にカメラが設定されており、当該カメラで撮影された画像情報を入力する入力手段と、前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、を備えたことを特徴とするものである。
The invention of
また、請求項４の発明は、請求項３において、さらに、２次元地図データを記憶する地図記憶手段と、前記地図記憶手段に記憶される２次元地図データを参照して前記３次元マップマッチング手段で算出された３次元位置情報に基づいて前記移動体の現在位置情報を含む２次元地図を生成する地図生成手段と、前記地図生成手段で生成された２次元地図を前記ディスプレイに表示する地図表示手段とを有することを特徴とするものである。 According to a fourth aspect of the present invention, in the third aspect, the map storage means for storing the two-dimensional map data, and the three-dimensional map matching means with reference to the two-dimensional map data stored in the map storage means. A map generation unit that generates a two-dimensional map including the current position information of the moving body based on the three-dimensional position information calculated in step S, and a map display that displays the two-dimensional map generated by the map generation unit on the display Means.
また、請求項５の発明に係るナビゲーション方法は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記メモリに記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する第１ステップと、前記第１ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第２ステップと、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報をメモリに記憶しておき、前記第２ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第３ステップと、前記移動体の移動上、前記第３ステップで算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第４ステップと、前記第４ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第５ステップと、を含んだことを特徴とするものである。
Further, the navigation method according to the invention of
また、請求項６の発明に係るナビゲーション方法は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する第１ステップと、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記第１ステップにより前記オブジェクトがマッチングした際に、前記第１ステップにより当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する第２ステップと、前記第２ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第３ステップと、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記第３ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第４ステップと、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第５ステップと、前記第５ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第６ステップと、を含んだことを特徴とするものである。 Further, the navigation method according to the invention of claim 6 is connected to a camera for photographing the front of the moving body, a satellite positioning device, and a non-contact inertial navigation device for detecting azimuth and acceleration, and acquires the current position of the moving body. The image information captured by the camera includes at least two virtual bars arranged so as to intersect the traveling direction of the moving object, and the two virtual bars. The distance on the route is calculated in advance, and at least one object pattern that can be detected by predetermined image processing is provided. The object was photographed by the camera when the moving body moved forward or backward. The image information is subjected to pattern matching according to the predetermined image processing, and the pattern In the first step of tracking the pattern of the object matched by the matching and the process of calculating the information on the current position, the moving distance, and the traveling direction using the non-contact inertial navigation device, A second step in which when the object is matched in the first step, a pattern of the object is tracked in the first step, a time spanning the at least two virtual bars is calculated, and a moving distance is calculated; Based on the information calculated in the second step, two-dimensional map matching is performed to calculate the two-dimensional position information on the XY coordinates, and the three-dimensional coordinate data of the XYZ coordinate system corresponding to the road network Correspondingly, optical flow information of a scene photographed in advance is stored in the memory, and A fourth step of calculating the Z coordinate position on the XYZ coordinate based on the two-dimensional position information calculated in the step and the three-dimensional coordinate data stored in the memory; A fifth step of detecting a gradient difference in the Z-axis direction based on the Z coordinate position calculated by the Z calculating means, and a three-dimensional position by correcting the movement distance based on the gradient difference detected in the fifth step And a sixth step of calculating information.
また、請求項７の発明に係る自動車は、自動車であって、前後左右方向のいずれか１つまたはその組み合わせ分の撮影を行うカメラと、ディスプレイと、衛星測位装置、および、方位および加速度を検出する非接触慣性航法装置を用いて、少なくとも現在位置および進行情報を検出する位置検出ユニットと、ディスプレイを有しており、当該ディスプレイに画像を表示するナビゲーション装置と、を備え、前記ナビゲーション装置は、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、を備えたことを特徴とするものである。 According to a seventh aspect of the present invention, there is provided an automobile according to the present invention, which is an automobile, and that detects a camera, a display, a satellite positioning device, and an azimuth and acceleration for photographing one or both of the front, rear, left and right directions. A position detection unit that detects at least the current position and progress information using a non-contact inertial navigation device, and a navigation device that has a display and displays an image on the display. A storage means for storing optical flow information of a scene photographed in advance in association with three-dimensional coordinate data of an XYZ coordinate system corresponding to a road network, and the non-contact inertial navigation device, the current position, the moving distance In the process of calculating information related to the direction of travel, the image information captured by the camera is Based on the information calculated by the calculation means, and the calculation means for executing the matching between the optical flow information based on the optical flow information and the optical flow information stored in the storage means and calculating the movement distance based on the matching result. Two-dimensional matching means for calculating two-dimensional position information on XY coordinates by performing three-dimensional map matching, two-dimensional position information calculated by the two-dimensional map matching means, and three-dimensional coordinate data stored in the storage means Z calculation means for calculating the Z coordinate position on the XYZ coordinate based on the above, and the gradient difference in the Z-axis direction based on the Z coordinate position calculated by the Z calculation means on the movement of the moving body And a three-dimensional map matching unit that calculates the three-dimensional position information by correcting the movement distance based on the gradient difference detected by the detection unit. Image generating means for generating image information indicating route guidance based on the three-dimensional position information calculated by the three-dimensional map matching means, image information generated by the image generating means, and input by the input means It is characterized by comprising superimposing means for superimposing image information and display means for displaying an image superimposed by the superimposing means on the display.
本発明は、非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能である。 According to the present invention, when a non-contact inertial navigation device is used, it is possible to realize highly accurate navigation on a route where GPS positioning is difficult.
以下、添付図面を参照して、本発明に係る一実施の形態について詳細に説明する。 Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings.
まず、全体の構成について説明する。図１は本発明の一実施形態による自動車の内部構成例を示すブロック図である。本実施形態の自動車１は、たとえば図１に示したように、以下に説明するが、本実施形態の３次元マップマッチングにより３次元位置情報の取得等を行うナビゲーション装置２、無線通信により各種の情報を授受するためのアンテナ３、音声を出力するスピーカ４、画像を表示するディスプレイ５、自車の現在位置を検出するＧＰＳ機器６１、進行情報となる方位、移動量をそれぞれ検出する２次元振動ジャイロ６２および加速度センサ６３を具備しているナビゲーションセンサ６（非接触慣性航法装置を指す）、自車の前方景色（情景）を撮影して画像を入力するＣＣＤ等のカメラ７、自車の傾斜を検知する傾斜センサ８等により構成されている。自動車１の制御系、電気系、エンジン部位等の構成は、本発明の趣旨からその説明を省略する。なお、ナビゲーションセンサ６は、自車の現在位置と進行情報を検出できるものであればその他の構成であってもよい。
First, the overall configuration will be described. FIG. 1 is a block diagram showing an example of the internal configuration of an automobile according to an embodiment of the present invention. As shown in FIG. 1, for example, the
ナビゲーション装置２は、以下に詳述するが、ＧＰＳからの測位が困難な場所（区間）でのナビゲーションセンサ６の誤差解消および３次元マップマッチングを実現するものであり、たとえば、ロケーションコンピュータ２１、領域の一部もしくは全部の３次元座標データ（３次元折線形状データ）を蓄積する３次元座標データベース（３次元座標ＤＢ）２２、領域の一部もしくは全部の２次元地図データ、右左折等のポイントに応じて生成されるべき音声情報（音声データおよび生成ポイントの組み合わせ）、そして、以前に座標ポイントに応じて撮影された前方画像から取得されたオプティカルフロー情報を蓄積する地図・音声・ＯＦ情報データベース（地図・音声・ＯＦ情報ＤＢ）２３、通信処理装置２４、操作パネル２５、音声処理装置２６、画像処理装置２７等により構成されている。ここで、３次元座標ＤＢ２２および地図・音声・ＯＦ情報ＤＢ２４は、記憶手段に相当する。
As will be described in detail below, the
ロケーションコンピュータ２１は、ＣＰＵ、ＲＯＭおよびＲＡＭによる制御ユニット、本実施形態のセンサ誤差解消（オプティカルフロー使用）および３次元マップマッチング処理等を実現するためのロケーション処理プログラム２１１等を具備している。このロケーションコンピュータ２１は、ナビゲーションセンサ６に接続され、ＧＰＳ機器６１から現在位置情報、２次元振動ジャイロ６２から方位、そして、加速度センサ６３から移動量をそれぞれ入力してＸ−Ｙ座標系の２次元マップマッチングを実行し、さらに、３次元座標ＤＢ２２から３次元座標データを読み出してＸ−ＹＺ座標系でのＺ座標位置情報を算出する。
The
このロケーションコンピュータ２１は、Ｚ座標位置情報に基づいて移動距離の補正を行ってから３次元位置情報を求めて画像処理装置２７に供給するものである。とくに、ＧＰＳからの測位が困難なトンネル内、ビルの陰等の区間については、３次元座標ＤＢ２２に記憶する座標に対してあらかじめＧＰＳ不能区間を示す道路属性をもたせておき、画像処理装置２７よりオプティカルフロー情報の合致もしくは不一致を確認した際は、正確な移動距離を求める補正を実行するものである。
The
通信処理装置２４は、アンテナ３に接続され、無線通信によってアンテナ３を介して各種の情報（渋滞情報、２次元地図データ、３次元座標データ、音声情報等）を取得する。通信処理装置２４は、アンテナ３を介して受信される２次元地図データや音声情報を地図・音声・ＯＦ情報ＤＢ２３に出力する。これにより、地図・音声・ＯＦ情報ＤＢ２３の更新処理が実行される。また、通信処理装置２４は、アンテナ３を介して受信される３次元座標データを３次元座標ＤＢ２２に出力する。これにより、３次元座標ＤＢ２２の更新処理が実行される。
The
操作パネル２５においては、ここではナビゲーション装置自体に設けられている例が示されているが、本発明はこれに限定されるものではなく、ナビゲーション装置外に設けてナビゲーション装置に対して操作信号を送る構成としてもよい。操作パネル２５は、出発地、目的地の入力により経路要求をしたり、候補として挙げられる経路の選択をしたり、本実施形態のカメラ撮影画像によるナビゲーション表示と２次元地図によるナビゲーション表示間の切り替えを指示するための操作ボタン等を備えている。
In the
音声処理装置２６は、ロケーションコンピュータ２１、地図・音声・ＯＦ情報ＤＢ２３等に接続され、地図・音声・ＯＦ情報ＤＢ２３を参照してロケーションコンピュータ２から供給される３次元位置情報に基づいて真の現在位置に応じた音声データを後段に接続されるスピーカ４に供給する。スピーカ４は、音声処理装置２６から音声データを入力して音声を再生する。
The
画像処理装置２７は、ロケーションコンピュータ２１、地図・音声・ＯＦ情報ＤＢ２３等に接続され、ロケーションコンピュータ２１から供給される３次元位置情報に基づいて真の現在位置に応じた経路案内画像を生成し、その画像をカメラ７から供給される風景の画像に重畳して後段に接続されるディスプレイ５に供給する。この画像処理装置２７は、傾斜センサ８にも接続され、その傾斜センサ８から供給される傾斜角度に応じて経路案内画像の角度をカメラ座標系に整合させる。ディスプレイ５は、画像処理装置２７に接続され、そこから出力される画像情報に基づく画像を表示する。
The
つぎに、主要なデータベースについて詳述する。図２は本実施形態による３次元座標ＤＢ２２および地図・音声・ＯＦ情報ＤＢの一例を示す図である。３次元座標ＤＢ２２は、たとえば図２に示したように、ヘッダ部を先頭にして座標ポイント毎にＸ，Ｙ，Ｚ座標データを対応付けて記憶している。一例として、座標ポイントＰ０（Ｘ０，Ｙ０，Ｚ０）、・・・、Ｐn-1（Ｘn-1，Ｙn-1，Ｚn-1）のように順に記憶されている。３次元座標データの計測手法にもよるが、座標ポイントは、たとえば１ｍ間隔でもよいが、それ以上もしくはそれ以下の間隔でもよいことは言うまでもない。この３次元座標ＤＢ２２は、各座標ポイントに対してあらかじめ撮影済みの画像から抽出したオプティカルフロー情報（ＯＦデータｎ（ｎは整数））をもたせている。
Next, major databases will be described in detail. FIG. 2 is a diagram showing an example of the three-dimensional coordinate
つづいて、動作について説明する。図３は本実施形態によるナビゲーション処理の一例を説明するフローチャートである。以下に説明する動作は、主として、ナビゲーション装置２のロケーションコンピュータ２１および画像処理装置２３において、各制御ユニットおよびプログラムにより実現されるものである。
Next, the operation will be described. FIG. 3 is a flowchart for explaining an example of the navigation processing according to this embodiment. The operations described below are mainly realized by each control unit and program in the
ナビゲーション装置２の電源が投入されると、初期設定が実行され（ステップＳ１０１）、ナビゲーションセンサ６および傾斜センサ８からそれぞれにおいて検知される情報の入力が開始される（ステップＳ１０２）。つづいて、ドライバもしくは同乗者から経路設定（出発地、目的地等）等の入力が受け付けられ、メモリに記憶される（ステップＳ１０３）。ここで、メモリは図示せぬがナビゲーション装置２全体を制御する制御ユニットの記憶装置でもよく、あるいは、ロケーションコンピュータ２１や画像処理装置２７のメモリでもよい。
When the power of the
以上の準備が整い、自動車２が走行を開始すると、ロケーションコンピュータ２１において、図７および図８に示す３次元マップマッチング処理が開始される（ステップＳ１０４）。この３次元マップマッチング処理により３次元位置情報が決定すると、画像処理装置２７において、その３次元位置情報に基づいて経路案内画像（矢印で示すものであって右左折の案内、色等で示すものであって識別可能な坂道の案内、数字等で示すものであって車線数が多いときの走行ラインの案内等）が生成される（ステップＳ１０５）。
When the above preparation is completed and the
この経路案内画像には、傾斜センサ８から供給される自車の傾斜角度に応じてカメラ座標系としての補正が施される（ステップＳ１０６）。そして、カメラ７から撮影画像が読み込まれて（ステップＳ１０７）、その撮影画像に傾斜補正された経路案内画像が重畳される（ステップＳ１０８）。このようにして得られた重畳画像データに基づく画像はディスプレイ５に出力されて表示される（ステップＳ１０９）。 The route guidance image is corrected as a camera coordinate system according to the inclination angle of the host vehicle supplied from the inclination sensor 8 (step S106). Then, a captured image is read from the camera 7 (step S107), and a route guidance image whose inclination is corrected is superimposed on the captured image (step S108). An image based on the superimposed image data obtained in this manner is output and displayed on the display 5 (step S109).
さらに、音声処理装置２６においては、ロケーションコンピュータ２１から供給された３次元位置情報に基づいて地図・音声・ＯＦ情報ＤＢ２３から音声情報が抽出され、その音声情報のうち音声データに基づいて音声ガイダンスが生成される。この音声ガイダンスはスピーカ４から音声として出力される（ステップＳ１１０）。
Furthermore, in the
つづいて、本実施形態によるＧＰＳ測位不能なときの移動時における累積誤差解消および３次元マップマッチングについて詳述する。図４は本実施形態における３次元マップマッチングの原理を座標系で説明する図、図５は本実施形態においてＧＰＳ測位不能なときの移動時における累積誤差解消および３次元マップマッチング処理の一例を説明するフローチャート、そして、図６はオプティカルフローに基づく処理を説明する図である。累積誤差解消および３次元マップマッチング処理は、ロケーションコンピュータ２１により実行されるものである。図４（ａ）は、３次元座標系における２次元マップマッチングと３次元マップマッチングとの関係を示すものであり、同図（ｂ）は、走行時、勾配差の発生において、３次元マップマッチングにより移動量の誤差を防止する原理を説明するものである。
Next, the accumulated error cancellation and the three-dimensional map matching at the time of movement when GPS positioning is impossible according to the present embodiment will be described in detail. FIG. 4 is a diagram for explaining the principle of 3D map matching in this embodiment in the coordinate system, and FIG. 5 is a diagram for explaining an example of cumulative error elimination and 3D map matching processing during movement when GPS positioning is impossible in this embodiment. FIG. 6 is a diagram for explaining processing based on the optical flow. Cumulative error elimination and 3D map matching processing are executed by the
図４（ａ）において、２次元座標上の位置Ａ′，Ｐ′，Ｂ′，Ｃ′には、３次元座標系の位置Ａ，Ｐ，Ｂ，Ｃがそれぞれ対応しているものとする。ＸＹ平面に写像した２次元位置情報による線分Ａ′，Ｂ′，Ｃ′上にある点Ｐ′の位置情報が得られた場合、３次元位置情報の線分Ａ，Ｂ上の点Ｐの位置に自車があると推定できる。線分ＡＢは、たとえば１ｍ間隔に取得した位置情報を端点とする。このように、２次元マップマッチングにより自車の位置Ｐ′がわかれば、必然的に高さデータＺすなわちＺ軸座標位置データを算出することが可能となる。これにより、ナビゲーションセンサ６を備えるだけでＸ，Ｙ，Ｚの３次元ナビゲーションセンサをソフトウェアにより実現することが可能となる。 In FIG. 4A, it is assumed that the positions A ′, P ′, B ′, and C ′ on the two-dimensional coordinates correspond to the positions A, P, B, and C in the three-dimensional coordinate system, respectively. When the position information of the point P ′ on the line segment A ′, B ′, C ′ is obtained by the two-dimensional position information mapped on the XY plane, the point P on the line segment A, B of the three-dimensional position information is obtained. It can be estimated that the vehicle is at the position. The line segment AB has, for example, position information acquired at 1 m intervals as end points. Thus, if the position P ′ of the own vehicle is known by two-dimensional map matching, the height data Z, that is, the Z-axis coordinate position data can inevitably be calculated. Thereby, it is possible to realize a three-dimensional navigation sensor of X, Y, and Z by software only by providing the navigation sensor 6.
図４（ｂ）において、２次元座標上の位置Ｆ′，Ｇ′，Ｈ′，Ｉ′，Ｊ′には、３次元座標系の位置Ｆ，Ｇ，Ｈ，Ｉ，Ｊがそれぞれ対応しているものとする。３次元に拡張して勾配の変化を利用して、距離計測の補正を行うと、既存の方法よりも制度が向上する。たとえば、線分ＦＧ間において道路の勾配差（角度θ１）が確認されると、本実施形態の３次元マップマッチングにより移動距離の補正が可能となる。ところが、補正が施されないと線分間の補正前移動距離で示されるように、誤差ｄ１が発生する。同様に、線分ＧＨ間においても道路の勾配差（角度θ２）が確認され、本実施形態の３次元マップマッチングによる移動距離の補正が施されないと、誤差は蓄積して誤差ｄ２が発生する。本実施形態の３次元マップマッチングが施されると、図示の如く、各線分において誤差の発生が抑制された各線分の補正後移動距離が得られる。その結果、誤差の蓄積を防止することが可能となる。 In FIG. 4B, the positions F ′, G ′, H ′, I ′, and J ′ on the two-dimensional coordinates correspond to the positions F, G, H, I, and J in the three-dimensional coordinate system, respectively. It shall be. When the distance measurement is corrected by expanding the gradient to three dimensions and using the change in gradient, the system is improved over the existing method. For example, when a road gradient difference (angle θ1) is confirmed between the line segments FG, the travel distance can be corrected by the three-dimensional map matching of the present embodiment. However, if the correction is not performed, an error d1 occurs as indicated by the pre-correction moving distance of the line segment. Similarly, the road gradient difference (angle θ2) is confirmed between the line segments GH, and if the movement distance is not corrected by the three-dimensional map matching of this embodiment, the error accumulates and an error d2 occurs. When the three-dimensional map matching of the present embodiment is performed, as shown in the figure, the corrected travel distance of each line segment in which the occurrence of errors is suppressed in each line segment is obtained. As a result, error accumulation can be prevented.
以下、具体的な処理について図５を参照して説明する。その前提でまず、ナビゲーションセンサ６から計測情報が入力されるとともに、３次元座標ＤＢ２２から現座標ポイントのＯＦデータｎが入力される（ステップＳ２０１）。このとき、カメラ７で撮影された画像のＯＦデータが取得される（ステップＳ２０２）。ここで、図６（Ａ）の画像ＩＭＧ１は、ある座標ポイントでのオブジェクト６１Ａを含んでおり、ステップＳ２０２においてこのオブジェクト６１Ａに関するＯＦデータが取得された例を以下に説明する。なお、オプティカルフロー処理については、本発明の骨子ではないことから、説明を省略する。
Hereinafter, specific processing will be described with reference to FIG. First, measurement information is input from the navigation sensor 6 and the OF data n of the current coordinate point is input from the three-dimensional coordinate DB 22 (step S201). At this time, OF data of an image photographed by the
この後、まずナビゲーションセンサ６からの計測情報にしたがって現在位置、移動距離、および、進行方向の算出が行われる（ステップＳ２０３）。そして、これらの情報に基づいて２次元マップマッチング処理が実行され、その結果、２次元座標位置が算出される（ステップＳ２０４）。ここで、一例として、図４（ａ）に示したように、２次元座標位置（Ｘ−Ｙ座標系）をＰ′とする。そして、３次元座標ＤＢ２２から３次元座標データ（Ｘ−Ｙ−Ｚ座標系）が読み出されて参照され（ステップＳ２０５）、２次元座標位置Ｐ′の位置における高さＺすなわちＺ座標位置が算出される。このようにして、Ｚ位置座標データが取得され、ロケーションコンピュータ２１内のメモリに記憶される（ステップＳ２０６）。
Thereafter, first, the current position, moving distance, and traveling direction are calculated according to the measurement information from the navigation sensor 6 (step S203). Based on these pieces of information, a two-dimensional map matching process is executed, and as a result, a two-dimensional coordinate position is calculated (step S204). Here, as an example, as shown in FIG. 4A, a two-dimensional coordinate position (XY coordinate system) is P ′. Then, the three-dimensional coordinate data (XYZ coordinate system) is read from the three-dimensional coordinate
つづいてＺ座標位置間の線分から勾配差が判断される（ステップＳ２０７）。勾配差があるという判断結果が得られた場合には（ステップＳ２０７のＹＥＳルート）、その勾配差に基づいて移動距離が補正される（ステップＳ２０８）。たとえば、図４（ｂ）の場合、線分ＦＧ間では、角度θ１となってそれに基づいて補正処理が実行される。一方、線分ＧＨ間では、角度θ２となってそれに基づいて補正処理が実行される。これにより、それぞれの誤差ｄ１、ｄ２は解消される。 Subsequently, the gradient difference is determined from the line segment between the Z coordinate positions (step S207). When a determination result that there is a gradient difference is obtained (YES route in step S207), the movement distance is corrected based on the gradient difference (step S208). For example, in the case of FIG. 4B, the angle θ1 is set between the line segments FG, and the correction process is executed based on the angle θ1. On the other hand, between the line segments GH, the angle θ2 is set, and correction processing is executed based on the angle θ2. Thereby, the respective errors d1 and d2 are eliminated.
勾配差に基づく補正が施されると、移動距離の補正からＸ−Ｙ座標におけるＸ座標位置およびＹ座標位置が確定し、これらＸ−Ｙ座標位置データにＺ座標位置データが組み合わされて３次元位置情報が確定する。このようにして３次元位置情報が算出され、その位置のＯＦデータが地図・音声・ＯＦ情報ＤＢ２３から読み出される（ステップＳ２０９）。 When correction based on the gradient difference is performed, the X coordinate position and the Y coordinate position in the XY coordinates are determined from the correction of the movement distance, and the Z coordinate position data is combined with these XY coordinate position data to obtain a three-dimensional shape The location information is confirmed. In this way, the three-dimensional position information is calculated, and the OF data at the position is read from the map / voice / OF information DB 23 (step S209).
そして、ステップＳ２０２で取得したＯＦデータとステップＳ２０９で読み出されたＯＦデータとのＯＦマッチング処理が実行され（ステップＳ２１０）。その結果、一致が確認された場合、すなわち、図６（Ａ）で説明したＯＤデータとの一致が確認された場合には（ステップＳ２１１のＹＥＳルート）、ステップＳ２０９で算出された３次元位置情報がロケーションコンピュータ２１のメモリに記憶され、処理は図３に戻る（ステップＳ２１３）。
Then, an OF matching process is performed between the OF data acquired in step S202 and the OF data read in step S209 (step S210). As a result, when the match is confirmed, that is, when the match with the OD data described in FIG. 6A is confirmed (YES route in step S211), the three-dimensional position information calculated in step S209. Is stored in the memory of the
一方、不一致が確認された場合、すなわち、図６（Ｂ）で示すオブジェクト６７Ｂに関するＯＤデータとの間で不一致が確認された場合には（ステップＳ２１１のＮＯルート）、３次元位置情報の補正が実行され（ステップＳ２１２）、その補正後の３次元位置情報がロケーションコンピュータ２１のメモリに記憶され、処理は図３に戻る（ステップＳ２１３）。
On the other hand, when a mismatch is confirmed, that is, when a mismatch is confirmed with the OD data related to the object 67B shown in FIG. 6B (NO route in step S211), the three-dimensional position information is corrected. This is executed (step S212), the corrected three-dimensional position information is stored in the memory of the
ここで、補正処理について説明する。補正処理の一例として、ステップＳ２０９で算出された３次元位置情報を基点として進行方向に対する前後方向に向かってＯＦデータを読み出して、ステップＳ２０２で取得したＯＦデータと比較して一致した座標ポイントの３次元位置情報を補正後の情報とするようにしてもよい。また、この補正処理に道路形状の特徴を盛り込むようにしてもよい。この場合は、道路形状による加速度の急激な変化ポイント（座標ポイント）をあらかじめ予測しておき、並行して加速度センサ６３に基づく移動距離から３次元位置情報を求めてＯＦマッチング処理の範囲を絞り込めるようにしてもよい。このとき、３次元座標ＤＢ２２の座標ポイントに対して変化ポイントを示す属性をもたせておけばよい。
Here, the correction process will be described. As an example of the correction process, the OF data is read in the front-rear direction with respect to the traveling direction using the three-dimensional position information calculated in step S209 as a base point, and 3 coordinate points that coincide with the OF data acquired in step S202 are matched. The dimension position information may be used as corrected information. Further, a road shape feature may be included in the correction process. In this case, a sudden change point (coordinate point) of acceleration due to the road shape is predicted in advance, and the range of the OF matching process can be narrowed down by obtaining three-dimensional position information from the movement distance based on the
このようにして、従来、移動距離の補正は交差点ノードでの右左折を利用しており、直進移動距離が伸びると誤差が蓄積していたが、以上の結果、その蓄積を抑制することができる。 As described above, conventionally, the correction of the movement distance uses the right / left turn at the intersection node, and errors accumulate when the straight movement distance increases. As a result, the accumulation can be suppressed. .
以上説明したように、本実施形態によれば、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶しておき、非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、カメラにより撮影された画像情報に基づくオプティカルフロー情報とＤＢに記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出し、この算出された移動距離に基づく現在位置を２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出して、この２次元位置情報と上述した記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出し、移動体の移動上、その算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出して、この検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出するようにしたので、非接触慣性航法装置を用いた際に、オプティカルフローの技術を用いてもＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能である。さらに、勾配差のある道路で自動車の直進移動距離が伸びても、地図上に反映される自動車の現在位置に誤差が蓄積することはなく、誤差の発生を抑制することが可能である。 As described above, according to the present embodiment, optical flow information of a scene photographed in advance is stored in correspondence with the three-dimensional coordinate data of the XYZ coordinate system corresponding to the road network, and non-contact inertia is stored. In the process of calculating information related to the current position, moving distance, and direction of travel using the navigation device, the optical flow information based on the image information photographed by the camera is matched with the optical flow information stored in the DB. Execute, calculate the movement distance based on the matching result, calculate the two-dimensional position information on the XY coordinates by two-dimensional map matching the current position based on the calculated movement distance, Based on the position information and the stored three-dimensional coordinate data, the Z coordinate position on the XYZ coordinate is calculated, and the moving object moves Since the gradient difference in the Z-axis direction is detected based on the calculated Z coordinate position and the movement distance is corrected based on the detected gradient difference, the three-dimensional position information is calculated. When a contact inertial navigation device is used, it is possible to realize highly accurate navigation on a route where GPS positioning is difficult even using optical flow technology. Furthermore, even if the straight travel distance of the automobile is increased on a road having a gradient difference, the error is not accumulated at the current position of the automobile reflected on the map, and the occurrence of the error can be suppressed.
また、以上のように誤差の発生を抑制したので、ナビゲーション装置および自動車においては、案内精度の高いナビゲーションを実現することが可能である。 In addition, since the occurrence of errors is suppressed as described above, navigation with high guidance accuracy can be realized in the navigation apparatus and the automobile.
さて、上述した実施形態では、オプティカルフロー技術を適用してナビゲーションを実現したが、本発明はこれに限定されず、以下に説明する他の実施形態のように、オプティカルフロー技術を適用しなくてもカメラが撮影した画像だけで車速を導き出してナビゲーションを実現するようにしてもよい。なお、以下の説明では、主要な構成および処理のみ説明する。 In the embodiment described above, the navigation is realized by applying the optical flow technique. However, the present invention is not limited to this, and the optical flow technique is not applied as in the other embodiments described below. Alternatively, navigation may be realized by deriving the vehicle speed from only the image taken by the camera. In the following description, only the main configuration and processing will be described.
まず、全体構成として、他の実施形態では、オプティカルフロー技術を採用しないことから、図１に示す地図・音声・ＯＦ情報ＤＢ２３のＯＦ情報が不要となる。その他の構成については、図１の通りのため、説明を省略する。以上の全体構成における処理について説明する。図７は本発明の他の実施形態による画面遷移の一例を説明する図であり、図８は画像処理の一例を説明するフローチャートである。
First, since the optical flow technology is not adopted in the other embodiments as an overall configuration, the OF information of the map / voice / OF
図７には、ＧＰＳから位置情報を取得できない経路の一例として、トンネル内の撮影画像が示されている。この他の実施形態においては、たとえば図７（ａ），（ｂ）に示したように、撮影画像ＩＭＧ１１内に第１および第２仮想バーＬＮ１，ＬＮ２を一定の幅をもたせて設けられている。この第１および第２仮想バーＬＮ１，ＬＮ２は、実際のディスプレイには見えず、画像処理の仮想空間内で必要とされる基準である。すなわち、仮想空間内において、第１および第２仮想バーＬＮ１，ＬＮ２は、オブジェクトの当り判定処理に寄与するものである。なお、当り判定処理自体は、一般的な処理のため、説明を省略する。 FIG. 7 shows a captured image in the tunnel as an example of a route from which position information cannot be acquired from GPS. In this other embodiment, for example, as shown in FIGS. 7A and 7B, the first and second virtual bars LN1 and LN2 are provided with a certain width in the captured image IMG11. . The first and second virtual bars LN1 and LN2 do not appear on an actual display, and are a reference required in a virtual space for image processing. That is, in the virtual space, the first and second virtual bars LN1, LN2 contribute to the object hit determination process. Since the hit determination process itself is a general process, description thereof is omitted.
撮影画像ＩＭＧ１１内での第１および第２仮想バーＬＮ１，ＬＮ２の幅には、あらかじめ計測済みの実際の距離が対応付けられている。この距離は、たとえば、５ｍ、１０ｍ、２０ｍ、３０ｍなどであり、カメラの設置や仮想バーの平面的な幅との関係を調整することにより利用者が任意に設定できるものである。また、前提として、トンネル内の側面には、規則的もしくは不規則にライトが設置されているものとする。ＯＢＪは、ある位置に設定されるライトを示している。ここでは、証明を例に挙げているが、その他に、木のようにある程度画像処理でパターン等を認識しやすいものであればなんでもよい。パターンは、形状等のデータとしており、精度を高めるために色相、彩度、輝度等の色に関する情報をもつようにしてもよい。 The actual distances that have been measured in advance are associated with the widths of the first and second virtual bars LN1, LN2 in the captured image IMG11. This distance is, for example, 5 m, 10 m, 20 m, 30 m, etc., and can be arbitrarily set by the user by adjusting the relationship with the installation of the camera and the planar width of the virtual bar. Also, as a premise, it is assumed that lights are regularly or irregularly installed on the side surface inside the tunnel. OBJ indicates a light set at a certain position. Here, the proof is given as an example, but any other material such as a tree that can easily recognize a pattern or the like by image processing to some extent may be used. The pattern is data such as a shape, and may have information about colors such as hue, saturation, and luminance in order to improve accuracy.
この他の実施形態では、画像認識すべき対象オブジェクトをライトのパターンとする。このパターンは、あらかじめ画像処理装置２７に登録されている。図7の例において、移動中の自動車は前方を進行方向としてカメラ撮影を実行する（ステップＳ８０１）。そして、対象オブジェクトであるライトＯＢＪが画像認識されると（ステップＳ８０２のＹＥＳルート）、そのパターンの追跡が開始される（ステップＳ８０３）。もちろん、画像認識でライトＯＢＪが確認できないときは（ステップＳ８０２のＮＯルート）、処理はステップＳ８０１に戻る。
In another embodiment, the target object to be image-recognized is a light pattern. This pattern is registered in the
パターン追跡が開始された後、第１仮想バーＬＮ１とライトＯＢＪとの当り判定が検出されると（ステップＳ８０４のＹＥＳルート）、図７（ａ）のように、ライトＯＢＪが第１仮想バーＬＮ１を跨いだことが確認される。これにより、時間計測が開始される（ステップＳ８０５）。 After the pattern tracking is started, when a hit determination between the first virtual bar LN1 and the light OBJ is detected (YES route in step S804), the light OBJ is changed to the first virtual bar LN1 as shown in FIG. Is confirmed. Thereby, time measurement is started (step S805).
そして、第１仮想バーＬＮ１に続いて続く第２仮想バーＬＮ２とライトＯＢＪとの当り判定処理が実行される（ステップＳ８０６）。その後、第２仮想バーＬＮ２とライトＯＢＪとの当り判定が検出されると（ステップＳ８０６のＹＥＳルート）、図７（ｂ）のように、ライトＯＢＪが第２仮想バーＬＮ２を跨いだことが確認される。これにより、計測時間が確定し、第１および第２仮想バーＬＮ１，ＬＮ２間の実際の距離に対する計測時間に基づいて移動速度が算出される（ステップＳ８０７）。 Then, a hit determination process between the second virtual bar LN2 and the light OBJ following the first virtual bar LN1 is executed (step S806). Thereafter, when a hit determination between the second virtual bar LN2 and the light OBJ is detected (YES route in step S806), it is confirmed that the light OBJ straddles the second virtual bar LN2 as shown in FIG. 7B. Is done. Thereby, the measurement time is determined, and the moving speed is calculated based on the measurement time with respect to the actual distance between the first and second virtual bars LN1, LN2 (step S807).
そして、この移動速度にしたがって自動車の正確な移動距離が算出され（ステップＳ８０８）、現在位置が算出される（ステップＳ８０９）。以上の説明では、図３のステップＳ１０４に含まれる進行方向等の他の要素は省略しているが、他の要素も含んでいるものとする。 Then, an accurate moving distance of the vehicle is calculated according to the moving speed (step S808), and the current position is calculated (step S809). In the above description, other elements such as the traveling direction included in step S104 of FIG. 3 are omitted, but other elements are also included.
この他の実施形態では、前述の実施形態のようにすべての説明は省略するが、以降、ステップＳ８０９で求められた現在位置に基づいて２次元マッチング、さらには３次元マッチングを行って、ナビゲーションを実現することができる。 In this other embodiment, all descriptions are omitted as in the above-described embodiment, but thereafter, two-dimensional matching and further three-dimensional matching are performed based on the current position obtained in step S809, and navigation is performed. Can be realized.
以上説明したように、他の実施形態によれば、自動車の前進もしくは後退の際に、カメラにより撮影された画像情報についてオブジェクトのパターンマッチングを行うとともに、パターンマッチングでマッチしたオブジェクトのパターンを追跡するようにして、非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、オブジェクトがマッチングした際に、オブジェクトのパターンを追跡して、少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出するようにしたので、非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能である。さらに、前述の実施形態と同様に、勾配差のある道路で自動車の直進移動距離が伸びても、地図上に反映される自動車の現在位置に誤差が蓄積することはなく、誤差の発生を抑制することが可能である。 As described above, according to another embodiment, when a vehicle moves forward or backward, object pattern matching is performed on image information captured by a camera, and an object pattern matched by pattern matching is tracked. Thus, in the process of calculating information on the current position, moving distance, and traveling direction using a non-contact inertial navigation device, the object pattern is tracked when the object is matched when the moving object moves. In addition, since the travel distance is calculated by calculating the time spanning at least two virtual bars, when using a non-contact inertial navigation device, highly accurate navigation on a route where GPS positioning is difficult is performed. It is possible to realize. In addition, as in the previous embodiment, even if the straight travel distance of a car on a road with a gradient difference is increased, no error is accumulated at the current position of the car reflected on the map, and the occurrence of the error is suppressed. Is possible.
この他の実施形態においては、ＧＰＳから位置情報を取得できないトンネルやビルの陰などにおいて確認しやすい街灯、トンネル設置のライト、道路沿いに植え込んである木などがパターンとして適用しやすい。 In another embodiment, streetlights that can be easily confirmed in the shadows of tunnels and buildings in which position information cannot be obtained from GPS, tunnel-installed lights, trees planted along roads, and the like can be easily applied as patterns.
このように、上述した２つの実施形態から、ＰＮＤとして安価なナビゲーションシステムを提供することができることはもちろん、本発明のロケーションコンピュータを適用すれば、ナビゲーションシステム全体で高精度の３次元ナビゲーションセンサを実現することが可能である。 Thus, from the two embodiments described above, an inexpensive navigation system can be provided as a PND, and if the location computer of the present invention is applied, a highly accurate three-dimensional navigation sensor can be realized in the entire navigation system. Is possible.
そして、３次元ＣＧ技術を駆使して実際の風景を再現しないため、膨大な地図データを自動車に取り込む必要はなくなる。 And since the actual landscape is not reproduced using the 3D CG technology, it is not necessary to capture a huge amount of map data into the car.
また、自動車の現在位置を精度高く地図上にマップマッチングさせるようにしたので、地図鳥瞰画像とカメラで撮影される画像との間で整合されるカメラ座標系においては、自動車の傾斜補正を正確な現在位置に基づいて反映させることが可能である。 In addition, since the current position of the car is map-matched on the map with high accuracy, in the camera coordinate system that is matched between the map bird's-eye view image and the image taken by the camera, the car tilt correction is accurately performed. It is possible to reflect based on the current position.
さらに、自動車の現在位置を正確にマップマッチングさせていることから、カメラで撮影される画像に案内画像を重畳させるときにも案内画像をディスプレイに表示される撮影画像中に正確な位置で表示させることが可能である。 Furthermore, since the current position of the vehicle is accurately map-matched, the guide image is displayed at the correct position in the captured image displayed on the display even when the guide image is superimposed on the image captured by the camera. It is possible.
そして、３次元折線形状データを使用することから、案内画像の生成もより細かく設定することができるので、右左折の経路においても緩やかな曲線で案内の矢印等を描写することが可能である。 Since the three-dimensional broken line shape data is used, the generation of the guidance image can be set more finely, so that it is possible to depict the guidance arrows and the like with a gentle curve even in the right / left turn route.
また、３次元折線形状データを使用して、自動車の現在位置を正確にマップマッチングさせていることから、夜間、雨、霧等で見通しの悪い景観や前方の視界を大型車両が遮って交差点が確認できないときの走行時でも、前方に近づく右左折案内等の情報を正確にディスプレイ上で表示することが可能である。 In addition, since the vehicle's current position is accurately map-matched using three-dimensional polygonal line shape data, large vehicles block the view and the front view that are poorly visible due to nighttime, rain, fog, etc. Even when traveling when it cannot be confirmed, it is possible to accurately display information such as right and left turn guidance approaching forward on the display.
さらに、ディスプレイに実際の景観を表示させ、そこに適宜案内を重ねて表示するようにしたので、ドライバが見ている景観と同じ映像でのナビゲーションを実現することが可能である。これにより、一般のナビゲーション装置に不慣れな利用者であっても矢印等の案内確認さえできればよく、誰でも簡単かつ即座に使いこなせるというメリットがある。また、右左折レーンや側道までもわかりやすく案内することが可能である。 Furthermore, since the actual landscape is displayed on the display and the guidance is appropriately superimposed on the display, it is possible to realize navigation in the same image as the landscape viewed by the driver. As a result, even a user who is unfamiliar with a general navigation device only needs to be able to confirm guidance such as an arrow, and there is an advantage that anyone can use it easily and immediately. It is also possible to provide easy-to-understand guidance to right and left turn lanes and side roads.
そして、２次元表示する地図においては、必要最小限の情報が収録されていればよく、本実施形態の３次元マップマッチングに対して特別な地図データを用意する必要はないので、この場合にも安価なカーナビゲーションシステムを提供することが可能である。 The map to be displayed in two dimensions only needs to contain the minimum necessary information, and it is not necessary to prepare special map data for the three-dimensional map matching of this embodiment. An inexpensive car navigation system can be provided.
本発明は、船舶等の業種においても産業上有用であるとともに、位置情報を取得することが可能な携帯電話、携帯情報端末、歩数計、携帯ゲーム機等の電化製品市場においても有用である。 The present invention is industrially useful in industries such as ships, and is also useful in the market for electrical appliances such as mobile phones, portable information terminals, pedometers, and portable game machines capable of acquiring position information.
１ 自動車
２ ナビゲーション装置
３ アンテナ
４ スピーカ
５ ディスプレイ
６ ナビゲーションセンサ
７ カメラ
８ 傾斜センサ
２１ ロケーションコンピュータ
２２ ３次元座標ＤＢ
２３ 地図・音声・ＯＦ情報ＤＢ
２４ 通信処理装置
２５ 操作パネル
２６ 音声処理装置
２７ 画像処理装置
５１ 経路案内画像
５３ 経路案内画像
５４ 経路画像
５５ 現在位置マーク
６１ ＧＰＳ機器
６２ ２次元振動ジャイロ
６３ 加速度センサ
２１１ ロケーション処理プログラム
２７１ 画像処理プログラム
DESCRIPTION OF
23 Map / Voice / OF Information DB
24
Claims (7)
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、
前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、
前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、
前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、
を備えたことを特徴とするナビゲーション装置。 A navigation device that is connected to a camera that captures the front of a moving object, a satellite positioning device, and a non-contact inertial navigation device that detects azimuth and acceleration, and acquires a current position of the moving object,
Storage means for storing optical flow information of a scene photographed in advance in association with three-dimensional coordinate data of an XYZ coordinate system corresponding to a road network;
Optical flow information based on image information photographed by the camera and stored in the storage means in the process of calculating information on the current position, moving distance, and traveling direction using the non-contact inertial navigation device A calculation unit that performs matching with the optical flow information and calculates a movement distance based on the matching result;
Two-dimensional matching means for calculating two-dimensional position information on XY coordinates by two-dimensional map matching based on the information calculated by the calculating means;
Z calculation means for calculating a Z coordinate position on an XYZ coordinate based on the two-dimensional position information calculated by the two-dimensional map matching means and the three-dimensional coordinate data stored in the storage means;
Detecting means for detecting a gradient difference in the Z-axis direction based on the Z coordinate position calculated by the Z calculating means on the movement of the moving body;
Three-dimensional map matching means for correcting the movement distance based on the gradient difference detected by the detection means and calculating three-dimensional position information;
A navigation device characterized by comprising:
道路ネットワークに対応するＸＹＺ座標系の３次元座標データを記憶する記憶手段と、
前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する画像処理手段と、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記画像処理手段により前記オブジェクトがマッチングした際に、前記画像処理手段により当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する算出手段と、
前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、
前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、
前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、
を備えたことを特徴とするナビゲーション装置。 A navigation device that is connected to a camera that captures the front of a moving object, a satellite positioning device, and a non-contact inertial navigation device that detects azimuth and acceleration, and acquires a current position of the moving object,
Storage means for storing three-dimensional coordinate data of an XYZ coordinate system corresponding to a road network;
In the image information photographed by the camera, at least two virtual bars arranged so as to intersect the traveling direction of the moving body are provided, and the distance on the path between the two virtual bars is calculated in advance. In addition, at least one object pattern that can be detected by predetermined image processing is provided, and the predetermined image processing is performed on image information captured by the camera when the moving body moves forward or backward. Therefore, while performing pattern matching of the object, image processing means for tracking the pattern of the object matched by the pattern matching,
In the process of calculating the information on the current position, the moving distance, and the traveling direction using the non-contact inertial navigation device, the image processing is performed when the object is matched by the image processing means when the moving body moves. Means for tracking the pattern of the object by means, calculating a time spanning the at least two virtual bars, and calculating a moving distance;
Two-dimensional matching means for calculating two-dimensional position information on XY coordinates by two-dimensional map matching based on the information calculated by the calculating means;
Z calculation means for calculating a Z coordinate position on an XYZ coordinate based on the two-dimensional position information calculated by the two-dimensional map matching means and the three-dimensional coordinate data stored in the storage means;
Detecting means for detecting a gradient difference in the Z-axis direction based on the Z coordinate position calculated by the Z calculating means on the movement of the moving body;
Three-dimensional map matching means for correcting the movement distance based on the gradient difference detected by the detection means and calculating three-dimensional position information;
A navigation device characterized by comprising:
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記メモリに記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する第１ステップと、
前記第１ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第２ステップと、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報をメモリに記憶しておき、前記第２ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第３ステップと、
前記移動体の移動上、前記第３ステップで算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第４ステップと、
前記第４ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第５ステップと、
を含んだことを特徴とするナビゲーション方法。 A navigation method for a device that captures the current position of a mobile object connected to a camera that captures the front of the mobile object, a satellite positioning device, and a non-contact inertial navigation device that detects azimuth and acceleration,
The optical flow information of the scene photographed in advance is stored in the memory in correspondence with the three-dimensional coordinate data of the XYZ coordinate system corresponding to the road network, and the current position and movement are recorded using the non-contact inertial navigation device. In the process of calculating the information regarding the distance and the traveling direction, matching is performed between the optical flow information based on the image information captured by the camera and the optical flow information stored in the memory, and based on the matching result A first step of calculating a movement distance by:
A second step of calculating two-dimensional position information on XY coordinates by performing two-dimensional map matching based on the information calculated in the first step;
In correspondence with the three-dimensional coordinate data of the XYZ coordinate system corresponding to the road network, optical flow information of a scene photographed in advance is stored in a memory, and the two-dimensional position information calculated in the second step and the A third step of calculating a Z coordinate position on the XYZ coordinate based on the three-dimensional coordinate data stored in the memory;
A fourth step of detecting a gradient difference in the Z-axis direction based on the Z-coordinate position calculated in the third step, on the movement of the moving body;
A fifth step of calculating the three-dimensional position information by correcting the movement distance based on the gradient difference detected in the fourth step;
The navigation method characterized by including.
前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する第１ステップと、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記第１ステップにより前記オブジェクトがマッチングした際に、前記第１ステップにより当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する第２ステップと、
前記第２ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第３ステップと、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記第３ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第４ステップと、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第５ステップと、
前記第５ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第６ステップと、
を含んだことを特徴とするナビゲーション方法。 A navigation method for a device that captures the current position of a mobile object connected to a camera that captures the front of the mobile object, a satellite positioning device, and a non-contact inertial navigation device that detects azimuth and acceleration,
In the image information photographed by the camera, at least two virtual bars arranged so as to intersect the traveling direction of the moving body are provided, and the distance on the path between the two virtual bars is calculated in advance. In addition, at least one object pattern that can be detected by predetermined image processing is provided, and the predetermined image processing is performed on image information captured by the camera when the moving body moves forward or backward. Accordingly, the first step of performing pattern matching of the object and tracking the pattern of the object matched by the pattern matching;
In the process of calculating the information on the current position, the moving distance, and the traveling direction using the non-contact inertial navigation device, when the moving object is moved, the first step is performed when the object is matched by the first step. A second step of tracking a pattern of the object by the step, calculating a time spanning the at least two virtual bars, and calculating a moving distance;
A third step of calculating two-dimensional position information on XY coordinates by performing two-dimensional map matching based on the information calculated in the second step;
The optical flow information of the scene photographed in advance is stored in the memory in correspondence with the three-dimensional coordinate data of the XYZ coordinate system corresponding to the road network, and the two-dimensional position information calculated in the third step and the A fourth step of calculating a Z coordinate position on the XYZ coordinate based on the three-dimensional coordinate data stored in the memory;
A fifth step of detecting a gradient difference in the Z-axis direction based on the Z-coordinate position calculated by the Z-calculating means on the movement of the moving body;
A sixth step of calculating the three-dimensional position information by correcting the movement distance based on the gradient difference detected in the fifth step;
The navigation method characterized by including.
前後左右方向のいずれか１つまたはその組み合わせ分の撮影を行うカメラと、
ディスプレイと、
衛星測位装置、および、方位および加速度を検出する非接触慣性航法装置を用いて、少なくとも現在位置および進行情報を検出する位置検出ユニットと、
ディスプレイを有しており、当該ディスプレイに画像を表示するナビゲーション装置と、
を備え、
前記ナビゲーション装置は、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、
前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、
前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、
前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、
前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、
前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、
前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、
を備えたことを特徴とする自動車。 Car,
A camera that shoots for one or a combination of the front, rear, left and right directions, or a combination thereof;
Display,
A position detection unit that detects at least the current position and progress information using a satellite positioning device and a non-contact inertial navigation device that detects azimuth and acceleration;
A navigation device having a display and displaying an image on the display;
With
The navigation device
Storage means for storing optical flow information of a scene photographed in advance in association with three-dimensional coordinate data of an XYZ coordinate system corresponding to a road network;
Optical flow information based on image information photographed by the camera and stored in the storage means in the process of calculating information on the current position, moving distance, and traveling direction using the non-contact inertial navigation device A calculation unit that performs matching with the optical flow information and calculates a movement distance based on the matching result;
Two-dimensional matching means for calculating two-dimensional position information on XY coordinates by two-dimensional map matching based on the information calculated by the calculating means;
Z calculation means for calculating a Z coordinate position on an XYZ coordinate based on the two-dimensional position information calculated by the two-dimensional map matching means and the three-dimensional coordinate data stored in the storage means;
Detecting means for detecting a gradient difference in the Z-axis direction based on the Z coordinate position calculated by the Z calculating means on the movement of the moving body;
Three-dimensional map matching means for correcting the movement distance based on the gradient difference detected by the detection means and calculating three-dimensional position information;
Image generating means for generating image information indicating route guidance based on the three-dimensional position information calculated by the three-dimensional map matching means;
Superimposing means for superimposing the image information generated by the image generating means and the image information input by the input means;
Display means for displaying the image superimposed by the superimposing means on the display;
An automobile characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007020563A JP2008185506A (en) | 2007-01-31 | 2007-01-31 | Apparatus and method for navigation, and automobile |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007020563A JP2008185506A (en) | 2007-01-31 | 2007-01-31 | Apparatus and method for navigation, and automobile |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008185506A true JP2008185506A (en) | 2008-08-14 |
Family
ID=39728653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007020563A Pending JP2008185506A (en) | 2007-01-31 | 2007-01-31 | Apparatus and method for navigation, and automobile |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008185506A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106500727A (en) * | 2016-10-21 | 2017-03-15 | 北京自动化控制设备研究所 | A kind of inertial navigation system error correcting method based on route matching |
| CN108917744A (en) * | 2018-05-11 | 2018-11-30 | 中国地质大学（武汉） | A kind of accurate 3-D positioning method based on GPS and street view database |
| JP2019168428A (en) * | 2018-03-26 | 2019-10-03 | 康二 蓮井 | Device, method, and program for measuring moving distance |
| KR20200002219A (en) * | 2018-06-29 | 2020-01-08 | 현대엠엔소프트 주식회사 | Indoor navigation apparatus and method |
| EP3660453A1 (en) * | 2018-11-30 | 2020-06-03 | Sandvik Mining and Construction Oy | Positioning of mobile object in underground worksite |
-
2007
- 2007-01-31 JP JP2007020563A patent/JP2008185506A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106500727A (en) * | 2016-10-21 | 2017-03-15 | 北京自动化控制设备研究所 | A kind of inertial navigation system error correcting method based on route matching |
| JP2019168428A (en) * | 2018-03-26 | 2019-10-03 | 康二 蓮井 | Device, method, and program for measuring moving distance |
| CN108917744A (en) * | 2018-05-11 | 2018-11-30 | 中国地质大学（武汉） | A kind of accurate 3-D positioning method based on GPS and street view database |
| KR20200002219A (en) * | 2018-06-29 | 2020-01-08 | 현대엠엔소프트 주식회사 | Indoor navigation apparatus and method |
| KR102622585B1 (en) | 2018-06-29 | 2024-01-08 | 현대오토에버 주식회사 | Indoor navigation apparatus and method |
| EP3660453A1 (en) * | 2018-11-30 | 2020-06-03 | Sandvik Mining and Construction Oy | Positioning of mobile object in underground worksite |
| WO2020109473A1 (en) * | 2018-11-30 | 2020-06-04 | Sandvik Mining And Construction Oy | Positioning of mobile object in underground worksite |
| US11874115B2 (en) | 2018-11-30 | 2024-01-16 | Sandvik Mining And Construction Oy | Positioning of mobile object in underground worksite |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10878256B2 (en) | Travel assistance device and computer program | |
| US11511627B2 (en) | Display device and computer program | |
| CN107836017B (en) | Semaphore identification device and semaphore recognition methods | |
| JP4600357B2 (en) | Positioning device | |
| JP6775188B2 (en) | Head-up display device and display control method | |
| JP5472142B2 (en) | Map data generation device and driving support device | |
| US11525694B2 (en) | Superimposed-image display device and computer program | |
| KR20180088149A (en) | Method and apparatus for guiding vehicle route | |
| JP2019095213A (en) | Superimposed image display device and computer program | |
| CN104520675A (en) | Camera parameter computation device, navigation system, and camera parameter computation method | |
| JP2022016908A (en) | Overhead image generation device, overhead image generation system and automatic parking device | |
| JP6342104B1 (en) | Vehicle position estimation device | |
| US9791287B2 (en) | Drive assist system, method, and program | |
| JP2006284281A (en) | Own vehicle information recognition device and method | |
| JP2008032596A (en) | Three-dimensional map-matching processor, processing method, and processing program, and navigation apparatus, method, and program, and automobile | |
| JP2008185506A (en) | Apparatus and method for navigation, and automobile | |
| JP7418196B2 (en) | Travel trajectory estimation method and travel trajectory estimation device | |
| JP2010151658A (en) | Apparatus and method for measuring position of mobile object | |
| JP2008145364A (en) | Route guiding device | |
| JPH10274537A (en) | Guide display device for vehicle | |
| JP6549932B2 (en) | Stereo image processing device | |
| CN112528719A (en) | Estimation device, estimation method, and storage medium | |
| JP2004104478A (en) | Device and method for assisting parking | |
| JP2012220259A (en) | In-vehicle apparatus and vehicle azimuth correction method thereof | |
| JP2008185507A (en) | Apparatus and method for navigation, and automobile |