JP2013124957A - Navigation system using portable information terminal - Google Patents

Navigation system using portable information terminal Download PDF

Info

Publication number
JP2013124957A
JP2013124957A JP2011274286A JP2011274286A JP2013124957A JP 2013124957 A JP2013124957 A JP 2013124957A JP 2011274286 A JP2011274286 A JP 2011274286A JP 2011274286 A JP2011274286 A JP 2011274286A JP 2013124957 A JP2013124957 A JP 2013124957A
Authority
JP
Japan
Prior art keywords
information
information terminal
portable information
vehicle
portable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011274286A
Other languages
Japanese (ja)
Inventor
Masaru Tokuda
勝 徳田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Car Mate Manufacturing Co Ltd
Original Assignee
Car Mate Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Car Mate Manufacturing Co Ltd filed Critical Car Mate Manufacturing Co Ltd
Priority to JP2011274286A priority Critical patent/JP2013124957A/en
Publication of JP2013124957A publication Critical patent/JP2013124957A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a car navigation system using a more economical and convenient portable information terminal such as a smartphone by utilizing a camera function of the portable information terminal at maximum.SOLUTION: Image data acquired by utilizing the camera function of the portable information terminal having the camera function and either one or both of car navigation information of an on-vehicle apparatus and navigation information stored in the portable information terminal are combined by the portable information terminal and the combined data are displayed on a screen of the on-vehicle apparatus having a car navigation function.

Description

本発明は、従来のカーナビシステムを拡張すべく、カメラ付きスマートフォン等の携帯情報端末の映像やネットワーク情報と、ナビゲーションのもつ地図およびナビゲーション情報を融合して、
ユーザーにとって新しく、見やすいナビゲーション表示に関する技術である。 In order to extend the conventional car navigation system, the present invention fuses video and network information of a portable information terminal such as a smartphone with a camera, a map with navigation, and navigation information,
It is a technology related to navigation display that is new and easy to see for users.

従来のカーナビゲーションシステムの目的地案内機能は、目的地をセットすると、渋滞を考慮するとか、最短コースにするとか、有料道路または、一般道路有線など、ユーザー好みの手段に応じた最適なルートを検索して、地図上に表示して、交差点や分岐点などにおいて、経路を指示するものであった。 The destination guidance function of the conventional car navigation system has the optimal route according to the user's preference such as setting the destination, considering traffic jams, making it the shortest course, toll road or general road cable. The route is searched and displayed on a map to indicate a route at an intersection or a branch point.

また、公知技術として、特開２００８−２７５５４４のように、ナビゲーション機能を有する車載機器と携帯情報端末との間で、ナビゲーションに関する情報の授受を行うようにして、これにより両者の良いところを互いに選択的に組み合わせるようにした情報伝達装置に関する技術もある。また、特開２００９−２２３４２のように、単に携帯電話のカーナビゲーションの映像をモニターに出力するというものがあった。 In addition, as a publicly known technique, as in Japanese Patent Application Laid-Open No. 2008-275544, navigation-related information is exchanged between an in-vehicle device having a navigation function and a portable information terminal, thereby selecting a good point of both. There is also a technology related to an information transmission device that is combined. Further, as disclosed in Japanese Patent Application Laid-Open No. 2009-22342, there is a method of simply outputting a car navigation image of a mobile phone to a monitor.

近年、カーナビゲーションが進化して、地図情報の表示手段として、２次元から３次元表示のよりリアルな表示になる傾向にあった。そして特開２００９−２４３８８８５のように、カメラ使って、実際の映像にナビ情報を合成して案内するものもでてきた。 In recent years, car navigation has evolved and tends to become a more realistic display from two-dimensional to three-dimensional display as a map information display means. And as disclosed in Japanese Patent Application Laid-Open No. 2009-2438885, there are some that use a camera to synthesize navigation information with an actual video and guide it.

このメリットは、カーナビゲーションや地図情報を提供する側にとっては、変化する建物の情報を逐次収集する必要がなく、開発にかかる手間をかなり省くことができる。また、ユーザーにとっては、実際の映像と合成されるため、わかりやすい表示となっている。 The advantage of this is that it is not necessary for the car navigation and map information provider to sequentially collect information on the changing buildings, and the development effort can be saved considerably. In addition, since it is synthesized with the actual video for the user, the display is easy to understand.

しかし、このためには車載カメラを取り付ける必要があり、カメラ部品代および配線、取り付け工賃など、ユーザーにとってコストが上がってしまうという問題点があった。 However, for this purpose, it is necessary to attach an in-vehicle camera, and there is a problem that the cost for the user increases, such as camera parts fee, wiring, and installation labor.

特開２００８−２７５５４４JP 2008-275544 A 特開２００９−２２３４２JP 2009-22342 特開２００９−２４３８８８５JP 2009-2438885

解決しようとする問題点は、ナビゲーションシステムやカーＡＶシステムにおいてルート案内情報に重ねて実際のカメラ映像を出す方法として、スマートフォン等の携帯情報端末のカメラを使って、安易に安価に見やすいシステムを提供するものである。 The problem to be solved is to provide an easy-to-view and easy-to-view system using a camera of a portable information terminal such as a smartphone as a method of displaying an actual camera image superimposed on route guidance information in a navigation system or car AV system. To do.

本発明の携帯情報端末を用いたナビゲーションシステムは、車両に搭載されており、且つ、ナビゲーション機能を有する車載機器と、カメラ機能を有する携帯情報端末と、前記車載機器と前記情報端末とで相互に情報の授受を行える情報通信手段と、を具備し、前記車載機器のナビゲーション機能によって得られる案内情報を前記情報通信手段によって前記携帯端末に送信し、前記携帯端末でえられるカメラ映像と取得した案内情報を合成し、合成した案内情報を前記情報通信手段によって前記車載機器へ送信し、前記車載機器で合成された案内情報を表示可能に構成することを特徴とする。 A navigation system using a portable information terminal of the present invention is mounted on a vehicle and includes an in-vehicle device having a navigation function, a portable information terminal having a camera function, and the in-vehicle device and the information terminal. An information communication means capable of transmitting and receiving information, and transmitting the guide information obtained by the navigation function of the in-vehicle device to the portable terminal by the information communication means, and the camera image obtained by the portable terminal and the acquired guidance The information is combined, the combined guide information is transmitted to the in-vehicle device by the information communication unit, and the combined information is displayed by the in-vehicle device.

更に、前記携帯情報端末が、携帯電話等の広域通信機能を持たない携帯情報端末より構成しても良い。 Furthermore, the portable information terminal may be constituted by a portable information terminal such as a cellular phone that does not have a wide area communication function.

更に、前記携帯情報端末が複数からなり、前記車載機器の表示部に複数のカメラ映像の合成表示が可能に構成しても良い。 Further, a plurality of the portable information terminals may be provided, and a plurality of camera videos may be combined and displayed on the display unit of the in-vehicle device.

更に、前記車載機器は車載位置測位情報および車速情報等を提供し、前記携帯情報端末はカメラ情報、一測位情報および３次元加速度情報を提供し、両者の情報から有用な情報を演算により取得して、携帯情報端末側で演算して、前記車載機器の表示部へ表示するように構成しても良い。 Furthermore, the in-vehicle device provides in-vehicle position positioning information and vehicle speed information, and the portable information terminal provides camera information, one-position information, and three-dimensional acceleration information, and obtains useful information from both information by calculation. And it may comprise so that it may calculate by the portable information terminal side and may display on the display part of the said vehicle equipment.

更に、前記携帯情報端末のカメラ取得画像を用いて、画像認識技術により、前方の車両を認識検知して車間距離を得る、または、信号や道路標識を認識して識別する、または、車線を認識する、または、歩行者やバイクなどを認識する、のいずれかの１つ以上の認識結果が、前記車載機器の表示に反映されるように構成しても良い。 Furthermore, using a camera-acquired image of the portable information terminal, a vehicle ahead is recognized and detected by an image recognition technology to obtain an inter-vehicle distance, or a signal or a road sign is recognized or identified, or a lane is recognized. Alternatively, one or more recognition results of recognizing a pedestrian or a motorcycle may be reflected on the display of the in-vehicle device.

本発明により、スマートフォン等の携帯情報端末によって撮影した映像を利用し、見やすいナビゲーションシステムを、安価に提供することが可能になる。 According to the present invention, it is possible to provide an easy-to-see navigation system at low cost by using an image captured by a portable information terminal such as a smartphone.

以下、本発明の実施の形態について、図面を踏まえて具体的に説明する。 Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings.

図１は本発明の好ましい実施の形態の一例を示すものであり、携帯電話機等の携帯情報端末２０を用いたナビゲーションシステムに関し、前記携帯情報端末２０はスマートフォンなど、カメラ部２１、ＧＰＳセンサ部２３、加速度センサ部２４を有し、内部メモリ２６に記録させたアプリケーションソフトウエアによって、前記カメラ部２１や前記各種センサ等からのデータに基づいた情報処理が可能なＣＰＵ（演算装置）２５を有するものであり、更に望ましくは予め地図情報が前記内部に記録されるか、有線はたは無線通信手段によって外部から地図情報を取得可能に構成されることが望ましく、前記ＣＰＵ２５による演算結果３２は、ケーブル（もしくは無線通信手段からなる情報通信手段３０）によって、車内１に設置されているナビゲーション機能を有する車載機器（以下、カーナビゲーション装置１０）の外部入出力ポート１７に接続され、前記情報処理結果が前記カーナビゲーション装置１０のモニター表示内容に反映されるように構成される。 FIG. 1 shows an example of a preferred embodiment of the present invention, which relates to a navigation system using a portable information terminal 20 such as a mobile phone, and the portable information terminal 20 includes a camera unit 21 and a GPS sensor unit 23 such as a smartphone. , Having an acceleration sensor unit 24, and having a CPU (arithmetic unit) 25 capable of information processing based on data from the camera unit 21 and the various sensors by application software recorded in an internal memory 26 More preferably, it is desirable that the map information is recorded in advance in the inside or that the map information can be acquired from the outside by wired or wireless communication means. (Or information communication means 30 consisting of wireless communication means). Vehicle device having Geshon function (hereinafter, car navigation device 10) is connected to the external input and output port 17 of, configured such that the information processing result is reflected in the monitor display contents of the car navigation device 10.

更に前記携帯情報端末２０は操作部を兼ねた表示部２２を有し、前記表示部２２は前記カメラ部２１で取得した画像データ３１あるいは、前記ＧＰＳセンサ部２３で取得した緯度経度情報を地図上に表示する地図情報や、前記加速度センサ部２４で取得した加速度情報を表示することができる。 Further, the portable information terminal 20 has a display unit 22 that also serves as an operation unit. The display unit 22 displays image data 31 acquired by the camera unit 21 or latitude / longitude information acquired by the GPS sensor unit 23 on a map. The map information to be displayed and the acceleration information acquired by the acceleration sensor unit 24 can be displayed.

図２は、センターコンソール４付近を通過する車の中央の断面図の一部である。前記携帯情報端末２０は、図２のように、携帯情報端末２０の保持部１２５およびダッシュボード２に固定する部分１２７および連結部１２６からなる固定ホルダにより、車のダッシュボード２に取り付けられる。携帯情報端末２０のカメラ部２１は車両の前方を正面に撮影できるよう保持されている。 FIG. 2 is a part of a cross-sectional view of the center of the vehicle passing near the center console 4. As shown in FIG. 2, the portable information terminal 20 is attached to the dashboard 2 of the vehicle by a fixing holder including a holding portion 125 and a portion 127 fixed to the dashboard 2 and a connecting portion 126 of the portable information terminal 20. The camera unit 21 of the portable information terminal 20 is held so that the front of the vehicle can be photographed in front.

前記カーナビゲーション装置１０は、車両に搭載したＧＰＳセンサ１３の情報から、現在の車両の位置を取得し、また車両からの車速情報である車両のスピードを取得して、目的地までのナビゲーションをすることが可能であり、前記携帯情報端末２０と前記カーナビゲーション装置１０の情報を融合するにあたって、図３のように前記携帯情報端末２０の前記カメラ部２１、ＧＰＳセンサ部２３、加速度センサ部２４は前記ＣＰＵ２５の命令により発信データをメモリ２６に送信することができる。通常はこれらの撮影映像および各種センサの情報内容を前記携帯情報端末２０の表示部２２に体裁を整えて出力できるようになっている。 The car navigation device 10 acquires the current vehicle position from the information of the GPS sensor 13 mounted on the vehicle, acquires the vehicle speed as vehicle speed information from the vehicle, and performs navigation to the destination. When the information of the portable information terminal 20 and the car navigation device 10 is merged, the camera unit 21, the GPS sensor unit 23, and the acceleration sensor unit 24 of the portable information terminal 20 as shown in FIG. The outgoing data can be transmitted to the memory 26 by the instruction of the CPU 25. Normally, these captured images and the information content of various sensors can be output in the form of appearance on the display unit 22 of the portable information terminal 20.

更に、前記撮影映像および各種センサの情報内容は、外部入出力ポート２７と情報伝達手段３０を経由して、前記カーナビゲーション装置１０の外部入出力ポート１７へ送信され、ＣＰＵ１５によりメモリ１６を経由して前記カーナビゲーション装置１０の表示部１１に表示される。 Furthermore, the captured video and the information contents of various sensors are transmitted to the external input / output port 17 of the car navigation apparatus 10 via the external input / output port 27 and the information transmission means 30, and are transmitted via the memory 16 by the CPU 15. Displayed on the display unit 11 of the car navigation device 10.

ここで、伝達される情報が、カメラ部２１から出力されるカメラ映像のみを情報通信手段３０に出力して、ＧＰＳ情報は、より精度のある車載側のＧＰＳセンサ１３を利用して前記カーナビゲーション装置１０の表示部１１に情報を表示してもよい。 Here, the transmitted information outputs only the camera image output from the camera unit 21 to the information communication means 30, and the GPS information is obtained by using the car-mounted GPS sensor 13 with higher accuracy. Information may be displayed on the display unit 11 of the apparatus 10.

さらにここで、伝達されるカメラ部２１による画像データ３１については、そのままの映像を出力してもよいが、安全運転支援のための画像認識処理を施してもよく、前記画像認識処理は、前記携帯情報端末２０で行ってもよいし、前記カーナビゲーション装置１０で行ってもよい。 Further, the image data 31 transmitted by the camera unit 21 may be output as it is, but may be subjected to image recognition processing for safe driving support, and the image recognition processing is performed as described above. It may be performed by the portable information terminal 20 or by the car navigation device 10.

また、前記携帯情報端末２０と、前記カーナビゲーション装置１０で同じ処理を両方でやってもよいし、別々の認識処理を行ってもよい。 Moreover, the same processing may be performed by both the portable information terminal 20 and the car navigation device 10, or separate recognition processing may be performed.

前記画像認識については、例えば、前方を走る車両の認識、自転車、バイク等の認識、歩行者認識、道路標識の認識、信号の認識等が考えられ、その場合、前記携帯情報端末２０と、前記カーナビゲーション装置１０が、それぞれの処理を分担して行うのもよいし、例えば、車両認識を携帯情報端末２０と、前記カーナビゲーション装置１０の両方で行い、精度を高めるということも考えられる。 As for the image recognition, for example, recognition of a vehicle running ahead, recognition of a bicycle, a motorbike, etc., pedestrian recognition, road sign recognition, signal recognition, etc., in that case, the portable information terminal 20 and the above The car navigation device 10 may perform the respective processes in a shared manner. For example, it is conceivable that vehicle recognition is performed by both the portable information terminal 20 and the car navigation device 10 to improve accuracy.

また、前記携帯情報端末２０と、前記カーナビゲーション装置１０が交互のフレームの処理を行い、認識フレームレートを向上させることも考えられ、ここが、単なるカメラではなく前記携帯情報端末２０のカメラ部２１を利用する利点の一つともいえる。 It is also conceivable that the portable information terminal 20 and the car navigation device 10 perform alternate frame processing to improve the recognition frame rate, which is not a mere camera but a camera unit 21 of the portable information terminal 20. It can be said that it is one of the advantages of using.

図８では画像認識処理を携帯情報端末２０と、前記カーナビゲーション装置１０の両方で行う場合について説明する。 FIG. 8 illustrates a case where the image recognition process is performed by both the portable information terminal 20 and the car navigation device 10.

画像データ３１は前記携帯情報端末２０で演算装置２５により処理されるとともに、その画像データ３１は同時に前記カーナビゲーション装置１０にも転送され、前記カーナビゲーション装置１０の演算装置１５でも計算され、前記携帯情報端末２０の演算結果３２は車載側の端末の演算装置による演算結果３３にも反映され、送信データは図１でいう情報通信手段３０を経由して執り行われる。 The image data 31 is processed by the computing device 25 in the portable information terminal 20, and the image data 31 is simultaneously transferred to the car navigation device 10 and is also calculated by the computing device 15 of the car navigation device 10. The calculation result 32 of the information terminal 20 is also reflected in the calculation result 33 by the calculation device of the terminal on the vehicle-mounted side, and the transmission data is performed via the information communication means 30 shown in FIG.

尚、前方車両を認識させる際、前記携帯情報端末２０をホルダに固定しておくことにより、前記携帯情報端末２０のカメラ部２１の姿勢を水平に保つ。 Note that when the front vehicle is recognized, the portable information terminal 20 is fixed to a holder, so that the posture of the camera unit 21 of the portable information terminal 20 is kept horizontal.

図４の自車両１００において、カメラ部２１の位置１１０は、カメラが水平で且つ、車の向きに平行に設置する。 In the host vehicle 100 of FIG. 4, the camera unit 21 is placed at a position 110 in which the camera is horizontal and parallel to the direction of the vehicle.

カメラを水平に設置する方法はいろいろ考えられるが、前記携帯情報端末２０に搭載されている３軸の加速度センサを利用すると比較的容易に設置できる。こうしてカメラ部２１が水平および、車の向きと水平に設置されると、図５のように、カメラ部２１による画像エリア２００領域中の中心の平行線２０１は実際の水平線と一致する。 Various methods for horizontally installing the camera are conceivable, but the camera can be installed relatively easily by using a three-axis acceleration sensor mounted on the portable information terminal 20. When the camera unit 21 is installed horizontally and horizontally with the direction of the car, the parallel line 201 at the center in the image area 200 region by the camera unit 21 coincides with the actual horizontal line as shown in FIG.

そして、道路２０２を走行する前方車両１０１を画像認識により検出し、その最下点のライン２０３を検出でき、その時、カメラ部２１の画角がわかっていれば、図４における前方車両の最下点の角度１０４が計算でき、また、設置するときにあらかじめカメラ部２１の高さ１０３がわかっていれば、前方車両との距離１０２も計算することが可能となる。 Then, the front vehicle 101 traveling on the road 202 can be detected by image recognition, and the line 203 at the lowest point can be detected. At that time, if the angle of view of the camera unit 21 is known, the lowest vehicle ahead in FIG. If the point angle 104 can be calculated, and if the height 103 of the camera unit 21 is known in advance at the time of installation, the distance 102 to the vehicle ahead can also be calculated.

このように、三角測量の原理で、前方車両との距離を計算し、車速に応じて車間距離の近づき具合により危険度を計算して、前記携帯情報端末２０の表示部２２や前記カーナビゲーション装置１０の表示部１１に警告表示を行うとともに、車載機スピーカー１８やスマートフォンスピーカー２８から警告音や警告の音声を出力してもよい。 As described above, the distance from the vehicle ahead is calculated based on the principle of triangulation, the degree of danger is calculated based on the approaching distance between the vehicles according to the vehicle speed, and the display unit 22 or the car navigation device of the portable information terminal 20 is calculated. Warning display and warning sound may be output from the in-vehicle device speaker 18 and the smart phone speaker 28 as well as displaying warnings on the ten display units 11.

携帯情報端末２０は、図３のように、カメラ機能を持つものであれば、携帯電話のいわゆる３Ｇ回線などの機能やＷＩＭＡＸ（登録商標）などの広域無線ＬＡＮ機能を持たないものでも構わない。 As long as the portable information terminal 20 has a camera function as shown in FIG. 3, the portable information terminal 20 may not have a function such as a so-called 3G line of a cellular phone or a wide area wireless LAN function such as WIMAX (registered trademark).

携帯情報端末２０は複数台使用することも考えられる。例えば、図６のように前方に向けて前記携帯情報端末２０のカメラ部２１を設置することに加えて、別の携帯情報端末４０のカメラを後方に向けて設置するものや、左側面に向けて別の携帯情報端末５０を設置するものや、別の携帯情報端末６０を右側面に向けて設置するものでも構わない。 A plurality of portable information terminals 20 may be used. For example, in addition to installing the camera unit 21 of the portable information terminal 20 facing forward as shown in FIG. 6, the camera of another portable information terminal 40 is installed facing backward, Alternatively, another portable information terminal 50 may be installed, or another portable information terminal 60 may be installed facing the right side.

合成される図の一例として、図７のように全体画面２００を分割して、前方画像２１０を中心に、後方画像２１１、左側方画像２１２、右側方２１３を表示してもいい。比率や表示方法については俯瞰方式を取るなどいろいろと考えられる。 As an example of a figure to be combined, the entire screen 200 may be divided as shown in FIG. 7 and a rear image 211, a left side image 212, and a right side 213 may be displayed with a front image 210 as a center. There are various ways to take a bird's-eye view of the ratio and display method.

また、後方画像２１１、左側方画像２１２、右側方２１３については、画像認識により危険を感知した時だけ表示しても良く、複数台の場合のデータのやり取りは、有線ケーブルを使用してもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線の手段を用いてもよい。 Further, the rear image 211, the left side image 212, and the right side 213 may be displayed only when danger is detected by image recognition, and a wired cable may be used for data exchange in the case of a plurality of units. However, wireless means such as Bluetooth (registered trademark) or wireless LAN may be used.

スマートフォン等の携帯情報端末２０に内蔵されているカメラ２１や、各種センサおよび、ＣＰＵ（演算装置）２５、メモリ２６を利用し、その演算結果３２を車載のナビゲーション装置の情報処理と連携することにより、より高度な、情報処理は、機能表示が可能になり、産業上有効に利用することができる。 By using the camera 21 incorporated in the portable information terminal 20 such as a smartphone, various sensors, a CPU (arithmetic unit) 25, and a memory 26, the calculation result 32 is linked with information processing of an in-vehicle navigation device. More advanced information processing enables function display and can be used industrially effectively.

一実施の形態の車載機器端末とカメラ機能を有する情報機器端末の例Example of in-vehicle device terminal and information device terminal having camera function according to one embodiment 一実施の形態の携帯情報端末機器と、車載端末の配置例Arrangement example of portable information terminal device and in-vehicle terminal of one embodiment 一実施の形態の携帯情報端末機器と車載端末の配置例Example of arrangement of portable information terminal device and in-vehicle terminal according to one embodiment 一実施の形態の前方車両の距離計測原理The distance measurement principle of the vehicle ahead in one embodiment 一実施の形態の前方車両の認識画面Front vehicle recognition screen of one embodiment 一実施の形態の複数台の携帯情報端末設置Installation of a plurality of portable information terminals in one embodiment 一実施の形態の複数台時の表示法Display method for multiple units in one embodiment 一実施の形態の画像処理の分散方法Distributing method of image processing according to one embodiment

１：車内、２：ダッシュボード、３：ハンドル、４：センターコンソール、１０：カーナビゲーション装置、１１：表示部、１３：ＧＰＳセンサ、１５：ＣＰＵ（演算装置）、１６：メモリ、１７：外部入出力ポート、１８：車載機スピーカー、２０：携帯情報端末、２１：カメラ部、２２：表示部、２３：ＧＰＳセンサ部、２４：加速度センサ部、２５：ＣＰＵ（演算装置）、２６：メモリ、２７：外部入出力ポート、２８：スピーカー、３０：情報通信手段、３１：画像データ、３２：演算結果、３３：演算結果、４０：携帯情報端末、５０：携帯情報端末、６０：携帯情報端末、１００：自車両、１０１：前方車両、１０２：携帯情報端末のカメラから前方車両までの距離、１０３：高さ、１０４：最下点の角度、１１０：位置、１２５：保持部、１２６：連結部、１２７：ダッシュボードに固定する部分、２００：画像エリア、２０１：平行線、２０２：道路、２０３：最下点のライン、２１０：前方画像、２１１：後方画像、２１２：左側方画像、２１３：右側方画像 1: In-car, 2: Dashboard, 3: Handle, 4: Center console, 10: Car navigation device, 11: Display unit, 13: GPS sensor, 15: CPU (arithmetic unit), 16: Memory, 17: External input Output port, 18: vehicle-mounted device speaker, 20: portable information terminal, 21: camera unit, 22: display unit, 23: GPS sensor unit, 24: acceleration sensor unit, 25: CPU (computing device), 26: memory, 27 : External input / output port, 28: speaker, 30: information communication means, 31: image data, 32: calculation result, 33: calculation result, 40: portable information terminal, 50: portable information terminal, 60: portable information terminal, 100 : Host vehicle, 101: front vehicle, 102: distance from the camera of the portable information terminal to the front vehicle, 103: height, 104: angle of the lowest point, 110: position, 12 : Holding part, 126: connecting part, 127: part fixed to the dashboard, 200: image area, 201: parallel lines, 202: road, 203: line at the lowest point, 210: front image, 211: rear image, 212: Left side image, 213: Right side image

Claims (5)

車両に搭載されており、且つ、ナビゲーション機能を有する車載機器と、
カメラ機能を有する携帯情報端末と、
前記車載機器と前記情報端末とで相互に情報の授受を行える情報通信手段と、
を具備し、
前記車載機器のナビゲーション機能によって得られる案内情報を前記情報通信手段によって
前記携帯端末に送信し、前記携帯端末でえられるカメラ映像と取得した案内情報を合成し、
合成した案内情報を前記情報通信手段によって前記車載機器へ送信し、
前記車載機器で合成された案内情報を表示可能に構成することを特徴とする携帯情報端末を用いたナビゲーションシステム。 An in-vehicle device mounted on a vehicle and having a navigation function;
A portable information terminal having a camera function;
Information communication means that can exchange information between the in-vehicle device and the information terminal;
Comprising
The guidance information obtained by the navigation function of the in-vehicle device is transmitted to the portable terminal by the information communication means, and the camera image obtained by the portable terminal and the obtained guidance information are combined,
Send the combined guidance information to the in-vehicle device by the information communication means,
A navigation system using a portable information terminal configured to display guidance information synthesized by the in-vehicle device. 前記携帯情報端末が、携帯電話等の広域通信機能を持たない携帯情報端末より構成されることを特徴とする請求項１に記載の携帯情報端末を用いたナビゲーションシステム。 The navigation system using a portable information terminal according to claim 1, wherein the portable information terminal is configured by a portable information terminal having no wide-area communication function such as a cellular phone. 前記携帯情報端末が複数からなり、
前記車載機器の表示部に複数のカメラ映像の合成表示が可能に構成されることを特徴とする請求項１または２記載の携帯情報端末を用いたナビゲーションシステム。 The portable information terminal comprises a plurality of
The navigation system using a portable information terminal according to claim 1 or 2, wherein a composite image of a plurality of camera images can be displayed on the display unit of the in-vehicle device. 前記車載機器は車載位置測位情報および車速情報等を提供し、前記携帯情報端末はカメラ情報、一測位情報および３次元加速度情報を提供し、
両者の情報から有用な情報を演算により取得して、携帯情報端末側で演算して、前記車載機器の表示部へ表示するように構成された請求項１〜３の何れか１項記載の携帯情報端末を用いたナビゲーションシステム。 The in-vehicle device provides in-vehicle position positioning information and vehicle speed information, and the portable information terminal provides camera information, one-position information, and three-dimensional acceleration information,
The mobile phone according to any one of claims 1 to 3, wherein useful information is obtained from both pieces of information, calculated on the mobile information terminal side, and displayed on the display unit of the in-vehicle device. A navigation system using information terminals. 前記携帯情報端末のカメラ取得画像を用いて、画像認識技術により、前方の車両を認識検知して車間距離を得る、または、信号や道路標識を認識して識別する、または、車線を認識する、または、歩行者やバイクなどを認識する、のいずれかの１つ以上の認識結果が前記車載機器の表示に反映されるように構成されることを特徴とする、請求項１〜４の何れか１項記載の携帯情報端末を用いたナビゲーションシステム。 Using the camera acquisition image of the portable information terminal, by image recognition technology, the vehicle ahead is recognized and detected to obtain the inter-vehicle distance, or the signal or road sign is recognized or identified, or the lane is recognized. Alternatively, any one or more recognition results for recognizing a pedestrian, a motorcycle, and the like are configured to be reflected in the display of the in-vehicle device. A navigation system using the portable information terminal according to item 1.
JP2011274286A 2011-12-15 2011-12-15 Navigation system using portable information terminal Pending JP2013124957A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011274286A JP2013124957A (en) 2011-12-15 2011-12-15 Navigation system using portable information terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011274286A JP2013124957A (en) 2011-12-15 2011-12-15 Navigation system using portable information terminal

Publications (1)

Publication Number Publication Date
JP2013124957A true JP2013124957A (en) 2013-06-24

Family

ID=48776283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011274286A Pending JP2013124957A (en) 2011-12-15 2011-12-15 Navigation system using portable information terminal

Country Status (1)

Country Link
JP (1) JP2013124957A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069276A (en) * 2013-09-27 2015-04-13 日産自動車株式会社 Vehicle rear-image presentation device
WO2015075868A1 (en) * 2013-11-19 2015-05-28 株式会社カーメイト Vehicular fragrance producing device
JP2015101150A (en) * 2013-11-22 2015-06-04 三菱電機株式会社 Safe driving support device and safe driving support method
DE102014209678A1 (en) * 2014-05-21 2015-11-26 Robert Bosch Gmbh Method and device for determining a vehicle position of a vehicle relative to a reference position
JP2016005234A (en) * 2014-06-19 2016-01-12 株式会社デンソー On-vehicle display device
KR101601500B1 (en) * 2014-10-08 2016-03-09 현대자동차주식회사 System and Method for assisting vehicle driving for using smartphone
JP2016066213A (en) * 2014-09-24 2016-04-28 シャープ株式会社 Operation support device, operation presentation terminal, operation support method, operation support system, program, and recording medium
WO2017089056A1 (en) * 2015-11-23 2017-06-01 Magna Mirrors Holding Gmbh Motor vehicle comprising an electronic device
KR20180026316A (en) * 2016-09-02 2018-03-12 현대 아메리카 테크니컬 센타, 아이엔씨 System and method for vehicular and mobile communication device connectivity
JP2018507479A (en) * 2015-02-02 2018-03-15 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Driver assistance system for automobiles
CN110455308A (en) * 2019-08-16 2019-11-15 百度在线网络技术（北京）有限公司 Air navigation aid, navigation device, electronic equipment and storage medium
JP2020158114A (en) * 2020-06-02 2020-10-01 株式会社ユピテル Imaging apparatus, system, and forklift equipped with system
CN114459499A (en) * 2022-03-10 2022-05-10 北斗星通智联科技有限责任公司 Automobile navigation projection system, method, automobile and computer readable storage medium

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105640A (en) * 2004-10-01 2006-04-20 Hitachi Ltd Navigation system
JP2006119965A (en) * 2004-10-22 2006-05-11 Mitsubishi Fuso Truck & Bus Corp On-vehicle alarm system
JP2006250917A (en) * 2005-02-14 2006-09-21 Kazuo Iwane High-precision cv arithmetic unit, and cv-system three-dimensional map forming device and cv-system navigation device provided with the high-precision cv arithmetic unit
JP2007069730A (en) * 2005-09-07 2007-03-22 Nissan Motor Co Ltd Alarm device for vehicle
JP2007121001A (en) * 2005-10-26 2007-05-17 Matsushita Electric Ind Co Ltd Navigation device
US20070203646A1 (en) * 2005-12-31 2007-08-30 Diaz Melvin B Image correction method and apparatus for navigation system with portable navigation unit
JP2009130836A (en) * 2007-11-27 2009-06-11 Hitachi Ltd Emergency information receiving system, vehicle mounted apparatus, and car navigation apparatus
JP2010149847A (en) * 2009-12-25 2010-07-08 Fujitsu Ten Ltd Driving assist device
JP2010193318A (en) * 2009-02-19 2010-09-02 Fujitsu Ten Ltd Onboard system, onboard device, and mobile terminal apparatus
JP2011196787A (en) * 2010-03-18 2011-10-06 Toshiba Corp Video processing apparatus, video processing method and video imaging apparatus
US20110304444A1 (en) * 2010-06-15 2011-12-15 Gm Global Technology Operations, Inc. Portable vision system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105640A (en) * 2004-10-01 2006-04-20 Hitachi Ltd Navigation system
JP2006119965A (en) * 2004-10-22 2006-05-11 Mitsubishi Fuso Truck & Bus Corp On-vehicle alarm system
JP2006250917A (en) * 2005-02-14 2006-09-21 Kazuo Iwane High-precision cv arithmetic unit, and cv-system three-dimensional map forming device and cv-system navigation device provided with the high-precision cv arithmetic unit
JP2007069730A (en) * 2005-09-07 2007-03-22 Nissan Motor Co Ltd Alarm device for vehicle
JP2007121001A (en) * 2005-10-26 2007-05-17 Matsushita Electric Ind Co Ltd Navigation device
US20070203646A1 (en) * 2005-12-31 2007-08-30 Diaz Melvin B Image correction method and apparatus for navigation system with portable navigation unit
JP2009130836A (en) * 2007-11-27 2009-06-11 Hitachi Ltd Emergency information receiving system, vehicle mounted apparatus, and car navigation apparatus
JP2010193318A (en) * 2009-02-19 2010-09-02 Fujitsu Ten Ltd Onboard system, onboard device, and mobile terminal apparatus
JP2010149847A (en) * 2009-12-25 2010-07-08 Fujitsu Ten Ltd Driving assist device
JP2011196787A (en) * 2010-03-18 2011-10-06 Toshiba Corp Video processing apparatus, video processing method and video imaging apparatus
US20110304444A1 (en) * 2010-06-15 2011-12-15 Gm Global Technology Operations, Inc. Portable vision system

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069276A (en) * 2013-09-27 2015-04-13 日産自動車株式会社 Vehicle rear-image presentation device
WO2015075868A1 (en) * 2013-11-19 2015-05-28 株式会社カーメイト Vehicular fragrance producing device
JP2015101150A (en) * 2013-11-22 2015-06-04 三菱電機株式会社 Safe driving support device and safe driving support method
DE102014209678A1 (en) * 2014-05-21 2015-11-26 Robert Bosch Gmbh Method and device for determining a vehicle position of a vehicle relative to a reference position
JP2016005234A (en) * 2014-06-19 2016-01-12 株式会社デンソー On-vehicle display device
JP2016066213A (en) * 2014-09-24 2016-04-28 シャープ株式会社 Operation support device, operation presentation terminal, operation support method, operation support system, program, and recording medium
US9884589B2 (en) 2014-10-08 2018-02-06 Hyundai Motor Company System and method for assisting vehicle driving for using smart phone
KR101601500B1 (en) * 2014-10-08 2016-03-09 현대자동차주식회사 System and Method for assisting vehicle driving for using smartphone
JP2018507479A (en) * 2015-02-02 2018-03-15 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Driver assistance system for automobiles
US10460605B2 (en) 2015-02-02 2019-10-29 Robert Bosch Gmbh Driver assistance system for a motor vehicle
JP2020126664A (en) * 2015-02-02 2020-08-20 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ Driver assistance system for motor vehicle
WO2017089056A1 (en) * 2015-11-23 2017-06-01 Magna Mirrors Holding Gmbh Motor vehicle comprising an electronic device
KR20180026316A (en) * 2016-09-02 2018-03-12 현대 아메리카 테크니컬 센타, 아이엔씨 System and method for vehicular and mobile communication device connectivity
KR101927170B1 (en) * 2016-09-02 2018-12-10 현대자동차 주식회사 System and method for vehicular and mobile communication device connectivity
CN110455308A (en) * 2019-08-16 2019-11-15 百度在线网络技术（北京）有限公司 Air navigation aid, navigation device, electronic equipment and storage medium
CN110455308B (en) * 2019-08-16 2021-10-01 百度在线网络技术（北京）有限公司 Navigation method, navigation device, electronic device and storage medium
JP2020158114A (en) * 2020-06-02 2020-10-01 株式会社ユピテル Imaging apparatus, system, and forklift equipped with system
CN114459499A (en) * 2022-03-10 2022-05-10 北斗星通智联科技有限责任公司 Automobile navigation projection system, method, automobile and computer readable storage medium

Similar Documents

Publication Publication Date Title
JP2013124957A (en) Navigation system using portable information terminal
JP4293917B2 (en) Navigation device and intersection guide method
JP5058243B2 (en) Vehicle guidance device, vehicle guidance method, and vehicle guidance program
JP2010271155A (en) Current position determining device and current position determining method
WO2011119358A1 (en) Navigation system with image assisted navigation mechanism and method of operation thereof
CN102951089A (en) Vehicle-mounted navigation and active safety system based on mobile equipment camera
JP4601505B2 (en) Top-view image generation apparatus and top-view image display method
TW200848703A (en) Navigation assistance using camera
JP2007172541A (en) Driving support device
JP2011109170A (en) Vehicle surrounding display device and vehicle surrounding display method
JP2020095406A (en) On-vehicle device, program, and vehicle
JP2020065141A (en) Vehicle overhead image generation system and method thereof
JP2019109707A (en) Display control device, display control method and vehicle
US20180232868A1 (en) Image processing apparatus and image processing method
US10685563B2 (en) Apparatus, systems, and methods for detecting, alerting, and responding to an emergency vehicle
EP1669722A1 (en) Vehicle-mounted communication device
JP2012037475A (en) Server device, navigation system and navigation device
JP2014234139A (en) On-vehicle display device and program
JP4800252B2 (en) In-vehicle device and traffic information presentation method
KR20130062523A (en) Augmented reality head up display system of vehicle
JP5680481B2 (en) In-vehicle system
JP6953088B2 (en) Electronic devices and parking assistance methods
JP6221562B2 (en) Vehicle information presentation device
JP2019117435A (en) Image generation device
JP2016133451A (en) Onboard control unit, mobile terminal, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160831