JP2012091625A - Driving support system, driving support method, and driving support program - Google Patents

Driving support system, driving support method, and driving support program Download PDF

Info

Publication number
JP2012091625A
JP2012091625A JP2010239460A JP2010239460A JP2012091625A JP 2012091625 A JP2012091625 A JP 2012091625A JP 2010239460 A JP2010239460 A JP 2010239460A JP 2010239460 A JP2010239460 A JP 2010239460A JP 2012091625 A JP2012091625 A JP 2012091625A
Authority
JP
Japan
Prior art keywords
image
vehicle position
displayed
driving support
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010239460A
Other languages
Japanese (ja)
Other versions
JP5709460B2 (en
Inventor
Yoji Igarashi
洋二 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2010239460A priority Critical patent/JP5709460B2/en
Publication of JP2012091625A publication Critical patent/JP2012091625A/en
Application granted granted Critical
Publication of JP5709460B2 publication Critical patent/JP5709460B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a driving support system, a driving support method, and a driving support program which basically indicate a road map, and also indicate an imaging picture corresponding to an operation of a driver in a way as simple and easy to understand as possible.SOLUTION: The driving support system includes: a position detection unit 100 for detecting a position of its own car; a display 30; a display means capable of displaying the road map surrounding the position of its own car as well as a mark M of its own car; an imaging camera 40 for imaging the periphery of its own car; an image processing device 50 for executing image processing of imaging signals from an imaging camera 40, and generating a thumbnail image or an overhead image; an input position detecting means for detecting the position on the display input by the user; and a display control means for displaying the thumbnail image around the position mark M of its own car when the position mark M of its own car is selected by input of the user.

Description

本発明は、車載用カメラを搭載した電子装置の運転支援システム、運転支援方法および運転支援プログラムに関し、特に、ナビゲーション画面を表示しているときの車載カメラによる映像の切替に関する。   The present invention relates to a driving support system, a driving support method, and a driving support program for an electronic device equipped with a vehicle-mounted camera, and more particularly to switching of an image by a vehicle-mounted camera when a navigation screen is displayed.

自動車等の移動体に撮像カメラを搭載し、その撮像映像を利用したアプリケーションが急拡大している。このようなアプリケーションの多くは、撮像カメラで撮像された画像を表示し、運転者の死角を補助するような運転支援システムに関するものである。例えば、車両遠方の障害物を撮影するカメラシステム(コーナーモニターシステムなど)、車両近傍の死角障害物を撮影するシステム(サイドビューカメラシステム)、後方障害物を撮像したり車庫入れを案内するシステム(リアビューシステムなど)である。また、車両の前方、後方、側方に複数の撮像カメラを装備し、これらの撮像カメラからの画像を組み合わせて車両の真上方向から見下ろすような俯瞰画像(トップビューシステムなど)を表示したり、各撮像カメラの画像に視点を切替られるようにした運転支援システムも実用化されている。   An imaging camera is mounted on a moving body such as an automobile, and applications using the captured image are rapidly expanding. Many of such applications relate to a driving support system that displays an image captured by an imaging camera and assists the driver's blind spot. For example, a camera system (such as a corner monitor system) that captures obstacles far away from the vehicle, a system that captures blind spots in the vicinity of the vehicle (side view camera system), a system that images rear obstacles and guides garage entry ( Rear view system). Also, equipped with multiple imaging cameras at the front, rear, and sides of the vehicle, combining the images from these imaging cameras to display a bird's-eye view image (top view system, etc.) that looks down from directly above the vehicle In addition, a driving support system that can switch the viewpoint to an image of each imaging camera has been put into practical use.

車両後方に1つの撮像カメラを搭載し、後退時の駐車支援などの安全確認を行うリアビューシステムとナビゲーションシステムとの組み合わせでは、一般にバックギアに連動してディスプレイに後方の撮像画像を表示している。また、撮像カメラによる撮像画像の表示とナビゲーション動作との連携を試みた提案がなされている。例えば、特許文献1は、ナビゲーション画像上に、撮像手段によって撮像された異なる方向の複数の画像を重畳して表示するものである。特許文献2は、自車周辺の環境状態または自車の走行状態に基づいて、表示させる画像の優先度を変更し、切替スイッチから信号を受けたときに優先度の順位に従って順次画像を切替えるものである。さらに特許文献3は、自車が交差点又は分岐点の手前の所定距離に至った時点で、撮像カメラにより撮像された周辺画像を表示させ、自車位置が交差点内の視認可能な位置に進入したと判断された時点で周辺画像を停止させるものである。   In combination with a rear view system and a navigation system that has a single imaging camera behind the vehicle and performs safety checks such as parking assistance when reversing, the rear captured image is generally displayed on the display in conjunction with the back gear. . In addition, proposals have been made that try to link the display of the captured image by the imaging camera and the navigation operation. For example, Patent Document 1 is to display a plurality of images in different directions captured by an imaging unit in a superimposed manner on a navigation image. Patent document 2 changes the priority of the image to be displayed based on the environmental condition around the own vehicle or the running state of the own vehicle, and sequentially switches the image according to the priority order when receiving a signal from the changeover switch. It is. Further, Patent Document 3 displays a peripheral image captured by the imaging camera when the vehicle reaches a predetermined distance before the intersection or branch point, and the vehicle position has entered a visible position in the intersection. The peripheral image is stopped when it is determined.

特開2001−84500号公報JP 2001-84500 A 特開2010−69943号公報JP 2010-69943 A 特許4432801号号公報Japanese Patent No. 4432801

しかしながら、複数の車載カメラにより撮像画像を表示する従来の運転支援システムには、次のような課題がある。車両に搭載される撮像カメラの数が増えるにつれ、特に、撮像カメラの視点切替え操作が煩雑になっている。また、道路地図を表示しているナビゲーションシステムから所望の撮像カメラの画像への切替を簡便かつ操作が容易な方法で行えることが安全上重要である。そこで、車両の走行状態や運転状態に応じて、最適な視点のカメラ画像を表示する運転支援システムが考案されている。   However, the conventional driving support system that displays captured images with a plurality of in-vehicle cameras has the following problems. As the number of imaging cameras mounted on a vehicle increases, in particular, the viewpoint switching operation of the imaging cameras becomes complicated. In addition, it is important for safety that switching from a navigation system displaying a road map to an image of a desired imaging camera can be performed by a simple and easy operation method. In view of this, a driving support system has been devised that displays a camera image of an optimal viewpoint according to the traveling state and driving state of the vehicle.

図14は、従来の運転支援システムの一例を説明する図である。図14(a)に示すように、ディスプレイ上にナビゲーションシステムによる道路地図が表示されているとき、その画面には、カメラ画像に切替えるための入力キーK1が表示されている。ユーザが入力キーK1を選択すると、図14(b)に示すように、道路地図画面の全体または一部に、フロントの撮像カメラで撮像されたカメラ画像が表示される。このとき、ディスプレイには、フロントカメラ画像を切替えるための、パノラマ、コーナー、トップ(俯瞰画像)のカメラ画像に視点変換を行うための視点切替キーK2が表示される。ユーザによっていずれの視点切替キーK2が選択されると、選択されたカメラ画像に切替えられる。また、予めカメラ画像を表示したい地点を登録しておき、その地点で自動的にカメラ画像を表示させることも可能になっている。   FIG. 14 is a diagram illustrating an example of a conventional driving support system. As shown in FIG. 14 (a), when a road map by the navigation system is displayed on the display, an input key K1 for switching to a camera image is displayed on the screen. When the user selects the input key K1, as shown in FIG. 14B, a camera image captured by the front imaging camera is displayed on the whole or a part of the road map screen. At this time, a viewpoint switching key K2 for performing viewpoint conversion on the panorama, corner, and top (overhead image) camera images for switching the front camera image is displayed on the display. When any viewpoint switching key K2 is selected by the user, the camera image is switched to the selected camera image. It is also possible to register a point where a camera image is to be displayed in advance and automatically display the camera image at that point.

しかし、このような従来の運転支援システムにおいて、走行状態や運転状態、周囲環境を最適に把握することは現実には難しく、必ずしもドライバが所望するカメラ画像が表示されるとは限らなかった。また、場合によっては、ドライバがナビゲーションの道路地図画面を見たいにも関わらず、意図しないカメラ画像が表示されてしまうこともあった。さらにユーザによる操作性も煩雑であった。   However, in such a conventional driving support system, it is actually difficult to optimally grasp the driving state, the driving state, and the surrounding environment, and the camera image desired by the driver is not always displayed. In some cases, an unintended camera image may be displayed even though the driver wants to see a road map screen for navigation. Further, the operability by the user is complicated.

そこで本発明では、道路地図の表示を基本としながらも、できるだけ簡便でかつ分かりやすい方法で、ドライバの操作に応じた撮像映像を表示する運転支援システム、運転支援方法および運転支援プログラムを提供することを目的とする。   Accordingly, the present invention provides a driving support system, a driving support method, and a driving support program that display a captured image according to a driver's operation in a method that is as simple and easy to understand as possible while being based on display of a road map. With the goal.

本発明に係る運転支援システムは、自車位置を検出する検出手段と、ディスプレイと、前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、自車周辺を撮像する撮像手段と、前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、前記入力位置検出手段の検出結果に基づき自車位置マークが選択された場合に、前記撮像画像を自車位置マークの周辺に表示させる表示制御手段とを有する。   The driving support system according to the present invention includes a detection means for detecting a vehicle position, a display, a road map around the vehicle position based on the vehicle position detected by the detection means, and a vehicle position representing the vehicle position. Display means capable of displaying a mark on a display, imaging means for imaging the periphery of the vehicle, image processing means for image-processing an imaging signal from the imaging means to generate a captured image, on a display input by a user Input position detection means for detecting a position; and display control means for displaying the captured image around the vehicle position mark when the vehicle position mark is selected based on a detection result of the input position detection means. .

好ましくは前記撮像画像の表示位置は、自車を上方から見たときの前記撮像手段の取り付け位置に対応する。好ましくは前記撮像画像は、予め決められたサイズのサムネイル画像である。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記撮像画像が選択された場合に、前記選択された撮像画像の拡大画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、自車を上方から見下ろすような俯瞰画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、予め設定した任意の位置の撮像手段に対応する撮像画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき自車位置マークおよび前記撮像画像以外が選択された場合に、道路地図および自車位置マークを含む元の画面を表示させる。好ましくは前記表示制御手段は、前記拡大画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記拡大画像が選択された場合に、自車位置マークの周辺に撮像画像が表示された元の画面を表示させる。好ましくは前記表示制御手段は、前記俯瞰画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記俯瞰画像が選択された場合に、自車位置マーク周辺に撮像画像が表示された元の画面を表示させる。   Preferably, the display position of the captured image corresponds to the mounting position of the imaging means when the host vehicle is viewed from above. Preferably, the captured image is a thumbnail image having a predetermined size. Preferably, the display control unit is selected when the captured image is selected based on a detection result of the input position detection unit in a state where the captured image is displayed around the vehicle position mark. An enlarged image of the captured image is displayed. Preferably, the display control unit is configured to detect the vehicle when the vehicle position mark is selected based on a detection result of the input position detection unit in a state where the captured image is displayed around the vehicle position mark. A bird's-eye view image looking down from above is displayed. Preferably, the display control unit is set in advance when the vehicle position mark is selected based on a detection result of the input position detection unit in a state where the captured image is displayed around the vehicle position mark. The captured image corresponding to the imaging means at an arbitrary position is displayed. Preferably, when the captured image is displayed in the vicinity of the vehicle position mark, the display control unit selects a vehicle other than the vehicle position mark and the captured image based on a detection result of the input position detection unit. The original screen including the road map and the vehicle position mark is displayed. Preferably, the display control means displays a captured image around the vehicle position mark when the enlarged image is selected based on a detection result of the input position detection means in a state where the enlarged image is displayed. Display the original screen. Preferably, the display control means displays a captured image around the vehicle position mark when the overhead image is selected based on the detection result of the input position detection means in a state where the overhead image is displayed. Display the original screen.

本発明に係る運転支援方法は、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置におけるものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。   A driving support method according to the present invention is an electronic device having a function of displaying a road map around a host vehicle position and a function of displaying an image from an imaging unit that images the periphery of the host vehicle. When the position is detected, the road map around the vehicle position based on the detected vehicle position and the vehicle position mark indicating the vehicle position are displayed on the display, and when the road map and the vehicle position mark are displayed, When the vehicle position mark is selected by user input, the captured image captured by the imaging unit is displayed around the vehicle position mark.

本発明に係る運転支援プログラムは、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置が実行するものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。   The driving support program according to the present invention is executed by an electronic device having a function of displaying a road map around the vehicle position and a function of displaying an image from an imaging unit that images the vehicle periphery. The vehicle position is detected, the road map around the vehicle position based on the detected vehicle position and the vehicle position mark indicating the vehicle position are displayed on the display, and the road map and the vehicle position mark are displayed. When the vehicle position mark is selected by user input, the captured image captured by the imaging unit is displayed around the vehicle position mark.

本発明によれば、通常のナビゲーション動作により道路地図が表示されているとき、ユーザ入力により自車位置マークが選択されると、自車位置マーク周辺に撮像画像を表示させるようにしたので、ユーザ(ドライバ)は、見たいときに簡単に自車位置周辺の撮像画像を確認することができる。さらに、そのような撮像画像の表示位置は、自車位置マークを基準に撮像手段の取り付け位置と対応するため、ユーザにとって、どの方向の撮像画像の認識が容易になる。さらに撮像画像を選択することでその拡大画像を表示させることで、ユーザにって確認したい撮像画像の操作が容易になる。   According to the present invention, when the vehicle position mark is selected by the user input when the road map is displayed by the normal navigation operation, the captured image is displayed around the vehicle position mark. The (driver) can easily check the captured image around the vehicle position when he / she wants to see it. Further, since the display position of such a captured image corresponds to the mounting position of the imaging means with reference to the vehicle position mark, it is easy for the user to recognize the captured image in any direction. Furthermore, by selecting the captured image and displaying the enlarged image, the user can easily operate the captured image to be confirmed.

本発明の実施例に係る運転支援システムの全体構成を示すブロック図である。1 is a block diagram illustrating an overall configuration of a driving support system according to an embodiment of the present invention. 図1に示すナビゲーション装置の構成を示すブロック図である。It is a block diagram which shows the structure of the navigation apparatus shown in FIG. 撮像カメラの取り付けを説明する図である。It is a figure explaining attachment of an imaging camera. 画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of an image processing apparatus. 運転支援プログラムの機能ブロック図である。It is a functional block diagram of a driving assistance program. 本実施例の運転支援プログラムの機能ブロック図である。It is a functional block diagram of the driving assistance program of a present Example. 表示状態と表示内容の関係を説明するテーブルである。It is a table explaining the relationship between a display state and display content. 各表示状態における入力判定部の入力判定内容を説明するテーブルである。It is a table explaining the input determination content of the input determination part in each display state. 表示状態の判定結果および入力判定部の判定結果と切替画像との関係を説明するテーブルである。It is a table explaining the relationship between the determination result of a display state, the determination result of an input determination part, and a switching image. 本発明の実施例に係る運転支援システムの動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the driving assistance system which concerns on the Example of this invention. 本発明の実施例に係る画面切替シーケンスを説明する図である。It is a figure explaining the screen switching sequence which concerns on the Example of this invention. 本実施例の変形例による表示状態3の例を示す図である。It is a figure which shows the example of the display state 3 by the modification of a present Example. 8つの撮像カメラを搭載したときのサムネイル画像の表示例である。It is a display example of a thumbnail image when eight imaging cameras are mounted. 従来の運転支援システムにおける撮像画像の表示例を説明する図である。It is a figure explaining the example of a display of the captured image in the conventional driving assistance system.

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明の好ましい実施の形態において、運転支援システムは、自車の前方、後方および左右の側方にそれぞれ撮像カメラを搭載し、それらの4つの撮像カメラから得られた撮像画像の視点切替をナビゲーション動作中に実行する機能を有する。   Next, embodiments of the present invention will be described in detail with reference to the drawings. In a preferred embodiment of the present invention, the driving support system is equipped with imaging cameras on the front, rear, and left and right sides of the host vehicle, and navigation of viewpoint switching of the captured images obtained from these four imaging cameras is performed. Has a function to be executed during operation.

図1は、本発明の実施例に係る運転支援システムの全体の構成を示すブロック図である。運転支援システム10は、自車位置周辺の道路地図を表示し目的地までのルート案内などの機能を備えたナビゲーション装置20と、ナビゲーション装置20に接続され道路地図や撮像カメラにより撮像された画像(以下、カメラ画像と言うことがある)を表示する機能に加え、タッチパネルによる位置入力機能を備えた表示装置30と、車両の前方、後方、右側方、左側方にそれぞれ設置された撮像カメラ40A、40B、40C、40D(以下、総称するときは撮像カメラ40という)と、撮像カメラ40からの撮像データを画像処理し、カメラ画像や俯瞰画像等を生成する画像処理装置50とを含んで構成される。   FIG. 1 is a block diagram showing the overall configuration of a driving support system according to an embodiment of the present invention. The driving support system 10 displays a road map around the position of the vehicle and provides a navigation device 20 having functions such as route guidance to a destination, and an image (which is connected to the navigation device 20 and captured by a road map or an imaging camera). (Hereinafter, sometimes referred to as a camera image), in addition to a display device 30 having a touch panel position input function, and an imaging camera 40A installed on the front, rear, right side, and left side of the vehicle, 40B, 40C, 40D (hereinafter collectively referred to as the imaging camera 40) and an image processing device 50 that performs image processing on imaging data from the imaging camera 40 and generates a camera image, an overhead image, and the like. The

図2は、典型的なナビゲーション装置20の構成を示すブロック図である。ナビゲーション装置20は、自車位置を検出する自車位置検出部100と、ユーザからの入力を受け取る入力部110と、ナビゲーション動作に必要な同地地図データ等を格納した記憶部120と、ナビゲーション動作のためのプログラムを記憶したプログラムメモリ130と、演算されたデータや画像処理装置50からのデータを保持するデータメモリ140と、表示装置30および画像処理装置50とバス等を介して接続されるインターフェース部150と、各部を制御する制御部160とを有する。   FIG. 2 is a block diagram showing a configuration of a typical navigation device 20. The navigation device 20 includes a host vehicle position detection unit 100 that detects a host vehicle position, an input unit 110 that receives input from a user, a storage unit 120 that stores local map data necessary for navigation operation, and a navigation operation. Program memory 130 for storing a program for data, a data memory 140 for holding calculated data and data from the image processing device 50, and an interface connected to the display device 30 and the image processing device 50 via a bus or the like And a control unit 160 that controls each unit.

位置検出部100は、GPS衛星を利用した自車の絶対位置を測位可能なGPS測位器、車速センサや方位センサを利用した自車の相対位置を測位可能な自立航法センサを有することができる。位置検出部100で検出された位置情報は制御部160へ出力され、自車位置周辺の道路地図データの読み出しや自車位置マークの表示等に利用される。   The position detection unit 100 can have a GPS positioning device that can measure the absolute position of the vehicle using GPS satellites, and a self-contained navigation sensor that can measure the relative position of the vehicle using vehicle speed sensors and azimuth sensors. The position information detected by the position detection unit 100 is output to the control unit 160 and used for reading road map data around the vehicle position, displaying the vehicle position mark, and the like.

入力部110は、好ましくは、表示装置30に搭載されたタッチパネルによる入力を含む。タッチパネルは、公知のように、ユーザの指などがディスプレイに接触または接近したとき、その座標位置を検出する。入力部110は、タッチパネルによる入力のほかにも、マウス、リモコン、キーボード等による入力インターフェースであってもよく、それらを用いてディスプレイ上に表示されたカーソルにより入力を行うことができる。   The input unit 110 preferably includes input from a touch panel mounted on the display device 30. As is well known, when the user's finger or the like touches or approaches the display, the touch panel detects the coordinate position. The input unit 110 may be an input interface such as a mouse, a remote controller, or a keyboard in addition to an input using a touch panel, and input can be performed using a cursor displayed on a display using them.

記憶部120は、道路地図を表示するために必要なリンクデータ、交差点データ、施設データ等を含む。さらに、道路地図上に表示される自車位置マークを示すポリゴンデータ等を含む。なお、記憶部120は、必ずしも必須ではなく、ナビゲーション装置によっては、外部サーバとの通信によって道路地図データを取得してもよいし、半導体メモリなどの外部記憶装置から道路地図データを入手するものであってもよい。   The storage unit 120 includes link data, intersection data, facility data, and the like necessary for displaying a road map. Further, polygon data indicating the vehicle position mark displayed on the road map is included. Note that the storage unit 120 is not necessarily required, and depending on the navigation device, the road map data may be obtained by communication with an external server, or the road map data is obtained from an external storage device such as a semiconductor memory. There may be.

プログラムメモリ130は、運転支援システムに必要なプログラムを保持する。本実施例では、運転支援システムは、ナビゲーション動作を実行するためのプログラムと、撮像カメラによる画像を表示するためのプログラムとを有する。ナビゲーション動作を実行するためのプログラムとして、自車位置周辺の道路地図データを記憶部120から読み出しこれを表示装置30に表示するためのプログラム、目的地までのルートを探索するためのプログラム、ルートを案内するプログラムなどを含む。さらに撮像カメラの画像を表示するプログラムとして、ユーザ入力に応じて道路地図画面上に撮像カメラの画像を合成させたり、ユーザ入力に応じて撮像カメラの視点を切替えたり、さらに撮像カメラの画像の表示に関する種々の設定をするプログラムを備えている。   The program memory 130 holds a program necessary for the driving support system. In the present embodiment, the driving support system includes a program for executing a navigation operation and a program for displaying an image by an imaging camera. As a program for executing a navigation operation, a program for reading road map data around the vehicle position from the storage unit 120 and displaying it on the display device 30, a program for searching for a route to the destination, and a route Includes programs to guide you. Furthermore, as a program for displaying the image of the imaging camera, the image of the imaging camera is synthesized on the road map screen according to the user input, the viewpoint of the imaging camera is switched according to the user input, and the image of the imaging camera is displayed. A program for making various settings is provided.

データメモリ140は、記憶部120から読み出された道路地図データや画像処理装置50で生成された画像データを保持する。インターフェース部150は、画像処理装置50との間で制御信号やデータの送受を制御し、また表示装置30との間で制御信号やデータの送受を制御する。   The data memory 140 holds road map data read from the storage unit 120 and image data generated by the image processing device 50. The interface unit 150 controls transmission / reception of control signals and data to / from the image processing apparatus 50, and controls transmission / reception of control signals and data to / from the display apparatus 30.

表示装置30は、インターフェース部150を介して画像データを受け取りこれを表示する。さらに表示装置30は、ユーザにより入力されたディスプレイ上の位置を検出する検出手段としてタッチパネルを含む。タッチパネルは、公知のように、静電容量変化などを測定することで、ユーザの指等が接触または接近した座標位置を検出する。検出された座標位置は、インターフェース部150を介して制御部160へ送信される。   The display device 30 receives image data via the interface unit 150 and displays it. Further, the display device 30 includes a touch panel as detection means for detecting the position on the display input by the user. As is well known, the touch panel detects a coordinate position where a user's finger or the like is in contact with or approaches by measuring a change in capacitance or the like. The detected coordinate position is transmitted to the control unit 160 via the interface unit 150.

撮像カメラ40は、CCDやCMOSイメージセンサを用いて構成される。図3に示すように、撮像カメラ40Aは、車両前方のバンパーなどに取り付けられ、車両の前方を視野角θ1で撮像する。撮像カメラ40C、40Dは、車両のドアミラーから車両の側部を視野角θ2、θ3で撮像する。撮像カメラ40Bは、車両の後部バンパーなどに取り付けられ、車両の後方を視野角θ4で撮像する。撮像カメラの視野角θ1、θ2、θ3、θ4は、隣接する撮像カメラの視野角と端部がオーバーラップし、撮像カメラ40A〜40Dにより車両の全周囲を撮像できるようになっている。   The imaging camera 40 is configured using a CCD or a CMOS image sensor. As shown in FIG. 3, the imaging camera 40A is attached to a bumper or the like in front of the vehicle, and images the front of the vehicle at a viewing angle θ1. The imaging cameras 40C and 40D image the side portion of the vehicle from the vehicle door mirror with viewing angles θ2 and θ3. The imaging camera 40B is attached to a rear bumper or the like of the vehicle, and images the rear of the vehicle with a viewing angle θ4. The viewing angles [theta] 1, [theta] 2, [theta] 3, and [theta] 4 of the imaging cameras overlap with the viewing angles of the adjacent imaging cameras so that the entire periphery of the vehicle can be imaged by the imaging cameras 40A to 40D.

図4は、画像処理装置50の内部構成を示すブロック図である。画像処理装置50は、撮像カメラ40A〜40Dの撮像信号を入力し、これをディジタル信号に変換する入力部200と、入力部200からの画像データを受け取り、各撮像カメラ40の視点方向で撮像された画像からサムネイル画像を生成するサムネイル画像生成部210と、入力部200からの画像データを受け取り、サムネイル画像を拡大した拡大画像を生成する拡大画像生成部220と、入力部200からの画像データを受け取り、自車の真上から見下ろすような俯瞰画像(トップビュー画像)を生成する俯瞰画像生成部230とを有する。各生成部210、220、230には、ナビゲーション装置20からの制御信号C1、C2、C3が入力され、各生成部210、220、230は、制御信号C1、C2、C3に基づき画像を生成する。各生成部210、220、230で生成された画像データは、インターフェース部150を介してデータメモリ140へ転送される。各生成部210、220、230の処理は、ソフトウエアにより実行するものでも、ハードウエア回路により実行するものであってもよい。   FIG. 4 is a block diagram showing the internal configuration of the image processing apparatus 50. The image processing device 50 receives imaging signals from the imaging cameras 40 </ b> A to 40 </ b> D, converts the input signals into digital signals, receives image data from the input unit 200, and is imaged in the viewpoint direction of each imaging camera 40. The thumbnail image generation unit 210 that generates a thumbnail image from the captured image, the enlarged image generation unit 220 that receives the image data from the input unit 200 and generates an enlarged image obtained by enlarging the thumbnail image, and the image data from the input unit 200 And an overhead image generation unit 230 that receives and generates an overhead image (top view image) that looks down from directly above the host vehicle. Control signals C1, C2, and C3 from the navigation device 20 are input to the generation units 210, 220, and 230, and the generation units 210, 220, and 230 generate images based on the control signals C1, C2, and C3. . The image data generated by each of the generation units 210, 220, and 230 is transferred to the data memory 140 via the interface unit 150. The processing of each of the generating units 210, 220, and 230 may be executed by software or executed by a hardware circuit.

サムネイル画像生成部210は、予め決められたサイズのサムネイル画像を生成する。サムネイルのサイズは、表示装置(ディスプレイ)30の大きさ、道路地図画面の大きさ、そこに表示される自車位置マークの大きさ等に基づき決定される。好ましくは、自車位置マークを中心にその前後左右に4つのサムネイル画像が同時に表示できる大きさである。   The thumbnail image generation unit 210 generates a thumbnail image having a predetermined size. The size of the thumbnail is determined based on the size of the display device (display) 30, the size of the road map screen, the size of the vehicle position mark displayed on the screen, and the like. Preferably, the size is such that four thumbnail images can be displayed simultaneously on the front, rear, left and right of the vehicle position mark.

拡大画像生成部220は、サムネイル画像を拡大するような拡大画像を生成する。拡大画像のサイズは、好ましくは、ディスプレイの画面と同等であることができるが、それよりも小さくサイズであってもよい。   The enlarged image generation unit 220 generates an enlarged image that enlarges the thumbnail image. The size of the magnified image can preferably be equal to the screen of the display, but may be smaller than that.

俯瞰画像生成部230は、例えば図5に示すように、車両の前方のカメラ40Aで撮像された画像300A、車両の後方のカメラ40Bで撮像された画像300B、左右のカメラで撮像された画像信号300C、300Dを、基準点Oを基準に視点変換し、車両の真上から放射状に見下ろすように合成された画像を生成する。   For example, as shown in FIG. 5, the bird's-eye view image generation unit 230 includes an image 300 </ b> A captured by the camera 40 </ b> A in front of the vehicle, an image 300 </ b> B captured by the camera 40 </ b> B behind the vehicle, and image signals captured by the left and right cameras. The viewpoints of 300C and 300D are converted based on the reference point O, and an image synthesized so as to look down radially from directly above the vehicle is generated.

図6は、図2に示したプログラムメモリ130に格納された撮像画像の表示のためのプログラムの機能ブロック図である。撮像画像表示プログラム310は、表示装置30の表示状態を判定する表示状態判定部320と、ユーザ入力された位置から選択された対象を判定する入力判定部330と、表示状態判定部320および入力判定部330の各判定結果に基づき画像の切替を行う画像切替部340とを有する。   FIG. 6 is a functional block diagram of a program for displaying captured images stored in the program memory 130 shown in FIG. The captured image display program 310 includes a display state determination unit 320 that determines the display state of the display device 30, an input determination unit 330 that determines a target selected from a position input by the user, a display state determination unit 320, and an input determination. An image switching unit 340 that switches images based on the determination results of the unit 330.

図7は、表示状態判定部320の判定動作を説明する図である。本実施例では、表示状態判定図320は、図7に示すような表示状態1ないし4のいずれかを判定する。すなわち、表示状態1は、ナビゲーション装置20により自車位置周辺の道路地図が表示されている状態、表示状態2は、道路地図画面にサムネイル画像が合成して表示されている状態、表示状態3は、サムネイル画像の拡大画像が表示されている状態、表示状態4は、俯瞰画像が表示されている状態である。表示状態判定部300は、画像の切替が行われたとき表示状態を判定しその内容を保持する。   FIG. 7 is a diagram for explaining the determination operation of the display state determination unit 320. In this embodiment, the display state determination diagram 320 determines one of display states 1 to 4 as shown in FIG. That is, the display state 1 is a state in which a road map around the vehicle position is displayed by the navigation device 20, the display state 2 is a state in which thumbnail images are combined and displayed on the road map screen, and the display state 3 is In the state where the enlarged image of the thumbnail image is displayed, the display state 4 is a state where the overhead image is displayed. The display state determination unit 300 determines the display state when the image is switched, and holds the content.

入力判定部330は、表示状態1〜4に応じて、ユーザ入力により検出された座標位置に基づき、表示装置30に表示されている画像のどの部分が選択されたのかを判定する。図8は、入力判定部の判定内容を説明するテーブルである。入力判定部330は、表示状態1のとき、ユーザ入力の座標位置により自車位置マークが選択されたか否かを判定する。表示状態2のとき、自車位置マーク、サムネイル画像、これらの画像以外のいずれが選択されたかを判定する。表示状態3のとき、拡大画像が選択されたか否かを判定し、表示状態4のとき、俯瞰画像が選択されたか否かを判定する。   The input determination unit 330 determines which part of the image displayed on the display device 30 is selected based on the coordinate position detected by the user input according to the display states 1 to 4. FIG. 8 is a table for explaining the determination contents of the input determination unit. In the display state 1, the input determination unit 330 determines whether or not the vehicle position mark is selected based on the coordinate position of the user input. In the display state 2, it is determined which of the vehicle position mark, the thumbnail image, and any other than these images has been selected. In the display state 3, it is determined whether an enlarged image has been selected. In the display state 4, it is determined whether an overhead image has been selected.

画像切替部330は、表示状態判定部320の判定結果および入力判定部330の判定結果に基づき表示装置30に表示すべき画像を決定し、また必要があれば画像の切替を行う。図9は、表示状態の判定結果、入力の判定結果、および切替画像の関係を説明するテーブルである。表示状態1において、すなわち道路地図が表示されたナビゲーション画面において自車位置マークが選択された場合には、道路地図画面の自車位置マークの周辺にサムネイル画像が表示される。表示状態2において、自車位置マークが選択された場合には、自車を真上から見下ろすような俯瞰画像が表示される。また、表示状態2において、サムネイル画像が選択された場合には、選択されたサムネイル画像の拡大画像が表示され、自車位置マークおよびサムネイル画像以外の領域が選択された場合には、元の道路地図を表したナビゲーション画面が表示される。表示状態3において、拡大画像が選択された場合には、サムネイル画像すなわち表示状態2に戻り、また表示状態4において、俯瞰画像が選択された場合には、サムネイル画像すなわち表示状態2に戻る。   The image switching unit 330 determines an image to be displayed on the display device 30 based on the determination result of the display state determination unit 320 and the determination result of the input determination unit 330, and switches the image if necessary. FIG. 9 is a table for explaining the relationship between the display state determination result, the input determination result, and the switching image. In the display state 1, that is, when the vehicle position mark is selected on the navigation screen on which the road map is displayed, a thumbnail image is displayed around the vehicle position mark on the road map screen. In the display state 2, when the own vehicle position mark is selected, an overhead image that looks down on the own vehicle from directly above is displayed. In the display state 2, when a thumbnail image is selected, an enlarged image of the selected thumbnail image is displayed. When an area other than the vehicle position mark and the thumbnail image is selected, the original road is displayed. A navigation screen showing the map is displayed. When the enlarged image is selected in the display state 3, the display returns to the thumbnail image, that is, the display state 2, and when the overhead image is selected in the display state 4, the display returns to the thumbnail image, that is, the display state 2.

次に、本発明の実施例の運転支援動作を図10のフローチャート、および図11の画面切替シーケンスを用いて説明する。先ず、自車の走行が開始されると、位置検出部100によって自車位置が検出され、制御部160は、自車位置周辺の道路地図データを記憶部120から読み出し、表示装置30に自車位置周辺の道路地図を表示させる(ステップS101)。道路地図画面は、図11(a)に示されるように、道路地図上に自車位置を示す自車位置マークMが合成して表示される。自車位置マークMは、自車位置が一見して分かるようにするために道路地図上に合成して表示され、走行中の道路上に表示される。自車位置マークの形状、大きさ、色彩、点滅の有無等は、特に制限されるものではなく、自車位置を表すことができるマークであればよい。典型的に自車位置マークは、道路地図画面のほぼ中央に固定的に表示され、自車位置の変更に伴い道路地図がスクロールされる。道路地図画面は、ノースアップであってよいし、ヘディングアップであってもよい。また、目的地までのルートが探索されていれば、当該ルートが道路上に合成して表示され、そのルート案内が行われる。   Next, the driving support operation of the embodiment of the present invention will be described using the flowchart of FIG. 10 and the screen switching sequence of FIG. First, when the host vehicle starts to travel, the position detection unit 100 detects the host vehicle position, and the control unit 160 reads road map data around the host vehicle position from the storage unit 120, and displays the host vehicle on the display device 30. A road map around the position is displayed (step S101). As shown in FIG. 11A, the road map screen is displayed by combining the vehicle position mark M indicating the vehicle position on the road map. The own vehicle position mark M is displayed by being synthesized on the road map so that the own vehicle position can be seen at a glance, and is displayed on the running road. The shape, size, color, presence / absence of flashing, etc. of the own vehicle position mark are not particularly limited as long as it is a mark that can represent the own vehicle position. Typically, the vehicle position mark is fixedly displayed at the center of the road map screen, and the road map is scrolled as the vehicle position changes. The road map screen may be north up or heading up. If a route to the destination is searched, the route is synthesized and displayed on the road, and the route guidance is performed.

自車の走行開始に伴い、前方、後方、左右の撮像カメラ40も起動され、撮像カメラ40からの撮像信号が画像処理装置50へ提供される。画像処理装置50の各生成部(図4を参照)は、入力された撮像信号に基づきサムネイル画像、拡大画像、俯瞰画像の生成を開始してもよいし、制御部160からの制御信号C1、C2、C3からの指示に応答してサムネイル画像、拡大画像、俯瞰画像を生成するようにしてもよい。   As the vehicle starts to travel, the front, rear, and left and right imaging cameras 40 are also activated, and an imaging signal from the imaging camera 40 is provided to the image processing device 50. Each generation unit (see FIG. 4) of the image processing device 50 may start generating a thumbnail image, an enlarged image, and a bird's-eye image based on the input image pickup signal, or a control signal C1 from the control unit 160, Thumbnail images, enlarged images, and overhead images may be generated in response to instructions from C2 and C3.

道路地図が表示されることで、表示状態判定部320は、表示装置30が表示状態1であることを判定し、その判定結果を保持する。次いで、入力判定部330は、ユーザからの入力を監視し(ステップS102)、ユーザからの座標位置の入力があると、自車位置マークMが選択されたか否かを判定する(ステップS103)。自車位置マークMに対応する座標エリアが予め設定され、その座標エリアへの入力があったとき、自車位置マークMが選択されたと判定される。   When the road map is displayed, the display state determination unit 320 determines that the display device 30 is in the display state 1, and holds the determination result. Next, the input determination unit 330 monitors the input from the user (step S102), and if there is an input of the coordinate position from the user, it determines whether or not the own vehicle position mark M has been selected (step S103). When a coordinate area corresponding to the vehicle position mark M is preset and an input is made to the coordinate area, it is determined that the vehicle position mark M is selected.

自車位置マークMが選択された判定されると、画像切替部340は、図9のテーブルに示したように、道路地図画面上にサムネイル画像を合成して表示させる(ステップS104)。サムネイル画像は、各撮像カメラ40A〜40Dの視点方向を撮像した画像であってこれを予め決められたサイズに縮小したものであり、道路地図画面には、サムネイル画像のウインドウが表示される。このサムネイル画像は、サムネイル画像生成部210により生成され、画像切替部340からの制御信号C1に基づき生成されるようにしてもよい。   If it is determined that the host vehicle position mark M is selected, the image switching unit 340 synthesizes and displays thumbnail images on the road map screen as shown in the table of FIG. 9 (step S104). The thumbnail image is an image obtained by capturing the viewpoint direction of each of the imaging cameras 40A to 40D and is reduced to a predetermined size. A window of the thumbnail image is displayed on the road map screen. The thumbnail image may be generated by the thumbnail image generation unit 210 and generated based on the control signal C1 from the image switching unit 340.

図11(b)は、サムネイル画像の表示例を示している。図に示すように、サムネイル画像TH−Aは、撮像カメラ40Aにより撮像された前方画像であり、自車位置マークMの前方すなわち進行方向に表示され、このサムネイル画像TH−Aの表示位置は、自車を真上から見たときの撮像カメラ40Aの位置に対応する。サムネイル画像TH−Bは、撮像カメラ40Bにより撮像された後方画像であり、自車位置マークMの後方に表示され、この表示位置は、撮像カメラ40Bの位置に対応する。同様に、サムネイル画像TH−C、TH−Dは、撮像カメラ40C、40Dによって撮像された左右の側方画像であり、自車位置マークの左側および右側に表示され、これらの表示位置は、撮像カメラ40C、40Dの位置にそれぞれ対応する。   FIG. 11B shows a display example of thumbnail images. As shown in the figure, the thumbnail image TH-A is a forward image captured by the imaging camera 40A, and is displayed in front of the vehicle position mark M, that is, in the traveling direction. The display position of the thumbnail image TH-A is This corresponds to the position of the imaging camera 40A when the host vehicle is viewed from directly above. The thumbnail image TH-B is a rear image captured by the imaging camera 40B and is displayed behind the vehicle position mark M. The display position corresponds to the position of the imaging camera 40B. Similarly, the thumbnail images TH-C and TH-D are left and right side images captured by the imaging cameras 40C and 40D, and are displayed on the left side and the right side of the vehicle position mark. This corresponds to the position of each of the cameras 40C and 40D.

こうして自車位置マークMの周囲に撮像カメラ40の位置に対応したサムネイル画像のウインドウが合成して表示されるため、ユーザは、一見してサムネイル画像と自車位置との関係を容易に理解し、自車のどの方向の撮像画像かを認識する。   Since the thumbnail image window corresponding to the position of the imaging camera 40 is synthesized and displayed around the vehicle position mark M in this way, the user can easily understand the relationship between the thumbnail image and the vehicle position at a glance. The direction of the captured image of the host vehicle is recognized.

サムネイル画像に画面が切替えられたことで、表示状態判定部320は、表示状態を表示状態2に更新する(ステップS105)。引き続き、入力判定部330は、ユーザ入力を監視し、ユーザ入力があったとき(ステップS106)、ユーザ入力によって、自車位置マーク、サムネイル画像、それ以外の画像のいずれが選択されたかを判定する(図8を参照)。   When the screen is switched to the thumbnail image, the display state determination unit 320 updates the display state to the display state 2 (step S105). Subsequently, the input determination unit 330 monitors the user input, and when there is a user input (step S106), the input determination unit 330 determines whether the vehicle position mark, the thumbnail image, or any other image is selected by the user input. (See FIG. 8).

入力判定部330により自車位置マークMが選択されたと判定された場合(ステップS107)、画像切替部340は、表示状態2において自車位置マークMが選択されたので、表示装置30には俯瞰画像が表示される(ステップS108)。図11(c)は、俯瞰画像の表示例である。俯瞰画像は、表示装置30の画面全体に拡大して表示されるようにしてもよいし、予め一定のサイズをもって道路地図上に合成して表示されるようにしてもよい。俯瞰画像は、俯瞰画像生成部220によって生成され、画像切替部340からの制御信号C3に応じて生成するようにすることができる。俯瞰画像が表示されたことで、表示状態判定部320は、表示状態を表示状態4に更新する。こうして、ユーザは、自車位置周辺に障害物等が存在するか否かの確認などを行うことができる。   When the input determination unit 330 determines that the host vehicle position mark M has been selected (step S107), the image switching unit 340 has selected the host vehicle position mark M in the display state 2, and thus the display device 30 has an overhead view. An image is displayed (step S108). FIG. 11C is a display example of an overhead image. The bird's-eye view image may be enlarged and displayed on the entire screen of the display device 30, or may be synthesized and displayed on a road map with a certain size in advance. The overhead image can be generated by the overhead image generation unit 220 and generated according to the control signal C3 from the image switching unit 340. When the overhead image is displayed, the display state determination unit 320 updates the display state to the display state 4. In this way, the user can check whether there are obstacles or the like around the vehicle position.

一方、入力判定部330によりサムネイル画像が選択されたと判定された場合(ステップS109)、画像切替部340は、選択されたサムネイル画像の拡大画像を表示させる(ステップS110)。例えば、自車前方を撮像したサムネイル画像TH−Aが選択された場合には、その拡大画像が表示され、左側方のサムネイル画像TH−Cが選択された場合には、その拡大画像が表示される。サムネイル画像の拡大画像は、拡大画像生成部220によって生成され、拡大画像の大きさは、表示装置30のサイズ全体であってもよいし、一定のサイズで道路地図画面上に合成されてもよい。図11(d)は、サムネイル画像TH−Bが選択されたときのその拡大画像の表示例である。拡大画像が表示されたことで、表示状態判定部320は、表示状態を表示状態3に更新する。   On the other hand, when the input determining unit 330 determines that a thumbnail image has been selected (step S109), the image switching unit 340 displays an enlarged image of the selected thumbnail image (step S110). For example, when the thumbnail image TH-A that captures the front of the vehicle is selected, the enlarged image is displayed, and when the left thumbnail image TH-C is selected, the enlarged image is displayed. The The enlarged image of the thumbnail image is generated by the enlarged image generation unit 220, and the size of the enlarged image may be the entire size of the display device 30, or may be synthesized on the road map screen with a certain size. . FIG. 11D is a display example of an enlarged image when the thumbnail image TH-B is selected. When the enlarged image is displayed, the display state determination unit 320 updates the display state to the display state 3.

さらに、入力判定部330により、サムネイル画像および自車位置マークMでもない領域が選択されたと判定された場合(ステップS111)、画像切替部340は、表示状態1の道路地図画面を表示させる(ステップS112)。なお、表示状態3または表示状態4の状態で、入力判定部330により拡大画像または俯瞰画像が選択されたと判定された場合には、画像切替部340は、表示状態2の画像に画面を切替える。   Furthermore, when the input determination unit 330 determines that an area that is neither the thumbnail image nor the vehicle position mark M is selected (step S111), the image switching unit 340 displays the road map screen in the display state 1 (step S111). S112). If the input determination unit 330 determines that the enlarged image or the overhead image is selected in the display state 3 or the display state 4, the image switching unit 340 switches the screen to the image in the display state 2.

このように本実施例の運転支援システムによれば、簡便かつ直感的な操作で必要な撮像カメラの視点の画像を表示することができる。また、撮像カメラの台数が増えても、同様の操作手法で対応することが可能である。   As described above, according to the driving support system of the present embodiment, it is possible to display a necessary image of the viewpoint of the imaging camera by a simple and intuitive operation. Even if the number of imaging cameras increases, it is possible to cope with the same operation method.

次に、本実施例の変形例について説明する。上記実施例では、表示状態2において自車位置マークMが選択されたとき、表示状態4において俯瞰画像に切替える例を示したが、表示状態4において、どのような画像を表示させるかをユーザ設定できるようにしてもよい。ユーザ設定は、運転支援システムを動作させる前に初期設定として実行される。例えば、表示状態4において、俯瞰画像と、任意に選択した撮像カメラの拡大画像との組合せを表示させるようにしてもよい。図12は、俯瞰画像と左側方の拡大画像とを組み合わせたものである。勿論、これ以外の任意の組合せであってもよく、俯瞰画像とサムネイル画像の組合せであってもよい。   Next, a modification of the present embodiment will be described. In the above embodiment, when the vehicle position mark M is selected in the display state 2, an example of switching to the overhead view image in the display state 4 has been shown. However, in the display state 4, what kind of image is displayed is set by the user. You may be able to do it. The user setting is executed as an initial setting before operating the driving support system. For example, in the display state 4, a combination of an overhead image and an enlarged image of an arbitrarily selected imaging camera may be displayed. FIG. 12 is a combination of the overhead image and the enlarged image on the left side. Of course, any other combination may be used, or a combination of an overhead image and a thumbnail image may be used.

また、上記実施例では、自車の前後左右に4つの撮像カメラを搭載した例を示したが、これ以外の撮像カメラの数であってもよい。例えば、自車の前方に3つの撮像カメラを搭載し(自車の左右のコーナーと中央を撮像)、自車の左右にそれぞれ2つの撮像カメラを搭載し、自車の後方に3つの撮像カメラと搭載し(自車の左右のコーナーと中央を撮像)、合計で8つの撮像カメラを備えるものであってもよい。この場合、サムネイル画像のウインドウ表示は、図13に示すようになる。勿論、撮像カメラの数は、4つよりも少ない数であってもよく、例えば、自車の前方と後方の合計2つの撮像カメラであってもよいし、自車の前方のみ、あるいは自車の後方のみの1つの撮像カメラであっても良い。撮像カメラが1つの場合には、表示状態2から自車位置マークが選択されたことが判定されると、同様に俯瞰画像が表示されるが、俯瞰画像は、自車周辺の一部に限られることになる。   Moreover, in the said Example, although the example which mounted four imaging cameras on the front and rear, right and left of the own vehicle was shown, the number of imaging cameras other than this may be sufficient. For example, three imaging cameras are mounted in front of the vehicle (images of the left and right corners and the center of the vehicle), two imaging cameras are mounted on the left and right of the vehicle, and three imaging cameras are mounted behind the vehicle. Mounted (images of the left and right corners and the center of the vehicle) and a total of eight imaging cameras may be provided. In this case, the thumbnail image window display is as shown in FIG. Of course, the number of imaging cameras may be less than four. For example, there may be a total of two imaging cameras in front and rear of the host vehicle, or only in front of the host vehicle or the host vehicle. It may be one imaging camera only behind the camera. In the case of a single imaging camera, if it is determined from the display state 2 that the vehicle position mark has been selected, an overhead image is displayed in the same manner, but the overhead image is limited to a part around the vehicle. Will be.

また、上記実施例では、道路地図画面がヘディングアップのときを示したが、ノースアップでもよい。この場合には、道路地図画面にて自車位置マークを選択すると、一時的に道路地図画面をヘディングアップに切り替えるとともに、自車位置マーク周辺にサムネイル画像を表示する、すなわち、図11(b)に示す画像を表示するようにしてもよい。   In the above embodiment, the road map screen is heading up, but it may be north up. In this case, when the own vehicle position mark is selected on the road map screen, the road map screen is temporarily switched to heading up and a thumbnail image is displayed around the own vehicle position mark, that is, FIG. You may make it display the image shown to.

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。上記実施例では、ユーザ入力により自車位置マークが選択された場合に自車位置マークの周辺にサムネイル画像のウインドウを表示するようにしたが、サムネイル画像以外にも撮像カメラの視点方向により撮像された画像をそのまま表示するようにしてもよい。さらに運転支援システムは、ナビゲーション機能に加えて、オーディオ機能、ビデオ機能、通信機能などを備えた電子装置を含むものであってもよい。   The preferred embodiment of the present invention has been described in detail above, but the present invention is not limited to the specific embodiment, and various modifications can be made within the scope of the present invention described in the claims. Deformation / change is possible. In the above embodiment, the window of the thumbnail image is displayed around the vehicle position mark when the vehicle position mark is selected by the user input. However, in addition to the thumbnail image, the image is picked up by the viewpoint direction of the imaging camera. The displayed image may be displayed as it is. Furthermore, the driving support system may include an electronic device having an audio function, a video function, a communication function, etc. in addition to the navigation function.

10:運転支援システム 20:ナビゲーション装置
30:表示装置 40:撮像カメラ
50:画像処理装置 100:位置検出部
110:入力部 120:記憶部
130:プログラムメモリ 140:データメモリ
150:インターフェース部 200:入力部
210:サムネイル画像生成部 220:拡大画像生成部
230:俯瞰画像生成部 300A:前方画像
300B:後方画像 300C、300D:側方画像
M:自車位置マーク C1、C2、C3:制御信号
10: Driving support system 20: Navigation device 30: Display device 40: Imaging camera 50: Image processing device 100: Position detection unit 110: Input unit 120: Storage unit 130: Program memory 140: Data memory 150: Interface unit 200: Input Unit 210: Thumbnail image generation unit 220: Enlarged image generation unit 230: Overhead image generation unit 300A: Front image 300B: Rear image 300C, 300D: Side image M: Own vehicle position mark C1, C2, C3: Control signal

Claims (19)

自車位置を検出する検出手段と、
ディスプレイと、
前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、
自車周辺を撮像する撮像手段と、
前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、
ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、
前記入力位置検出手段の検出結果に基づき自車位置マークが選択された場合に、前記撮像画像を自車位置マークの周辺に表示させる表示制御手段と、
を有する運転支援システム。
Detection means for detecting the vehicle position;
Display,
Display means capable of displaying a road map around the vehicle position based on the vehicle position detected by the detection means and a vehicle position mark representing the vehicle position on a display;
Imaging means for imaging the periphery of the vehicle;
Image processing means for image-processing an imaging signal from the imaging means to generate a captured image;
Input position detecting means for detecting a position on the display input by the user;
Display control means for displaying the captured image around the vehicle position mark when the vehicle position mark is selected based on the detection result of the input position detection means;
A driving support system.
前記撮像画像の表示位置は、自車を上方から見たときの前記撮像手段の取り付け位置に対応する、請求項1に記載の運転支援システム。 The driving support system according to claim 1, wherein the display position of the captured image corresponds to a mounting position of the imaging unit when the host vehicle is viewed from above. 前記撮像画像は、予め決められたサイズのサムネイル画像である、請求項1または2に記載の運転支援システム。 The driving support system according to claim 1, wherein the captured image is a thumbnail image having a predetermined size. 前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記撮像画像が選択された場合に、前記選択された撮像画像の拡大画像を表示させる、請求項1ないし3いずれか1つに記載の運転支援システム。 The display control unit selects the selected captured image when the captured image is selected based on a detection result of the input position detection unit in a state where the captured image is displayed around the vehicle position mark. The driving support system according to any one of claims 1 to 3, wherein an enlarged image is displayed. 前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、自車を上方から見下ろすような俯瞰画像を表示させる、請求項1ないし4いずれか1つに記載の運転支援システム。 The display control means moves the vehicle upward when the vehicle position mark is selected based on the detection result of the input position detection means in a state where the captured image is displayed around the vehicle position mark. The driving support system according to any one of claims 1 to 4, wherein a bird's-eye view image as viewed from above is displayed. 前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で、前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、予め設定した任意の位置の撮像手段に対応する撮像画像を表示させる、請求項1ないし5いずれか1つに記載の運転支援システム。 The display control unit is set in advance when the vehicle position mark is selected based on a detection result of the input position detection unit in a state where the captured image is displayed around the vehicle position mark. The driving support system according to any one of claims 1 to 5, wherein a captured image corresponding to an imaging unit at an arbitrary position is displayed. 前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で、前記入力位置検出手段の検出結果に基づき自車位置マークおよび前記撮像画像以外が選択された場合に、道路地図および自車位置マークを含む元の画面を表示させる、請求項1ないし6いずれか1つに記載の運転支援システム。 When the captured image is displayed in the vicinity of the vehicle position mark, the display control unit is selected when a position other than the vehicle position mark and the captured image is selected based on the detection result of the input position detection unit. The driving support system according to any one of claims 1 to 6, wherein an original screen including a road map and a vehicle position mark is displayed. 前記表示制御手段は、前記拡大画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記拡大画像が選択された場合に、自車位置マークの周辺に撮像画像が表示された元の画面を表示させる、請求項4ないし7いずれか1つに記載の運転支援システム。 The display control means displays a captured image around the vehicle position mark when the enlarged image is selected based on the detection result of the input position detection means in a state where the enlarged image is displayed. The driving support system according to any one of claims 4 to 7, wherein an original screen is displayed. 前記表示制御手段は、前記俯瞰画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記俯瞰画像が選択された場合に、自車位置マーク周辺に撮像画像が表示された元の画面を表示させる、請求項5ないし7いずれか1つに記載の運転支援システム。 The display control unit is configured to display a captured image around the vehicle position mark when the overhead image is selected based on a detection result of the input position detection unit while the overhead image is displayed. The driving support system according to any one of claims 5 to 7, wherein the screen is displayed. 自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置における運転支援方法であって、
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる、運転支援方法。
A driving support method in an electronic device having a function of displaying a road map around the vehicle position and a function of displaying an image from an imaging means for imaging the periphery of the vehicle,
Detects the vehicle position, displays a road map around the vehicle position based on the detected vehicle position and a vehicle position mark indicating the vehicle position on the display,
When the road map and the vehicle position mark are displayed, if the vehicle position mark is selected by the user input, the captured image captured by the imaging unit is displayed around the vehicle position mark. Support method.
運転支援方法はさらに、ユーザ入力により前記撮像画像が選択された場合には、当該選択された撮像画像の拡大画像を表示させる、請求項10に記載の運転支援方法。 The driving support method according to claim 10, further comprising displaying an enlarged image of the selected captured image when the captured image is selected by a user input. 運転支援方法はさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークが選択された場合には、自車を上方から見下ろした俯瞰画像を表示させる、請求項10または11に記載の運転支援方法。 The driving support method may further display an overhead image when the vehicle is looked down from above when a vehicle position mark is selected by a user input while the captured image is displayed. The driving assistance method described. 運転支援方法はさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークおよび撮像画像以外が選択された場合には、元の道路地図の画面に戻す、請求項10ないし12いずれか1つに記載の運転支援方法。 The driving support method further returns to the original road map screen when a user input selects a vehicle position mark or other than the captured image while the captured image is displayed. The driving assistance method as described in any one. 運転支援方法はさらに、前記拡大画像または俯瞰画像が表示されている状態でユーザ入力により拡大画像または俯瞰画像が選択された場合、自車位置マークの周辺に撮像画像が表示された元の画面に戻す、請求項10ないし13いずれか1つに記載の運転支援方法。 In the driving support method, when the enlarged image or the bird's-eye view image is selected by user input while the enlarged image or the bird's-eye view image is displayed, the driving support method returns to the original screen on which the captured image is displayed around the vehicle position mark. The driving support method according to any one of claims 10 to 13, wherein the driving support method is returned. 自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置が実行する運転支援プログラムであって、
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる、運転支援プログラム。
A driving support program executed by an electronic device having a function of displaying a road map around the vehicle position and a function of displaying an image from an imaging means for imaging the periphery of the vehicle,
Detects the vehicle position, displays a road map around the vehicle position based on the detected vehicle position and a vehicle position mark indicating the vehicle position on the display,
When the road map and the vehicle position mark are displayed, if the vehicle position mark is selected by the user input, the captured image captured by the imaging unit is displayed around the vehicle position mark. Support program.
運転支援プログラムはさらに、ユーザ入力により前記撮像画像が選択された場合には、当該選択された撮像画像の拡大画像を表示させる、請求項15に記載の運転支援プログラム。 The driving support program according to claim 15, further displaying an enlarged image of the selected captured image when the captured image is selected by a user input. 運転支援プログラムはさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークが選択された場合には、自車を上方から見下ろした俯瞰画像を表示させる、請求項15または16に記載の運転支援プログラム。 The driving support program further displays an overhead image in which the own vehicle is looked down from above when the own vehicle position mark is selected by a user input while the captured image is displayed. The described driving assistance program. 運転支援プログラムはさらに、前記撮像画像が表示されている状態でユーザ入力により自車位置マークおよび撮像画像以外が選択された場合には、元の道路地図の画面に戻す、請求項15ないし17いずれか1つに記載の運転支援プログラム。 The driving support program further returns to the original road map screen when a user input selects anything other than the vehicle position mark and the captured image while the captured image is displayed. The driving support program according to any one of the above. 運転支援プログラムはさらに、前記拡大画像または俯瞰画像が表示されている状態でユーザ入力により拡大画像または俯瞰画像が選択された場合、自車位置マークの周辺に撮像画像が表示された元の画面に戻す、請求項15ないし18いずれか1つに記載の運転支援プログラム。 When the enlarged image or the overhead view image is selected by the user input while the enlarged image or the overhead view image is displayed, the driving support program is further displayed on the original screen on which the captured image is displayed around the vehicle position mark. The driving support program according to any one of claims 15 to 18, which is returned.
JP2010239460A 2010-10-26 2010-10-26 Driving support system, driving support method, and driving support program Active JP5709460B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010239460A JP5709460B2 (en) 2010-10-26 2010-10-26 Driving support system, driving support method, and driving support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010239460A JP5709460B2 (en) 2010-10-26 2010-10-26 Driving support system, driving support method, and driving support program

Publications (2)

Publication Number Publication Date
JP2012091625A true JP2012091625A (en) 2012-05-17
JP5709460B2 JP5709460B2 (en) 2015-04-30

Family

ID=46385506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010239460A Active JP5709460B2 (en) 2010-10-26 2010-10-26 Driving support system, driving support method, and driving support program

Country Status (1)

Country Link
JP (1) JP5709460B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014099150A (en) * 2012-11-14 2014-05-29 Avisonic Technology Corp Method of controlling vehicle image display using touch panel, and related vehicle image system
JP2017515101A (en) * 2014-05-08 2017-06-08 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH Apparatus and method for providing information data relating to vehicle periphery objects of a vehicle contained in a video image stream
DE102018106039A1 (en) 2017-04-26 2018-10-31 Denso Ten Limited Image reproduction device, image reproduction system and image reproduction method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101778624B1 (en) * 2017-05-16 2017-09-26 (주)텔미전자 Surround camera system for autonomous driving

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084500A (en) * 1999-09-14 2001-03-30 Sumitomo Electric Ind Ltd Running support device for moving body
JP2008024138A (en) * 2006-07-20 2008-02-07 Denso Corp Image display device and program
WO2010070814A1 (en) * 2008-12-17 2010-06-24 三菱電機株式会社 Navigation device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084500A (en) * 1999-09-14 2001-03-30 Sumitomo Electric Ind Ltd Running support device for moving body
JP2008024138A (en) * 2006-07-20 2008-02-07 Denso Corp Image display device and program
WO2010070814A1 (en) * 2008-12-17 2010-06-24 三菱電機株式会社 Navigation device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014099150A (en) * 2012-11-14 2014-05-29 Avisonic Technology Corp Method of controlling vehicle image display using touch panel, and related vehicle image system
US9195390B2 (en) 2012-11-14 2015-11-24 Avisonic Technology Corporation Method for controlling display of vehicular image by touch panel and vehicular image system thereof
JP2017515101A (en) * 2014-05-08 2017-06-08 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH Apparatus and method for providing information data relating to vehicle periphery objects of a vehicle contained in a video image stream
DE102018106039A1 (en) 2017-04-26 2018-10-31 Denso Ten Limited Image reproduction device, image reproduction system and image reproduction method
JP2018186389A (en) * 2017-04-26 2018-11-22 株式会社デンソーテン Video reproduction device, video reproduction system, and video reproduction method
US10605616B2 (en) 2017-04-26 2020-03-31 Denso Ten Limited Image reproducing device, image reproducing system, and image reproducing method
DE102018106039B4 (en) 2017-04-26 2024-01-04 Denso Ten Limited IMAGE REPRODUCTION APPARATUS, IMAGE REPRODUCTION SYSTEM AND IMAGE REPRODUCTION METHOD

Also Published As

Publication number Publication date
JP5709460B2 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
JP5832674B2 (en) Display control system
US8138899B2 (en) Rear camera backup assistance with touchscreen display using two points of interest
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
KR101481681B1 (en) Vehicular image system and display control method for vehicular image
JP5187179B2 (en) Vehicle periphery monitoring device
EP2549750A1 (en) Image display device
JP5813944B2 (en) Image display system, image processing apparatus, and image display method
KR20120118074A (en) Vehicle periphery monitoring device
JP2009239674A (en) Vehicular periphery display device
WO2010061797A1 (en) Input device, apparatus for monitoring area around vehicle, method for selecting icon switch, and program
JP4867512B2 (en) Image display apparatus and program
KR20120118073A (en) Vehicle periphery monitoring device
US10484651B2 (en) Image display control device
JP5064201B2 (en) Image display system and camera output control method
JP2016063390A (en) Image processing system and image display system
JP5709460B2 (en) Driving support system, driving support method, and driving support program
JP5977130B2 (en) Image generation apparatus, image display system, and image generation method
JP2020042417A (en) Display controller
JP2010108185A (en) System, method, and program for controlling display
JP2012046124A (en) Image display system, image processing device and image display method
JP2009124377A (en) Vehicle periphery image processing apparatus and vehicle perimeter status presentation method
JP2009119895A (en) Vehicle driving support device and vehicle driving support method
WO2020148957A1 (en) Vehicle control device and method
JP2017005352A (en) On-vehicle display device and vehicle rear-side video image display method
JP6662655B2 (en) Vehicle image display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150303

R150 Certificate of patent or registration of utility model

Ref document number: 5709460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150