JP2012091625A - Driving support system, driving support method, and driving support program - Google Patents
Driving support system, driving support method, and driving support program Download PDFInfo
- Publication number
- JP2012091625A JP2012091625A JP2010239460A JP2010239460A JP2012091625A JP 2012091625 A JP2012091625 A JP 2012091625A JP 2010239460 A JP2010239460 A JP 2010239460A JP 2010239460 A JP2010239460 A JP 2010239460A JP 2012091625 A JP2012091625 A JP 2012091625A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle position
- displayed
- driving support
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Navigation (AREA)
Abstract
Description
本発明は、車載用カメラを搭載した電子装置の運転支援システム、運転支援方法および運転支援プログラムに関し、特に、ナビゲーション画面を表示しているときの車載カメラによる映像の切替に関する。 The present invention relates to a driving support system, a driving support method, and a driving support program for an electronic device equipped with a vehicle-mounted camera, and more particularly to switching of an image by a vehicle-mounted camera when a navigation screen is displayed.
自動車等の移動体に撮像カメラを搭載し、その撮像映像を利用したアプリケーションが急拡大している。このようなアプリケーションの多くは、撮像カメラで撮像された画像を表示し、運転者の死角を補助するような運転支援システムに関するものである。例えば、車両遠方の障害物を撮影するカメラシステム(コーナーモニターシステムなど)、車両近傍の死角障害物を撮影するシステム(サイドビューカメラシステム)、後方障害物を撮像したり車庫入れを案内するシステム(リアビューシステムなど)である。また、車両の前方、後方、側方に複数の撮像カメラを装備し、これらの撮像カメラからの画像を組み合わせて車両の真上方向から見下ろすような俯瞰画像(トップビューシステムなど)を表示したり、各撮像カメラの画像に視点を切替られるようにした運転支援システムも実用化されている。 An imaging camera is mounted on a moving body such as an automobile, and applications using the captured image are rapidly expanding. Many of such applications relate to a driving support system that displays an image captured by an imaging camera and assists the driver's blind spot. For example, a camera system (such as a corner monitor system) that captures obstacles far away from the vehicle, a system that captures blind spots in the vicinity of the vehicle (side view camera system), a system that images rear obstacles and guides garage entry ( Rear view system). Also, equipped with multiple imaging cameras at the front, rear, and sides of the vehicle, combining the images from these imaging cameras to display a bird's-eye view image (top view system, etc.) that looks down from directly above the vehicle In addition, a driving support system that can switch the viewpoint to an image of each imaging camera has been put into practical use.
車両後方に1つの撮像カメラを搭載し、後退時の駐車支援などの安全確認を行うリアビューシステムとナビゲーションシステムとの組み合わせでは、一般にバックギアに連動してディスプレイに後方の撮像画像を表示している。また、撮像カメラによる撮像画像の表示とナビゲーション動作との連携を試みた提案がなされている。例えば、特許文献1は、ナビゲーション画像上に、撮像手段によって撮像された異なる方向の複数の画像を重畳して表示するものである。特許文献2は、自車周辺の環境状態または自車の走行状態に基づいて、表示させる画像の優先度を変更し、切替スイッチから信号を受けたときに優先度の順位に従って順次画像を切替えるものである。さらに特許文献3は、自車が交差点又は分岐点の手前の所定距離に至った時点で、撮像カメラにより撮像された周辺画像を表示させ、自車位置が交差点内の視認可能な位置に進入したと判断された時点で周辺画像を停止させるものである。 In combination with a rear view system and a navigation system that has a single imaging camera behind the vehicle and performs safety checks such as parking assistance when reversing, the rear captured image is generally displayed on the display in conjunction with the back gear. . In addition, proposals have been made that try to link the display of the captured image by the imaging camera and the navigation operation. For example, Patent Document 1 is to display a plurality of images in different directions captured by an imaging unit in a superimposed manner on a navigation image. Patent document 2 changes the priority of the image to be displayed based on the environmental condition around the own vehicle or the running state of the own vehicle, and sequentially switches the image according to the priority order when receiving a signal from the changeover switch. It is. Further, Patent Document 3 displays a peripheral image captured by the imaging camera when the vehicle reaches a predetermined distance before the intersection or branch point, and the vehicle position has entered a visible position in the intersection. The peripheral image is stopped when it is determined.
しかしながら、複数の車載カメラにより撮像画像を表示する従来の運転支援システムには、次のような課題がある。車両に搭載される撮像カメラの数が増えるにつれ、特に、撮像カメラの視点切替え操作が煩雑になっている。また、道路地図を表示しているナビゲーションシステムから所望の撮像カメラの画像への切替を簡便かつ操作が容易な方法で行えることが安全上重要である。そこで、車両の走行状態や運転状態に応じて、最適な視点のカメラ画像を表示する運転支援システムが考案されている。 However, the conventional driving support system that displays captured images with a plurality of in-vehicle cameras has the following problems. As the number of imaging cameras mounted on a vehicle increases, in particular, the viewpoint switching operation of the imaging cameras becomes complicated. In addition, it is important for safety that switching from a navigation system displaying a road map to an image of a desired imaging camera can be performed by a simple and easy operation method. In view of this, a driving support system has been devised that displays a camera image of an optimal viewpoint according to the traveling state and driving state of the vehicle.
図14は、従来の運転支援システムの一例を説明する図である。図14(a)に示すように、ディスプレイ上にナビゲーションシステムによる道路地図が表示されているとき、その画面には、カメラ画像に切替えるための入力キーK1が表示されている。ユーザが入力キーK1を選択すると、図14(b)に示すように、道路地図画面の全体または一部に、フロントの撮像カメラで撮像されたカメラ画像が表示される。このとき、ディスプレイには、フロントカメラ画像を切替えるための、パノラマ、コーナー、トップ(俯瞰画像)のカメラ画像に視点変換を行うための視点切替キーK2が表示される。ユーザによっていずれの視点切替キーK2が選択されると、選択されたカメラ画像に切替えられる。また、予めカメラ画像を表示したい地点を登録しておき、その地点で自動的にカメラ画像を表示させることも可能になっている。 FIG. 14 is a diagram illustrating an example of a conventional driving support system. As shown in FIG. 14 (a), when a road map by the navigation system is displayed on the display, an input key K1 for switching to a camera image is displayed on the screen. When the user selects the input key K1, as shown in FIG. 14B, a camera image captured by the front imaging camera is displayed on the whole or a part of the road map screen. At this time, a viewpoint switching key K2 for performing viewpoint conversion on the panorama, corner, and top (overhead image) camera images for switching the front camera image is displayed on the display. When any viewpoint switching key K2 is selected by the user, the camera image is switched to the selected camera image. It is also possible to register a point where a camera image is to be displayed in advance and automatically display the camera image at that point.
しかし、このような従来の運転支援システムにおいて、走行状態や運転状態、周囲環境を最適に把握することは現実には難しく、必ずしもドライバが所望するカメラ画像が表示されるとは限らなかった。また、場合によっては、ドライバがナビゲーションの道路地図画面を見たいにも関わらず、意図しないカメラ画像が表示されてしまうこともあった。さらにユーザによる操作性も煩雑であった。 However, in such a conventional driving support system, it is actually difficult to optimally grasp the driving state, the driving state, and the surrounding environment, and the camera image desired by the driver is not always displayed. In some cases, an unintended camera image may be displayed even though the driver wants to see a road map screen for navigation. Further, the operability by the user is complicated.
そこで本発明では、道路地図の表示を基本としながらも、できるだけ簡便でかつ分かりやすい方法で、ドライバの操作に応じた撮像映像を表示する運転支援システム、運転支援方法および運転支援プログラムを提供することを目的とする。 Accordingly, the present invention provides a driving support system, a driving support method, and a driving support program that display a captured image according to a driver's operation in a method that is as simple and easy to understand as possible while being based on display of a road map. With the goal.
本発明に係る運転支援システムは、自車位置を検出する検出手段と、ディスプレイと、前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、自車周辺を撮像する撮像手段と、前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、前記入力位置検出手段の検出結果に基づき自車位置マークが選択された場合に、前記撮像画像を自車位置マークの周辺に表示させる表示制御手段とを有する。 The driving support system according to the present invention includes a detection means for detecting a vehicle position, a display, a road map around the vehicle position based on the vehicle position detected by the detection means, and a vehicle position representing the vehicle position. Display means capable of displaying a mark on a display, imaging means for imaging the periphery of the vehicle, image processing means for image-processing an imaging signal from the imaging means to generate a captured image, on a display input by a user Input position detection means for detecting a position; and display control means for displaying the captured image around the vehicle position mark when the vehicle position mark is selected based on a detection result of the input position detection means. .
好ましくは前記撮像画像の表示位置は、自車を上方から見たときの前記撮像手段の取り付け位置に対応する。好ましくは前記撮像画像は、予め決められたサイズのサムネイル画像である。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記撮像画像が選択された場合に、前記選択された撮像画像の拡大画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、自車を上方から見下ろすような俯瞰画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき前記自車位置マークが選択された場合に、予め設定した任意の位置の撮像手段に対応する撮像画像を表示させる。好ましくは前記表示制御手段は、前記撮像画像が前記自車位置マークの周辺に表示されている状態で前記入力位置検出手段の検出結果に基づき自車位置マークおよび前記撮像画像以外が選択された場合に、道路地図および自車位置マークを含む元の画面を表示させる。好ましくは前記表示制御手段は、前記拡大画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記拡大画像が選択された場合に、自車位置マークの周辺に撮像画像が表示された元の画面を表示させる。好ましくは前記表示制御手段は、前記俯瞰画像が表示されている状態で、前記入力位置検出手段の検出結果に基づき前記俯瞰画像が選択された場合に、自車位置マーク周辺に撮像画像が表示された元の画面を表示させる。 Preferably, the display position of the captured image corresponds to the mounting position of the imaging means when the host vehicle is viewed from above. Preferably, the captured image is a thumbnail image having a predetermined size. Preferably, the display control unit is selected when the captured image is selected based on a detection result of the input position detection unit in a state where the captured image is displayed around the vehicle position mark. An enlarged image of the captured image is displayed. Preferably, the display control unit is configured to detect the vehicle when the vehicle position mark is selected based on a detection result of the input position detection unit in a state where the captured image is displayed around the vehicle position mark. A bird's-eye view image looking down from above is displayed. Preferably, the display control unit is set in advance when the vehicle position mark is selected based on a detection result of the input position detection unit in a state where the captured image is displayed around the vehicle position mark. The captured image corresponding to the imaging means at an arbitrary position is displayed. Preferably, when the captured image is displayed in the vicinity of the vehicle position mark, the display control unit selects a vehicle other than the vehicle position mark and the captured image based on a detection result of the input position detection unit. The original screen including the road map and the vehicle position mark is displayed. Preferably, the display control means displays a captured image around the vehicle position mark when the enlarged image is selected based on a detection result of the input position detection means in a state where the enlarged image is displayed. Display the original screen. Preferably, the display control means displays a captured image around the vehicle position mark when the overhead image is selected based on the detection result of the input position detection means in a state where the overhead image is displayed. Display the original screen.
本発明に係る運転支援方法は、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置におけるものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。 A driving support method according to the present invention is an electronic device having a function of displaying a road map around a host vehicle position and a function of displaying an image from an imaging unit that images the periphery of the host vehicle. When the position is detected, the road map around the vehicle position based on the detected vehicle position and the vehicle position mark indicating the vehicle position are displayed on the display, and when the road map and the vehicle position mark are displayed, When the vehicle position mark is selected by user input, the captured image captured by the imaging unit is displayed around the vehicle position mark.
本発明に係る運転支援プログラムは、自車位置周辺の道路地図を表示する機能、および自車周辺を撮像する撮像手段からの画像を表示する機能を備えた電子装置が実行するものであって、自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる。 The driving support program according to the present invention is executed by an electronic device having a function of displaying a road map around the vehicle position and a function of displaying an image from an imaging unit that images the vehicle periphery. The vehicle position is detected, the road map around the vehicle position based on the detected vehicle position and the vehicle position mark indicating the vehicle position are displayed on the display, and the road map and the vehicle position mark are displayed. When the vehicle position mark is selected by user input, the captured image captured by the imaging unit is displayed around the vehicle position mark.
本発明によれば、通常のナビゲーション動作により道路地図が表示されているとき、ユーザ入力により自車位置マークが選択されると、自車位置マーク周辺に撮像画像を表示させるようにしたので、ユーザ(ドライバ)は、見たいときに簡単に自車位置周辺の撮像画像を確認することができる。さらに、そのような撮像画像の表示位置は、自車位置マークを基準に撮像手段の取り付け位置と対応するため、ユーザにとって、どの方向の撮像画像の認識が容易になる。さらに撮像画像を選択することでその拡大画像を表示させることで、ユーザにって確認したい撮像画像の操作が容易になる。 According to the present invention, when the vehicle position mark is selected by the user input when the road map is displayed by the normal navigation operation, the captured image is displayed around the vehicle position mark. The (driver) can easily check the captured image around the vehicle position when he / she wants to see it. Further, since the display position of such a captured image corresponds to the mounting position of the imaging means with reference to the vehicle position mark, it is easy for the user to recognize the captured image in any direction. Furthermore, by selecting the captured image and displaying the enlarged image, the user can easily operate the captured image to be confirmed.
次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明の好ましい実施の形態において、運転支援システムは、自車の前方、後方および左右の側方にそれぞれ撮像カメラを搭載し、それらの4つの撮像カメラから得られた撮像画像の視点切替をナビゲーション動作中に実行する機能を有する。 Next, embodiments of the present invention will be described in detail with reference to the drawings. In a preferred embodiment of the present invention, the driving support system is equipped with imaging cameras on the front, rear, and left and right sides of the host vehicle, and navigation of viewpoint switching of the captured images obtained from these four imaging cameras is performed. Has a function to be executed during operation.
図1は、本発明の実施例に係る運転支援システムの全体の構成を示すブロック図である。運転支援システム10は、自車位置周辺の道路地図を表示し目的地までのルート案内などの機能を備えたナビゲーション装置20と、ナビゲーション装置20に接続され道路地図や撮像カメラにより撮像された画像(以下、カメラ画像と言うことがある)を表示する機能に加え、タッチパネルによる位置入力機能を備えた表示装置30と、車両の前方、後方、右側方、左側方にそれぞれ設置された撮像カメラ40A、40B、40C、40D(以下、総称するときは撮像カメラ40という)と、撮像カメラ40からの撮像データを画像処理し、カメラ画像や俯瞰画像等を生成する画像処理装置50とを含んで構成される。
FIG. 1 is a block diagram showing the overall configuration of a driving support system according to an embodiment of the present invention. The driving support system 10 displays a road map around the position of the vehicle and provides a
図2は、典型的なナビゲーション装置20の構成を示すブロック図である。ナビゲーション装置20は、自車位置を検出する自車位置検出部100と、ユーザからの入力を受け取る入力部110と、ナビゲーション動作に必要な同地地図データ等を格納した記憶部120と、ナビゲーション動作のためのプログラムを記憶したプログラムメモリ130と、演算されたデータや画像処理装置50からのデータを保持するデータメモリ140と、表示装置30および画像処理装置50とバス等を介して接続されるインターフェース部150と、各部を制御する制御部160とを有する。
FIG. 2 is a block diagram showing a configuration of a
位置検出部100は、GPS衛星を利用した自車の絶対位置を測位可能なGPS測位器、車速センサや方位センサを利用した自車の相対位置を測位可能な自立航法センサを有することができる。位置検出部100で検出された位置情報は制御部160へ出力され、自車位置周辺の道路地図データの読み出しや自車位置マークの表示等に利用される。
The
入力部110は、好ましくは、表示装置30に搭載されたタッチパネルによる入力を含む。タッチパネルは、公知のように、ユーザの指などがディスプレイに接触または接近したとき、その座標位置を検出する。入力部110は、タッチパネルによる入力のほかにも、マウス、リモコン、キーボード等による入力インターフェースであってもよく、それらを用いてディスプレイ上に表示されたカーソルにより入力を行うことができる。
The
記憶部120は、道路地図を表示するために必要なリンクデータ、交差点データ、施設データ等を含む。さらに、道路地図上に表示される自車位置マークを示すポリゴンデータ等を含む。なお、記憶部120は、必ずしも必須ではなく、ナビゲーション装置によっては、外部サーバとの通信によって道路地図データを取得してもよいし、半導体メモリなどの外部記憶装置から道路地図データを入手するものであってもよい。
The
プログラムメモリ130は、運転支援システムに必要なプログラムを保持する。本実施例では、運転支援システムは、ナビゲーション動作を実行するためのプログラムと、撮像カメラによる画像を表示するためのプログラムとを有する。ナビゲーション動作を実行するためのプログラムとして、自車位置周辺の道路地図データを記憶部120から読み出しこれを表示装置30に表示するためのプログラム、目的地までのルートを探索するためのプログラム、ルートを案内するプログラムなどを含む。さらに撮像カメラの画像を表示するプログラムとして、ユーザ入力に応じて道路地図画面上に撮像カメラの画像を合成させたり、ユーザ入力に応じて撮像カメラの視点を切替えたり、さらに撮像カメラの画像の表示に関する種々の設定をするプログラムを備えている。
The
データメモリ140は、記憶部120から読み出された道路地図データや画像処理装置50で生成された画像データを保持する。インターフェース部150は、画像処理装置50との間で制御信号やデータの送受を制御し、また表示装置30との間で制御信号やデータの送受を制御する。
The
表示装置30は、インターフェース部150を介して画像データを受け取りこれを表示する。さらに表示装置30は、ユーザにより入力されたディスプレイ上の位置を検出する検出手段としてタッチパネルを含む。タッチパネルは、公知のように、静電容量変化などを測定することで、ユーザの指等が接触または接近した座標位置を検出する。検出された座標位置は、インターフェース部150を介して制御部160へ送信される。
The
撮像カメラ40は、CCDやCMOSイメージセンサを用いて構成される。図3に示すように、撮像カメラ40Aは、車両前方のバンパーなどに取り付けられ、車両の前方を視野角θ1で撮像する。撮像カメラ40C、40Dは、車両のドアミラーから車両の側部を視野角θ2、θ3で撮像する。撮像カメラ40Bは、車両の後部バンパーなどに取り付けられ、車両の後方を視野角θ4で撮像する。撮像カメラの視野角θ1、θ2、θ3、θ4は、隣接する撮像カメラの視野角と端部がオーバーラップし、撮像カメラ40A〜40Dにより車両の全周囲を撮像できるようになっている。
The imaging camera 40 is configured using a CCD or a CMOS image sensor. As shown in FIG. 3, the
図4は、画像処理装置50の内部構成を示すブロック図である。画像処理装置50は、撮像カメラ40A〜40Dの撮像信号を入力し、これをディジタル信号に変換する入力部200と、入力部200からの画像データを受け取り、各撮像カメラ40の視点方向で撮像された画像からサムネイル画像を生成するサムネイル画像生成部210と、入力部200からの画像データを受け取り、サムネイル画像を拡大した拡大画像を生成する拡大画像生成部220と、入力部200からの画像データを受け取り、自車の真上から見下ろすような俯瞰画像(トップビュー画像)を生成する俯瞰画像生成部230とを有する。各生成部210、220、230には、ナビゲーション装置20からの制御信号C1、C2、C3が入力され、各生成部210、220、230は、制御信号C1、C2、C3に基づき画像を生成する。各生成部210、220、230で生成された画像データは、インターフェース部150を介してデータメモリ140へ転送される。各生成部210、220、230の処理は、ソフトウエアにより実行するものでも、ハードウエア回路により実行するものであってもよい。
FIG. 4 is a block diagram showing the internal configuration of the
サムネイル画像生成部210は、予め決められたサイズのサムネイル画像を生成する。サムネイルのサイズは、表示装置(ディスプレイ)30の大きさ、道路地図画面の大きさ、そこに表示される自車位置マークの大きさ等に基づき決定される。好ましくは、自車位置マークを中心にその前後左右に4つのサムネイル画像が同時に表示できる大きさである。
The thumbnail
拡大画像生成部220は、サムネイル画像を拡大するような拡大画像を生成する。拡大画像のサイズは、好ましくは、ディスプレイの画面と同等であることができるが、それよりも小さくサイズであってもよい。
The enlarged
俯瞰画像生成部230は、例えば図5に示すように、車両の前方のカメラ40Aで撮像された画像300A、車両の後方のカメラ40Bで撮像された画像300B、左右のカメラで撮像された画像信号300C、300Dを、基準点Oを基準に視点変換し、車両の真上から放射状に見下ろすように合成された画像を生成する。
For example, as shown in FIG. 5, the bird's-eye view
図6は、図2に示したプログラムメモリ130に格納された撮像画像の表示のためのプログラムの機能ブロック図である。撮像画像表示プログラム310は、表示装置30の表示状態を判定する表示状態判定部320と、ユーザ入力された位置から選択された対象を判定する入力判定部330と、表示状態判定部320および入力判定部330の各判定結果に基づき画像の切替を行う画像切替部340とを有する。
FIG. 6 is a functional block diagram of a program for displaying captured images stored in the
図7は、表示状態判定部320の判定動作を説明する図である。本実施例では、表示状態判定図320は、図7に示すような表示状態1ないし4のいずれかを判定する。すなわち、表示状態1は、ナビゲーション装置20により自車位置周辺の道路地図が表示されている状態、表示状態2は、道路地図画面にサムネイル画像が合成して表示されている状態、表示状態3は、サムネイル画像の拡大画像が表示されている状態、表示状態4は、俯瞰画像が表示されている状態である。表示状態判定部300は、画像の切替が行われたとき表示状態を判定しその内容を保持する。
FIG. 7 is a diagram for explaining the determination operation of the display state determination unit 320. In this embodiment, the display state determination diagram 320 determines one of display states 1 to 4 as shown in FIG. That is, the display state 1 is a state in which a road map around the vehicle position is displayed by the
入力判定部330は、表示状態1〜4に応じて、ユーザ入力により検出された座標位置に基づき、表示装置30に表示されている画像のどの部分が選択されたのかを判定する。図8は、入力判定部の判定内容を説明するテーブルである。入力判定部330は、表示状態1のとき、ユーザ入力の座標位置により自車位置マークが選択されたか否かを判定する。表示状態2のとき、自車位置マーク、サムネイル画像、これらの画像以外のいずれが選択されたかを判定する。表示状態3のとき、拡大画像が選択されたか否かを判定し、表示状態4のとき、俯瞰画像が選択されたか否かを判定する。
The
画像切替部330は、表示状態判定部320の判定結果および入力判定部330の判定結果に基づき表示装置30に表示すべき画像を決定し、また必要があれば画像の切替を行う。図9は、表示状態の判定結果、入力の判定結果、および切替画像の関係を説明するテーブルである。表示状態1において、すなわち道路地図が表示されたナビゲーション画面において自車位置マークが選択された場合には、道路地図画面の自車位置マークの周辺にサムネイル画像が表示される。表示状態2において、自車位置マークが選択された場合には、自車を真上から見下ろすような俯瞰画像が表示される。また、表示状態2において、サムネイル画像が選択された場合には、選択されたサムネイル画像の拡大画像が表示され、自車位置マークおよびサムネイル画像以外の領域が選択された場合には、元の道路地図を表したナビゲーション画面が表示される。表示状態3において、拡大画像が選択された場合には、サムネイル画像すなわち表示状態2に戻り、また表示状態4において、俯瞰画像が選択された場合には、サムネイル画像すなわち表示状態2に戻る。
The
次に、本発明の実施例の運転支援動作を図10のフローチャート、および図11の画面切替シーケンスを用いて説明する。先ず、自車の走行が開始されると、位置検出部100によって自車位置が検出され、制御部160は、自車位置周辺の道路地図データを記憶部120から読み出し、表示装置30に自車位置周辺の道路地図を表示させる(ステップS101)。道路地図画面は、図11(a)に示されるように、道路地図上に自車位置を示す自車位置マークMが合成して表示される。自車位置マークMは、自車位置が一見して分かるようにするために道路地図上に合成して表示され、走行中の道路上に表示される。自車位置マークの形状、大きさ、色彩、点滅の有無等は、特に制限されるものではなく、自車位置を表すことができるマークであればよい。典型的に自車位置マークは、道路地図画面のほぼ中央に固定的に表示され、自車位置の変更に伴い道路地図がスクロールされる。道路地図画面は、ノースアップであってよいし、ヘディングアップであってもよい。また、目的地までのルートが探索されていれば、当該ルートが道路上に合成して表示され、そのルート案内が行われる。
Next, the driving support operation of the embodiment of the present invention will be described using the flowchart of FIG. 10 and the screen switching sequence of FIG. First, when the host vehicle starts to travel, the
自車の走行開始に伴い、前方、後方、左右の撮像カメラ40も起動され、撮像カメラ40からの撮像信号が画像処理装置50へ提供される。画像処理装置50の各生成部(図4を参照)は、入力された撮像信号に基づきサムネイル画像、拡大画像、俯瞰画像の生成を開始してもよいし、制御部160からの制御信号C1、C2、C3からの指示に応答してサムネイル画像、拡大画像、俯瞰画像を生成するようにしてもよい。
As the vehicle starts to travel, the front, rear, and left and right imaging cameras 40 are also activated, and an imaging signal from the imaging camera 40 is provided to the
道路地図が表示されることで、表示状態判定部320は、表示装置30が表示状態1であることを判定し、その判定結果を保持する。次いで、入力判定部330は、ユーザからの入力を監視し(ステップS102)、ユーザからの座標位置の入力があると、自車位置マークMが選択されたか否かを判定する(ステップS103)。自車位置マークMに対応する座標エリアが予め設定され、その座標エリアへの入力があったとき、自車位置マークMが選択されたと判定される。
When the road map is displayed, the display state determination unit 320 determines that the
自車位置マークMが選択された判定されると、画像切替部340は、図9のテーブルに示したように、道路地図画面上にサムネイル画像を合成して表示させる(ステップS104)。サムネイル画像は、各撮像カメラ40A〜40Dの視点方向を撮像した画像であってこれを予め決められたサイズに縮小したものであり、道路地図画面には、サムネイル画像のウインドウが表示される。このサムネイル画像は、サムネイル画像生成部210により生成され、画像切替部340からの制御信号C1に基づき生成されるようにしてもよい。
If it is determined that the host vehicle position mark M is selected, the
図11(b)は、サムネイル画像の表示例を示している。図に示すように、サムネイル画像TH−Aは、撮像カメラ40Aにより撮像された前方画像であり、自車位置マークMの前方すなわち進行方向に表示され、このサムネイル画像TH−Aの表示位置は、自車を真上から見たときの撮像カメラ40Aの位置に対応する。サムネイル画像TH−Bは、撮像カメラ40Bにより撮像された後方画像であり、自車位置マークMの後方に表示され、この表示位置は、撮像カメラ40Bの位置に対応する。同様に、サムネイル画像TH−C、TH−Dは、撮像カメラ40C、40Dによって撮像された左右の側方画像であり、自車位置マークの左側および右側に表示され、これらの表示位置は、撮像カメラ40C、40Dの位置にそれぞれ対応する。
FIG. 11B shows a display example of thumbnail images. As shown in the figure, the thumbnail image TH-A is a forward image captured by the
こうして自車位置マークMの周囲に撮像カメラ40の位置に対応したサムネイル画像のウインドウが合成して表示されるため、ユーザは、一見してサムネイル画像と自車位置との関係を容易に理解し、自車のどの方向の撮像画像かを認識する。 Since the thumbnail image window corresponding to the position of the imaging camera 40 is synthesized and displayed around the vehicle position mark M in this way, the user can easily understand the relationship between the thumbnail image and the vehicle position at a glance. The direction of the captured image of the host vehicle is recognized.
サムネイル画像に画面が切替えられたことで、表示状態判定部320は、表示状態を表示状態2に更新する(ステップS105)。引き続き、入力判定部330は、ユーザ入力を監視し、ユーザ入力があったとき(ステップS106)、ユーザ入力によって、自車位置マーク、サムネイル画像、それ以外の画像のいずれが選択されたかを判定する(図8を参照)。
When the screen is switched to the thumbnail image, the display state determination unit 320 updates the display state to the display state 2 (step S105). Subsequently, the
入力判定部330により自車位置マークMが選択されたと判定された場合(ステップS107)、画像切替部340は、表示状態2において自車位置マークMが選択されたので、表示装置30には俯瞰画像が表示される(ステップS108)。図11(c)は、俯瞰画像の表示例である。俯瞰画像は、表示装置30の画面全体に拡大して表示されるようにしてもよいし、予め一定のサイズをもって道路地図上に合成して表示されるようにしてもよい。俯瞰画像は、俯瞰画像生成部220によって生成され、画像切替部340からの制御信号C3に応じて生成するようにすることができる。俯瞰画像が表示されたことで、表示状態判定部320は、表示状態を表示状態4に更新する。こうして、ユーザは、自車位置周辺に障害物等が存在するか否かの確認などを行うことができる。
When the
一方、入力判定部330によりサムネイル画像が選択されたと判定された場合(ステップS109)、画像切替部340は、選択されたサムネイル画像の拡大画像を表示させる(ステップS110)。例えば、自車前方を撮像したサムネイル画像TH−Aが選択された場合には、その拡大画像が表示され、左側方のサムネイル画像TH−Cが選択された場合には、その拡大画像が表示される。サムネイル画像の拡大画像は、拡大画像生成部220によって生成され、拡大画像の大きさは、表示装置30のサイズ全体であってもよいし、一定のサイズで道路地図画面上に合成されてもよい。図11(d)は、サムネイル画像TH−Bが選択されたときのその拡大画像の表示例である。拡大画像が表示されたことで、表示状態判定部320は、表示状態を表示状態3に更新する。
On the other hand, when the
さらに、入力判定部330により、サムネイル画像および自車位置マークMでもない領域が選択されたと判定された場合(ステップS111)、画像切替部340は、表示状態1の道路地図画面を表示させる(ステップS112)。なお、表示状態3または表示状態4の状態で、入力判定部330により拡大画像または俯瞰画像が選択されたと判定された場合には、画像切替部340は、表示状態2の画像に画面を切替える。
Furthermore, when the
このように本実施例の運転支援システムによれば、簡便かつ直感的な操作で必要な撮像カメラの視点の画像を表示することができる。また、撮像カメラの台数が増えても、同様の操作手法で対応することが可能である。 As described above, according to the driving support system of the present embodiment, it is possible to display a necessary image of the viewpoint of the imaging camera by a simple and intuitive operation. Even if the number of imaging cameras increases, it is possible to cope with the same operation method.
次に、本実施例の変形例について説明する。上記実施例では、表示状態2において自車位置マークMが選択されたとき、表示状態4において俯瞰画像に切替える例を示したが、表示状態4において、どのような画像を表示させるかをユーザ設定できるようにしてもよい。ユーザ設定は、運転支援システムを動作させる前に初期設定として実行される。例えば、表示状態4において、俯瞰画像と、任意に選択した撮像カメラの拡大画像との組合せを表示させるようにしてもよい。図12は、俯瞰画像と左側方の拡大画像とを組み合わせたものである。勿論、これ以外の任意の組合せであってもよく、俯瞰画像とサムネイル画像の組合せであってもよい。 Next, a modification of the present embodiment will be described. In the above embodiment, when the vehicle position mark M is selected in the display state 2, an example of switching to the overhead view image in the display state 4 has been shown. However, in the display state 4, what kind of image is displayed is set by the user. You may be able to do it. The user setting is executed as an initial setting before operating the driving support system. For example, in the display state 4, a combination of an overhead image and an enlarged image of an arbitrarily selected imaging camera may be displayed. FIG. 12 is a combination of the overhead image and the enlarged image on the left side. Of course, any other combination may be used, or a combination of an overhead image and a thumbnail image may be used.
また、上記実施例では、自車の前後左右に4つの撮像カメラを搭載した例を示したが、これ以外の撮像カメラの数であってもよい。例えば、自車の前方に3つの撮像カメラを搭載し(自車の左右のコーナーと中央を撮像)、自車の左右にそれぞれ2つの撮像カメラを搭載し、自車の後方に3つの撮像カメラと搭載し(自車の左右のコーナーと中央を撮像)、合計で8つの撮像カメラを備えるものであってもよい。この場合、サムネイル画像のウインドウ表示は、図13に示すようになる。勿論、撮像カメラの数は、4つよりも少ない数であってもよく、例えば、自車の前方と後方の合計2つの撮像カメラであってもよいし、自車の前方のみ、あるいは自車の後方のみの1つの撮像カメラであっても良い。撮像カメラが1つの場合には、表示状態2から自車位置マークが選択されたことが判定されると、同様に俯瞰画像が表示されるが、俯瞰画像は、自車周辺の一部に限られることになる。 Moreover, in the said Example, although the example which mounted four imaging cameras on the front and rear, right and left of the own vehicle was shown, the number of imaging cameras other than this may be sufficient. For example, three imaging cameras are mounted in front of the vehicle (images of the left and right corners and the center of the vehicle), two imaging cameras are mounted on the left and right of the vehicle, and three imaging cameras are mounted behind the vehicle. Mounted (images of the left and right corners and the center of the vehicle) and a total of eight imaging cameras may be provided. In this case, the thumbnail image window display is as shown in FIG. Of course, the number of imaging cameras may be less than four. For example, there may be a total of two imaging cameras in front and rear of the host vehicle, or only in front of the host vehicle or the host vehicle. It may be one imaging camera only behind the camera. In the case of a single imaging camera, if it is determined from the display state 2 that the vehicle position mark has been selected, an overhead image is displayed in the same manner, but the overhead image is limited to a part around the vehicle. Will be.
また、上記実施例では、道路地図画面がヘディングアップのときを示したが、ノースアップでもよい。この場合には、道路地図画面にて自車位置マークを選択すると、一時的に道路地図画面をヘディングアップに切り替えるとともに、自車位置マーク周辺にサムネイル画像を表示する、すなわち、図11(b)に示す画像を表示するようにしてもよい。 In the above embodiment, the road map screen is heading up, but it may be north up. In this case, when the own vehicle position mark is selected on the road map screen, the road map screen is temporarily switched to heading up and a thumbnail image is displayed around the own vehicle position mark, that is, FIG. You may make it display the image shown to.
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。上記実施例では、ユーザ入力により自車位置マークが選択された場合に自車位置マークの周辺にサムネイル画像のウインドウを表示するようにしたが、サムネイル画像以外にも撮像カメラの視点方向により撮像された画像をそのまま表示するようにしてもよい。さらに運転支援システムは、ナビゲーション機能に加えて、オーディオ機能、ビデオ機能、通信機能などを備えた電子装置を含むものであってもよい。 The preferred embodiment of the present invention has been described in detail above, but the present invention is not limited to the specific embodiment, and various modifications can be made within the scope of the present invention described in the claims. Deformation / change is possible. In the above embodiment, the window of the thumbnail image is displayed around the vehicle position mark when the vehicle position mark is selected by the user input. However, in addition to the thumbnail image, the image is picked up by the viewpoint direction of the imaging camera. The displayed image may be displayed as it is. Furthermore, the driving support system may include an electronic device having an audio function, a video function, a communication function, etc. in addition to the navigation function.
10:運転支援システム 20:ナビゲーション装置
30:表示装置 40:撮像カメラ
50:画像処理装置 100:位置検出部
110:入力部 120:記憶部
130:プログラムメモリ 140:データメモリ
150:インターフェース部 200:入力部
210:サムネイル画像生成部 220:拡大画像生成部
230:俯瞰画像生成部 300A:前方画像
300B:後方画像 300C、300D:側方画像
M:自車位置マーク C1、C2、C3:制御信号
10: Driving support system 20: Navigation device 30: Display device 40: Imaging camera 50: Image processing device 100: Position detection unit 110: Input unit 120: Storage unit 130: Program memory 140: Data memory 150: Interface unit 200: Input Unit 210: Thumbnail image generation unit 220: Enlarged image generation unit 230: Overhead
Claims (19)
ディスプレイと、
前記検出手段により検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示可能な表示手段と、
自車周辺を撮像する撮像手段と、
前記撮像手段からの撮像信号を画像処理し撮像画像を生成する画像処理手段と、
ユーザにより入力されたディスプレイ上の位置を検出する入力位置検出手段と、
前記入力位置検出手段の検出結果に基づき自車位置マークが選択された場合に、前記撮像画像を自車位置マークの周辺に表示させる表示制御手段と、
を有する運転支援システム。 Detection means for detecting the vehicle position;
Display,
Display means capable of displaying a road map around the vehicle position based on the vehicle position detected by the detection means and a vehicle position mark representing the vehicle position on a display;
Imaging means for imaging the periphery of the vehicle;
Image processing means for image-processing an imaging signal from the imaging means to generate a captured image;
Input position detecting means for detecting a position on the display input by the user;
Display control means for displaying the captured image around the vehicle position mark when the vehicle position mark is selected based on the detection result of the input position detection means;
A driving support system.
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる、運転支援方法。 A driving support method in an electronic device having a function of displaying a road map around the vehicle position and a function of displaying an image from an imaging means for imaging the periphery of the vehicle,
Detects the vehicle position, displays a road map around the vehicle position based on the detected vehicle position and a vehicle position mark indicating the vehicle position on the display,
When the road map and the vehicle position mark are displayed, if the vehicle position mark is selected by the user input, the captured image captured by the imaging unit is displayed around the vehicle position mark. Support method.
自車位置を検出し、検出された自車位置に基づき自車位置周辺の道路地図および自車位置を表す自車位置マークをディスプレイに表示し、
道路地図および自車位置マークが表示されているとき、ユーザ入力により自車位置マークが選択された場合には、前記撮像手段により撮像された撮像画像を自車位置マークの周辺に表示させる、運転支援プログラム。 A driving support program executed by an electronic device having a function of displaying a road map around the vehicle position and a function of displaying an image from an imaging means for imaging the periphery of the vehicle,
Detects the vehicle position, displays a road map around the vehicle position based on the detected vehicle position and a vehicle position mark indicating the vehicle position on the display,
When the road map and the vehicle position mark are displayed, if the vehicle position mark is selected by the user input, the captured image captured by the imaging unit is displayed around the vehicle position mark. Support program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010239460A JP5709460B2 (en) | 2010-10-26 | 2010-10-26 | Driving support system, driving support method, and driving support program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010239460A JP5709460B2 (en) | 2010-10-26 | 2010-10-26 | Driving support system, driving support method, and driving support program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012091625A true JP2012091625A (en) | 2012-05-17 |
JP5709460B2 JP5709460B2 (en) | 2015-04-30 |
Family
ID=46385506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010239460A Active JP5709460B2 (en) | 2010-10-26 | 2010-10-26 | Driving support system, driving support method, and driving support program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5709460B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014099150A (en) * | 2012-11-14 | 2014-05-29 | Avisonic Technology Corp | Method of controlling vehicle image display using touch panel, and related vehicle image system |
JP2017515101A (en) * | 2014-05-08 | 2017-06-08 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | Apparatus and method for providing information data relating to vehicle periphery objects of a vehicle contained in a video image stream |
DE102018106039A1 (en) | 2017-04-26 | 2018-10-31 | Denso Ten Limited | Image reproduction device, image reproduction system and image reproduction method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101778624B1 (en) * | 2017-05-16 | 2017-09-26 | (주)텔미전자 | Surround camera system for autonomous driving |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001084500A (en) * | 1999-09-14 | 2001-03-30 | Sumitomo Electric Ind Ltd | Running support device for moving body |
JP2008024138A (en) * | 2006-07-20 | 2008-02-07 | Denso Corp | Image display device and program |
WO2010070814A1 (en) * | 2008-12-17 | 2010-06-24 | 三菱電機株式会社 | Navigation device |
-
2010
- 2010-10-26 JP JP2010239460A patent/JP5709460B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001084500A (en) * | 1999-09-14 | 2001-03-30 | Sumitomo Electric Ind Ltd | Running support device for moving body |
JP2008024138A (en) * | 2006-07-20 | 2008-02-07 | Denso Corp | Image display device and program |
WO2010070814A1 (en) * | 2008-12-17 | 2010-06-24 | 三菱電機株式会社 | Navigation device |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014099150A (en) * | 2012-11-14 | 2014-05-29 | Avisonic Technology Corp | Method of controlling vehicle image display using touch panel, and related vehicle image system |
US9195390B2 (en) | 2012-11-14 | 2015-11-24 | Avisonic Technology Corporation | Method for controlling display of vehicular image by touch panel and vehicular image system thereof |
JP2017515101A (en) * | 2014-05-08 | 2017-06-08 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | Apparatus and method for providing information data relating to vehicle periphery objects of a vehicle contained in a video image stream |
DE102018106039A1 (en) | 2017-04-26 | 2018-10-31 | Denso Ten Limited | Image reproduction device, image reproduction system and image reproduction method |
JP2018186389A (en) * | 2017-04-26 | 2018-11-22 | 株式会社デンソーテン | Video reproduction device, video reproduction system, and video reproduction method |
US10605616B2 (en) | 2017-04-26 | 2020-03-31 | Denso Ten Limited | Image reproducing device, image reproducing system, and image reproducing method |
DE102018106039B4 (en) | 2017-04-26 | 2024-01-04 | Denso Ten Limited | IMAGE REPRODUCTION APPARATUS, IMAGE REPRODUCTION SYSTEM AND IMAGE REPRODUCTION METHOD |
Also Published As
Publication number | Publication date |
---|---|
JP5709460B2 (en) | 2015-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5832674B2 (en) | Display control system | |
US8138899B2 (en) | Rear camera backup assistance with touchscreen display using two points of interest | |
EP2487906B1 (en) | Control device and vehicle surrounding monitoring device | |
KR101481681B1 (en) | Vehicular image system and display control method for vehicular image | |
JP5187179B2 (en) | Vehicle periphery monitoring device | |
EP2549750A1 (en) | Image display device | |
JP5813944B2 (en) | Image display system, image processing apparatus, and image display method | |
KR20120118074A (en) | Vehicle periphery monitoring device | |
JP2009239674A (en) | Vehicular periphery display device | |
WO2010061797A1 (en) | Input device, apparatus for monitoring area around vehicle, method for selecting icon switch, and program | |
JP4867512B2 (en) | Image display apparatus and program | |
KR20120118073A (en) | Vehicle periphery monitoring device | |
US10484651B2 (en) | Image display control device | |
JP5064201B2 (en) | Image display system and camera output control method | |
JP2016063390A (en) | Image processing system and image display system | |
JP5709460B2 (en) | Driving support system, driving support method, and driving support program | |
JP5977130B2 (en) | Image generation apparatus, image display system, and image generation method | |
JP2020042417A (en) | Display controller | |
JP2010108185A (en) | System, method, and program for controlling display | |
JP2012046124A (en) | Image display system, image processing device and image display method | |
JP2009124377A (en) | Vehicle periphery image processing apparatus and vehicle perimeter status presentation method | |
JP2009119895A (en) | Vehicle driving support device and vehicle driving support method | |
WO2020148957A1 (en) | Vehicle control device and method | |
JP2017005352A (en) | On-vehicle display device and vehicle rear-side video image display method | |
JP6662655B2 (en) | Vehicle image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140610 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5709460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |