JP2010069915A - Vehicle surroundings monitoring apparatus - Google Patents
Vehicle surroundings monitoring apparatus Download PDFInfo
- Publication number
- JP2010069915A JP2010069915A JP2008236522A JP2008236522A JP2010069915A JP 2010069915 A JP2010069915 A JP 2010069915A JP 2008236522 A JP2008236522 A JP 2008236522A JP 2008236522 A JP2008236522 A JP 2008236522A JP 2010069915 A JP2010069915 A JP 2010069915A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- view
- vehicle
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、車両周囲監視装置に関する。 The present invention relates to a vehicle surrounding monitoring apparatus.
従来、例えば車両周囲を撮影する周囲モニタ装置から出力される映像と、ナビゲーション装置から出力される映像とを、運転者による所定の運転操作に応じて切り替え可能に表示画面に表示する車両周囲モニタ装置が知られている(例えば、特許文献1参照)。
ところで、上記従来技術の一例に係る車両周囲モニタ装置においては、映像の切り替え時、あるいは、複数回の切り替えに伴う映像の再表示時において、操作者が違和感を感じてしまうことを防止することが望まれている。
本発明は上記事情に鑑みてなされたもので、車両の外界周辺領域の画像の表示切替に運転者が違和感を感じてしまうことを防止することが可能な車両周囲監視装置を提供することを目的とする。
By the way, in the vehicle surroundings monitoring device according to the above-described prior art, it is possible to prevent the operator from feeling uncomfortable at the time of switching the video or at the time of re-displaying the video accompanying a plurality of times of switching. It is desired.
The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a vehicle periphery monitoring device that can prevent a driver from feeling uncomfortable when switching the display of an image in the surrounding area of the vehicle. And
上記課題を解決して係る目的を達成するために、本発明の第1態様に係る車両周囲監視装置は、自車両の外界周辺領域を撮像して画像を出力する複数の撮像装置(例えば、実施の形態での各カメラ11a,…,11d)と、前記複数の撮像装置から出力される前記画像を視点変換して変換画像を出力する視点変換手段(例えば、実施の形態での画像処理部42)と、車室内に配置された表示装置(例えば、実施の形態での表示装置19)と、前記視点変換手段から出力される前記変換画像と、前記撮像装置から出力される自車両の前方領域または後方領域の画像とを、前記表示装置に表示する表示制御手段(例えば、実施の形態での表示制御部45)とを備え、前記表示制御手段は、前記前方領域または前記後方領域の画像の表示状態に関わらずに、前記変換画像の表示状態を一定に維持する。
In order to solve the above-described problems and achieve the object, the vehicle surroundings monitoring apparatus according to the first aspect of the present invention includes a plurality of imaging apparatuses (for example, implementations) that capture an image of a surrounding area of the host vehicle and output an image. , 11d) and viewpoint conversion means (for example, the
本発明の車両周囲監視装置によれば、例えば車両の前進または後退などに応じて、表示装置に表示される画像が前方領域の画像または後方領域の画像に切り替えられる場合であっても、これらの画像と共に表示される変換画像の表示状態(例えば、表示フォーマットなど)は一定に維持されることから、表示画面の表示切替に運転者が違和感を感じてしまうことを防止することができる。 According to the vehicle periphery monitoring device of the present invention, even when the image displayed on the display device is switched to the front region image or the rear region image according to, for example, forward or backward movement of the vehicle, these Since the display state (for example, the display format) of the converted image displayed together with the image is kept constant, it is possible to prevent the driver from feeling uncomfortable in the display switching of the display screen.
以下、本発明の一実施形態に係る車両周囲監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周囲監視装置10は、車両に搭載され、例えば図1に示すように、車両の外界を撮像可能な外界カメラ11と、近赤外線LED12と、車両状態センサ13と、ナビゲーション装置14と、操作スイッチ15と、切替スイッチ16と、格納スイッチ17と、ドアミラーアクチュエータ18と、表示装置19と、CPUなどを含む電子回路により構成された画像処理装置20とを備えて構成されている。
Hereinafter, a vehicle periphery monitoring device according to an embodiment of the present invention will be described with reference to the accompanying drawings.
A vehicle
外界カメラ11は、例えば図2に示すように、車両の外界として、前方の周辺領域を撮像領域とする前方カメラ11aと、後方の周辺領域を撮像領域とする後方カメラ11bと、左側方の周辺領域を撮像領域とする左側方カメラ11cと、右側方の周辺領域を撮像領域とする右側方カメラ11dとを備え、例えば可視光領域から近赤外線領域にて撮像可能とされ、各カメラ11a,…,11dの撮像により得られた画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して画像処理装置20へ出力する。
For example, as shown in FIG. 2, the
なお、前方カメラ11aは、例えば車両のフロントグリルなどに設置され、後方カメラ11bは、例えば車両のバックドアやテールゲートなどに設置され、左側方カメラ11cおよび右側方カメラ11dは、例えば車両の左右のドアミラーML,MRの下端などに設置されている。
The
近赤外線LED12は、例えば車両の助手席側のドアミラー(例えば、左のドアミラーML)に設置され、画像処理装置20により点灯制御され、例えば夜間時などにおいて前照灯(図示略)の点灯に連動して、助手席側の所定領域(例えば、助手席側の外界カメラ11の撮像領域、つまり左側方カメラ11cの撮像領域である車両の左側方の周辺領域)を照射する。
The near-
車両状態センサ13は、自車両の車両状態量として、例えば、駆動輪の回転速度(車輪速)を検出する車輪速センサ31と、操舵角(例えば、運転者が入力した操舵角度の方向と大きさ)あるいは操舵角に応じた実舵角(転舵角)を検出する舵角センサ32と、セレクトレバー(図示略)を介して運転者により選択される変速機構(図示略)の状態に応じたシフトポジションを検出するシフトポジションセンサ33となどを備えて構成されている。
The
ナビゲーション装置14は、車両の現在位置と予め記憶している地図データとによりマップマッチングの処理を実行すると共に、例えば操作者の入力操作などに応じて設定された目的地に対して経路探索や経路誘導などの処理を実行し、表示装置19およびスピーカ(図示略)の動作を指示する制御指令を出力する。
The
操作スイッチ15は、運転者の操作入力に応じた各種の指令信号、例えば表示装置19の表示画面上での各種のメニュー項目の選択指示などを出力する。
切替スイッチ16は、運転者の操作入力に応じた表示装置19の表示画面上での各種の表示切替の指令信号を出力する。
格納スイッチ17は、運転者の操作入力に応じて、車両の左右のドアミラーML,MRの格納および展開、さらには、角度変更などをおこなうドアミラークチュエータ18に各種の指令信号を出力する。
The
The
The
表示装置19は、画像処理装置20の制御により各種の表示をおこなう。例えば、表示装置19の表示画面上には、外界カメラ11から出力される各画像データに加えて、これらの画像データに自車両の位置および各種のガイド表示などを重畳して表示可能である。
The
画像処理装置20は、例えばLED制御部41と、画像処理部42と、記憶部44と、表示制御部45とを備えて構成されている。
The
LED制御部41は、例えば夜間時などにおいて前照灯(図示略)の点灯に連動して、かつ、例えば表示装置19の表示画面に後述するサイドビューSVの画像が表示される期間に連動して、近赤外線LED12を点灯制御する。
The
画像処理部42は、外界カメラ11の各カメラ11a,…,11dから出力される画像データに基づき、例えば所定の変換処理などによって、予め設定された所定の視野表示に対応した変換画像を生成して出力する。
The
なお、所定の視野表示は、例えば、図3(A)に示す車両の前方領域の表示(フロントビューFV)と、図3(B)に示す車両の後方領域の表示(リアビューRV)と、図3(C)に示す車両の左右の側方前方領域の表示(サイドビューSV)と、図3(D)に示す車両の側方後方領域の表示であって、左右のドアミラーML,MRに映る領域を仮想的に再現した表示(ミラービューMV)と、図3(E)に示す車両の前方領域において左右に表示領域を拡張した表示(フロントブラインドビューFBV)と、図3(F)に示す車両の周辺領域を俯瞰した表示(グランドビューGV)となどである。 The predetermined visual field display includes, for example, a display of the front area of the vehicle (front view FV) shown in FIG. 3 (A), a display of the rear area of the vehicle (rear view RV) shown in FIG. 3 (C), the left and right side front area display (side view SV) of the vehicle, and the vehicle side rear area display shown in FIG. 3 (D), which are reflected in the left and right door mirrors ML, MR. A display that virtually reproduces the area (mirror view MV), a display that expands the display area left and right in the front area of the vehicle shown in FIG. 3E (front blind view FBV), and that shown in FIG. This is a display (ground view GV) overlooking the surrounding area of the vehicle.
例えばグランドビューGVの画像を生成する際には、画像処理部42は、図4に示すように、各カメラ11a,…,11dの撮像領域の画像データ(例えば、図4に示す車両の後方領域の画像データRP)を、車両の鉛直方向上方の所定視点位置BPから見下ろした画像(例えば、図4に示す変換画像RCP)となるように、画像の歪みなども補正しつつ視点変換をおこなう。そして、この変換処理により得られた各変換画像から、互いの境界位置が整合するようにして各変換画像毎に設定された所定の画角範囲の画像(例えば、前方抽出画像PF,後方抽出画像PR,左側方抽出画像PSL,右側方抽出画像PSR)を抽出する。そして、例えば図5(A),(B)に示すように、これらの画像(各抽出画像PF,PR,PSL,PSR)を結合して結合画像を生成し、この結合画像をグランドビューGVの画像として出力する。なお、この結合画像においては、隣り合う抽出画像同士間の境界部に所定のマスク線MLが設けられている。
For example, when generating the image of the grand view GV, the
なお、外界カメラ11のうち左側方カメラ11cおよび右側方カメラ11dが、車両の左右のドアミラーML,MRの下端に設置されている場合には、左右のドアミラーML,MRの開閉(つまり、展開または格納)に応じて、左側方カメラ11cおよび右側方カメラ11dの撮像領域が変化する。このため、画像処理部42は、左右のドアミラーML,MRの開閉に応じて、視点変換の処理内容を変更すると共に各変換画像毎に設定された所定の画角範囲(つまり、各変換画像から各抽出画像PF,PR,PSL,PSRを抽出するための抽出範囲)を変更する。さらに、結合画像を構成する各画像(つまり、各抽出画像PF,PR,PSL,PSR)同士間の境界位置を変更することで、左右のドアミラーML,MRの開閉に関わらずに、同一の所定の周辺領域を表示するグランドビューGVの画像を生成する。
When the
例えば図6(A)〜(D)に示すように、開状態の左右のドアミラーML,MRが、閉状態に移行する際に、ドアミラーML,MRの端部が鉛直方向上方に持ち上がるようにして、ドアミラーML,MRの水平方向に対する傾斜角度が変化すると、左右のドアミラーML,MRの開状態において車両の左側方および右側方の周辺領域のみを撮像するように設定されていた各カメラ11c,11dの撮像領域は、左右のドアミラーML,MRの閉状態において車両本体の左側部および右側部を不必要に含んでしまうと共に車両の後方側にずれることになる。
For example, as shown in FIGS. 6A to 6D, when the left and right door mirrors ML, MR in the open state shift to the closed state, the end portions of the door mirrors ML, MR are lifted upward in the vertical direction. When the inclination angle of the door mirrors ML, MR with respect to the horizontal direction changes, the
これにより、左右のドアミラーML,MRの開状態においてグランドビューGVの画像(例えば、図7(A)に示す開状態でのグランドビューGVの画像)を生成する処理と同一の処理(つまり、同一の視点変換、および各抽出画像PSL,PSRを抽出するための抽出範囲および結合画像を構成する各抽出画像PF,PR,PSL,PSR同士間の境界位置を同一とした処理)によって、左右のドアミラーML,MRの閉状態でのグランドビューGVの画像(例えば、図7(B)に示す閉状態でのグランドビューGVの画像)を生成すると、所定視点位置BPから見下ろした適切な画像が得られなくなると共に、車両の左側方および右側方の所定の周辺領域を表示することができなくなり、さらに、結合画像を構成する他の各抽出画像PF,PRとの間の境界位置がずれてしまう。 Thus, the same processing (that is, the same processing) as the processing for generating the image of the ground view GV (for example, the image of the ground view GV in the open state shown in FIG. 7A) in the open state of the left and right door mirrors ML and MR. Left and right door mirrors by processing of converting the viewpoint of each of the extracted images PSL and PSR and the boundary positions between the extracted images PF, PR, PSL, and PSR constituting the combined image). When an image of the ground view GV in the closed state of ML and MR (for example, an image of the ground view GV in the closed state shown in FIG. 7B) is generated, an appropriate image looking down from the predetermined viewpoint position BP is obtained. At the same time, it becomes impossible to display predetermined peripheral areas on the left side and right side of the vehicle, and each of the other extracted images PF constituting the combined image. Boundary position between the PR is shifted.
このため、画像処理部42は、先ず、左右のドアミラーML,MRの開閉に応じて、視点変換の処理内容を変更すると共に、各変換画像毎に設定された所定の画角範囲(つまり、各変換画像から各抽出画像PF,PR,PSL,PSRを抽出するための抽出範囲)を変更する。これにより、左右のドアミラーML,MRの開閉に関わらずに、所定視点位置BPから見下ろした適切な、かつ車両の左側方および右側方の同一の所定の周辺領域を表示する各抽出画像PSL,PSRを抽出する。
For this reason, the
さらに、左右のドアミラーML,MRの閉状態において各カメラ11c,11dの撮像領域が、左右のドアミラーML,MRの開状態に比べて、車両の後方側にずれてしまうことで、撮像不可となる領域が生じることに対応して、例えば図5(A)に示す左右のドアミラーML,MRの開状態に比べて、例えば図5(B)に示す左右のドアミラーML,MRの閉状態では、特に、前方抽出画像PFと左側方抽出画像PSLおよび右側方抽出画像PSRとの間の境界位置を車両の後方側にずらすようにして、結合画像での各抽出画像PF,PSL,PSR同士間の境界位置を変更する。この境界位置の変更に対応して、各変換画像から各抽出画像PF,PR,PSL,PSRを抽出するための抽出範囲が予め変更されることになる。
Further, when the left and right door mirrors ML and MR are closed, the imaging regions of the
例えば図5(A)に示す左右のドアミラーML,MRの開状態においては、前方抽出画像PFと左側方抽出画像PSLおよび右側方抽出画像PSRとの間の境界位置を示すマスク線MLは、車両の左右方向に対して所定第1角度αだけ前方側に傾斜しているのに対して、例えば図5(B)に示す左右のドアミラーML,MRの閉状態においては、前方抽出画像PFと左側方抽出画像PSLおよび右側方抽出画像PSRとの間の境界位置を示すマスク線MLは、車両の左右方向に対して所定第1角度αよりも小さな所定第2角度β(<α)だけ前方側に傾斜している。これにより、左右のドアミラーML,MRの開状態に比べて、閉状態では、前方抽出画像PFに対する抽出領域が拡張され、左側方抽出画像PSLおよび右側方抽出画像PSRに対する抽出領域が縮小されている。 For example, in the open state of the left and right door mirrors ML, MR shown in FIG. 5A, the mask line ML indicating the boundary position between the front extracted image PF, the left side extracted image PSL, and the right side extracted image PSR is the vehicle. In contrast with the left and right door mirrors ML and MR shown in FIG. 5B, for example, when the left and right door mirrors ML and MR are closed as shown in FIG. The mask line ML indicating the boundary position between the side extracted image PSL and the right side extracted image PSR is on the front side by a predetermined second angle β (<α) smaller than the predetermined first angle α with respect to the left-right direction of the vehicle. It is inclined to. As a result, compared to the open state of the left and right door mirrors ML and MR, in the closed state, the extraction region for the front extraction image PF is expanded and the extraction region for the left side extraction image PSL and the right side extraction image PSR is reduced. .
表示制御部45は、ナビゲーション装置14の各種動作に係るナビゲーション画面を表示装置19の表示画面に表示する。
また、表示制御部45は、画像処理部42から出力される各変換画像、例えば図8(A)に示すフロントビューFVと、図8(B)に示すリアビューRVと、図8(C),(D)に示す左右のサイドビューSVと、図8(E),(F)に示す左右のミラービューMVと、図8(G)に示すフロントブラインドビューFBVと、図8(H)に示すグランドビューGVとの各画像を、予め設定された、あるいは、操作スイッチ15または切替スイッチ16から出力される指令信号に応じた、あるいは、車両状態センサ13から出力される検出信号に応じた、所定の組み合わせで表示装置19の表示画面に表示する。
さらに、表示制御部45は、画像処理部42から出力される各変換画像を表示装置19の表示画面に表示する際に、記憶部44に格納されている各種のメッセージや各種画像を取得して表示装置19の表示画面に表示すると共に、運転者の運転を支援するための各種のガイド表示(例えば、図8(A)〜(F),(H)に示す車両周辺の所定位置に係る目安ガイド線DL、および、図8(A),(H)に示す車両の走行軌跡に係る予測ガイド線ELなど)を各変換画像に重畳して表示する。
The
Further, the
Further, the
例えば、車両状態センサ13の車輪速センサ31から出力される検出信号に応じた車両の速度(車速)が所定のロー側判定閾値VthL以下であって、シフトポジションセンサ33から出力される検出信号においてシフトポジションが後退のリバース以外(例えば、前進のドライブなど)である場合には、表示制御部45は、予め設定された複数の表示形態のうちから、例えば、図9(A)に示すフロントビューFVおよびグランドビューGVの組み合わせと、図9(B)に示すフロントブラインドビューFBVと、図9(C)に示す左右のサイドビューSVの組み合わせと、図9(D)に示す左のサイドビューSVのみとによる、4つの表示形態を選択し、これらの表示形態の何れか1つを、例えば切替スイッチ16から出力される指令信号などに応じて切り替え可能に、表示装置19の表示画面に表示する。
For example, in the detection signal output from the
このとき、表示制御部45は、画像処理部42から出力される各変換画像に加えて、例えば、切り替え可能な表示形態を示す表示形態指示画像IPと、表示中の変換画像に対応した外界カメラ11の撮像領域を模式的に示す撮像領域指示画像CPと、各種のメッセージ(例えば、「直接周囲を確認しながら運転してください」など)やメニュー表示やヘルプ表示などとを、記憶部44から取得して、表示装置19の表示画面に表示する。
At this time, in addition to each converted image output from the
例えば、表示形態指示画像IPは、フロントビューFVおよびグランドビューGVの組み合わせを示す画像(F・G)と、フロントブラインドビューFBVを示す画像(FB)と、左右のサイドビューSVの組み合わせ、あるいは左のサイドビューSVのみを示す画像(S)と、リアビューRVおよびグランドビューGVの組み合わせを示す画像(R・G)と、リアビューRVおよび左右のミラービューMVの組み合わせを示す画像(R・M)とであって、図9(A)〜(D)に示すように、表示装置19の表示画面に表示中の表示形態に対応する表示形態指示画像IPは、他の切り替え可能な表示形態に対応する表示形態指示画像IPに比べて、例えばコントラストの増大や大きさの増大や表示色の変更などによって、強調表示されている。
For example, the display form instruction image IP is a combination of an image (F · G) indicating the combination of the front view FV and the ground view GV, an image (FB) indicating the front blind view FBV, and the left and right side views SV, or left An image (S) showing only the side view SV, an image (R · G) showing a combination of the rear view RV and the ground view GV, and an image (R · M) showing a combination of the rear view RV and the left and right mirror views MV 9A to 9D, the display form instruction image IP corresponding to the display form being displayed on the display screen of the
なお、表示制御部45は、例えば図9(C),(D)に示すように、表示形態指示画像IPとして、左右のサイドビューSVの組み合わせ、あるいは左のサイドビューSVのみを示す画像(S)を強調表示している場合には、さらに、切り替え可能な相互の表示形態(つまり、左右のサイドビューSVの組み合わせの表示形態、または、左のサイドビューSVのみの表示形態)を指示する第1および第2補助表示形態指示画像IPa,IPbを表示する。
この第1補助表示形態指示画像IPa(長押し:左)は、例えば操作スイッチ15を長時間に亘って押下操作することによって、左右のサイドビューSVの組み合わせの表示形態から左のサイドビューSVのみの表示形態へと切り替え可能であることを示し、第2補助表示形態指示画像IPb(長押し:左右)は、例えば操作スイッチ15を長時間に亘って押下操作することによって、左のサイドビューSVのみの表示形態から左右のサイドビューSVの組み合わせの表示形態へと切り替え可能であることを示している。
For example, as illustrated in FIGS. 9C and 9D, the
This first auxiliary display form instruction image IPa (long press: left) is displayed only in the left side view SV from the display form of the combination of the left and right side views SV, for example, by pressing the
なお、表示制御部45は、フロントビューFVおよびグランドビューGVの組み合わせに対しては、例えば図9(A)に示すように、フロントビューFVの画像と、グランドビューGVの画像とを、左右に並べて表示装置19の表示画面に表示する。
また、リアビューRVおよびグランドビューGVの組み合わせに対しては、リアビューRVの画像と、グランドビューGVの画像とを、左右に並べて表示装置19の表示画面に表示する。
また、左右のサイドビューSVの組み合わせに対しては、例えば図9(C)に示すように、左のサイドビューSVの画像と、右のサイドビューSVの画像とを、左右に並べて表示装置19の表示画面に表示する。
For example, as shown in FIG. 9A, the
For the combination of the rear view RV and the ground view GV, the image of the rear view RV and the image of the grand view GV are displayed side by side on the display screen of the
For the combination of the left and right side views SV, for example, as shown in FIG. 9C, the left side view SV image and the right side view SV image are arranged side by side on the
また、例えばシフトポジションセンサ33から出力される検出信号においてシフトポジションがリバースである場合に選択されるリアビューRVおよび左右のミラービューMVの組み合わせに対しては、例えば図10(A)に示すように、上段に左のミラービューMVの画像と右のミラービューMVの画像とを左右に並べ、下段にリアビューRVを配置して、表示装置19の表示画面に表示する。この場合には、例えば図10(B)に示すように上段にリアビューRVを配置して下段に左右のミラービューMVの画像を配置する場合に比べて、運転者が表示形態に違和感を感じてしまうことを防止し、視認性を向上させることができる。
For example, for the combination of the rear view RV and the left and right mirror views MV selected when the shift position is reverse in the detection signal output from the
なお、車両の前進時にフロントビューFVと組み合わされるグランドビューGVの画像と、車両の後退時にリアビューRVと組み合わされるグランドビューGVの画像とは、同一(つまり、グランドビューGVの画像を構成する各抽出画像PF,PR,PSL,PSRの画角範囲や各抽出画像同士間の境界位置などが変化しない同一の表示形態)とされている。 Note that the image of the ground view GV combined with the front view FV when the vehicle moves forward is the same as the image of the ground view GV combined with the rear view RV when the vehicle moves backward (that is, each extraction constituting the image of the ground view GV). The viewing angle range of the images PF, PR, PSL, and PSR and the boundary position between the extracted images are the same display form).
表示制御部45は、車両のイグニッションスイッチがオンとされた始動時において、外界カメラ11および画像処理装置20の起動に要する時間がナビゲーション装置14の起動に要する時間に比べて相対的に短いことから、ナビゲーション装置14の起動中には、例えば図11(A)に示すように、フロントビューFVあるいはリアビューRVと、グランドビューGVとの組み合わせの表示形態を選択して、表示装置19の表示画面に自動的に表示する。そして、ナビゲーション装置14の起動完了後には、例えば図11(B)に示すように、所定のナビゲーション画面へと切り替える。これにより、ナビゲーション装置14の起動中に、例えば図11(C)に示すような所定の起動画面を自動的に表示装置19の表示画面に表示する場合に比べて、運転者による表示画面の切り替え操作などを必要とせずに車両発進時の運転者による車両周辺の状況認識を適切に支援することができる。
The
また、表示制御部45は、外界カメラ11のうち左側方カメラ11cおよび右側方カメラ11dが車両の左右のドアミラーML,MRの下端に設置されている場合には、左右のドアミラーML,MRの閉状態において、左右のサイドビューSVおよび左右のミラービューMVの各画像の表示を停止し、各画像の表示領域を覆う所定のマスク画像MPと共に、左右のドアミラーML,MRが閉状態であって、左側方カメラ11cおよび右側方カメラ11dから出力される画像データに基づく表示が停止されていることを示す所定のメッセージ(例えば、「ドアミラー格納中 非表示」など)を表示する。
例えば図12(A)に示すように、グランドビューGVおよびフロントビューFVおよびリアビューRVの各画像は、左右のドアミラーML,MRの開閉に関わりなく表示装置19の表示画面に表示される。これに対して、例えば図12(B),(C)に示すように、左のサイドビューSVおよび右のサイドビューSVの各画像は、左右のドアミラーML,MRの閉状態で表示が停止され、各画像の表示領域を覆う所定のマスク画像MPが表示される。
The
For example, as shown in FIG. 12A, the images of the ground view GV, the front view FV, and the rear view RV are displayed on the display screen of the
なお、例えば図12(A)〜(C)に示すように、表示形態指示画像IPとしてフロントブラインドビューFBVを示す画像(FB)が表示されている場合であっても、左右のドアミラーML,MRの閉状態においては、フロントブラインドビューFBVの表示形態への切り替えは禁止されている。
また、左右のドアミラーML,MRの閉状態においては、例えば図12(B),(C)に示すように、左右のサイドビューSVの組み合わせの表示形態および左のサイドビューSVのみの表示形態を指示する第1および第2補助表示形態指示画像IPa,IPbの表示は停止される。
また、上述したように、左右のドアミラーML,MRの閉状態において、グランドビューGVの画像では、視点変換の処理内容および各変換画像毎に設定された所定の画角範囲および各抽出画像PF,PR,PSL,PSR同士間の境界位置が変更されている。
For example, as shown in FIGS. 12A to 12C, the left and right door mirrors ML and MR are displayed even when the image (FB) indicating the front blind view FBV is displayed as the display form instruction image IP. In the closed state, switching to the display form of the front blind view FBV is prohibited.
In the closed state of the left and right door mirrors ML, MR, for example, as shown in FIGS. 12B and 12C, a display form of a combination of the left and right side views SV and a display form of only the left side view SV are provided. The display of the first and second auxiliary display form instruction images IPa and IPb to be instructed is stopped.
Further, as described above, when the left and right door mirrors ML and MR are closed, in the image of the ground view GV, the processing content of the viewpoint conversion, the predetermined field angle range set for each converted image, and each extracted image PF, The boundary position between PR, PSL, and PSR is changed.
また、表示制御部45は、後述するように、画像処理部42から出力される各変換画像の表示(マルチビュー画面の表示)と、ナビゲーション装置14の各種動作に係るナビゲーション画面の表示とを、自動的に、あるいは、切替スイッチ16から出力される指令信号に応じて切り替える。
Further, as will be described later, the
特に、表示制御部45は、切替スイッチ16から出力される指令信号に応じて、ナビゲーション画面の表示を、マルチビュー画面の表示へと切り替える際には、車両状態センサ13の車輪速センサ31から出力される検出信号に応じた車速が所定のロー側判定閾値VthL(例えば、12km/hなど)以下であるか否かを判定し、車速が所定のロー側判定閾値VthLよりも大きい場合には、車速が所定のロー側判定閾値VthL以下となるまでの期間に亘って、例えば図13(A)〜(D)に示すような所定のセット画面を表示する。
In particular, the
車速が所定のロー側判定閾値VthLよりも大きい場合に表示されるセット画面は、車速が所定のロー側判定閾値VthL以下となったときに表示されるマルチビュー画面と同一の画面レイアウトを有し、例えば車速が所定のロー側判定閾値VthL以下でフロントビューFVおよびグランドビューGVの組み合わせの表示形態によるマルチビュー画面が表示される際には、このフロントビューFVおよびグランドビューGVの組み合わせの表示形態と同一の画面レイアウトのセット画面が表示される。
そして、セット画面では、各視野表示(つまり、フロントビューFV、リアビューRV、サイドビューSV、ミラービューMV、フロントブラインドビューFBV、グランドビューGV)での各画像の表示領域を覆う所定のマスク画像MPと、外界カメラ11の各カメラ11a,…,11dから出力される画像データに基づく表示が停止されていることを示す所定のメッセージ(例えば、「非表示中」など)と、車速が所定のロー側判定閾値VthL以下となった場合に外界カメラ11の各カメラ11a,…,11dから出力される画像データに基づく表示がおこなわれること(つまり、マルチビュー画面が表示されること)を示す所定のメッセージ(例えば、「12km/h 以下で表示します」など)とが表示される。
The set screen that is displayed when the vehicle speed is larger than the predetermined low-side determination threshold value VthL has the same screen layout as the multi-view screen that is displayed when the vehicle speed is equal to or lower than the predetermined low-side determination threshold value VthL. For example, when a multi-view screen based on a combination of the front view FV and the ground view GV is displayed when the vehicle speed is equal to or lower than a predetermined low-side determination threshold VthL, the combination of the front view FV and the ground view GV is displayed. A set screen with the same screen layout as is displayed.
On the set screen, a predetermined mask image MP covering the display area of each image in each field of view display (that is, front view FV, rear view RV, side view SV, mirror view MV, front blind view FBV, and ground view GV). , 11d of the
なお、セット画面においては、例えば図13(B),(D)に示すように、左右のサイドビューSVの組み合わせの表示形態および左のサイドビューSVのみの表示形態を指示する第1および第2補助表示形態指示画像IPa,IPbの表示は停止される。 In the set screen, for example, as shown in FIGS. 13B and 13D, the first and second instructions for instructing the display form of the combination of the left and right side views SV and the display form of only the left side view SV. The display of the auxiliary display form instruction images IPa and IPb is stopped.
なお、表示制御部45は、マルチビュー画面でのグランドビューGVの画像、および、グランドビューGVを有する表示形態と同一の画面レイアウトのセット画面など、において表示される車両の画像(車両アイコン)VPの表示状態(例えば、輝度や色など)を、前照灯(図示略)や近赤外線LED12の点灯状態、あるいは、表示画面上の他の画像の明るさ、あるいは、マスク画像MPの有無などに応じて、例えば図14に示すような複数の異なる表示状態によって適宜に変更する。
例えば、マルチビュー画面でのグランドビューGVの画像において、前照灯(図示略)の点灯時には相対的に輝度が大きい車両アイコンVPを表示し、前照灯(図示略)の消灯時には相対的に輝度が小さい車両アイコンVPを表示する。また、例えばセット画面においては、最も輝度が小さい車両アイコンVPを表示する。
The
For example, in the image of the ground view GV on the multi-view screen, a relatively bright vehicle icon VP is displayed when the headlamp (not shown) is turned on, and relatively when the headlamp (not shown) is turned off. A vehicle icon VP having a low luminance is displayed. For example, on the set screen, the vehicle icon VP having the lowest luminance is displayed.
本実施の形態による車両周囲監視装置10は上記構成を備えており、次に、この車両周囲監視装置10の動作、特に、表示制御部45による表示画面の切替動作について説明する。
The vehicle
先ず、例えば図15に示すステップS01においては、シフトポジションセンサ33から出力される検出信号においてシフトポジションが後退のリバースであるか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS03に進む。
一方、この判定結果が「NO」の場合には、ステップS02に進み、このステップS02においては、後述する非リバース時処理を実行し、リターンに進む。
First, for example, in step S01 shown in FIG. 15, it is determined whether or not the shift position is reverse reverse in the detection signal output from the
If this determination is “YES”, the flow proceeds to step S 03 described later.
On the other hand, if this determination is “NO”, the flow proceeds to step S 02, and in this step S 02, non-reverse processing described later is executed, and the flow proceeds to return.
また、ステップS03においては、表示装置19の表示画面にマルチビュー画面を表示する。ここで、例えばマルチビュー画面以外の画面(例えば、ナビゲーション画面など)から切り替えてマルチビュー画面を表示する場合には、前回に表示されたマルチビュー画面と同一のマルチビュー画面を表示する。つまり、前回のマルチビュー画面がフロントビューFVおよびグランドビューGVの組み合わせの表示形態であれば、同じ表示形態のマルチビュー画面が表示される。ただし、前回のマルチビュー画面の表示時と、今回とにおいて、シフトポジションが変化している場合には、今回のシフトポジションに応じた表示形態のマルチビュー画面が表示される。つまり、前回のマルチビュー画面がシフトポジションがリバースであることに対応してリアビューRVおよびグランドビューGVの組み合わせの表示形態であっても、今回のシフトポジションがリバース以外であれば、前回のマルチビュー画面とは異なる、予め設定された所定の初期設定に応じたフロントビューFVおよびグランドビューGVの組み合わせの表示形態のマルチビュー画面が表示される。
In step S03, a multi-view screen is displayed on the display screen of the
そして、ステップS04においては、切替スイッチ16がオンとされたか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS06に進む。
一方、この判定結果が「YES」の場合には、ステップS05に進む。
そして、ステップS05においては、マルチビュー画面での表示形態を、予め設定された所定の切り替え可能な複数の表示形態における所定順序(例えば、順次、リアビューRVおよびグランドビューGVの組み合わせの表示形態、リアビューRVおよび左右のミラービューMVの組み合わせの表示形態、リアビューRVおよびグランドビューGVの組み合わせの表示形態、…などの順序)に応じた表示形態へと切り替える。
In step S04, it is determined whether or not the
If this determination is “NO”, the flow proceeds to step S 06 described later.
On the other hand, if this determination is “YES”, the flow proceeds to step S 05.
In step S05, the display form on the multi-view screen is changed to a predetermined order in a plurality of preset switchable display forms (for example, a display form of a combination of rear view RV and ground view GV, rear view The display mode is switched according to the display mode of the combination of the RV and the left and right mirror views MV, the display mode of the combination of the rear view RV and the ground view GV, and the like.
そして、ステップS06においては、格納スイッチ17がオンとされたか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS07に進む。
一方、この判定結果が「NO」の場合には、ステップS08に進む。
そして、ステップS07においては、左右のドアミラーML,MRの閉状態に対応するマルチビュー画面(格納時)を表示して、リターンに進む。
また、ステップS08においては、左右のドアミラーML,MRの開状態に対応するマルチビュー画面(非格納時)を表示して、リターンに進む。
In step S06, it is determined whether or not the
If this determination is “YES”, the flow proceeds to step S 07 described later.
On the other hand, if this determination is “NO”, the flow proceeds to step S08.
In step S07, a multi-view screen (when stored) corresponding to the closed state of the left and right door mirrors ML, MR is displayed, and the process proceeds to return.
In step S08, a multi-view screen (when not stored) corresponding to the open state of the left and right door mirrors ML and MR is displayed, and the process proceeds to return.
以下に、上述したステップS02の非リバース時処理について説明する。
先ず、例えば図16に示すステップS11においては、ナビゲーション画面の表示中であるか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS16に進む。
一方、この判定結果が「YES」の場合には、ステップS12に進む。
The non-reverse process at step S02 described above will be described below.
First, for example, in step S11 shown in FIG. 16, it is determined whether or not the navigation screen is being displayed.
If this determination is “NO”, the flow proceeds to step
On the other hand, if this determination is “YES”, the flow proceeds to step S12.
そして、ステップS12においては、車速が所定のロー側判定閾値VthL(例えば、12km/hなど)以下であるか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS14に進む。
一方、この判定結果が「YES」の場合には、ステップS13に進む。
そして、ステップS13においては、ナビゲーション画面からマルチビュー画面へと表示の切り替えをおこない、リターンに進む。ここでは、前回に表示されたマルチビュー画面と同一のマルチビュー画面、あるいは、予め設定された所定の初期設定に応じたマルチビュー画面を表示する。
In step S12, it is determined whether or not the vehicle speed is equal to or lower than a predetermined low-side determination threshold value VthL (for example, 12 km / h).
If this determination is “NO”, the flow proceeds to step
On the other hand, if the determination is “YES”, the flow proceeds to step S13.
In step S13, the display is switched from the navigation screen to the multi-view screen, and the process proceeds to return. Here, the same multi-view screen as the previously displayed multi-view screen or a multi-view screen corresponding to a predetermined initial setting set in advance is displayed.
また、ステップS14においては、切替スイッチ16がオンとされたか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS15に進む。
そして、ステップS15においては、ナビゲーション画面からセット画面へと表示の切り替えをおこない、リターンに進む。
In step S14, it is determined whether or not the
If this determination is “NO”, the flow proceeds to return.
On the other hand, if the determination is “YES”, the flow proceeds to step S15.
In step S15, the display is switched from the navigation screen to the set screen, and the process proceeds to return.
また、ステップS16においては、マルチビュー画面の表示中であるか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS24に進む。
一方、この判定結果が「YES」の場合には、ステップS17に進む。
そして、ステップS17においては、車速が所定のハイ側判定閾値VthH(例えば、15km/hなど)よりも大きいか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS19に進む。
一方、この判定結果が「YES」の場合には、ステップS18に進む。
In step S16, it is determined whether the multi-view screen is being displayed.
If this determination is “NO”, the flow proceeds to step S 24 described later.
On the other hand, if the determination is “YES”, the flow proceeds to step S17.
In step S17, it is determined whether or not the vehicle speed is higher than a predetermined high-side determination threshold value VthH (for example, 15 km / h).
If this determination is “NO”, the flow proceeds to step
On the other hand, if this determination is “YES”, the flow proceeds to step S18.
そして、ステップS18においては、マルチビュー画面からナビゲーション画面へと表示の切り替えをおこない、リターンに進む。
また、ステップS19においては、切替スイッチ16がオンとされたか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む
一方、この判定結果が「YES」の場合には、ステップS20に進む。
そして、ステップS20においては、マルチビュー画面での表示形態を、予め設定された所定の切り替え可能な複数の表示形態における所定順序(例えば、順次、フロントビューFVおよびグランドビューGVの組み合わせの表示形態、フロントブラインドビューFBVの表示形態、サイドビューSVの表示形態、フロントビューFVおよびグランドビューGVの組み合わせの表示形態、…などの順序)に応じた表示形態へと切り替える。
In step S18, the display is switched from the multi-view screen to the navigation screen, and the process proceeds to return.
In step S19, it is determined whether or not the
If this determination result is “NO”, the process proceeds to a return, whereas if this determination result is “YES”, the process proceeds to Step S20.
In step S20, the display form on the multi-view screen is changed to a predetermined order in a plurality of preset switchable display forms (for example, a display form of a combination of the front view FV and the ground view GV sequentially, The display mode is switched according to the order of the display format of the front blind view FBV, the display format of the side view SV, the display format of the combination of the front view FV and the ground view GV, and so on.
そして、ステップS21においては、格納スイッチ17がオンとされたか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS22に進む。
一方、この判定結果が「NO」の場合には、ステップS23に進む。
そして、ステップS22においては、左右のドアミラーML,MRの閉状態に対応するマルチビュー画面(格納時)を表示して、リターンに進む。
また、ステップS23においては、左右のドアミラーML,MRの開状態に対応するマルチビュー画面(非格納時)を表示して、リターンに進む。
In step S21, it is determined whether or not the
If this determination is “YES”, the flow proceeds to step S 22 described later.
On the other hand, if this determination is “NO”, the flow proceeds to step S23.
In step S22, a multi-view screen (during storage) corresponding to the closed state of the left and right door mirrors ML and MR is displayed, and the process proceeds to return.
In step S23, a multi-view screen (when not stored) corresponding to the open state of the left and right door mirrors ML, MR is displayed, and the process proceeds to return.
また、ステップS24においては、セット画面の表示中であるか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS25に進む。
そして、ステップS25においては、車速が所定のロー側判定閾値VthL(例えば、12km/hなど)以下であるか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS27に進む。
一方、この判定結果が「YES」の場合には、ステップS26に進む。
そして、ステップS26においては、ナビゲーション画面からマルチビュー画面へと表示の切り替えをおこない、リターンに進む。ここでは、前回に表示されたマルチビュー画面と同一のマルチビュー画面、あるいは、予め設定された所定の初期設定に応じたマルチビュー画面を表示する。
In step S24, it is determined whether the set screen is being displayed.
If this determination is “NO”, the flow proceeds to return.
On the other hand, if this determination is “YES”, the flow proceeds to step S25.
In step S25, it is determined whether or not the vehicle speed is equal to or lower than a predetermined low-side determination threshold value VthL (for example, 12 km / h).
If this determination is “NO”, the flow proceeds to step S 27 described later.
On the other hand, if the determination is “YES”, the flow proceeds to step S26.
In step S26, the display is switched from the navigation screen to the multi-view screen, and the process proceeds to return. Here, the same multi-view screen as the previously displayed multi-view screen or a multi-view screen corresponding to a predetermined initial setting set in advance is displayed.
また、ステップS27においては、切替スイッチ16がオンとされたか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS28に進む。
そして、ステップS28においては、ナビゲーション画面からセット画面へと表示の切り替えをおこない、リターンに進む。
In step S27, it is determined whether the
If this determination is “NO”, the flow proceeds to return.
On the other hand, if the determination is “YES”, the flow proceeds to step S28.
In step S28, the display is switched from the navigation screen to the set screen, and the process proceeds to return.
上述したように、本実施の形態による車両周囲監視装置10によれば、車両の前進時にフロントビューFVと組み合わされるグランドビューGVの画像と、車両の後退時にリアビューRVと組み合わされるグランドビューGVの画像とは、同一(つまり、グランドビューGVの画像を構成する各抽出画像PF,PR,PSL,PSRの画角範囲や各抽出画像同士間の境界位置などが変化しない同一の表示形態)とされていることから、例えば車両の前進と後退との切り替えに応じて、フロントビューFVの画像とリアビューRVの画像とが切り替えられる場合であっても、表示切替に運転者が違和感を感じてしまうことを防止することができる。
As described above, according to the vehicle surrounding
また、切替スイッチ16から出力される指令信号に応じて、ナビゲーション画面の表示が、マルチビュー画面の表示へと切り替えられる際には、車速が所定のロー側判定閾値VthL以下となるまでの期間に亘って、車速が所定のロー側判定閾値VthL以下となったときに表示されるマルチビュー画面と同一の画面レイアウトを有するセット画面が表示されることから、例えばセット画面の表示無しに、車速が所定のロー側判定閾値VthL以下となるまでナビゲーション画面の表示が継続されてしまう場合に比べて、運転者が不必要に切替スイッチ16に異常が発生していると誤認してしまうことを防止し、車速が所定のロー側判定閾値VthL以下となったときに表示されるマルチビュー画面を予め運転者に把握させることができる。
In addition, when the display of the navigation screen is switched to the display of the multi-view screen in accordance with the command signal output from the
10 車両周囲監視装置
11 外界カメラ
11a 前方カメラ(撮像装置)
11b 後方カメラ(撮像装置)
11c 左側方カメラ(撮像装置)
11d 右側方カメラ(撮像装置)
13 車両状態センサ
19 表示装置
20 画像処理装置
42 画像処理部(視点変換手段)
45 表示制御部(表示制御手段)
10 Vehicle
11b Rear camera (imaging device)
11c Left-side camera (imaging device)
11d Right-side camera (imaging device)
13
45 Display control unit (display control means)
Claims (1)
前記複数の撮像装置から出力される前記画像を視点変換して変換画像を出力する視点変換手段と、
車室内に配置された表示装置と、
前記視点変換手段から出力される前記変換画像と、前記撮像装置から出力される自車両の前方領域または後方領域の画像とを、前記表示装置に表示する表示制御手段とを備え、
前記表示制御手段は、前記前方領域または前記後方領域の画像の表示状態に関わらずに、前記変換画像の表示状態を一定に維持することを特徴とする車両周囲監視装置。 A plurality of imaging devices for imaging an external peripheral area of the host vehicle and outputting an image;
Viewpoint conversion means for converting a viewpoint of the images output from the plurality of imaging devices and outputting a converted image;
A display device disposed in the passenger compartment;
Display control means for displaying, on the display device, the converted image output from the viewpoint conversion means and the image of the front area or the rear area of the host vehicle output from the imaging device;
The vehicle surrounding monitoring apparatus, wherein the display control means maintains the display state of the converted image constant regardless of the display state of the image in the front area or the rear area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008236522A JP2010069915A (en) | 2008-09-16 | 2008-09-16 | Vehicle surroundings monitoring apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008236522A JP2010069915A (en) | 2008-09-16 | 2008-09-16 | Vehicle surroundings monitoring apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010069915A true JP2010069915A (en) | 2010-04-02 |
Family
ID=42202114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008236522A Pending JP2010069915A (en) | 2008-09-16 | 2008-09-16 | Vehicle surroundings monitoring apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010069915A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020012992A1 (en) * | 2018-07-13 | 2021-07-08 | マクセルフロンティア株式会社 | Vehicle display device |
-
2008
- 2008-09-16 JP JP2008236522A patent/JP2010069915A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020012992A1 (en) * | 2018-07-13 | 2021-07-08 | マクセルフロンティア株式会社 | Vehicle display device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5420216B2 (en) | Vehicle perimeter monitoring device | |
JP5112998B2 (en) | Vehicle perimeter monitoring device | |
US8340870B2 (en) | Vehicle maneuver assistance device | |
JP5187179B2 (en) | Vehicle periphery monitoring device | |
JP5032424B2 (en) | Vehicle driving support device | |
JP5064601B2 (en) | In-vehicle video display | |
JP2006311272A (en) | Video display device for vehicle | |
JP2009078597A (en) | Rear side confirmation system | |
JP2010069916A (en) | Vehicle maneuver assistance device | |
US10647260B2 (en) | Vehicle surroundings display device | |
JP2008195263A (en) | Reverse assisting device | |
US20190087665A1 (en) | Information processing apparatus and program | |
JP7128096B2 (en) | Video display device | |
JP2009284386A (en) | Parking support device for vehicle | |
JP2010074260A (en) | Car-periphery monitoring device | |
JP2010069915A (en) | Vehicle surroundings monitoring apparatus | |
US11485287B2 (en) | Electronic mirror system | |
JP5144443B2 (en) | Vehicle driving support device | |
JP2009088811A (en) | On-vehicle drive assist information display system | |
WO2017130368A1 (en) | Monitoring device and program | |
JP5042794B2 (en) | Vehicle periphery image providing apparatus and vehicle periphery image display method | |
JP2006137282A (en) | Remote control device, and display device for vehicle | |
JP2005324693A (en) | Parallel parking assisting device | |
KR20100127437A (en) | Rear monitoring apparatus in the vehicle |