JP2010074260A - Car-periphery monitoring device - Google Patents

Car-periphery monitoring device Download PDF

Info

Publication number
JP2010074260A
JP2010074260A JP2008236525A JP2008236525A JP2010074260A JP 2010074260 A JP2010074260 A JP 2010074260A JP 2008236525 A JP2008236525 A JP 2008236525A JP 2008236525 A JP2008236525 A JP 2008236525A JP 2010074260 A JP2010074260 A JP 2010074260A
Authority
JP
Japan
Prior art keywords
image
display
vehicle
view
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008236525A
Other languages
Japanese (ja)
Inventor
Kenichi Oshima
健一 大島
Hiroyuki Kawagoe
浩行 川越
Yasushi Teruda
八州志 照田
Shigenobu Saegusa
重信 三枝
Yoshitaka Katajima
淑隆 片嶋
Masaaki Abe
正明 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2008236525A priority Critical patent/JP2010074260A/en
Publication of JP2010074260A publication Critical patent/JP2010074260A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To make a driver to properly grasp the status of a car periphery. <P>SOLUTION: This car-periphery monitoring device 10 is provided with a plurality of respective cameras 11a, ..., 11d for imaging periphery areas outside one's own car and outputting images, an abnormality detecting part 43 for detecting the existence/absence of an abnormal status of the respective cameras 11a, ..., 11d, and a display control part 45 for selecting an image to be displayed in a display device 19 among the images output from the respective cameras 11a, ..., 11d so as to display the image in a manner to be able to switch wherein the display control part 45 inhibits an image about the respective cameras 11a, ..., 11d determined to be in an abnormal status by the abnormality detecting part 43 from being displayed on the display device 19. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車両周囲監視装置に関する。   The present invention relates to a vehicle surrounding monitoring apparatus.

従来、例えば車両周辺を撮像する複数のカメラのうち何れかのカメラが故障していることを検知した場合に、正常である他のカメラから出力される画像によって、故障が検知されたカメラの画像を補完する装置が知られている(例えば、特許文献1参照)。
特開2007−158642号公報
Conventionally, for example, when it is detected that one of a plurality of cameras that capture the periphery of a vehicle is malfunctioning, an image of the camera in which the malfunction is detected by an image output from another normal camera Is known (see, for example, Patent Document 1).
JP 2007-158642 A

ところで、上記従来技術の一例に係る装置においては、故障したカメラの画像の全領域を適切に他の正常なカメラから出力される画像によって補完することは困難であり、故障したカメラの画像を適切に表示することができないという問題が生じる。しかも、故障したカメラの画像は、正常なカメラから出力された過去の画像によって補完されることから、この補完により生成された画像と、他の正常なカメラから出力される画像とが、同一の表示画面に表示されたとしても、各画像の撮像タイミングは異なっており、運転者は車両周辺の状況を適正に把握することができない虞がある。
本発明は上記事情に鑑みてなされたもので、運転者に車両周囲の状況を適正に把握させることが可能な車両周囲監視装置を提供することを目的とする。
By the way, in the apparatus according to the above prior art example, it is difficult to appropriately complement the entire area of the image of the failed camera with an image output from another normal camera. This causes a problem that it cannot be displayed. In addition, since the image of the malfunctioning camera is complemented by past images output from normal cameras, the image generated by this complementation and the images output from other normal cameras are the same. Even when displayed on the display screen, the image capturing timing of each image is different, and the driver may not be able to properly grasp the situation around the vehicle.
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a vehicle surroundings monitoring device that allows a driver to properly grasp the situation around the vehicle.

上記課題を解決して係る目的を達成するために、本発明の第1態様に係る車両周囲監視装置は、自車両の外界周辺領域を撮像して画像を出力する複数の撮像装置(例えば、実施の形態での各カメラ11a,…,11d)と、車室内に配置された表示装置(例えば、実施の形態での表示装置19)と、前記複数の撮像装置から出力される前記画像のうちから前記表示装置に表示される前記画像を選択する選択手段(例えば、実施の形態での表示制御部45)と、前記撮像装置の異常状態の有無を判定する異常判定手段(例えば、実施の形態での異常検知部43)と、前記複数の撮像装置から出力される前記画像を、前記選択手段による選択に応じて切り換え可能に、前記表示装置に表示する表示制御手段(例えば、実施の形態での表示制御部45)とを備え、前記表示制御手段は、前記異常判定手段により異常状態であると判定された前記撮像装置に係る前記画像を前記表示装置に表示することを禁止する。   In order to solve the above-described problems and achieve the object, the vehicle surroundings monitoring apparatus according to the first aspect of the present invention includes a plurality of imaging apparatuses (for example, implementations) that capture an image of a surrounding area of the host vehicle and output an image. 11d), a display device (for example, the display device 19 in the embodiment) arranged in the passenger compartment, and the images output from the plurality of imaging devices. Selection means (for example, the display control unit 45 in the embodiment) for selecting the image displayed on the display device, and abnormality determination means (for example, in the embodiment) for determining the presence or absence of an abnormal state of the imaging device Display control means (for example, in the embodiment) that displays the images output from the plurality of imaging devices on the display device in a switchable manner according to selection by the selection means. Display control unit 4 ) And wherein the display control means prohibits to display the image according to the imaging apparatus is determined to be in an abnormal state by the abnormality determining unit on the display device.

さらに、本発明の第2態様に係る車両周囲監視装置では、前記表示制御手段は、前記異常判定手段により前記撮像装置が異常状態であると判定された場合に、前記異常状態の発生を報知するメッセージを前記表示装置に表示する。   Furthermore, in the vehicle surrounding monitoring apparatus according to the second aspect of the present invention, the display control means notifies the occurrence of the abnormal state when the abnormality determining means determines that the imaging device is in an abnormal state. The message is displayed on the display device.

本発明の車両周囲監視装置によれば、異常状態である撮像装置に係る画像を表示装置に表示することを禁止し、異常状態ではない他の撮像装置に係る画像に対する表示許可は維持することにより、異常状態である撮像装置を運転者に的確に認知させることができると共に、正常である撮像装置に係る画像を有効に利用して、運転者に車両周囲の状況を適正に把握させることができる。   According to the vehicle periphery monitoring device of the present invention, it is prohibited to display an image related to an imaging device in an abnormal state on a display device, and display permission for an image related to another imaging device that is not in an abnormal state is maintained. In addition, the driver can accurately recognize the imaging device in the abnormal state, and the driver can properly understand the situation around the vehicle by effectively using the image related to the imaging device that is normal. .

以下、本発明の一実施形態に係る車両周囲監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周囲監視装置10は、車両に搭載され、例えば図1に示すように、車両の外界を撮像可能な外界カメラ11と、近赤外線LED12と、車両状態センサ13と、ナビゲーション装置14と、操作スイッチ15と、切替スイッチ16と、格納スイッチ17と、ドアミラーアクチュエータ18と、表示装置19と、CPUなどを含む電子回路により構成された画像処理装置20とを備えて構成されている。
Hereinafter, a vehicle periphery monitoring device according to an embodiment of the present invention will be described with reference to the accompanying drawings.
A vehicle surroundings monitoring device 10 according to the present embodiment is mounted on a vehicle and, for example, as shown in FIG. 1, an external camera 11 capable of imaging the external environment of the vehicle, a near infrared LED 12, a vehicle state sensor 13, and a navigation device. 14, an operation switch 15, a changeover switch 16, a retractable switch 17, a door mirror actuator 18, a display device 19, and an image processing device 20 configured by an electronic circuit including a CPU and the like. .

外界カメラ11は、例えば図2に示すように、車両の外界として、前方の周辺領域を撮像領域とする前方カメラ11aと、後方の周辺領域を撮像領域とする後方カメラ11bと、左側方の周辺領域を撮像領域とする左側方カメラ11cと、右側方の周辺領域を撮像領域とする右側方カメラ11dとを備え、例えば可視光領域から近赤外線領域にて撮像可能とされ、各カメラ11a,…,11dの撮像により得られた画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して画像処理装置20へ出力する。   For example, as shown in FIG. 2, the external camera 11 includes a front camera 11a having a front peripheral area as an imaging area, a rear camera 11b having a rear peripheral area as an imaging area, and a left-side peripheral. A left-side camera 11c having an imaging area as an imaging area and a right-side camera 11d having an imaging area as a right-side peripheral area are capable of imaging from a visible light area to a near-infrared area, for example. , 11d, for example, predetermined image processing such as filtering or binarization processing is performed to generate image data including pixels of a two-dimensional array and output the image data to the image processing apparatus 20.

なお、前方カメラ11aは、例えば車両のフロントグリルなどに設置され、後方カメラ11bは、例えば車両のバックドアやテールゲートなどに設置され、左側方カメラ11cおよび右側方カメラ11dは、例えば車両の左右のドアミラーML,MRの下端などに設置されている。   The front camera 11a is installed, for example, on the front grille of the vehicle, the rear camera 11b is installed, for example, on the back door or tailgate of the vehicle, and the left side camera 11c and the right side camera 11d are, for example, left and right sides of the vehicle. Are installed at the lower ends of the door mirrors ML and MR.

近赤外線LED12は、例えば車両の助手席側のドアミラー(例えば、左のドアミラーML)に設置され、画像処理装置20により点灯制御され、例えば夜間時などにおいて前照灯(図示略)の点灯に連動して、助手席側の所定領域(例えば、助手席側の外界カメラ11の撮像領域、つまり左側方カメラ11cの撮像領域である車両の左側方の周辺領域)を照射する。   The near-infrared LED 12 is installed, for example, on a door mirror (for example, the left door mirror ML) on the passenger seat side of the vehicle and is controlled to be lit by the image processing device 20, and linked to lighting of a headlamp (not shown) at night, for example. Then, a predetermined area on the passenger seat side (for example, the imaging area of the external camera 11 on the passenger seat side, that is, the peripheral area on the left side of the vehicle that is the imaging area of the left side camera 11c) is irradiated.

車両状態センサ13は、自車両の車両状態量として、例えば、駆動輪の回転速度(車輪速)を検出する車輪速センサ31と、操舵角(例えば、運転者が入力した操舵角度の方向と大きさ)あるいは操舵角に応じた実舵角(転舵角)を検出する舵角センサ32と、セレクトレバー(図示略)を介して運転者により選択される変速機構(図示略)の状態に応じたシフトポジションを検出するシフトポジションセンサ33となどを備えて構成されている。   The vehicle state sensor 13 includes, for example, a wheel speed sensor 31 that detects the rotational speed (wheel speed) of the driving wheel and a steering angle (for example, the direction and magnitude of the steering angle input by the driver) as the vehicle state quantity of the host vehicle. ) Or a steering angle sensor 32 that detects an actual steering angle (steering angle) according to the steering angle, and a state of a speed change mechanism (not shown) selected by the driver via a select lever (not shown). And a shift position sensor 33 for detecting the shift position.

ナビゲーション装置14は、車両の現在位置と予め記憶している地図データとによりマップマッチングの処理を実行すると共に、例えば操作者の入力操作などに応じて設定された目的地に対して経路探索や経路誘導などの処理を実行し、表示装置19およびスピーカ(図示略)の動作を指示する制御指令を出力する。   The navigation device 14 executes a map matching process based on the current position of the vehicle and map data stored in advance, and performs route search and route for a destination set according to, for example, an input operation by the operator. Processing such as guidance is executed, and a control command for instructing operations of the display device 19 and a speaker (not shown) is output.

操作スイッチ15は、運転者の操作入力に応じた各種の指令信号、例えば表示装置19の表示画面上での各種のメニュー項目の選択指示などを出力する。
切替スイッチ16は、運転者の操作入力に応じた表示装置19の表示画面上での各種の表示切替の指令信号を出力する。
格納スイッチ17は、運転者の操作入力に応じて、車両の左右のドアミラーML,MRの格納および展開、さらには、角度変更などをおこなうドアミラークチュエータ18に各種の指令信号を出力する。
The operation switch 15 outputs various command signals according to the driver's operation input, for example, instructions for selecting various menu items on the display screen of the display device 19.
The changeover switch 16 outputs various display switching command signals on the display screen of the display device 19 according to the driver's operation input.
The storage switch 17 outputs various command signals to the door mirror actuator 18 that stores and unfolds the left and right door mirrors ML and MR of the vehicle and changes the angle in accordance with the operation input of the driver.

表示装置19は、画像処理装置20の制御により各種の表示をおこなう。例えば、表示装置19の表示画面上には、外界カメラ11から出力される各画像データに加えて、これらの画像データに自車両の位置および各種のガイド表示などを重畳して表示可能である。   The display device 19 performs various displays under the control of the image processing device 20. For example, on the display screen of the display device 19, in addition to the image data output from the external camera 11, the position of the host vehicle and various guide displays can be superimposed and displayed on these image data.

画像処理装置20は、例えばLED制御部41と、画像処理部42と、異常検知部43と、記憶部44と、表示制御部45とを備えて構成されている。   The image processing apparatus 20 includes, for example, an LED control unit 41, an image processing unit 42, an abnormality detection unit 43, a storage unit 44, and a display control unit 45.

LED制御部41は、例えば夜間時などにおいて前照灯(図示略)の点灯に連動して、かつ、例えば表示装置19の表示画面に後述するサイドビューSVの画像が表示される期間に連動して、近赤外線LED12を点灯制御する。   The LED control unit 41 is interlocked with the lighting of a headlamp (not shown) at night, for example, and in conjunction with a period during which an image of a side view SV (to be described later) is displayed on the display screen of the display device 19, for example. The near-infrared LED 12 is controlled to be turned on.

画像処理部42は、外界カメラ11の各カメラ11a,…,11dから出力される画像データに基づき、例えば所定の変換処理などによって、予め設定された所定の視野表示に対応した変換画像を生成して出力する。   The image processing unit 42 generates a converted image corresponding to a predetermined visual field display set in advance by, for example, a predetermined conversion process based on image data output from each camera 11a,..., 11d of the external camera 11. Output.

なお、所定の視野表示は、例えば、図3(A)に示す車両の前方領域の表示(フロントビューFV)と、図3(B)に示す車両の後方領域の表示(リアビューRV)と、図3(C)に示す車両の左右の側方前方領域の表示(サイドビューSV)と、図3(D)に示す車両の側方後方領域の表示であって、左右のドアミラーML,MRに映る領域を仮想的に再現した表示(ミラービューMV)と、図3(E)に示す車両の前方領域において左右に表示領域を拡張した表示(フロントブラインドビューFBV)と、図3(F)に示す車両の周辺領域を俯瞰した表示(グランドビューGV)となどである。   The predetermined visual field display includes, for example, a display of the front area of the vehicle (front view FV) shown in FIG. 3 (A), a display of the rear area of the vehicle (rear view RV) shown in FIG. 3 (C), the left and right side front area display (side view SV) of the vehicle, and the vehicle side rear area display shown in FIG. 3 (D), which are reflected in the left and right door mirrors ML, MR. A display that virtually reproduces the area (mirror view MV), a display that expands the display area left and right in the front area of the vehicle shown in FIG. 3E (front blind view FBV), and that shown in FIG. This is a display (ground view GV) overlooking the surrounding area of the vehicle.

例えばグランドビューGVの画像を生成する際には、画像処理部42は、図4に示すように、各カメラ11a,…,11dの撮像領域の画像データ(例えば、図4に示す車両の後方領域の画像データRP)を、車両の鉛直方向上方の所定視点位置BPから見下ろした画像(例えば、図4に示す変換画像RCP)となるように、画像の歪みなども補正しつつ視点変換をおこなう。そして、この変換処理により得られた各変換画像から、互いの境界位置が整合するようにして各変換画像毎に設定された所定の画角範囲の画像(例えば、前方抽出画像PF,後方抽出画像PR,左側方抽出画像PSL,右側方抽出画像PSR)を抽出する。そして、例えば図5(A),(B)に示すように、これらの画像(各抽出画像PF,PR,PSL,PSR)を結合して結合画像を生成し、この結合画像をグランドビューGVの画像として出力する。なお、この結合画像においては、隣り合う抽出画像同士間の境界部に所定のマスク線MLが設けられている。   For example, when generating the image of the grand view GV, the image processing unit 42, as shown in FIG. 4, image data of the imaging area of each camera 11a,..., 11d (for example, the rear area of the vehicle shown in FIG. 4). The viewpoint conversion is performed while correcting image distortion and the like so that the image data RP) is an image viewed from a predetermined viewpoint position BP above the vehicle in the vertical direction (for example, the converted image RCP shown in FIG. 4). Then, from each converted image obtained by this conversion processing, an image in a predetermined field angle range set for each converted image so that the boundary positions of each other are matched (for example, the front extracted image PF, the rear extracted image). PR, left side extracted image PSL, right side extracted image PSR) are extracted. Then, for example, as shown in FIGS. 5A and 5B, these images (respective extracted images PF, PR, PSL, and PSR) are combined to generate a combined image, and this combined image is displayed in the ground view GV. Output as an image. In this combined image, a predetermined mask line ML is provided at the boundary between adjacent extracted images.

なお、外界カメラ11のうち左側方カメラ11cおよび右側方カメラ11dが、車両の左右のドアミラーML,MRの下端に設置されている場合には、左右のドアミラーML,MRの開閉(つまり、展開または格納)に応じて、左側方カメラ11cおよび右側方カメラ11dの撮像領域が変化する。このため、画像処理部42は、左右のドアミラーML,MRの開閉に応じて、視点変換の処理内容を変更すると共に各変換画像毎に設定された所定の画角範囲(つまり、各変換画像から各抽出画像PF,PR,PSL,PSRを抽出するための抽出範囲)を変更する。さらに、結合画像を構成する各画像(つまり、各抽出画像PF,PR,PSL,PSR)同士間の境界位置を変更することで、左右のドアミラーML,MRの開閉に関わらずに、同一の所定の周辺領域を表示するグランドビューGVの画像を生成する。   When the left camera 11c and the right camera 11d of the external cameras 11 are installed at the lower ends of the left and right door mirrors ML and MR of the vehicle, the left and right door mirrors ML and MR are opened and closed (that is, deployed or The imaging areas of the left-side camera 11c and the right-side camera 11d change according to (storage). For this reason, the image processing unit 42 changes the processing content of the viewpoint conversion according to the opening and closing of the left and right door mirrors ML and MR, and sets a predetermined field angle range set for each converted image (that is, from each converted image). The extraction range for extracting each extracted image PF, PR, PSL, PSR) is changed. Furthermore, by changing the boundary position between the images constituting the combined image (that is, the extracted images PF, PR, PSL, and PSR), the same predetermined value can be obtained regardless of whether the left and right door mirrors ML and MR are opened or closed. An image of the ground view GV that displays the peripheral area of the image is generated.

例えば図6(A)〜(D)に示すように、開状態の左右のドアミラーML,MRが、閉状態に移行する際に、ドアミラーML,MRの端部が鉛直方向上方に持ち上がるようにして、ドアミラーML,MRの水平方向に対する傾斜角度が変化すると、左右のドアミラーML,MRの開状態において車両の左側方および右側方の周辺領域のみを撮像するように設定されていた各カメラ11c,11dの撮像領域は、左右のドアミラーML,MRの閉状態において車両本体の左側部および右側部を不必要に含んでしまうと共に車両の後方側にずれることになる。   For example, as shown in FIGS. 6A to 6D, when the left and right door mirrors ML, MR in the open state shift to the closed state, the end portions of the door mirrors ML, MR are lifted upward in the vertical direction. When the inclination angle of the door mirrors ML, MR with respect to the horizontal direction changes, the cameras 11c, 11d set to image only the left and right peripheral regions of the vehicle when the left and right door mirrors ML, MR are opened. When the left and right door mirrors ML, MR are closed, the imaging region of the image pickup area unnecessarily includes the left side portion and the right side portion of the vehicle main body and shifts to the rear side of the vehicle.

これにより、左右のドアミラーML,MRの開状態においてグランドビューGVの画像(例えば、図7(A)に示す開状態でのグランドビューGVの画像)を生成する処理と同一の処理(つまり、同一の視点変換、および各抽出画像PSL,PSRを抽出するための抽出範囲および結合画像を構成する各抽出画像PF,PR,PSL,PSR同士間の境界位置を同一とした処理)によって、左右のドアミラーML,MRの閉状態でのグランドビューGVの画像(例えば、図7(B)に示す閉状態でのグランドビューGVの画像)を生成すると、所定視点位置BPから見下ろした適切な画像が得られなくなると共に、車両の左側方および右側方の所定の周辺領域を表示することができなくなり、さらに、結合画像を構成する他の各抽出画像PF,PRとの間の境界位置がずれてしまう。   Thus, the same processing (that is, the same processing) as the processing for generating the image of the ground view GV (for example, the image of the ground view GV in the open state shown in FIG. 7A) in the open state of the left and right door mirrors ML and MR. Left and right door mirrors by processing of converting the viewpoint of each of the extracted images PSL and PSR and the boundary positions between the extracted images PF, PR, PSL, and PSR constituting the combined image). When an image of the ground view GV in the closed state of ML and MR (for example, an image of the ground view GV in the closed state shown in FIG. 7B) is generated, an appropriate image looking down from the predetermined viewpoint position BP is obtained. At the same time, it becomes impossible to display predetermined peripheral areas on the left side and right side of the vehicle, and each of the other extracted images PF constituting the combined image. Boundary position between the PR is shifted.

このため、画像処理部42は、先ず、左右のドアミラーML,MRの開閉に応じて、視点変換の処理内容を変更すると共に、各変換画像毎に設定された所定の画角範囲(つまり、各変換画像から各抽出画像PF,PR,PSL,PSRを抽出するための抽出範囲)を変更する。これにより、左右のドアミラーML,MRの開閉に関わらずに、所定視点位置BPから見下ろした適切な、かつ車両の左側方および右側方の同一の所定の周辺領域を表示する各抽出画像PSL,PSRを抽出する。   For this reason, the image processing unit 42 first changes the processing content of the viewpoint conversion according to the opening and closing of the left and right door mirrors ML and MR, and also sets a predetermined field angle range (that is, each of the converted images). The extraction range for extracting each extracted image PF, PR, PSL, PSR from the converted image is changed. As a result, the extracted images PSL and PSR that display the same predetermined peripheral area on the left side and the right side of the vehicle that are appropriate and look down from the predetermined viewpoint position BP, regardless of whether the left and right door mirrors ML and MR are opened or closed. To extract.

さらに、左右のドアミラーML,MRの閉状態において各カメラ11c,11dの撮像領域が、左右のドアミラーML,MRの開状態に比べて、車両の後方側にずれてしまうことで、撮像不可となる領域が生じることに対応して、例えば図5(A)に示す左右のドアミラーML,MRの開状態に比べて、例えば図5(B)に示す左右のドアミラーML,MRの閉状態では、特に、前方抽出画像PFと左側方抽出画像PSLおよび右側方抽出画像PSRとの間の境界位置を車両の後方側にずらすようにして、結合画像での各抽出画像PF,PSL,PSR同士間の境界位置を変更する。この境界位置の変更に対応して、各変換画像から各抽出画像PF,PR,PSL,PSRを抽出するための抽出範囲が予め変更されることになる。   Further, when the left and right door mirrors ML and MR are closed, the imaging regions of the cameras 11c and 11d are shifted to the rear side of the vehicle as compared with the open state of the left and right door mirrors ML and MR, thereby making imaging impossible. In response to the occurrence of the region, for example, in the closed state of the left and right door mirrors ML and MR shown in FIG. 5B, for example, compared to the open state of the left and right door mirrors ML and MR shown in FIG. The boundary positions between the extracted images PF, PSL, and PSR in the combined image by shifting the boundary position between the front extracted image PF and the left extracted image PSL and the right extracted image PSR to the rear side of the vehicle. Change the position. Corresponding to the change of the boundary position, the extraction range for extracting each extracted image PF, PR, PSL, PSR from each converted image is changed in advance.

例えば図5(A)に示す左右のドアミラーML,MRの開状態においては、前方抽出画像PFと左側方抽出画像PSLおよび右側方抽出画像PSRとの間の境界位置を示すマスク線MLは、車両の左右方向に対して所定第1角度αだけ前方側に傾斜しているのに対して、例えば図5(B)に示す左右のドアミラーML,MRの閉状態においては、前方抽出画像PFと左側方抽出画像PSLおよび右側方抽出画像PSRとの間の境界位置を示すマスク線MLは、車両の左右方向に対して所定第1角度αよりも小さな所定第2角度β(<α)だけ前方側に傾斜している。これにより、左右のドアミラーML,MRの開状態に比べて、閉状態では、前方抽出画像PFに対する抽出領域が拡張され、左側方抽出画像PSLおよび右側方抽出画像PSRに対する抽出領域が縮小されている。   For example, in the open state of the left and right door mirrors ML, MR shown in FIG. 5A, the mask line ML indicating the boundary position between the front extracted image PF, the left side extracted image PSL, and the right side extracted image PSR is the vehicle. In contrast with the left and right door mirrors ML and MR shown in FIG. 5B, for example, when the left and right door mirrors ML and MR are closed as shown in FIG. The mask line ML indicating the boundary position between the side extracted image PSL and the right side extracted image PSR is on the front side by a predetermined second angle β (<α) smaller than the predetermined first angle α with respect to the left-right direction of the vehicle. It is inclined to. As a result, compared to the open state of the left and right door mirrors ML and MR, in the closed state, the extraction region for the front extraction image PF is expanded and the extraction region for the left side extraction image PSL and the right side extraction image PSR is reduced. .

異常検知部43は、外界カメラ11の各カメラ11a,…,11dから出力される信号に基づき、各カメラ11a,…,11dに異常が発生しているか否かを検知し、この検知結果を表示制御部45に出力する。   The abnormality detection unit 43 detects whether or not an abnormality has occurred in each of the cameras 11a,..., 11d based on signals output from the cameras 11a,. Output to the controller 45.

表示制御部45は、ナビゲーション装置14の各種動作に係るナビゲーション画面を表示装置19の表示画面に表示する。
また、表示制御部45は、画像処理部42から出力される各変換画像、例えば図8(A)に示すフロントビューFVと、図8(B)に示すリアビューRVと、図8(C),(D)に示す左右のサイドビューSVと、図8(E),(F)に示す左右のミラービューMVと、図8(G)に示すフロントブラインドビューFBVと、図8(H)に示すグランドビューGVとの各画像を、予め設定された、あるいは、操作スイッチ15または切替スイッチ16から出力される指令信号に応じた、あるいは、車両状態センサ13から出力される検出信号に応じた、所定の組み合わせで表示装置19の表示画面に表示する。
さらに、表示制御部45は、画像処理部42から出力される各変換画像を表示装置19の表示画面に表示する際に、記憶部44に格納されている各種のメッセージや各種画像を取得して表示装置19の表示画面に表示すると共に、運転者の運転を支援するための各種のガイド表示(例えば、図8(A)〜(F),(H)に示す車両周辺の所定位置に係る目安ガイド線DL、および、図8(A),(H)に示す車両の走行軌跡に係る予測ガイド線ELなど)を各変換画像に重畳して表示する。
The display control unit 45 displays a navigation screen related to various operations of the navigation device 14 on the display screen of the display device 19.
Further, the display control unit 45 outputs each converted image output from the image processing unit 42, for example, the front view FV shown in FIG. 8A, the rear view RV shown in FIG. 8B, and FIGS. Left and right side views SV shown in (D), left and right mirror views MV shown in FIGS. 8E and 8F, front blind view FBV shown in FIG. 8G, and FIG. 8H. Each image with the ground view GV is set in advance, in accordance with a command signal output from the operation switch 15 or the changeover switch 16, or in accordance with a detection signal output from the vehicle state sensor 13. Are displayed on the display screen of the display device 19.
Further, the display control unit 45 acquires various messages and various images stored in the storage unit 44 when displaying each converted image output from the image processing unit 42 on the display screen of the display device 19. While displaying on the display screen of the display device 19, various guide displays for supporting the driving of the driver (for example, a guideline relating to a predetermined position around the vehicle shown in FIGS. 8A to 8F and 8H). A guide line DL and a predicted guide line EL related to the traveling locus of the vehicle shown in FIGS. 8A and 8H are superimposed on each converted image and displayed.

例えば、車両状態センサ13の車輪速センサ31から出力される検出信号に応じた車両の速度(車速)が所定のロー側判定閾値VthL以下であって、シフトポジションセンサ33から出力される検出信号においてシフトポジションが後退のリバース以外(例えば、前進のドライブなど)である場合には、表示制御部45は、予め設定された複数の表示形態のうちから、例えば、図9(A)に示すフロントビューFVおよびグランドビューGVの組み合わせと、図9(B)に示すフロントブラインドビューFBVと、図9(C)に示す左右のサイドビューSVの組み合わせと、図9(D)に示す左のサイドビューSVのみとによる、4つの表示形態を選択し、これらの表示形態の何れか1つを、例えば切替スイッチ16から出力される指令信号などに応じて切り替え可能に、表示装置19の表示画面に表示する。   For example, in the detection signal output from the shift position sensor 33, the vehicle speed (vehicle speed) corresponding to the detection signal output from the wheel speed sensor 31 of the vehicle state sensor 13 is equal to or lower than a predetermined low-side determination threshold VthL. When the shift position is other than reverse reverse (for example, forward drive, etc.), the display control unit 45 selects, for example, a front view shown in FIG. 9A from among a plurality of preset display forms. A combination of FV and ground view GV, a front blind view FBV shown in FIG. 9B, a left and right side view SV shown in FIG. 9C, and a left side view SV shown in FIG. Only four display forms are selected, and any one of these display forms is selected from, for example, a command signal output from the changeover switch 16. Switchably depending on, the display screen of the display device 19.

このとき、表示制御部45は、画像処理部42から出力される各変換画像に加えて、例えば、切り替え可能な表示形態を示す表示形態指示画像IPと、表示中の変換画像に対応した外界カメラ11の撮像領域を模式的に示す撮像領域指示画像CPと、各種のメッセージ(例えば、「直接周囲を確認しながら運転してください」など)やメニュー表示やヘルプ表示などとを、記憶部44から取得して、表示装置19の表示画面に表示する。   At this time, in addition to each converted image output from the image processing unit 42, the display control unit 45, for example, a display form instruction image IP indicating a switchable display form and an external camera corresponding to the converted image being displayed. From the storage unit 44, an imaging area instruction image CP schematically showing 11 imaging areas, various messages (for example, “Please drive while directly checking the surroundings”), menu display, help display, and the like are displayed. It is acquired and displayed on the display screen of the display device 19.

例えば、表示形態指示画像IPは、フロントビューFVおよびグランドビューGVの組み合わせを示す画像(F・G)と、フロントブラインドビューFBVを示す画像(FB)と、左右のサイドビューSVの組み合わせ、あるいは左のサイドビューSVのみを示す画像(S)と、リアビューRVおよびグランドビューGVの組み合わせを示す画像(R・G)と、リアビューRVおよび左右のミラービューMVの組み合わせを示す画像(R・M)とであって、図9(A)〜(D)に示すように、表示装置19の表示画面に表示中の表示形態に対応する表示形態指示画像IPは、他の切り替え可能な表示形態に対応する表示形態指示画像IPに比べて、例えばコントラストの増大や大きさの増大や表示色の変更などによって、強調表示されている。   For example, the display form instruction image IP is a combination of an image (F · G) indicating the combination of the front view FV and the ground view GV, an image (FB) indicating the front blind view FBV, and the left and right side views SV, or left An image (S) showing only the side view SV, an image (R · G) showing a combination of the rear view RV and the ground view GV, and an image (R · M) showing a combination of the rear view RV and the left and right mirror views MV 9A to 9D, the display form instruction image IP corresponding to the display form being displayed on the display screen of the display device 19 corresponds to another switchable display form. Compared with the display form instruction image IP, for example, it is highlighted because of an increase in contrast, an increase in size, a change in display color, or the like.

なお、表示制御部45は、例えば図9(C),(D)に示すように、表示形態指示画像IPとして、左右のサイドビューSVの組み合わせ、あるいは左のサイドビューSVのみを示す画像(S)を強調表示している場合には、さらに、切り替え可能な相互の表示形態(つまり、左右のサイドビューSVの組み合わせの表示形態、または、左のサイドビューSVのみの表示形態)を指示する第1および第2補助表示形態指示画像IPa,IPbを表示する。
この第1補助表示形態指示画像IPa(長押し:左)は、例えば操作スイッチ15を長時間に亘って押下操作することによって、左右のサイドビューSVの組み合わせの表示形態から左のサイドビューSVのみの表示形態へと切り替え可能であることを示し、第2補助表示形態指示画像IPb(長押し:左右)は、例えば操作スイッチ15を長時間に亘って押下操作することによって、左のサイドビューSVのみの表示形態から左右のサイドビューSVの組み合わせの表示形態へと切り替え可能であることを示している。
For example, as illustrated in FIGS. 9C and 9D, the display control unit 45 displays a combination of left and right side views SV or only a left side view SV as a display form instruction image IP (S ) Is highlighted, a switchable mutual display form (that is, a display form of a combination of the left and right side views SV or a display form of only the left side view SV) is designated. The first and second auxiliary display form instruction images IPa and IPb are displayed.
This first auxiliary display form instruction image IPa (long press: left) is displayed only in the left side view SV from the display form of the combination of the left and right side views SV, for example, by pressing the operation switch 15 for a long time. The second auxiliary display form instruction image IPb (long press: left and right) is displayed on the left side view SV by, for example, pressing the operation switch 15 for a long time. This shows that it is possible to switch from only the display form to the display form of the combination of the left and right side views SV.

なお、表示制御部45は、フロントビューFVおよびグランドビューGVの組み合わせに対しては、例えば図9(A)に示すように、フロントビューFVの画像と、グランドビューGVの画像とを、左右に並べて表示装置19の表示画面に表示する。
また、リアビューRVおよびグランドビューGVの組み合わせに対しては、リアビューRVの画像と、グランドビューGVの画像とを、左右に並べて表示装置19の表示画面に表示する。
また、左右のサイドビューSVの組み合わせに対しては、例えば図9(C)に示すように、左のサイドビューSVの画像と、右のサイドビューSVの画像とを、左右に並べて表示装置19の表示画面に表示する。
For example, as shown in FIG. 9A, the display control unit 45, for the combination of the front view FV and the ground view GV, displays the image of the front view FV and the image of the grand view GV horizontally. They are displayed side by side on the display screen of the display device 19.
For the combination of the rear view RV and the ground view GV, the image of the rear view RV and the image of the grand view GV are displayed side by side on the display screen of the display device 19.
For the combination of the left and right side views SV, for example, as shown in FIG. 9C, the left side view SV image and the right side view SV image are arranged side by side on the display device 19. On the display screen.

また、例えばシフトポジションセンサ33から出力される検出信号においてシフトポジションがリバースである場合に選択されるリアビューRVおよび左右のミラービューMVの組み合わせに対しては、例えば図10(A)に示すように、上段に左のミラービューMVの画像と右のミラービューMVの画像とを左右に並べ、下段にリアビューRVを配置して、表示装置19の表示画面に表示する。この場合には、例えば図10(B)に示すように上段にリアビューRVを配置して下段に左右のミラービューMVの画像を配置する場合に比べて、運転者が表示形態に違和感を感じてしまうことを防止し、視認性を向上させることができる。   For example, for the combination of the rear view RV and the left and right mirror views MV selected when the shift position is reverse in the detection signal output from the shift position sensor 33, for example, as shown in FIG. Then, the image of the left mirror view MV and the image of the right mirror view MV are arranged on the left and right in the upper row, and the rear view RV is arranged in the lower row and displayed on the display screen of the display device 19. In this case, for example, as shown in FIG. 10B, the driver feels uncomfortable in the display form as compared with the case where the rear view RV is arranged in the upper stage and the images of the left and right mirror views MV are arranged in the lower stage. Can be prevented and visibility can be improved.

なお、車両の前進時にフロントビューFVと組み合わされるグランドビューGVの画像と、車両の後退時にリアビューRVと組み合わされるグランドビューGVの画像とは、同一(つまり、グランドビューGVの画像を構成する各抽出画像PF,PR,PSL,PSRの画角範囲や各抽出画像同士間の境界位置などが変化しない同一の表示形態)とされている。   Note that the image of the ground view GV combined with the front view FV when the vehicle moves forward is the same as the image of the ground view GV combined with the rear view RV when the vehicle moves backward (that is, each extraction constituting the image of the ground view GV). The viewing angle range of the images PF, PR, PSL, and PSR and the boundary position between the extracted images are the same display form).

表示制御部45は、車両のイグニッションスイッチがオンとされた始動時において、外界カメラ11および画像処理装置20の起動に要する時間がナビゲーション装置14の起動に要する時間に比べて相対的に短いことから、ナビゲーション装置14の起動中には、例えば図11(A)に示すように、フロントビューFVあるいはリアビューRVと、グランドビューGVとの組み合わせの表示形態を選択して、表示装置19の表示画面に自動的に表示する。そして、ナビゲーション装置14の起動完了後には、例えば図11(B)に示すように、所定のナビゲーション画面へと切り替える。これにより、ナビゲーション装置14の起動中に、例えば図11(C)に示すような所定の起動画面を自動的に表示装置19の表示画面に表示する場合に比べて、運転者による表示画面の切り替え操作などを必要とせずに車両発進時の運転者による車両周辺の状況認識を適切に支援することができる。   The display control unit 45 has a relatively short time required to start up the external camera 11 and the image processing device 20 compared to the time required to start up the navigation device 14 at the time of starting when the ignition switch of the vehicle is turned on. During the activation of the navigation device 14, for example, as shown in FIG. 11A, the display form of the combination of the front view FV or the rear view RV and the ground view GV is selected and displayed on the display screen of the display device 19. Display automatically. Then, after the activation of the navigation device 14 is completed, for example, as shown in FIG. Thereby, during the startup of the navigation device 14, the display screen is switched by the driver as compared with a case where a predetermined startup screen as shown in FIG. 11C is automatically displayed on the display screen of the display device 19, for example. It is possible to appropriately support recognition of the situation around the vehicle by the driver at the start of the vehicle without requiring any operation.

また、表示制御部45は、異常検知部43から出力される検知結果の信号に応じて、異常の発生が検知された各カメラ11a,…,11dに係る画像の表示を停止し、この画像の表示領域を覆う所定のマスク画像MPと共に、外界カメラ11に異常が発生していることを示す所定のメッセージ(例えば、「一部のカメラ映像は表示できません 販売店へご相談ください」など)を表示する。   Further, the display control unit 45 stops displaying the images related to the cameras 11a,..., 11d in which the occurrence of the abnormality is detected in accordance with the detection result signal output from the abnormality detection unit 43, and A predetermined message indicating that an abnormality has occurred in the external camera 11 (for example, “Some camera images cannot be displayed. Please consult your dealer”) is displayed together with a predetermined mask image MP that covers the display area. To do.

例えば後方カメラ11bのみの異常が検知された場合には、表示制御部45は、図12(A)〜(C)に示すように、後方カメラ11bに係るリアビューRVの画像の表示を停止し、この画像の表示領域を覆う所定のマスク画像MPと共に所定のメッセージを表示する。また、グランドビューGVの画像に対しては、後方抽出画像PRに加えて、他の各抽出画像PF,PSL,PSRも表示を停止し、これらの画像(各抽出画像PF,PR,PSL,PSR)を覆う所定のマスク画像MPを表示する。   For example, when an abnormality is detected only in the rear camera 11b, the display control unit 45 stops displaying the image of the rear view RV related to the rear camera 11b, as shown in FIGS. A predetermined message is displayed together with a predetermined mask image MP covering the display area of the image. In addition to the rear extracted image PR, the other extracted images PF, PSL, and PSR are stopped from being displayed on the image of the ground view GV, and these images (each extracted image PF, PR, PSL, PSR) are stopped. ) Is displayed.

また、例えば前方カメラ11aのみの異常が検知された場合には、表示制御部45は、図13(A)〜(C)に示すように、前方カメラ11aに係るフロントビューFVおよびフロントブラインドビューFBVの各画像の表示を停止し、これらの画像の表示領域を覆う所定のマスク画像MPと共に所定のメッセージを表示する。また、グランドビューGVの画像に対しては、前方抽出画像PFに加えて、他の各抽出画像PR,PSL,PSRも表示を停止し、これらの画像(各抽出画像PF,PR,PSL,PSR)を覆う所定のマスク画像MPを表示する。   For example, when an abnormality is detected only in the front camera 11a, the display control unit 45, as shown in FIGS. 13A to 13C, displays the front view FV and the front blind view FBV related to the front camera 11a. The display of each image is stopped, and a predetermined message is displayed together with a predetermined mask image MP covering the display area of these images. In addition to the forward extracted image PF, the other extracted images PR, PSL, and PSR are also stopped from being displayed on the image of the ground view GV, and these images (each extracted image PF, PR, PSL, PSR) are stopped. ) Is displayed.

また、例えば左側方カメラ11cのみの異常が検知された場合には、表示制御部45は、図14(A)〜(E)に示すように、左側方カメラ11cに係るサイドビューSVおよびミラービューMVの各画像の表示を停止し、これらの画像の表示領域を覆う所定のマスク画像MPと共に所定のメッセージを表示する。また、グランドビューGVの画像に対しては、左側方抽出画像PSLに加えて、他の各抽出画像PF,PR,PSRも表示を停止し、これらの画像(各抽出画像PF,PR,PSL,PSR)を覆う所定のマスク画像MPを表示する。   For example, when an abnormality is detected only in the left side camera 11c, the display control unit 45, as shown in FIGS. 14A to 14E, displays the side view SV and the mirror view related to the left side camera 11c. The display of each MV image is stopped, and a predetermined message is displayed together with a predetermined mask image MP covering the display area of these images. In addition to the left-side extracted image PSL, the other extracted images PF, PR, and PSR are also stopped from displaying for the image of the ground view GV, and these images (each extracted image PF, PR, PSL, A predetermined mask image MP covering PSR) is displayed.

なお、表示制御部45は、グランドビューGVの画像において表示される車両の画像(車両アイコン)VPの表示状態(例えば、輝度や色など)を、前照灯(図示略)や近赤外線LED12の点灯状態、あるいは、表示画面上の他の画像の明るさ、あるいは、マスク画像MPの有無などに応じて、例えば図15に示すような複数の異なる表示状態によって適宜に変更する。
例えば、前照灯(図示略)の点灯時には相対的に輝度が大きい車両アイコンVPを表示し、前照灯(図示略)の消灯時には相対的に輝度が小さい車両アイコンVPを表示する。また、例えばグランドビューGVにマスク画像MPが表示されている場合には、最も輝度が小さい車両アイコンVPを表示する。
The display control unit 45 displays the display state (for example, luminance and color) of the vehicle image (vehicle icon) VP displayed in the image of the ground view GV based on the headlamp (not shown) and the near-infrared LED 12. Depending on the lighting state, the brightness of other images on the display screen, the presence / absence of the mask image MP, or the like, the display mode is appropriately changed according to a plurality of different display states as shown in FIG.
For example, the vehicle icon VP having a relatively high luminance is displayed when the headlamp (not shown) is turned on, and the vehicle icon VP having a relatively low luminance is displayed when the headlamp (not shown) is turned off. For example, when the mask image MP is displayed on the ground view GV, the vehicle icon VP having the lowest luminance is displayed.

上述したように、本実施の形態による車両周囲監視装置10によれば、異常状態である外界カメラ11に係る画像を表示装置19の表示画面に表示することを禁止し、異常状態ではない他の外界カメラ11に係る画像に対する表示許可は維持することにより、異常状態である外界カメラ11を運転者に的確に認知させることができると共に、正常である外界カメラ11に係る画像を有効に利用して、運転者に車両周囲の状況を適正に把握させることができる。   As described above, according to the vehicle surrounding monitoring apparatus 10 according to the present embodiment, it is prohibited to display an image related to the external camera 11 that is in an abnormal state on the display screen of the display device 19, and is not in an abnormal state. By maintaining the display permission for the image related to the external camera 11, the driver can accurately recognize the external camera 11 in the abnormal state, and the image related to the normal external camera 11 can be used effectively. The driver can properly grasp the situation around the vehicle.

また、車両のイグニッションスイッチがオンとされた始動時において、ナビゲーション装置14の起動中には、適宜の起動画面の代わりに、フロントビューFVあるいはリアビューRVと、グランドビューGVとの組み合わせの表示形態を表示装置19の表示画面に自動的に表示し、ナビゲーション装置14の起動完了後には、所定のナビゲーション画面へと切り替えることから、運転者による表示画面の切り替え操作などを必要とせずに車両発進時の運転者による車両周辺の状況認識を適切に支援することができる。   Further, at the time of start-up when the ignition switch of the vehicle is turned on, during the start-up of the navigation device 14, a display form of a combination of the front view FV or the rear view RV and the ground view GV is used instead of an appropriate start-up screen. It is automatically displayed on the display screen of the display device 19 and, after the start of the navigation device 14 is completed, the display device 19 is switched to a predetermined navigation screen, so that the driver does not need to switch the display screen and the like when starting the vehicle. It is possible to appropriately assist the driver to recognize the situation around the vehicle.

また、リアビューRVおよび左右のミラービューMVの組み合わせの表示形態に対しては、表示画面の上段に左のミラービューMVの画像と右のミラービューMVの画像とを左右に並べ、下段にリアビューRVを配置することにより、運転者が画面表示のフォーマットに違和感を感じてしまうことを防止し、視認性を向上させることができる。
しかも、サイドビューSVの表示形態においては、左右のサイドビューSVの組み合わせの表示形態と、左のサイドビューSVのみの表示形態とを、切り替え可能であることから、運転者による車両周辺の状況認識の利便性を向上させることができる。
Further, for the display form of the combination of the rear view RV and the left and right mirror views MV, the left mirror view MV image and the right mirror view MV image are arranged on the left and right in the upper part of the display screen, and the rear view RV in the lower part. By arranging, it is possible to prevent the driver from feeling uncomfortable in the format of the screen display and to improve the visibility.
In addition, in the display form of the side view SV, the display form of the combination of the left and right side views SV and the display form of only the left side view SV can be switched. Convenience can be improved.

また、近赤外線LED12は、夜間時などにおいて前照灯(図示略)の点灯に連動して、かつ、表示装置19の表示画面にサイドビューSVの画像が表示される期間に連動して、点灯制御されることから、常時点灯される場合に比べて、運転者による消灯操作などを必要とせずに消費電力の増大を防止することができる。   The near-infrared LED 12 is lit in conjunction with the lighting of the headlamp (not shown) at night and in conjunction with the period during which the side view SV image is displayed on the display screen of the display device 19. Since it is controlled, it is possible to prevent an increase in power consumption without requiring a driver to turn off the light as compared with a case where the light is always turned on.

本発明の一実施形態に係る車両周囲監視装置の構成図である。1 is a configuration diagram of a vehicle surroundings monitoring apparatus according to an embodiment of the present invention. 本発明の一実施形態に係る車両周囲監視装置の外界カメラの配置を示す図である。It is a figure which shows arrangement | positioning of the external camera of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る車両周囲監視装置の視野表示に対応した所定の外界領域を示す図である。It is a figure which shows the predetermined | prescribed external field area | region corresponding to the visual field display of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る車両周囲監視装置の後方カメラの撮像により得られる画像データRPと、画像データRPに対する視点変換により得られる変換画像RCPとの一例を示す図である。It is a figure which shows an example of the image data RP obtained by imaging of the back camera of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention, and the conversion image RCP obtained by viewpoint conversion with respect to image data RP. 本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーML,MRの開閉に応じたグランドビューGVの画像を示す図である。It is a figure which shows the image of the grand view GV according to opening and closing of the left and right door mirrors ML and MR of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーML,MRの開閉状態を示す図である。It is a figure which shows the open / closed state of the left and right door mirrors ML and MR of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 図7(A)は本発明の一実施形態に係る車両周囲監視装置の左右のドアミラーML,MRの開状態でのグランドビューGVの画像であり、図7(B)は本発明の一実施形態の比較例に係る車両周囲監視装置の左右のドアミラーML,MRの閉状態でのグランドビューGVの画像である。FIG. 7A is an image of the ground view GV in the open state of the left and right door mirrors ML, MR of the vehicle periphery monitoring device according to one embodiment of the present invention, and FIG. 7B is one embodiment of the present invention. It is an image of the ground view GV in the closed state of the left and right door mirrors ML, MR of the vehicle periphery monitoring device according to the comparative example. 本発明の一実施形態に係る車両周囲監視装置の画像処理部から出力される各変換画像の例を示す図である。It is a figure which shows the example of each conversion image output from the image process part of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る車両周囲監視装置の表示画面の例を示す図である。It is a figure which shows the example of the display screen of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 図10(A)は本発明の一実施形態に係る車両周囲監視装置の表示画面の例を示す図であり、図10(B)は本発明の一実施形態の比較例に係る車両周囲監視装置の表示画面の例を示す図である。FIG. 10A is a diagram showing an example of a display screen of the vehicle surrounding monitoring apparatus according to the embodiment of the present invention, and FIG. 10B is a vehicle surrounding monitoring apparatus according to a comparative example of the embodiment of the present invention. It is a figure which shows the example of a display screen. 図11(A)は本発明の一実施形態に係る車両周囲監視装置の車両始動直後の表示画面の例を示す図であり、図11(B)は本発明の一実施形態に係る車両周囲監視装置の車両始動から所定時間経過後の表示画面の例を示す図であり、図11(C)は本発明の一実施形態の比較例に係る車両周囲監視装置の車両始動直後の表示画面の例を示す図である。FIG. 11A is a diagram showing an example of a display screen immediately after the vehicle starts of the vehicle surrounding monitoring apparatus according to the embodiment of the present invention, and FIG. 11B is a vehicle surrounding monitoring according to the embodiment of the present invention. It is a figure which shows the example of the display screen after predetermined time progress from the vehicle start of an apparatus, FIG.11 (C) is an example of the display screen immediately after the vehicle start of the vehicle periphery monitoring apparatus which concerns on the comparative example of one Embodiment of this invention. FIG. 本発明の一実施形態に係る車両周囲監視装置の後方カメラの異常時の表示画面の例を示す図である。It is a figure which shows the example of the display screen at the time of abnormality of the rear camera of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る車両周囲監視装置の前方カメラの異常時の表示画面の例を示す図である。It is a figure which shows the example of the display screen at the time of abnormality of the front camera of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る車両周囲監視装置の左側方カメラの異常時の表示画面の例を示す図である。It is a figure which shows the example of the display screen at the time of abnormality of the left side camera of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る車両周囲監視装置の表示画面の車両アイコンVPの表示状態の例を示す図である。It is a figure which shows the example of the display state of the vehicle icon VP of the display screen of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention.

符号の説明Explanation of symbols

10 車両周囲監視装置
11 外界カメラ
11a 前方カメラ(撮像装置)
11b 後方カメラ(撮像装置)
11c 左側方カメラ(撮像装置)
11d 右側方カメラ(撮像装置)
13 車両状態センサ
19 表示装置
20 画像処理装置
42 画像処理部
43 異常検知部(異常判定手段)
45 表示制御部(選択手段、表示制御手段)
10 Vehicle Perimeter Monitoring Device 11 External Camera 11a Front Camera (Imaging Device)
11b Rear camera (imaging device)
11c Left-side camera (imaging device)
11d Right-side camera (imaging device)
13 Vehicle state sensor 19 Display device 20 Image processing device 42 Image processing unit 43 Abnormality detection unit (abnormality determination means)
45 Display control unit (selection means, display control means)

Claims (2)

自車両の外界周辺領域を撮像して画像を出力する複数の撮像装置と、
車室内に配置された表示装置と、
前記複数の撮像装置から出力される前記画像のうちから前記表示装置に表示される前記画像を選択する選択手段と、
前記撮像装置の異常状態の有無を判定する異常判定手段と、
前記複数の撮像装置から出力される前記画像を、前記選択手段による選択に応じて切り換え可能に、前記表示装置に表示する表示制御手段とを備え、
前記表示制御手段は、前記異常判定手段により異常状態であると判定された前記撮像装置に係る前記画像を前記表示装置に表示することを禁止することを特徴とする車両周囲監視装置。
A plurality of imaging devices for imaging an external peripheral area of the host vehicle and outputting an image;
A display device disposed in the passenger compartment;
Selecting means for selecting the image displayed on the display device from the images output from the plurality of imaging devices;
An abnormality determining means for determining the presence or absence of an abnormal state of the imaging device;
Display control means for displaying the images output from the plurality of imaging devices on the display device so as to be switchable according to selection by the selection means;
The vehicle surroundings monitoring device, wherein the display control unit prohibits the display device from displaying the image related to the imaging device determined to be in an abnormal state by the abnormality determination unit.
前記表示制御手段は、前記異常判定手段により前記撮像装置が異常状態であると判定された場合に、前記異常状態の発生を報知するメッセージを前記表示装置に表示することを特徴とする請求項1に記載の車両周囲監視装置。 The display control means displays a message notifying the occurrence of the abnormal state on the display device when the abnormality determining means determines that the imaging device is in an abnormal state. The vehicle surrounding monitoring device according to claim 1.
JP2008236525A 2008-09-16 2008-09-16 Car-periphery monitoring device Pending JP2010074260A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008236525A JP2010074260A (en) 2008-09-16 2008-09-16 Car-periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008236525A JP2010074260A (en) 2008-09-16 2008-09-16 Car-periphery monitoring device

Publications (1)

Publication Number Publication Date
JP2010074260A true JP2010074260A (en) 2010-04-02

Family

ID=42205678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008236525A Pending JP2010074260A (en) 2008-09-16 2008-09-16 Car-periphery monitoring device

Country Status (1)

Country Link
JP (1) JP2010074260A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012201175A (en) * 2011-03-24 2012-10-22 Honda Access Corp Display device for rear camera
JP2014209713A (en) * 2013-03-28 2014-11-06 アイシン精機株式会社 Periphery monitoring device and program
JP2015074318A (en) * 2013-10-08 2015-04-20 株式会社東海理化電機製作所 Three-dimensional object confirmation device and three-dimensional object confirmation program
CN111216634A (en) * 2018-11-26 2020-06-02 本田技研工业株式会社 Vehicle-mounted device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012201175A (en) * 2011-03-24 2012-10-22 Honda Access Corp Display device for rear camera
JP2014209713A (en) * 2013-03-28 2014-11-06 アイシン精機株式会社 Periphery monitoring device and program
US9956913B2 (en) 2013-03-28 2018-05-01 Aisin Seiki Kabushiki Kaisha Surroundings-monitoring device and computer program product
US10710504B2 (en) 2013-03-28 2020-07-14 Aisin Seiki Kabushiki Kaisha Surroundings-monitoring device and computer program product
JP2015074318A (en) * 2013-10-08 2015-04-20 株式会社東海理化電機製作所 Three-dimensional object confirmation device and three-dimensional object confirmation program
CN111216634A (en) * 2018-11-26 2020-06-02 本田技研工业株式会社 Vehicle-mounted device

Similar Documents

Publication Publication Date Title
JP5420216B2 (en) Vehicle perimeter monitoring device
JP5112998B2 (en) Vehicle perimeter monitoring device
JP5032424B2 (en) Vehicle driving support device
EP2163458B1 (en) Vehicle parking assistance device
JP6011104B2 (en) Visibility support device for vehicle
JP5187179B2 (en) Vehicle periphery monitoring device
JP4302764B2 (en) Vehicle display device and vehicle
JP2010069916A (en) Vehicle maneuver assistance device
JP2018157403A (en) On-vehicle display device, control method for on-vehicle display device, and control program for on-vehicle display device
JP2009078597A (en) Rear side confirmation system
JP2007526162A5 (en)
JP2007519549A (en) Ambient situation presentation system and ambient situation presentation method
US10946800B2 (en) Image display apparatus for displaying surrounding image of vehicle
JP2009006974A (en) Side mirror device and side mirror system
JP2010074260A (en) Car-periphery monitoring device
JP2009284386A (en) Parking support device for vehicle
JP2007022174A (en) On-board display system
WO2020194893A1 (en) Image generation device, camera, display system, and vehicle
JP2012166689A (en) Driving assistance apparatus
JP5144443B2 (en) Vehicle driving support device
JP2010069915A (en) Vehicle surroundings monitoring apparatus
JP6848779B2 (en) Electronic mirror system
JP2016196217A (en) Periphery monitoring device
JP2019176330A (en) Display device
JP2007196709A (en) Side mirror device