JP2005136561A - Vehicle peripheral picture display device - Google Patents

Vehicle peripheral picture display device Download PDF

Info

Publication number
JP2005136561A
JP2005136561A JP2003368557A JP2003368557A JP2005136561A JP 2005136561 A JP2005136561 A JP 2005136561A JP 2003368557 A JP2003368557 A JP 2003368557A JP 2003368557 A JP2003368557 A JP 2003368557A JP 2005136561 A JP2005136561 A JP 2005136561A
Authority
JP
Japan
Prior art keywords
vehicle
driver
image
display device
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003368557A
Other languages
Japanese (ja)
Other versions
JP4222183B2 (en
Inventor
Yuji Ito
裕司 伊藤
Mare Kitagawa
希 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2003368557A priority Critical patent/JP4222183B2/en
Publication of JP2005136561A publication Critical patent/JP2005136561A/en
Application granted granted Critical
Publication of JP4222183B2 publication Critical patent/JP4222183B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To display a picture at the periphery of a vehicle in a state where a driver can instantly recognize a situation at the periphery of the vehicle. <P>SOLUTION: When the direction of the driver's face is detected by a direction detection ECU 9 and the direction is matched with the directions of a driver's seat side mirror 14, a front passenger seat side mirror 13 or a room mirror, it is decided that the driver wants to confirm a peripheral situation in a prescribed direction through the mirrors. A picture processing is performed in a drawing ECU 6 so that pictures of on-vehicle cameras A to G, which are matched with the direction, become larger than the other pictures of on-vehicle cameras A to G, and they are displayed on respective displays 1 and 2. Namely, necessary information is displayed on the displays 1 and 2 by prescribed time in cooperation with a mirror confirmation operation of the driver. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、運転席からの死角位置などの車両周辺画像を車載カメラで撮影し、その車両周辺画像を表示装置に表示することで、ドライバに車両周辺の状況を認識できるようにする車両周辺画像表示装置に関するものである。   The present invention captures a vehicle surrounding image such as a blind spot position from a driver's seat with an in-vehicle camera, and displays the vehicle surrounding image on a display device, thereby enabling a driver to recognize the situation around the vehicle. The present invention relates to a display device.

従来より、ドライバが運転席から視認し難いような死角位置を車載カメラで撮影し、それによって得られた車両周辺画像を車載ＴＶに表示することで、ドライバが車両周辺の状況を認識し易くなるように運転支援を行う方法が提案されている（例えば、特許文献１参照）。この従来の車載ＴＶでの車両周辺画像の表示方法について、図１２を参照して説明する。   Conventionally, a blind spot position that is difficult for the driver to visually recognize from the driver's seat is photographed by the in-vehicle camera, and the vehicle periphery image obtained thereby is displayed on the in-vehicle TV, so that the driver can easily recognize the situation around the vehicle. Thus, a method for performing driving assistance has been proposed (see, for example, Patent Document 1). A method of displaying a vehicle periphery image on this conventional in-vehicle TV will be described with reference to FIG.

図１２は、従来の方法で車両周辺画像を表示したときの車載ＴＶ画面を示したものである。車両には、図１２に示されるように、車両を中心とした各領域Ａ〜Ｇを撮影できるように、それぞれ対応する車載カメラが設置されている。具体的には、車載カメラは、領域Ａである車両左後方、領域Ｂである車両右後方、領域Ｃである車両左前方、領域Ｄである車両右前方、領域Ｅである車両前方右側、領域Ｆである車両前方左側、領域Ｇである車両後方に設置され、これら各領域Ａ〜Ｇを撮影できる方向に向けられる。
特開平１４−０１９５５６号公報 FIG. 12 shows an in-vehicle TV screen when a vehicle periphery image is displayed by a conventional method. As shown in FIG. 12, the vehicle is provided with a corresponding in-vehicle camera so that each region A to G centered on the vehicle can be photographed. Specifically, the in-vehicle camera includes a vehicle left rear in region A, a vehicle right rear in region B, a vehicle left front in region C, a vehicle right front in region D, a vehicle front right in region E, a region It is installed at the front left side of the vehicle, which is F, and the rear side of the vehicle, which is the region G.
JP-A-14-019556

しかしながら、図１２に示されるような表示形態によれば、例えば、ドライバが後方確認をしたい場合であっても、もしくは、車両左側を確認したい場合であっても、領域Ａ〜Ｇにおいて一定の大きさで画像表示が行なわれることから、ドライバが瞬時に直感的に車両周辺の状況を認識できない可能性がある。   However, according to the display form as shown in FIG. 12, for example, even when the driver wants to confirm the rear side or to confirm the left side of the vehicle, the region A to G has a certain size. Since the image is displayed, there is a possibility that the driver cannot intuitively recognize the situation around the vehicle instantly.

特に、車両左側や右側における領域Ａ〜Ｄの画像は横向きに表示され、車両後方における領域Ｇの画像は上下逆向きに表示されるため、ドライバにとって認識し易い形態で表示を行わないと、好適にドライバの運転支援を行うことができない。   In particular, the images of the areas A to D on the left and right sides of the vehicle are displayed sideways, and the image of the area G on the rear side of the vehicle is displayed upside down. Driver assistance cannot be provided.

また、車室内に複数のディスプレイを搭載することにより、ドライバが瞬時に車両の周辺の状況を認識できるようにすることも考えられるが、その数には限度があり、少ないディスプレイを有効に使って好適に運転支援を行えるようにすることが求められる。   It is also possible to install multiple displays in the passenger compartment so that the driver can instantly recognize the situation around the vehicle, but there is a limit to the number of such displays that can be used effectively. It is required that driving assistance can be suitably performed.

本発明は上記点に鑑みて、ドライバが瞬時に車両周辺の状況を認識できるような形態で車両周辺画像の表示を行える車両周辺画像表示装置を提供することを目的とする。   The present invention has been made in view of the above points, and an object of the present invention is to provide a vehicle periphery image display device capable of displaying a vehicle periphery image in a form in which a driver can instantly recognize the situation around the vehicle.

上記目的を達成するため、請求項１に記載の発明では、ドライバの視線方向もしくは顔の向きを検出するドライバ視認方向検出手段（９〜１１）と、車両に設置され、該車両の周辺の異なる領域における画像を取り込む車載カメラ（Ａ〜Ｊ）と、車載カメラからの映像を画像処理し、画像表示信号を出力する画像処理部（６）と、画像処理部からの画像表示信号に基づき、車両の周辺画像の表示を行う表示器（１、２、１５）とを備えた車両周辺画像表示装置であって、画像処理部は、ドライバ視認方向検出手段からの検出結果を受け取り、その検出結果に基づき、表示器にて、車載カメラが取り込んだ画像のうちドライバ視認方向と一致する部分の画像を他の画像よりも際立つように表示補正を行うようになっていることを特徴としている。   In order to achieve the above object, according to the first aspect of the present invention, the driver visual recognition direction detection means (9 to 11) for detecting the driver's line-of-sight direction or the face direction is installed in the vehicle, and the surroundings of the vehicle are different. On the basis of an on-board camera (A to J) that captures an image in the region, an image processing unit (6) that processes an image from the on-vehicle camera and outputs an image display signal, and an image display signal from the image processing unit The vehicle peripheral image display device includes a display (1, 2, 15) that displays the peripheral image of the vehicle, and the image processing unit receives the detection result from the driver visualizing direction detection means, Based on the display, the display correction is performed so that the image of the portion that matches the driver viewing direction among the images captured by the in-vehicle camera is more prominent than the other images.

このように、ドライバが確認したい方向を検出し、その方向と一致する位置の画像が他の画像よりも際立つように表示することで、ドライバが直感的に車両周辺の状況を認識できるようにすることが可能となる。   In this way, the direction that the driver wants to check is detected, and the image at the position that matches the direction is displayed so that it stands out from the other images, so that the driver can intuitively recognize the situation around the vehicle. It becomes possible.

請求項２に記載の発明では、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが所定時間同じであった場合に、表示補正を行うようになっていることを特徴としている。このようにすれば、ドライバが瞬間的に、もしくは偶然的に運転席ドアミラーや助手席ドアミラーもしくはルームミラー等の方向を見たときにまで、画像補正がなされることを防止することができる。   In the second aspect of the invention, the image processing unit performs display correction when the line-of-sight direction or the face direction detected by the driver visual recognition direction detection unit is the same for a predetermined time. It is a feature. In this way, it is possible to prevent the image from being corrected until the driver sees the direction of the driver's seat door mirror, the passenger seat door mirror, the room mirror, etc. instantaneously or accidentally.

請求項３に記載の発明では、車載カメラは、車両に設置される運転席ドアミラーの死角を含む画像を取り込むようになっており、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが、所定時間、車両に設置される運転席ドアミラーの方向であった場合に、表示補正を行うようになっていることを特徴としている。このように、運転席ドアミラーの方向とドライバの視線方向もしくは顔の向きが一致した場合に、上記表示補正を行うことができる。   In the invention according to claim 3, the in-vehicle camera captures an image including a blind spot of a driver's seat door mirror installed in the vehicle, and the image processing unit detects the line-of-sight direction detected by the driver visual recognition direction detection unit. Alternatively, the display correction is performed when the face direction is the direction of the driver's seat door mirror installed in the vehicle for a predetermined time. Thus, the display correction can be performed when the direction of the driver's seat door mirror matches the driver's line-of-sight direction or the face direction.

この場合、請求項４に示されるように、表示器が車両に複数個搭載されている場合において、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが運転席ドアミラーの方向であった場合に、複数の表示器のうち、運転席ドアミラーからのドライバの視線の動線距離が最も短い表示器（１５）、もしくは運転席ドアミラーへの視線の動線上に位置する表示器（１５）に、運転席ドアミラーの死角を含む画像を表示させることができる。   In this case, as shown in claim 4, when a plurality of indicators are mounted on the vehicle, the image processing unit is configured such that the line-of-sight direction or the face direction detected by the driver visualizing direction detecting means is a driver's seat door mirror. Of the plurality of indicators, the indicator (15) having the shortest flow line distance of the driver's line of sight from the driver's door mirror, or the display located on the line of sight line of sight to the driver's door mirror An image including the blind spot of the driver's seat door mirror can be displayed on the device (15).

このようにすれば、よりドライバの視線の移動距離を少なくすることが可能となり、よりドライバによるディスプレイの確認を容易にすることが可能となる。   In this way, the movement distance of the driver's line of sight can be further reduced, and the display can be more easily confirmed by the driver.

また、請求項５に記載の発明では、車載カメラは、車両に設置される助手席ドアミラーの死角を含む画像を取り込むようになっており、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが、所定時間、車両に設置される助手席ドアミラーの方向であった場合に、表示補正を行うようになっていることを特徴としている。このように、助手席ドアミラーの方向とドライバの視線方向もしくは顔の向きが一致した場合に、上記表示補正を行うことができる。   In the invention according to claim 5, the in-vehicle camera is adapted to capture an image including the blind spot of the passenger door mirror installed in the vehicle, and the image processing unit is detected by the driver visual recognition direction detecting means. The display correction is performed when the line-of-sight direction or the face direction is the direction of the passenger seat door mirror installed in the vehicle for a predetermined time. As described above, the display correction can be performed when the direction of the passenger's seat door mirror matches the driver's line-of-sight direction or the face direction.

この場合、請求項６に示されるように、表示器が車両に複数個搭載されている場合において、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが助手席ドアミラーの方向であった場合に、複数の表示器のうち、助手席ドアミラーからのドライバの視線の動線距離が最も短い表示器（２）、もしくは助手席ドアミラーへの視線の動線上に位置する表示器（２）に、助手席ドアミラーの死角を含む画像を表示させることができる。このようにしても、制球項４と同様の効果を得ることができる。   In this case, as shown in claim 6, when a plurality of displays are mounted on the vehicle, the image processing unit is configured such that the line-of-sight direction or the face direction detected by the driver visual recognition direction detecting means is a passenger seat door mirror. Of the plurality of indicators, the indicator (2) having the shortest distance of the line of sight of the driver's line of sight from the passenger's seat door mirror, or the display positioned on the line of sight of the line of sight to the passenger's door mirror An image including the blind spot of the passenger door mirror can be displayed on the container (2). Even if it does in this way, the effect similar to the ball control term 4 can be acquired.

請求項７に記載の発明では、車載カメラは、車両の後方の死角を含む画像を取り込むようになっており、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きが、所定時間、車両に設置されるルームミラーの方向であった場合に、表示補正を行うようになっていることを特徴としている。このように、ルームミラーの方向とドライバの視線方向もしくは顔の向きが一致した場合に、上記表示補正を行うことができる。   In the invention according to claim 7, the in-vehicle camera is adapted to capture an image including a blind spot behind the vehicle, and the image processing unit has a line-of-sight direction or a face direction detected by the driver visual recognition direction detecting means. The display correction is performed when the direction is the direction of the room mirror installed in the vehicle for a predetermined time. In this manner, the display correction can be performed when the direction of the rearview mirror matches the line-of-sight direction of the driver or the direction of the face.

この場合、請求項８に示されるように、表示器が車両に複数個搭載されている場合において、画像処理部は、ドライバ視認方向検出手段により検出される視線方向もしくは顔の向きがルームミラーの方向であった場合に、複数の表示器のうち、ルームミラーからのドライバの視線の動線距離が最も短い表示器（１）、もしくはルームミラーへの視線の動線上に位置する表示器（１）に、ルームミラーの死角を含む画像を表示させることもできる。これにより、請求項４と同様の効果を得ることができる。   In this case, as shown in claim 8, in the case where a plurality of displays are mounted on the vehicle, the image processing unit is configured such that the line-of-sight direction or the face direction detected by the driver visual recognition direction detection unit is a room mirror. In the case of the direction, the display (1) with the shortest flow distance of the driver's line of sight from the rearview mirror among the plurality of displays, or the display (1) positioned on the line of sight to the rearview mirror (1) ) Can also display an image including the blind spot of the room mirror. Thereby, the same effect as that of claim 4 can be obtained.

車載カメラが取り込んだ画像のうちドライバ視認方向と一致する位置の画像が他の画像よりも際立たせる手法としては、例えば、請求項９に示されるように、ドライバ視認方向と一致する位置の画像が他の画像よりも大きくなるように、高輝度になるように、あるいは他の部分をマスクする等、目的の画像が視認しやすいように表示補正することが挙げられる。   As a method for making an image at a position matching the driver viewing direction out of images captured by the in-vehicle camera stand out from other images, for example, an image at a position matching the driver viewing direction is shown in claim 9. For example, display correction may be performed so that the target image can be easily seen, such as by making it brighter so as to be larger than other images, or by masking other portions.

なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。   In addition, the code | symbol in the bracket | parenthesis of each said means shows the correspondence with the specific means as described in embodiment mentioned later.

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付してある。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following embodiments, the same or equivalent parts are denoted by the same reference numerals in the drawings.

（第１実施形態）
本発明の一実施形態を適用した車両周辺画像表示装置について説明する。図１に、車両周辺画像表示装置のシステム構成を表したブロック図を示す。この図に示される各ブロック構成は、車両各部に設置されている。 (First embodiment)
A vehicle periphery image display device to which an embodiment of the present invention is applied will be described. FIG. 1 is a block diagram showing the system configuration of the vehicle periphery image display device. Each block configuration shown in this figure is installed in each part of the vehicle.

図１に示されるように、車両には、センターＴＦＴディスプレイ１と助手席ＴＦＴディスプレイ２とが備えられている。これらの配置は、図２のように示され、それぞれ、センターＴＦＴディスプレイ１がインストルメントパネル３の中央、つまり運転席４と助手席５の間の正面に備えられ、助手席ＴＦＴディスプレイ２がインストルメントパネル３の助手席正面に備えられた構成となっている。これらセンターＴＦＴディスプレイ１および助手席ＴＦＴディスプレイ２が本発明における表示器に相当するものである。   As shown in FIG. 1, the vehicle includes a center TFT display 1 and a passenger seat TFT display 2. These arrangements are shown in FIG. 2, and the center TFT display 1 is provided in the center of the instrument panel 3, that is, in front of the driver seat 4 and the passenger seat 5. It is the structure with which the front passenger seat of the ment panel 3 was equipped. The center TFT display 1 and the passenger seat TFT display 2 correspond to the display in the present invention.

さらに、車両には、描画ＥＣＵ６が備えられている。この描画ＥＣＵ６は、例えばＲＯＭ、ＲＡＭ、Ｉ／Ｏ、ＣＰＵ、タイマ等を備えたマイクロコンピュータによって構成され、予めＲＯＭにインストールされたプルグラムに従った画像処理などを行うようになっている。この描画ＥＣＵ６には、ナビゲーションシステム７、ＴＶ受信機８、方向検出ＥＣＵ９、投光ライト１０、顔撮影カメラ１１、さらには車両の死角の画像を取得するための車載カメラＡ〜Ｇなどからの画像入力と、車両の乗員によって駆動される切り替えスイッチ１２からの切り替え信号の入力がなされるようになっている。   Furthermore, the vehicle is provided with a drawing ECU 6. The drawing ECU 6 is composed of, for example, a microcomputer including a ROM, a RAM, an I / O, a CPU, a timer, and the like, and performs image processing according to a program installed in advance in the ROM. The drawing ECU 6 includes images from the navigation system 7, the TV receiver 8, the direction detection ECU 9, the floodlight 10, the face photographing camera 11, and the in-vehicle cameras A to G for acquiring images of the blind spots of the vehicle. An input and a switching signal from the changeover switch 12 driven by a vehicle occupant are made.

ナビゲーションシステム７は、一般的に知られているもので、ドライバに対して道路案内表示を行うものである。このナビゲーションシステム７は、車両が現在走行中の地図情報を含む画像信号を出力する。また、図示しない操作リモコンもしくはセンターＴＦＴディスプレイ１に備えられたタッチパネルタイプの操作スイッチがドライバによって操作されて目的地が設定されると、ナビゲーションシステム７は、上記地図情報にその目的地までの経路案内情報を加えたものを画像信号として出力するようになっている。   The navigation system 7 is generally known and displays road guidance to the driver. The navigation system 7 outputs an image signal including map information on which the vehicle is currently traveling. Further, when a destination is set by operating a touch panel type operation switch (not shown) provided on the operation remote controller or the center TFT display 1 by the driver, the navigation system 7 guides the route information to the destination in the map information. The information added is output as an image signal.

ＴＶ受信機８は、車両に備えられたアンテナを介して受信したＴＶ画像に応じた画像信号を出力するものである。   The TV receiver 8 outputs an image signal corresponding to a TV image received via an antenna provided in the vehicle.

方向検出ＥＣＵ９、投光ライト１０および顔撮影カメラ１１は、ドライバ視認方向検出手段に相当するものである。方向検出ＥＣＵ９は、例えばＲＯＭ、ＲＡＭ、Ｉ／Ｏ、ＣＰＵ、タイマ等を備えたマイクロコンピュータで構成される。この方向検出ＥＣＵ９は、投光ライト１０および顔撮影カメラ１１を制御すると共に、顔投影カメラ１１が撮影した画像に基づいてドライバの視線方向もしくは顔の向き（以下、顔の向き等という）を検出すると共に、その検出結果に応じた要求信号を描画ＥＣＵ６に出力するものである。   The direction detection ECU 9, the floodlight 10, and the face camera 11 correspond to driver visual recognition direction detection means. The direction detection ECU 9 is composed of, for example, a microcomputer including a ROM, a RAM, an I / O, a CPU, a timer, and the like. The direction detection ECU 9 controls the projection light 10 and the face photographing camera 11 and detects the driver's line-of-sight direction or face orientation (hereinafter referred to as face orientation or the like) based on the image photographed by the face projection camera 11. In addition, a request signal corresponding to the detection result is output to the drawing ECU 6.

投光ライト１０および顔撮影カメラ１１は、例えば運転席の正面に互いに隣り合うように配置されるもので投光ライト１０からドライバの顔に向けて例えば赤外線を照射し、その反射光を顔撮影カメラ１１で映像として捕らえるようになっている。そして、その映像データが方向検出ＥＣＵ９に入力され、方向検出ＥＣＵ９にて画像処理することで、ドライバの顔の向き等が検出されるようになっている。   The light projection light 10 and the face photographing camera 11 are arranged so as to be adjacent to each other, for example, in front of the driver's seat, and irradiate, for example, infrared rays from the light projection light 10 toward the driver's face and photograph the reflected light as a face. The camera 11 captures the image. Then, the video data is input to the direction detection ECU 9, and the direction detection ECU 9 performs image processing to detect the orientation of the driver's face.

複数の車載カメラＡ〜Ｇは、ドライバが運転席４から視認し難いような死角位置を撮影するもので、これら各車載カメラＡ〜Ｇが取り込んだ画像が描画ＥＣＵ６に入力されるようになっている。これら各車載カメラＡ〜Ｇは、例えば、図３のように配置される。なお、この図において、各カメラの画像取り込み範囲をハッチングで示してある。   The plurality of in-vehicle cameras A to G capture a blind spot position that is difficult for the driver to visually recognize from the driver's seat 4, and images captured by these in-vehicle cameras A to G are input to the drawing ECU 6. Yes. Each of these vehicle-mounted cameras A to G is arranged as shown in FIG. 3, for example. In this figure, the image capture range of each camera is indicated by hatching.

この図に示されるように、車載カメラＡは、車両左側に備えられた助手席ドアミラー１３において車両後方を向くように設置され、車両左後方の領域のうち、ドライバが助手席ドアミラー１３を使用して視認できる領域に加え、助手席ドアミラー１３を使用しても視認することができない領域の画像まで取り込めるように設置されている。車載カメラＢは、車両右側に備えられた運転席ドアミラー１４において車両後方を向くように設置され、車両右後方の領域のうち、ドライバが助手席ドアミラー１３を使用して視認できる領域に加え、運転席ドアミラー１４を使用しても視認することができない領域の画像まで取り込めるように設置されている。   As shown in this figure, the in-vehicle camera A is installed to face the rear of the vehicle in the passenger seat door mirror 13 provided on the left side of the vehicle, and the driver uses the passenger seat door mirror 13 in the region on the left rear side of the vehicle. In addition to the area that can be visually recognized, an image of an area that cannot be visually recognized even when the passenger door mirror 13 is used is installed. The in-vehicle camera B is installed to face the rear of the vehicle in the driver's seat door mirror 14 provided on the right side of the vehicle, and in addition to the region that the driver can visually recognize using the passenger's seat door mirror 13 in the region on the right rear of the vehicle, It is installed so that an image of an area that cannot be visually recognized even when the seat door mirror 14 is used can be captured.

車載カメラＣは、車両左側に備えられた助手席ドアミラー１３において車両前方を向くように設置され、車両左前方の領域の画像を取り込めるようになっている。車載カメラＤは、車両右側に備えられた運転席ドアミラー１４において車両前方を向くように設置され、車両右前方の領域の画像を取り込めるようになっている。   The in-vehicle camera C is installed so as to face the front of the vehicle in the passenger seat door mirror 13 provided on the left side of the vehicle, and can capture an image of an area on the left front side of the vehicle. The in-vehicle camera D is installed so as to face the front of the vehicle in the driver's seat door mirror 14 provided on the right side of the vehicle, and can capture an image of a region on the right front side of the vehicle.

車載カメラＥ、Ｆは、共に車両前方に設置され、それぞれ、車両前方位置において車両右側と左側の領域の画像を取り込めるようになっている。さらに、車載カメラＧは、車両後方に設置され、車両後方の画像を取り込めるようになっている。   The in-vehicle cameras E and F are both installed in front of the vehicle, and can capture images of the regions on the right and left sides of the vehicle at the vehicle front position, respectively. Furthermore, the in-vehicle camera G is installed on the rear side of the vehicle and can capture an image of the rear side of the vehicle.

切り替えスイッチ１２は、ドライバによって操作されるもので、地図情報画像、ＴＶ画像、車両周辺画像のいずれの画像表示を行うかを選択するためのものである。この切り替えスイッチ１２がドライバの選択に応じて押されると、その切り替え状態に応じた切り替え信号が描画ＥＣＵ６に出力され、その選択されたコンテンツの画像信号が描画ＥＣＵ６から各ＴＦＴディスプレイ１、２に向けて出力されるようになっている。すなわち、地図情報画像が選択された場合にはナビゲーションシステム７からの画像信号、ＴＶ画像が選択された場合にはＴＶ受信機８からの画像信号、車両周辺画像が選択された場合には複数の車載カメラＡ〜Ｇからの画像信号が各ＴＦＴディスプレイ１、２に出力され、これらの画像信号に基づいて画像表示が行われる。なお、この切り替えスイッチ１２は、各ＴＦＴディスプレイ１、２で共通のものであっても、また、それぞれ別々に設けられるものであっても良い。そして、双方のディスプレイ１、２で共に同じ内容の画像を表示する必要はなく、異なる内容の画像を表示することも可能である。   The change-over switch 12 is operated by the driver and is used to select which of the map information image, the TV image, and the vehicle peripheral image is displayed. When the changeover switch 12 is pressed according to the driver's selection, a changeover signal corresponding to the changeover state is output to the drawing ECU 6, and the image signal of the selected content is directed from the drawing ECU6 to each TFT display 1,2. Is output. That is, when a map information image is selected, an image signal from the navigation system 7 is selected. When a TV image is selected, an image signal from the TV receiver 8 is selected. Image signals from the in-vehicle cameras A to G are output to the TFT displays 1 and 2, and image display is performed based on these image signals. The changeover switch 12 may be common to the TFT displays 1 and 2 or may be provided separately. It is not necessary to display images with the same contents on both displays 1 and 2, and it is also possible to display images with different contents.

このように構成された車両周辺画像表示装置では、切り替えスイッチ１２を用いて、ドライバが車両周辺画像を見ることを選択した場合、複数の車載カメラＡ〜Ｇからの画像信号に基づいて各ＴＦＴディスプレイ１、２での画像表示が行われる。   In the vehicle periphery image display device configured as described above, when the driver selects to view the vehicle periphery image using the changeover switch 12, each TFT display is based on the image signals from the plurality of in-vehicle cameras A to G. The image display in 1 and 2 is performed.

そして、そのような選択がなされると、各ＴＦＴディスプレイ１、２にて車載カメラＡ〜Ｇで取り込んだ画像に基づく画像表示が行われる。この様子を図４に示す。   And when such a selection is made, the image display based on the image taken in with vehicle-mounted camera AG by each TFT display 1 and 2 will be performed. This is shown in FIG.

図４に示されるように、各ディスプレイ１、２に車両周辺画像が表示される。このとき、図４の各領域で示したように、車載カメラＡ〜Ｇで取り込んだ各画像が上下同じ向きに揃えられた状態で順につなぎ合わされ、パノラマ画像のように表示される。これにより、車両を中心とした１周分の画像が表示されることになり、ドライバが直感的に車両の周辺の状態を確認することが可能となる。   As shown in FIG. 4, a vehicle peripheral image is displayed on each of the displays 1 and 2. At this time, as shown in each area of FIG. 4, the images captured by the in-vehicle cameras A to G are sequentially connected in a state where they are aligned in the same vertical direction and displayed like a panoramic image. As a result, an image for one round centered on the vehicle is displayed, and the driver can intuitively confirm the state of the periphery of the vehicle.

そして、このような形態で画像表示が行われる車両周辺画像表示装置において、さらに、以下の処理を実行している。図５に、車両周辺画像表示装置における方向検出ＥＣＵ９が実行する処理のフローチャートを示し、この図に基づき車両周辺画像表示装置が行う処理について説明する。   And in the vehicle periphery image display apparatus which displays an image with such a form, the following processes are further performed. FIG. 5 shows a flowchart of processing executed by the direction detection ECU 9 in the vehicle peripheral image display device, and processing performed by the vehicle peripheral image display device will be described based on this diagram.

図５のフローチャートに示される処理は、例えば、図示しない切り替えスイッチによって、複数の車載カメラＡ〜Ｇからの画像信号に基づいて各ＴＦＴディスプレイ１、２での画像表示を行うことが選択された際に実行される。   The process shown in the flowchart of FIG. 5 is performed, for example, when an image display on each of the TFT displays 1 and 2 is selected based on image signals from a plurality of in-vehicle cameras A to G by a changeover switch (not shown). To be executed.

まず、ステップ１００では、カウンタリセットおよびフラグリセット等の一般的な初期化処理が実行される。そして、ステップ１０１に進み、ドライバの視線方向もしくは顔の向きを検出するための処理が実行される。具体的には、方向検出ＥＣＵ９にて、投光ライト１０および顔撮影カメラ１１が制御され、顔撮影カメラ１１が撮影した画像に基づいてドライバの顔の向き等が検出される。   First, in step 100, general initialization processing such as counter reset and flag reset is executed. Then, the process proceeds to step 101 where processing for detecting the driver's line-of-sight direction or face orientation is executed. Specifically, the direction detection ECU 9 controls the projection light 10 and the face photographing camera 11, and detects the face direction of the driver based on the image photographed by the face photographing camera 11.

続く、ステップ１０２では、ステップ１０１における検出結果が運転席ドアミラー１４の方向と一致しているか否かが判定される。すなわち、ドライバの顔の向き等が運転席ドアミラー１４の方向と一致している場合には、ドライバが車両の右側を視認したい場合であると考えられる。このため、ステップ１０２で肯定判定されればステップ１０３に進む。   Subsequently, in step 102, it is determined whether or not the detection result in step 101 matches the direction of the driver's seat door mirror 14. That is, it is considered that the driver wants to visually recognize the right side of the vehicle when the direction of the driver's face and the like match the direction of the driver's seat door mirror 14. For this reason, if an affirmative determination is made in step 102, the process proceeds to step 103.

ステップ１０３では、ドライバの顔の向き等が運転席ドアミラー１４の方向と所定時間一致しているか否かが判定される。この判定は、方向検出ＥＣＵ９に備えられた図示しない第１のタイマの計測時間が所定時間経過しているか否かに基づいて行われる。ここでいう所定時間とは、例えばドライバによるミラーの視認時間とされる０．２〜０．５秒程度に設定される。ただし、この時間には個人差があるため、ドライバによって任意に設定されるようにしても良い。   In step 103, it is determined whether or not the direction of the driver's face and the like match the direction of the driver's seat door mirror 14 for a predetermined time. This determination is made based on whether or not a measurement time of a first timer (not shown) provided in the direction detection ECU 9 has passed a predetermined time. Here, the predetermined time is set to, for example, about 0.2 to 0.5 seconds, which is a mirror viewing time by the driver. However, since this time varies among individuals, it may be arbitrarily set by the driver.

そして、第１のタイマの計測時間が所定時間経過していた場合には、ドライバの顔の向き等が運転席ドアミラー１４の方向に所定時間とどまったものとされる。なお、第１のタイマの計測は、このステップに初めて移行してきたときから開始されるようになっている。このため、このステップに初めて移行してきたときにはまだ所定時間が計測されていないため、ステップ１０１に戻ることになるが、再度ステップ１０２でドライバの顔の向き等が運転席ドアミラー１４の方向と一致していた場合には、ステップ１０３に戻ってくることになり、第１のタイマの計測時間が所定時間経過したか否かが判定されることになる。   Then, if the measurement time of the first timer has elapsed for a predetermined time, the direction of the driver's face is assumed to remain in the direction of the driver's seat door mirror 14 for the predetermined time. Note that the measurement of the first timer is started when the first transition is made to this step. For this reason, since the predetermined time has not been measured yet when the first transition is made to this step, the process returns to step 101. However, in step 102, the face orientation of the driver coincides with the direction of the driver's seat door mirror 14 again. If so, the process returns to step 103, and it is determined whether or not the measurement time of the first timer has passed a predetermined time.

そして、ステップ１０３で肯定判定されればステップ１０４に進み、車載カメラＢ、Ｄ要求が出される。具体的には、車載カメラＡ〜Ｇのうち他の車載カメラＡ、Ｃ、Ｅ〜Ｇの画像よりも際立たせられる対象が車載カメラＢ、Ｄの画像であることを示す要求信号が描画ＥＣＵ６に向けて出力される。この要求信号が出されると、描画ＥＣＵ６内において、車載カメラＢ、Ｄの画像が他の車載カメラＡ、Ｃ、Ｅ〜Ｇの画像よりも際立たせられるように画像処理（表示補正）がなされ、要求信号が出されてから所定時間が経過する間、その画像処理が行われた後の画像が各ディスプレイ１、２に表示される。なお、ここでいう所定時間も任意に設定されるようにすることができるが、例えば、５〜１０秒程度とされる。   If an affirmative determination is made in step 103, the process proceeds to step 104, where the in-vehicle cameras B and D are requested. Specifically, a request signal indicating that the objects that stand out from the images of the other vehicle-mounted cameras A, C, and E-G among the vehicle-mounted cameras A to G are the images of the vehicle-mounted cameras B and D are sent to the drawing ECU 6. Is output. When this request signal is issued, image processing (display correction) is performed in the drawing ECU 6 so that the images of the in-vehicle cameras B and D are more prominent than the images of the other in-vehicle cameras A, C, and E to G. While a predetermined time elapses after the request signal is issued, the image after the image processing is performed is displayed on each of the displays 1 and 2. In addition, although the predetermined time here can also be set arbitrarily, it is, for example, about 5 to 10 seconds.

一方、ステップ１０４で要求信号が出力されると、再びステップ１０１に戻ることになり、顔の向き等が再度検出されることになるが、その検出結果が、ステップ１０２において、運転席ドアミラー１４の方向と一致していなければ、ステップ１０３、１０４には進まずにそのままステップ１０５に進むことになる。この場合、ステップ１０３で開始された第１のタイマの計測がリセットされ、車載カメラＢ、Ｄの画像を他の車載カメラＡ、Ｃ、Ｅ〜Ｇの画像よりも際立たせるという処理を終える。   On the other hand, when the request signal is output in step 104, the process returns to step 101 again, and the face orientation and the like are detected again. If it does not coincide with the direction, the process proceeds directly to step 105 without proceeding to steps 103 and 104. In this case, the measurement of the first timer started in step 103 is reset, and the process of making the images of the in-vehicle cameras B and D stand out from the images of the other in-vehicle cameras A, C, and E to G ends.

次に、ステップ１０５では、ステップ１０１における検出結果が助手席ドアミラー１３の方向と一致しているか否かが判定される。すなわち、ドライバの顔の向き等が助手席ドアミラー１３の方向と一致している場合には、ドライバが車両の左側を視認したい場合であると考えられる。このため、ステップ１０５で肯定判定されればステップ１０６に進む。   Next, in step 105, it is determined whether or not the detection result in step 101 matches the direction of the passenger seat door mirror 13. That is, when the driver's face orientation and the like coincide with the direction of the passenger door mirror 13, it is considered that the driver wants to visually recognize the left side of the vehicle. For this reason, if an affirmative determination is made in step 105, the process proceeds to step 106.

ステップ１０６では、ドライバの顔の向き等が助手席ドアミラー１３の方向と所定時間一致しているか否かが判定される。この判定も、方向検出ＥＣＵ９に備えられた図示しない第２のタイマの計測時間が所定時間経過しているか否かに基づいて行われる。そして、第２のタイマの計測時間が所定時間経過していた場合には、ドライバの顔の向き等が助手席ドアミラー１３の方向に所定時間とどまったものとされる。なお、第２のタイマの計測は、このステップに初めて移行してきたときから開始されるようになっている。このため、このステップに初めて移行してきたときにはまだ所定時間が計測されていないため、ステップ１０１に戻ることになるが、再度ステップ１０５でドライバの顔の向き等が助手席ドアミラー１３の方向と一致していた場合には、ステップ１０６に戻ってくることになり、第２のタイマの計測時間が所定時間経過したか否かが判定されることになる。   In step 106, it is determined whether or not the direction of the driver's face matches the direction of the passenger seat door mirror 13 for a predetermined time. This determination is also made based on whether or not a measurement time of a second timer (not shown) provided in the direction detection ECU 9 has passed a predetermined time. If the measurement time of the second timer has elapsed for a predetermined time, the driver's face orientation and the like remain in the direction of the passenger seat door mirror 13 for the predetermined time. Note that the measurement of the second timer is started from the first transition to this step. For this reason, since the predetermined time has not been measured yet when the process proceeds to this step for the first time, the process returns to step 101. However, in step 105, the orientation of the driver's face coincides with the direction of the passenger door mirror 13 again. If so, the process returns to step 106, and it is determined whether or not the measurement time of the second timer has passed a predetermined time.

そして、ステップ１０６で肯定判定されればステップ１０７に進み、車載カメラＡ、Ｃ要求が出される。具体的には、車載カメラＡ〜Ｇのうち他の車載カメラＢ、Ｄ、Ｅ〜Ｇの画像よりも際立たせられる対象が車載カメラＡ、Ｃの画像であることを意味する要求信号が描画ＥＣＵ６に向けて出力される。この要求信号が出されると、描画ＥＣＵ６内において、車載カメラＡ、Ｃの画像が他の車載カメラＢ、Ｄ、Ｅ〜Ｇの画像よりも際立たせられるように画像処理がなされ、要求信号が出されてから所定時間が経過する間、その画像処理が行われた後の画像が各ディスプレイ１、２に表示される。   If an affirmative determination is made at step 106, the routine proceeds to step 107, where on-vehicle cameras A and C are requested. Specifically, a request signal that means that the targets of the in-vehicle cameras A to G that stand out from the images of the other in-vehicle cameras B, D, and E to G are the images of the in-vehicle cameras A and C are drawn by the drawing ECU 6. Is output toward. When this request signal is issued, image processing is performed in the drawing ECU 6 so that the images of the in-vehicle cameras A and C are more prominent than the images of the other in-vehicle cameras B, D, and E to G, and the request signal is output. While the predetermined time has elapsed since the image was created, the image after the image processing is displayed on each of the displays 1 and 2.

一方、ステップ１０７で要求信号が出されると、再びステップ１０１に戻ることになり、顔の向き等が再度検出されることになるが、その検出結果が、ステップ１０５において、助手席ドアミラー１３の方向と一致していなければ、ステップ１０６、１０７には進まずにそのままステップ１０８に進むことになる。この場合、ステップ１０６で開始された第２のタイマの計測がリセットされ、車載カメラＡ、Ｃの画像を他の車載カメラＢ、Ｄ、Ｅ〜Ｇの画像よりも際立たせるという処理を終える。   On the other hand, when a request signal is issued in step 107, the process returns to step 101 again, and the face orientation and the like are detected again. The detection result is the direction of the passenger door mirror 13 in step 105. If they do not match, the process proceeds to step 108 without proceeding to steps 106 and 107. In this case, the measurement of the second timer started in step 106 is reset, and the process of making the images of the in-vehicle cameras A and C stand out from the images of the other in-vehicle cameras B, D, and E to G ends.

続いて、ステップ１０８では、ステップ１０１における検出結果がルームミラーの方向と一致しているか否かが判定される。すなわち、ドライバの顔の向き等がルームミラーの方向と一致している場合には、ドライバが車両後方を視認したい場合であると考えられる。このため、ステップ１０８で肯定判定されればステップ１０９に進む。   Subsequently, in step 108, it is determined whether or not the detection result in step 101 matches the direction of the room mirror. That is, when the driver's face direction and the like match the direction of the rearview mirror, it is considered that the driver wants to visually recognize the rear of the vehicle. For this reason, if an affirmative determination is made in step 108, the process proceeds to step 109.

ステップ１０９では、ドライバの顔の向き等がルームミラーの方向と所定時間一致しているか否かが判定される。この判定も、方向検出ＥＣＵ９に備えられた図示しない第３のタイマの計測時間が所定時間経過しているか否かに基づいて行われる。そして、第３のタイマの計測時間が所定時間経過していた場合には、ドライバの顔の向き等がルームミラーの方向に所定時間とどまったものとされる。なお、第３のタイマの計測は、このステップに初めて移行してきたときから開始されるようになっている。このため、このステップに初めて移行してきたときにはまだ所定時間が計測されていないため、ステップ１０１に戻ることになるが、再度ステップ１０８でドライバの顔の向き等がルームミラーの方向と一致していた場合には、ステップ１０９に戻ってくることになり、第３のタイマの計測時間が所定時間経過したか否かが判定されることになる。   In step 109, it is determined whether or not the direction of the driver's face matches the direction of the room mirror for a predetermined time. This determination is also made based on whether a measurement time of a third timer (not shown) provided in the direction detection ECU 9 has passed a predetermined time. If the measurement time of the third timer has elapsed for a predetermined time, the driver's face orientation or the like remains in the direction of the room mirror for the predetermined time. Note that the measurement of the third timer is started from the first transition to this step. For this reason, since the predetermined time has not been measured yet when the process proceeds to this step for the first time, the process returns to step 101. However, in step 108, the driver's face orientation, etc. again coincides with the direction of the rearview mirror. In this case, the process returns to step 109, and it is determined whether or not the measurement time of the third timer has passed a predetermined time.

そして、ステップ１０９で肯定判定されればステップ１１０に進み、車載カメラＧ要求が出される。具体的には、車載カメラＡ〜Ｇのうち他の車載カメラＡ〜Ｆの画像よりも際立たせられる対象が車載カメラＧの画像であることを意味する要求信号が出力される。この要求信号が出されると、描画ＥＣＵ６内において、車載カメラＧの画像が他の車載カメラＡ〜Ｆの画像よりも際立たせられるように画像処理がなされ、所定時間が経過する間、その画像処理が行われた後の画像が各ディスプレイ１、２に表示される。   If an affirmative determination is made in step 109, the process proceeds to step 110, and an in-vehicle camera G request is issued. Specifically, a request signal indicating that an object of the in-vehicle cameras A to G that is more conspicuous than the images of the other in-vehicle cameras A to F is an image of the in-vehicle camera G is output. When this request signal is issued, the image processing is performed in the drawing ECU 6 so that the image of the in-vehicle camera G is more prominent than the images of the other in-vehicle cameras A to F. The image after the above is displayed on each of the displays 1 and 2.

一方、ステップ１１０で要求信号が出力されると、再びステップ１０１に戻ることになり、顔の向き等が再度検出されることになるが、その検出結果が、ステップ１０８において、ルームミラーの方向と一致していなければ、ステップ１０９、１１０には進まずにそのままステップ１０８に進むことになる。この場合、ステップ１０９で開始された第３のタイマの計測がリセットされ車載カメラＧの画像を他の車載カメラＡ〜Ｆの画像よりも際立たせるという処理を終える。   On the other hand, when a request signal is output in step 110, the process returns to step 101 again, and the orientation of the face and the like is detected again. If they do not match, the process proceeds to step 108 without proceeding to steps 109 and 110. In this case, the measurement of the third timer started in step 109 is reset, and the process of making the image of the in-vehicle camera G stand out from the images of the other in-vehicle cameras AF is finished.

なお、上記説明では、ステップ１０３、１０６、１０９でスタートされたタイマカウントが、ステップ１０２、１０５、１０８で否定判定された場合にリセットされるとしている。しかしながら、ドライバの顔の向きなどが助手席ドアミラー１３側から運転席ドアミラー１４側に切り替わった場合には、ステップ１０２で肯定判定され、ステップ１０５まで進まないことになる。したがって、このように他のステップでドライバの顔の向き等が他のミラーの方向と一致すると肯定判定された場合にも、各タイマカウントがリセットされるようになっている。   In the above description, the timer count started in steps 103, 106, and 109 is reset when a negative determination is made in steps 102, 105, and 108. However, when the driver's face orientation or the like is switched from the passenger seat door mirror 13 side to the driver seat door mirror 14 side, an affirmative determination is made in step 102 and the process does not proceed to step 105. Therefore, each timer count is reset even when an affirmative determination is made in this other step that the driver's face orientation or the like matches the direction of the other mirror.

以上説明したように、本実施形態では、方向検出ＥＣＵ９にてドライバの顔の向き等を検出し、その向きと運転席ドアミラー１４、助手席ドアミラー１３もしくはルームミラーの方向とが一致していた場合に、ドライバがそれらのミラーを通じて所定の方向の周辺状況を確認したいものであると判定している。そして、ドライバが確認したい方向が分かった場合には、その方向と一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立つように、描画ＥＣＵ６にて画像処理を行って各ディスプレイ１、２に表示されるようにしている。つまり、ドライバのミラー確認動作と連動して必要な情報をディスプレイ１、２に所定時間表示するようにしている。   As described above, in the present embodiment, the direction detection ECU 9 detects the direction of the driver's face and the direction matches the direction of the driver's seat door mirror 14, the passenger's seat door mirror 13, or the room mirror. Furthermore, it is determined that the driver wants to check the surrounding situation in a predetermined direction through those mirrors. When the direction that the driver wants to confirm is known, the drawing ECU 6 performs image processing so that the images of the in-vehicle cameras A to G that match the direction stand out from the images of the other in-vehicle cameras A to G. Are displayed on the respective displays 1 and 2. That is, necessary information is displayed on the displays 1 and 2 for a predetermined time in conjunction with the mirror confirmation operation of the driver.

例えば、描画ＥＣＵ６によって画像処理が行われた後における各ディスプレイ１、２での画像表示の様子は、図６のように表される。この図は、図５に示すステップ１０７において、車載カメラＡ、Ｃ要求を示す要求信号が出力された場合の表示内容を示したものである。この図に示されるように、車載カメラＡ、Ｃ要求を示す要求信号が出力された場合には、車両の右側に相当する車載カメラＡ、Ｃの画像が図４に示される場合よりも大きくされ、他の画像よりも大きくなって際立つようにされる。   For example, the state of image display on each of the displays 1 and 2 after the image processing is performed by the drawing ECU 6 is expressed as shown in FIG. This figure shows the display contents when a request signal indicating the in-vehicle camera A, C request is output in step 107 shown in FIG. As shown in this figure, when a request signal indicating a request for in-vehicle cameras A and C is output, the images of in-vehicle cameras A and C corresponding to the right side of the vehicle are made larger than in the case shown in FIG. , Stand out to be larger than other images.

このように、ドライバが確認したい方向を検出し、その方向と一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立つように表示することで、ドライバが直感的に車両周辺の状況を認識できるようにすることが可能となる。また、時分割で車載カメラＡ〜Ｇを切り替えるようなシステム、あるいはスイッチで切り替えるシステムのような手動操作が不要であるため、煩わしさが無いという効果もある。   In this way, the driver can intuitively detect the direction that the driver wants to check, and display the images of the in-vehicle cameras A to G that match the direction so that they stand out from the images of the other in-vehicle cameras A to G. It becomes possible to recognize the situation around the vehicle. Moreover, since manual operation like the system which switches vehicle-mounted camera AG by time division, or the system switched with a switch is unnecessary, there also exists an effect that there is no troublesomeness.

さらに、本実施形態では、ドライバが確認したい方向が検出されたのち、その状態が所定時間継続した場合に、その方向に一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立つように表示させるようにしている。このため、ドライバが瞬間的に、もしくは偶然的に運転席ドアミラー１４や助手席ドアミラー１３もしくはルームミラーの方向を見たときにまで、上記のような処理がなされることを防止することができる。   Furthermore, in this embodiment, after the direction that the driver wants to confirm is detected, when the state continues for a predetermined time, the images of the in-vehicle cameras A to G that match the direction are the images of the other in-vehicle cameras A to G. It is made to display so that it may stand out more. For this reason, it is possible to prevent the above processing from being performed until the driver sees the direction of the driver's seat door mirror 14, the passenger's seat door mirror 13, or the room mirror instantaneously or accidentally.

（第２実施形態）
本発明の第２実施形態について説明する。本実施形態では、図１〜図３に示す車両周辺画像表示装置の構成について、さらに、図５に示した車両周辺画像表示装置が行う処理については第１実施形態と同様であり、各ディスプレイ１、２の画像表示内容のみが第１実施形態と異なるものであるため、ここでは異なる部分についてのみ説明する。 (Second Embodiment)
A second embodiment of the present invention will be described. In the present embodiment, the configuration of the vehicle surrounding image display device shown in FIGS. 1 to 3 is the same as that of the first embodiment with respect to the processing performed by the vehicle surrounding image display device shown in FIG. Since only the image display contents of 2 are different from those of the first embodiment, only different parts will be described here.

図７は、本実施形態における各ディスプレイ１、２の画像表示内容を示したものである。この図は、図５に示すステップ１０７において、車載カメラＡ、Ｃ要求を示す要求信号が出力された場合の表示内容を示したものである。車載カメラＡ、Ｃ要求を示す要求信号が出力される前には、各ディスプレイ１、２では、従来のような図１２に示される画像表示が行われるようになっている。   FIG. 7 shows the image display contents of the displays 1 and 2 in the present embodiment. This figure shows the display contents when a request signal indicating the in-vehicle camera A, C request is output in step 107 shown in FIG. Before the request signals indicating the in-vehicle cameras A and C are output, each display 1 and 2 displays the image as shown in FIG.

そして、車載カメラＡ、Ｃ要求を示す要求信号が出力されると、車両の右側に相当する車載カメラＡ、Ｃの画像が図１２に示される場合よりも大きくされ、他の画像よりも大きくなって際立つようにされる。   And when the request signal which shows vehicle-mounted camera A and C request | requirement is output, the image of vehicle-mounted camera A and C equivalent to the right side of a vehicle will become larger than the case where it shows in FIG. 12, and will become larger than another image. To stand out.

このようにすれば、車両を中心として、車載カメラＡ〜Ｄの画像が横向きに表示され、また、車載カメラＧの画像が下向きに表示されていても、ドライバが確認したい方向と一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立つように表示される。これにより、ドライバが直感的に車両周辺の状況を認識できるようにすることが可能となる。   In this way, even if the images of the in-vehicle cameras A to D are displayed sideways with the vehicle at the center, and the image of the in-vehicle camera G is displayed downward, the in-vehicle camera matches the direction that the driver wants to check. The images of A to G are displayed so as to stand out from the images of the other in-vehicle cameras A to G. As a result, the driver can intuitively recognize the situation around the vehicle.

（第３実施形態）
本発明の第３実施形態について説明する。本実施形態も、図１〜図３に示す車両周辺画像表示装置の構成について、さらには、図５に示した車両周辺画像表示装置が行う処理については第１実施形態と同様であり、各ディスプレイ１、２の画像表示内容のみが第１実施形態と異なるものであるため、ここでは異なる部分についてのみ説明する。 (Third embodiment)
A third embodiment of the present invention will be described. In this embodiment, the configuration of the vehicle periphery image display device shown in FIGS. 1 to 3 and the processing performed by the vehicle periphery image display device shown in FIG. 5 are the same as those in the first embodiment. Since only the image display contents of 1 and 2 are different from those of the first embodiment, only different parts will be described here.

図８は、本実施形態における各ディスプレイ１、２の画像表示内容を示したものである。この図は、図５に示すステップ１０７において、車載カメラＡ、Ｃ要求を示す要求信号が出力された場合の表示内容を示したものである。車載カメラＡ、Ｃ要求を示す要求信号が出力される前には、各ディスプレイ１、２では、従来のような図１２に示される画像表示が行われるようになっている。   FIG. 8 shows image display contents of the displays 1 and 2 in the present embodiment. This figure shows the display contents when a request signal indicating the in-vehicle camera A, C request is output in step 107 shown in FIG. Before the request signals indicating the in-vehicle cameras A and C are output, each display 1 and 2 displays the image as shown in FIG.

そして、車載カメラＡ、Ｃ要求を示す要求信号が出力されると、車両の右側に相当する車載カメラＡ、Ｃの画像が図１２に示される画像の中央部にクローズアップされて表示され、他の画像よりも大きくなって際立つようにされる。   And when the request signal which shows vehicle-mounted camera A and C request | requirement is output, the image of vehicle-mounted camera A and C equivalent to the right side of a vehicle will be displayed close-up by the center part of the image shown by FIG. It will be larger than the image and will stand out.

このようにしても、ドライバが確認したい方向と一致する車載カメラＡ〜Ｇの画像が他の車載カメラＡ〜Ｇの画像よりも際立ち、ドライバが直感的に車両周辺の状況を認識できるようにすることが可能となる。   Even in this case, the images of the in-vehicle cameras A to G that match the direction that the driver wants to check stand out from the images of the other in-vehicle cameras A to G, and the driver can intuitively recognize the situation around the vehicle. It becomes possible.

（第４実施形態）
本発明の第４実施形態について説明する。図９は、本実施形態におけるディスプレイの配置を示した図である。本実施形態では、図１、図２に示したセンターＴＦＴディスプレイ１と助手席ＴＦＴディスプレイ２の他にもディスプレイが配置されている点が第１〜第３実施形態と異なる。なお、その他の点に関しては、本実施形態と第１〜第３実施形態とは同様である。 (Fourth embodiment)
A fourth embodiment of the present invention will be described. FIG. 9 is a diagram showing the arrangement of the display in the present embodiment. This embodiment is different from the first to third embodiments in that a display is arranged in addition to the center TFT display 1 and the passenger seat TFT display 2 shown in FIGS. In other respects, the present embodiment and the first to third embodiments are the same.

図９に示されるように、本実施形態では、運転席の正面に配置されるメータ内にもディスプレイが配置されている。これにより、運転席ドアミラー１４の近傍にはメータ内のディスプレイ、助手席ドアミラー１３の近傍には助手席ＴＦＴディスプレイ２、ルームミラーの近傍にはセンターＴＦＴディスプレイ１が配置された構成となる。   As shown in FIG. 9, in this embodiment, a display is also arranged in a meter arranged in front of the driver's seat. As a result, a display in the meter is disposed in the vicinity of the driver's seat door mirror 14, a passenger's seat TFT display 2 is disposed in the vicinity of the passenger seat door mirror 13, and a center TFT display 1 is disposed in the vicinity of the room mirror.

このように各ミラーそれぞれの近傍にディスプレイ１、２、１５が配置されるような場合には、ドライバの視認したい方向と一致するディスプレイ１、２、１５のみに、車両周辺の画像が表示されるようにすることも可能である。   When the displays 1, 2, and 15 are arranged in the vicinity of the respective mirrors in this way, images around the vehicle are displayed only on the displays 1, 2, and 15 that match the direction that the driver wants to view. It is also possible to do so.

すなわち、図５のフローチャートにおけるステップ１０４で車載カメラＢ、Ｄ要求がセットされた場合には、ドライバの顔の向き等は助手席ドアミラー１３の方向を向いていることになる。このような場合、ドライバの視線の移動方向に近いディスプレイ、あるいは、助手席ドアミラー１３への視線の動線上に位置しているディスプレイに車両の周辺画像を表示した方が、ディスプレイまでの視線の動線が短くなり、ドライバによるディスプレイの確認が容易となる。このため、このような場合には、助手席ＴＦＴディスプレイ２により、車両の左側に相当する車載カメラＢ、Ｄの画像が他の車載カメラＡ、Ｃ、Ｅ〜Ｇの画像よりも大きくなって際立つようにされるようにすることで、よりドライバによる視認し易さの向上を図ることが可能となる。   That is, when the in-vehicle cameras B and D requests are set in step 104 in the flowchart of FIG. 5, the driver's face orientation and the like are directed toward the passenger seat door mirror 13. In such a case, the movement of the line of sight to the display is better when the peripheral image of the vehicle is displayed on the display close to the movement direction of the line of sight of the driver or the display positioned on the line of sight of the passenger seat door mirror 13. The line becomes shorter and the driver can easily check the display. For this reason, in such a case, the passenger seat TFT display 2 stands out because the images of the in-vehicle cameras B and D corresponding to the left side of the vehicle are larger than the images of the other in-vehicle cameras A, C, and E to G. By doing so, it becomes possible to further improve the ease of visual recognition by the driver.

また、図５のステップ１０７で車載カメラＡ、Ｃ要求がセットされた場合や、ステップ１１０で車載カメラＧ要求がセットされた場合も上記と同様である。つまり、前者の場合には、メータ内のディスプレイ１５に車載カメラＡ、Ｃの画像が他の車載カメラＢ、Ｄ、Ｅ〜Ｇの画像よりも際立つように表示され、後者の場合には、センターＴＦＴディスプレイ１に車載カメラＧの画像が他の車載カメラＡ〜Ｆの画像よりも際立つように表示される。   The same applies to the case where the in-vehicle cameras A and C requests are set in step 107 in FIG. 5 and the in-vehicle camera G request is set in step 110. That is, in the former case, the images of the in-vehicle cameras A and C are displayed on the display 15 in the meter so that they stand out from the images of the other in-vehicle cameras B, D, and E to G. The image of the in-vehicle camera G is displayed on the TFT display 1 so as to stand out from the images of the other in-vehicle cameras AF.

以上のように、本実施形態によれば、よりドライバの視線の移動距離を少なくすることが可能となり、よりドライバによるディスプレイの確認を容易にすることが可能となる。   As described above, according to the present embodiment, the movement distance of the driver's line of sight can be further reduced, and the display can be more easily confirmed by the driver.

（第５実施形態）
本発明の第５実施形態について説明する。本実施形態では、第１〜第４実施形態に対して車載カメラの数を増やし、カメラによる死角が車両を中心とした３６０度すべてにおいて無くなるようにしたものである。 (Fifth embodiment)
A fifth embodiment of the present invention will be described. In the present embodiment, the number of in-vehicle cameras is increased compared to the first to fourth embodiments so that the blind spots by the cameras disappear at all 360 degrees centered on the vehicle.

図１０は、本実施形態における車載カメラＡ〜Ｊの配置を示したものである。本実施形態では、図３に示した車載カメラＡ〜Ｇに加えて、車両前方の画像を取り込むための車載カメラＨと、車両左側の画像を取り込むための車載カメラＩおよび車両右側の画像を取り込むための車載カメラＪが備えられている。   FIG. 10 shows the arrangement of the in-vehicle cameras A to J in the present embodiment. In the present embodiment, in addition to the in-vehicle cameras A to G shown in FIG. 3, an in-vehicle camera H for capturing an image ahead of the vehicle, an in-vehicle camera I for capturing an image on the left side of the vehicle, and an image on the right side of the vehicle. An in-vehicle camera J is provided.

このように配置された複数の車載カメラＡ〜Ｊが取り込んだ画像を用いて、完全に車両を中心とした３６０度の周辺画像を見ることができるパノラマ画像を作り出すことができることが知られているが、その場合においても、例えば図１１に示されるように、パノラマ画像の一部を拡大表示することも可能である。   It is known that a panoramic image can be created by using images taken by a plurality of on-vehicle cameras A to J arranged in this way so that a 360-degree peripheral image centered on the vehicle can be seen completely. However, even in that case, a part of the panoramic image can be enlarged and displayed as shown in FIG. 11, for example.

（他の実施形態）
上記各実施形態では、描画ＥＣＵ６は、方向検出ＥＣＵ９からの検出結果を受け取り、その検出結果に基づき、ディスプレイにて、複数の車載カメラＡ〜Ｇのうちドライバ視認方向と一致するものが取り込んだ画像を他の車載カメラで取り込んだ画像よりも大きくなるように表示補正を行っている。しかしながら、ドライバ視認方向と一致する車載カメラが取り込んだ画像を他の車載カメラで取り込んだ画像よりも際立たせるために、他の方法を用いることも可能である。例えば、ドライバ視認方向と一致する車載カメラが取り込んだ画像のみが通常通り表示され、他の車載カメラが取り込んだ画像表示が薄くなる、もしくは暗くなるようにすることも可能である。また、その車載カメラが取り込んだ画像のみが全画面表示されるようにすることも可能である。 (Other embodiments)
In each of the embodiments described above, the drawing ECU 6 receives the detection result from the direction detection ECU 9, and based on the detection result, an image captured by the display that matches the driver viewing direction among the plurality of in-vehicle cameras A to G is captured. Is corrected so that it becomes larger than the image captured by other in-vehicle cameras. However, other methods can be used to make the image captured by the in-vehicle camera that matches the driver viewing direction stand out from the image captured by the other in-vehicle camera. For example, it is possible to display only the image captured by the in-vehicle camera that matches the driver viewing direction as usual, and make the image display captured by the other in-vehicle camera lighter or darker. It is also possible to display only the image captured by the in-vehicle camera in full screen.

また、上記各実施形態では、複数の車載カメラが図３もしくは図１０に示されるように配置される場合について説明したが、車載カメラの配置および個数はこれに限定するものではない。さらに、車載カメラの種類についても限定するものではない。例えば、魚眼レンズなどで広域画像をとらえ、画像補正する等の方法を用いることも可能である。   Moreover, although each said embodiment demonstrated the case where a several vehicle-mounted camera is arrange | positioned as FIG. 3 or FIG. 10 shows, arrangement | positioning and the number of vehicle-mounted cameras are not limited to this. Furthermore, it does not limit about the kind of vehicle-mounted camera. For example, it is possible to use a method such as capturing a wide-area image with a fisheye lens or the like and correcting the image.

そして、各ディスプレイ１、２、１５等の表示器の場所についても、上記各実施形態に示したものに限定されるものではなく、表示器の種類についても限定されるものではない。例えば、ＨＵＤ（ヘッドアップディスプレイ）等を表示器として用いることも可能である。   Further, the locations of the displays such as the displays 1, 2, 15 are not limited to those shown in the above embodiments, and the types of the displays are not limited. For example, a HUD (head-up display) or the like can be used as a display.

なお、各図中に示したステップは、各種処理を実行する手段に対応するものである。   The steps shown in each figure correspond to means for executing various processes.

本発明の第１実施形態における車両周辺画像表示装置のブロック構成を示す図である。It is a figure which shows the block configuration of the vehicle periphery image display apparatus in 1st Embodiment of this invention. 図１におけるセンターＴＦＴディスプレイと助手席ＴＦＴディスプレイの配置を示した模式図である。It is the schematic diagram which showed arrangement | positioning of the center TFT display and passenger seat TFT display in FIG. 図１における各車載カメラの配置を示した模式図である。It is the schematic diagram which showed arrangement | positioning of each vehicle-mounted camera in FIG. 図１に示す車両周辺画像表示装置による画像表示の様子を示した模式図である。It is the schematic diagram which showed the mode of the image display by the vehicle periphery image display apparatus shown in FIG. 図１に示す車両周辺画像表示装置における描画ＥＣＵ６が実行する処理のフローチャートである。It is a flowchart of the process which drawing ECU6 in the vehicle periphery image display apparatus shown in FIG. 1 performs. 画像処理が行われた後における各ディスプレイでの画像表示の様子を示した模式図である。It is the schematic diagram which showed the mode of the image display on each display after image processing was performed. 本発明の第２実施形態における車両周辺画像表示装置による画像表示の様子を示した模式図である。It is the schematic diagram which showed the mode of the image display by the vehicle periphery image display apparatus in 2nd Embodiment of this invention. 本発明の第３実施形態における車両周辺画像表示装置による画像表示の様子を示した模式図である。It is the schematic diagram which showed the mode of the image display by the vehicle periphery image display apparatus in 3rd Embodiment of this invention. 本発明の第４実施形態における車両周辺画像表示装置のディスプレイの配置を示した模式図である。It is the schematic diagram which showed arrangement | positioning of the display of the vehicle periphery image display apparatus in 4th Embodiment of this invention. 本発明の第５実施形態における各車載カメラの配置を示した模式図である。It is the schematic diagram which showed arrangement | positioning of each vehicle-mounted camera in 5th Embodiment of this invention. 本発明の第５実施形態における車両周辺画像表示装置による画像表示の様子を示した模式図である。It is the schematic diagram which showed the mode of the image display by the vehicle periphery image display apparatus in 5th Embodiment of this invention. 従来の車両周辺画像表示装置による画像表示の様子を示した模式図である。It is the schematic diagram which showed the mode of the image display by the conventional vehicle periphery image display apparatus.

符号の説明Explanation of symbols

１…センターＴＦＴディスプレイ、２…助手席ＴＦＴディスプレイ、６…描画ＥＣＵ、
７…ナビゲーションシステム、８…ＴＶ受信機、９…方向検出ＥＣＵ、
１０…投光ライト、１１…顔撮影カメラ、１２…切り替えスイッチ、
１３…助手席ドアミラー、１４…運転席ドアミラー、Ａ〜Ｊ…車載カメラ。
1 ... Center TFT display, 2 ... Passenger seat TFT display, 6 ... Drawing ECU,
7 ... navigation system, 8 ... TV receiver, 9 ... direction detection ECU,
10 ... Floodlight, 11 ... Face camera, 12 ... Changeover switch,
13 ... Passenger seat door mirror, 14 ... Driver seat door mirror, AJ ... In-vehicle camera.

Claims (9)

ドライバの視線方向もしくは顔の向きを検出するドライバ視認方向検出手段（９〜１１）と、
車両に設置され、該車両の周辺の異なる領域における画像を取り込む車載カメラ（Ａ〜Ｊ）と、
前記車載カメラからの映像を画像処理し、画像表示信号を出力する画像処理部（６）と、
前記画像処理部からの画像表示信号に基づき、前記車両の周辺画像の表示を行う表示器（１、２、１５）とを備えた車両周辺画像表示装置であって、
前記画像処理部は、前記ドライバ視認方向検出手段からの検出結果を受け取り、その検出結果に基づき、前記表示器にて、前記車載カメラが取り込んだ画像のうち前記ドライバ視認方向とあらかじめ関連づけられたカメラ画像もしくはその一部を含む画像を他の画像よりも際立つように表示補正を行うようになっていることを特徴とする車両周辺画像表示装置。 Driver visual direction detection means (9 to 11) for detecting the driver's line-of-sight direction or face direction;
An in-vehicle camera (A to J) installed in a vehicle and capturing images in different areas around the vehicle;
An image processing unit (6) that performs image processing on video from the in-vehicle camera and outputs an image display signal;
A vehicle peripheral image display device comprising a display (1, 2, 15) for displaying a peripheral image of the vehicle based on an image display signal from the image processing unit;
The image processing unit receives a detection result from the driver visual recognition direction detection unit, and based on the detection result, a camera associated in advance with the driver visual recognition direction among images captured by the in-vehicle camera on the display device A vehicle peripheral image display device characterized in that display correction is performed so that an image or an image including a part of the image stands out from other images. 前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが所定時間所定の領域にとどまった場合に、前記表示補正を行うようになっていることを特徴とする請求項１に記載の車両周辺画像表示装置。 The image processing unit is configured to perform the display correction when the line-of-sight direction or the face direction detected by the driver visual recognition direction detection unit stays in a predetermined area for a predetermined time. The vehicle periphery image display device according to claim 1. 前記車載カメラは、前記車両に設置される運転席ドアミラーの死角を含む画像を取り込むようになっており、
前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが、前記所定時間、前記車両に設置される運転席ドアミラーの方向であった場合に、前記表示補正を行うようになっていることを特徴とする請求項１または２に記載の車両周辺画像表示装置。 The in-vehicle camera is adapted to capture an image including a blind spot of a driver's seat door mirror installed in the vehicle,
The image processing unit performs the display correction when the line-of-sight direction or the face direction detected by the driver visual recognition direction detection unit is a direction of a driver's seat door mirror installed in the vehicle for the predetermined time. The vehicle periphery image display device according to claim 1, wherein the vehicle periphery image display device is configured to perform the operation. 前記表示器が前記車両に複数個搭載されている場合において、
前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが前記運転席ドアミラーの方向であった場合に、前記複数の表示器のうち、前記運転席ドアミラーからの前記ドライバの視線の動線距離が最も短い表示器（１５）、もしくは前記運転席ドアミラーへの視線の動線上に位置する表示器（１５）に、前記運転席ドアミラーの死角を含む画像を表示させるようになっていることを特徴とする請求項３に記載の車両周辺画像表示装置。 In the case where a plurality of the indicators are mounted on the vehicle,
When the line-of-sight direction or the face direction detected by the driver visual recognition direction detection unit is the direction of the driver's seat door mirror, the image processing unit, from the driver's seat door mirror, out of the plurality of indicators. An image including the blind spot of the driver's seat door mirror is displayed on the indicator (15) having the shortest traffic line distance of the driver's line of sight or the indicator (15) located on the line of sight of the driver's seat door mirror. The vehicle periphery image display device according to claim 3, wherein the vehicle periphery image display device is configured as described above. 前記車載カメラは、前記車両に設置される助手席ドアミラーの死角を含む画像を取り込むようになっており、
前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが、前記所定時間、前記車両に設置される助手席ドアミラーの方向であった場合に、前記表示補正を行うようになっていることを特徴とする請求項１ないし４のいずれか１つに記載の車両周辺画像表示装置。 The in-vehicle camera is adapted to capture an image including a blind spot of a passenger seat door mirror installed in the vehicle,
The image processing unit corrects the display when the line-of-sight direction or the face direction detected by the driver visual recognition direction detection unit is a direction of a passenger seat door mirror installed in the vehicle for the predetermined time. The vehicle periphery image display device according to any one of claims 1 to 4, wherein the vehicle periphery image display device is provided. 前記表示器が前記車両に複数個搭載されている場合において、
前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが前記助手席ドアミラーの方向であった場合に、前記複数の表示器のうち、前記助手席ドアミラーからの前記ドライバの視線の動線距離が最も短い表示器（２）、もしくは前記助手席ドアミラーへの視線の動線上に位置する表示器（２）に、前記助手席ドアミラーの死角を含む画像を表示させるようになっていることを特徴とする請求項５に記載の車両周辺画像表示装置。 In the case where a plurality of the indicators are mounted on the vehicle,
When the line-of-sight direction or the face direction detected by the driver visual recognition direction detecting unit is the direction of the passenger seat door mirror, the image processing unit is connected to the passenger seat door mirror among the plurality of indicators. An image including the blind spot of the passenger seat door mirror is displayed on the display device (2) having the shortest flow line distance of the driver's line of sight or the display device (2) positioned on the flow line of sight line to the passenger seat door mirror. The vehicle periphery image display device according to claim 5, which is configured as described above. 前記車載カメラは、前記車両の後方の死角を含む画像を取り込むようになっており、
前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが、前記所定時間、前記車両に設置されるルームミラーの方向であった場合に、前記表示補正を行うようになっていることを特徴とする請求項１ないし６のいずれか１つに記載の車両周辺画像表示装置。 The in-vehicle camera is adapted to capture an image including a blind spot behind the vehicle,
The image processing unit performs the display correction when the line-of-sight direction or the face direction detected by the driver visual recognition direction detection unit is a direction of a room mirror installed in the vehicle for the predetermined time. The vehicle periphery image display device according to any one of claims 1 to 6, wherein the vehicle periphery image display device is configured as described above. 前記表示器が前記車両に複数個搭載されている場合において、
前記画像処理部は、前記ドライバ視認方向検出手段により検出される前記視線方向もしくは顔の向きが前記ルームミラーの方向であった場合に、前記複数の表示器のうち、前記ルームミラーからの前記ドライバの視線の動線距離が最も短い表示器（１）、もしくは前記ルームミラーへの視線の動線上に位置する表示器（１）に、前記ルームミラーの死角を含む画像を表示させるようになっていることを特徴とする請求項７に記載の車両周辺画像表示装置。 In the case where a plurality of the indicators are mounted on the vehicle,
The image processing unit, when the line-of-sight direction or the face direction detected by the driver visual recognition direction detecting unit is the direction of the room mirror, the driver from the room mirror among the plurality of displays. An image including the blind angle of the room mirror is displayed on the display (1) having the shortest line-of-sight distance or the display (1) positioned on the line of sight to the room mirror. The vehicle periphery image display device according to claim 7, wherein 前記画像処理部は、前記表示器にて、前記車載カメラが取り込んだ画像のうち前記ドライバ視認方向とあらかじめ関連づけられたカメラ画像もしくはその一部を含む画像が他の画像よりも視認しやすくなるように表示補正するようになっていることを特徴とする請求項１ないし８に記載の車両周辺画像表示装置。



The image processing unit may make it easier to visually recognize a camera image or an image including a part of the camera image previously associated with the driver viewing direction among images captured by the in-vehicle camera on the display unit. The vehicle periphery image display device according to claim 1, wherein display correction is performed on the vehicle.



JP2003368557A 2003-10-29 2003-10-29 Vehicle peripheral image display device Expired - Fee Related JP4222183B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003368557A JP4222183B2 (en) 2003-10-29 2003-10-29 Vehicle peripheral image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003368557A JP4222183B2 (en) 2003-10-29 2003-10-29 Vehicle peripheral image display device

Publications (2)

Publication Number Publication Date
JP2005136561A true JP2005136561A (en) 2005-05-26
JP4222183B2 JP4222183B2 (en) 2009-02-12

Family

ID=34646180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003368557A Expired - Fee Related JP4222183B2 (en) 2003-10-29 2003-10-29 Vehicle peripheral image display device

Country Status (1)

Country Link
JP (1) JP4222183B2 (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005124735A1 (en) * 2004-06-18 2005-12-29 Nec Corporation Image display system, image display method, and image display program
JP2006273002A (en) * 2005-03-28 2006-10-12 Nippon Seiki Co Ltd Monitoring device for vehicle
JP2007008401A (en) * 2005-07-04 2007-01-18 Alpine Electronics Inc Device and method for detecting position of image pickup device
JP2007015663A (en) * 2005-07-11 2007-01-25 Toyota Motor Corp Vehicle monitoring system
JP2007050874A (en) * 2005-07-22 2007-03-01 Takao Sato Periphery visually recognizing device for automobile
WO2007058095A1 (en) * 2005-11-17 2007-05-24 Aisin Seiki Kabushiki Kaisha Vehicle surrounding display device
JP2007158578A (en) * 2005-12-02 2007-06-21 National Univ Corp Shizuoka Univ Entire circumference information annularly displaying system
JP2007233795A (en) * 2006-03-02 2007-09-13 Omron Corp Monitoring device and method, recording medium, and program
JP2007237785A (en) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ On-vehicle information presentation system
JP2009023565A (en) * 2007-07-20 2009-02-05 Denso It Laboratory Inc Drive assisting device and drive assisting method
JP2009241689A (en) * 2008-03-31 2009-10-22 Equos Research Co Ltd Display device
JP2009541125A (en) * 2006-06-29 2009-11-26 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング System and method for indicating an image around a car
FR2956364A1 (en) * 2010-02-18 2011-08-19 Peugeot Citroen Automobiles Sa Driver assistance device for handling e.g. car around building site, has processing unit generating image data defining image to be displayed in vehicle, where image data represents part of vehicle based on relative position of head
JP2011184044A (en) * 2011-06-15 2011-09-22 Aisin Seiki Co Ltd Vehicle surroundings display device
JP2014225728A (en) * 2013-05-15 2014-12-04 クラリオン株式会社 Vehicle circumference monitoring device
WO2015159407A1 (en) * 2014-04-17 2015-10-22 三菱電機株式会社 Vehicle-mounted display device
JP2016107740A (en) * 2014-12-04 2016-06-20 トヨタ自動車株式会社 Anti-glare device
JP2018198055A (en) * 2017-05-23 2018-12-13 トヨタ自動車株式会社 Provision of road mirror content to driver
EP3466765A1 (en) 2017-10-04 2019-04-10 Toyota Jidosha Kabushiki Kaisha Image display apparatus
WO2020068800A1 (en) * 2018-09-25 2020-04-02 Inteva Products, Llc Deployable side shark fin with integrated side view camera and sensing device
CN111751824A (en) * 2020-06-24 2020-10-09 杭州海康汽车软件有限公司 Method, device and equipment for detecting obstacles around vehicle
US10853962B2 (en) 2018-02-22 2020-12-01 Panasonic Intellectual Property Management Co., Ltd. Device, system, and method of determining reclining state
CN113246861A (en) * 2021-06-08 2021-08-13 北京福田戴姆勒汽车有限公司 Control method of vehicle-mounted image system, vehicle-mounted image system and vehicle
JP2021138342A (en) * 2020-03-09 2021-09-16 株式会社デンソー On-vehicle display device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07223487A (en) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp Situation display device for vehicle
JP2000071877A (en) * 1998-08-26 2000-03-07 Nissan Motor Co Ltd Vehicular display device
JP2001006097A (en) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd Device for supporting driving for vehicle
JP2001260776A (en) * 2000-03-22 2001-09-26 Mazda Motor Corp Vehicle obstacle warning device
JP2002209208A (en) * 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc Image processing unit and its method, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07223487A (en) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp Situation display device for vehicle
JP2000071877A (en) * 1998-08-26 2000-03-07 Nissan Motor Co Ltd Vehicular display device
JP2001006097A (en) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd Device for supporting driving for vehicle
JP2001260776A (en) * 2000-03-22 2001-09-26 Mazda Motor Corp Vehicle obstacle warning device
JP2002209208A (en) * 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc Image processing unit and its method, and storage medium

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839423B2 (en) 2004-06-18 2010-11-23 Nec Corporation Image display system with gaze directed zooming
WO2005124735A1 (en) * 2004-06-18 2005-12-29 Nec Corporation Image display system, image display method, and image display program
JP2006273002A (en) * 2005-03-28 2006-10-12 Nippon Seiki Co Ltd Monitoring device for vehicle
JP2007008401A (en) * 2005-07-04 2007-01-18 Alpine Electronics Inc Device and method for detecting position of image pickup device
JP2007015663A (en) * 2005-07-11 2007-01-25 Toyota Motor Corp Vehicle monitoring system
JP2007050874A (en) * 2005-07-22 2007-03-01 Takao Sato Periphery visually recognizing device for automobile
WO2007058095A1 (en) * 2005-11-17 2007-05-24 Aisin Seiki Kabushiki Kaisha Vehicle surrounding display device
JP2007142724A (en) * 2005-11-17 2007-06-07 Aisin Seiki Co Ltd Vehicle periphery display unit
US8115811B2 (en) 2005-11-17 2012-02-14 Aisin Seiki Kabushiki Kaisha Vehicle surrounding area display device
JP2007158578A (en) * 2005-12-02 2007-06-21 National Univ Corp Shizuoka Univ Entire circumference information annularly displaying system
JP2007233795A (en) * 2006-03-02 2007-09-13 Omron Corp Monitoring device and method, recording medium, and program
JP2007237785A (en) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ On-vehicle information presentation system
JP2009541125A (en) * 2006-06-29 2009-11-26 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング System and method for indicating an image around a car
JP2009023565A (en) * 2007-07-20 2009-02-05 Denso It Laboratory Inc Drive assisting device and drive assisting method
JP2009241689A (en) * 2008-03-31 2009-10-22 Equos Research Co Ltd Display device
FR2956364A1 (en) * 2010-02-18 2011-08-19 Peugeot Citroen Automobiles Sa Driver assistance device for handling e.g. car around building site, has processing unit generating image data defining image to be displayed in vehicle, where image data represents part of vehicle based on relative position of head
JP2011184044A (en) * 2011-06-15 2011-09-22 Aisin Seiki Co Ltd Vehicle surroundings display device
JP2014225728A (en) * 2013-05-15 2014-12-04 クラリオン株式会社 Vehicle circumference monitoring device
WO2015159407A1 (en) * 2014-04-17 2015-10-22 三菱電機株式会社 Vehicle-mounted display device
CN106232427A (en) * 2014-04-17 2016-12-14 三菱电机株式会社 Display device for mounting on vehicle
US20170066375A1 (en) * 2014-04-17 2017-03-09 Mitsubishi Electric Corporation Vehicle-mounted display device
JPWO2015159407A1 (en) * 2014-04-17 2017-04-13 三菱電機株式会社 In-vehicle display device
JP2016107740A (en) * 2014-12-04 2016-06-20 トヨタ自動車株式会社 Anti-glare device
US9744832B2 (en) 2014-12-04 2017-08-29 Toyota Jidosha Kabushiki Kaisha Anti-glare apparatus having light emitted from inside a moving vehicle to a light reactive member
US10366473B2 (en) 2017-05-23 2019-07-30 Toyota Jidosha Kabushiki Kaisha Providing traffic mirror content to a driver
JP2018198055A (en) * 2017-05-23 2018-12-13 トヨタ自動車株式会社 Provision of road mirror content to driver
EP3466765A1 (en) 2017-10-04 2019-04-10 Toyota Jidosha Kabushiki Kaisha Image display apparatus
KR20190039455A (en) 2017-10-04 2019-04-12 도요타지도샤가부시키가이샤 Image display apparatus
US10960821B2 (en) 2017-10-04 2021-03-30 Toyota Jidosha Kabushiki Kaisha Image display apparatus
US10853962B2 (en) 2018-02-22 2020-12-01 Panasonic Intellectual Property Management Co., Ltd. Device, system, and method of determining reclining state
WO2020068800A1 (en) * 2018-09-25 2020-04-02 Inteva Products, Llc Deployable side shark fin with integrated side view camera and sensing device
US11057568B2 (en) 2018-09-25 2021-07-06 Inteva Products, Llc Deployable side shark fin with integrated side view camera and sensing device
JP2021138342A (en) * 2020-03-09 2021-09-16 株式会社デンソー On-vehicle display device
CN111751824A (en) * 2020-06-24 2020-10-09 杭州海康汽车软件有限公司 Method, device and equipment for detecting obstacles around vehicle
CN111751824B (en) * 2020-06-24 2023-08-04 杭州海康汽车软件有限公司 Method, device and equipment for detecting obstacles around vehicle
CN113246861A (en) * 2021-06-08 2021-08-13 北京福田戴姆勒汽车有限公司 Control method of vehicle-mounted image system, vehicle-mounted image system and vehicle

Also Published As

Publication number Publication date
JP4222183B2 (en) 2009-02-12

Similar Documents

Publication Publication Date Title
JP4222183B2 (en) Vehicle peripheral image display device
JP5099451B2 (en) Vehicle periphery confirmation device
JP4935571B2 (en) Driving assistance device
JP5117003B2 (en) Driving assistance device
US8035575B2 (en) Driving support method and driving support apparatus
JP5286035B2 (en) Vehicle speed control device
JP4962788B2 (en) Vehicle periphery monitoring device
US20150010207A1 (en) Driving assistance device and driving assistance method
JP5136950B2 (en) In-vehicle device operation device
KR100917330B1 (en) Top view monitor system and method of vehicle
JP2005182306A (en) Vehicle display device
JP2008033901A (en) Vehicle image display system
JP2007223338A (en) Display system, moving body, display method, display program and storage medium thereof
JP2014060646A (en) Image processing apparatus, image processing method, and image processing system
JP2008018760A (en) Driving support device
JP2007158578A (en) Entire circumference information annularly displaying system
JP2005186648A (en) Surrounding visualizing device for vehicle and displaying control device
JP2010143411A (en) Head-up display device
JP2008100596A (en) Rear side visual recognition device
JP2004061259A (en) System, method, and program for providing information
JP2009073250A (en) Vehicle backsight display device
CN110462699B (en) Display control device for vehicle and display unit for vehicle
JP2008068827A (en) Rear lateral side confirmation device
JP5885619B2 (en) Driving assistance device
JP2005182305A (en) Vehicle travel support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081110

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees