JP2011035816A - 車両周囲画像表示制御装置 - Google Patents

車両周囲画像表示制御装置 Download PDF

Info

Publication number
JP2011035816A
JP2011035816A JP2009182405A JP2009182405A JP2011035816A JP 2011035816 A JP2011035816 A JP 2011035816A JP 2009182405 A JP2009182405 A JP 2009182405A JP 2009182405 A JP2009182405 A JP 2009182405A JP 2011035816 A JP2011035816 A JP 2011035816A
Authority
JP
Japan
Prior art keywords
image
vehicle
display image
occupant
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009182405A
Other languages
English (en)
Other versions
JP5077307B2 (ja
Inventor
Hideki Otsuka
秀樹 大塚
Heishin O
丙辰 王
Katsuyuki Imanishi
勝之 今西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2009182405A priority Critical patent/JP5077307B2/ja
Priority to DE102010038825.4A priority patent/DE102010038825B4/de
Publication of JP2011035816A publication Critical patent/JP2011035816A/ja
Application granted granted Critical
Publication of JP5077307B2 publication Critical patent/JP5077307B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】車両後方、車両右側方、車両左側方を３台の車載カメラで撮影し、撮影された画像を合成し、合成後の画像を表示装置に表示させる車両周囲画像表示制御装置において、後方車両の視認性の悪さが車線変更に支障を来してしまう可能性を低減する。
【解決手段】
乗員表示用画像１０中の右サイド表示用画像とリア表示用画像との境界である右側境界２１は、第１の右側点２１ａから第２の右側点２１ｂまで延び、乗員表示用画像１０中で第１の右側点から第２の右側点までの範囲に重なる路面上の範囲が、現実の車両の前後方向にほぼ平行となっている。左側境界２２も同様である。さらに右側境界２１は、第２の右側点２１ｂにおいて右方向に屈曲し、第２の右側点２１ｂから第３の右側点２１ｃまで右斜め上に延びるようになっている。
【選択図】図１１

Description

本発明は、車両周囲画像表示制御装置に関するものである。
従来、車両後方、車両右側方、車両左側方を３台の車載カメラで撮影し、撮影された画像を合成し、合成後の画像を表示装置に表示させる車両周囲画像表示制御装置が種々提案されている（例えば、特許文献１参照）。
特開平１０−２５７４８２号公報
しかし、従来の画像の合成方法では、合成する画像の境界部が、特許文献１の図９または図１１のようになっている、すなわち、隣の車線を走る車両を遮る部分に、境界部が配置されている。境界部の左右では、撮影に用いられたカメラが違うので、画像の連続性が他の部分より悪く、乗員にとって見づらい。したがって、上記のような配置となっていると、隣の車線を走る後方車両が確認し難くなってしまい、自車両の車線変更に支障を来してしまう可能性がある。
本発明は上記点に鑑み、車両後方、車両右側方、車両左側方を３台の車載カメラで撮影し、撮影された画像を合成し、合成後の画像を表示装置に表示させる車両周囲画像表示制御装置において、後方車両の視認性の悪さが車線変更に支障を来してしまう可能性を低減することを第１の目的とする。
また、車両後方、車両右側方、車両左側方を３台の車載カメラで撮影し、撮影された画像を合成し、合成後の画像を表示装置に表示させる車両周囲画像表示制御装置において、自車両の隣の車線において、自車両の車線変更が危険なほどに後方車両が近づいてきたことを乗員により強く印象付けることを第２の目的とする。
上記第１の目的を達成するための請求項１に記載の発明は、車両の後方正面を撮影するリアカメラが出力するリア撮影画像を取得し、前記車両の左側後方を撮影する左サイドカメラが出力する左サイド撮影画像を取得し、前記車両の右側後方を撮影する右サイドカメラが出力する右サイド撮影画像を取得する撮影画像取得手段（１１０）と、乗員に表示するための乗員表示用画像（１０）の中に、右側境界（２１）および左側境界（２２）を設定する境界設定手段（１３０）と、前記乗員表示用画像（１０）中の前記右側境界（２１）の右側に、前記右サイド撮影画像を用いて作成した右サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記左側境界（２２）の左側に、前記左サイド撮影画像を用いて作成した左サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記右側境界（２１）と左側境界（２２）との間に、前記リア撮影画像を用いて作成したリア表示用画像を配置することで、前記乗員表示用画像（１０）中で前記右サイド撮影画像、前記左サイド撮影画像、および前記リア撮影画像を合成する画像合成手段（１４０〜１８０）と、前記画像合成生成手段（１４０〜１８０）によって前記左サイド表示用画像、前記右サイド表示用画像、および前記リア表示用画像が合成された後の前記乗員表示用画像（１０）を画像表示装置（５）に表示させる描画制御手段（１９０）と、を備え、前記右側境界（２１）は、第１の右側点から第２の右側点まで延び、前記乗員表示用画像（１０）中で前記第１の右側点から前記第２の右側点までの範囲に重なる路面上の範囲が、前記車両の前後方向にほぼ平行となるよう、前記境界設定手段（１３０）によって設定されており、さらに前記右側境界（２１）は、前記第２の右側点において右方向に屈曲し、前記第２の右側点から前記第３の右側点まで右斜め上に延びるよう、前記境界設定手段（１３０）によって設定されていることを特徴とする車両周囲画像表示制御装置である。
このように、右サイド表示用画像とリア表示用画像との境界である右側境界（２１）は、第１の右側点から第２の右側点まで延び、乗員表示用画像（１０）中で第１の右側点から第２の右側点までの範囲に重なる路面上の範囲が、現実の車両の前後方向にほぼ平行となっている。
このようになっていることで、自車両が車線に沿って走行している限り、右側境界（２１）のうち第１の右側点から第２の右側点までの部分は、乗員表示用画像（１０）において、現実の道路の車線とほぼ平行に延びる。このようになっていることで、右側境界（２１）のうち第１の右側点から第２の右側点までの部分は、隣の車線に入ることはほとんどない。つまり、第１の右側点から第２の右側点までの部分は、右隣の車線にいる後方車両の視認性を悪化させることがほとんどない。
さらに右側境界（２１）は、第２の右側点において右方向に屈曲し、第２の右側点から第３の右側点まで右斜め上に延びるようになっている。一般的に合成画像においては、リア表示用画像よりも右サイド表示用画像および左サイド表示用画像の方が歪みが大きく視認性が高い。したがって、上記のようにすることで、より視認性の高いリア表示用画像の表示範囲を広く取りつつも、右側境界（２１）が右隣の車線に入る位置を後方にすることで、後方車両の視認性の悪さが車線変更に支障を来してしまう可能性の低減も実現することができる。
なお、画像中の上下左右は、画像表示装置（５）にて表示される当該画像を車両内に着座する乗員が見たときの上下左右である。また、「ほぼ平行」とは、右側境界（２１）の第１の右側点から第２の右側点までの部分が右隣車線の後続車両の視認性を悪化させない程度の精度で平行であればよいという意味である。
また、請求項２に記載の発明は、請求項１に記載の車両周囲画像表示制御装置において、前記第２の右側点の前記乗員表示用画像（１０）内の上下方向の位置は、前記乗員表示用画像（１０）内において前記第２の右側点と重なる路面から、前記車両の後端までの現実の距離が、３０メートルに設定されていることを特徴とする。
この３０メートルという値は、ＩＳＯ等の規格で定められた安全距離である。このようになっていることで、少なくとも自車両から３０メートル以内の後方にある車両、すなわち自車両に安全距離よりも近い車両については、右側境界（２１）を跨ぐことはないので、視認性が良い。
また、請求項３に記載の発明は、請求項１に記載の車両周囲画像表示制御装置において、前記第２の右側点の前記乗員表示用画像（１０）内の上下方向の位置は、前記乗員表示用画像（１０）内において前記第２の右側点と重なる路面から、前記車両の後端までの現実の距離が、Ｔメートルに設定されており、前記Ｔメートルは、前記車両が走行している道路の制限速度が大きいほど長くなることを特徴とする。
道路の制限速度が大きいということは、その道路を走行する複数の車両の走行速度のばらつきが大きいことを意味する。したがって、そのような場合には、後方の車両と自車両との速度差が大きくなり易い。したがって、自車両の車線変更にとって安全であるとみなせる車間距離は、道路の制限速度が大きいほど大きくなる。
それ故、上記のように第２の右側点（すなわち屈曲点）を自車両からＴメートル後方に離れた地点に設定し、そのＴメートルは、車両が走行している道路の制限速度が大きくなるほど長くなるようにすることで、道路の種類に応じた適正な安全距離を用いて、第２の右側点を設定することができる。
また、請求項４に記載の発明は、請求項１ないし３のいずれか１つに記載の車両周囲画像表示制御装置において、前記画像合成手段（１４０〜１８０）は、前記乗員表示用画像（１０）内において前記右側境界（２１）付近の上下にずれた複数の位置からから右横に延びる複数の右側距離把握補助用画像（４１、４２）を、前記乗員表示用画像（１０）に含めることを特徴とする。なお、付近とは、例えば、乗員表示用画像（１０）の横方向の最大長さの１／１０よりも近いことをいう。
このように、右側境界（２１）付近から右横に延びる複数の上下にずれた右側距離把握補助用画像（４１、４２）を乗員表示用画像（１０）に含めることで、乗員は、乗員表示用画像（１０）中でこの右側距離把握補助用画像（４１、４２）と後方車両との位置関係を確認し、それにより、右車線に安全に移動するタイミングを適切に計ることができる。
また、請求項５に記載の発明は、請求項４に記載の車両周囲画像表示制御装置において、前記乗員表示用画像（１０）内で前記複数の右側距離把握補助用画像（４１、４２）と重なっている路面の現実の長さが、それぞれ同じ長さとなるよう、前記複数の右側距離把握補助用画像の横方向の長さが設定されていることを特徴とする。
このようになっていることで、例えば乗員表示用画像（１０）内で、右側距離把握補助用画像（４１、４２）の長さが一般的な車線の幅になるようにすることもできる。
また、請求項６に記載の発明は、請求項４または５に記載の車両周囲画像表示制御装置において、前記複数の右側距離把握補助用画像（４１、４２）のそれぞれは、横方向に長い平行四辺形を横方向に複数個並べた形状となっており、それら複数の平行四辺形の２つの長辺は横方向に延びており、２つの短辺は、左斜め上に延びていることを特徴とする。
このようになっていることで、人間の目の錯覚により、これら平行四辺形が、道路上に真横に並ぶ長方形のように見える。これによって、乗員表示用画像（１０）の遠近感が増し、ひいては乗員が乗員表示用画像（１０）を見て実際の距離感を把握し易くなる。
また、請求項７に記載の発明は、請求項４ないし６のいずれか１つに記載の車両周囲画像表示制御装置において、前記複数の右側距離把握補助用画像（４１、４２）のうち第１の右側距離把握補助用画像（４１）が前記乗員表示用画像（１０）内に配置される上下方向の位置は、前記乗員表示用画像（１０）内において前記第１の右側距離把握補助用画像（４１）と重なる路面から、前記車両の後端までの現実の距離が、３０メートルに設定されていることを特徴とする。
この３０メートルという値は、ＩＳＯ等の規格で定められた安全距離である。このような位置に第１の右側距離把握補助用画像（４１）が配置されていることで、乗員は、第１の右側距離把握補助用画像（４１）と後方車両との位置関係を把握して、右隣の車線において後方車両が自車両に安全距離よりも近づいているか否かを容易に把握することができる。
また、請求項８に記載の発明は、請求項４ないし７のいずれか１つに記載の車両周囲画像表示制御装置において、前記複数の右側距離把握補助用画像（４１、４２）のうち前記第１の右側距離把握補助用画像（４１）とは異なる第２の右側距離把握補助用画像（４２）が前記乗員表示用画像（１０）内に配置される上下方向の位置は、前記乗員表示用画像（１０）内において前記第２の右側距離把握補助用画像（４２）と重なる路面から前記車両の後端までの現実の距離が、３メートルから７メートルまでの範囲のいずれかに設定されていることを特徴とする。
この３メートルという値は、ＩＳＯ等の規格で定められた距離であり、隣の車線の後方車両が自車両からこの距離以内にいれば、その車線への車線変更は不可能とみなせるような距離である。このような位置あるいは少し余裕を取って３〜７メートル離れた位置に第２の右側距離把握補助用画像（４２）が配置されていることで、乗員は、第２の右側距離把握補助用画像（４２）と後方車両との位置関係を把握して、自車両が右に車線変更できるか否かを容易に把握することができる。
また、請求項１１に記載の発明は、請求項６ないし８のいずれか１つに記載の車両周囲画像表示制御装置において、前記複数の右側距離把握補助用画像（４１、４２）のそれぞれが前記乗員表示用画像（１０）内に配置される上下方向の位置は、前記乗員表示用画像（１０）内において前記複数の右側距離把握補助用画像（４１、４２）と重なる路面の、前記車両の後端から真っ直ぐ後方に離れている現実の距離が、所定のＤメートルとなるように設定されており、前記Ｄメートルは、前記複数の右側距離把握補助用画像（４１、４２）の間で異なり、かつ、前記車両が走行している道路の制限速度が大きくなるほど長くなることを特徴とする。
道路の制限速度が大きいということは、その道路を走行する複数の車両の走行速度のばらつきが大きいことを意味する。したがって、そのような場合には、後方の車両と自車両との速度差が大きくなり易い。したがって、自車両の車線変更にとって安全であるとみなせる車間距離は、道路の制限速度が大きいほど大きくなる。
それ故、上記のように複数の右側距離把握補助用画像（４１、４２）のそれぞれの自車両からの距離を、車両が走行している道路の制限速度が大きくなるほど長くなるようにすることで、道路の種類に応じた適正な安全距離を用いて、複数の右側距離把握補助用画像（４１、４２）の位置を設定することができる。
また、請求項１０に記載の発明は、請求項１ないし９のいずれか１つに記載の車両周囲画像表示制御装置において、前記画像合成手段（１４０〜１８０）は、前記乗員表示用画像（１０）中の右上隅の三角形の部分には、前記右サイド表示用画像を表示させず、また、前記乗員表示用画像（１０）中の左上隅の三角形の部分には、前記左サイド表示用画像を表示させないことを特徴とする。
上記三角形部分の位置に該当する画像は、一般的に歪みやボケが他の位置よりも大きく、しかも乗員の安全走行にとっての情報としては、必要性が低い。したがって、その位置に右サイド表示用画像、左サイド表示用画像を表示させないことで、乗員の安全走行に悪影響を及ぼさず、かつ、乗員表示用画像（１０）の全体的な品質が向上する。
また、請求項１１に記載の発明は、請求項１ないし１０のいずれか１つに記載の車両周囲画像表示制御装置において、現実の前記車両に対する所定の相対位置に視点を設定すると共に、現実の前記車両の向きに対する所定の相対方向に視線方向を設定する視点・視線方向設定手段（１２４）、を備え、前記画像合成手段（１４０〜１８０）は、前記設定された視点および視線方向で撮影した場合の撮影画像となるよう、前記右サイド撮影画像に対して画像変換を施し、その画像変換を施した結果の画像を前記右サイド表示用画像として用い、また、前記設定された視点および視線方向で撮影した場合の撮影画像となるよう、前記左サイド撮影画像に対して画像変換を施し、その画像変換を施した結果の画像を前記左サイド表示用画像として用い、前記視点設定手段（１２４）は、前記車両のウインカーが右折を示している場合、前記ウインカーが右折も左折も示していない場合と比べて、前記視線方向を同じ向きに保ったまま、前記視点をより右側に設定することを特徴とする。なお、ここでいう右側とは、自車両に着座した運転者から見た右側をいう。
このようにすることで、車両のウインカーが右折を示している場合、すなわち、乗員が車両を右側に移動させようとしている場合、視線方向変化しないまま、視点が右に移動するので、乗員表示用画像（１０）内において自車両の右後方の画像が占める範囲が大きくなる。すなわち、これから移動しようとする側が、乗員表示用画像（１０）内においてよく見えるようになる。
また、請求項１２に記載の発明は、請求項１ないし１１のいずれか１つに記載の車両周囲画像表示制御装置において、前記左側境界（２２）は、前記車両のウインカーが右折も左折も示していない場合、前記乗員表示用画像（１０）内において第１の左側点から第２の左側点まで右に行くにつれて上がり、前記第２の左側点から第３の左側点まで左に行くにつれて上がり、前記車両のウインカーが右折を示している場合、前記乗員表示用画像（１０）内において一律に左上がりになるよう、前記境界設定手段（１３０）によって設定されることを特徴とする。
このように、車両のウインカーが右折も左折も示していない場合、左側境界（２２）が第１の左側点から第２の右側点まで右上がりに延びていることで、左側境界（２２）の第１のが左隣の車線まで延びなくなるか、あるいは、左側境界（２２）が左隣の車線に入ったとしても、その位置は従来よりも後方となっている。したがって、左隣の車線の後続車両の視認性の悪さが解消されるか、あるいは左隣の車線の後続車両の視認性の悪さが解消されないまでも、視認性の悪くなる位置は従来よりも自車両から離れているので、後方車両の視認性の悪さが車線変更に支障を来してしまう可能性は低減される。なぜなら、後方車両が自車両に近いほど車線変更に及ぼす影響が大きいからである。
更に、車両のウインカーが右折も左折も示していない場合、左側境界（２１）は、第１の左側点から第２の左側点まで右上がりに延び、その後第２の左側点で左に屈曲し、第３の左側点まで左上がりに延びることになる。一般的に合成画像においては、リア表示用画像よりも右サイド表示用画像および左サイド表示用画像の方が歪みが大きく視認性が高い。したがって、上記のようにすることで、より視認性の高いリア表示用画像の表示範囲を広く取りつつも、左側境界（２１）と左隣の車線に入る位置を後方にすることで、後方車両の視認性の悪さが車線変更に支障を来してしまう可能性の低減も実現することができる。
一方、車両のウインカーが右折を示している場合、左側境界（２２）は一律に左上がりになっている。ウインカーが右折を示しているということは、乗員が車両を右側に移動させようとしているということである。そのような場合は、左隣の車線の後方車両の情報は必要性が低いので、左側境界（２２）の存在のせいで左隣の車線の後方車両の画像が乱れるとしても、一般的に歪みの少ないリア表示用画像を広く表示させた方が、乗員にとって利便性が高い。
また、請求項１３に記載の発明は、請求項１ないし１２のいずれか１つに記載の車両周囲画像表示制御装置において、前記画像合成手段（１４０〜１８０）は、前記車両のウインカーが右折も左折も示していない場合、前記乗員表示用画像（１０）内において前記右側境界（２１）付近の上下にずれた複数の位置からから右横に延びる複数の右側距離把握補助用画像（４１、４２）に加え、前記乗員表示用画像（１０）内において前記左側境界（２２）付近の上下にずれた複数の位置からから左横に延びる複数の左側距離把握補助用画像（４３、４４）を、前記乗員表示用画像（１０）に含め、また、前記車両のウインカーが右折を示している場合、前記複数の右側距離把握補助用画像（４１、４２）は、前記乗員表示用画像（１０）に含めるが、前記複数の左側距離把握補助用画像（４３、４４）は、前記乗員表示用画像（１０）に含めないことを特徴とする。
ウインカーが右折を示しているということは、乗員が車両を右側に移動させようとしているということである。そのような場合に、上記のように、複数の右側距離把握補助用画像（４１、４２）は、乗員表示用画像（１０）に含めるが、複数の左側距離把握補助用画像（４３、４４）は、乗員表示用画像（１０）に含めないことで、乗員に車両の右側への注意をより集中させることができる。
また、上記第１の目的を達成するための請求項１４に記載の発明は、車両の後方正面を撮影するリアカメラが出力するリア撮影画像を取得し、前記車両の左側後方を撮影する左サイドカメラが出力する左サイド撮影画像を取得し、前記車両の右側後方を撮影する右サイドカメラが出力する右サイド撮影画像を取得する撮影画像取得手段（１１０）と、乗員に表示するための乗員表示用画像（１０）の中に、右側境界（２１）および左側境界（２２）を設定する境界設定手段（１３０）と、前記乗員表示用画像（１０）中の前記右側境界（２１）の右側に、前記右サイド撮影画像を用いて作成した右サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記左側境界（２２）の左側に、前記左サイド撮影画像を用いて作成した左サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記右側境界（２１）と左側境界（２２）との間に、前記リア撮影画像を用いて作成したリア表示用画像を配置することで、前記乗員表示用画像（１０）中で前記左サイド撮影画像、前記右サイド撮影画像、および前記リア撮影画像を合成する画像合成手段（１４０〜１８０）と、前記画像合成生成手段（１４０〜１８０）によって前記右サイド表示用画像、前記左サイド表示用画像、および前記リア表示用画像が合成された後の前記乗員表示用画像（１０）を画像表示装置（５）に表示させる描画制御手段（１９０）と、を備え、前記右側境界（２１）は、前記乗員表示用画像（１０）内において第１の右側点から第２の右側点まで左に行くにつれて上がるよう、前記境界設定手段（１３０）によって設定されることを特徴とする車両周囲画像表示制御装置である。
このように、右サイド表示用画像とリア表示用画像との境界である右側境界（２１）は、乗員表示用画像（１０）内において、第１の右側点から第２の右側点まで左に行くにつれて上がるよう設定されている。このように、右側境界（２１）が第１の右側点から第２の右側点まで左上がりに延びていることで、右側境界（２１）が右隣の車線まで延びなくなるか、あるいは、右側境界（２１）が右隣の車線に入ったとしても、その位置は従来よりも後方となっている。したがって、右隣の車線の後続車両の視認性の悪さが解消されるか、あるいは右隣の車線の後続車両の視認性の悪さが解消されないまでも、視認性の悪くなる位置は従来よりも自車両から離れているので、後方車両の視認性の悪さが車線変更に支障を来してしまう可能性は低減される。なぜなら、後方車両が自車両に近いほど車線変更に及ぼす影響が大きいからである。
なお、画像中の上下左右は、画像表示装置（５）にて表示される当該画像を車両内に着座する乗員が見たときの上下左右である。
また、請求項１５記載の発明は、請求項１４に記載の車両周囲画像表示制御装置において、前記左側境界（２２）は、前記乗員表示用画像（１０）内において前記左側境界（２２）が第１の左側点から第２の左側点まで右に行くにつれて上がるよう、前記境界設定手段（１３０）によって設定されており、前記第２の右側点と前記第２の左側点とは同じ位置にあり、前記右側境界（２１）と前記左側境界（２２）とは前記第２の右側点で交わった後、１つとなって前記第２の右側点から第３の点まで延びていることを特徴とする。
このようになっていれば、左サイド表示用画像および右サイド表示用画像が広く使用されるので、左右の隣の車線のみを確認するためには都合が良い。
また、上記第２の目的を達成するための請求項１７に記載の発明は、車両の後方正面を撮影するリアカメラが出力するリア撮影画像を取得し、前記車両の左側後方を撮影する左サイドカメラが出力する左サイド撮影画像を取得し、前記車両の右側後方を撮影する右サイドカメラが出力する右サイド撮影画像を取得する撮影画像取得手段（１１０）と、乗員に表示するための乗員表示用画像（１０）の中に、右側境界（２１）および左側境界（２２）を設定する境界設定手段（１３０）と、前記乗員表示用画像（１０）中の前記右側境界（２１）の右側に、前記右サイド撮影画像を用いて作成した右サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記左側境界（２２）の左側に、前記左サイド撮影画像を用いて作成した左サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記右側境界（２１）と左側境界（２２）との間に、前記リア撮影画像を用いて作成したリア表示用画像を配置することで、前記乗員表示用画像（１０）中で前記左サイド撮影画像、前記右サイド撮影画像、および前記リア撮影画像を合成する画像合成手段（１４０〜１８０）と、前記画像合成生成手段（１４０〜１８０）によって前記左サイド表示用画像、前記右サイド表示用画像、および前記リア表示用画像が合成された後の前記乗員表示用画像（１０）を画像表示装置（５）に表示させる描画制御手段（１９０）と、を備え、前記右側境界（２１）は、前記乗員表示用画像（１０）内において前記右側境界（２１）が第１の右側点から第２の右側点まで右横方向に延び、前記第２の右側点からは真上または右斜め上方向に延びるようになっており、前記第１の右側点および前記第２の右側点の前記乗員表示用画像（１０）内の上下方向の位置は、前記乗員表示用画像（１０）内において前記第１の右側点および前記第２の右側点と重なる路面から、前記車両の後端までの前記車両の前後方向に沿った現実の距離が、３メートルから７メートルまでの範囲のいずれかに設定されており、前記画像合成手段（１４０〜１８０）は、前記右側境界（２１）を示す線の画像を前記乗員表示用画像（１０）中に含めることを特徴とする車両周囲画像表示制御装置である。
このように、線の画像として乗員表示用画像（１０）中に含まれる右側境界（２１）は、まず右横に延びて、その後上または斜め上に延びる。そして、その右横に延びる部分は、車両の後端から真っ直ぐ後方に３メートル離れた地点の路面に一致するように配置されている。
この３メートルという値は、ＩＳＯ等の規格で定められた距離であり、隣の車線の後方車両が自車両からこの距離以内にいれば、その車線への車線変更は不可能とみなせるような距離である。このような位置あるいは少し余裕を取って３〜７メートルの範囲に離れた位置に、右側境界（２１）を示す線の画像が横方向に延びていることで、乗員は、右側境界（２１）を表す線画像と後方車両との位置関係を把握して、自車両が右に車線変更できるか否かを容易に把握することができる。しかも、この線画像よりも近づいた後方車両は、左サイド表示用画像内に完全に入るので、右側境界（２１）を跨いでいるが故に見づらいということがない。したがって、自車両の車線変更が危険なほどに後方車両が近づいてきたことを乗員により強く印象付けることができる。
なお、各請求項において、右と左を入れ替えた発明も、本発明の一側面として捉えることができる。
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
本発明の実施形態に係る車両周囲画像表示システムの構成図である。 カメラ１〜４およびディスプレイ５の車内配置を概略的に示す図である。 画像合成ＥＣＵが実行するプログラム１００のフローチャートである。 ウインカーの作動状態と画像合成ＥＣＵ９の作動との関係を表す表である。 乗員表示用画像の候補となる画像であり、（ａ）は中央素材画像１０ａを、（ｂ）は右シフト素材画像１０ｂを、（ｃ）は左シフト素材画像１０ｃを示す。 乗員表示用画像１０中の右側境界２１、左側境界２２の例を示す図であり、（ａ）は中央視点を採用した場合、（ｂ）は右シフト視点を採用した場合、（ｃ）は左シフト視点を採用した場合を示す。 視点・視線変換を説明するためのグローバル座標系を示す図である。 リア表示領域２５、右サイド表示領域２６、左サイド表示領域２７を示す図である。 リア表示用画像、右サイド表示用画像、左サイド表示用画像が繋がって配置された乗員表示用画像１０を示す図である。 乗員表示用画像１０中のマスク領域２６ｂ、２７ｂの例を示す図である。 乗員表示用画像１０中に追加された距離把握補助用画像３１〜３４の例を示す図である。 自車両１１と後続車両１２との車間距離を示す図である。 ウインカーの作動状態が右折指示状態の場合に表示する距離把握補助用画像４１、４２を示す図である。 ウインカーの作動状態が左折指示状態の場合に表示する距離把握補助用画像４３、４４を示す図である。 右側境界２１、左側境界２２の形状の他の例を示す図である。 右側境界２１、左側境界２２の形状の他の例を示す図である。
以下、本発明の一実施形態について説明する。図１に、本実施形態に係る車両周囲画像表示システムの全体構成を示す。この車両周囲画像表示システムは車両に搭載され、フロントカメラ１、リアカメラ２、左サイドカメラ３、右サイドカメラ４、ディスプレイ５、標識認識ＥＣＵ６、ナビゲーションシステム７、車両情報出力部８、および画像合成ＥＣＵ９を備えている。図２に、フロントカメラ１、リアカメラ２、左サイドカメラ３、右サイドカメラ４および標識認識ＥＣＵ６の車両内の配置を概略的に示す。なお、以下では、特に別記しない限り、上、下、右、左、前、後は、車両の向きを基準とする上、下、右、左、前、後である。
フロントカメラ１は、この車両周囲画像表示システムが搭載された車両（以下、自車両という）の前端部に取り付けられ、自車両の前端よりも前方を繰り返し撮影し、逐次その撮影結果のフロント撮影画像を標識認識ＥＣＵ６に出力する。
リアカメラ２は、自車両の後端部または天井部に取り付けられ、自車両の後端よりも後方を繰り返し撮影し、逐次その撮影結果のリア撮影画像を画像合成ＥＣＵ９に出力する。リアカメラ２は広角カメラであり、撮影範囲は、自車両の右後方、左後方、後方中央を含む。
右サイドカメラ３は、自車両の右側面（例えば右フェンダーミラーの下端部）に取り付けられ、自車両よりも右後方を繰り返し撮影し、逐次その撮影結果の右サイド撮影画像を画像合成ＥＣＵ９に出力する。右サイドカメラ３は広角カメラであり、撮影範囲は、自車両の右側前方、右側真横、右側後方を含む。
左サイドカメラ４は、自車両の左側面（例えば左フェンダーミラーの下端部）に取り付けられ、自車両よりも左後方を繰り返し撮影し、逐次その撮影結果の左サイド撮影画像を画像合成ＥＣＵ９に出力する。左サイドカメラ４は広角カメラであり、撮影範囲は、自車両の左側前方、左側真横、左側後方を含む。
ディスプレイ５は、自車両内に着座した乗員（特に運転者）に対して画像を表示する装置である。ディスプレイ５の設置位置は、図２に示すように、例えば車室内のインストゥルメントパネル中央等がある。
標識認識ＥＣＵ６は、フロントカメラ１からフロント撮影画像を繰り返し取得し、取得したフロント撮影画像中から周知の画像処理技術（例えばテンプレートマッチング）によって制限速度の標識（路上ペイント、道路の周囲の標識板等）を探し出し、探し出した標識が示す制限速度を周知の数字認識技術によって検出する装置である。標識認識ＥＣＵ６は、検出した制限速度の情報を画像合成ＥＣＵ９に出力する。このような標識認識ＥＣＵ６は、例えば上記のような処理のためのプログラムを実行するマイクロコンピュータによって実現できる。
ナビゲーションシステム７は、図示しないＧＰＳ受信機等の位置検出装置からの出力に基づいて自車両の現在位置を特定し、現在位置の周辺の地図画像を表示する装置である。またナビゲーションシステム７は、現在位置から乗員が入力した目的地までの最適な経路を算出し、算出した経路の案内を行う。またナビゲーションシステム７は、地図データを備え、地図表示、経路算出、経路案内においては、この地図データを用いる。この地図データには、各道路の制限速度の情報および車線の幅の情報が含まれている。ナビゲーションシステム７は、画像合成ＥＣＵ９から制限速度または車線幅を要求する信号を受けると、現在位置に存在する道路の制限速度または車線幅を地図データから読み出し、読み出した制限速度の情報を画像合成ＥＣＵ９に出力する。
車両情報出力部８は、自車両内の各種センサから、車両の作動に関する情報を取得し、取得した情報を画像合成ＥＣＵ９に出力する。出力する情報は、自車両のシフトポジション（またはドライブポジション）を示す情報、自車両のウインカー（方向指示器）の作動状態を示す情報、自車両の走行速度の情報等がある。
画像合成ＥＣＵ９（車両周囲画像表示制御装置の一例に相当する）は、リアカメラ２が繰り返し出力するリア撮影画像、右サイドカメラ３が繰り返し出力する右サイド撮影画像、左サイドカメラ４が繰り返し出力する左サイド撮影画像を逐次取得し、リア撮影画像、右サイド撮影画像、左サイド撮影画像の組を新たに取得する度に、それら３つの撮影画像を合成し、合成結果の乗員表示用画像をディスプレイ５に表示させる。
このような作動を実現する画像合成ＥＣＵ９は、ＣＰＵ、ＲＡＭ、ＲＯＭを備えたマイクロコンピュータを用いて実現することができる。その場合、ＣＰＵがＲＯＭに記録されたプログラムをＲＡＭに展開して実行することで所望の処理を実現し、その処理において、必要に応じてＲＡＭ、ＲＯＭから情報を読み出し、カメラ２〜４、標識認識ＥＣＵ６、ナビゲーションシステム７、車両情報出力部８から情報を取得し、ディスプレイ５、ナビゲーションシステム７に信号を出力する。
以下、画像合成ＥＣＵ９の作動の詳細について説明する。図３に、画像合成ＥＣＵ９が実行するプログラム１００のフローチャートを示す。画像合成ＥＣＵ９は、車両情報出力部８から取得したシフトポジション（またはドライブポジション）の情報が、前進用のシフトポジション（または前進用のドライブレンジ）を示している間は、プログラム１００を繰り返し実行する。
このプログラム１００の実行において画像合成ＥＣＵ９は、まずステップ１１０で、撮影画像を取得する。具体的には、リアカメラ２、右サイドカメラ３、左サイドカメラ４のすべてからそれぞれリア撮影画像、右サイド撮影画像、左サイド撮影画像を１枚取得するまで待ち、取得するとステップ１２０に進む。
ステップ１２０では、現在位置の制限速度を特定する。具体的には、標識認識ＥＣＵ６から出力された情報に基づいて特定してもよいし、ナビゲーションシステム７に制限速度を要求する信号を出力してナビゲーションシステム７から現在位置の制限速度を取得することで特定してもよい。
続いてステップ１２２で、車両情報出力部８からの信号に基づいてウインカーの作動状態を特定する。ウインカーの作動状態としては、右折を示す右折指示状態、左折を示す左折指示状態、および、オフ状態（すなわち、右折も左折も示さない状態）の３つがある。
続いてステップ１２４で、直前に特定したウインカーの作動状態に従って、仮想視点および仮想視線方向を設定する。
後述するように、リア撮影画像、右サイド撮影画像、左サイド撮影画像のそれぞれは、この仮想視点を視点とし、この仮想視線方向を視線方向として撮影を行った場合の撮影画像を構成するよう、変換および合成される。
仮想視点は、現実の自車両に対する相対位置として設定し、仮想視線方向は、現実の自車両の向きに対する相対方向として設定する。具体的には、仮想視点は、現実の自車両に固定された座標系（以下、グローバル座標系という）上の特定の座標として設定され、仮想視線方向は、グローバル座標系で表される単位ベクトルとして設定される。
より具体的には、仮想視点については、中央視点、右シフト視点、左シフト視点の３つから１つを選択する。
中央視点の位置は、自車両の左右方向中央であり、かつ、自車両の前方斜め上方の位置である。例えば、自車両の前後方向をＸ軸（前方が正の向き）とし、自車両の左右方向をＹ軸（右方が正の向き）とし、自車両の上下方向をＺ軸（上方が正の向き）とし、自車両の前後方向中央をＸ＝０面とし、自車両の左右方向中央をＹ＝０とし、自車両の接地面（自車両の車輪が接触する地平面）をＺ＝０の面とする３次元直交座標系をグローバル座標系とした場合、中央視点の位置座標は、（Ｘ，Ｙ，Ｚ）＝（Ｌ／２＋α，０，ｈ）となる。ここで、Ｌは自車両の前後方向の全長であり、αは所定の正値（例えば１メートル）であり、ｈは自車両の高さよりも大きい値（例えば３メートル）である。ただし、α、ｈの値はこのようなものに限らず、適宜設定可能である。
右シフト視点の位置は、中央視点から自車両の右側方向に所定量Ｐだけずれた位置である。この値Ｐは、自車両の全幅の１／２程度の値とする。上記のグローバル座標系においては、右シフト視点の位置座標は、（Ｘ，Ｙ，Ｚ）＝（Ｌ／２＋α，Ｐ，ｈ）となる。左シフト視点の位置は、中央視点から自車両の左側方向に所定量Ｐだけずれた位置である。上記のグローバル座標系においては、左シフト視点の位置座標は、（Ｘ，Ｙ，Ｚ）＝（Ｌ／２＋α，−Ｐ，ｈ）となる。
中央視点、右シフト視点、左シフト視点のいずれを選択するかは、直前のステップ１２２で特定したウインカーの作動状態に従って決める。具体的には、図４に示すように、オフ状態時には、中央視点を採用し、右折指示状態のときには、右シフト視点を採用し、左折指示状態のときには、左シフト視点を採用する。
また、仮想視線方向は、所定の１つの視線方向（以下、デフォルト視線方向という）を採用する。具体的には、自車両の真っ直ぐ後方を俯瞰するような視線である。上記のグローバル座標系においては、仮想視線方向のベクトルの成分を（Ｘ，Ｙ，Ｚ）＝（−ａ，０，−ｂ）とする。ここで、ａ、ｂは、ａ２＋ｂ２＝１およびｔａｎθ＝ｂ／ａを満たす正値であり、θは俯角（正の値）である。俯角θとしては、例えば１０°であってもよいし、他の角度であってもよい。
このようになっているので、自車両のウインカーが右折を示している場合、すなわち、乗員が車両を右側に移動させようとしている場合、オフ状態時と比べて、仮想視線方向は変化しないまま、仮想視点が車両右側に移動する。また、自車両のウインカーが左折を示している場合、すなわち、乗員が車両を左側に移動させようとしている場合、オフ状態時と比べて、仮想視線方向は変化しないまま、仮想視点が車両左側に移動する。
続いてステップ１２６では、乗員表示用画像を生成する。この乗員表示用画像は、後のステップ１３０〜１８０で各種の加工が施された後、ステップ１９０でディスプレイ５に表示させる画像である。
ステップ１２６の段階で生成するのは、加工前の乗員表示用画像であり、あらかじめＲＯＭ中に用意された３種類の素材画像のうちから１つを選択し、それを乗員表示用画像として採用する。乗員表示用画像の候補となる３種類の素材画像は、中央素材画像、右シフト素材画像、左シフト素材画像である。
中央素材画像、右シフト素材画像、左シフト素材画像のいずれを選択するかは、直前のステップ１２２で特定したウインカーの作動状態に従って決める。具体的には、図４に示すように、オフ状態時には中央素材画像を選択し、右折指示状態のときには右シフト素材画像を選択し、左折指示状態のときには左シフト素材画像を選択する。
図５（ａ）、（ｂ）、（ｃ）に、それぞれ中央素材画像、右シフト素材画像、左シフト素材画像の例１０ａ、１０ｂ、１０ｃを示す。
中央素材画像１０ａは、中央視点からデフォルト視線方向を向いて撮影したならば撮影画像中に表れているはずの自車両１１の位置および姿勢を仮想的に表した画像である。つまり、中央素材画像１０ａは、中央視点から仮想視線方向に見える自車両１１の仮想的画像を含んでいる。
右シフト素材画像１０ｂは、右シフト視点からデフォルト視線方向を向いて撮影したならば撮影画像中に表れているはずの自車両１１の位置および姿勢を仮想的に表した画像である。つまり、右シフト素材画像１０ｂは、右シフト視点から仮想視線方向に見える自車両１１の仮想的画像を含んでいる。
左シフト素材画像１０ｃは、左シフト視点からデフォルト視線方向を向いて撮影したならば撮影画像中に表れているはずの自車両１１の位置および姿勢を仮想的に表した画像である。つまり、左シフト素材画像１０ｃは、左シフト視点から仮想視線方向に見える自車両１１の仮想的画像を含んでいる。
そして、各素材画像１０ａ〜１０ｃにおいては、車両１１以外の部分は、基本色（黒色、白色）等で塗りつぶされた状態になっている。このように、各素材画像１０ａ〜１０ｃは、それぞれ中央視点、右シフト視点、左シフト視点から真後ろ方向を撮影した場合の撮影画像から、自車両１１以外を塗り潰して消した画像である。
なお、図５に示した右シフト素材画像１０ｂは、一見右シフト視点（すなわち、自車両１１の右前方の視点）ではなく左シフト視点（すなわち、自車両１１の左前方の視点）から撮影される場合の撮影画像のように見えるが、この右シフト素材画像１０ｂは、右シフト視点（すなわち、自車両１１の右前方の視点）から撮影される場合の撮影画像である。この右シフト素材画像１０ｂは、最終的には自車両内で車両の前方を向いて着座する乗員（主に運転者）が、後方車両等の位置を確認するための画像である。
したがって、ディスプレイ５で表示される表示画像の右側は自車両の右側であり、表示画像の左側は自車両の左側である方が、乗員の直感に適合する。そこで、右シフト素材画像１０ｂは、右シフト視点から撮影した場合の画像に対して左右反転の処理を施した画像としている。それ故、一見そうは見えないかもしれないが、図５の右シフト素材画像１０ｂは、確かに右シフト視点（すなわち、自車両１１の右前方の視点）から撮影される場合の撮影画像である。
同様の理由で、中央素材画像１０ａおよび左シフト素材画像１０ｃも、それぞれ中央視点および左シフト視点から撮影した場合の画像に対して左右反転の処理を施した画像である。
続いてステップ１３０では、直前のステップ１２６で生成した乗員表示用画像中で２つの境界を設定する。設定する２つの境界とは、ステップ１２２で特定したウインカーの作動状態に対応する右側境界および左側境界設定である。図６（ａ）、（ｂ）、（ｃ）に、それぞれウインカーの作動状態がオフ状態、右折指示状態、左折指示状態であった場合に設定する右側境界２１および左側境界２２の例を示す。
なお、後述するように、右側境界２１の右側に、右サイド撮影画像を用いて作成した右サイド表示用画像が配置され、左側境界２２の左側に、左サイド撮影画像を用いて作成した左サイド表示用画像が配置され、右側境界２１と左側境界２２との間に、リア撮影画像を用いて作成したリア表示用画像が配置されるようになっている。
まず、ウインカーの作動状態がオフ状態であった場合に設定する右側境界２１および左側境界２２について、図６（ａ）を参照して説明する。なお、上述の通り、ウインカーの作動状態がオフ状態であった場合には、仮想視点として中央視点が採用されている。
この場合の右側境界２１は、乗員表示用画像１０内において第１の右側点２１ａから第２の右側点２１ｂまで左に行くにつれて一直線に上がり、第２の右側点２１ｂで右に屈曲し、第２の右側点２１ｂから第３の右側点２１ｃまで右に行くにつれて一直線に上がるように設定される。ここで、第１の右側点２１ａは、自車両１１の右後端部に接しており、第３の右側点２１ｃは、乗員表示用画像１０の上端部に接している。つまり、右側境界２１は、乗員表示用画像１０中で、自車両１１の右後端部から乗員表示用画像１０の上端部まで伸びる“く”の字形の線状の境界であり、第２の右側点２１ｂを屈曲点としている。
また、左側境界２２は、乗員表示用画像１０内において第１の左側点２２ａから第２の左側点２２ｂまで右に行くにつれて一直線に上がり、第２の左側点２２ｂで左に屈曲し、第２の左側点２２ｂから第３の左側点２２ｃまで左に行くにつれて一直線に上がるように設定される。ここで、第１の左側点２２ａは、自車両１１の左後端部に接しており、第３の左側点２２ｃは、乗員表示用画像１０の上端部に接している。つまり、左側境界２２は、乗員表示用画像１０中で、自車両１１の左後端部から乗員表示用画像１０の上端部まで伸びる逆“く”の字形の線状の境界であり、第２の左側点２２ｂを屈曲点としている。
次に、ウインカーの作動状態が右折指示状態であった場合に設定する右側境界２１および左側境界２２について、図６（ｂ）を参照して説明する。なお、上述の通り、ウインカーの作動状態が右折指示状態であった場合には、仮想視点として右シフト視点が採用されている。
この場合の右側境界２１は、乗員表示用画像１０内において第１の右側点２１ａから第２の右側点２１ｂまで上方（真上または右斜め上方または左斜め上方）に延び、第２の右側点２１ｂでさらに右に屈曲し、第２の右側点２１ｂから第３の右側点２１ｃまで右に行くにつれて一直線に上がるように設定される。ここで、第１の右側点２１ａは、自車両１１の右後端部に接しており、第３の右側点２１ｃは、乗員表示用画像１０の上端部に接している。つまり、右側境界２１は、乗員表示用画像１０中で、自車両１１の右後端部から乗員表示用画像１０の上端部まで伸びる“く”の字形の線状の境界であり、第２の右側点２１ｂを屈曲点としている。
また、左側境界２２は、乗員表示用画像１０内において第１の左側点２２ａから第３の左側点２２ｃまで一律かつ一直線に左上がりに延びるように設定される。ここで、第１の左側点２２ａは、自車両１１の左後端部に接しており、第３の左側点２２ｃは、乗員表示用画像１０の上端部に接している。
次に、ウインカーの作動状態が左折指示状態であった場合に設定する右側境界２１および左側境界２２について、図６（ｃ）を参照して説明する。なお、上述の通り、ウインカーの作動状態が左折指示状態であった場合には、仮想視点として左シフト視点が採用されている。
この場合の右側境界２１は、乗員表示用画像１０内において第１の右側点２１ａから第３の右側点２１ｃまで一律かつ一直線に右上がりに延びるように設定される。ここで、第１の右側点２１ａは、自車両１１の右後端部に接しており、第３の右側点２１ｃは、乗員表示用画像１０の上端部に接している。
また、左側境界２２は、乗員表示用画像１０内において第１の左側点２２ａから第２の左側点２２ｂまで上方（真上または右斜め上方または左斜め上方）に延び、第２の左側点２２ｂでさらに左に屈曲し、第２の左側点２２ｂから第３の左側点２２ｃまで右に行くにつれて一直線に上がるように設定される。ここで、第１の左側点２２ａは、自車両１１の左後端部に接しており、第３の左側点２２ｃは、乗員表示用画像１０の上端部に接している。つまり、左側境界２２は、乗員表示用画像１０中で、自車両１１の左後端部から乗員表示用画像１０の上端部まで伸びる逆“く”の字形の線状の境界であり、第２の左側点２２ｂを屈曲点としている。
これらのような右側境界２１および左側境界２２を実現するために、画像合成ＥＣＵ９のＲＯＭには、中央視点を採用した場合に用いる第１〜第３の右側点２１ａ〜２１ｃおよび第１〜第３の左側点２２ａ〜２２ｃ、右シフト視点を採用した場合に用いる第１〜第３の右側点２１ａ〜２１ｃおよび第１、第３の左側点２２ａ、２２ｃ、ならびに、左シフト視点を採用した場合に用いる第１、第３の右側点２１ａ、２１ｃおよび第１〜第３の左側点２２ａ〜２２ｃの情報が記録されている。
また、中央視点を採用した場合および右シフト視点を採用した場合の右側境界２１のうち第１の右側点２１ａから第２の右側点２１ｂまでの直線部分は、現実の道路で自車両に対して真っ直ぐ後方に離れていく路面上の直線状の部分と、乗員表示用画像１０内において重なるよう、ＲＯＭ中で設定されている。換言すれば、乗員表示用画像１０中で第１の右側点２１ａから第２の右側点２１ｂまでの直線範囲に重なる路面上の範囲が、現実の（乗員表示用画像１０中でない）車両の前後方向にほぼ平行となる。
同様に、中央視点を採用した場合および左シフト視点を採用した場合の左側境界２２のうち第１の左側点２２ａから第２の左側点２２ｂまでの直線部分は、現実の道路で自車両に対して真っ直ぐ後方に離れていく路面上の直線状の部分と、乗員表示用画像１０内において重なるよう、ＲＯＭ中で設定されている。換言すれば、乗員表示用画像１０中で第１の左側点２２ａから第２の左側点２２ｂまでの範囲に重なる路面上の範囲が、現実の（乗員表示用画像１０中でない）車両の前後方向にほぼ平行となる。
このようにするための傾きの角度は、仮想視点および仮想視線方向が決まれば決まり、本実施形態においては仮想視線方向が固定なので、仮想視点の候補である中央視点、右サイド視点、左サイド視点の個々に対してこのような傾きを実現するよう、第２の右側点２１ｂ、第２の左側点２２ｂの位置座標をあらかじめ決めておくことができる。この方法については、本実施形態の最後に具体的に説明する。
ただし、画像合成ＥＣＵ９のＲＯＭ中では、各仮想視点候補に対応する第１の右側点２１ａ、第３の右側点２１ｃ、第１の左側点２２ａ、第３の左側点２２ｃの位置座標のそれぞれは、１つの決まった座標として記録されているが、各仮想視点候補の第２の右側点２１ｂ、第２の左側点２２ｂに関しては、制限速度によって変化する座標として定義され記録されている。
そして画像合成ＥＣＵ９は、直前のステップ１２４で設定した仮想視点に対応して記録されている第２の右側点２１ｂ、第２の左側点２２ｂの座標の定義をＲＯＭから読み出し、読み出した定義に対し、直前のステップ１２０で特定した制限速度を適用し、その結果得られた第２の右側点２１ｂ、第２の左側点２２ｂの座標を、今回設定する右側境界２１、左側境界２２の第２の右側点２１ｂ、第２の左側点２２ｂの座標として採用する。
第２の右側点２１ｂ、第２の左側点２２ｂの座標と、制限速度との関係は、以下の通りである。すなわち、乗員表示用画像１０中の第２の右側点２１ｂ、第２の左側点２２ｂの横方向（図６のｒ方向）の座標成分は、制限速度に無関係に一定であり、上下方向（図６のｓ方向）の座標成分は、制限速度が大きいほど上に移動する。
より具体的には、第２の右側点２１ｂ、第２の左側点２２ｂの乗員表示用画像１０内の上下方向の位置は、乗員表示用画像１０内において第２の右側点２１ｂ、第２の左側点２２ｂと重なる路面から、自車両の後端までの自車両の前後方向に沿った現実の距離が、Ｔメートルに設定されており、そのＴメートルは、自車両が走行している道路の制限速度が大きいほど長くなる。
続いてステップ１４０では、リア撮影画像を用いてリア表示用画像を作成すると共にそのリア表示用画像を乗員表示用画像１０中の右側境界２１と左側境界２２との間の領域に配置する。配置先の領域（以下、リア表示領域という）は、より正確には、図８に示すように、右側境界２１、左側境界２２、乗員表示用画像１０の上端、および自車両１１の画像の端部で囲まれた領域２５である。
ここで、リア撮影画像からリア表示用画像を作成する方法について説明する。撮影画像から表示画像を作成するには、まずリア撮影画像に対して周知の歪み補正を行い、歪み補正が行われた後のリア撮影画像に対して視点・視線変換を施し、その視点・視線変換を施した結果のリア撮影画像をリア表示用画像とする。
視点・視線変換は、画像変換の一種であり、より具体的には、リア撮影画像が、直前のステップ１２４で設定された仮想視点および仮想視線方向で撮影した場合の撮影画像の一部を構成するよう、リア撮影画像に対して施す画像変換である。
この視点・視線変換の概要について、図７を用いて説明する。図７のＸ、Ｙ、Ｚ座標系は、上述のグローバル座標系である。図７中、点３１が仮想視点であり、方向３２が仮想視線方向である。また、点３３がリアカメラ２の実際の視点であり、点３４がリアカメラ２の実際の視線方向である。
リアカメラ２で撮影され歪み補正されたリア撮影画像３５上に映った物体は、すべてＺ＝０の地平面３７に存在すると仮定すると、リア撮影画像３５中の任意の点が地平面３７上のどの地点（Ｘ、Ｙ座標）を撮影したものであるのかが一意に決まる。例えば、リア撮影画像３５中の点３６は地平面３７上の点３８を撮影したものであることになる。このような対応関係におけるリア撮影画像３５中の各点の座標（ｐ，ｑ）と地平面３７上の座標（Ｘ，Ｙ）との関係は、一次変換行列Ｔ０によって
Figure 2011035816
 のように表せる。リアカメラ２の視点３３および視線方向３４はリアカメラ２の自車両への設置位置および姿勢を決めた時点（すなわち設計時）に決まるので、この一次変換行列Ｔ０の値も設計時に決まる。
また同様に、仮想視点３１から仮想視線方向３２を撮影する仮想的なカメラがあったと仮定した場合、その仮想カメラの撮影画像３９中の任意の座標（ｒ，ｓ）が地平面３７上のどの地点（Ｘ、Ｙ座標）を撮影するものであるのかについての関係も、一次変換行列Ｔ１によって
Figure 2011035816
 と表せる。この変換行列Ｔ１の値は、仮想視点３１および仮想視線方向３２が決まれば一意に決まる。そして画像合成ＥＣＵ９のＲＯＭには、仮想視点３１の上述の３つの候補のそれぞれに対応する変換行列Ｔ１の値が記録されている。これらの関係から、地平面３７上の同じ地点に対応する仮想カメラ３１の撮影画像３９中の座標（ｒ，ｓ）とリア撮影画像３５中の各点の座標（ｐ，ｑ）との対応関係は、
Figure 2011035816
 で表せる。
この行列Ｔ２＝Ｔ０（Ｔ１）−１によって、仮想カメラ３１の撮影画像３９中の座標（ｒ，ｓ）とリア撮影画像３５中の各点の座標（ｐ，ｑ）との対応関係が一意に決まる。そしてこの変換行列Ｔ２は、リアカメラ２の視点３３および視線方向３４、ならびに仮想カメラの仮想視点３１および仮想視線方向３２が決まれば一意に決まる。画像合成ＥＣＵ９のＲＯＭには、仮想視点３１の候補としての中央視点、右サイド視点、左サイド視点のそれぞれを採用した場合の、仮想カメラの撮影画像３９中の座標（ｒ，ｓ）からリアカメラ２の撮影画像３５中の座標（ｐ，ｑ）への変換行列Ｔ２の値が記録されている。すなわち、リアカメラ２について３つの変換行列Ｔ２の値が記録されている。
画像合成ＥＣＵ９は、直前のステップ１２４で設定した仮想視点に対応して記録されているリアカメラ２の変換行列Ｔ２を読み出し、その変換行列を用いて、乗員表示用画像１０中の右側境界２１と左側境界２２との間のリア表示領域２５の各点（ｒ，ｓ）について、数３を用いて、リアカメラ２のリア撮影画像３５中の対応する点（ｐ，ｑ）を算出し、その算出した点（ｐ，ｑ）における画素を、当該乗員表示用画像１０中の当該点（ｒ，ｓ）の画素として採用する。このような作業を右側境界２１と左側境界２２との間のリア表示領域２５のすべての画素について行うことで、リア撮影画像が仮想視点および仮想視線方向で撮影した場合の撮影画像となるように視点・視線変換が行われると共に、変換後のリア表示用画像が乗員表示用画像１０の右側境界２１と左側境界２２との間に配置される。
続いてステップ１５０では、右サイド撮影画像を用いて右サイド表示用画像を作成すると共にその右サイド表示用画像を乗員表示用画像１０中の右側境界２１の右側に配置する。配置先の領域（以下、右サイド表示領域という）は、より正確には、図８に示すように、右側境界２１、乗員表示用画像１０の上端、乗員表示用画像１０の右端、および自車両１１の画像の端部で囲まれた領域２６である。
右サイド撮影画像から右サイド表示用画像を作成する方法は、リア表示用画像と同様、まず右サイド撮影画像に対して周知の歪み補正を行い、歪み補正が行われた後の右サイド撮影画像に対して、視点・視線変換を施し、その視点・視線変換を施した結果の右サイド撮影画像を右サイド表示用画像とする。
ここで用いる視点・視線変換は、右サイド撮影画像が、直前のステップ１２４で設定された仮想視点および仮想視線方向で撮影した場合の撮影画像となるよう、右サイド撮影画像に対して施す画像変換である。
この視点・視線変換の方法は、上述のリア撮影画像の場合と同じである。ただし、撮影に使用されたカメラが異なっているので、変換行列Ｔ２の値は異なる。画像合成ＥＣＵ９のＲＯＭには、仮想視点３１の候補としての中央視点、右サイド視点、左サイド視点のそれぞれを採用した場合の、仮想カメラの撮影画像３９中の座標（ｒ，ｓ）から右サイドカメラ３の撮影画像（すなわち右サイド撮影画像）中の座標（ｐ，ｑ）への変換行列Ｔ２の値も記録されている。すなわち、右サイドカメラ３について３つの変換行列Ｔ２の値が記録されている。
画像合成ＥＣＵ９は、直前のステップ１２４で設定した仮想視点に対応して記録されている右サイドカメラ３についての変換行列Ｔ２を読み出し、その変換行列を用いて、乗員表示用画像１０中の右側境界２１の右側の右サイド表示領域２６の各点（ｒ，ｓ）について、数３を用いて、右サイドカメラ３の右サイド撮影画像中の対応する点（ｐ，ｑ）を算出し、その算出した点（ｐ，ｑ）における画素を、当該乗員表示用画像１０中の当該点（ｒ，ｓ）の画素として採用する。
このような作業を右側境界２１の右側の右サイド表示領域２６のすべての画素について行う。その際、右サイド表示領域２６中の非撮影領域２６ａ中の各画素については、その点に対応する画素が右サイドカメラ３の右サイド撮影画像の範囲から外れているので、基本色（例えば、黒色、白色）に設定する。
このようにすることで、右サイド撮影画像が仮想視点および仮想視線方向で撮影した場合の撮影画像となるように視点・視線変換が行われると共に、変換後の右サイド表示用画像が乗員表示用画像１０の右側境界２１の右側の右サイド表示領域２６中（たたし非撮影領域２６ａを除く）に配置される。
続いてステップ１６０では、左サイド撮影画像を用いて左サイド表示用画像を作成すると共にその左サイド表示用画像を乗員表示用画像１０中の左側境界２２の左側に配置する。配置先の領域（以下、左サイド表示領域という）は、より正確には、図８に示すように、左側境界２２、乗員表示用画像１０の上端、乗員表示用画像１０の左端、および自車両１１の画像の端部で囲まれた領域２７である。
左サイド撮影画像から左サイド表示用画像を作成する方法は、リア表示用画像と同様、まず左サイド撮影画像に対して周知の歪み補正を行い、歪み補正が行われた後の左サイド撮影画像に対して、視点・視線変換を施し、その視点・視線変換を施した結果の左サイド撮影画像を左サイド表示用画像とする。
ここで用いる視点・視線変換は、左サイド撮影画像が、直前のステップ１２４で設定された仮想視点および仮想視線方向で撮影した場合の撮影画像となるよう、左サイド撮影画像に対して施す画像変換である。
この視点・視線変換の方法は、上述のリア撮影画像の場合と同じである。ただし、撮影に使用されたカメラが異なっているので、変換行列Ｔ２の値は異なる。画像合成ＥＣＵ９のＲＯＭには、仮想視点３１の候補としての中央視点、右サイド視点、左サイド視点のそれぞれを採用した場合の、仮想カメラの撮影画像３９中の座標（ｒ，ｓ）から左サイドカメラ４の撮影画像（すなわち左サイド撮影画像）中の座標（ｐ，ｑ）への変換行列Ｔ２の値も記録されている。すなわち、左サイドカメラ４について３つの変換行列Ｔ２の値が記録されている。
画像合成ＥＣＵ９は、直前のステップ１２４で設定した仮想視点に対応して記録されている左サイドカメラ４についての変換行列Ｔ２を読み出し、その変換行列を用いて、乗員表示用画像１０中の左側境界２２の左側の左サイド表示領域２７の各点（ｒ，ｓ）について、数３を用いて、左サイドカメラ４の右サイド撮影画像中の対応する点（ｐ，ｑ）を算出し、その算出した点（ｐ，ｑ）における画素を、当該乗員表示用画像１０中の当該点（ｒ，ｓ）の画素として採用する。
このような作業をリアカメラ２の左側の左サイド表示領域２７のすべての画素について行う。その際、左サイド表示領域２７中の非撮影領域２７ａ中の各画素については、その点に対応する画素が左サイドカメラ４の左サイド撮影画像の範囲から外れているので、基本色（例えば、黒色、白色）に設定する。
このようにすることで、左サイド撮影画像が仮想視点および仮想視線方向で撮影した場合の撮影画像となるように視点・視線変換が行われると共に、変換後の左サイド表示用画像が乗員表示用画像１０の左側境界２２の左側の左サイド表示領域２７中（たたし非撮影領域２７ａを除く）に配置される。
続いてステップ１７０では、直前のステップ１３０で設定した右側境界２１、左側境界２２を表す実線の画像を、乗員表示用画像１０に付加する。このようにすることで、ディスプレイ５に表示される乗員表示用画像１０において、乗員は右側境界２１、左側境界２２の位置を視認することができる。
図９に、リア表示用画像、右サイド表示用画像、左サイド表示用画像が繋がって配置され、それら表示用画像の境目の右側境界２１、左側境界２２を表す実線が付加された乗員表示用画像１０の一例を示す。これらリア表示用画像、右サイド表示用画像、左サイド表示用画像は、同じ仮想視点および仮想視線方向を用いて視点・視線変化されたものであるので、それらの画像の境界においては、車両外部の風景の連続性がある程度確保されている。
続いてステップ１７５では、乗員表示用画像１０の右サイド表示領域２６および左サイド表示領域２７に対してマスク処理を施す。具体的には、図１０に示すように、右サイド表示領域２６中の右上隅の三角形の領域２６ｂと、左サイド表示領域２７の左上隅の三角形の領域２７ｂを、基本色で塗り潰す。
このように、画像合成ＥＣＵ９は、乗員表示用画像１０中の右上隅の三角形の部分には、右サイド表示用画像を表示させず、また左上隅の三角形の部分には、左サイド表示用画像を表示させない。
上記三角形部分の位置に該当する画像は、一般的に歪みやボケが他の位置よりも大きく、しかも乗員の安全走行にとっての情報としては、必要性が低い。したがって、その位置に右サイド表示用画像、左サイド表示用画像を表示させないことで、乗員の安全走行に悪影響を及ぼさず、かつ、乗員表示用画像１０の全体的な品質が向上する。
続いてステップ１８０では、乗員表示用画像１０に距離把握補助用画像を追加する。図１１に、乗員表示用画像１０中に追加された距離把握補助用画像４１〜４４の例を示す。距離把握補助用画像４１〜４４のそれぞれは、運転者に車線変更の危険度を明確に把握させるようにするための線状に伸びる画像である。
より具体的には、距離把握補助用画像４１〜４４は、右側境界２１付近の上下にずれた２つの位置から右横に水平に伸びる第１右側距離把握補助用画像４１および第２右側距離把握補助用画像４２、ならびに、左側境界２２付近の上下にずれた２つの位置から左横に水平に伸びる第１左側距離把握補助用画像４１および第２左側距離把握補助用画像４４を含む。なお、付近とは、例えば、乗員表示用画像１０の横方向の最大長さの１／１０よりも近いことをいう。
このように、右側境界２１付近から右横に延びる複数の上下にずれた右側距離把握補助用画像４１、４２を乗員表示用画像１０に含めることで、運転者は、乗員表示用画像１０中で右側距離把握補助用画像４１、４２と後方車両との位置関係を確認し、それにより、右車線に安全に移動するタイミングを適切に計ることができる。また、左側境界２２付近から左横に延びる複数の上下にずれた左側距離把握補助用画像４３、４４を乗員表示用画像１０に含めることで、運転者は、乗員表示用画像１０中で左側距離把握補助用画像４３、４４と後方車両との位置関係を確認し、それにより、左車線に安全に移動するタイミングを適切に計ることができる。
また、距離把握補助用画像４１〜４４のそれぞれは、乗員表示用画像１０中で横方向に長い平行四辺形を横方向に複数個並べた形状となっている。そして、それら複数の平行四辺形の２つの長辺は横方向に延びている。
また、右側距離把握補助用画像４１、４２においては、２つの短辺は、左斜め上に延びており、左側距離把握補助用画像４３、４４においては、２つの短辺は、右斜め上に延びている。
このようになっていることで、人間の目の錯覚により、これら平行四辺形が、道路上に真横に（すなわち道路の進行方向に直角な方向に）並ぶ長方形のように見える。これによって、乗員表示用画像１０の遠近感が増し、ひいては乗員が乗員表示用画像１０を見て実際の距離感を把握し易くなる。
なお、距離把握補助用画像４１〜４４の平行四辺形のそれぞれは、乗員表示用画像１０内で当該複数の平行四辺形のそれぞれと重なっている路面上の範囲の現実の道路における形状が長方形となるよう、短辺の傾きが設定されていてもよい。このようにすることで、乗員表示用画像１０の遠近感がより現実に近くなる。
このような、現実の路面の長方形に模した平行四辺形を実現するためには、画像合成ＥＣＵ９は、図７の仮想的な地平面３７上に、短辺が自車両の前後方向に平行な長方形を、自車両の左右方向に複数個並べ、それら長方形の各辺のＸ、Ｙ座標に、上述の変換行列Ｔ１（現在採用している仮想視点に対応する変換行列Ｔ１）を作用させ、それによって、仮想視点３１、仮想視線方向３２で撮影した撮影画像３５中のｒ、ｓ座標に変換し、その変換結果のｒ、ｓ座標を、乗員表示用画像１０中の平行四辺形の辺の位置座標とすればよい。
また、乗員表示用画像１０内で第１右側距離把握補助用画像４１と第２右側距離把握補助用画像４２の横方向の長さは異なっている。具体的には、自車両１１よりも遠い方にある第１右側距離把握補助用画像４１が、第２右側距離把握補助用画像４２よりも短くなっている。
しかし、これら右側距離把握補助用画像４１、４２は、乗員表示用画像１０中で、右サイド表示用画像の路面と重なっている。つまり、乗員から見れば、乗員表示用画像１０中において、右側距離把握補助用画像４１、４２は、右サイドカメラ３によって撮影された路面に投影されている。そして、この投影された先の路面（右サイド表用画像中の路面）を基準として見れば、右側距離把握補助用画像４１、４２に重なる路面上の線状の範囲の現実の長さは、第１右側距離把握補助用画像４１と第２右側距離把握補助用画像４２とで等しくなるようになっている。
同様に、乗員から見れば、乗員表示用画像１０中において、左側距離把握補助用画像４３、４４は、左サイドカメラ４によって撮影された路面に投影されている。そして、この投影された先の路面（左サイド表用画像中の路面）を基準として見れば、左側距離把握補助用画像４３、４４に重なる路面上の線状の範囲の現実の長さは、第１左側距離把握補助用画像４３と第２左側距離把握補助用画像４４とで等しくなるようになっている。
このようになっていることで、第１右側距離把握補助用画像４１と第２右側距離把握補助用画像４２との関係から、また、第１左側距離把握補助用画像４３と第２左側距離把握補助用画像４４との関係から、乗員表示用画像１０の立体感が増す。
このようにするには、画像合成ＥＣＵ９は、乗員表示用画像１０中で距離把握補助用画像４１〜４４と重なる路面の現実の長さがWメートルとなるように設定すればよい。具体的には、図７の仮想的な地平面３７上に、自車両の左右方向に平行な長さWメートルの線を配置し、その線のＸ、Ｙ座標に、上述の変換行列Ｔ１（現在採用している仮想視点に対応する変換行列Ｔ１）を作用させ、それによって、仮想視点３１、仮想視線方向３２で撮影した撮影画像３５中のｒ、ｓ座標に変換し、その変換結果のｒ、ｓ座標を、乗員表示用画像１０中において距離把握補助用画像４１〜４４を配置する位置座標とすればよい。
なお、このWメートルとしては、例えば、平均的な車線の幅である３メートルを採用してもよい。あるいは、Wメートルは、自車両が現在走行している道路の車線幅が大きくなるほど長くするようになっていてもよい。この場合、自車両が現在走行している道路の車線幅は、ナビゲーションシステム７に要求して取得するようになっていてもよい。
また、第１右側距離把握補助用画像４１および第１左側距離把握補助用画像４３の乗員表示用画像１０内の上下方向の位置は同じである。また、第２右側距離把握補助用画像４２および第２左側距離把握補助用画像４４の乗員表示用画像１０内の上下方向の位置は同じである。
距離把握補助用画像４１〜４４の乗員表示用画像１０内の上下方向の位置は、以下のように決められている。すなわち、乗員表示用画像１０内においてそれら距離把握補助用画像４１〜４４と重なる路面から、車両の後端までの、車両の前後方向に沿った現実の距離が、所定のＤメートルとなるように設定する。
このようにするには、画像合成ＥＣＵ９は、図７の仮想的な地平面３７上に、自車両の中央後端部から自車両の前後方向に沿ってDメートル後ろに離れた位置のＸ、Ｙ座標を特定し、そのＸ、Ｙ座標に上述の変換行列Ｔ１（現在採用している仮想視点に対応する変換行列Ｔ１）を作用させ、それによって、仮想視点３１、仮想視線方向３２で撮影した撮影画像３５中のｒ、ｓ座標に変換し、その変換結果のｒ、ｓ座標のｓ成分（すなわち上下方向の成分）を、距離把握補助用画像４１〜４４を配置する上下方向の位置のｓ成分とすればよい。
そして、このＤメートルは、距離把握補助用画像４１、４３の組内では同じであり、距離把握補助用画像４２、４４の組内では同じであるが、これら２つの組間では異なっている。しかし、どちらの組でも、Ｄメートルは、直前のステップ１２０で特定した道路の制限速度に応じて決定される。具体的には、Ｄメートルは、制限速度が大きくなるほど長くなる。
道路の制限速度が大きいということは、その道路を走行する複数の車両の走行速度のばらつきが大きいことを意味する。したがって、そのような場合には、後方の車両と自車両との速度差が大きくなり易い。したがって、自車両の車線変更にとって安全であるとみなせる車間距離は、道路の制限速度が大きいほど大きくなる。
それ故、上記のように複数の距離把握補助用画像４１〜４４のそれぞれの自車両からの距離を、自車両が走行している道路の制限速度が大きくなるほど長くなるようにすることで、道路の種類に応じた適正な安全距離を用いて、距離把握補助用画像４１〜４４の位置を設定することができる。
あるいは、上記のＤメートルは、距離把握補助用画像４１、４３の組内では３０メートルに設定され、距離把握補助用画像４２、４４の組内では３メートルから７メートルの範囲内のいずれかに設定されるようになっていてもよい。
図１２に、自車両１１と右隣車線の後続車両１２との車間距離を示す。この３０メートルという値は、ＩＳＯ等の規格で定められた安全距離である。このような位置に距離把握補助用画像４１、４３が配置されていることで、乗員は、距離把握補助用画像４１、４３と後方車両との位置関係を把握して、右隣および左隣の車線において後方車両が自車両に安全距離よりも近づいているか否かを容易に把握することができる。
また、この３メートルという値は、ＩＳＯ等の規格で定められた距離であり、隣の車線の後方車両が自車両からこの距離以内にいれば、その車線への車線変更は不可能とみなせるような距離である。このような位置あるいは少し余裕を取って３〜７メートル離れた位置に距離把握補助用画像４２、４４が配置されていることで、乗員は、距離把握補助用画像４２、４４と後方車両との位置関係を把握して、自車両が右に車線変更できるか否かを容易に把握することができる。
なお、距離把握補助用画像４１〜４４のうちいずれを乗員表示用画像１０に含めるかについては、直前のステップ１２２で特定したウインカーの作動状態に基づいて決定してもよい。すなわち、図４の表に示すように、ウインカーの作動状態がオフ状態である場合は、距離把握補助用画像４１〜４４のすべてを乗員表示用画像１０に含め、右折指示状態である場合は、図１３に示すように、右側距離把握補助用画像４１、４２を乗員表示用画像１０に含めると共に左側距離把握補助用画像４３、４４を乗員表示用画像１０に含めず、左折指示状態である場合は、図１４に示すように、左側距離把握補助用画像４３、４４を乗員表示用画像１０に含めると共に右側距離把握補助用画像４１、４２を乗員表示用画像１０に含めないようにしてもよい。
ウインカーが右折を示しているということは、乗員が車両を右側に移動させようとしているということである。そのような場合に、上記のように、右側距離把握補助用画像４１、４２は、乗員表示用画像１０に含めるが、左側距離把握補助用画像４３、４４は、乗員表示用画像１０に含めないことで、乗員に車両の右側への注意をより集中させることができる。ウインカーが左折を示している場合も同様の理由で、左側距離把握補助用画像４３、４４は、乗員表示用画像１０に含めるが、右側距離把握補助用画像４１、４２は、乗員表示用画像１０に含めないことで、乗員に車両の左側への注意をより集中させることができる。
このようなステップ１４０から１８０の処理により、乗員表示用画像１０中の右側境界２１の右側に、右サイド撮影画像を用いて作成した右サイド表示用画像を配置し、左側境界２２の左側に、左サイド撮影画像を用いて作成した左サイド表示用画像を配置し、右側境界２１と左側境界２２との間に、リア撮影画像を用いて作成したリア表示用画像を配置する。これにより、乗員表示用画像１０中で右サイド撮影画像、左サイド撮影画像、およびリア撮影画像を合成する（より具体的には繋ぎ合わせる）ことができる。
続いてステップ１８０では、ステップ１４０〜１８０のようにして右サイド撮影画像、左サイド撮影画像、リア撮影画像等が合成された乗員表示用画像１０を、ディスプレイ５に表示させる。自車両の乗員は、この表示を見ることによって、自車両の後方の車両の位置を確認することができる。
以上説明したように、ウインカーの作動状態がオフ状態または右折指示状態の場合、図１１、図１３に示すように、右サイド表示用画像とリア表示用画像との境界である右側境界２１は、第１の右側点２１ａから第２の右側点２１ｂまで延び、乗員表示用画像１０中で第１の右側点２１ａから第２の右側点２１ｂまでの範囲に重なる路面上の範囲が、自車両１１の前後方向にほぼ平行となっている。
このようになっていることで、自車両１１が車線に沿って走行している限り、右側境界２１のうち第１の右側点２１ａから第２の右側点２１ｂまでの部分は、乗員表示用画像１０において、現実の道路の車線とほぼ平行に延びる。このようになっていることで、右側境界２１のうち第１の右側点２１ａから第２の右側点２１ｂまでの部分は、隣の車線に入ることはほとんどない。つまり、第１の右側点２１ａから第２の右側点２１ｂまでの部分は、右隣の車線にいる後方車両の視認性を悪化させることがほとんどない。
また、ウインカーの作動状態がオフ状態または左折指示状態の場合、図１１、図１４に示すように、左サイド表示用画像とリア表示用画像との境界である左側境界２２は、第１の左側点２２ａから第２の左側点２２ｂまで延び、乗員表示用画像１０中で第１の左側点２２ａから第２の左側点２２ｂまでの範囲に重なる路面上の範囲が、自車両１１の前後方向にほぼ平行となっている。
このようになっていることで、自車両１１が車線に沿って走行している限り、左側境界２２のうち第１の左側点２２ａから第２の左側点２２ｂまでの部分は、乗員表示用画像１０において、現実の道路の車線とほぼ平行に延びる。このようになっていることで、右側境界２１のうち第１の左側点２２ａから第２の左側点２２ｂまでの部分は、隣の車線に入ることはほとんどない。つまり、第１の左側点２２ａから第２の左側点２２ｂまでの部分は、左隣の車線にいる後方車両の視認性を悪化させることがほとんどない。
なお、「ほぼ平行」とは、右側境界２１の第１の右側点２１ａから第２の右側点２１ｂまでの部分が右隣車線の後続車両の視認性を悪化させない程度の精度で平行であればよいという意味であり、左側境界２２の第１の左側点２２ａから第２の左側点２２ｂまでの部分が左隣車線の後続車両の視認性を悪化させない程度の精度で平行であればよいという意味である。具体的には、完全に平行な状態よりも±１０°以内の範囲でずれていても、「ほぼ平行と言える。
さらに右側境界２１は、ウインカーの作動状態がオフ状態または右折指示状態の場合、図１１、図１３に示すように、第２の右側点２１ｂにおいて右方向に屈曲し、第２の右側点２１ｂから第３の右側点２１ｃまで斜め右上に延びるようになっている。
また、左側境界２２は、ウインカーの作動状態がオフ状態または左折指示状態の場合、図１１、図１４に示すように、第２の左側点２２ｂにおいて左方向に屈曲し、第２の左側点２２ｂから第３の左側点２２ｃまで斜め左上に延びるようになっている。
合成画像においては、リア表示用画像よりも右サイド表示用画像および左サイド表示用画像の方が歪みが大きく視認性が高い。これは、右サイドカメラ３、左サイドカメラ４で撮影された車両の後方部分は、右サイドカメラ３、左サイドカメラ４の撮影範囲の端部に位置するので、歪みが大きいのに対し、リアカメラ２で撮影された車両の後方部分は、リアカメラ２の撮影範囲の中心部に比較的近いので、比較的歪みが小さいからである。
したがって、上記のようにすることで、より視認性の高いリア表示用画像の表示範囲を広く取りつつも、右側境界２１、左側境界２２が隣の車線に入る位置を後方にすることで、後方車両の視認性の悪さが車線変更に支障を来してしまう可能性の低減も実現することができる。
また、ウインカーの作動状態がオフ状態の場合、右側境界２１は乗員表示用画像１０内において、第１の右側点２１ａから第２の右側点２１ｂまで左に行くにつれて上がるよう設定されている。このように、右側境界２１が第１の右側点から第２の右側点まで左上がりに延びていることで、右側境界２１が右隣の車線まで延びなくなるか、あるいは、右隣の車線に入ったとしても、その位置は従来よりも後方となっている。したがって、右隣の車線の後続車両の視認性の悪さが解消されるか、あるいは右隣の車線の後続車両の視認性の悪さが解消されないまでも、視認性の悪くなる位置は従来よりも自車両から離れているので、後方車両の視認性の悪さが車線変更に支障を来してしまう可能性は低減される。なぜなら、後方車両が自車両に近いほど車線変更に及ぼす影響が大きいからである。
また同様に、ウインカーの作動状態がオフ状態の場合、左側境界２２は乗員表示用画像１０内において、第１の左側点２２ａから第２の左側点２２ｂまで右に行くにつれて上がるよう設定されている。このようになっていることで、右側境界２１の場合と同様の理由で、左隣の車線の後続車両の視認性の悪さが解消されるか、あるいは左隣の車線の後続車両の視認性の悪さが解消されないまでも、視認性の悪くなる位置は従来よりも自車両から離れているので、後方車両の視認性の悪さが車線変更に支障を来してしまう可能性は低減される。
また、第２の右側点２１ｂ（または第２の左側点２２ｂ）の乗員表示用画像１０内の上下方向の位置は、乗員表示用画像１０内において乗員表示用画像１０と重なる路面から、自車両の後端までの車両前後方向に沿った現実の距離が、Ｔメートルに設定されており、そのＴメートルは、車両が走行している道路の制限速度が大きいほど長くなる。
道路の制限速度が大きいということは、その道路を走行する複数の車両の走行速度のばらつきが大きいことを意味する。したがって、そのような場合には、後方の車両と自車両との速度差が大きくなり易い。したがって、自車両の車線変更にとって安全であるとみなせる車間距離は、道路の制限速度が大きいほど大きくなる。
それ故、上記のように、屈曲点である第２の右側点２１ｂ（または第２の左側点２２ｂ）を自車両からＴメートル後方に離れた地点に設定し、そのＴメートルは、車両が走行している道路の制限速度が大きくなるほど長くなるようにすることで、道路の種類に応じた適正な安全距離を用いて、第２の右側点２１ｂ（または第２の左側点２２ｂ）を設定することができる。
また、右側境界２１は、ウインカーが左折を示している場合、乗員表示用画像１０内において一律に左上がりになっている。左側境界２２は、ウインカーが右折を示している場合、乗員表示用画像１０内において一律に左上がりになっている。
このように、車両のウインカーが左折（または右折）を示している場合、反対側の右側境界２１（または左側境界２２）は一律に右上がり（または左上がり）になっている。ウインカーが右折（または左折）を示しているということは、乗員が車両を左側（または右側）に移動させようとしているということである。そのような場合は、右隣（または左隣）の車線の後方車両の情報は必要性が低いので、右側境界２１（または左側境界２２）の存在のせいで右隣（または左隣）の車線の後方車両の画像が乱れるとしても、一般的に歪みの少ないリア表示用画像を広く表示させた方が、乗員にとって利便性が高い。
また、画像合成ＥＣＵ９は、現実の自車両に対する所定の相対位置に仮想視点を設定すると共に、現実の自車両の向きに対する所定の相対方向に仮想視線方向を設定し、さらに、設定された仮想視点および仮想視線方向で撮影した場合の撮影画像となるよう、リア撮影画像、右サイド撮影画像、左サイド撮影画像に対して視線・視点変換を施し、その視線・視点変換を施した結果の画像をリア表示用画像、右サイド表示用画像、左表示用画像として用いる。そして画像合成ＥＣＵ９は、自車両のウインカーが右折を示している場合、ウインカーが右折も左折も示していない場合と比べて、仮想視線方向を同じ向きに保ったまま、仮想視点をより右側に設定し（図１３参照）、自車両のウインカーが左折を示している場合、ウインカーが右折も左折も示していない場合と比べて、仮想視線方向を同じ向きに保ったまま、仮想視点をより左側に設定する（図１４参照）。
このようにすることで、車両のウインカーが右折を示している場合、すなわち、乗員が車両を右側に移動させようとしている場合、視線方向変化しないまま、視点が右に移動するので、乗員表示用画像１０内において自車両の右後方の画像が占める範囲が大きくなる。すなわち、これから移動しようとする側が、乗員表示用画像１０内においてよく見えるようになる。車両のウインカーが右折を示している場合も同様の理由で、これから移動しようとする側（左側）が、乗員表示用画像１０内においてよく見える。
ここで、乗員表示用画像１０中で第１の右側点２１ａから第２の右側点２１ｂまでの範囲に重なる路面上の範囲が、現実の車両の前後方向にほぼ平行となり、かつ、第２の右側点２１ｂと重なる路面から、自車両の後端までの自車両の前後方向に沿った現実の距離が、Ｔメートルとなるよう、第２の右側点２１ｂの乗員表示用画像１０中の位置座標ｒ、ｓを設定する方法について説明する。
このようにするには、画像合成ＥＣＵ９は、図７の仮想的な地平面３７上に、自車両の右後端部から自車両の前後方向に沿って後方にＴメートルだけ離れた位置のＸ、Ｙ座標を特定し、そのＸ、Ｙ座標に上述の変換行列Ｔ１（現在採用している仮想視点に対応する変換行列Ｔ１）を作用させ、それによって、仮想視点３１、仮想視線方向３２で撮影した撮影画像３５中のｒ、ｓ座標に変換し、その変換結果のｒ、ｓ座標を、第２の右側点２１ｂとすればよい。
また、乗員表示用画像１０中で第１の左側点２２ａから第２の左側点２２ｂまでの範囲に重なる路面上の範囲が、現実の（乗員表示用画像１０中でない）車両の前後方向にほぼ平行となり、かつ、第２の左側点２２ｂと重なる路面から、自車両の後端までの自車両の前後方向に沿った現実の距離が、Ｔメートルとなるよう、第２の左側点２２ｂの乗員表示用画像１０中の位置座標ｒ、ｓを設定する方法も、同様に実現できる。
すなわち、画像合成ＥＣＵ９は、図７の仮想的な地平面３７上に、自車両の左後端部から自車両の前後方向に沿って後方にＴメートルだけ離れた位置のＸ、Ｙ座標を特定し、そのＸ、Ｙ座標に上述の変換行列Ｔ１（現在採用している仮想視点に対応する変換行列Ｔ１）を作用させ、それによって、仮想視点３１、仮想視線方向３２で撮影した撮影画像３５中のｒ、ｓ座標に変換し、その変換結果のｒ、ｓ座標を、第２の左側点２２ｂとすればよい。
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
例えば、乗員表示用画像１０中の右側境界２１、左側境界２２の形状は、必ずしも上記実施形態のようになっておらずともよい。例えば、図１５、図１６に示すようなものになっていてもよい。
図１５の例においては、乗員表示用画像１０内において、右側境界２１が第１の右側点２１ａから第２の右側点２１ｂまで左に行くにつれて上がり、左側境界２２が第１の左側点２２ａから第２の左側点２２ｂまで右に行くにつれて上がるようになっている。この点は、上記実施形態においてウインカーがオフ状態となっている場合と同じである。
ただし、図１５の例では、第２の右側点２１ｂと第２の左側点２２ｂとは同じ位置にあり、右側境界２１と左側境界２２とは第２の右側点２１ｂ（すなわち第２の左側点２２ｂ）で交わった後、１つとなって第２の右側点２１ｂから第３の点２１ｃまで真上に延びている。このようになっていれば、左サイド表示用画像および右サイド表示用画像が広く使用されるので、左右の隣の車線のみを確認するためには都合が良い。
また、図１６の例においては、乗員表示用画像１０内において右側境界２１が第１の右側点２１ａから第２の右側点２１ｂまで水平に右横方向に延び、第２の右側点２１ｂから第３の右側点２１ｃまで真上または斜め右上方向に延びるようになっている。また、左側境界２２が第１の左側点２２ａから第２の左側点２２ｂまで水平に左横方向に延び、第２の左側点２２ｂから第３の左側点２２ｃまで真上または斜め左上方向に延びるようになっている。すなわち、右側境界２１および左側境界２２は、それぞれクランク形状になっている。
また、第１の右側点２１ａ、第２の右側点２１ｂ、第１の左側点２２ａ、第２の左側点２２ｂの乗員表示用画像１０内の上下方向の位置は同じであり、具体的には、乗員表示用画像１０内において第１の右側点２１ａ、第２の右側点２１ｂ、第１の左側点２２ａ、第２の左側点２２ｂのと重なる路面から、自車両の後端までの自車両の前後方向に沿った現実の距離が、３メートルから７メートルまでの範囲のいずれかとなるように設定されている。
さらに画像合成ＥＣＵ９は、右側境界２１および左側境界２２を示す線の画像を乗員表示用画像１０中に含めるようになっている。
このように、線の画像として乗員表示用画像１０中に含まれる右側境界２１、左側境界２２は、まず水平に横に延びて、その後上または斜め上に延びる。そして、その横に延びる部分は、車両の後端から真っ直ぐ後方に３メートル離れた地点の路面に一致するように配置されている。
この３メートルという値は、ＩＳＯ等の規格で定められた距離であり、隣の車線の後方車両が自車両からこの距離以内にいれば、その車線への車線変更は不可能とみなせるような距離である。このような位置あるいは少し余裕を取って３〜７メートルの範囲に離れた位置に、右側境界２１、左側境界２２を示す線の画像が横方向に延びていることで、乗員は、右側境界２１、左側境界２２を表す線画像と後方車両との位置関係を把握して、自車両が右に車線変更できるか否かを容易に把握することができる。つまり、右側境界２１、左側境界２２が、距離把握補助用画像としての機能も果たす。しかも、この線画像よりも近づいた後方車両は、左サイド表示用画像内に完全に入るので、右側境界２１、左側境界２２を跨いでいるが故に見づらいということがない。したがって、自車両の車線変更が危険なほどに後方車両が近づいてきたことを乗員により強く印象付けることができる。
また、上記実施形態においては、右側境界２１、左側境界２２を表す線が乗員表示用画像１０に含まれているが、このような線は必ずしも乗員表示用画像１０中に含まれていなくともよい。
また画像合成ＥＣＵ９は、上記実施形態では、図４に示したように、ウインカーの作動状態に応じて仮想視点、仮想視線方向、素材画像、境界の形状、補助線の有無等が変化するようになっている。しかしウインカーの作動状態に関わらず、上記実施形態のオフ状態の時と同じ仮想視点、仮想視線方向、素材画像、境界の形状、補助線の有無で作動してもよい。
また、画像合成ＥＣＵ９は、ウインカーの作動状態が右折指示状態および左折指示状態のいずれかであるときにのみ、上記実施形態に示したような表示をディスプレイ５に行わせるようになっていてもよい。
また、上記実施形態においては、屈曲点である第２の右側点２１ｂ、第２の左側点２２ｂの乗員表示用画像１０中の上下方向の位置が、自車両の走行する道路の制限速度に応じて変化するようになっている。具体的には、制限速度が大きいほど、第２の右側点２１ｂ、第２の左側点２２ｂの位置がより上方となる。
しかし、このようなものに限らず、第２の右側点２１ｂ、第２の左側点２２ｂの乗員表示用画像１０中の上下方向の位置が、自車両の走行速度に応じて変化するようになっていてもよい。具体的には、走行速度が大きいほど、第２の右側点２１ｂ、第２の左側点２２ｂの位置がより上方なるようにしてもよい。
また、第２の右側点２１ｂ、第２の左側点２２ｂの乗員表示用画像１０中の上下方向の位置は、制限速度にも走行速度にも無関係に一定となっていてもよい。例えば、第２の右側点２１ｂ、第２の左側点２２ｂの乗員表示用画像１０内の上下方向の位置は、乗員表示用画像１０内において第２の右側点２１ｂ、第２の左側点２２ｂと重なる路面から、前記車両の後端までの自車両前後方向に沿った現実の距離が、３０メートルに設定されていてもよい。
この３０メートルという値は、ＩＳＯ等の規格で定められた安全距離である。このようになっていることで、少なくとも自車両から３０メートル以内の後方にある車両、すなわち自車両に安全距離よりも近い車両については、右側境界２１、左側境界２２を跨ぐことはないので、視認性が良い。
また、上記実施形態においては、リア撮影画像に対して歪み補正および視点・視線変換を施したものをリア表示用画像としているが、リア撮影画像に対して歪み補正および拡大・縮小変換のみを施し視点・視線変換を施さないものをリア表示用画像としてもよい。このようにすることで、リア撮影画像の歪みがより低減される。
また、上記実施形態では、左サイドカメラ、右サイドカメラ、後方カメラの３つのカメラの撮影画像を繋ぎ合わせているが、それ以外のカメラ（例えば、前方カメラ）を更に繋ぎ合わせてもよい。本願発明は、少なくとも左サイドカメラ、右サイドカメラ、後方カメラの３つのカメラの撮影画像を組み合わせた画像を合成するようになっていれば足りる。
なお、上記実施形態においては、画像合成ＥＣＵ９が、プログラム１００のステップ１１０を実行することで、撮影画像取得手段の一例として機能し、ステップ１３０を実行することで境界設定手段の一例として機能し、ステップ１４０〜１８０を実行することで画像合成手段の一例として機能し、ステップ１９０を実行することで描画制御手段の一例として機能する。
しかし、このように画像合成ＥＣＵ９がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。
１〜４ カメラ
９ 画像合成ＥＣＵ
１０ 乗員表示用画像
１０ａ〜１０ｃ 素材画像
２１ 右側境界
２１ａ 第１の右側点
２１ｂ 第２の右側点
２１ｃ 第３の右側点
２２ 左側境界
２２ａ 第１の左側点
２２ｂ 第２の左側点
２２ｃ 第３の左側点
２６ｂ、２７ｂ マスク領域
３１ 仮想視点
３２ 仮想視線方向
３３ 実際のカメラの視点
３４ 実際のカメラの視線方向
４１〜４４ 距離把握補助用画像

Claims (16)

  1. 車両の後方正面を撮影するリアカメラが出力するリア撮影画像を取得し、前記車両の左側後方を撮影する左サイドカメラが出力する左サイド撮影画像を取得し、前記車両の右側後方を撮影する右サイドカメラが出力する右サイド撮影画像を取得する撮影画像取得手段（１１０）と、
    乗員に表示するための乗員表示用画像（１０）の中に、右側境界（２１）および左側境界（２２）を設定する境界設定手段（１３０）と、
    前記乗員表示用画像（１０）中の前記右側境界（２１）の右側に、前記右サイド撮影画像を用いて作成した右サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記左側境界（２２）の左側に、前記左サイド撮影画像を用いて作成した左サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記右側境界（２１）と左側境界（２２）との間に、前記リア撮影画像を用いて作成したリア表示用画像を配置することで、前記乗員表示用画像（１０）中で前記右サイド撮影画像、前記左サイド撮影画像、および前記リア撮影画像を合成する画像合成手段（１４０〜１８０）と、
    前記画像合成生成手段（１４０〜１８０）によって前記左サイド表示用画像、前記右サイド表示用画像、および前記リア表示用画像が合成された後の前記乗員表示用画像（１０）を画像表示装置（５）に表示させる描画制御手段（１９０）と、を備え、
    前記右側境界（２１）は、第１の右側点から第２の右側点まで延び、前記乗員表示用画像（１０）中で前記第１の右側点から前記第２の右側点までの範囲に重なる路面上の範囲が、現実の前記車両の前後方向にほぼ平行となるよう、前記境界設定手段（１３０）によって設定されており、
    さらに前記右側境界（２１）は、前記第２の右側点において右方向に屈曲し、前記第２の右側点から前記第３の右側点まで斜め右上に延びるよう、前記境界設定手段（１３０）によって設定されていることを特徴とする車両周囲画像表示制御装置。
  2. 前記第２の右側点の前記乗員表示用画像（１０）内の上下方向の位置は、前記乗員表示用画像（１０）内において前記第２の右側点と重なる路面から、前記車両の後端までの現実の距離が、３０メートルに設定されていることを特徴とする請求項１に記載の車両周囲画像表示制御装置。
  3. 前記第２の右側点の前記乗員表示用画像（１０）内の上下方向の位置は、前記乗員表示用画像（１０）内において前記第２の右側点と重なる路面から、前記車両の後端までの現実の距離が、Ｔメートルに設定されており、
    前記Ｔメートルは、前記車両が走行している道路の制限速度が大きいほど長くなることを特徴とする請求項１に記載の車両周囲画像表示制御装置。
  4. 前記画像合成手段（１４０〜１８０）は、前記乗員表示用画像（１０）内において前記右側境界（２１）付近の上下にずれた複数の位置からから右横に延びる複数の右側距離把握補助用画像（４１、４２）を、前記乗員表示用画像（１０）に含めることを特徴とする請求項１ないし３のいずれか１つに記載の車両周囲画像表示制御装置。
  5. 前記乗員表示用画像（１０）内で前記複数の右側距離把握補助用画像（４１、４２）と重なっている路面の現実の長さが、それぞれ同じ長さとなるよう、前記複数の右側距離把握補助用画像の横方向の長さが設定されていることを特徴とする請求項４に記載の車両周囲画像表示制御装置。
  6. 前記複数の右側距離把握補助用画像（４１、４２）のそれぞれは、横方向に長い平行四辺形を横方向に複数個並べた形状となっており、それら複数の平行四辺形の２つの長辺は横方向に延びており、２つの短辺は、左斜め上に延びていることを特徴とする請求項４または５に記載の車両周囲画像表示制御装置。
  7. 前記複数の右側距離把握補助用画像（４１、４２）のうち第１の右側距離把握補助用画像（４１）が前記乗員表示用画像（１０）内に配置される上下方向の位置は、前記乗員表示用画像（１０）内において前記第１の右側距離把握補助用画像（４１）と重なる路面から、前記車両の後端までの現実の距離が、３０メートルに設定されていることを特徴とする請求項４ないし６のいずれか１つに記載の車両周囲画像表示制御装置。
  8. 前記複数の右側距離把握補助用画像（４１、４２）のうち前記第１の右側距離把握補助用画像（４１）とは異なる第２の右側距離把握補助用画像（４２）が前記乗員表示用画像（１０）内に配置される上下方向の位置は、前記乗員表示用画像（１０）内において前記第２の右側距離把握補助用画像（４２）と重なる路面から、前記車両の後端までの現実の距離が、３メートルから７メートルまでの範囲のいずれかに設定されていることを特徴とする請求項４ないし７のいずれか１つに記載の車両周囲画像表示制御装置。
  9. 前記複数の右側距離把握補助用画像（４１、４２）のそれぞれが前記乗員表示用画像（１０）内に配置される上下方向の位置は、前記乗員表示用画像（１０）内において前記前記複数の右側距離把握補助用画像（４１、４２）と重なる路面から、前記車両の後端までの現実の距離が、所定のＤメートルとなるように設定されており、
    前記Ｄメートルは、前記複数の右側距離把握補助用画像（４１、４２）の間で異なり、かつ、前記車両が走行している道路の制限速度が大きくなるほど長くなることを特徴とする請求項４ないし６のいずれか１つに記載の車両周囲画像表示制御装置。
  10. 前記画像合成手段（１４０〜１８０）は、前記乗員表示用画像（１０）中の右上隅の三角形の部分には、前記右サイド表示用画像を表示させず、また、前記乗員表示用画像（１０）中の左上隅の三角形の部分には、前記左サイド表示用画像を表示させないことを特徴とする請求項１ないし９のいずれか１つに記載の車両周囲画像表示制御装置。
  11. 現実の前記車両に対する所定の相対位置に視点を設定すると共に、現実の前記車両の向きに対する所定の相対方向に視線方向を設定する視点・視線方向設定手段（１２４）を備え、
    前記画像合成手段（１４０〜１８０）は、前記設定された視点および視線方向で撮影した場合の撮影画像となるよう、前記右サイド撮影画像に対して画像変換を施し、その画像変換を施した結果の画像を前記右サイド表示用画像として用い、また、前記設定された視点および視線方向で撮影した場合の撮影画像となるよう、前記左サイド撮影画像に対して画像変換を施し、その画像変換を施した結果の画像を前記左サイド表示用画像として用い、
    前記視点設定手段（１２４）は、前記車両のウインカーが右折を示している場合、前記ウインカーが右折も左折も示していない場合と比べて、前記視線方向を同じ向きに保ったまま、前記視点をより右側に設定することを特徴とする請求項１ないし１０のいずれか１つに記載の車両周囲画像表示制御装置。
  12. 前記左側境界（２２）は、前記車両のウインカーが右折も左折も示していない場合、前記乗員表示用画像（１０）内において第１の左側点から第２の左側点まで右に行くにつれて上がり、前記第２の左側点から第３の左側点まで左に行くにつれて上がり、前記車両のウインカーが右折を示している場合、前記乗員表示用画像（１０）内において一律に左上がりになるよう、前記境界設定手段（１３０）によって設定されることを特徴とする請求項１ないし１１のいずれか１つに記載の車両周囲画像表示制御装置。
  13. 前記画像合成手段（１４０〜１８０）は、
    前記車両のウインカーが右折も左折も示していない場合、前記乗員表示用画像（１０）内において前記右側境界（２１）付近の上下にずれた複数の位置からから右横に延びる複数の右側距離把握補助用画像（４１、４２）に加え、前記乗員表示用画像（１０）内において前記左側境界（２２）付近の上下にずれた複数の位置からから左横に延びる複数の左側距離把握補助用画像（４３、４４）を、前記乗員表示用画像（１０）に含め、また、
    前記車両のウインカーが右折を示している場合、前記複数の右側距離把握補助用画像（４１、４２）は、前記乗員表示用画像（１０）に含めるが、前記複数の左側距離把握補助用画像（４３、４４）は、前記乗員表示用画像（１０）に含めないことを特徴とする請求項１ないし１２のいずれか１つに記載の車両周囲画像表示制御装置。
  14. 車両の後方正面を撮影するリアカメラが出力するリア撮影画像を取得し、前記車両の左側後方を撮影する左サイドカメラが出力する左サイド撮影画像を取得し、前記車両の右側後方を撮影する右サイドカメラが出力する右サイド撮影画像を取得する撮影画像取得手段（１１０）と、
    乗員に表示するための乗員表示用画像（１０）の中に、右側境界（２１）および左側境界（２２）を設定する境界設定手段（１３０）と、
    前記乗員表示用画像（１０）中の前記右側境界（２１）の右側に、前記右サイド撮影画像を用いて作成した右サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記左側境界（２２）の左側に、前記左サイド撮影画像を用いて作成した左サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記右側境界（２１）と左側境界（２２）との間に、前記リア撮影画像を用いて作成したリア表示用画像を配置することで、前記乗員表示用画像（１０）中で前記右サイド撮影画像、前記左サイド撮影画像、および前記リア撮影画像を合成する画像合成手段（１４０〜１８０）と、
    前記画像合成生成手段（１４０〜１８０）によって前記左サイド表示用画像、前記右サイド表示用画像、および前記リア表示用画像が合成された後の前記乗員表示用画像（１０）を画像表示装置（５）に表示させる描画制御手段（１９０）と、を備え、
    前記右側境界（２１）は、前記乗員表示用画像（１０）内において第１の右側点から第２の右側点まで左に行くにつれて上がるよう、前記境界設定手段（１３０）によって設定されることを特徴とする車両周囲画像表示制御装置。
  15. 前記左側境界（２２）は、前記乗員表示用画像（１０）内において前記左側境界（２２）が第１の左側点から第２の左側点まで右に行くにつれて上がるよう、前記境界設定手段（１３０）によって設定されており、
    前記第２の右側点と前記第２の左側点とは同じ位置にあり、
    前記右側境界（２１）と前記左側境界（２２）とは前記第２の右側点で交わった後、１つとなって前記第２の右側点から第３の点まで延びていることを特徴とする請求項１４に記載の車両周囲画像表示制御装置。
  16. 車両の後方正面を撮影するリアカメラが出力するリア撮影画像を取得し、前記車両の左側後方を撮影する左サイドカメラが出力する左サイド撮影画像を取得し、前記車両の右側後方を撮影する右サイドカメラが出力する右サイド撮影画像を取得する撮影画像取得手段（１１０）と、
    乗員に表示するための乗員表示用画像（１０）の中に、右側境界（２１）および左側境界（２２）を設定する境界設定手段（１３０）と、
    前記乗員表示用画像（１０）中の前記右側境界（２１）の右側に、前記右サイド撮影画像を用いて作成した右サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記左側境界（２２）の左側に、前記左サイド撮影画像を用いて作成した左サイド表示用画像を配置し、前記乗員表示用画像（１０）中の前記右側境界（２１）と左側境界（２２）との間に、前記リア撮影画像を用いて作成したリア表示用画像を配置することで、前記乗員表示用画像（１０）中で前記左サイド撮影画像、前記右サイド撮影画像、および前記リア撮影画像を合成する画像合成手段（１４０〜１８０）と、
    前記画像合成生成手段（１４０〜１８０）によって前記左サイド表示用画像、前記右サイド表示用画像、および前記リア表示用画像が合成された後の前記乗員表示用画像（１０）を画像表示装置（５）に表示させる描画制御手段（１９０）と、を備え、
    前記右側境界（２１）は、前記乗員表示用画像（１０）内において前記右側境界（２１）が第１の右側点から第２の右側点まで右横方向に延び、前記第２の右側点からは真上または右斜め上方向に延びるようになっており、
    前記第１の右側点および前記第２の右側点の前記乗員表示用画像（１０）内の上下方向の位置は、前記乗員表示用画像（１０）内において前記第１の右側点および前記第２の右側点と重なる路面から、前記車両の後端までの前記車両の前後方向に沿った現実の距離が、３メートルから７メートルまでの範囲のいずれかに設定されており、
    前記画像合成手段（１４０〜１８０）は、前記右側境界（２１）を示す線の画像を前記乗員表示用画像（１０）中に含めることを特徴とする車両周囲画像表示制御装置。
JP2009182405A 2009-08-05 2009-08-05 車両周囲画像表示制御装置 Expired - Fee Related JP5077307B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009182405A JP5077307B2 (ja) 2009-08-05 2009-08-05 車両周囲画像表示制御装置
DE102010038825.4A DE102010038825B4 (de) 2009-08-05 2010-08-03 Bildanzeigesteuervorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009182405A JP5077307B2 (ja) 2009-08-05 2009-08-05 車両周囲画像表示制御装置

Publications (2)

Publication Number Publication Date
JP2011035816A true JP2011035816A (ja) 2011-02-17
JP5077307B2 JP5077307B2 (ja) 2012-11-21

Family

ID=43430336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009182405A Expired - Fee Related JP5077307B2 (ja) 2009-08-05 2009-08-05 車両周囲画像表示制御装置

Country Status (2)

Country Link
JP (1) JP5077307B2 (ja)
DE (1) DE102010038825B4 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253428A (ja) * 2011-05-31 2012-12-20 Fujitsu Ten Ltd 情報処理システム、サーバ装置、および、車載装置
WO2013103115A1 (ja) * 2012-01-04 2013-07-11 トヨタ自動車株式会社 画像表示装置
JP2014072604A (ja) * 2012-09-28 2014-04-21 Fujitsu Ten Ltd 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
WO2014068823A1 (ja) * 2012-10-30 2014-05-08 株式会社デンソー 車載画像生成装置
WO2014156786A1 (ja) * 2013-03-29 2014-10-02 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2017024484A (ja) * 2015-07-17 2017-02-02 日産自動車株式会社 周囲画像表示装置及び周囲画像表示方法
KR20170019843A (ko) * 2015-08-13 2017-02-22 에스엘 주식회사 주변 감시 장치 및 방법
CN106467060A (zh) * 2015-08-20 2017-03-01 Lg电子株式会社 显示装置及包括该显示装置的车辆
JP2017208690A (ja) * 2016-05-18 2017-11-24 富士通テン株式会社 画像生成装置、画像表示システムおよび画像表示方法
WO2018101063A1 (ja) * 2016-11-30 2018-06-07 京セラ株式会社 カメラモニタシステム、画像処理装置、車両及び画像処理方法
JP2020519037A (ja) * 2016-11-30 2020-06-25 ウェイモ エルエルシー 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム
JP2020119492A (ja) * 2019-01-28 2020-08-06 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、制御方法
US12137285B2 (en) 2021-03-22 2024-11-05 Waymo Llc Camera peek into turn

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741321B2 (ja) * 2011-08-23 2015-07-01 株式会社富士通ゼネラル 運転支援装置
US10493916B2 (en) * 2012-02-22 2019-12-03 Magna Electronics Inc. Vehicle camera system with image manipulation
JP6524922B2 (ja) 2016-01-12 2019-06-05 株式会社デンソー 運転支援装置、運転支援方法
JP6733647B2 (ja) * 2017-12-05 2020-08-05 トヨタ自動車株式会社 画像表示装置
JP6802226B2 (ja) * 2018-09-12 2020-12-16 矢崎総業株式会社 車両用表示装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) * 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2003158736A (ja) * 2000-07-19 2003-05-30 Matsushita Electric Ind Co Ltd 監視システム
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2005313774A (ja) * 2004-04-28 2005-11-10 Honda Access Corp 車両の後方確認装置
JP2005341081A (ja) * 2004-05-26 2005-12-08 Clarion Co Ltd 距離マーカ生成方法及び距離マーカ生成プログラム
WO2006016433A1 (ja) * 2004-08-10 2006-02-16 Matsushita Electric Industrial Co., Ltd. 運転支援装置及び運転支援方法
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2007158427A (ja) * 2005-11-30 2007-06-21 Alpine Electronics Inc 車両周辺画像表示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1408693A1 (en) 1998-04-07 2004-04-14 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
US7366595B1 (en) 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP4793307B2 (ja) 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP5347257B2 (ja) 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) * 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2003158736A (ja) * 2000-07-19 2003-05-30 Matsushita Electric Ind Co Ltd 監視システム
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2005313774A (ja) * 2004-04-28 2005-11-10 Honda Access Corp 車両の後方確認装置
JP2005341081A (ja) * 2004-05-26 2005-12-08 Clarion Co Ltd 距離マーカ生成方法及び距離マーカ生成プログラム
WO2006016433A1 (ja) * 2004-08-10 2006-02-16 Matsushita Electric Industrial Co., Ltd. 運転支援装置及び運転支援方法
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2007158427A (ja) * 2005-11-30 2007-06-21 Alpine Electronics Inc 車両周辺画像表示装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253428A (ja) * 2011-05-31 2012-12-20 Fujitsu Ten Ltd 情報処理システム、サーバ装置、および、車載装置
WO2013103115A1 (ja) * 2012-01-04 2013-07-11 トヨタ自動車株式会社 画像表示装置
JP2013141120A (ja) * 2012-01-04 2013-07-18 Toyota Motor Corp 画像表示装置
JP2014072604A (ja) * 2012-09-28 2014-04-21 Fujitsu Ten Ltd 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
WO2014068823A1 (ja) * 2012-10-30 2014-05-08 株式会社デンソー 車載画像生成装置
JP2014090315A (ja) * 2012-10-30 2014-05-15 Denso Corp 車載画像生成装置
CN104756486A (zh) * 2012-10-30 2015-07-01 株式会社电装 车载图像生成装置
US10032298B2 (en) 2013-03-29 2018-07-24 Aisin Seiki Kabushiki Kaisha Image display control apparatus and image display system
WO2014156786A1 (ja) * 2013-03-29 2014-10-02 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2014200018A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2017024484A (ja) * 2015-07-17 2017-02-02 日産自動車株式会社 周囲画像表示装置及び周囲画像表示方法
KR20170019843A (ko) * 2015-08-13 2017-02-22 에스엘 주식회사 주변 감시 장치 및 방법
KR102370242B1 (ko) 2015-08-13 2022-03-04 에스엘 주식회사 주변 감시 장치 및 방법
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
CN106467060A (zh) * 2015-08-20 2017-03-01 Lg电子株式会社 显示装置及包括该显示装置的车辆
US10200656B2 (en) 2015-08-20 2019-02-05 Lg Electronics Inc. Display apparatus and vehicle including the same
JP2017208690A (ja) * 2016-05-18 2017-11-24 富士通テン株式会社 画像生成装置、画像表示システムおよび画像表示方法
US10703275B2 (en) 2016-05-18 2020-07-07 Denso Ten Limited Image generation apparatus
WO2018101063A1 (ja) * 2016-11-30 2018-06-07 京セラ株式会社 カメラモニタシステム、画像処理装置、車両及び画像処理方法
JP2018093311A (ja) * 2016-11-30 2018-06-14 京セラ株式会社 カメラモニタシステム、画像処理装置、車両及び画像処理方法
JP2020519037A (ja) * 2016-11-30 2020-06-25 ウェイモ エルエルシー 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム
JP2020119492A (ja) * 2019-01-28 2020-08-06 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、制御方法
US12137285B2 (en) 2021-03-22 2024-11-05 Waymo Llc Camera peek into turn

Also Published As

Publication number Publication date
DE102010038825A1 (de) 2011-02-10
JP5077307B2 (ja) 2012-11-21
DE102010038825B4 (de) 2019-07-11

Similar Documents

Publication Publication Date Title
JP5077307B2 (ja) 車両周囲画像表示制御装置
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
CN104204847B (zh) 用于可视化车辆的周围环境的方法和装置
EP2739050B1 (en) Vehicle surroundings monitoring system
JP5681569B2 (ja) 情報処理システム、サーバ装置、および、車載装置
WO2015002031A1 (ja) 映像表示システム、映像合成装置及び映像合成方法
WO2011007484A1 (ja) 運転支援装置、運転支援方法及びプログラム
JP6699370B2 (ja) 車両用画像処理装置
EP1513101A1 (en) Drive assisting system
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP5633376B2 (ja) 駐車支援システム
JP2018531530A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP5209578B2 (ja) 車両用画像表示装置
JP6392693B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP7263731B2 (ja) 画像処理装置
JP2005112004A (ja) 車両後退支援装置および方法
JP2011182236A (ja) カメラキャリブレーション装置
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
JP2004240480A (ja) 運転支援装置
JP2013118508A (ja) 画像処理装置及び画像処理方法
JP2008048094A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2008085710A (ja) 運転支援システム
JP2016149613A (ja) カメラパラメータ調整装置
JP5915268B2 (ja) パラメータ算出方法、情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120813

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5077307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees