JP2012066700A - 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム - Google Patents

車両用の後退駐車支援装置および後退駐車支援装置用のプログラム Download PDF

Info

Publication number
JP2012066700A
JP2012066700A JP2010213177A JP2010213177A JP2012066700A JP 2012066700 A JP2012066700 A JP 2012066700A JP 2010213177 A JP2010213177 A JP 2010213177A JP 2010213177 A JP2010213177 A JP 2010213177A JP 2012066700 A JP2012066700 A JP 2012066700A
Authority
JP
Japan
Prior art keywords
vehicle
image
display
view image
control means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010213177A
Other languages
English (en)
Other versions
JP5187369B2 (ja
Inventor
Heishin O
丙辰 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010213177A priority Critical patent/JP5187369B2/ja
Priority to DE102011083184.3A priority patent/DE102011083184B4/de
Priority to CN201110291022.4A priority patent/CN102416906B/zh
Publication of JP2012066700A publication Critical patent/JP2012066700A/ja
Application granted granted Critical
Publication of JP5187369B2 publication Critical patent/JP5187369B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】車両用の後退駐車支援装置において、後退駐車挙動の進行に応じて柔軟に表示態様を切り替える。
【解決手段】画像合成ECUは、リア撮影画像を用いて車両の上方を視点とするトップビュー画像の表示をディスプレイに開始させ(ステップ110)、トップビュー画像の表示が始まった後、車両のシフト位置またはドライブレンジがリバースになったことに基づいて(ステップ120)、右サイド撮影画像を用いて、車両の右側の位置を視点とする右サイドビュー画像を表示させ、左サイド撮影画像を用いて、車両の左側の位置を視点とする左サイドビュー画像を表示させる。
【選択図】図3

Description

本発明は、車両用の後退駐車支援装置および後退駐車支援装置用のプログラムに関するものである。
従来、車両の後退駐車を支援するために、車載カメラで撮影した車両周囲の画像をドライバーに表示する後退駐車支援装置が知られている。
特開2003−219413号公報
しかし、後退駐車時においては、後退駐車挙動の進行に応じてドライバーが注意すべき対象が変化するが、従来の後退駐車支援装置はそのような変化に対応した表示ができない。
本発明は上記点に鑑み、車両用の後退駐車支援装置において、後退駐車挙動の進行に応じて柔軟に表示態様を切り替える技術を提供することを目的とする。
上記目的を達成するための請求項1に記載の発明は、後退駐車するためのガイド線を表示する駐車支援装置であって、車両の後方が撮影されたリア撮影画像、前記車両の右側後方が撮影された右サイド撮影画像、および、前記車両の左側後方が撮影された左サイド撮影画像を取得する制御装置(9)と、前記制御装置(9)の制御に従って前記車両内のドライバーに対して画像を表示するディスプレイ(5)と、を備え、前記制御装置(9)は、前記車両の後退駐車支援のために、前記リア撮影画像に基づく画像(31、32)の表示をディスプレイ(5)に開始させると共に、前記車両が移動したときの前記車両の車輪の軌跡を示すガイド線(42、43)を前記リア撮影画像内に表示せる第1表示制御手段(110、115)と、前記第1表示制御手段(110、115)の制御によって前記リア撮影画像に基づく画像(31、32)の表示が始まった後、前記車両のシフト位置またはドライブレンジがリバースになったことに基づいて、前記右サイド撮影画像を用いた前記車両の右側の位置を視点とする右サイドビュー画像(34)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、前記左サイド撮影画像を用いた前記車両の左側の位置を視点とする左サイドビュー画像(35)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、のうちいずれか一方または両方を行う第2表示制御手段(140)と、を備えたことを特徴とする後退駐車支援装置である。
このように、車両のシフト位置またはドライブレンジがリバースになる前、すなわち車両の後退前の段階では、リア撮影画像に基づく画像(31、32)で車両と車両周囲の大まかな位置関係を把握させる。リバースになった後、すなわち、車両が後退する段階では、車両の左右後端部が障害物に当たらないようにすることがドライバーにとって重要になるので、右サイドビュー画像(34)および左サイドビュー画像(35)の一方または両方の表示をディスプレイ(5)にてそれまでよりも強調表示させる。このようにして、後退駐車挙動の進行に応じて柔軟に表示態様を切り替えることができる。
例えば、請求項2に記載の発明のように、請求項1に記載の後退駐車支援装置において、前記第2表示制御手段(140)は、前記第1表示制御手段(110、115)の制御によって前記リア撮影画像に基づく画像(31、32)の表示が始まった後、前記車両のシフト位置またはドライブレンジがリバースになったことに基づいて、前記リア撮影画像に基づく画像(31、32)に代えて、前記右サイドビュー画像(34)および前記左サイドビュー画像(35)のうちいずれか一方または両方を前記ディスプレイ(5)に表示させ始めるようになっていてもよい。
また、請求項3に記載の発明は、請求項1に記載の後退駐車支援装置において、前記第1表示制御手段(110、115)は、前記車両の後退駐車支援のために、前記リア撮影画像を用いて前記車両の上方を視点とするトップビュー画像(31)の表示を前記ディスプレイ(5)に開始させ、前記第2表示制御手段(140)は、前記第1表示制御手段(110、115)の制御によって前記トップビュー画像(31)の表示が始まった後、前記車両のシフト位置またはドライブレンジがリバースになったことに基づいて、前記右サイド撮影画像を用いて前記車両の右側の位置を視点とする右サイドビュー画像(34)の表示を前記ディスプレイ(5)に開始させる制御と、前記左サイド撮影画像を用いて前記車両の左側の位置を視点とする左サイドビュー画像(35)の表示を前記ディスプレイ(5)に開始させる制御と、のうちいずれか一方または両方を行うことを特徴とする。
このように、車両の後退前の段階では、トップビュー画像(31)で車両と車両周囲の大まかな位置関係を把握させる。そして車両が後退する段階では、車両の左右後端部が障害物に当たらないようにすることがドライバーにとって重要になる。この場面では、障害物の位置や形状が不正確になりがちなトップビュー画像よりも、車両の右側の位置を視点とする右サイドビュー画像(34)および車両の左側の位置を視点とする左サイドビュー画像(35)の方が、サイドミラーを見る感覚に近いので、よりドライバーにとって直感的に左右後端部付近の障害物の位置を把握し易い。このような観点から、シフト位置またはドライブレンジがリバースになったことに基づいて、右サイドビュー画像(34)および左サイドビュー画像(35)の一方または両方をディスプレイ(5)に表示させる。このようにして、後退駐車挙動の進行に応じて柔軟に表示態様を切り替えることができる。
また、請求項4に記載の発明は、請求項1ないし3のいずれか1つに記載の後退駐車支援装置において、前記車両の右側後方および左側後方にある障害物を検出する障害物センサ(7a、7b)を備え、前記第2表示制御手段(140)の制御によって前記右サイドビュー画像(34)が表示されているとき、前記障害物センサ(7a、7b)が前記車両の右側後方に障害物を検出した場合は、前記障害物センサ(7a、7b)が前記車両の右側後方に障害物を検出していない場合に比べて、前記右サイドビュー画像(34)を強調表示させる強調制御手段(150、160、170)を備えたことを特徴とする。このように、障害物を検知したときにサイドビュー画像(34)を更に強調することで、ドライバーに適切な注意喚起をすることができる。
また、請求項5に記載の発明は、請求項1ないし3のいずれか1つに記載の後退駐車支援装置において、前記車両の右側後方および左側後方にある障害物を検出する障害物センサ(7a、7b)を備え、前記第2表示制御手段(140)は、前記第1表示制御手段(110、115)の制御によって前記トップビュー画像(31)が表示されているとき、前記車両の位置またはドライブレンジがリバースになり、かつ、前記障害物センサ(7a、7b)が前記車両の後方に障害物を検出したことに基づいて、前記右サイドビュー画像(34)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、前記左サイドビュー画像(35)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、のうちいずれか一方または両方を行うことを特徴とする。
このように、サイドビュー画像(34、35)を強調表示させる条件として、障害物センサ(7a、7b)が車両の後方に障害物を検出したことを追加することもできる。サイドビュー画像(34、35)が後退時にいつも出るのは煩わしいと感じるドライバーにとっては、この制御の方が好ましい。
また、請求項6に記載の発明は、請求項1ないし5のいずれか1つに記載の後退駐車支援装置において、第2表示制御手段(140)によって前記右サイドビュー画像(34)および前記左サイドビュー画像(35)のうちいずれか一方または両方が表示されているとき、前記車両のステアリング角が所定の閾値(TH2)より大きい状態から小さい状態に変化したことに基づいて、前記右サイドビュー画像(34)および前記左サイドビュー画像(35)のうち表示させている画像をすべて消去させることを特徴とする。
また、後退時にドライバーがステアリングを戻した場合、その後は真っ直ぐ後退することが殆どなので、このような場合は、必要性が大きく低下したサイドビュー画像(34、35)を消去することで、ドライバーの利便性を更に向上することができる。
また、請求項7に記載の発明は、請求項1ないし6のいずれか1つに記載の後退駐車支援装置において、前記リア撮影画像は、前記車両の後方を撮影するリアカメラ(2)によって撮影され、前記右サイド撮影画像は、前記車両の右側に取り付けられた右サイドカメラ(3)によって撮影され、前記左サイド撮影画像は、前記車両の左側に取り付けられた左サイドカメラ(4)によって撮影され、前記第1表示制御手段(110、115)は、前記リア撮影画像、前記右サイド撮影画像、および前記左サイド撮影画像に対して視点変換を施して合成することで前記トップビュー画像(31)を生成することを特徴とする。
このように、トップビュー画像(31)が、それぞれ別のカメラ(2、3、4)で撮影された画像に対して視点変換を施して合成したものとなっている場合は、それぞれの画像の繋ぎ目付近において画像の歪みが大きく、車両の周囲の障害物の位置および形状を正しく把握するのが困難である。したがって、上記のように後退時にサイドビュー画像を表示することの意義がより鮮明になる。
また、請求項8に記載の発明は、請求項1ないし7のいずれか1つに記載の後退駐車支援装置において、前記第1表示制御手段(110、115)は、前記車両を示す車両アイコンと、そのアイコンの後方の所定範囲を示す表示範囲アイコンから構成される表示ガイド画像(33)を前記ディスプレイ(5)に表示させ、前記第2表示制御手段(140)は、前記第1表示制御手段(110、115)の制御によって前記リア撮影画像に基づく画像(31、32)の表示が始まった後、前記車両のシフト位置またはドライブレンジがリバースになったことに基づいて、前記表示ガイド画像(33)の前記表示範囲アイコンを、前記車両アイコンの右側方および左側方の両方またはいずれか一方を強調するアイコンに置き換えることを特徴とする。
このようになっていることで、ドライバーは、ディスプレイ(5)に車両20のどの部分が表示されているかを把握できる。したがって、表示が切り替わった際に、ドライバが一瞬、どこが撮影されているのか分からなくなってしまうことを防止できる。
また、請求項9に記載のように、本発明の特徴は、プログラムの発明の特徴としても捉えることができる。
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
本発明の実施形態に係る後退駐車支援装置10の構成図である。 カメラ1〜4、ソナーセンサ7a、7b、およびディスプレイ5の車内配置を概略的に示す図である。 画像合成ECU9が実行する処理のフローチャートである。 後退駐車支援開始時の表示画面30の例である。 前進を停止した時点の表示画面30の例である。 ステアリングハンドルを切り始めたときの表示画面30の例である。 ステアリングハンドルが十分切られている段階の表示画面30の例である。 車両を前進させる段階の表示画面30の例である。 シフト位置がリバースになった段階の表示画面30の例である。 車両が後退して駐車マスに対して真っ直ぐになった状態の切り替わり前の表示画面30の例である。 車両が後退して駐車マスに対して真っ直ぐになった状態の切り替わり後の表示画面30の例である。 車両が真っ直ぐ後退している状態の表示画面30の例である。 ステップ140における表示画面30の他の例である。 ステップ140における表示画面30の他の例である。 ステップ140における表示画面30の他の例である。
以下、本発明の一実施形態について説明する。図1に、本実施形態に係る後退駐車支援装置10の全体構成を示す。この後退駐車支援装置10は車両に搭載され、車両が後退して駐車する際に、ドライバーに車両の周囲の撮影画像を表示するための装置である。この後退駐車支援装置10は、フロントカメラ1、リアカメラ2、左サイドカメラ3、右サイドカメラ4、ディスプレイ5、操作部6、右後方ソナーセンサ7a、左後方ソナーセンサ7b、車両情報出力部8、および画像合成ECU9(制御装置の一例に相当する)を備えている。
図2に、後退駐車支援装置10が搭載される車両20におけるフロントカメラ1、リアカメラ2、左サイドカメラ3、右サイドカメラ4、ディスプレイ5、右後方ソナーセンサ7a、左後方ソナーセンサ7bの配置を概略的に示す。なお、以下では、特に別記しない限り、上、下、右、左、前、後は、車両の向きを基準とする上、下、右、左、前、後である。
フロントカメラ1は、広角カメラであり、車両20の前端部に取り付けられ、車両20の前端および前端よりも前方を繰り返し撮影し、逐次その撮影結果のフロント撮影画像を画像合成ECU9に出力する。
リアカメラ2は、広角カメラであり、車両20の後部(後部トランク上、車両20の天井の後端部等)に取り付けられ、車両20の後端および後端よりも後方を繰り返し撮影し、逐次その撮影結果のリア撮影画像を画像合成ECU9に出力する。
右サイドカメラ3は、車両20の右側(具体的には右ドアミラーの下端部)に取り付けられ、車両20の右側を繰り返し撮影し、逐次その撮影結果の右サイド撮影画像を画像合成ECU9に出力する。右サイドカメラ3は、撮影範囲が車両20の右前方、右真横、右側後方を含むような広角カメラである。
左サイドカメラ4は、車両20の左側(例えば左ドアミラーの下端部)に取り付けられ、車両20よりも左側を繰り返し撮影し、逐次その撮影結果の左サイド撮影画像を画像合成ECU9に出力する。左サイドカメラ4は、撮影範囲が車両20の左側前方、左真横、左側後方を含むような広角カメラである。
ディスプレイ5は、車両20内に設置され、車両20内に着座した乗員(特にドライバー)に対して画像を表示する装置である。ディスプレイ5の具体的な設置位置としては、図2に示すように、例えば車室内のインストゥルメントパネル中央等がある。
操作部6は、車両のドライバー等の乗員によって操作される押しボタン等の装置であり、操作内容に応じた信号を画像合成ECU9に出力する。
右後方ソナーセンサ7aは、車両20の右後端部等に取り付けられ、音波を送受信することで車両20の近傍の右後方にある障害物を検出し、検出結果の信号を画像合成ECU9に出力する装置である。
左後方ソナーセンサ7bは、車両20の近傍の左後端部等に取り付けられ、音波を送受信することで車両20の左後方にある障害物を検出し、検出結果の信号を画像合成ECU9に出力する装置である。
車両情報出力部8は、車両20内の各種センサから、車両の作動に関する情報を取得し、取得した情報を画像合成ECU9に出力する装置である。出力する情報は、車両20のシフト位置(またはドライブレンジ)を示す情報、車両20の走行速度の情報、車両20のステアリング角、ステアリングハンドルの切れ方向(左または右)の情報等がある。なお、本明細書においては、ステアリング角は、ステアリングの直進位置(すなわち、車両が直進する位置)が0°であり、直進位置から右にステアリングを切った場合も、左にステアリングを切った場合も、正の値を取るものとする。
画像合成ECU9は、フロントカメラ1が繰り返し出力するフロント撮影画像、リアカメラ2が繰り返し出力するリア撮影画像、右サイドカメラ3が繰り返し出力する右サイド撮影画像、左サイドカメラ4が繰り返し出力する左サイド撮影画像を繰り返し取得し、それら取得した画像を用いて、ディスプレイ5に各種表示を行わせる。
このような作動を実現する画像合成ECU9は、CPU、RAM、ROMを備えたマイクロコンピュータを用いて実現することができる。その場合、CPUがROMに記録されたプログラムを実行することで所望の処理を実現し、その処理において、必要に応じてRAM、ROMから情報を読み出し、カメラ1〜4、操作部6、ソナーセンサ7a、7b、車両情報出力部8から信号を取得し、ディスプレイ5を制御する。
なお、画像合成ECU9のROMには、車両20の車幅W、全長L、ホイールベースA、等の車両諸元が記録されている。また、画像合成ECU9のROMには、種々のステアリング角と、そのステアリング角を維持して車両が低速で移動した場合の各車輪の旋回半径との対応関係を示すマップが記録されている。
以下、上記のような後退駐車支援装置10における車両10の後退駐車支援の作動について説明する。図3に、この後退駐車支援のために画像合成ECU9が(プログラムを実行することで)実行する処理のフローチャートを示す。画像合成ECU9は、この図3の処理を、画像合成ECU9の起動時に開始するようになっており、まずステップ110で、後退駐車支援を開始すると判定するまで待機する。
車両20のドライバーは、車両20を駐車マスに近づけ、操作部6に対して後退駐車支援開始のための操作を行う。すると画像合成ECU9は、当該操作があったことに基づいて、後退駐車支援を開始すると判定し、ステップ110に進む。
続いてステップ110では、カメラ1〜4から受け取った撮影画像に基づいて、図4に示すように、トップビュー画像31およびリアビュー画像32の表示をディスプレイ5に開始させる。
この制御により、これ以降、画像合成ECU9は、カメラ1〜4から繰り返し受け取った最新の撮影画像に基づいて、トップビュー画像31およびリアビュー画像32を繰り返し生成し、ディスプレイ5の表示画面30内に、これら繰り返し生成したトップビュー画像31およびリアビュー画像32を並べて表示させ続ける。
トップビュー画像31は、車両20の上方に視点を設定し、その設定した視点から車両20およびその周辺を見た場合の画像である。画像合成ECU9は、カメラ1〜4から受け取った最新のフロント撮影画像、リア撮影画像、右サイド撮影画像、左サイド撮影画像のそれぞれに対して、周知の視点変換処理を施すことで、それら撮影画像の撮影範囲を上記設定した視点から見た場合の画像に変換し、それら変換後の画像を合成し、さらに、あらかじめROMに記録されている車両20のテンプレート画像(車両20を上記設定した視点から見た画像)を合成することで、トップビュー画像31を生成する。
リアビュー画像32は、リアカメラ2が撮影した画像に対して歪み補正を施すことで得る画像である。リアビュー画像32の作成時には、視点変換は行わなくともよく、行わない場合は、リアビュー画像32の視点は、リアカメラ2の位置(すなわち車両の中央部後端位置)となっている。
更に画像合成ECU9は、表示ガイド画像33の表示をディスプレイ5に開始させる。表示ガイド画像33は、車両20を示す車両アイコンと、そのアイコンの後方の所定範囲を示す表示範囲アイコンから構成される。この表示ガイド画像33により、ドライバーは、リアビュー画像32内に車両20の後方(表示範囲アイコンが示す範囲)が表示されていることを把握できる。
続いて画像合成ECU9は、ステップ115で、ガイド線表示制御を実行する。なお、このガイド線表示制御の間も、トップビュー画像31、リアビュー画像32、表示ガイド画像33の表示は続いている。ガイド線表示制御では、まず、トップビュー画像31中に、車両20の進行方向に垂直な2本の横ガイド線41を固定表示させる。この2本の横ガイド線41の幅は、トップビュー画像31内における車両20の幅の換算値と同じになっている。なお、固定表示させるということは、横ガイド線41のトップビュー画像31内の位置を、車両20が移動してカメラ1〜4の撮影範囲が変化しても不変とすることである。なお、図4では、2本の横ガイド線41は車両の左側のみに表示させているが、車両の右側にも同じ2本の横ガイド線41を表示させてもよい。
ドライバーは、この横ガイド線41を見ながら車両20の前後位置を調整し、目標の駐車マス内に横ガイド線41の両方が収まるまで車両20を前進させ、収まった時点で停止させる(図5参照)。
その後、ドライバーは、駐車マスに車両20の後部を向けて前進するために、まずステアリングハンドルを切り始める。画像合成ECU9は、ステップ115において、車両が停止し、かつ、ステアリング角が所定の閾値A(ステアリングを切り始めたことを確実に検出できる程度の閾値)を超えたか否かを、車両情報出力部8からの走行速度およびステアリング角の情報に基づいて判定する。そして、車両が停止し、かつ、ステアリング角が所定の閾値Aを超えたと判定した場合、図6に示すように、横ガイド線を消去させ、続いて前方ガイド線42をディスプレイ5のトップビュー画像31内(あるいは、リアビュー画像32内でもよい)に重畳表示させる。
前方ガイド線42は、現在のステアリング角で車両が低速で前進したときの車両20の前輪の軌跡を示す線である。この前方ガイド線42は、種々のステアリング角と、そのステアリング角を維持して車両が低速で移動した場合の各車輪の旋回半径との対応関係を示すマップを用いて、周知のアッカーマンモデルによって算出することができる。さらにドライバーがステアリングを切り続けると、前方ガイド線42がステアリング角の変化に応じて変化していく。
そして、ステアリング角が所定の閾値B(閾値Aよりも大きい)を超えると、画像合成ECU9は、ステアリング角が所定の閾値Bを超えたと判定し、図7に示すように、後方ガイド線43をディスプレイ5のトップビュー画像31内(あるいは、リアビュー画像32内でもよい)に重畳表示させる。
後方ガイド線43は、ステアリングハンドルを、ステップ115の時点におけるステアリングハンドルの切れ方向とは反対の方向に最大に切った状態で車両が低速で後退したときの、車両20の後輪の軌跡を示す線である。この後方ガイド線43は、上記のマップ、ステアリング角を最大に切った状態におけるステアリング角(あらかじめROMに記録されている)を用いて、周知のアッカーマンモデルによって算出することができる。
これでステップ115の処理が終了するが、トップビュー画像31における前方ガイド線42および後方ガイド線43の表示は継続される。
ステップ115に続いては、ステップ120で、シフト位置またはドライブレンジがリバース(後退)になったか否かを判定し、リバースになった場合続いてステップ130に進み、リバースになっていなければ再度ステップ120を実行する。ステップ130では、ステアリング角が(後方ガイド線43の表示開始時の切れ方向とは反対の方向に)閾値TH1を超えたか否かを判定し、超えればステップ140に進み、超えていなければステップ120に戻る。すなわち、ステップ120、130において、シフトがリバースになると共にステアリング角が所定の閾値TH1を超えるまで待つ。なお、閾値TH1の値は、ステアリングハンドルが最大に切れたか否かを判定できる程度の値となっている。
一方、ドライバーは、図7のようにステアリングハンドルを十分に切った後は、図8に示すように、現在のステアリング角を維持しながら、車両20を前進させ始め、後方ガイド線43が目標の駐車マス内に収まる後退開始位置まで、車両20を前進させる。
そして、後方ガイド線43が目標の駐車マス内に収まったとドライバーが判断すると、ドライバーは車両のシフト位置(またはドライブレンジ)をリバースに切り替える。そして、現在とは反対の方向にステアリングハンドルを最大に切る。するとステップ120、130の判定結果が共に肯定判定となり、その結果、処理をステップ140に進める。
ステップ140では、図9に示すように、それまでディスプレイ5に表示させていたリアビュー画像32を消去させ、トップビュー画像31を表示画面30の中央に移動させ、右サイドビュー画像34および左サイドビュー画像35の表示をディスプレイ5に開始させる。
この制御により、これ以降、画像合成ECU9は、カメラ1〜4から繰り返し受け取った最新の撮影画像に基づいて、トップビュー画像31、右サイドビュー画像34、および左サイドビュー画像35を繰り返し生成し、ディスプレイ5の表示画面30内に、これら繰り返し生成したトップビュー画像31、右サイドビュー画像34、および左サイドビュー画像35を並べて表示させ続ける。
右サイドビュー画像34は、フロント撮影画像、リア撮影画像、右サイド撮影画像、左サイド撮影画像のうち、右サイド撮影画像のみを用いて車両20の右側の位置を視点とするよう生成した撮影画像である。
画像合成ECU9は、右サイドカメラ3から受け取った最新の右サイド撮影画像から、車両20の右側後方に該当する所定の領域を切り取り、切り取った画像に対して歪み補正を施し、更に視点変換を施すことで、右サイドビュー画像34を生成する。
なお、視点変換は、視点が右サイドミラーの位置になるような視点変換を採用する。この視点変換の際に用いる変換行列は、右サイドカメラ3の取り付け位置および車両20の車体に対する右サイドミラーの位置がわかっていれば決まるので、あらかじめ画像合成ECU9のROMに記録されている。
左サイドビュー画像35は、フロント撮影画像、リア撮影画像、右サイド撮影画像、左サイド撮影画像のうち、左サイド撮影画像のみを用いて車両20の左側の位置を視点とするよう生成した撮影画像である。
画像合成ECU9は、左サイドカメラ4から受け取った最新の左サイド撮影画像から、車両20の左側後方に該当する所定の領域を切り取り、切り取った画像に対して歪み補正を施し、更に視点変換を施すことで、左サイドビュー画像35を生成する。
なお、視点変換は、視点が左サイドミラーの位置になるような視点変換を採用する。この視点変換の際に用いる変換行列は、左サイドカメラ4の取り付け位置および車両20の車体に対する左サイドミラーの位置がわかっていれば決まるので、あらかじめ画像合成ECU9のROMに記録されている。
なお画像合成ECU9は、右サイドビュー画像34、左サイドビュー画像35のそれぞれの内部に、サイドミラーの枠の画像36、37を重畳表示させる。例えば、図9に示すように、右サイドビュー画像34の内部には、右サイドミラー枠画像36を重畳する。
この右サイドミラー枠画像36は、右サイドビュー画像34中で、右サイドミラーを見ることで視認できるであろう部分とそうでない部分を大まかに示すための画像である。つまり、右サイドミラー枠画像36の内側にある画像は、右サイドミラーで視認することができる範囲の画像であり、右サイドミラー枠画像36の外側にある画像は、右サイドミラーで視認することができない範囲の画像であることが、この右サイドミラー枠画像36によって大まかにわかる。
ドライバーは、サイドミラーからどの範囲が見えるかを日頃の運転で憶えているので、このような右サイドミラー枠画像36の表示が右サイドビュー画像34内にあると、右サイドビュー画像34内の画像の各部が現実にはどの位置に対応するのかを把握し易くなる。
右サイドビュー画像34中の右サイドミラー枠画像36の位置は、右サイドミラーのデフォルトの取り付け位置および向き、および、右サイドカメラ3の位置に従って、あらかじめ設定して画像合成ECU9のROMに記録しておく。あるいは、右サイドミラーの向きの設定の情報を車両情報出力部8から取得し、その取得した向きの情報に応じて右サイドビュー画像34中の右サイドミラー枠画像36の位置を変化させてもよい。例えば、右サイドミラーをより右に向けた場合は、右サイドビュー画像34中の右サイドミラー枠画像36の位置をより右にずらすようにしてもよい。
この右サイドビュー画像34、右サイドミラー枠画像36、右サイドミラーの間の関係と同様のことが、左サイドビュー画像35の内部に左サイドミラー枠画像37を重畳する場合について当てはまる。
ステップ140では更に、画像合成ECU9は、表示ガイド画像33の表示内容を変更する。具体的には、車両アイコンの後方の所定範囲を示す表示範囲アイコンを、車両アイコンの右側方および左側方を強調するアイコンに置き換える。この変化後の表示ガイド画像33により、ドライバーは、右サイドビュー画像34、左サイドビュー画像35内に車両20の右側後方および左側後方が表示されていることを把握し易くなる。
ステップ140以降においても、このトップビュー画像31、右サイドビュー画像34、左サイドビュー画像35の表示は継続する。なお、ステップ140では、後方ガイド線43として、それまでの後輪の軌跡に加え、旋回外側前輪の軌跡、車体の旋回外側の側面の延長線を表示するようになっていてもよい。
ステップ140に続いては、ステップ150〜180までの処理を、ステップ180の判定結果が肯定的となるまで繰り返す。具体的には、ステップ150で、右後方ソナーセンサ7a、左後方ソナーセンサ7bのいずれか一方でも障害物を検知したか否かを判定し、障害物を検知しない場合は、ステップ160で、右サイドビュー画像34、左サイドビュー画像35の表示形態(強調度合い)を、ステップ140で表示開始したときと同じ通常表示のままとする。
そしてステップ180では、ステアリング角が、閾値TH2を上回っている状態から下回った状態に変化したか否かを判定する。閾値TH2の値は、ドライバーがステアリングハンドルを戻して直進状態となったか否かを判定する値とするので、閾値TH1より小さい。そして、閾値TH2を下回っていないと判定すると、処理をステップ150に戻す。
ステップ150〜180を繰り返す間、ドライバーは、ステアリングハンドルを最大に切ったまま車両20を後退させる。このとき、右後方ソナーセンサ7a、左後方ソナーセンサ7bのどちらも障害物を検知しない間は、上述のようにステップ150、160、180を実行して右サイドビュー画像34、左サイドビュー画像35の表示形態を通常通りに維持する。
この車両の後退中、例えば右後方ソナーセンサ7aが障害物(例えば、隣の駐車マスに駐車された車両)を検知した場合、ステップ150で障害物を検知したと判定してステップ170に進み、ステップ170では、障害物を検知した側と同じ側の右サイドビュー画像34の表示態様を変化させる。具体的には、右サイドビュー画像34の表示を、ステップ160の通常表示時よりも強調する。強調の方法としては、例えば、右サイドビュー画像34を拡大表示させる方法を採用してもよいし、右サイドビュー画像34の周囲に点滅する外枠を付加表示させるようになっていてもよいし、さらにその外枠を上下左右に振動させてもよい。
このように、右後方ソナーセンサ7aが障害物を検知したときに更に右サイドビュー画像34を強調することで、ドライバーに適切な注意喚起をすることができる。なお、左後方ソナーセンサ7bが障害物を検知した場合も、同様に、ステップ170で、左サイドビュー画像35を、ステップ160の通常表示時よりも強調表示させる。
なお、強調表示によってドライバーが障害物の存在に気づき、障害物を避けるような車両運転操作を行い、その結果、右後方ソナーセンサ7a、左後方ソナーセンサ7bのいずれも障害物を検知しなくなると、ステップ150で障害物を検知していないと判定するようになり、ステップ160で、右サイドビュー画像34、左サイドビュー画像35のうち、強調表示している方を通常表示に戻す。
その後、車両20が更に後退し、図10に示すように、駐車マスに対して直進後退して入ることができる状態になると、ドライバーは、車両20を停止してステアリングハンドルを元の直進位置に戻す。すると画像合成ECU9は、ステップ180で、ステアリング角が閾値TH2より大きい状態から小さい状態に変化したと判定し、続いてステップ190に進む。
そしてステップ190では、ディスプレイ5に表示させていた右サイドビュー画像34および左サイドビュー画像35を消去させる。そして、図11に示すように、ステップ110と同様の方法で、リアビュー画像32の表示をディスプレイ5に開始させる。これにより、表示画面30の表示内容は、図4の場合と同様、トップビュー画像31、リアビュー画像32、表示ガイド画像33となる。ステップ190の後、図3の処理は終了するが、トップビュー画像31、リアビュー画像32、表示ガイド画像33の表示は継続される。
その後、図12に示すように、ドライバーは車両20を真っ直ぐ後退させ、車両20が完全に駐車マス内に収まった段階で、車両20の駆動動力をオフにし、車両20の主電源をオフにする。これにより、後退駐車支援装置10も作動を停止する。
以上説明した通り、画像合成ECU9は、リア撮影画像を用いて車両20の上方を視点とするトップビュー画像31の表示をディスプレイ5に開始させ、トップビュー画像31の表示が始まった後、車両20のシフト位置またはドライブレンジがリバースになったことに基づいて、右サイド撮影画像を用いて車両20の右側の位置を視点とする右サイドビュー画像34の表示をディスプレイ5に開始させる制御と、左サイド撮影画像を用いて車両20の左側の位置を視点とする左サイドビュー画像35の表示をディスプレイ5に開始させる制御の両方を行う。
このように、車両20のシフト位置またはドライブレンジがリバースになる前、すなわち車両20の後退前の段階では、トップビュー画像31で車両20と車両20周囲の大まかな位置関係を把握させる。シフトがリバースになった後、すなわち、車両20が後退する段階では、車両20の左右後端部が障害物に当たらないようにすることがドライバーにとって重要になる。この場面では、障害物の位置や形状が不正確になりがちなトップビュー画像よりも、車両20の右側の位置を視点とする右サイドビュー画像34および車両20の左側の位置を視点とする左サイドビュー画像35の方が、サイドミラーを見る感覚に近いので、よりドライバーにとって直感的に左右後端部付近の障害物の位置を把握し易い。このような観点から、シフトがリバースになったことに基づいて、右サイドビュー画像34およびサイドビュー画像35の一方または両方をディスプレイ5に表示させる。このようにして、後退駐車挙動の進行に応じて柔軟に表示態様を切り替えることができる。
また、後退時にドライバーがステアリングを戻した場合、その後は真っ直ぐ後退することが殆どなので、このような場合は、ステップ190のように、必要性が大きく低下したサイドビュー画像34、35を消去することで、ドライバーの利便性を更に向上することができる。
また、リア撮影画像はリアカメラ2によって撮影され、右サイド撮影画像は右サイドカメラ3によって撮影され、左サイド撮影画像は左サイドカメラ4によって撮影されている。そして、画像合成ECU9は、リア撮影画像、前記右サイド撮影画像、および前記左サイド撮影画像に対して視点変換を施して合成することでトップビュー画像31を生成するようになっている。
このように、トップビュー画像31が、それぞれ別のカメラ1〜4で撮影された画像に対して視点変換を施して合成したものとなっている場合は、それぞれの画像の繋ぎ目付近において画像の歪みが大きく、車両20の周囲の障害物の位置および形状を正しく把握するのが困難である。したがって、上記のように後退時にサイドビュー画像を表示することの意義がより鮮明になる。
なお、上記の実施形態において、右後方ソナーセンサ7a、左後方ソナーセンサ7bのそれぞれが障害物センサの一例に相当する。また、画像合成ECU9が、ステップ110、115を実行することで第1表示制御手段の一例として機能し、ステップ140を実行することで第2表示制御手段の一例として機能し、ステップ150、160、170を実行することで強調制御手段の一例として機能し、ステップ190を実行することで第3表示制御手段の一例として機能する。
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
(1)図3のステップ110のトップビュー画像の表示開始の契機は、必ずしも操作部6に対して後退駐車支援開始のための操作があったことに限らない。例えば、後退駐車支援装置10が、車両20の現在位置を検出する位置検出装置(GPS、ジャイロセンサ、車速センサ等)と、駐車場の位置範囲が記録された地図データを記憶する記憶媒体とを備えており、位置検出装置が検出した現在位置が地図データ中のいずれかの駐車場の位置範囲内に入っており、かつ、車両20の走行速度が所定の閾値(例えば時速10km)以下となったときに、ステップ100で駐車支援を開始すると判定し、ステップ110でトップビュー表示を行うようになっていてもよい。
(1)上記実施形態では、図3のステップ140で表示する画像は、図9に示すように、撮影画像に基づく画像としては、トップビュー画像31、右サイドビュー画像34、および左サイドビュー画像35となっていたが、必ずしもこのような組み合わせに限るものではない。例えば、図13に示すように、表示画面30内に、トップビュー画像31と、左サイドビュー画像35のみを表示させるようになっていてもよい。図13において右サイドビュー画像34と左サイドビュー画像35のち左サイドビュー画像35を表示しているのは、車両20の旋回内側の左サイドカメラ4の撮影画像を用いたサイドビュー画像だからである。このようにすることで、後退駐車時に旋回内側に特に不安を感じるドライバーに対してより適切な駐車支援を行うことができる。
またこの際、図14に示すように、表示画面30内に、左サイドビュー画像35のみを表示するようになっていてもよい。あるいは、図15に示すように右サイドミラーの画像を表示画面30内に表示させ、その右サイドミラーの画像の鏡に該当する部分に、右サイドビュー画像34を埋め込んで表示するようになっていてもよい。ここで、右サイドミラーの画像は、あらかじめテンプレート画像として画像合成ECU9のROMに記憶しておいたものを使用する。
また、この場合ステップ140では、右サイドビュー画像34および左サイドビュー画像35のうち前者のみを表示する場合は、表示ガイド画像33の表示範囲アイコンを、車両アイコンの右側方のみを強調するアイコンに置き換え、右サイドビュー画像34および左サイドビュー画像35のうち後者のみを表示する場合は、表示ガイド画像33の表示範囲アイコンを、車両アイコンの左側方のみを強調するアイコンに置き換えるようになっていてもよい。
(2)また、ステップ110において表示する画像は、図3〜図7のように、トップビュー画像31とリアビュー画像32の組み合わせである必要はない。例えば、リアビュー画像32を表示せず、トップビュー画像31のみ表示させるようになっていてもよいし、逆に、トップビュー画像31を表示せず、リアビュー画像32のみ表示させるようになっていてもよい。つまり、ステップ110においてディスプレイ5に表示させる画像は、リア撮影画像に基づく画像であれば、車両20の後退駐車支援に貢献することができる。
(3)また、上記実施形態では、ステップ140でサイドビュー画像34、35を表示させ始めるようになっているが、必ずしもこのようになっておらずともよく、例えば、ステップ110でトップビュー画像31に比べて非常に小さい(例えば面積が1/10以下の)サイドビュー画像34、35をディスプレイ5に表示させ始め、ステップ140では、ディスプレイ5においてサイドビュー画像34、35を拡大させるようになっていても、本発明の目的は達成可能である。つまり、ステップ140では、サイドビュー画像34、35をそれまでよりも強調表示させるようになっていればよい。なお、サイドビュー画像34、35を表示されていない状態から表示されている状態にすることも、サイドビュー画像34、35をそれまでよりも強調表示させる方法の一態様である。
(3)また、上記実施形態では、シフトがリバースになる(ステップ120)と共にステアリング角が所定の閾値TH1を超えた(ステップ130)ことに基づいて、ステップ140の表示制御を行っている。
上記の実施形態で、シフトがリバースになっても、ステアリング角が所定の閾値TH1を超えるまではステップ140(図9参照)に進まないのは、シフト位置またはドライブレンジがリバースに入っても、ステアリングハンドルが十分切られていない場合は、ドライバーがまだ後退しようとしてない段階(例えば、人が通過するのを待っている)なので、まだサイドビューを出さなくてもよいからである。
しかし、シフトがリバースになったことに基づいて、ステアリング角が所定の閾値TH1を超える超えないに関わらず、ステップ140に進むようになっていたとしてもよい。そのようになっていたとしても、少しステップ140の表示が早まるだけであり、大きな弊害があるわけではない。
(4)また、ステップ140に進む条件として、右後方ソナーセンサ7aまたは左後方ソナーセンサ7bが障害物を検知したことを追加するようになっていてもよい。具体的には、図3において、ステップ160、170の処理を廃し、ステップ140の処理をステップ170の位置に移動させればよい。より詳しくは、ステップ130で肯定判定となった場合に直ちにステップ150に進み、ステップ150で否定判定となったときはステップ180に進み、ステップ150で肯定判定となったときはステップ140に進み、ステップ140に続いてはステップ180を実行するようにすればよい。
つまり、トップビュー画像31の表示が始まった後、車両20のシフトがリバースになり、かつ、障害物センサ7a、7bが車両20の後方に障害物を検出したことに基づいて、右サイドビュー画像34および左サイドビュー画像35の表示をディスプレイ5に開始ようになっていてもよい。
このように、サイドビュー画像34、35をそれまでよりも強調表示させる条件として、障害物センサ7a、7bが車両の後方に障害物を検出したことを追加することもできる。サイドビュー画像34、35が後退時にいつも強調表示されるのは煩わしいと感じるドライバーにとっては、この制御の方が好ましい。
なおこの場合、ステップ140では、右サイドビュー画像34、左サイドビュー画像35のうち、右後方ソナーセンサ7aが障害物を検出したなら右サイドビュー画像34のみを表示させ、左後方ソナーセンサ7bが障害物を検出したなら左サイドビュー画像35のみを表示させるようになっていてもよい。
(5)また、右サイドカメラ3は、右側後方を撮影できていればよいのであって、必ずしも上記実施形態のように右前方等を撮影する必要はない。また同様に、左サイドカメラ4は、左側後方を撮影できていればよいのであって、必ずしも上記実施形態のように左前方等を撮影する必要はない。トップビュー画像は、リアカメラ2のリア撮影画像のみを用い、フロントカメラ1、右サイドカメラ3、左サイドカメラ4の撮影画像を用いなくてもよい。
(6)また、上記実施形態では、右サイドビュー画像34、左サイドビュー画像35は、右サイド撮影画像および左サイド撮影画像に対して歪み補正および視点変換を施した結果の画像であるが、歪み補正を施さずに右サイドビュー画像34、左サイドビュー画像35として用いてもよいし、視点変換を施さずに右サイドビュー画像34、左サイドビュー画像35として用いてもよい。
(7)また、トップビュー画像31、リアビュー画像32、右サイドビュー画像、左サイドビュー画像、表示ガイド画像33のそれぞれは、どれが表示されているか否かに関わらず、表示画面30内のそれぞれ専用の固定位置に表示されるようになっていてもよい。具体的には、トップビュー画像31の後方(表示画面30中下方向)にはリアビュー画像32、トップビュー画像31の右側には右サイドビュー画像、トップビュー画像31の左側には左サイドビュー画像を表示するようになっていてもよい。このようになっていれば、どの画像がどの部分を表示しているのかが、ドライバーにとって直感的に判りやすくなる。
(8)また、上記実施形態では、障害物センサの一例として右後方ソナーセンサ7a、左後方ソナーセンサ7bが用いられているが、障害物センサは、ソナーセンサでなくても、車両20の左右側面において車両後方に向けて取り付けられたレーダーセンサでもよい。あるいは、右サイド撮影画像および左サイド撮影画像に対して画像認識処理を施すことで他車両等の障害物を検知するようになっていてもよい。この場合は、右サイドカメラ3および左サイドカメラ4が障害物センサの一例に相当することになる。
(9)上記実施形態では、特許請求の範囲のカメラとして、カメラ1〜4の集合が例示されている。しかし、このように、特許請求の範囲のカメラは必ずしもそれぞれ異なる範囲を撮影する複数のカメラで構成されているものに限らず、1個で全方位を撮影する全方位カメラ単体で構成されていてもよい。その場合、この全方位カメラが出力する撮影画像は、フロント撮影画像、リア撮影画像、右サイド撮影画像、左サイド撮影画像のすべてを含んでいることになる。
(10)また、上記の実施形態において、画像合成ECU9がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア(例えば回路構成をプログラムすることが可能なFPGA)を用いて実現するようになっていてもよい。
1 フロントカメラ
2 リアカメラ
3 右サイドカメラ
4 左サイドカメラ
5 ディスプレイ
6 操作部
7a 右後方ソナーセンサ
7b 左後方ソナーセンサ
8 車両情報出力部
9 画像合成ECU
10 後退駐車支援装置
30 表示画面
31 トップビュー画像
32 リアビュー画像
33 表示ガイド画像
34 右サイドビュー画像
35 左サイドビュー画像
36 右サイドミラー枠画像
37 左サイドミラー枠画像

Claims (9)

  1. 後退駐車するためのガイド線を表示する駐車支援装置であって、
    車両の後方が撮影されたリア撮影画像、前記車両の右側後方が撮影された右サイド撮影画像、および、前記車両の左側後方が撮影された左サイド撮影画像を取得する制御装置(9)と、
    前記制御装置(9)の制御に従って前記車両内のドライバーに対して画像を表示するディスプレイ(5)と、を備え、
    前記制御装置(9)は、
    前記車両の後退駐車支援の開始により、前記リア撮影画像に基づく画像(31、32)の表示をディスプレイ(5)に開始させると共に、前記車両が移動したときの前記車両の車輪の軌跡を示すガイド線(42、43)を前記リア撮影画像内に表示せる第1表示制御手段(110、115)と、
    前記第1表示制御手段(110、115)の制御によって前記リア撮影画像に基づく画像(31、32)の表示が始まった後、前記車両のシフト位置またはドライブレンジがリバースになったことに基づいて、前記右サイド撮影画像を用いた前記車両の右側の位置を視点とする右サイドビュー画像(34)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、前記左サイド撮影画像を用いた前記車両の左側の位置を視点とする左サイドビュー画像(35)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、のうちいずれか一方または両方を行う第2表示制御手段(140)と、を備えたことを特徴とする後退駐車支援装置。
  2. 前記第2表示制御手段(140)は、前記第1表示制御手段(110、115)の制御によって前記リア撮影画像に基づく画像(31、32)の表示が始まった後、前記車両のシフト位置またはドライブレンジがリバースになったことに基づいて、前記リア撮影画像に基づく画像(31、32)に代えて、前記右サイドビュー画像(34)および前記左サイドビュー画像(35)のうちいずれか一方または両方を前記ディスプレイ(5)に表示させ始めることを特徴とする請求項1に記載の後退駐車支援装置。
  3. 前記第1表示制御手段(110、115)は、前記車両の後退駐車支援のために、前記リア撮影画像を用いて前記車両の上方を視点とするトップビュー画像(31)の表示を前記ディスプレイ(5)に開始させ、
    前記第2表示制御手段(140)は、前記第1表示制御手段(110、115)の制御によって前記トップビュー画像(31)の表示が始まった後、前記車両のシフト位置またはドライブレンジがリバースになったことに基づいて、前記右サイド撮影画像を用いて前記車両の右側の位置を視点とする右サイドビュー画像(34)の表示を前記ディスプレイ(5)に開始させる制御と、前記左サイド撮影画像を用いて前記車両の左側の位置を視点とする左サイドビュー画像(35)の表示を前記ディスプレイ(5)に開始させる制御と、のうちいずれか一方または両方を行うことを特徴とする請求項1に記載の後退駐車支援装置。
  4. 前記車両の右側後方および左側後方にある障害物を検出する障害物センサ(7a、7b)を備え、
    前記第2表示制御手段(140)の制御によって前記右サイドビュー画像(34)が表示されているとき、前記障害物センサ(7a、7b)が前記車両の右側後方に障害物を検出した場合は、前記障害物センサ(7a、7b)が前記車両の右側後方に障害物を検出していない場合に比べて、前記右サイドビュー画像(34)を強調表示させる強調制御手段(150、160、170)を備えたことを特徴とする請求項1ないし3のいずれか1つに記載の後退駐車支援装置。
  5. 前記車両の右側後方および左側後方にある障害物を検出する障害物センサ(7a、7b)を備え、
    前記第2表示制御手段(140)は、前記第1表示制御手段(110、115)の制御によって前記トップビュー画像(31)が表示されているとき、前記車両の位置またはドライブレンジがリバースになり、かつ、前記障害物センサ(7a、7b)が前記車両の後方に障害物を検出したことに基づいて、前記右サイドビュー画像(34)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、前記左サイドビュー画像(35)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、のうちいずれか一方または両方を行うことを特徴とする請求項1ないし3のいずれか1つに記載の後退駐車支援装置。
  6. 第2表示制御手段(140)によって前記右サイドビュー画像(34)および前記左サイドビュー画像(35)のうちいずれか一方または両方が表示されているとき、前記車両のステアリング角が所定の閾値(TH2)より大きい状態から小さい状態に変化したことに基づいて、前記右サイドビュー画像(34)および前記左サイドビュー画像(35)のうち表示させている画像をすべて消去させることを特徴とする請求項1ないし5のいずれか1つに記載の後退駐車支援装置。
  7. 前記リア撮影画像は、前記車両の後方を撮影するリアカメラ(2)によって撮影され、前記右サイド撮影画像は、前記車両の右側に取り付けられた右サイドカメラ(3)によって撮影され、前記左サイド撮影画像は、前記車両の左側に取り付けられた左サイドカメラ(4)によって撮影され、
    前記第1表示制御手段(110、115)は、前記リア撮影画像、前記右サイド撮影画像、および前記左サイド撮影画像に対して視点変換を施して合成することで前記トップビュー画像(31)を生成することを特徴とする請求項1ないし6のいずれか1つに記載の後退駐車支援装置。
  8. 前記第1表示制御手段(110、115)は、前記車両を示す車両アイコンと、そのアイコンの後方の所定範囲を示す表示範囲アイコンから構成される表示ガイド画像(33)を前記ディスプレイ(5)に表示させ、
    前記第2表示制御手段(140)は、前記第1表示制御手段(110、115)の制御によって前記リア撮影画像に基づく画像(31、32)の表示が始まった後、前記車両のシフト位置またはドライブレンジがリバースになったことに基づいて、前記表示ガイド画像(33)の前記表示範囲アイコンを、前記車両アイコンの右側方および左側方の両方またはいずれか一方を強調するアイコンに置き換えることを特徴とする請求項1ないし7のいずれか1つに記載の後退駐車支援装置。
  9. 車両に搭載される後退駐車支援装置に用いるプログラムであって、
    前記車両の後退駐車支援のために、車両の後方が撮影されたリア撮影画像に基づく画像(31、32)の表示をディスプレイ(5)に開始させる第1表示制御手段(110、115)、および
    前記第1表示制御手段(110、115)の制御によって前記リア撮影画像に基づく画像(31)の表示が始まった後、前記車両のシフト位置またはドライブレンジがリバースになったことに基づいて、前記車両の右側後方が撮影された右サイド撮影画像を用いた前記車両の右側の位置を視点とする右サイドビュー画像(34)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、前記車両の左側後方が撮影された左サイド撮影画像を用いた前記車両の左側の位置を視点とする左サイドビュー画像(35)を前記ディスプレイ(5)においてそれまでよりも強調表示させる制御と、のうちいずれか一方または両方を行う第2表示制御手段(140)として、前記後退駐車支援装置を機能させるプログラム。
JP2010213177A 2010-09-24 2010-09-24 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム Expired - Fee Related JP5187369B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010213177A JP5187369B2 (ja) 2010-09-24 2010-09-24 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
DE102011083184.3A DE102011083184B4 (de) 2010-09-24 2011-09-22 Einparkunterstützungseinrichtung zum Zurücksetzen eines Fahrzeugs in eine Parklücke und Verfahren hierfür
CN201110291022.4A CN102416906B (zh) 2010-09-24 2011-09-22 用于将车辆倒进停车场的停车支持设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010213177A JP5187369B2 (ja) 2010-09-24 2010-09-24 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム

Publications (2)

Publication Number Publication Date
JP2012066700A true JP2012066700A (ja) 2012-04-05
JP5187369B2 JP5187369B2 (ja) 2013-04-24

Family

ID=45804865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010213177A Expired - Fee Related JP5187369B2 (ja) 2010-09-24 2010-09-24 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム

Country Status (3)

Country Link
JP (1) JP5187369B2 (ja)
CN (1) CN102416906B (ja)
DE (1) DE102011083184B4 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014045456A1 (ja) * 2012-09-21 2014-03-27 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
KR20160024880A (ko) * 2013-06-26 2016-03-07 콘티 테믹 마이크로일렉트로닉 게엠베하 미러 대체 장치 및 차량
JP2017188744A (ja) * 2016-04-04 2017-10-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用周辺監視装置
US9827906B2 (en) 2014-07-15 2017-11-28 Fujitsu Ten Limited Image processing apparatus
JP2017215936A (ja) * 2016-03-16 2017-12-07 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG 車両用ビジュアルシステム、特に、商用車用ビジュアルシステム
US10268905B2 (en) 2014-10-29 2019-04-23 Denso Corporation Parking assistance apparatus
WO2019220557A1 (ja) * 2018-05-16 2019-11-21 三菱電機株式会社 車両用画像処理装置および画像処理方法
JP2020505802A (ja) * 2016-12-30 2020-02-20 ジェンテックス コーポレイション オンデマンドスポッタービューを備えた全画面表示ミラー
US10596966B2 (en) 2015-08-10 2020-03-24 Jvckenwood Corporation Display device for vehicle and display method for vehicle
US10723266B2 (en) 2017-02-28 2020-07-28 JVC Kenwood Corporation On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
JP2020135206A (ja) * 2019-02-15 2020-08-31 パナソニックIpマネジメント株式会社 画像処理装置、車載用カメラシステム及び画像処理方法
WO2021131117A1 (ja) * 2019-12-25 2021-07-01 株式会社Jvcケンウッド 表示制御装置、表示制御方法およびプログラム
CN113060127A (zh) * 2019-12-13 2021-07-02 本田技研工业株式会社 泊车辅助装置、泊车辅助方法和程序

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014089513A (ja) * 2012-10-29 2014-05-15 Denso Corp 画像生成装置、および画像生成プログラム
KR101438941B1 (ko) * 2012-12-11 2014-11-03 현대자동차주식회사 주차 지원 제어 장치 및 방법
DE102012025580A1 (de) * 2012-12-20 2014-06-26 Connaught Electronics Ltd. Verfahren zum Betreiben eines Kamerasystems mit einer Master-Kamera, Kamerasystemund Kraftfahrzeug
CN103108126B (zh) * 2013-01-21 2017-08-25 Tcl集团股份有限公司 一种视频交互系统、方法、交互眼镜及终端
WO2015087430A1 (ja) * 2013-12-12 2015-06-18 日立建機株式会社 車両走行システム及び車両走行制御方法
FR3017585A1 (fr) * 2014-02-14 2015-08-21 Renault Sa Systeme d'aide au parking d'un vehicule automobile
US9672433B2 (en) 2014-11-14 2017-06-06 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-directional vehicle maneuvering assistance
CN106292684B (zh) * 2015-05-13 2020-11-13 日立(中国)研究开发有限公司 搭载飞行器的车辆
JP6551336B2 (ja) * 2016-08-12 2019-07-31 株式会社デンソー 周辺監査装置
CN109691088B (zh) * 2016-08-22 2022-04-15 索尼公司 图像处理设备、图像处理方法、以及程序
KR102005944B1 (ko) * 2016-10-19 2019-08-01 주식회사 만도 주차 보조 시스템 및 그 제어 방법
DE102017123848A1 (de) * 2017-10-13 2019-04-18 Connaught Electronics Ltd. Automatisches Parken eines Fahrzeugs auf einem Parkplatz
JP2020083070A (ja) * 2018-11-26 2020-06-04 本田技研工業株式会社 映像表示装置
JP7256463B2 (ja) * 2019-10-11 2023-04-12 トヨタ自動車株式会社 車両駐車支援装置
JP7423341B2 (ja) * 2020-02-19 2024-01-29 本田技研工業株式会社 制御装置、車両、プログラム、及び制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2006224778A (ja) * 2005-02-16 2006-08-31 Nippon Soken Inc 駐車支援装置
JP2009278349A (ja) * 2008-05-14 2009-11-26 Aisin Seiki Co Ltd 周辺監視装置
JP2010072702A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両運転支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3916958B2 (ja) 2002-01-24 2007-05-23 クラリオン株式会社 車両後方モニタシステムおよびモニタ装置
JP2008114691A (ja) 2006-11-02 2008-05-22 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視映像表示方法
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2006224778A (ja) * 2005-02-16 2006-08-31 Nippon Soken Inc 駐車支援装置
JP2009278349A (ja) * 2008-05-14 2009-11-26 Aisin Seiki Co Ltd 周辺監視装置
JP2010072702A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両運転支援装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9457719B2 (en) 2012-09-21 2016-10-04 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle
JP2014064192A (ja) * 2012-09-21 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
WO2014045456A1 (ja) * 2012-09-21 2014-03-27 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9969330B2 (en) 2013-06-26 2018-05-15 Conti Temic Microelectronic Gmbh Mirror substitute device and vehicle
JP2016523204A (ja) * 2013-06-26 2016-08-08 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH ミラー代替手段、並びに、車両
KR20160024880A (ko) * 2013-06-26 2016-03-07 콘티 테믹 마이크로일렉트로닉 게엠베하 미러 대체 장치 및 차량
KR102158898B1 (ko) * 2013-06-26 2020-09-22 콘티 테믹 마이크로일렉트로닉 게엠베하 미러 대체 장치 및 차량
US9827906B2 (en) 2014-07-15 2017-11-28 Fujitsu Ten Limited Image processing apparatus
US10268905B2 (en) 2014-10-29 2019-04-23 Denso Corporation Parking assistance apparatus
US10596966B2 (en) 2015-08-10 2020-03-24 Jvckenwood Corporation Display device for vehicle and display method for vehicle
JP2017215936A (ja) * 2016-03-16 2017-12-07 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG 車両用ビジュアルシステム、特に、商用車用ビジュアルシステム
JP2017188744A (ja) * 2016-04-04 2017-10-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用周辺監視装置
JP2020505802A (ja) * 2016-12-30 2020-02-20 ジェンテックス コーポレイション オンデマンドスポッタービューを備えた全画面表示ミラー
US10723266B2 (en) 2017-02-28 2020-07-28 JVC Kenwood Corporation On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
WO2019220557A1 (ja) * 2018-05-16 2019-11-21 三菱電機株式会社 車両用画像処理装置および画像処理方法
JP2020135206A (ja) * 2019-02-15 2020-08-31 パナソニックIpマネジメント株式会社 画像処理装置、車載用カメラシステム及び画像処理方法
CN113060127A (zh) * 2019-12-13 2021-07-02 本田技研工业株式会社 泊车辅助装置、泊车辅助方法和程序
CN113060127B (zh) * 2019-12-13 2024-05-07 本田技研工业株式会社 泊车辅助装置、泊车辅助方法和程序
WO2021131117A1 (ja) * 2019-12-25 2021-07-01 株式会社Jvcケンウッド 表示制御装置、表示制御方法およびプログラム

Also Published As

Publication number Publication date
CN102416906A (zh) 2012-04-18
JP5187369B2 (ja) 2013-04-24
CN102416906B (zh) 2014-08-06
DE102011083184A1 (de) 2012-03-29
DE102011083184B4 (de) 2022-03-17

Similar Documents

Publication Publication Date Title
JP5187369B2 (ja) 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP6156486B2 (ja) 周辺監視装置、及びプログラム
JP5035321B2 (ja) 車両周辺表示制御装置および車両周辺表示制御装置用のプログラム
JP5321267B2 (ja) 車両用画像表示装置及び俯瞰画像の表示方法
US8675069B2 (en) Vehicle surroundings monitoring apparatus
EP2620330B1 (en) Driving assistance device
JP4682809B2 (ja) 駐車支援システム
JP4687411B2 (ja) 車両周辺画像処理装置及びプログラム
JP5622986B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
JP2010183170A (ja) 車両用表示装置
JP2004254219A (ja) 車両周辺画像処理装置及びプログラム並びに記録媒体
JP5067169B2 (ja) 車両用駐車支援装置および画像表示方法
JP5099195B2 (ja) 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP4665721B2 (ja) 駐車支援システム
JP2010215027A (ja) 車両用運転支援装置
JP2010184604A (ja) 車両周辺表示装置
JP2009284386A (ja) 車両用駐車支援装置
JP2007118922A (ja) 車両後退運転支援装置
JP2008213647A (ja) 駐車支援方法及び駐車支援装置
JP4977482B2 (ja) 画像提供装置、車両、および画像提供方法
JP2007091047A (ja) 車両駐車支援装置
JP2012147285A (ja) バックモニタ装置
JP4650252B2 (ja) 駐車支援装置
JP2007091046A (ja) 車両駐車支援装置
JP2007276590A (ja) 駐車支援装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5187369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees