JP2021094937A - 車両用表示装置及び駐車支援システム - Google Patents

車両用表示装置及び駐車支援システム Download PDF

Info

Publication number
JP2021094937A
JP2021094937A JP2019225940A JP2019225940A JP2021094937A JP 2021094937 A JP2021094937 A JP 2021094937A JP 2019225940 A JP2019225940 A JP 2019225940A JP 2019225940 A JP2019225940 A JP 2019225940A JP 2021094937 A JP2021094937 A JP 2021094937A
Authority
JP
Japan
Prior art keywords
vehicle
image
unit
imaging
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019225940A
Other languages
English (en)
Other versions
JP6998360B2 (ja
Inventor
浩 山中
Hiroshi Yamanaka
山中　　浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019225940A priority Critical patent/JP6998360B2/ja
Priority to US17/096,008 priority patent/US11584297B2/en
Priority to CN202011440394.4A priority patent/CN112995584B/zh
Publication of JP2021094937A publication Critical patent/JP2021094937A/ja
Application granted granted Critical
Publication of JP6998360B2 publication Critical patent/JP6998360B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両の周囲にある物体の位置に応じた適切な合成画像を生成する。【解決手段】車両用表示装置は、車両Ｖの周囲の画像を撮影する複数の撮像部５１、５２と、複数の撮像部５１、５２の撮影画像を合成して合成画像を生成する画像合成部と、画像合成部が生成した合成画像を表示する画像表示部と、車両Ｖの周囲にある物体の情報を取得する取得部６１と、を備え、複数の撮像部５１、５２は、その撮像範囲Ｉ１、Ｉ２が重なるように配置され、画像合成部は、複数の撮像部５１、５２の撮像範囲Ｉ１、Ｉ２が重なる部分Ｘｒに合成画像上における撮影画像の境界Ｙｒを設定すると共に、取得部６１が物体の情報を取得した場合に境界Ｙｒを変化させる。【選択図】 図６

Description

本発明は、車両用表示装置及びこれを備えた駐車支援システムに関する。
従来、車両の周囲を表示するための様々な方法が提案されている。例えば、特許文献１には、車両に搭載され、車両の周囲の所望の方向の画像を撮影する撮像手段と、この撮像手段で撮像した画像を車両の運転者が見やすいように変換合成する画像処理手段と、この画像処理手段で合成された画像を表示する表示手段とを有する車載監視カメラ装置が開示されている。
特開平４−２３９４００号公報
ところで、車両用表示装置が車両の周囲の画像を撮影する複数の撮像部を備えている場合、複数の撮像部の撮影画像を合成して合成画像を生成し、この合成画像を表示装置（例えば、車内のタッチパネル等）に表示することがある。このような場合、車両の周囲にある物体の位置によっては、複数の撮像部の撮影画像の境界付近において合成画像を適切に生成することが困難になる恐れがある。
本発明は、以上の背景を鑑み、車両の周囲にある物体の位置に応じた適切な合成画像を生成することが可能な車両用表示装置を提供することを課題とする。
上記課題を解決するために本発明のある態様は、車両用表示装置（３）であって、車両（Ｖ）の周囲の画像を撮影する複数の撮像部（５１、５２）と、前記複数の撮像部の撮影画像を合成して合成画像を生成する画像合成部（４１）と、前記画像合成部が生成した前記合成画像を表示する画像表示部（３２）と、前記車両の周囲にある物体（Ｚ）の情報を取得する取得部（６１）と、を備え、前記複数の撮像部は、その撮像範囲（Ｉ１、Ｉ２）が重なるように配置され、前記画像合成部は、前記複数の撮像部の撮像範囲が重なる部分（Ｘｒ）に前記合成画像上における前記撮影画像の境界（Ｙｒ）を設定すると共に、前記取得部が物体の情報を取得した場合に前記境界を変化させる。
この態様によれば、車両の周囲にある物体の位置に応じて撮影画像の境界を変化させることができるため、車両の周囲にある物体の位置に応じた適切な合成画像を生成することができる。
上記の態様において、前記複数の撮像部は、第１撮像範囲において画像を撮影する第１撮像部と、前記第１撮像範囲と重なる第２撮像範囲において画像を撮影する第２撮像部と、を含み、前記取得部は、前記第１撮像範囲内において物体の情報を取得し、前記画像合成部は、前記取得部が物体の情報を取得した場合に、前記取得部が物体の情報を取得していない場合よりも、前記第１撮像部側に前記境界を移動させても良い。
この態様によれば、境界を適切な方向に移動させることで、合成画像上における物体の位置の正確性を高めることができる。
上記の態様において、前記画像合成部は、前記取得部が物体の情報を取得した場合に、前記取得部が物体の情報を取得していない場合よりも、前記第２撮像部の撮影画像の使用範囲を広げ、前記第１撮像部の撮影画像の使用範囲を狭めても良い。
この態様によれば、第２撮像部（撮像範囲において物体の情報が取得されていない撮像部）の撮影画像の使用範囲を広げ、第１撮像部（撮像範囲において物体の情報が取得された撮像部）の撮影画像の使用範囲を狭めることができる。そのため、合成画像上における物体の位置の正確性を更に高めることができる。
上記の態様において、前記第１撮像部は、前記車両の側方の画像を撮影する側方撮像部であり、前記第２撮像部は、前記車両の後方の画像を撮影する後方撮像部であり、前記取得部は、前記車両の側方にある物体の情報を取得する側方取得部であり、前記画像合成部は、前記側方取得部が物体の情報を取得した場合に、前記側方取得部が物体の情報を取得していない場合よりも、前記境界を前記車両の前方に移動させても良い。
この態様によれば、車両の側方に物体があり、合成画像上における物体の位置が実際の空間上における物体の位置とずれやすい場合に、合成画像上における物体の位置と実際の空間上における物体の位置のずれを抑制することができる。
上記の態様において、前記側方撮像部は、前記車両の前後方向中央よりも前方に配置され、前記側方取得部は、前記車両の前後方向中央よりも前方に配置される前側の側方取得部と、前記車両の前後方向中央よりも後方に配置される後側の側方取得部と、を含むように複数設けられ、前記画像合成部は、前記後側の側方取得部が物体の情報を取得した場合に、前記後側の側方取得部が物体の情報を取得していない場合よりも、前記境界を前記車両の前方に移動させても良い。
この態様によれば、車両の後部側方に物体があり、合成画像上における物体の位置が実際の空間上における物体の位置と特にずれやすい場合に、合成画像上における物体の位置と実際の空間上における物体の位置のずれを抑制することができる。
上記の態様において、前記車両用表示装置は、前記側方取得部とは別に、前記車両の前方にある物体の情報を取得する前方取得部（６３）と、前記車両の後方にある物体の情報を取得する後方取得部（６２）と、を更に備え、前記画像合成部は、前記前方取得部又は前記後方取得部が物体の情報を取得した場合に、前記境界を移動させなくても良い。
この態様によれば、境界の不必要な移動を抑制することで、境界の移動によって生じる違和感を抑制することができる。
上記の態様において、前記車両用表示装置は、前記側方取得部とは別に、前記車両の前方にある物体の情報を取得する前方取得部と、前記車両の後方にある物体の情報を取得する後方取得部と、を更に備え、前記画像合成部は、前記前方取得部又は前記後方取得部が物体の情報を取得した場合に、前記境界を移動させても良い。
この態様によれば、車両の前方又は後方に物体がある場合に、合成画像上における物体の位置と実際の空間上における物体の位置のずれを抑制することができる。
上記の態様において、前記境界は、前記車両を中心とする周方向に所定の幅を有し、前記画像合成部は、移動後の前記境界が移動前の前記境界と部分的に重なるように、前記境界を移動させても良い。
この態様によれば、境界の移動幅を狭めることで、境界の移動によって生じる違和感を抑制することができる。
上記の態様において、前記複数の撮像部は、第１撮像範囲において画像を撮影する第１撮像部と、前記第１撮像範囲と重なる第２撮像範囲において画像を撮影する第２撮像部と、を含み、前記取得部は、前記第１撮像範囲内において物体の情報を取得し、前記画像合成部は、前記第１撮像部の撮影画像と前記第２撮像部の撮影画像をブレンドして前記合成画像のうちの前記境界と対応する部分を生成し、前記取得部が物体の情報を取得した場合に、前記取得部が物体の情報を取得していない場合よりも、前記第２撮像部の前記撮影画像の割合が高くなると共に前記第１撮像部の前記撮影画像の割合が低くなるように、前記合成画像のうちの前記境界と対応する部分における前記撮影画像のブレンド率を変更しても良い。
この態様によれば、第２撮像部（撮像範囲において物体の情報が取得されていない撮像部）の撮影画像の割合を高くし、第１撮像部（撮像範囲において物体の情報が取得された撮像部）の撮影画像の割合を低くすることができる。そのため、合成画像上における物体の位置の正確性を高めることができる。
上記の態様において、前記画像合成部が生成する前記合成画像は、直上方から前記車両を見下ろす平面視画像であっても良い。
この態様によれば、合成画像上における物体の位置が実際の空間上における物体の位置とずれやすい平面視画像において、合成画像上における物体の位置と実際の空間上における物体の位置のずれを抑制することができる。
上記課題を解決するために本発明の異なる態様は、前記車両用表示装置を備えた駐車支援システムであって、前記画像表示部は、前記合成画像上に駐車位置候補を表示可能に設けられている。
この態様によれば、実際の空間上では物体と駐車位置候補が重なっていないにも関わらず、合成画像上では物体と駐車位置候補が重なってしまうような事態の発生を抑制することができる。
以上の構成によれば、車両の周囲にある物体の位置に応じた適切な合成画像を生成することが可能な車両用表示装置を提供することが可能となる。
実施形態に係る駐車支援システムが搭載される車両の機能構成図 実施形態に係る駐車支援システムの自動入庫処理のフローチャート 実施形態に係る駐車支援システムの（Ａ）目標駐車位置受付処理中、（Ｂ）駆動処理中、及び（Ｃ）車両の駐車位置への移動が完了したときのタッチパネルの画面表示を示す図 実施形態に係る車両用表示装置において、複数の車外カメラ及び複数のソナーの配置を示す平面図 実施形態に係る車両用表示装置において、後側の側方ソナーが物体を検出した時に境界を移動させない場合の合成画像の表示例を示す平面図 実施形態に係る車両用表示装置において、後側の側方ソナーが物体を検出した時に境界を移動させる場合の合成画像の表示例を示す平面図
以下、図面を参照して、本発明の実施形態について詳細に説明する。
駐車支援システム１は車両を自律走行させる車両制御システム２を備えた自動車等の車両に搭載される。
図１に示すように、車両制御システム２は、推進装置４、ブレーキ装置５、ステアリング装置６、外界センサ７、車両センサ８、ナビゲーション装置１０、運転操作子１１、運転操作センサ１２、状態検出センサ１３、ＨＭＩ１４、及び制御装置１５を有している。車両制御システム２の各構成は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信手段によって信号伝達可能に互いに接続されている。
推進装置４は車両に駆動力を付与する装置であり、例えば動力源及び変速機を含む。動力源はガソリンエンジンやディーゼルエンジン等の内燃機関及び電動機の少なくとも一方を有する。本実施形態では、推進装置４は自動変速機１６と、自動変速機１６のシフトポジション（シフト位置）を変更するシフトアクチュエータ１７とを含む。ブレーキ装置５は車両に制動力を付与する装置であり、例えばブレーキロータにパッドを押し付けるブレーキキャリパと、ブレーキキャリパにブレーキ圧（油圧）を供給する電動シリンダとを含む。ブレーキ装置５はワイヤケーブルによって車輪の回転を規制する電動のパーキングブレーキ装置を含んでもよい。ステアリング装置６は車輪の舵角を変えるための装置であり、例えば車輪を転舵するラックアンドピニオン機構と、ラックアンドピニオン機構を駆動する電動モータとを有する。推進装置４、ブレーキ装置５、及びステアリング装置６は、制御装置１５によって制御される。
外界センサ７は車両の周辺からの電磁波や音波等を捉えて、車外の物体等を検出し、車両の周辺情報を取得する装置（外界取得装置）である。外界センサ７はソナー１８及び車外カメラ１９を含んでいる。外界センサ７はミリ波レーダやレーザライダを含んでいてもよい。外界センサ７は検出結果を制御装置１５に出力する。
ソナー１８はいわゆる超音波センサであり、超音波を車両の周囲に発射し、その反射波を捉えることにより物体の位置（距離及び方向）を検出する。ソナー１８は車両の後部及び前部にそれぞれ複数設けられている。本実施形態では、ソナー１８はリアバンパに左右一対、フロントバンパに左右一対、車両の左右側面前端及び後端にそれぞれ１個ずつ、合計８個設けられている。リアバンパに設けられたソナー１８は主に車両の後方にある物体の位置を検出し、フロントバンパに設けられたソナー１８は主に車両の前方にある物体の位置を検出する。車両の左右側面前端に設けられたソナー１８はそれぞれ車両前端の左右外方にある物体の位置を検出し、車両の左右側面後端に設けられたソナー１８はそれぞれ車両後端の左右外方にある物体の位置を検出する。
車外カメラ１９は車両の周囲を撮像する装置であり、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車外カメラ１９は車両の前方を撮像する前方カメラと後方を撮像する後方カメラとを含んでいる。車外カメラ１９は車両のドアミラー設置場所近傍に設けられ、左右側部を撮像する左右一対の側方カメラを含んでいるとよい。
車両センサ８は、車両の車速を検出する車速センサ８ａ、車両の加速度を検出する加速度センサ、車両の鉛直軸回りの角速度を検出するヨーレートセンサ、車両の向きを検出する方位センサ等を含む。車速センサ８ａは、例えば車輪速（各車輪の回転速度）を検出する複数の車輪速センサによって構成される。ヨーレートセンサは、例えばジャイロセンサである。
ナビゲーション装置１０は車両の現在位置を取得し、目的地への経路案内等を行う装置であり、ＧＰＳ受信部２０、及び地図記憶部２１を有する。ＧＰＳ受信部２０は人工衛星（測位衛星）から受信した信号に基づいて車両の位置（緯度や経度）を特定する。地図記憶部２１は、フラッシュメモリやハードディスク等の公知の記憶装置によって構成され、地図情報を記憶している。
運転操作子１１は車室内に設けられ、車両を制御するためにユーザが行う入力操作を受け付ける。運転操作子１１は、ステアリングホイール２２、アクセルペダル２３、ブレーキペダル２４（制動操作子）、及び、シフトレバー２５を含む。
運転操作センサ１２は、対応する運転操作子１１の操作量を検出する。運転操作センサ１２は、ステアリングホイール２２の回転角を検出する舵角センサ２６、及び、ブレーキペダル２４の踏込量を検出するブレーキセンサ２７、及び、アクセルペダル２３の踏込量を検出するアクセルセンサ２８を含む。運転操作センサ１２は検出した操作量をそれぞれ制御装置１５に出力する。
状態検出センサ１３は乗員の操作による車両の状態変化を検出するためのセンサである。状態検出センサ１３が検出する乗員の操作には、降車意思に対応する乗員の操作、及び、駐車動作中の車両周辺監視を放棄することに対応する乗員の操作を含む。状態検出センサ１３は、降車意思に対応する乗員の操作を検出するためのセンサとして、車両のドアの開閉を検出するドア開閉センサ２９と、シートベルトの装着状態を検出するシートベルトセンサ３０とを含む。状態検出センサ１３は、駐車動作中の車両周辺監視を放棄することに対応する乗員の操作を検出するためのセンサとして、ドアミラーの位置を検出するドアミラー位置センサ３１を含む。状態検出センサ１３は検出した車両の状態変化を示す信号をそれぞれ制御装置１５に出力する。
ＨＭＩ１４は、乗員に対して表示や音声によって各種情報を通知するとともに、乗員から入力操作を受け付ける出入力装置である。ＨＭＩ１４は、例えば、液晶や有機ＥＬ等の表示画面を有し、乗員からの画面への入力操作を受け付けるタッチパネル３２と、ブザーやスピーカ等の音発生装置３３と、駐車メインスイッチ３４と、選択操作子３５とを含む。駐車メインスイッチ３４は乗員から自動入庫や自動出庫等の自動駐車に係る入力操作を受け付ける。駐車メインスイッチ３４は乗員から押圧（プッシュ）操作が行われたときにのみオンとなる、いわゆるモーメンタリスイッチである。選択操作子３５は乗員から自動入庫や自動出庫等の自動駐車に係る選択操作を受け付ける。選択操作子３５は回転式であり、より好ましくは押し込むことで選択可能なセレクトスイッチであるとよい。
制御装置１５は、ＣＰＵ、不揮発性メモリ（ＲＯＭ）、及び、揮発性メモリ（ＲＡＭ）等を含む電子制御装置（ＥＣＵ）である。制御装置１５はＣＰＵでプログラムに沿った演算処理を実行することで、各種の車両制御を実行する。制御装置１５は１つのハードウェアとして構成されていてもよく、複数のハードウェアからなるユニットとして構成されていてもよい。また、制御装置１５の各機能部の少なくとも一部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェアによって実現されてもよく、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。
また、制御装置１５はプログラムに沿った演算処理を実行することで、車外カメラ１９により撮影された画像（映像）の変換処理を行い、車両及びその周辺の平面視に相当する俯瞰画像や、車両及びその進行方向の周辺を上方から見た三次元画像に相当する鳥瞰画像を生成する。制御装置１５は、前方カメラ、後方カメラ及び左右の側方カメラの各画像を組み合わせて俯瞰画像を生成し、進行方向を向く前方カメラ又は後方カメラの画像と左右の側方カメラの画像とを組み合わせて鳥瞰画像を生成するとよい。
駐車支援システム１は乗員によって選択された所定の目標位置（目標駐車位置、又は目標出庫位置）に車両を自律的に移動させて入庫及び出庫させる、いわゆる自動駐車を行うためのシステムである。
駐車支援システム１は、ＨＭＩ１４、制御装置１５及び外界センサ７を含む。
制御装置１５は、推進装置４やブレーキ装置５、ステアリング装置６を制御して、車両に、目標駐車位置に車両を自律的に移動させて入庫させる自律的な入庫動作、及び目標出庫位置に車両を自律的に移動させて出庫させる自律的な出庫動作をそれぞれ実行させることができる。このような制御を行うため、制御装置１５は、外界認識部４１、自車位置特定部４２、行動計画部４３、走行制御部４４、車両異常検出部４５、及び車両状態判定部４６を含む。
外界認識部４１は、外界センサ７の検出結果に基づいて、車両の周辺に存在する例えば、駐車車両や壁などの障害物を認識し、障害物に関する位置や大きさ等の情報を取得する。また、外界認識部４１は車外カメラ１９によって取得した画像をパターンマッチング等の公知の画像解析手法に基づいて解析し、車止め（輪止め）や障害物の有無及びその大きさを取得する。更に、外界認識部４１はソナー１８からの信号を用いて障害物までの距離を算出し、障害物の位置を取得するとよい。
外界認識部４１はまた、外界センサ７の検出結果、より具体的には車外カメラ１９によって撮像された画像をパターンマッチング等の公知の画像解析手法に基づいて解析し、例えば、道路標示により区画された道路上の車線や、道路や駐車場等の路面に描かれた白線等により区画された駐車枠を取得することができる。
自車位置特定部４２は、ナビゲーション装置１０のＧＰＳ受信部２０からの信号に基づいて、自車両の位置を検出する。また、自車位置特定部４２はＧＰＳ受信部２０からの信号に加えて、車両センサ８から車速やヨーレートを取得し、いわゆる慣性航法を用いて自車両の位置及び姿勢を特定してもよい。
走行制御部４４は、行動計画部４３からの走行制御の指示に基づいて、推進装置４、ブレーキ装置５、及びステアリング装置６を制御し、車両を走行させる。
車両異常検出部４５は各種装置やセンサからの信号に基づいて車両の異常を検出する。車両の異常には推進装置４、ブレーキ装置５、及びステアリング装置６を含む車両の駆動に要する装置の故障や、外界センサ７又は車両センサ８、ＧＰＳ受信部２０等の車両の自律的な走行に要する各種センサの故障が含まれる。また、車両の異常にはＨＭＩ１４の故障が含まれる。
車両状態判定部４６は車両に設けられた各種センサからの信号に基づいて車両の状態を取得し、車両が走行を禁止すべき禁止状態にあるかを判定する。車両状態判定部４６は、乗員によって車両の自律的な移動を覆そうとする運転操作子１１への運転動作（オーバライド操作）が有ったときに、車両の状態が走行を禁止すべき禁止状態にあると判定する。
更に、車両状態判定部４６は状態検出センサ１３の検出結果に基づいて、車両が乗員の降車意思を反映した状態にあるときに、車両が禁止状態にあると判定する。より具体的には、車両状態判定部４６は、ドア開閉センサ２９においてドアが開かれていることを検出したときには、車両は禁止状態にあると判定する。車両状態判定部４６は、シートベルトセンサ３０においてシートベルトが解除されていることを検出したときには、車両は禁止状態にあると判定する。
また、車両状態判定部４６は状態検出センサ１３からの信号に基づいて、車両が乗員の周辺監視を行う意思がないことを反映した状態にあるときには、車両が禁止状態にあると判定する。より具体的には、車両状態判定部４６は、ドアミラー位置センサ３１においてドアミラーが閉じられた状態にあるときには、車両は禁止状態にあると判定する。
行動計画部４３は、車両が所定の状態にあり、且つＨＭＩ１４や駐車メインスイッチ３４にユーザから自動駐車を希望することに対応する所定の入力があったときに、自動駐車処理を行う。具体的には、行動計画部４３は、車両が停止している又は車両が所定の駐車位置候補探索可能車速以下の低速で走行しているときに、対応する所定の入力があった場合に、自動入庫処理を行う。また、行動計画部４３は、車両が停止しているときに、対応する所定の入力があったときに、自動出庫処理（縦列駐車出庫処理）を行う。自動駐車処理及び自動出庫処理のうち、行うべき処理の選択は、行動計画部４３が車両の状態に基づいて判定してもよく、タッチパネル３２、又は選択操作子３５を介して乗員により選択されてもよい。自動入庫処理を行う場合には、行動計画部４３は、最初に目標駐車位置を設定するための駐車検索画面をタッチパネル３２に表示させ、目標駐車位置の設定後、入庫画面をタッチパネル３２に表示させる。自動出庫処理を行う場合には、行動計画部４３は、目標出庫位置を設定するための出庫検索画面をタッチパネル３２に表示させ、目標出庫位置の設定後、出庫画面をタッチパネル３２に表示させる。
自動入庫処理について図２を参照して説明を行う。行動計画部４３は最初に駐車可能位置の取得を行う取得処理（ステップＳＴ１）を行う。より具体的には、車両が停止している場合には、行動計画部４３はまず、ＨＭＩ１４のタッチパネル３２に乗員に車両を直進させるように指示する通知を表示させる。運転席に着座する乗員（以下、運転者）が車両を直進させている間に、外界認識部４１は外界センサ７からの信号に基づいて、障害物の位置及び大きさと、路面に描かれた白線の位置とを取得する。外界認識部４１は取得した障害物の位置及び大きさと白線とに基づいて、自車を駐車可能な大きさの利用可能な駐車空間（障害物がない空間）及び白線等により区画される他車両が停まっていない利用可能な空き駐車枠（以下、空き駐車空間と空き駐車枠とを併せて駐車可能位置という）を抽出する。
次に、行動計画部４３は、車両の現在地から抽出した駐車可能位置に至るまでの車両の軌道を算出する軌道算出処理（ＳＴ２）を行う。車両の軌道を算出可能である場合、行動計画部４３は駐車可能位置を入庫可能な駐車位置候補に設定し、駐車位置候補をタッチパネル３２の画面（駐車検索画面）上に表示させる。障害物の存在により車両の軌道を算出できない場合、行動計画部４３は駐車可能位置を駐車位置候補に設定せず、駐車可能位置をタッチパネル３２の画面上に表示させない。行動計画部４３は、車両の軌道を算出可能な複数の駐車位置候補を設定した場合、これらの駐車位置候補をタッチパネル３２に表示させる。
次に、行動計画部４３は、タッチパネル３２に表示した駐車位置候補の中から乗員が駐車させたい目標駐車位置の選択操作を乗員から受け付ける目標駐車位置受付処理（ＳＴ３）を行う。より具体的には、行動計画部４３は、図３（Ａ）に示す駐車検索画面にて、俯瞰画像及び進行方向の鳥瞰画像を表示させる。行動計画部４３は、駐車位置候補を少なくとも１つ取得すると、これらの周辺画像の少なくとも１つに駐車位置候補を示す枠と、枠に対応するアイコン（駐車位置候補であることを示す記号（図３（Ａ）の「Ｐ」を参照））とを重ねて表示する。また行動計画部４３は、目標駐車位置の選択操作を受け付けるべく、運転者に車両を停止させて駐車位置（目標駐車位置）を設定するように指示する通知をタッチパネル３２の駐車検索画面上に表示させる。目標駐車位置の選択操作は、タッチパネル３２を介して行われてもよく、選択操作子３５を介して行われてもよい。
車両が停止し、目標駐車位置が運転者により選択された後、行動計画部４３は、タッチパネル３２の画面を駐車検索画面から入庫画面に切り替える。入庫画面は、図３（Ｂ）に示すように、タッチパネル３２の左半分に車両進行方向の正面画像を、右半分に車両及びその周辺を含む俯瞰画像をそれぞれ表示した画面である。このとき、行動計画部４３は駐車位置候補から選択された目標駐車位置を示す太線の枠と、枠に対応するアイコン（目標駐車位置であることを示す、駐車位置候補のアイコンとは異なる色で表示された記号）とを俯瞰画像に重ねて表示するとよい。
目標駐車位置が設定され、タッチパネル３２の画面が入庫画面に切り替わった後、行動計画部４３は車両を算出された軌道に沿って走行させる駆動処理（ＳＴ４）を行う。このとき、行動計画部４３はＧＰＳ受信部２０によって取得した車両の位置や、車外カメラ１９、車両センサ８等の信号に基づいて、車両を算出された軌道に沿って走行するように制御する。このとき、行動計画部４３は、推進装置４、ブレーキ装置５、及びステアリング装置６を制御して、車両に前進及び後退を繰り返し行わせる切り返しを実行する。
駆動処理中において、行動計画部４３は車外カメラ１９から車両の進行方向の画像を取得し、タッチパネル３２の左半分に表示させるとよい。より具体的には、例えば、図３（Ｂ）に示すように、行動計画部４３は、車両が後退しているときにはタッチパネル３２の左半分に車外カメラ１９によって撮像された車両後方の画像を表示させるとよい。行動計画部４３が駆動処理を実行している間、タッチパネル３２の右半分の俯瞰画像上の自車周辺の周辺画像は車両の移動に合わせて変化する。行動計画部４３は車両が駐車位置に到達すると、車両を停止させて、駆動処理を終了する。
駆動処理が終了すると、行動計画部４３は駐車処理（ＳＴ５）を実行する。駐車処理において行動計画部４３は最初に、シフトアクチュエータ１７を駆動させてシフトポジション（シフト位置、シフトレンジ）を駐車位置（駐車レンジ、パーキング（Ｐ）レンジ）にする。その後、行動計画部４３は、パーキングブレーキ装置を駆動させ、行動計画部４３はタッチパネル３２の画面上に駐車が完了したことを示すポップアップ（図３（Ｃ）参照）を所定時間表示させる。その後、行動計画部４３は、タッチパネル３２の画面表示を、ナビゲーション装置１０の操作画面や地図画面に切り替えるとよい。
また、駐車処理において、行動計画部４３は、シフトアクチュエータ１７に異常がありシフトポジションを駐車位置に変更できない場合や、パーキングブレーキ装置に異常があり、パーキングブレーキ装置を駆動させることができない場合には、タッチパネル３２の画面に異常原因を表示させるとよい。
＜車両用表示装置３＞
次に、図１、図４を参照して、駐車支援システム１に設けられた車両用表示装置３について説明する。以下、単に「周方向」と記載する場合には、車両Ｖを中心とする周方向を示す。
図１を参照して、車両用表示装置３は、車両Ｖの周囲の画像を撮影する複数の車外カメラ１９（撮像部の一例）と、複数の車外カメラ１９の撮影画像を合成して合成画像を生成する制御装置１５（画像合成部の一例）と、制御装置１５が生成した合成画像を表示するタッチパネル３２（画像表示部の一例）と、車両Ｖの周囲にある物体の情報を取得する複数のソナー１８（取得部の一例）と、を備えている。以下、車両用表示装置３の構成要素について順番に説明する。
図４を参照して、複数の車外カメラ１９は、車両Ｖの左右両側部に設けられた側方カメラ５１（第１撮像部及び側方撮像部の一例）と、車両Ｖの後端部に設けられた後方カメラ５２（第２撮像部及び後方撮像部の一例）と、車両Ｖの前端部に設けられた前方カメラ５３（第３撮像部及び前方撮像部の一例）と、を含んでいる。
各側方カメラ５１は、例えば、車両Ｖの左右のドアミラー又はその周辺に設けられており、車両Ｖの前後方向中央よりも前方に配置されている。各側方カメラ５１は、車両Ｖの側方（左方又は右方）の画像を撮影するカメラである。図４の矢印Ｉ１は、各側方カメラ５１の撮像範囲（以下、「第１撮像範囲Ｉ１」と称する）を示している。第１撮像範囲Ｉ１は、各側方カメラ５１の画角（最大撮像角）に応じて設定されている。図４の矢印Ｕ１は、第１撮像範囲Ｉ１のうちで各側方カメラ５１の撮影画像のみが合成画像に使用される範囲（以下、「第１使用範囲Ｕ１」と称する）を示している。
後方カメラ５２は、例えば、車両Ｖのバックドア又はその周辺に設けられており、車両Ｖの左右方向の中央に位置している。後方カメラ５２は、車両Ｖの後方の画像を撮影するカメラである。図４の矢印Ｉ２は、後方カメラ５２の撮像範囲（以下、「第２撮像範囲Ｉ２」と称する）を示している。第２撮像範囲Ｉ２は、後方カメラ５２の画角（最大撮像角）に応じて設定されている。図４の矢印Ｕ２は、第２撮像範囲Ｉ２のうちで後方カメラ５２の撮影画像のみが合成画像に使用される範囲（以下、「第２使用範囲Ｕ２」と称する）を示している。
前方カメラ５３は、例えば、車両Ｖのフロントグリル又はその周辺に設けられており、車両Ｖの左右方向の中央に位置している。前方カメラ５３は、車両Ｖの前方の画像を撮影するカメラである。図４の矢印Ｉ３は、前方カメラ５３の撮像範囲（以下、「第３撮像範囲Ｉ３」と称する）を示している。第３撮像範囲Ｉ３は、前方カメラ５３の画角（最大撮像角）に応じて設定されている。図４の矢印Ｕ３は、第３撮像範囲Ｉ３のうちで前方カメラ５３の撮影画像のみが合成画像に使用される範囲（以下、「第３使用範囲Ｕ３」と称する）を示している。
各側方カメラ５１と後方カメラ５２は、第１撮像範囲Ｉ１と第２撮像範囲Ｉ２が部分的に重なるように配置されている。図４の矢印Ｘｒは、第１撮像範囲Ｉ１と第２撮像範囲Ｉ２が重なる部分（以下、「後方重複部Ｘｒ」と称する）を示している。各側方カメラ５１と前方カメラ５３は、第１撮像範囲Ｉ１と第３撮像範囲Ｉ３が部分的に重なるように配置されている。図４の矢印Ｘｆは、第１撮像範囲Ｉ１と第３撮像範囲Ｉ３が重なる部分（以下、「前方重複部Ｘｆ」と称する）を示している。
制御装置１５が生成する合成画像は、例えば、直上方から車両Ｖ及びその周辺を見下ろす平面視画像（前述の俯瞰画像に相当）である。なお、他の実施形態では、制御装置１５が生成する合成画像は、車両Ｖ及びその進行方向の周辺を上方から見た三次元画像（前述の鳥瞰画像に相当）等であっても良い。
制御装置１５は、前述の後方重複部Ｘｒの一部に、周方向に所定の角度幅を有する後方境界領域Ｙｒを設定する。後方境界領域Ｙｒは、合成画像上において第１使用範囲Ｕ１と第２使用範囲Ｕ２の境界となる領域である。言い換えると、後方境界領域Ｙｒは、合成画像上において各側方カメラ５１の撮影画像と後方カメラ５２の撮影画像の境界となる領域である。制御装置１５は、合成画像のうちの後方境界領域Ｙｒと対応する部分を、各側方カメラ５１の撮影画像と後方カメラ５２の撮影画像を所定のブレンド率でブレンドして生成する。なお、他の実施形態では、制御装置１５は、前述の後方重複部Ｘｒの全体に、後方境界領域Ｙｒを設定しても良い。また、他の実施形態では、制御装置１５は、周方向に角度幅を有する後方境界領域Ｙｒの代わりに、周方向に角度幅を有しない後方境界線を設定しても良い。
制御装置１５は、前述の前方重複部Ｘｆの一部に、周方向に所定の角度幅を有する前方境界領域Ｙｆを設定する。前方境界領域Ｙｆは、合成画像上において第１使用範囲Ｕ１と第３使用範囲Ｕ３の境界となる領域である。言い換えると、前方境界領域Ｙｆは、合成画像上において各側方カメラ５１の撮影画像と前方カメラ５３の撮影画像の境界となる領域である。制御装置１５は、合成画像のうちの前方境界領域Ｙｆと対応する部分を、各側方カメラ５１の撮影画像と前方カメラ５３の撮影画像を所定のブレンド率でブレンドして生成する。なお、他の実施形態では、制御装置１５は、前述の前方重複部Ｘｆの全体に、前方境界領域Ｙｆを設定しても良い。また、他の実施形態では、制御装置１５は、周方向に角度幅を有する前方境界領域Ｙｆの代わりに、周方向に角度幅を有しない前方境界線を設定しても良い。
タッチパネル３２は、制御装置１５から合成画像のデータを受信し、受信した合成画像のデータに基づいて合成画像を表示画面に表示する。なお、他の実施形態では、車両Ｖと通信可能に設けられた通信機器（例えば、スマートフォン、タブレットＰＣ、携帯電話、ＰＤＡ等）の表示画面に合成画像を表示しても良い。つまり、画像表示部は必ずしも車両Ｖに搭載されていなくても良い。
複数のソナー１８は、車両Ｖの左右両側部に設けられた前後一対の側方ソナー６１（側方取得部の一例）と、車両Ｖの後端部に設けられた左右一対の後方ソナー６２（後方取得部の一例）と、車両Ｖの前端部に設けられた左右一対の前方ソナー６３（前方取得部の一例）と、を含んでいる。なお、他の実施形態では、ソナー１８以外のセンサ（例えば、ミリ波レーダやレーザライダ）を側方取得部、後方取得部及び／又は前方取得部として用いても良い。
各側方ソナー６１は、例えば、車両Ｖの左右両側面の前端部と後端部に設けられている。前側の側方ソナー６１（車両Ｖの左右両側面の前端部に設けられた側方ソナー６１）は、車両Ｖの前後方向中央及び各側方カメラ５１よりも前方に配置されている。後側の側方ソナー６１（車両Ｖの左右両側面の後端部に設けられた側方ソナー６１）は、車両Ｖの前後方向中央及び各側方カメラ５１よりも後方に配置されている。各側方ソナー６１は、車両Ｖの側方にある物体の位置を検出するセンサである。言い換えると、各側方ソナー６１は、車両Ｖの側方にある物体の情報を取得するセンサである。図４のＤ１は、各側方ソナー６１の検出領域（以下、「第１検出領域Ｄ１」と称する）を示している。第１検出領域Ｄ１は、各側方カメラ５１の第１撮像範囲Ｉ１内に位置している。各側方ソナー６１の物体検出方向は、各側方カメラ５１の撮像方向と一致している。
各後方ソナー６２は、例えば、車両Ｖの後面の左端部と右端部に設けられている。左側の後方ソナー６２（車両Ｖの後面の左端部に設けられた後方ソナー６２）は、車両Ｖの左右方向中央よりも左方に配置されている。右側の後方ソナー６２（車両Ｖの後面の右端部に設けられた後方ソナー６２）は、車両Ｖの左右方向中央よりも右方に配置されている。各後方ソナー６２は、車両Ｖの後方にある物体の位置を検出するセンサである。言い換えると、各後方ソナー６２は、車両Ｖの後方にある物体の情報を取得するセンサである。図４のＤ２は、各後方ソナー６２の検出領域（以下、「第２検出領域Ｄ２」と称する）を示している。第２検出領域Ｄ２は、後方カメラ５２の第２撮像範囲Ｉ２内に位置している。各後方ソナー６２の物体検出方向は、後方カメラ５２の撮像方向と一致している。
各前方ソナー６３は、例えば、車両Ｖの前面の左端部と右端部に設けられている。左側の前方ソナー６３（車両Ｖの前面の左端部に設けられた前方ソナー６３）は、車両Ｖの左右方向中央よりも左方に配置されている。右側の前方ソナー６３（車両Ｖの前面の右端部に設けられた前方ソナー６３）は、車両Ｖの左右方向中央よりも右方に配置されている。各前方ソナー６３は、車両Ｖの前方にある物体の位置を検出するセンサである。言い換えると、各前方ソナー６３は、車両Ｖの前方にある物体の情報を取得するセンサである。図４のＤ３は、各前方ソナー６３の検出領域（以下、「第３検出領域Ｄ３」と称する）を示している。第３検出領域Ｄ３は、前方カメラ５３の第３撮像範囲Ｉ３内に位置している。各前方ソナー６３の物体検出方向は、前方カメラ５３の撮像方向と一致している。
＜境界領域Ｙｒ、Ｙｆの移動＞
上記のように構成された車両用表示装置３において、いずれのソナー１８も車両Ｖの周囲にある物体を検出していない場合には、境界領域Ｙｒ、Ｙｆが所定の基準位置（図４参照）に設定されている。以下、境界領域Ｙｒ、Ｙｆを常に基準位置に設定する場合の課題について説明する。
図５、図６は、後側の側方ソナー６１が車両Ｖの後部側方にある物体Ｚ（例えば、車両Ｖの周囲に駐車された他の車両）の位置を検出している状態を示している。この状態では、物体Ｚの後部が側方カメラ５１の死角に入っているため、側方カメラ５１では物体Ｚの後部を撮影しにくい。そのため、後方境界領域Ｙｒが基準位置に設定された状態で制御装置１５が合成画像を生成すると、図５に示されるように、合成画像上における物体Ｚの後面Ｚａが実際の空間上における物体Ｚの後面Ｚｂよりも大きく後方に突出してしまう。例えば、タッチパネル３２が合成画像上に駐車位置候補Ｐを表示している状態（前述の自動入庫処理のステップＳＴ２参照）でこのような事態が発生すると、実際の空間上では物体Ｚと駐車位置候補Ｐが重なっていないにも関わらず、合成画像上では物体Ｚと駐車位置候補Ｐが重なってしまうことがある。これに伴って、タッチパネル３２が適切な駐車位置候補Ｐを表示しているにも関わらず、乗員が駐車位置候補Ｐに車両Ｖを駐車できないと誤認する恐れがある。
そこで、図６に示されるように、制御装置１５は、後側の側方ソナー６１が物体Ｚの位置を検出した場合に、後方境界領域Ｙｒを基準位置から車両Ｖの前方（側方カメラ５１側）に移動させる。これに伴って、後方カメラ５２の第２使用範囲Ｕ２を広げ、側方カメラ５１の第１使用範囲Ｕ１を狭めることができる。そのため、合成画像上における物体Ｚの位置の正確性を高め、合成画像上における物体Ｚの後面Ｚａと実際の空間上における物体Ｚの後面Ｚｂのずれを抑制することができる。これにより、実際の空間上では物体Ｚと駐車位置候補Ｐが重なっていないにも関わらず、合成画像上では物体Ｚと駐車位置候補Ｐが重なってしまうような事態の発生を抑制し、駐車支援システム１の利便性を向上させることができる。以上のように、本実施形態では、後側の側方ソナー６１が物体Ｚの位置を検出した場合に、後方境界領域Ｙｒを変化させることで、車両Ｖの周囲にある物体Ｚの位置に応じた適切な合成画像を生成することが可能となっている。
また、本実施形態では、制御装置１５は、移動後の後方境界領域Ｙｒ（図６参照）が移動前の後方境界領域Ｙｒ（図４参照）と部分的に重なるように、後方境界領域Ｙｒを移動させている。これにより、後方境界領域Ｙｒの移動幅を狭めて、後方境界領域Ｙｒの移動によって生じる違和感を抑制することができる。なお、他の実施形態では、制御装置１５は、移動後の後方境界領域Ｙｒ（図６参照）が移動前の後方境界領域Ｙｒ（図４参照）と重ならないように、後方境界領域Ｙｒを移動させても良い。
また、本実施形態では、制御装置１５は、以下の（１）〜（３）の場合には、境界領域Ｙｒ、Ｙｆを基準位置から移動させない。
（１）後側の側方ソナー６１が車両Ｖの後部側方にある物体Ｚの位置を検出せず、且つ、前側の側方ソナー６１が車両Ｖの前部側方にある物体Ｚの位置を検出した場合
（２）後側の側方ソナー６１が車両Ｖの後部側方にある物体Ｚの位置を検出せず、且つ、後方ソナー６２が車両Ｖの後方にある物体Ｚの位置を検出した場合
（３）後側の側方ソナー６１が車両Ｖの後部側方にある物体Ｚの位置を検出せず、且つ、前方ソナー６３が車両Ｖの前方にある物体Ｚの位置を検出した場合
これにより、境界領域Ｙｒ、Ｙｆの不必要な移動を抑制し、境界領域Ｙｒ、Ｙｆの移動によって生じる違和感を抑制することができる。
また、本実施形態では、制御装置１５は、以下の（１）〜（３）の場合には、境界領域Ｙｒ、Ｙｆを基準位置から移動させる。
（１）後側の側方ソナー６１が車両Ｖの後部側方にある物体Ｚの位置を検出し、且つ、前側の側方ソナー６１が車両Ｖの前部側方にある物体Ｚの位置を検出した場合
（２）後側の側方ソナー６１が車両Ｖの後部側方にある物体Ｚの位置を検出し、且つ、後方ソナー６２が車両Ｖの後方にある物体Ｚの位置を検出した場合
（３）後側の側方ソナー６１が車両Ｖの後部側方にある物体Ｚの位置を検出し、且つ、前方ソナー６３が車両Ｖの前方にある物体Ｚの位置を検出した場合
これにより、車両Ｖの後部側方だけでなく、車両Ｖの前部側方、前方又は後方にも物体Ｚがある場合に、合成画像上における物体Ｚの位置と実際の空間上における物体Ｚの位置のずれを抑制することができる。
本実施形態では、制御装置１５は、後側の側方ソナー６１が物体Ｚの位置を検出した場合に、後方境界領域Ｙｒを移動させている。一方で、他の実施形態では、制御装置１５は、後側の側方ソナー６１が物体Ｚの位置を検出した場合に、合成画像のうちの後方境界領域Ｙｒと対応する部分における撮影画像のブレンド率を変更しても良い。例えば、制御装置１５は、後側の側方ソナー６１が物体Ｚの位置を検出した場合に、後側の側方ソナー６１が物体Ｚの位置を検出していない場合よりも、後方カメラ５２の撮影画像の割合が高くなると共に各側方カメラ５１の撮影画像の割合が低くなるように、合成画像のうちの後方境界領域Ｙｒと対応する部分における撮影画像のブレンド率を変更すると良い。これにより、本実施形態と同様に、合成画像上における物体Ｚの位置の正確性を高めることができる。また、他の実施形態では、制御装置１５は、後側の側方ソナー６１が物体Ｚの位置を検出した場合に、後方境界領域Ｙｒの移動と撮影画像のブレンド率の変更を両方行っても良い。
本実施形態では、制御装置１５は、後側の側方ソナー６１が物体Ｚの位置を検出した場合に、後方境界領域Ｙｒを移動させている。一方で、他の実施形態では、制御装置１５は、後側の側方ソナー６１以外のソナー１８が物体Ｚの位置を検出した場合に、境界領域Ｙｒ、Ｙｆを移動させても良い。物体Ｚの位置を検出するソナー１８と移動させる境界領域Ｙｒ、Ｙｆの組み合わせは、複数の車外カメラ１９の配置等に応じて自由に決定することができる。
本実施形態では、車両の自動駐車処理（例えば、自動入庫処理や自動出庫処理）を行う駐車支援システム１に車両用表示装置３を適用している。一方で、他の実施形態では、駐車支援システム１以外の車両用システム（例えば、車両走行システム）に車両用表示装置３を適用しても良い。
以上で具体的な実施形態の説明を終えるが、本発明は上記実施形態や変形例に限定されることなく、幅広く変形実施することができる。
１ ：駐車支援システム
３ ：車両用表示装置
１５ ：制御装置（画像合成部の一例）
１８ ：ソナー（取得部の一例）
１９ ：車外カメラ（撮像部の一例）
３２ ：タッチパネル（画像表示部の一例）
５１ ：側方カメラ（第１撮像部及び側方撮像部の一例）
５２ ：後方カメラ（第２撮像部及び後方撮像部の一例）
６１ ：側方ソナー（側方取得部の一例）
６２ ：後方ソナー（後方取得部の一例）
６３ ：前方ソナー（前方取得部の一例）
Ｉ１ ：第１撮像範囲
Ｉ２ ：第２撮像範囲
Ｕ１ ：第１使用範囲
Ｕ２ ：第２使用範囲
Ｖ ：車両
Ｘｒ ：後方重複部
Ｙｒ ：後方境界領域
Ｚ ：物体
Ｐ ：駐車位置候補

Claims (11)

  1. 車両の周囲の画像を撮影する複数の撮像部と、
    前記複数の撮像部の撮影画像を合成して合成画像を生成する画像合成部と、
    前記画像合成部が生成した前記合成画像を表示する画像表示部と、
    前記車両の周囲にある物体の情報を取得する取得部と、を備え、
    前記複数の撮像部は、その撮像範囲が重なるように配置され、
    前記画像合成部は、前記複数の撮像部の撮像範囲が重なる部分に前記合成画像上における前記撮影画像の境界を設定すると共に、前記取得部が物体の情報を取得した場合に前記境界を変化させることを特徴とする車両用表示装置。
  2. 前記複数の撮像部は、第１撮像範囲において画像を撮影する第１撮像部と、前記第１撮像範囲と重なる第２撮像範囲において画像を撮影する第２撮像部と、を含み、
    前記取得部は、前記第１撮像範囲内において物体の情報を取得し、
    前記画像合成部は、前記取得部が物体の情報を取得した場合に、前記取得部が物体の情報を取得していない場合よりも、前記第１撮像部側に前記境界を移動させることを特徴とする請求項１に記載の車両用表示装置。
  3. 前記画像合成部は、前記取得部が物体の情報を取得した場合に、前記取得部が物体の情報を取得していない場合よりも、前記第２撮像部の撮影画像の使用範囲を広げ、前記第１撮像部の撮影画像の使用範囲を狭めることを特徴とする請求項２に記載の車両用表示装置。
  4. 前記第１撮像部は、前記車両の側方の画像を撮影する側方撮像部であり、
    前記第２撮像部は、前記車両の後方の画像を撮影する後方撮像部であり、
    前記取得部は、前記車両の側方にある物体の情報を取得する側方取得部であり、
    前記画像合成部は、前記側方取得部が物体の情報を取得した場合に、前記側方取得部が物体の情報を取得していない場合よりも、前記境界を前記車両の前方に移動させることを特徴とする請求項２又は３に記載の車両用表示装置。
  5. 前記側方撮像部は、前記車両の前後方向中央よりも前方に配置され、
    前記側方取得部は、前記車両の前後方向中央よりも前方に配置される前側の側方取得部と、前記車両の前後方向中央よりも後方に配置される後側の側方取得部と、を含むように複数設けられ、
    前記画像合成部は、前記後側の側方取得部が物体の情報を取得した場合に、前記後側の側方取得部が物体の情報を取得していない場合よりも、前記境界を前記車両の前方に移動させることを特徴とする請求項４に記載の車両用表示装置。
  6. 前記車両用表示装置は、前記側方取得部とは別に、
    前記車両の前方にある物体の情報を取得する前方取得部と、
    前記車両の後方にある物体の情報を取得する後方取得部と、を更に備え、
    前記画像合成部は、前記前方取得部又は前記後方取得部が物体の情報を取得した場合に、前記境界を移動させないことを特徴とする請求項４又は５に記載の車両用表示装置。
  7. 前記車両用表示装置は、前記側方取得部とは別に、
    前記車両の前方にある物体の情報を取得する前方取得部と、
    前記車両の後方にある物体の情報を取得する後方取得部と、を更に備え、
    前記画像合成部は、前記前方取得部又は前記後方取得部が物体の情報を取得した場合に、前記境界を移動させることを特徴とする請求項４又は５に記載の車両用表示装置。
  8. 前記境界は、前記車両を中心とする周方向に所定の幅を有し、
    前記画像合成部は、移動後の前記境界が移動前の前記境界と部分的に重なるように、前記境界を移動させることを特徴とする請求項２〜７のいずれか１項に記載の車両用表示装置。
  9. 前記複数の撮像部は、第１撮像範囲において画像を撮影する第１撮像部と、前記第１撮像範囲と重なる第２撮像範囲において画像を撮影する第２撮像部と、を含み、
    前記取得部は、前記第１撮像範囲内において物体の情報を取得し、
    前記画像合成部は、
    前記第１撮像部の撮影画像と前記第２撮像部の撮影画像をブレンドして前記合成画像のうちの前記境界と対応する部分を生成し、
    前記取得部が物体の情報を取得した場合に、前記取得部が物体の情報を取得していない場合よりも、前記第２撮像部の前記撮影画像の割合が高くなると共に前記第１撮像部の前記撮影画像の割合が低くなるように、前記合成画像のうちの前記境界と対応する部分における前記撮影画像のブレンド率を変更することを特徴とする請求項１〜８のいずれか１項に記載の車両用表示装置。
  10. 前記画像合成部が生成する前記合成画像は、直上方から前記車両を見下ろす平面視画像であることを特徴とする請求項１〜９のいずれか１項に記載の車両用表示装置。
  11. 請求項１〜１０のいずれか１項に記載の車両用表示装置を備えた駐車支援システムであって、前記画像表示部は、前記合成画像上に駐車位置候補を表示可能に設けられていることを特徴とする駐車支援システム。
JP2019225940A 2019-12-13 2019-12-13 車両用表示装置及び駐車支援システム Active JP6998360B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019225940A JP6998360B2 (ja) 2019-12-13 2019-12-13 車両用表示装置及び駐車支援システム
US17/096,008 US11584297B2 (en) 2019-12-13 2020-11-12 Display device for vehicle and parking assist system
CN202011440394.4A CN112995584B (zh) 2019-12-13 2020-12-11 车辆的显示装置和停车辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019225940A JP6998360B2 (ja) 2019-12-13 2019-12-13 車両用表示装置及び駐車支援システム

Publications (2)

Publication Number Publication Date
JP2021094937A true JP2021094937A (ja) 2021-06-24
JP6998360B2 JP6998360B2 (ja) 2022-01-18

Family

ID=76317309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019225940A Active JP6998360B2 (ja) 2019-12-13 2019-12-13 車両用表示装置及び駐車支援システム

Country Status (3)

Country Link
US (1) US11584297B2 (ja)
JP (1) JP6998360B2 (ja)
CN (1) CN112995584B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111867893B (zh) * 2018-03-22 2022-09-09 日立安斯泰莫株式会社 驻车辅助装置
KR102281609B1 (ko) * 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
JP7145440B2 (ja) * 2020-03-26 2022-10-03 パナソニックＩｐマネジメント株式会社 学習データ生成方法、学習データ生成装置、及び、プログラム
CN113377202B (zh) * 2021-06-25 2023-07-07 杭州炽云科技有限公司 一种基于arhud的抬头显示方法和系统
US20230099598A1 (en) * 2021-09-27 2023-03-30 Ford Global Technologies, Llc Vehicle object tracking

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013006548A (ja) * 2011-06-27 2013-01-10 Clarion Co Ltd 駐車支援装置
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3004368B2 (ja) 1991-01-11 2000-01-31 株式会社東芝 車載監視カメラ装置
KR101266734B1 (ko) * 2008-12-18 2013-05-28 아이신세이끼가부시끼가이샤 표시장치
EP2482557B1 (en) * 2009-09-24 2020-03-18 Panasonic Intellectual Property Management Co., Ltd. Driving support display device
JP5699679B2 (ja) * 2011-02-24 2015-04-15 富士通セミコンダクター株式会社 画像処理装置、画像処理システム、及び画像処理方法
TWI478833B (zh) * 2011-08-31 2015-04-01 Autoequips Tech Co Ltd 調校車用影像裝置之方法及其系統
EP2792553A4 (en) * 2011-12-15 2015-09-09 Panasonic Ip Man Co Ltd DRIVING ASSISTANCE DEVICE
KR101371893B1 (ko) * 2012-07-05 2014-03-07 현대자동차주식회사 차량 주변의 영상을 이용한 입체물 검출 장치 및 방법
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
JP6730613B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2020155792A (ja) * 2017-07-11 2020-09-24 パナソニックＩｐマネジメント株式会社 画像表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013006548A (ja) * 2011-06-27 2013-01-10 Clarion Co Ltd 駐車支援装置
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
CN112995584A (zh) 2021-06-18
JP6998360B2 (ja) 2022-01-18
US11584297B2 (en) 2023-02-21
US20210178968A1 (en) 2021-06-17
CN112995584B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
JP6998360B2 (ja) 車両用表示装置及び駐車支援システム
US11498553B2 (en) Parking assist system
JP6990686B2 (ja) 駐車支援システム
JP2021160535A (ja) 駐車支援システム
CN112124093A (zh) 驻车辅助系统
JP6982053B2 (ja) 駐車支援システム
US20200398822A1 (en) Parking assist system
JP2021160477A (ja) 車両の移動支援システム
US20220309803A1 (en) Image display system
JP2021163066A (ja) 駐車枠認識システム、及び、駐車枠認識システムを備えた駐車支援システム
CN112977257B (zh) 车辆的显示装置和停车辅助系统
CN112124090A (zh) 驻车辅助系统
JP7264930B2 (ja) 表示装置
JP6998359B2 (ja) 駐車支援システム
JP6949096B2 (ja) 駐車支援システム
JP7228614B2 (ja) 画像表示システム
CN112977417B (zh) 驻车辅助系统
JP7184948B2 (ja) 遠隔操作システム
CN112977418A (zh) 驻车辅助系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220

R150 Certificate of patent or registration of utility model

Ref document number: 6998360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150