JP2021043815A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2021043815A
JP2021043815A JP2019166661A JP2019166661A JP2021043815A JP 2021043815 A JP2021043815 A JP 2021043815A JP 2019166661 A JP2019166661 A JP 2019166661A JP 2019166661 A JP2019166661 A JP 2019166661A JP 2021043815 A JP2021043815 A JP 2021043815A
Authority
JP
Japan
Prior art keywords
vehicle
image
target position
display
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019166661A
Other languages
English (en)
Inventor
欣司 山本
Kinji Yamamoto
欣司 山本
渡邊　一矢
Kazuya Watanabe
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2019166661A priority Critical patent/JP2021043815A/ja
Priority to EP20195506.9A priority patent/EP3792868A1/en
Priority to US17/017,940 priority patent/US20210078496A1/en
Priority to CN202010953175.XA priority patent/CN112492262A/zh
Publication of JP2021043815A publication Critical patent/JP2021043815A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B60K35/28—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B60K2360/176—
    • B60K2360/1876—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Abstract

【課題】車両の周囲状況の確認が容易にできる周辺画像を表示できるとともに、操作の煩わしを軽減し易い画像処理装置を提供する。【解決手段】実施形態の画像処理装置は、例えば、車両の周辺を撮像する撮像部が撮像した撮像画像を取得する画像取得部と、車両の現在位置と車両が移動する目標位置とを取得する位置取得部と、車両を示す車両画像と、撮像画像に基づく車両の周辺を表した周辺画像と、を含む合成画像を表示部に表示させる制御部と、を備える。制御部は、車両の現在位置と目標位置との距離、または車両が目標位置に到達するまでの期間の少なくとも一方に応じて、合成画像を目標位置を取得したときより拡大表示する。【選択図】図４

Description

本発明の実施形態は、画像処理装置に関する。
車両に設けられた撮像部で、車両の周辺を撮像して得た撮像画像に基づいて俯瞰画像を生成し、車両の周辺状況を表示装置に表示する技術がある。そして、このような俯瞰画像を表示する場合に、表示領域を複数の領域に分割して、利用者が指定した領域を拡大表示する技術が提案されている。
特許第５８２５３２３号公報
従来技術の場合、利用者は、表示画像によって周辺状況の詳細を確認したい場合、例えば、駐車のために低速で走行している場合等であれば、その都度停止して拡大する領域を指定する必要があり、操作が煩雑であるとともに、表示切替操作のために運転操作が中断され、運転者に煩わしさを与えてしまう場合があるという問題があった。
そこで、実施形態の課題の一つは、車両の周囲状況の確認が容易にできる周辺画像を表示できるとともに、操作の煩わしさを軽減し易い画像処理装置を提供することにある。
実施形態の画像処理装置は、例えば、車両の周辺を撮像する撮像部が撮像した撮像画像を取得する画像取得部と、上記車両の現在位置と上記車両が移動する目標位置とを取得する位置取得部と、上記車両を示す車両画像と、上記撮像画像に基づく上記車両の周辺を表した周辺画像と、を含む合成画像を表示部に表示させる制御部と、を備え、上記制御部は、上記車両の上記現在位置と上記目標位置との距離、または上記車両が上記目標位置に到達するまでの期間の少なくとも一方に応じて、上記合成画像を上記目標位置を取得したときより拡大表示する。この構成によれば、例えば、車両を目標位置に移動させる場合、車両（自車）と目標位置との関係に応じて自動的に、自車に対応する車両画像を含む合成画像が拡大される。その結果、周辺の確認を行いたい場合の表示変更のための操作が不要となり、操作の煩わしさを軽減できるとともに、周囲状況を認識し易い画像表示ができる画像処理装置が実現できる。
また、本実施形態の画像処理装置の上記制御部は、例えば、上記合成画像に表示される上記車両画像の中心からずれた位置を拡大基点として上記合成画像を拡大するようにしてもよい。この構成によれば、例えば、車両から離れた位置に存在する注目したい領域を拡大表示される合成画像に含めやすくなり、注目したい領域（状況把握をしたい領域）の視認性を向上することができる。
また、本実施形態の画像処理装置の上記制御部は、例えば、上記車両と上記目標位置との相対角度に応じて、上記車両画像の中心から上記目標位置の存在する方向側にずれた位置を上記拡大基点として上記合成画像を拡大するようにしてもよい。この構成によれば、例えば、合成画像が拡大される場合、目標位置が存在する方向（方位）が大きく表示されるようになるので、これから向う方向の状況把握を行わせ易い表示が可能となるとともに、操作の煩わしさを軽減しやすい画像処理装置が実現できる。
また、本実施形態の画像処理装置の上記制御部は、例えば、上記車両の進行方位に応じて、上記車両画像の中心から上記車両の進行方位側にずれた位置を上記拡大基点として上記合成画像を拡大するようにしてもよい。この構成によれば、例えば、合成画像が拡大される場合、車両の挙動（例えば、舵角やタイヤ角等で決まる車両の挙動）に基づき、目標位置が存在する方向（方位）が大きく表示されるようになるので、運転者の操作と合成画像の表示変化が対応し、これから向う方向の状況把握をより行わせ易い表示が可能となるとともに、操作の煩わしさを軽減しやすい画像処理装置が実現できる。
また、本実施形態の画像処理装置の上記制御部は、例えば、上記車両と上記目標位置との相対角度に応じて、上記車両画像に対して上記目標位置の存在する方向を示す回転可能な方向指標を上記車両画像に関連する位置に重畳表示してもよい。この構成によれば、例えば、これから向かうべき目標位置の方向を運転者に認識させ易く、運転時の安心感を高め易く、運転時の負担軽減を感じさせ易い画像表示が実現できる。
また、本実施形態の画像処理装置の上記制御部は、例えば、上記車両の進行方位に応じて、上記車両画像に対して上記目標位置の存在する方向を示す回転可能な方向指標を上記車両画像に関連する位置に重畳表示してもよい。この構成によれば、例えば、車両の挙動（例えば、舵角やタイヤ角等で決まる車両の向く方向）に基づき、目標位置の存在する方向を示す方向指標の表示が可能になる。その結果、これから向かうべき目標位置の方向を運転者に認識させ易くなるとともに、目標位置に対する車両の挙動を運転者に把握させ易く、運転時の安心感を高め易く、運転時の負担軽減を感じさせやすい画像表示が実現できる。
また、本実施形態の画像処理装置の上記制御部は、例えば、上記目標位置に接近するほど、上記方向指標の表示透過率を高くするように変化させてもよい。この構成によれば、例えば、目標位置に接近し、目標位置の認識度が高まった場合に方向指標の透明度が高まり、表示内容がシンプルになる。その結果、より認識し易い合成画像を表示することができる。
また、本実施形態の画像処理装置の上記制御部は、例えば、上記車両画像に対して上記目標位置までの距離が所定値以下の場合、上記目標位置で上記車両を停止させることを示唆する停止指標を表示するようにしてもよい。この構成によれば、例えば、車両を停止させるべき位置をより明確に表示することができる。
また、本実施形態の画像処理装置の上記制御部は、例えば、上記目標位置に接近するほど、上記停止指標の表示透過率を表示開始時より低くするように変化させてもよい。この構成によれば、例えば、目標地位に近づくほど停止指標が強調表示される。その結果、停止すべき目標位置の接近を運転者により明確に認識させ易い表示ができる。
また、本実施形態の画像処理装置の上記制御部は、例えば、上記目標位置に接近するほど上記方向指標の表示透過率を高くするように変化させるとともに、上記停止指標の表示透過率を低くするように変化させて、上記方向指標から上記停止指標に指標表示の切り替えを実行するようにしてもよい。この構成によれば、例えば、目標位置への接近を運転者に認識させ易く、運転時の安心感を高め易く、運転時の負担軽減を感じさせ易い画像表示が実現できる。
また、本実施形態の画像処理装置において、上記制御部は、例えば、上記停止指標を表示する際に、上記目標位置が最終目標位置である場合と、上記最終目標位置に向かう過程で設定される中間目標位置である場合とで、上記停止指標の種類を変化させてもよい。この構成によれば、例えば、運転者に現在の状況、つまり、現在の停止位置が中間目標位置であるか、最終目標位置であるか、また、車両の移動（誘導支援）が完了したか否かをより明確に認識させる易い表示ができる。
また、本実施形態の画像処理装置において、上記合成画像は、例えば、上記車両画像および上記周辺画像を俯瞰視した俯瞰画像であってもよい。この構成によれば、例えば、車両画像（自車両）と目標位置との位置関係をより把握させ易く、また運転時の安心感を高め易く、運転時の負担軽減を感じさせ易い画像表示が実現できる。
図１は、実施形態にかかる画像処理装置を搭載する車両の車室の一部が透視された状態を示す例示的かつ模式的な斜視図である。 図２は、実施形態にかかる画像処理装置を搭載する車両の例示的かつ模式的な平面図である。 図３は、本実施形態にかかる画像処理装置を含む車両の制御システムの機能構成を示す例示的かつ模式的なブロック図である。 図４は、実施形態にかかる画像処理装置（画像処理部）の構成を例示的かつ模式的に示すブロック図である。 図５は、実施形態にかかる画像処理装置による表示画像の例示的かつ模式的な図である。 図６は、実施形態にかかる画像処理装置による表示画面において、合成画像が拡大表示処理および移動表示処理が実行された状態の例示的かつ模式的な図である。 図７は、実施形態にかかる画像処理装置による表示画面において、合成画像が拡大表示処理および移動表示処理が実行された状態の他の例示的かつ模式的な図である。 図８は、実施形態にかかる画像処理装置による表示画面において、方向指標を説明する例示的かつ模式的な図である。 図９は、実施形態にかかる画像処理装置による表示画面において、方向指標と停止指標の表示遷移を示す例示的かつ模式的な図である。 図１０は、実施形態にかかる画像処理装置による表示画面において、目標位置の種類（意味）に応じて異なる停止指標を表示することを示す例示的かつ模式的な図である。 図１１は、実施形態にかかる画像処理装置による画像処理の流れを例示的に説明するフローチャートである。 図１２は、実施形態にかかる画像処理装置による表示遷移の一例を示す例示的かつ模式的な図である。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。
図１は、実施形態にかかる画像処理装置を搭載する車両１の車室２ａの一部が透視された状態の例示的かつ模式的な斜視図である。本実施形態にかかる画像処理装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。
図１に例示されるように、車両１の車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。
また、車室２ａ内には、表示装置８（表示部）や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員(利用者)は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
図２は、本実施形態にかかる画像処理装置を搭載する車両１の例示的かつ模式的な平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。操舵部４つの車輪３の全てまたは一部が、転舵可能である。
車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、トランクのドア２ｈの下方の壁部に設けられて、車両１の後方領域の状況を撮像する。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられて、車両１の右前方、右側方、右後方を含む領域の状況を撮像する。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパ等に設けられて、車両１の前方領域の状況を撮像する。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられて、車両１の左前方、左側方、左後方を含む領域の状況を撮像する。画像処理装置を構成するＥＣＵ１４(図３参照)は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方（真上や斜め上方）から見た仮想的な俯瞰画像を生成したりすることができる。
また、車両１は、車両１の外部に存在する物体との距離を計測可能な測距部として、複数のレーダー１６を有する。レーダー１６は、例えば、ミリ波レーダー等であり、車両１の進行方位（車両１の向く方向）に存在する物体との距離を計測可能である。本実施形態では、車両１は、複数のレーダー１６ａ〜１６ｄを有する。レーダー１６ａは、例えば、車両１のリアバンパの左側の端部に設けられ、車両１の左後方に存在する物体との距離を計測可能である。また、レーダー１６ｂは、車両１のリアバンパの右側の端部に設けられ、車両１の右後方に存在する物体との距離を計測可能である。レーダー１６ｃは、車両１のフロントバンパの右側の端部に設けられ、車両１の右前方に存在する物体との距離を計測可能である。また、レーダー１６ｄは、車両１のフロントバンパの左側の端部に設けられ、車両１の左前方に存在する物体との距離を計測可能である。
また、車両１は、車両１から比較的近距離に存在する外部の物体との距離を超音波を用いて計測可能なソナー１７を有する。本実施形態では、車両１は、複数のソナー１７ａ〜１７ｈを有する。ソナー１７ａ〜１７ｄは、車両１のリアバンパに設けられ、車両の後方に存在する物体との距離を計測可能である。ソナー１７ｅ〜１７ｈは、車両１のフロントバンパに設けられ、車両１の前方に存在する物体との距離を計測可能である。
図３は、本実施形態にかかる画像処理装置を含む車両１の制御システム１００の機能構成を示す例示的かつ模式的なブロック図である。図３に例示されるように、制御システム１００は、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、レーダー１６、ソナー１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、ＧＰＳ（Global Positioning System）受信機２５、駆動システム２６等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８、駆動システム２６等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、レーダー１６、ソナー１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、ＧＰＳ受信機２５等の検出結果や、操作入力部１０等のスイッチ類の操作信号等を、受け取ることができる。
操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。
ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。
舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量（舵角）を検出するセンサである。舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。ＥＣＵ１４（ＣＰＵ１４ａ）は、取得した舵角に基づき、タイヤ角を算出してもよい。この場合、例えば、予め車種ごとに準備された舵角とタイヤ角の変換マップを用いて算出してもよいし、所定の演算式に基づいて算出てもよい。なお、別の実施形態では、ステアリング機構にタイヤ角センサを設け、直接的にタイヤ角を取得するようにしてもよい。舵角やタイヤ角は、車両１の進行方位を示す情報として、後述する車両画像の移動量の算出や方向指標の表示等に利用することができる。
アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。
シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。ＧＰＳ受信機２５は、人工衛星から受信した電波に基づいて、車両１の現在位置を取得する。
駆動システム２６は、駆動源としての内燃機関（エンジン）システムやモータシステムである。駆動システム２６は、アクセルセンサ２０により検出された運転者（利用者）の要求操作量（例えばアクセルペダルの踏み込み量）にしたがいエンジンの燃料噴射量や吸気量の制御やモータの出力値を制御する。また、利用者の操作に拘わらず、車両１の走行状態に応じて、操舵システム１３やブレーキシステム１８の制御と協働してエンジンやモータの出力値を制御しうる。例えば、通常の走行支援時や駐車支援等の走行支援を実行することができる。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていてもよい。
ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理の演算および制御を実行することができる。また、ＣＰＵ１４ａは、撮像部１５で得られた広角画像の撮像画像データ（湾曲した画像のデータ）に演算処理や画像処理を施して歪みを補正する歪み補正処理を実行したり、撮像部１５が撮像した撮像画像データに基づき、車両１を示す車両画像（自車アイコン）を例えば中心位置に表示する俯瞰画像（周辺画像）を生成して、表示装置８に表示させたりすることができる。また、ＣＰＵ１４ａは、俯瞰画像を生成する際に、仮想視点の位置を変更し、真上から車両画像を臨むような俯瞰画像や斜め方向から車両画像を臨むような俯瞰画像を生成することができる。
ＣＰＵ１４ａは、例えば、駐車支援等の走行支援を行う場合に、運転者が駐車支援の状況や駐車支援時の車両１の周囲状況を認識し易い表示を行い、走行支援時に運転者の安心感を高め易い、運転時の負担軽減を感じさせ易い画像表示を実現する。例えば、駐車目標位置や駐車目標位置に移動する際に必要となる切り返しのための停止位置等の目標位置と車両１との位置関係に応じて（例えば、車両１の現在位置と目標位置との距離、または車両１が目標位置に到達するまでの期間の少なくとも一方に応じて）表示装置８に表示する表示内容を自動的に変更する。後述するが、ＣＰＵ１４ａは、車両画像を含む合成画像の拡大表示処理を実行したり、表示位置の移動処理を実行したり、目標位置の方向を示す方向指標を示したり、目標位置に到達する場合に停止を示唆する停止指標を示したりする。
ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
図４は、実施形態にかかる画像処理装置（画像処理部２８）をＣＰＵ１４ａで実現する場合の構成を例示的かつ模式的に示すブロック図である。ＣＰＵ１４ａは、ＲＯＭ１４ｂから読み出した画像処理プログラムを実行することにより、図４に示すように、取得部３０、目標位置設定部３２、経路設定部３４、制御部３６、出力部３８等のモジュールを含む画像処理部２８を実現する。また、取得部３０は、画像取得部３０ａ、位置取得部３０ｂ、舵角取得部３０ｃ、車速取得部３０ｄ等の詳細モジュールを含む。制御部３６は、合成画像制御部３６ａ、指標制御部３６ｂ等の詳細モジュールを含む。なお、取得部３０、目標位置設定部３２、経路設定部３４、制御部３６、出力部３８の一部または全部を回路等のハードウェアによって構成してもよい。また、目標位置設定部３２や経路設定部３４は、経路誘導制御を実行する他のＥＣＵやＣＰＵで設定された値や算出された値を取得してもよい。また、図４では、図示を省略しているが、ＣＰＵ１４ａは、車両１の走行に必要な各種モジュールを実現することもできる。また、図３では、主として画像処理を実行するＣＰＵ１４ａを示しているが、車両１の走行に必要な各種モジュールを実現するためのＣＰＵを備えてもよいし、ＥＣＵ１４とは別のＥＣＵを備えてもよい。
取得部３０は、画像処理部２８における各種処理を実現する場合に必要な情報を取得する。目標位置設定部３２は、車両１の周囲に存在する可能性のある駐車可能領域等の目標位置を周知の技術に用いて検出する。経路設定部３４は、目標位置設定部３２によって目標位置（例えば駐車目標位置）が設定された場合、周知の経路探索技術を用いて、車両１の現在位置から目標位置（例えば駐車目標位置）に移動するための最も合理的な最適経路を設定する。制御部３６は、主として、走行支援（駐車支援等を含む）ときに、表示装置８における表示画像の制御を実行する。出力部３８は、制御部３６による表示制御結果を表示制御部１４ｄに提供し、表示装置８で表示させる。なお、出力部３８は、目標位置設定部３２で設定した目標位置や経路設定部３４で設定した移動経路等の情報を、走行支援を実行する他のＥＣＵやＣＰＵに提供してもよい。
以下、取得部３０、目標位置設定部３２、経路設定部３４、制御部３６の詳細を説明する。なお、以下の説明では、車両１を駐車位置に移動させる走行支援（駐車支援）が実行される際の画像処理による表示を一例として説明する。
取得部３０に含まれる、画像取得部３０ａは、例えば、撮像部１５により車両１の周辺を撮像して得られる撮像画像を取得し、制御部３６に提供する。位置取得部３０ｂは、車両１の現在位置と車両１が移動する目標位置とを取得し、制御部３６に提供する。車両１の現在位置は、例えば、ＧＰＳ受信機２５が人工衛星から受信した電波に基づいて取得してもよいし、例えば、駐車場等のゲートの位置や運転者が指定した位置（例えば、走行支援（駐車支援）の開始を指示した位置等）を基準として、その位置からの走行距離や舵角変化等に基づいて算出してもよい。また、位置取得部３０ｂは、目標位置設定部３２が設定した駐車目標位置を目標位置として取得する。また、位置取得部３０ｂは、目標位置設定部３２によって設定された駐車目標位置に基づき経路設定部３４が設定した移動経路に切り返しのための停止位置が含まれる場合、その停止位置を目標位置として取得する。
舵角取得部３０ｃは、舵角センサ１９の出力結果を取得し、車両１の現在の進行方位を示す情報を制御部３６に提供する。なお、後述するが、制御部３６は、舵角取得部３０ｃから車両１の現在の進行方位を示す情報として、舵角情報を受け取った場合、舵角をそのまま制御に用いてもよいし、取得した舵角に基づき、タイヤ角を算出して、タイヤ角を車両１の現在の進行方位を示す情報として用いてもよい。この場合、前述したように、制御部３６は、例えば、予め車種ごとに準備された舵角とタイヤ角の変換マップを用いて、舵角に対応するタイヤ角を算出したり、所定の演算式を用いて舵角に対応するダイヤ角を算出したりしてもよい。なお、別の実施形態では、ステアリング機構にタイヤ角センサを設け、制御部３６は、直接的にタイヤ角を取得するようにしてもよい。
車速取得部３０ｄは、車輪速センサ２２の検出値に基づき、車両１の車速や移動量などを演算する。車速取得部３０ｄは、各車輪３の車輪速センサ２２の検出値に基づいて車両１の車速を算出する場合、四輪のうち最も小さな検出値の車輪３の速度に基づき車両１の車速を決定することができる。
目標位置設定部３２は、例えば、駐車支援モードがＯＮにされている場合で、車両１が駐車のために駐車場等で低速で走行している間に、駐車位置候補を探索する。例えば、目標位置設定部３２は、画像取得部３０ａが取得した車両１の周辺状況を示す撮像画像データに含まれうる駐車枠線や白線、区画線等の認識結果や、レーダー１６、ソナー１７等により取得された物体（障害物や他車両等）の存在情報等に基づき、車両１を収めることができるスペース（駐車可能領域）を検出する。目標位置設定部３２は、複数の駐車可能領域（駐車位置候補）を検出した場合、最も条件のよい駐車位置候補を自動的に選択して、目標位置に設定してもよいし、条件のよい駐車位置候補を順番に提示して運転者に例えば操作入力部１０を介して選択させるようにしてもよい。この場合、駐車位置候補の優先度は、例えば、現在位置から駐車位置候補までの移動距離や、現在位置から駐車位置候補まで移動する場合の切り返し操作の回数、駐車位置候補に駐車が完了した場合の車両１の周囲に存在する余裕スペースの広さ等をスコア化して、合計値を比較することで決定することができる。また、駐車可能領域が単一の場合、その駐車位置を表示し、自動的に目標位置として設定してもよいし、この位置に駐車してもよいか否かの確認を運転者に求めた上で、目標位置に設定してもよい。なお、目標位置設定部３２は、車両１の現在位置の情報、周囲情報等を外部システムに送信し、外部システムで算出された駐車位置候補を取得して、目標位置を設定してもよい。
経路設定部３４は、画像取得部３０ａが取得した撮像画像データやレーダー１６、ソナー１７で取得した物体の検知情報等を参照し、障害物や他の車両等と接触せず、十分な安全間隔を確保した状態で車両１を移動できる経路を算出する。なお、経路設定部３４は、車両１の現在位置の情報、駐車位置の情報、周囲情報等を外部システムに送信し、外部システムで算出された経路を取得して、最適経路として設定してもよい。
制御部３６に含まれる合成画像制御部３６ａは、画像取得部３０ａが取得した各撮像部１５で撮像した撮像画像データに基づき、周知の技術を用いて、俯瞰画像や三次元画像を生成するとともに、ＲＯＭ１４ｂ等の記憶部から車両１を示す車両画像を表示するための画像データを取得する。そして、車両１の周辺を表した周辺画像と、車両１を示す車両画像を含む合成画像を生成して表示装置８に表示させる。また、合成画像制御部３６ａは、車両１の現在位置と目標位置との距離、または車両１が目標位置に到達するまでの期間（例えば時間）の少なくとも一方に応じて、合成画像を表示する際の拡大率を変化させる。例えば、合成画像制御部３６ａは、合成画像に表示される車両画像の中心からずれた位置を拡大基点として、目標位置を取得したときより合成画像を拡大表示する。また、その場合、表示装置８における車両画像の表示位置を目標位置の存在する方向とは逆方向に移動するように表示する。
図５および図６、図７は、制御部３６により表示制御される表示画像Ｇの例示的かつ模式的な図である。上述したように、合成画像制御部３６ａは、合成画像の拡大表示を実行したり、車両画像の表示位置の移動を実行したりする。図５は、合成画像が非拡大状態であり、かつ車両画像が非移動の状態である、初期表示状態が示されている。一方、図６、図７は、合成画像が拡大状態であり、かつ車両画像が移動した状態である、処理実行状態が示されている。
図５〜図７に示すように、合成画像制御部３６ａは、車両１を直上から俯瞰した（例えば、仮想視点を車両１の直上に設定した）第１俯瞰画像として、車両画像Ｇ１および周辺画像Ｇ２を含む第１合成画像Ｇ３を生成する。また、合成画像制御部３６ａは、車両１を、例えば斜め上方から俯瞰した三次元の第２俯瞰画像として、三次元車両画像Ｇ４および三次元周辺画像Ｇ５を含む第２合成画像Ｇ６を生成する。図５は、例えば、目標位置が車両１の右前方に存在する場合であり、車両１を挟んで目標位置を臨めるように、仮想視点を車両１の後方左斜め上方に設定した例である。したがって、目標位置が車両１の左斜め前方に存在する場合は、仮想視点を車両１の後方右斜め上方に設定した俯瞰画像とすることができる。
図５〜図７の場合、第１合成画像Ｇ３を表示画像Ｇの右側に配置し、第２合成画像Ｇ６を表示画像Ｇの左側に配置した例を示しているが、配置レイアウトは適宜変更可能である。また、図５〜図７の場合、第１合成画像Ｇ３の表示領域より第２合成画像Ｇ６の表示領域を広くした例を示しているが、第１合成画像Ｇ３の表示領域を第２合成画像Ｇ６の表示領域より広くしてもよい。また、第１合成画像Ｇ３のみまたは第２合成画像Ｇ６のみの表示でもよい。さらに、第２合成画像Ｇ６に代えて、車両１の進行方向や側方向を示す実画像を表示したり、他の情報を示す画像を表示したりしてもよい。
車両１を、例えば直上から見下ろした俯瞰画像である車両画像Ｇ１を含む第１合成画像Ｇ３を表示することにより、車両１とその周辺の物体との位置関係を正確に把握させ易い表示ができる。車両画像Ｇ１は、ビットマップ形式の画像であってもよいし、複数のポリゴンで構成される車両１の形状を示す画像であってもよい。複数のポリゴンで構成される車両画像Ｇ１とは、複数のポリゴン（例えば、三角形のポリゴン）により表現された立体的な車両１の形状である。また、周辺画像Ｇ２は、周知の俯瞰画像生成技術を用いた画像であり、撮像部１５によって車両１の周囲を撮像して得られる撮像画像に基づいて生成される、車両１の周辺（周囲）を表した画像である。周辺画像Ｇ２は、車両１の周辺（周囲）を直上から見下ろした俯瞰画像である。また、周辺画像Ｇ２は、車両画像Ｇ１の例えば後輪軸の中央を中心とする、車両１の周辺の俯瞰画像である。
また、車両１を、例えば後方左斜め上方から俯瞰した三次元周辺画像Ｇ５を表示することにより、車両１とその周辺の物体との位置関係を現実世界に近い（リアリティのある）状態で把握させ易い表示ができる。三次元車両画像Ｇ４は、車両画像Ｇ１と同様に、複数のポリゴンで構成され、車両１の三次元の形状を示す画像である。三次元周辺画像Ｇ５は、周知の俯瞰画像生成技術を用いた画像であり、撮像部１５によって車両１の周辺を撮像して得られる複数の撮像画像を、お椀状または円筒状の三次元の面に貼り付けて生成される画像である。また、三次元周辺画像Ｇ５は、例えば、半透明の表示態様で表示され、三次元車両画像Ｇ４によって遮られる三次元周辺画像Ｇ５に存在する物体等が視認し易いような表示が行われるとともに、路面に対して、三次元車両画像Ｇ４の位置を識別可能とする車両位置情報ＧＲを表示させる。車両位置情報ＧＲは、例えば、三次元周辺画像Ｇ５の路面上において、三次元車両画像Ｇ４が存在する位置をグレースケールで表示する情報としたり、三次元車両画像Ｇ４が存在する位置を囲む線（例えば、破線）で表示する情報としたりすることができる。なお、車両位置情報ＧＲは、周辺画像Ｇ２において、車両画像Ｇ１に対して表示してもよい。また、第２合成画像Ｇ６の一部には、情報表示領域Ｇａが設けられてもよく、第２合成画像Ｇ６や第１合成画像Ｇ３が表示されている場合に、例えば、「車両周辺を直接確認してください」等のメッセージを表示して、周囲状況を示す画像が表示されている場合に、運転者等に注意喚起するようにしてもよい。
図５は、目標位置設定部３２と経路設定部３４とにより目標位置４０および移動経路４２が設定された、初期状態における第１合成画像Ｇ３の表示例である。なお、図５の場合、目標位置設定部３２により、最終的な駐車位置（最終目標位置）が決定され、車両１の現在位置から最終目標位置に車両１を移動させるための移動経路４２が決定された状態において、その移動経路４２に切り返しを行うために停止する位置として、目標位置４０が設定された状態である。目標位置４０は、例えば、略楕円形の指標（マーク）で表示しているが、停止位置を示すことができれば、指標の形態は適宜変更可能である。
目標位置４０（切り返しのための停止目標位置）が決定された場合、車両画像Ｇ１は、第１合成画像Ｇ３において車幅方向の略中央を示す中央線Ｌ０の位置（概ね第１合成画像Ｇ３の中央の位置）に表示される。なお、車両１が目標位置４０から遠い場合、運転者は、車両１の周辺状況に関して、広範囲を確認できた方が安心感を得やすい。そこで、第１合成画像Ｇ３の表示拡大率は、予め定められた基準値として、例えば「１」とし、第１合成画像Ｇ３の略中央位置に表示される車両画像Ｇ１および設定された目標位置４０の両方が第１合成画像Ｇ３に収まるように表示することが望ましい。なお、車両１の現在位置に対して切り返しのための停止位置である目標位置４０が遠い場合、第１合成画像Ｇ３の表示拡大率を「１」以下にしてもよい。また、目標位置４０は、車両画像Ｇ１（車両１）の接近により徐々に第１合成画像Ｇ３の表示領域入って来るため、最初の状態で目標位置４０の全体が第１合成画像Ｇ３に表示される必要はなく、目標位置４０の一部が第１合成画像Ｇ３に表示されるようにしてもよい。なお、図５の場合、例えば、車両１の舵角に対応する車両１の走行軌跡線ｍが表示されている。走行軌跡線ｍの表示により車両１の現在の状態（車両１の進行方向）と目標位置４０との関係を運転者が理解し易い表示ができる。
図６、図７は、車両１が目標位置４０に向かって移動し、車両１（車両画像Ｇ１）と目標位置４０との距離が所定値以下になった場合、または、車両１（車両画像Ｇ１）が目標位置４０に到達するまでの期間（例えば、現在の車速から推定される到達時間）が所定値以下になった場合に、目標位置４０が取得された例えば図５の状態より第１合成画像Ｇ３が拡大された状態である。車両１が目標位置４０に近づいて場合、運転者は、車両１の周辺状況に関して、より詳細に確認できた方が安心感を得やすい。例えば、車両１（車両画像Ｇ１）が目標位置４０の手前２．５ｍの位置に到達した場合に、第１合成画像Ｇ３の拡大処理が実行される。拡大処理は、車両１（車両画像Ｇ１）から目標位置４０までの距離や到達期間が所定値以下になった場合に、徐々に開始され、例えば、１秒間で２倍に拡大されるようにしてもよいし、図５の１倍の表示状態から図６、図７の２倍の表示状態に切り替えるようにしてもよい。
なお、この場合、車両１の移動は、移動経路４２に沿って移動するように、操舵システム１３、ブレーキシステム１８、駆動システム２６等の協働で実行される完全自動制御で実行されてもよいし、一部の操作を運転者に委ねる半自動制御で実行されてもよい。また、移動経路４２に沿って移動するように、操舵システム１３、ブレーキシステム１８、駆動システム２６の操作案内を提供して、運転者に運転操作を実行させる手動制御で実行されてもよい。
ところで、車両１の運転者は、車両１の周囲状況を確認する場合、車速が速い場合、広範囲を確認できた方が安心感を持ちやすい。一方、車速が遅くなった場合、車両１の周囲の詳細が確認できた方が安心感および利便性を感じ易い傾向がある。そこで、合成画像制御部３６ａは、第１合成画像Ｇ３の拡大を行う場合の拡大条件として、上述した目標位置４０に対する距離や期間（時間）が所定値以下になった場合に加え、車速取得部３０ｄで取得される車速が所定値以下（例えば、３ｋｍ／ｈ以下）になった場合に、拡大条件が満たされたと判定して拡大処理を実行するようにしてもよい。この場合、例えば、速度が十分に低下した状態で、拡大表示が実行させるので、確認時の安心感を向上させ易い表示ができる。また、目標位置４０から遠い位置で何らかの理由で低速になったり停止したりした場合に、第１合成画像Ｇ３が拡大されて、車両画像Ｇ１と目標位置４０との位置関係が認識し難くなるという不都合を回避することができる。
合成画像制御部３６ａは、図６に示すように、第１合成画像Ｇ３を拡大表示する場合、例えば、図５に示すように、拡大基点ＣＰを設定する。拡大基準ＣＰは、例えば、車両１と目標位置４０との相対角度に応じて、車両画像Ｇ１の中心から目標位置４０の存在する方向側にずれた位置に設定する。例えば、相対角度が大きいほど車両画像Ｇ１から離れた位置に拡大基点ＣＰが設定される。また、別の例では、合成画像制御部３６ａは、車両１の進行方位（車両１が向いている方向）に応じて、車両画像Ｇ１の中心から車両１の進行方位側にずれた位置に拡大基点ＣＰを設定する。例えば、車両１の舵角（タイヤ角）が大きく、目標位置４０に車両画像Ｇ１が正対していないほど車両画像Ｇ１から離れた位置に拡大基点ＣＰが設定される。
第１合成画像Ｇ３の拡大表示を表示装置８の限られた表示領域で実行する場合、車両画像Ｇ１周囲の細部が認識し易くなる反面、車両画像Ｇ１を中心とする表示範囲（視野）が狭くなる。車両１が目標位置４０に向かう場合、目標位置４０が存在する方向と、その逆方向とで注目度を比較する場合、逆方向の方が注目度は低くなる。そこで、合成画像制御部３６ａは、目標位置４０の存在する方向とは逆方向に、第１合成画像Ｇ３の表示位置をずらして、目標位置４０の存在する側の表示範囲（視野）を広げて、より広範囲の表示ができるようにする。つまり、目標位置４０の視認性を向上させる表示を実行する。図６に示すように、拡大基点ＣＰを、車両画像Ｇ１より目標位置４０側に設定して、拡大基点ＣＰを中心に拡大しつつ、当該拡大基点ＣＰを第１合成画像Ｇ３の略中央位置に移動する。その結果、車両画像Ｇ１は、第１合成画像Ｇ３の隅の方向に移動しながら拡大されて、周囲状況が確認しやすくなる。また、目標位置４０も同時に拡大されるので目標位置４０の周辺も確認しやすい第１合成画像Ｇ３の表示を行うことができる。
図７は、合成画像制御部３６ａにより第１合成画像Ｇ３を拡大表示する場合の他の例を説明する例示的かつ模式的な図である。図７の場合も上述した拡大条件が満たされた場合に、図５において、設定された拡大基点ＣＰに基づいて拡大処理が実行される。図７の場合、合成画像制御部３６ａは、車両１（車両画像Ｇ１）と目標位置４０との相対角度に応じて、または車両１（車両画像Ｇ１）の進行方位に応じて、表示装置８の表示領域における車両画像Ｇ１の表示位置を目標位置４０の存在する方向とは逆方向に水平移動させる。図７の場合、目標位置４０の略中心位置である位置Ｐ１と車両画像Ｇ１の後輪軸中心の位置Ｐ２とを結ぶ方向線Ｌ１と、車両画像Ｇ１（車両１）の車幅方向の略中心を通り、車両前後方向に延びる中心線Ｌ２との成す角度θ１（車両１（車両画像Ｇ１）と目標位置４０との相対角度）応じて、水平移動量Ｙを決定する。図７は、拡大表示後の車両画像Ｇ１の中心線Ｌ２が、第１合成画像Ｇ３において車幅方向の略中央を示す中央線Ｌ０から水平移動量Ｙだけずれるように表示している。例えば、第１合成画像Ｇ３を生成する場合の仮想視点の位置を旋回方向とは逆方向に水平移動量Ｙだけ移動させて、第１合成画像Ｇ３の表示をずらす。この場合も合成画像制御部３６ａは、目標位置４０の存在する方向とは逆方向に、第１合成画像Ｇ３の表示位置をずらして、目標位置４０の存在する側の表示範囲（視野）を広げて、より広範囲の表示ができるようにする。つまり、目標位置４０の視認性を向上させる表示を実行することができる。
なお、図６のように、拡大基点ＣＰを中心に拡大する場合に、相対角度が大きいほど車両画像Ｇ１から離れた位置に拡大基点ＣＰが設定される。一方、車両１（車両画像Ｇ１）が目標位置４０に接近して相対角度が小さくなるほど車両画像Ｇ１から近い位置に拡大基点ＣＰが設定される。つまり、車両画像Ｇ１が第１合成画像Ｇ３の中央線Ｌ０の位置に戻るように表示される。したがって、車両１（車両画像Ｇ１）が目標位置４０の正面に移動した場合には、車両画像Ｇ１は、拡大率が減少しながら第１合成画像Ｇ３の略中央に表示されるようになり、目標位置４０の到達時には第１合成画像Ｇ３において、車両画像Ｇ１が第１合成画像Ｇ３の略中央の位置に表示され、見栄えのよい車両画像Ｇ１の表示ができる。拡大基点ＣＰを車両１の進行方位に基づいて決定する場合も同様である。
また、図７示す場合も同様であり、車両１（車両画像Ｇ１）が目標位置４０に接近する程、角度θ１は小さくなり、水平移動量Ｙの値が小さくなる。つまり、車両画像Ｇ１の中心線Ｌ２が第１合成画像Ｇ３の中央線Ｌ０の位置に戻るように表示される。つまり、車両１（車両画像Ｇ１）が目標位置４０の正面に移動した場合には、車両画像Ｇ１は、第１合成画像Ｇ３の略中央に表示されるようになり、目標位置４０の到達時には第１合成画像Ｇ３において、車両画像Ｇ１が第１合成画像Ｇ３の略中央の位置に表示され、見栄えのよい車両画像Ｇ１の表示ができる。
さらに、別の実施形態では、合成画像制御部３６ａは、車両１の舵角や当該舵角に対応するタイヤ角に基づいて、水平移動量Ｙを算出してもよく、同様に目標位置４０が存在する側の表示範囲を拡大し、目標位置４０の周辺を認識させやすい表示ができる。なお、操舵システム１３が頻繁に操作される場合、特に操舵システム１３が自動で制御され、車両１が移動している場合、操舵部４の操作の微調整が頻繁に行われる可能がある。その結果、水平移動量Ｙが頻繁に変化してしまい、車両画像Ｇ１の表示が水平左右方向に振れやすくなる場合がある。そのため、舵角に基づいて水平移動量Ｙを決定する場合は、水平移動量Ｙの算出過程で、例えば、移動平均フィルタを用いた処理を実行して、舵角の頻繁な変動による車両画像Ｇ１の水平方向の振れ動作を低減するようにしてもよい。
なお、図５〜図７に示す例では、第２合成画像Ｇ６について、三次元車両画像Ｇ４の三次元表示によって、三次元車両画像Ｇ４の周辺を詳細に示す表示を行うため、目標位置４０との関係に基づく拡大処理は非実行としている。また、図７の場合、車両画像Ｇ１（車両１）が目標位置４０に接近して、拡大表示された場合、車両１を停止させること示唆する指標として、仮想物体４６（例えば、三角コーン）を第１合成画像Ｇ３および第２合成画像Ｇ６に表示している。なお、三角コーンで示される仮想物体４６は一例であり、例えば、停止ボードや誘導員等、運転者に注意喚起させる指標であれば適宜変更可能である。
指標制御部３６ｂは、図５〜図７に示すように、車両１と目標位置４０との相対角度に応じて、車両画像Ｇ１に対して目標位置４０の存在する方向を示す方向指標４４を車両画像Ｇ１に関連する位置に重畳表示する。方向指標４４は、回転可能な指標で、車両画像Ｇ１に関連する位置として、例えば、車両画像Ｇ１のルーフ上（例えば、車両画像Ｇ１の略中心位置）に重畳表示することができる。方向指標４４は、図５に示すように、第１合成画像Ｇ３上に車両画像Ｇ１と目標位置４０が表示された時点で表示することができる。方向指標４４に表示により、目標位置４０が存在する方向、目標位置４０への移動のために車両１を向ける方向等が明確になるとともに、運転者にそれらを直感的に認識できるような表示ができる。なお、図５〜図７の場合、方向指標４４は、矢印形状として示しているが、目標位置４０の存在する方向が示唆できれば、矢印以外の指標でもよい。また、方向指標４４の重畳位置をルーフ上とする例を示しているが、目標位置４０の存在する方向が示唆できればよく、車両画像Ｇ１のボンネット上でもよいし、車両画像Ｇ１と重ならない車両画像Ｇ１の周辺の位置でもよい。また、方向指標４４は、車両画像Ｇ１に関連する位置に加え、第２合成画像Ｇ６の三次元車両画像Ｇ４に関連する位置、例えば、三次元車両画像Ｇ４のルーフ上等に重畳表示するようにしてもよい。
図８は、方向指標４４の表示姿勢（回転方向）を決定する例を説明する例示的かつ模式的な図である。固定位置である目標位置４０に対して車両１（車両画像Ｇ１）が移動すると、目標位置４０に対する車両１（車両画像Ｇ１）の相対位置が変化する。つまり、車両画像Ｇ１から目標位置４０を望む方向が車両１（車両画像Ｇ１）の移動によって変化する。方向指標４４は、この相対位置の変化に対応して、例えば車両画像Ｇ１上で回転することになる。例えば、方向指標４４の回転中心を位置Ｐ３とし、楕円形状で表示されている目標位置４０の中心位置を位置Ｐ１とする。また、位置Ｐ１と位置Ｐ３を結ぶ線を方向線Ｌ３とする。一方、車両画像Ｇ１において、車幅方向の略中央を通り車両前後方向に延びる線を中央線Ｌ４とする。この場合、方向線Ｌ３と中央線Ｌ４とが形成する角度θ２が車両画像Ｇ１（車両１）と目標位置４０との相対角度となる。そして、方向指標４４は、回転中心の位置Ｐ３が中央線Ｌ４上にあるとすると、角度θ２だけ中央線Ｌ４から目標位置４０の存在する方向に回転させると、目標位置４０の存在する位置（方向）を指すことができる。指標制御部３６ｂは、例えば、ＲＯＭ１４ｂ等の記憶部から方向指標４４を示すデータを読み出し、角度θ２にしたがって、回転表示する。このように、方向指標４４を表示することにより、これから向う目標位置４０の方向を把握させ易い表示が可能となるとともに、運転時の安心感を高め易く、運転時の負担軽減を感じさせ易い画像表示が実現できる。
図８では、方向指標４４を例えば、車両画像Ｇ１の略中心位置（位置Ｐ３）と目標位置４０の中心位置である位置Ｐ１とで定まる相対角度（θ２）に基づき表示する例を示したが、他に実施形態では、指標制御部３６ｂは、車両１の進行方位に応じて、方向指標４４の指す方向を決定してもよい。例えば、運転者は、目標位置４０の位置を認識している場合、目標位置４０に向かうように車両１の舵角を決定する。そして、車両１の舵角に基づいて、方向指標４４の指す方向（回転方向）を決定することにより、運転者が現在の操舵部４の操作感覚とずれの少ない方向指標４４の表示が可能になり、目標位置４０の位置を違和感なく運転者に認識させやすい表示ができる。なお、舵角に基づいて方向指標４４の回転方向を決定する場合は、回転方向の算出過程で、例えば、移動平均フィルタを用いた処理を実行して、舵角の頻繁な調整（変動）による方向指標４４の過剰な回転を低減するようにしてもよい。なお、舵角に代えて舵角から算出可能なタイヤ角に基づいて方向指標４４の指す方向を決定してもよい。タイヤ角は、車両画像Ｇ１の前方の位置における角度であるため、その角度をそのまま車両画像Ｇ１のルーフ上の位置に表示される方向指標４４の角度とすると、僅かな角度ずれが生じ、不自然な表示になってしまう場合である。このような場合、例えば、タイヤ角に補正を加えて、不自然さを低減してもよい。例えば、タイヤ角の半分の角度を方向指標４４の回転角度としてもよい。
また、指標制御部３６ｂは、現在の車両１の舵角で所定距離（例えば、２ｍ）進んだ場合の車両１の姿勢（車両１の向く方向）に基づき、方向指標４４の指す方向（回転角度）を決定して、現在位置の車両画像Ｇ１のルーフ上に表示してもよい。例えば、経路設定部３４は、車両１が目標位置４０に向かう場合の移動経路を算出する際に、車両１の現在の舵角にしたがう移動位置ごとに車両１の姿勢（車両１の向く方向）を推定し、周囲の障害物と接触しないことを確認しながら目標位置４０までの経路を決定している。したがって、移動経路の設定時に各位置における車両１の姿勢を示す情報を取得することが可能である。この情報を用いて方向指標４４の指す方向を決定することにより、目標位置４０の方向を指し示す方向指標４４を違和感なく表示することができる。
また、指標制御部３６ｂは、方向指標４４を表示する場合、図９に示すように、目標位置４０に接近していく場合、方向指標４４に代えて停止指標４８を表示するようにしてもよい。例えば、指標制御部３６ｂは、図９のシーンＳ１で示されるように、車両画像Ｇ１（車両１）から目標位置４０までの距離が所定値以下になっていない場合、方向指標４４を例えば透過率「０」とし、明確な表示を行う。図９シーン１の場合、上述したような合成画像制御部３６ａによる第１合成画像Ｇ３の拡大表示処理や移動処理の開始位置（例えば、目標位置４０の手前２．５ｍの位置）に到達していない例である。
車両１（車両画像Ｇ１）が目標位置４０に近づき、車両画像Ｇ１（車両１）から目標位置４０までの距離が所定値以下（例えば、指標切替開始位置として、例えば１ｍ）になった場合、図９のシーンＳ２に示すように、目標位置４０に対する残り距離に応じて方向指標４４の表示透過率を高くするように変化させる。また、方向指標４４の表示に重なるように、目標位置４０で停止させることを示唆する停止指標４８の表示を開始する。この場合、停止指標４８は、表示透過率が高い状態、完全透明時の表示透過率を「１」として場合、例えば、表示透過率「０．９」で表示を開始し、徐々に表示透過率を下げていく。例えば、方向指標４４の表示透過率が「α」の場合、停止指標４８の表示透過率は、「１−α」とする。シーンＳ２は、方向指標４４に比べて、停止指標４８が薄く表示されている状態である。なお、図９のシーン２の場合、拡大表示処理や移動処理の開始位置に到達済みのため、合成画像制御部３６ａにより第１合成画像Ｇ３の拡大表示処理や移動処理が実行されている状態が示されている。
さらに、車両画像Ｇ１（車両１）から目標位置４０までの距離が少なくなると、シーンＳ３に示すように、方向指標４４に比べて停止指標４８が濃く表示されるようになる。そして、車両画像Ｇ１（車両１）が目標位置４０の位置に到達した場合、シーン４に示すように、方向指標４４の表示透過率は、「１」となり、停止指標４８の表示透過率が「０」となる。つまり、方向指標４４が非表示となり、停止指標４８が明確に表示されて、指標表示の切り替えが完了する。なお、車両画像Ｇ１（車両１）が目標位置４０の位置に到達した場合、停止指標４８の表示態様の表示を強調してもよい。例えば、表示色を強調色（例えば赤色）にしたり、点滅表示にしたりして、運転者に認識され易い表示を実行してもよい。
なお、目標位置４０に車両画像Ｇ１（車両１）が到達して、車両１の停止が確認された場合で、所定期間（例えば、３秒）経過した場合やシフトセンサ２１により変速操作部７の切替操作が確認された場合に、指標制御部３６ｂは、停止指標４８を非表示としてもよい。また、合成画像制御部３６ａは、第１合成画像Ｇ３に対して実行されている拡大表示処理を一度解除してもよい。なお、車両画像Ｇ１（車両１）が目標位置４０に接近するのにしたがい、中央線Ｌ０からの移動量は徐々に小さくなり、車両画像Ｇ１は、第１合成画像Ｇ３の中央位置に復帰してきている。そして、駐車目標位置に移動するために別の切り返しのための停止目標位置が存在する場合や、駐車目標位置に直接移動できる場合、その停止目標位置や駐車目標位置を新たな目標位置４０に設定する。そして、画像処理部２８は、上述と同様に、目標位置４０に対する方向指標４４の表示や第１合成画像Ｇ３の拡大表示処理や移動処理を実行する。
図９に示すように、車両画像Ｇ１（車両１）が目標位置４０に接近する程、方向指標４４は、車両画像Ｇ１の前後方向に沿う方向を向くようになるので、目標位置４０の存在する方向を示唆する方向指標４４の重要度は低くなる。したがって、方向指標４４の表示透過率を徐々に高めて、重要度の低くなった指標を非表示とする。一方、車両画像Ｇ１（車両１）が目標位置４０に接近する程、徐々に表示透過率を低くして停止指標４８の表示を濃くする。その結果、停止指標４８の重要度が高まっていること、停止位置が接近していることを運転者に認識させやすい表示ができる。
なお、図９に示す表示の場合、車両画像Ｇ１が目標位置４０に接近するのにしたがい、方向指標４４と停止指標４８との表示透過率を互いに変化させながら一方を強調するような表示を実現する例を示した。この場合、例えば、目標位置４０に接近し、目標位置４０の認識度が高まった場合に方向指標４４の透明度が高まり、第１合成画像Ｇ３の表示内容をシンプルにすることができる。その結果、より認識し易い表示することができる。また、目標位置４０に近づくほど停止指標４８が強調表示される。その結果、停止すべき目標位置４０の接近を運転者により明確に認識させ易い表示ができる。他の例では、停止指標４８の表示を省略し、指標制御部３６ｂは、目標位置４０に接近するほど、方向指標４４の表示透過率を高くするように変化させてもよい。また逆に、方向指標４４の表示を省略し、指標制御部３６ｂは、目標位置４０に接近するほど、停止指標４８の表示透過率を低くするように変化させてもよい。いずれの場合も、指標の表示態様の変化により、目標位置４０に接近していることを運転者に認識させやすい表示ができる。また、表示内容が過剰に煩雑になることを抑制し、より認識易い表示が実現できる。なお、停止指標４８は、表示透過率を徐々に低くしながら表示する例を示したが、方向指標４４の表示の有無に拘わらず、車両１を停止させるタイミングで、一定の表示透過率、例えば、透過率「１」で表示するようにしてもよい。この場合も、指標の表示態様の変化により、目標位置４０に接近していることを運転者に認識させやすい表示ができるとともに、表示内容が過剰に煩雑になることを抑制し、より認識易い表示が実現できる。
上述した実施形態では、車両画像Ｇ１（車両１）が目標位置４０に接近した場合に、例えば「ＳＴＯＰ」と表示された八角形の停止指標４８を表示する例を示した。別の実施形態では、目標位置４０の意味（種類）に応じて、停止指標４８の種類を異ならせてもよい。例えば、図９のシーンＳ４や図１０のシーンＳ６に示す停止指標４８は、最終的な駐車目標位置（最終目標位置）に向かう過程で設定される、例えば切り返しや一次停止のための目標位置４０(中間目標位置４０ａ)に接近する場合に表示される指標である。それに対して、図１０のシーンＳ７に示す停止指標５０は、最終的な駐車目標位置（最終目標位置４０ｂ）に接近する場合(例えば、他車両Ｖｃと縦列駐車する際の移動完了位置に接近した場合)に表示される指標である。この場合、停止指標５０は、例えば、運転者に、移動（駐車）完了（ゴール）をイメージさせるチェッカーフラッグとしているが、中間目標位置４０ａに接近した場合と異なる種類であれば、適宜変更可能である。このように、中間目標位置４０ａであるか最終目標位置４０ｂであるかによって、停止指標４８と停止指標５０とを使い分けることにより、運転者に現在の状況、つまり、現在の停止位置が中間目標位置４０ａであるか、最終目標位置４０ｂであるかをより明確に認識させる易い表示ができる。また、車両１の移動（誘導支援）が完了したか否かをより明確に認識させる易い表示ができる。
以上のように構成される本実施形態の画像処理装置（画像処理部２８）による一連の画像処理の流れを図１１に示す例示的なフローチャートおよび図１２に示す例示的な表示遷移を用いて説明する。
まず、画像処理部２８は、目標位置設定部３２より目標位置が設定済みか否かを確認する（Ｓ１００）。例えば、運転者により走行支援を要求する操作が行われた場合で、駐車目標位置や切り返しのための停止目標位置等（例えば、目標位置４０）が設定済みか確認する。目標位置４０が設定済みの場合（Ｓ１００のＹｅｓ）、合成画像制御部３６ａは、第１合成画像Ｇ３、第２合成画像Ｇ６を生成する（Ｓ１０２）。すなわち、合成画像制御部３６ａは、画像取得部３０ａの取得した撮像部１５により撮像された撮像画像に基づき、俯瞰視した周辺画像Ｇ２を生成する。また、合成画像制御部３６ａは、周辺画像Ｇ２に、ＲＯＭ１４ｂ等の記憶部から読み出した車両画像Ｇ１の表示データを重畳して、第１合成画像Ｇ３を生成する。同様に、合成画像制御部３６ａは、画像取得部３０ａの取得した撮像部１５により撮像された撮像画像に基づき、俯瞰視した三次元周辺画像Ｇ５を生成する。また、合成画像制御部３６ａは、三次元周辺画像Ｇ５に、ＲＯＭ１４ｂ等の記憶部から読み出した三次元車両画像Ｇ４の表示データを重畳して、第２合成画像Ｇ６を生成する。
続いて、目標位置設定部３２は、ＧＰＳ受信機２５が受信した電波や走行支援の開始位置等を基準とする位置に基づき車両１の現在位置を取得する（Ｓ１０４）。また、経路設定部３４は、Ｓ１０４で取得して車両１の現在位置から目標位置４０に車両１（車両画像Ｇ１）を誘導するための移動経路を取得する（Ｓ１０６）。
そして、指標制御部３６ｂは、現在の車両１（車両画像Ｇ１）と目標位置４０との相対角度や車両１の進行方位等に基づき、目標位置４０の存在する方向を示唆する方向指標４４の表示処理を実行して（Ｓ１０８）、図１２シーンＴ１に示すような第１合成画像Ｇ３を生成する。そして、車両１に対して、目標位置４０に向かうように完全自動制御、半自動制御、手動制御のいずれかを実施して移動経路にしたがう誘導処理を実行する（Ｓ１１０）。図１２のシーンＴ２は、合成画像制御部３６ａにより車両画像Ｇ１が目標位置４０に接近する様子が示されている。この場合、指標制御部３６ｂは、車両画像Ｇ１の移動に対応するように方向指標４４の回転表示制御を実行する。
さらに、合成画像制御部３６ａは、車両１の誘導移動が継続されて車両画像Ｇ１（車両１）が、目標位置４０に接近して拡大開始位置に到達したか否か判定する（Ｓ１１２）。すなわち、車両画像Ｇ１（車両１）が目標位置４０からの距離が所定値以下（例えば、手前２．５ｍに相当する位置）に到達したか否か判定する。そして、拡大開始位置に到達した場合（Ｓ１１２のＹｅｓ）、合成画像制御部３６ａは、例えば、目標位置４０までの距離に応じた第１合成画像Ｇ３の拡大率を算出する（Ｓ１１４）。また、車両画像Ｇ１（車両１）と目標位置４０との相対角度や車両１の進行方位等に基づき拡大基点ＣＰを設定して、例えば水平移動量Ｙを算出する（Ｓ１１６）。そして、合成画像制御部３６ａは、図１２のシーンＴ３，Ｔ４に示すように、算出された第１合成画像Ｇ３の拡大率に基づく拡大表示処理や水平移動量Ｙに基づく移動処理、および方向指標４４の回転表示の変更処理を実行する（Ｓ１１８）。
さらに、車両画像Ｇ１（車両１）が目標位置４０に接近し、方向指標４４から停止指標４８に表示を切り替える指標切替開始位置（例えば、目標位置４０の手前１ｍ）に到達した場合（Ｓ１２０のＹｅｓ）、図１２のシーンＴ５，Ｔ６，Ｔ７に示すように、指標制御部３６ｂは、方向指標４４の表示透過率を高くするように変化させる。同時に、指標制御部３６ｂは、停止指標４８の表示透過率を低くするように変化させて、方向指標４４と停止指標４８の指標切替処理を実行する（Ｓ１２２）。この指標切替処理は、車両画像Ｇ１（車両１）が目標位置４０に到達するまでに徐々に実行される（Ｓ１２４のＮｏ）。そして、車両画像Ｇ１（車両１）が目標位置４０に到達した場合（Ｓ１２４のＹｅｓ）、指標制御部３６ｂは、図１２のシーンＴ７に示すように、方向指標４４に代えて停止指標４８を明示するように表示する。そして、制御部３６は、表示完了処理を実行する（Ｓ１２６）。例えば、指標制御部３６ｂは、停止指標４８を所定期間表示した後に非表示とする。また、合成画像制御部３６ａは、拡大表示処理を解除する。そして、次の切り返しのための停止目標位置が存在する場合、新たな停止目標位置を目標位置４０として設定し、図１１のフローを再度実行する。また、新たな切り返しのための停止目標位置が存在せず、駐車目標位置のみとなった場合、駐車目標位置を新たな目標位置４０に設定し図１１のフローを再度実行する。なお、経路設定部３４の設定した移動経路に切り返しのための停止目標位置が存在しない場合、最初から駐車目標位置が目標位置４０として設定される。
なお、Ｓ１２０で、車両画像Ｇ１（車両１）が指標切替開始位置に到達していない場合（Ｓ１２０のＮｏ）、Ｓ１１４の処理に戻り、目標位置４０までの距離に応じて表示拡大率や水平移動量Ｙの再算出を行い、拡大表示処理、水平移動処理を実行するとともに、方向指標４４の表示変更処理を継続して実行する。また、Ｓ１１２において、車両画像Ｇ１（車両１）が拡大開始位置に到達していない場合（Ｓ１１２のＮｏ）、Ｓ１０８に戻り、現在の車両１（車両画像Ｇ１）と目標位置４０との相対角度や車両１の進行方位等に基づく方向指標４４の表示変更処理を継続して実行する。Ｓ１００において、目標位置４０が未設定の場合（Ｓ１００のＮｏ）、一旦このフローを終了し、次の処理タイミングで、このフローが実行されるのを待つ。
このように、本実施形態の画像処理装置（画像処理部２８）によれば、駐車支援等の走行支援が実行される場合で、周辺の確認を行いたい場合に、表示変更のための操作が不要で、周囲状況を認識させ易い画像表示ができる。
なお、上述した実施形態においては、駐車支援を一例として説明したが、駐車目的以外でも車両１を所定の位置に低速で移動させたい場合に、目標位置４０を設定すれば、同様な表示制御が可能であり、同様の効果を得ることができる。
なお、上述した実施形態では、第１合成画像Ｇ３の拡大表示処理や移動処理等を伴う表示例を示したが、変形例では、第１合成画像Ｇ３の拡大表示処理や移動処理の少なくとも一方を省略し、方向指標４４や停止指標４８の表示を行うようにしてもよい。例えば、画像処理装置は、車両の周辺を撮像する撮像部が撮像した撮像画像を取得する画像取得部と、上記車両の現在位置と上記車両が移動する目標位置とを取得する位置取得部と、上記車両を示す車両画像と、上記撮像画像に基づく上記車両の周辺を表した周辺画像と、を含む合成画像を表示部に表示させる制御部と、を備え、上記制御部は、上記車両と上記目標位置との相対角度または、上記車両の進行方位に応じて、上記車両画像に対して上記目標位置の存在する方向を示す回転可能な方向指標を上記車両画像に関連する位置に重畳表示してもよい。この構成によれば、例えば、これから向う方向の状況把握をより行わせ易い表示が可能となるとともに、操作の煩わしさを軽減しやすい画像処理装置が実現できる。
また、変形例において、上記制御部は、例えば、上記方向指標を表示する場合、上記目標位置に接近するほど上記方向指標の表示透過率を高くするように変化させるとともに、上記目標位置で停止させることを示唆する停止指標の表示透過率を低くするように変化させて、上記方向指標から上記停止指標に指標表示の切り替えを実行するようにしてもよい。この構成によれば、例えば、目標位置への接近を運転者に認識させ易く、運転時の安心感を高め易く、運転時の負担軽減を感じさせやすい画像表示が実現できる。
上述したＣＰＵ１４ａで実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、ＣＰＵ１４ａで実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、１９…舵角センサ、２２…車輪速センサ、２５…ＧＰＳ受信機、２８…画像処理部、３０…取得部、３０ａ…画像取得部、３０ｂ…位置取得部、３０ｃ…舵角取得部、３０ｄ…車速取得部、３２…目標位置設定部、３４…経路設定部、３６…制御部、３６ａ…合成画像制御部、３６ｂ…指標制御部、３８…出力部、４０…目標位置、４０ａ…中間目標位置、４０ｂ…最終目標位置、４２…移動経路、４４…方向指標、４８，５０…停止指標、１００…制御システム、Ｇ…表示画像、Ｇ１…車両画像、Ｇ２…周辺画像、Ｇ３…第１合成画像、Ｇ４…三次元車両画像、Ｇ５…三次元周辺画像、Ｇ６…第２合成画像。

Claims (12)

  1. 車両の周辺を撮像する撮像部が撮像した撮像画像を取得する画像取得部と、
    前記車両の現在位置と前記車両が移動する目標位置とを取得する位置取得部と、
    前記車両を示す車両画像と、前記撮像画像に基づく前記車両の周辺を表した周辺画像と、を含む合成画像を表示部に表示させる制御部と、
    を備え、
    前記制御部は、前記車両の前記現在位置と前記目標位置との距離、または前記車両が前記目標位置に到達するまでの期間の少なくとも一方に応じて、前記合成画像を前記目標位置を取得したときより拡大表示する、画像処理装置。
  2. 前記制御部は、前記合成画像に表示される前記車両画像の中心からずれた位置を拡大基点として前記合成画像を拡大する、請求項１に記載の画像処理装置。
  3. 前記制御部は、前記車両と前記目標位置との相対角度に応じて、前記車両画像の中心から前記目標位置の存在する方向側にずれた位置を前記拡大基点として前記合成画像を拡大する、請求項２に記載の画像処理装置。
  4. 前記制御部は、前記車両の進行方位に応じて、前記車両画像の中心から前記車両の進行方位側にずれた位置を前記拡大基点として前記合成画像を拡大する、請求項２に記載の画像処理装置。
  5. 前記制御部は、前記車両と前記目標位置との相対角度に応じて、前記車両画像に対して前記目標位置の存在する方向を示す回転可能な方向指標を前記車両画像に関連する位置に重畳表示する、請求項１から請求項４のいずれか１項に記載の画像処理装置。
  6. 前記制御部は、前記車両の進行方位に応じて、前記車両画像に対して前記目標位置の存在する方向を示す回転可能な方向指標を前記車両画像に関連する位置に重畳表示する、請求項１から請求項３のいずれか１項に記載の画像処理装置。
  7. 前記制御部は、前記目標位置に接近するほど、前記方向指標の表示透過率を高くするように変化させる、請求項５または請求項６に記載の画像処理装置。
  8. 前記制御部は、前記車両画像に対して前記目標位置までの距離が所定値以下の場合、前記目標位置で前記車両を停止させることを示唆する停止指標を表示する、請求項５から請求項７のいずれか１項に記載の画像処理装置。
  9. 前記制御部は、前記目標位置に接近するほど、前記停止指標の表示透過率を表示開始時より低くするように変化させる、請求項８に記載の画像処理装置。
  10. 前記制御部は、前記目標位置に接近するほど、前記方向指標の表示透過率を高くするように変化させるとともに、前記停止指標の表示透過率を低くするように変化させて、前記方向指標から前記停止指標に指標表示の切り替えを実行する、請求項９に記載の画像処理装置。
  11. 前記制御部は、前記停止指標を表示する際に、前記目標位置が最終目標位置である場合と、前記最終目標位置に向かう過程で設定される中間目標位置である場合とで、前記停止指標の種類を変化させる、請求項８から請求項１０のいずれか１項に記載の画像処理装置。
  12. 前記合成画像は、前記車両画像および前記周辺画像を俯瞰視した俯瞰画像である、請求項１から請求項１１のいずれか１項に記載の画像処理装置。
JP2019166661A 2019-09-12 2019-09-12 画像処理装置 Pending JP2021043815A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019166661A JP2021043815A (ja) 2019-09-12 2019-09-12 画像処理装置
EP20195506.9A EP3792868A1 (en) 2019-09-12 2020-09-10 Image processing device
US17/017,940 US20210078496A1 (en) 2019-09-12 2020-09-11 Image processing device
CN202010953175.XA CN112492262A (zh) 2019-09-12 2020-09-11 图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019166661A JP2021043815A (ja) 2019-09-12 2019-09-12 画像処理装置

Publications (1)

Publication Number Publication Date
JP2021043815A true JP2021043815A (ja) 2021-03-18

Family

ID=72470294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019166661A Pending JP2021043815A (ja) 2019-09-12 2019-09-12 画像処理装置

Country Status (4)

Country Link
US (1) US20210078496A1 (ja)
EP (1) EP3792868A1 (ja)
JP (1) JP2021043815A (ja)
CN (1) CN112492262A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210179086A1 (en) * 2019-12-13 2021-06-17 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
JP2022122379A (ja) * 2021-02-10 2022-08-23 トヨタ自動車株式会社 車両用画像処理システム、車両及び画像送信方法
JP2023097021A (ja) * 2021-12-27 2023-07-07 本田技研工業株式会社 制御装置、及び移動体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES457293A1 (es) 1976-03-30 1978-02-01 Union Carbide Corp Un procedimiento mejorado para preparar etileno solo o con una o mas alfaolefinas.
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210179086A1 (en) * 2019-12-13 2021-06-17 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device
US11697408B2 (en) * 2019-12-13 2023-07-11 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device

Also Published As

Publication number Publication date
EP3792868A1 (en) 2021-03-17
CN112492262A (zh) 2021-03-12
US20210078496A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US10710504B2 (en) Surroundings-monitoring device and computer program product
JP6806156B2 (ja) 周辺監視装置
JP6897340B2 (ja) 周辺監視装置
JP6507626B2 (ja) 車両周辺監視装置
JP7222254B2 (ja) 周辺表示制御装置
EP3792868A1 (en) Image processing device
JP7354649B2 (ja) 周辺監視装置
JP6760122B2 (ja) 周辺監視装置
JP2018144526A (ja) 周辺監視装置
US11620834B2 (en) Periphery monitoring device
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
WO2018070298A1 (ja) 表示制御装置
JP6876236B2 (ja) 表示制御装置
JP2017094922A (ja) 周辺監視装置
JP2019054420A (ja) 画像処理装置
JP7013751B2 (ja) 画像処理装置
JP2022023870A (ja) 表示制御装置
JP2014004931A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP6977318B2 (ja) 周辺表示装置
JP6953915B2 (ja) 周辺監視装置
US20230303169A1 (en) Control device, control method, and computer-readable recording medium
JP6965563B2 (ja) 周辺監視装置
JP2024009685A (ja) 駐車支援装置
JP2023063108A (ja) 制御装置および車両
JP2022009331A (ja) 周辺監視装置