JP2018142884A - 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム - Google Patents

俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム Download PDF

Info

Publication number
JP2018142884A
JP2018142884A JP2017036658A JP2017036658A JP2018142884A JP 2018142884 A JP2018142884 A JP 2018142884A JP 2017036658 A JP2017036658 A JP 2017036658A JP 2017036658 A JP2017036658 A JP 2017036658A JP 2018142884 A JP2018142884 A JP 2018142884A
Authority
JP
Japan
Prior art keywords
overhead
video
vehicle
obstacle
overhead view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017036658A
Other languages
English (en)
Other versions
JP2018142884A5 (ja
JP6730613B2 (ja
Inventor
友喜 桜木
Tomoki Sakuragi
友喜 桜木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017036658A priority Critical patent/JP6730613B2/ja
Priority to EP17898618.8A priority patent/EP3547677B1/en
Priority to PCT/JP2017/039368 priority patent/WO2018159016A1/ja
Publication of JP2018142884A publication Critical patent/JP2018142884A/ja
Priority to US16/424,704 priority patent/US10715734B2/en
Publication of JP2018142884A5 publication Critical patent/JP2018142884A5/ja
Priority to US16/889,977 priority patent/US11032479B2/en
Application granted granted Critical
Publication of JP6730613B2 publication Critical patent/JP6730613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】障害物を適切に表示する。【解決手段】車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得部４２と、映像データ取得部４２が取得した映像に視点変換処理を行い合成することで、車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成部４５と、車両の周囲の障害物を検出するセンサ群２０からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得部４３と、俯瞰映像を表示部に表示させる表示制御部４８と、を備え、俯瞰映像生成部４５は、障害物情報取得部４３が特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する。【選択図】図１

Description

本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。
車両の周囲に設置された複数のカメラで車両周辺を撮影し、撮影した複数の映像に視点変換処理を行い合成した俯瞰映像をモニタに表示させる技術が知られている。俯瞰映像は、複数の映像が合成されているため、映像同士のつなぎ目である合成境界において、被撮影物の一部分が表示されなくなったり、障害物が合成境界を跨ぐ際に一時的に表示されなくなったりすることがある。
障害物移動方向予測部からの情報を基に、障害物と複数カメラの画像の境界が重ならないように俯瞰画像を作成する技術が知られている（例えば、特許文献１参照）。
国際公開第２０１１／０３６８９２号
車両が移動すると、障害物の位置も相対的に移動する。これにより、上記の技術では、俯瞰映像における合成境界も動的に変化する。俯瞰映像における合成境界が動的に変化するため、俯瞰映像の表示が煩雑となるおそれがある。このように、検出した障害物を俯瞰映像で表示することには改善の余地がある。
本発明は、上記に鑑みてなされたものであって、検出した障害物を適切に表示することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成部と、前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得部と、前記俯瞰映像を表示部に表示させる表示制御部と、を備え、前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する。
本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記カメラと、前記検出部と、前記表示部との少なくともいずれかと、を備える。
本発明に係る俯瞰映像生成方法は、車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得ステップと、前記俯瞰映像を表示部に表示させる表示制御ステップと、を含み、前記俯瞰映像生成ステップは、前記障害物情報取得ステップで特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する。
本発明に係るプログラムは、車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得ステップと、前記俯瞰映像を表示部に表示させる表示制御ステップと、を含み、前記俯瞰映像生成ステップは、前記障害物情報取得ステップで特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成することを俯瞰映像生成装置として動作するコンピュータに実行させる。
本発明によれば、障害物を適切に表示することができるという効果を奏する。
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図２は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。 図３は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。 図４は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。 図５は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図６は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図７は、第一実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。 図８は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図９は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１０は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。 図１１は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。 図１２は、第四実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図１３は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。 図１４は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１５は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。
以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
以下の説明においては、前後方向とは、車両直進時の進行方向と平行な方向であり、運転席からウインドシールドに向かう側を前後方向の「前」、ウインドシールドから運転席に向かう側を前後方向の「後」とする。前後方向を、Ｘ軸方向とする。左右方向とは、前後方向に対して水平に直交する方向である。ウインドシールドへ向かって、左手側が「左」、右手側が「右」である。左右方向を、Ｙ軸方向とする。上下方向とは、前後方向および左右方向に対して直交する方向である。上下方向を、Ｚ軸方向とする。したがって、前後方向、左右方向および鉛直方向は、３次元で直交する。以下の説明における前後、左右、上下は、俯瞰映像生成システム１を車両に搭載した状態での前後、左右、上下である。
［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、車両Ｖに搭載されている。俯瞰映像生成システム１は、車両Ｖに載置されているものに加えて、可搬型で車両Ｖにおいて利用可能な装置であってもよい。
図１を用いて、俯瞰映像生成システム１について説明する。俯瞰映像生成システム１は、前方カメラ１１と、後方カメラ１２と、左側方カメラ１３と、右側方カメラ１４と、センサ群（検出部）２０と、表示パネル（表示部）３０と、俯瞰映像生成装置４０とを有する。
図２を用いて、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とについて説明する。図２は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。前方カメラ１１は、車両Ｖの前方に配置され、車両Ｖの前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の撮影範囲Ａ１を撮影する。前方カメラ１１は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。
後方カメラ１２は、車両Ｖの後方に配置され、車両Ｖの後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の撮影範囲Ａ２を撮影する。後方カメラ１２は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。
左側方カメラ１３は、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の撮影範囲Ａ３を撮影する。左側方カメラ１３は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。
右側方カメラ１４は、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の図示しない撮影範囲Ａ４を撮影する。右側方カメラ１４は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。
このような前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両Ｖの全方位を撮影する。
図１に戻って、センサ群２０は、車両Ｖの周辺の障害物Ｑを検出する。センサ群２０は、俯瞰映像の表示範囲を含む範囲の障害物Ｑを検出可能である。本実施形態では、センサ群２０は、前方センサと、後方センサと、左側方センサと、右側方センサとを含む。センサ群２０は、センシング方式によっては数十ｍから数百ｍの距離までのセンシングが可能であるが、本目的に用いる場合は車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。センサ群２０は、例えば、赤外線センサ、超音波センサ、ミリ波センサ、画像認識によるセンサ等、複数方式のセンサの組合せなど様々な方式が適用可能である。
前方センサは、車両Ｖの前方に配置され、車両Ｖの前方を中心とした範囲に存在する障害物Ｑを検出する。前方センサは、車両Ｖが前進しているときに車両Ｖと接触するおそれがある、地上から高さを有するものを検出する。前方センサは、例えば、車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。前方センサの検出範囲は、前方カメラ１１の撮影範囲Ａ１と重複する。前方センサの検出範囲は、左側方センサおよび右側方センサの検出範囲の一部と重複していてもよい。前方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Ｑの方向を細分化して検出する。前方センサは、検出した障害物Ｑの障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。
後方センサは、車両Ｖの後方に配置され、車両Ｖの後方を中心とした範囲に存在する障害物Ｑを検出する。後方センサは、車両Ｖが後退しているときに車両Ｖと接触するおそれがある、地上から高さを有するものを検出する。後方センサは、例えば、車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。後方センサの検出範囲は、後方カメラ１２の撮影範囲Ａ２と重複する。後方センサの検出範囲は、左側方センサおよび右側方センサの検出範囲の一部と重複していてもよい。後方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Ｑの方向を細分化して検出する。後方センサは、検出した障害物Ｑの障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。
左側方センサは、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした範囲に存在する障害物Ｑを検出する。左側方センサは、車両Ｖが操舵しながら前進または後退しているときに車両Ｖと接触するおそれがある、地上から高さを有するものを検出する。左側方センサは、例えば、車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。左側方センサの検出範囲は、左側方カメラ１３の撮影範囲Ａ３と重複する。左側方センサの検出範囲は、前方センサおよび後方センサの検出範囲の一部と重複していてもよい。左側方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Ｑの方向を細分化して検出する。左側方センサは、検出した障害物Ｑの障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。
右側方センサは、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした範囲に存在する障害物Ｑを検出する。右側方センサは、車両Ｖが操舵しながら前進または後退しているときに車両Ｖと接触するおそれがある、地上から高さを有するものを検出する。右側方センサは、例えば、車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。右側方センサの検出範囲は、右側方カメラ１４の撮影範囲Ａ４と重複する。右側方センサの検出範囲は、前方センサおよび後方センサの検出範囲の一部と重複していてもよい。右側方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Ｑの方向を細分化して検出する。右側方センサは、検出した障害物Ｑの障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。
表示パネル３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル３０は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像１００（図３参照）、俯瞰映像１００Ａ（図６参照）を表示する。表示パネル３０は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル３０は、運転者から視認容易な位置に配置されている。
表示パネル３０は、表示パネル３０の形状が横長の矩形である場合、複数の表示範囲に分割されていてもよい。例えば、表示パネル３０は、俯瞰映像１００を表示する表示範囲と、俯瞰映像１００の表示範囲の側方に配置された、ナビゲーション画面やオーディオ画面を表示する表示範囲とを有する。俯瞰映像１００を表示する表示範囲は、縦長の矩形状である。
俯瞰映像生成装置４０は、制御部４１と、記憶部４９とを有する。
制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像データ取得部４２と、障害物情報取得部４３と、車両情報取得部４４と、俯瞰映像生成部４５と、表示制御部４８とを有する。
映像データ取得部４２は、車両Ｖの周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部４２は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した周辺映像データを取得する。映像データ取得部４２は、取得した周辺映像データを俯瞰映像生成部４５に出力する。
障害物情報取得部４３は、車両Ｖの周辺において検出した障害物Ｑの障害物情報を取得し、検出した障害物Ｑの俯瞰映像上の位置を特定する。より詳しくは、障害物情報取得部４３は、センサ群２０が出力した障害物情報を取得する。本実施形態では、障害物情報取得部４３は、検出した障害物Ｑまでの距離を含む障害物情報を取得する。障害物情報取得部４３は、取得した障害物情報に含まれる、障害物Ｑを検出したセンサと、障害物Ｑまでの距離とから、障害物Ｑの俯瞰映像上の位置を特定する。障害物情報取得部４３は、取得した障害物情報と特定した障害物Ｑの位置とを俯瞰映像生成部４５に出力する。
車両情報取得部４４は、車両Ｖのギア操作情報など、俯瞰映像１００を表示させるためのトリガとなる車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両Ｖの状態をセンシングする各種センサなどから取得する。本実施形態では、車両情報は、車両Ｖの進行方向を示す情報を含む。車両情報取得部４４は、取得した車両情報を俯瞰映像生成部４５に出力する。
俯瞰映像生成部４５は、映像データ取得部４２が取得した周辺映像データに視点変換処理を行い合成することで、車両Ｖの上方を仮想視点Ｐとした俯瞰映像１００を生成する。
図２を用いて、仮想視点Ｐについて説明する。仮想視点Ｐは、車両Ｖの中央の上方に位置している。仮想視点Ｐは、車両Ｖを真上から見下すような視点である。車両Ｖの中央とは、車両Ｖの車幅方向の中央、かつ、前後方向の中央である。車両Ｖの真上とは、車両Ｖの基準面の垂線上の位置である。基準面とは、車両Ｖが水平かつ平坦な路面上に位置しているときに路面と水平な平面である。仮想視点Ｐの位置を、（ｘ，ｙ，ｚ）とする。
図３を用いて、生成された俯瞰映像１００について説明する。図３は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とを含む。前方映像１０１の表示面積と後方映像１０２の表示面積とは同じ広さである。左側方映像１０３の表示面積と右側方映像１０４の表示面積とは同じ広さである。俯瞰映像１００の中央部は、車両Ｖを示す自車両アイコン２００が表示されている。自車両アイコン２００は、車両Ｖを真上から見下した形態を示す。
図３においては、前方映像１０１と左側方映像１０３との合成境界Ｂ１と、前方映像１０１と右側方映像１０４との合成境界Ｂ２と、後方映像１０２と左側方映像１０３との合成境界Ｂ３と、後方映像１０２と右側方映像１０４との合成境界Ｂ４とを示す斜めの破線を説明のために図示しているが、実際に表示パネル３０に表示される俯瞰映像１００には当該破線は表示されても表示されなくてもよい。他の図も同様である。以下の説明において、合成境界Ｂ１と合成境界Ｂ２と合成境界Ｂ３と合成境界Ｂ４とを特に区別する必要がないときは、合成境界Ｂとして説明する。
合成境界Ｂ１は、自車両アイコン２００の左前端部から左前方に向かって延びている。合成境界Ｂ１は、自車両アイコン２００の左前端部から長辺部１００ａへ延びている。合成境界Ｂ２は、自車両アイコン２００の右前端部から右前方に向かって延びている。合成境界Ｂ２は、自車両アイコン２００の右前端部から長辺部１００ｂへ延びている。合成境界Ｂ３は、自車両アイコン２００の左後端部から左後方に向かって延びている。合成境界Ｂ３は、自車両アイコン２００の左後端部から長辺部１００ａへ延びている。合成境界Ｂ４は、自車両アイコン２００の右後端部から右後方に向かって延びている。合成境界Ｂ４は、自車両アイコン２００の右後端部から長辺部１００ｂへ延びている。
俯瞰映像生成部４５は、障害物情報取得部４３が特定した障害物Ｑの位置が、俯瞰映像１００における複数の映像の境界である合成境界Ｂに重なる位置である場合、俯瞰映像１００の仮想視点Ｐの位置を変更して仮想視点ＰＡとした俯瞰映像１００Ａを生成する。言い換えると、俯瞰映像生成部４５は、障害物Ｑの位置が、障害物Ｑを俯瞰映像１００に表したときに合成境界Ｂに重なる位置である場合、仮想視点ＰＡとした俯瞰映像１００Ａを生成する。さらに、俯瞰映像生成部４５は、障害物Ｑの位置が、障害物Ｑを俯瞰映像１００に表したときに合成境界Ｂの近傍に位置する場合にも、仮想視点ＰＡとした俯瞰映像１００Ａを生成してもよい。
合成境界Ｂに重なる位置とは、複数の映像を合成したときに、画像処理によって被撮影物が非表示となったり歪んだりして、正しい形態が表示されなくなる範囲と重複する位置である。合成境界Ｂに重なる位置とは、例えば、合成境界Ｂを中心に帯状に広がる範囲に重なる位置である。
合成境界Ｂの近傍の位置とは、合成境界Ｂに重なる位置より進行方向側の位置である。合成境界Ｂの近傍の位置とは、車両Ｖが進行することで合成境界Ｂに重なる位置となることが予測される位置である。
本実施形態では、俯瞰映像生成部４５は、障害物情報取得部４３が特定した障害物Ｑの位置が、俯瞰映像１００における進行方向の合成境界Ｂ（以下、「進行方向の合成境界Ｂ」という。）に重なる場合、仮想視点Ｐの位置を車両Ｖの進行方向に応じた仮想視点ＰＡに変更した俯瞰映像１００Ａを生成する。より詳しくは、俯瞰映像生成部４５は、障害物Ｑの位置が進行方向の合成境界Ｂに重なるとき、仮想視点Ｐの位置を車両Ｖの進行方向側の仮想視点ＰＡに変更した俯瞰映像１００Ａを生成する。仮想視点ＰＡの位置は、（ｘＡ，ｙ，ｚ）で表される。
例えば、車両Ｖが後退しているとき、俯瞰映像生成部４５は、障害物Ｑの位置が合成境界Ｂ３または合成境界Ｂ４に重なるとき、仮想視点Ｐの位置を車両Ｖの後方側の仮想視点ＰＡに変更した俯瞰映像１００Ａを生成する。
例えば、車両Ｖが前進しているとき、俯瞰映像生成部４５は、障害物Ｑの位置が合成境界Ｂ１または合成境界Ｂ２に重なるとき、仮想視点Ｐの位置を車両Ｖの前方側の仮想視点ＰＡに変更した俯瞰映像１００Ａを生成する。
俯瞰映像生成部４５は、視点変換処理部４５１と、切出処理部４５２と、合成処理部４５３とを有する。
視点変換処理部４５１は、映像データ取得部４２で取得した周辺映像データに対して、車両Ｖを上方の仮想視点Ｐから見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４５１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４５１は、視点変換処理を行った周辺映像データを切出処理部４５２に出力する。
視点変換処理部４５１は、障害物情報取得部４３が特定した障害物Ｑの位置が俯瞰映像１００の合成境界Ｂに重なる位置である場合、俯瞰映像１００の仮想視点Ｐの位置を変更した仮想視点ＰＡとして視点変換処理を行った映像を生成する。視点変換処理部４５１は、視点変換処理を行った周辺映像データを切出処理部４５２に出力する。
本実施形態では、視点変換処理部４５１は、仮想視点Ｐの位置を変更することで、複数のカメラの映像においてより表示範囲が広くなる映像に障害物Ｑが含まれて表示されるように、仮想視点Ｐの位置を変更する。
本実施形態では、視点変換処理部４５１は、障害物情報取得部４３が特定した障害物Ｑの位置が進行方向の合成境界Ｂに重なる場合、仮想視点Ｐの位置を車両Ｖの進行方向に応じた位置に変更して視点変換処理を行った映像を生成する。より詳しくは、視点変換処理部４５１は、障害物Ｑの位置が進行方向の合成境界Ｂに重なるとき、仮想視点Ｐの位置を車両Ｖの進行方向側に変更して視点変換処理を行った映像を生成する。
例えば、車両Ｖが後退しているとき、視点変換処理部４５１は、障害物Ｑの位置が合成境界Ｂ３または合成境界Ｂ４に重なるとき、仮想視点Ｐの位置を車両Ｖの後方側の仮想視点ＰＡに変更して視点変換処理を行った映像を生成する。
図４を用いて、仮想視点ＰＡについて説明する。図４は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。本実施形態では、仮想視点ＰＡは、車両Ｖの後上方に位置している。仮想視点ＰＡは、車両Ｖを後上から斜めに見下すような視点である。
例えば、車両Ｖが前進しているとき、視点変換処理部４５１は、障害物Ｑの位置が合成境界Ｂ１または合成境界Ｂ２に重なるとき、仮想視点Ｐの位置を車両Ｖの前方側の仮想視点ＰＡに変更して視点変換処理を行った映像を生成する。
切出処理部４５２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。切出処理部４５２は、視点変換処理を行った前方カメラ１１からの周辺映像データから、前方切出範囲を切出す。切出処理部４５２は、視点変換処理を行った後方カメラ１２からの周辺映像データから、後方切出範囲を切出す。切出処理部４５２は、視点変換処理を行った左側方カメラ１３からの周辺映像データから、左側方切出範囲を切出す。切出処理部４５２は、視点変換処理を行った右側方カメラ１４からの周辺映像データから、右側方切出範囲を切出す。切出処理部４５２は、切出処理を行った映像の映像データを合成処理部４５３に出力する。
前方切出範囲は、車両Ｖの前端部から前方の範囲で、合成境界Ｂ１と合成境界Ｂ２とで囲まれた範囲である。後方切出範囲は、車両Ｖの後端部から後方の範囲で、合成境界Ｂ３と合成境界Ｂ４とで囲まれた範囲である。左側方切出範囲は、車両Ｖの左側部から左方の範囲で、合成境界Ｂ１と合成境界Ｂ３とで囲まれた範囲である。右側方切出範囲は、車両Ｖの右側部から右方の範囲で、合成境界Ｂ２と合成境界Ｂ４とで囲まれた範囲である。
仮想視点の位置ごとに俯瞰映像の合成境界Ｂの位置が一意に定義される。このため、前方切出範囲と後方切出範囲と左側方切出範囲と右側方切出範囲とは、切出処理を行った映像の仮想視点の位置に応じた合成境界Ｂの位置に基づいて定まる。仮想視点の位置ごとの俯瞰映像の合成境界Ｂの位置は、あらかじめ記憶部４９に記憶されている。本実施形態では、仮想視点Ｐとした俯瞰映像１００の合成境界Ｂの位置と、仮想視点ＰＡとした俯瞰映像１００Ａの合成境界ＢＡの位置とが記憶されている。
合成処理部４５３は、切出処理部４５２で切出した複数の映像を合成し俯瞰映像１００、俯瞰映像１００Ａを生成する。合成処理部４５３は、生成した俯瞰映像１００、俯瞰映像１００Ａを表示制御部４８に出力する。
図５を用いて、生成された俯瞰映像１００について説明する。図５は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。後方映像１０２には、障害物Ｑを示す障害物Ｑが表示されている。
図６を用いて、生成された俯瞰映像１００Ａについて説明する。図６は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。自車両アイコン２１０は、車両Ｖを後方から見下ろした形態を示している。自車両アイコン２１０は、自車両アイコン２１０による死角が生じないような表示形態とすることが好ましい。例えば、自車両アイコン２１０は、半透過としてもよい。例えば、自車両アイコン２１０は、外形を示す枠状としてもよい。前方映像１０１Ａの表示面積は、前方映像１０１の表示面積に対して狭い。後方映像１０２Ａの表示面積は、両側端部において、後方映像１０２の表示面積に対して前側に広い。後方映像１０２Ａの表示面積は、前方映像１０１Ａの表示面積に対して広い。左側方映像１０３Ａの表示面積と右側方映像１０４Ａの表示面積とは、左側方映像１０３の表示面積と右側方映像１０４の表示面積に対して前側に広い。
合成境界Ｂ１Ａは、自車両アイコン２１０の左前端部から前方に向かって延びている。合成境界Ｂ１Ａは、自車両アイコン２１０の左前端部から短辺部１００Ａｃへ延びている。合成境界Ｂ２Ａは、自車両アイコン２１０の右前端部から前方に向かって延びている。合成境界Ｂ２Ａは、自車両アイコン２１０の右前端部から短辺部１００Ａｃへ延びている。合成境界Ｂ３Ａは、自車両アイコン２１０の左後端部から左方に向かって水平に延びている。合成境界Ｂ３Ａは、自車両アイコン２１０の左後端部から長辺部１００Ａａへ延びている。合成境界Ｂ４Ａは、自車両アイコン２１０の右後端部から右方に向かって水平に延びている。合成境界Ｂ４Ａは、自車両アイコン２１０の右後端部から長辺部１００Ａｂへ延びている。
合成境界Ｂ３Ａと合成境界Ｂ４Ａ近傍においては、左側方カメラ１３と右側方カメラ１４からの周辺映像データより、後方カメラ１２からの周辺映像データの方が歪が少ない。このため、合成境界Ｂ３Ａと合成境界Ｂ４Ａとは、後方カメラ１２からの周辺映像データの表示面積を広くするように設定されている。
合成境界Ｂ１Ａと合成境界Ｂ２Ａ近傍においては、前方カメラ１１からの周辺映像データより、左側方カメラ１３と右側方カメラ１４からの周辺映像データの方が歪が少ない。このため、合成境界Ｂ１Ａと合成境界Ｂ２Ａとは、左側方カメラ１３と右側方カメラ１４からの周辺映像データの表示面積を広くするように設定されている。
図１に戻って、表示制御部４８は、俯瞰映像１００、俯瞰映像１００Ａを表示パネル３０に表示させる。
記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
次に、図７を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図７は、第一実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。
俯瞰映像生成システム１が起動されると、制御部４１は、映像データ取得部４２で周辺映像データを取得させる。制御部４１は、障害物情報取得部４３で障害物情報を取得させる。
制御部４１は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。本実施形態では、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を開始するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両Ｖの進行方向が車両Ｖの後方となったことをいう。制御部４１は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４１は、後退トリガがある場合、俯瞰映像表示を開始すると判定し（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。俯瞰映像表示を開始させるトリガは、後退トリガに限らず、ユーザ操作、障害物検出結果、停止時など任意のトリガが適用される。
制御部４１は、障害物Ｑを検出したか否かを判定する（ステップＳ１２）。より詳しくは、制御部４１は、障害物情報取得部４３で、所定条件を満たす障害物Ｑの障害物情報が取得されたか否かを判定する。制御部４１は、障害物情報取得部４３で障害物情報が取得されたと判定した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に進む。制御部４１は、障害物情報取得部４３で障害物情報が取得されていないと判定した場合（ステップＳ１２でＮｏ）、ステップＳ１６に進む。
所定条件とは、障害物Ｑとして検出する条件である。本実施形態では、所定条件は、障害物Ｑが車両Ｖの進行方向に位置すること、である。障害物Ｑが車両Ｖの進行方向に位置する場合、所定条件を満たすと判定し、障害物Ｑとして検出する。例えば、車両Ｖが後退しているとき、障害物Ｑが車両Ｖの後端より後方に位置する場合、所定条件を満たすと判定し、障害物Ｑとして検出する。より詳しくは、制御部４１は、車両Ｖが後退しているとき、センサ群２０のうち、車両Ｖの後方の障害物Ｑを検出するセンサが障害物Ｑを検出した場合、所定条件を満たすと判定し、障害物Ｑとして検出する。
制御部４１は、車両Ｖに対する障害物Ｑの位置情報を取得する（ステップＳ１３）。より詳しくは、制御部４１は、障害物情報取得部４３で取得した障害物情報に基づいて、障害物Ｑの俯瞰映像上の位置を取得する。制御部４１は、ステップＳ１４に進む。
制御部４１は、障害物Ｑは俯瞰映像の合成境界Ｂ上に位置しているか否かを判定する（ステップＳ１４）。より詳しくは、制御部４１は、ステップＳ１３で取得した障害物Ｑの位置情報に基づいて、障害物Ｑが進行方向の合成境界Ｂ上であるか否かを判定する。制御部４１は、障害物Ｑが俯瞰映像１００の合成境界Ｂに重なる位置であると判定した場合（ステップＳ１４でＹｅｓ）、ステップＳ１５に進む。制御部４１は、障害物Ｑが俯瞰映像１００の合成境界Ｂに重なる位置ではないと判定した場合（ステップＳ１４でＮｏ）、ステップＳ１６に進む。
制御部４１は、仮想視点位置を変更する（ステップＳ１５）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、俯瞰映像１００の仮想視点Ｐの位置を変更して仮想視点ＰＡとした俯瞰映像１００Ａを生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ１７に進む。
本実施形態では、制御部４１は、俯瞰映像生成部４５で、仮想視点Ｐの位置を車両Ｖの進行方向に応じて、車両Ｖの進行方向側の仮想視点ＰＡに変更した俯瞰映像１００Ａを生成させる。
制御部４１は、俯瞰映像１００を生成し表示する（ステップＳ１６）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、映像データ取得部４２で取得した周辺映像データから車両Ｖを上方から見下ろすように視点変換処理を行い俯瞰映像１００を生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ１７に進む。
制御部４１は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１７）。より詳しくは、制御部４１は、後退終了トリガの有無に基づいて、俯瞰映像表示を終了するか否かを判定する。後退終了トリガとは、例えば、シフトポジションが「リバース」から他のポジションとなったことをいう。制御部４１は、後退終了トリガがある場合、俯瞰映像表示を終了すると判定し（ステップＳ１７でＹｅｓ）、処理を終了する。制御部４１は、後退終了トリガがない場合、俯瞰映像表示を終了しないと判定し（ステップＳ１７でＮｏ）、ステップＳ１２に戻って処理を継続する。
つづいて、図５、図６、図８、図９を用いて、車両Ｖが後方に進むとき、障害物Ｑが後方に検出された場合について説明する。図８は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図９は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。障害物Ｑは、車両Ｖの後端部より左後方に位置している。
まず、シフトポジションが「リバース」とされると、ステップＳ１１において、俯瞰映像表示を開始すると判定される。
ステップＳ１２において、車両Ｖの後方に位置する障害物Ｑが検出される。ステップＳ１３において、障害物Ｑの位置が車両Ｖの後端部より左後方であると取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していないと判定される。ステップＳ１６において、図５に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
そして、ステップＳ１２において、障害物Ｑが検出され、ステップＳ１３において、車両Ｖに近づいた障害物Ｑの位置が取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していると判定される。ステップＳ１５において、図６に示すような、仮想視点ＰＡとした俯瞰映像１００Ａが生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
図６に示す俯瞰映像１００Ａにおいては、障害物Ｑは、合成境界Ｂ３Ａより後方に表示されている。
そして、ステップＳ１３において、障害物Ｑの位置が車両Ｖの後端部に近い左側方であると取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していないと判定される。ステップＳ１６において、図８に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
図８に示す俯瞰映像１００においては、合成境界Ｂの位置は、図５に示す俯瞰映像１００の合成境界Ｂと同じ位置である。障害物Ｑは、合成境界Ｂ３より前方に表示されている。
そして、ステップＳ１３において、障害物Ｑの位置が車両Ｖの後端部より左前方であると取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していないと判定される。ステップＳ１６において、図９に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
図９に示す俯瞰映像１００においては、合成境界Ｂの位置は、図５に示す俯瞰映像１００の合成境界Ｂと同じ位置である。障害物Ｑは、合成境界Ｂ３よりさらに前方に表示されている。
この後、車両Ｖがさらに後退すると、障害物Ｑが俯瞰映像１００の合成境界Ｂ１を跨ぐ位置になるが、合成境界Ｂ１は進行方向ではないため、仮想視点の位置の変更処理は実行されない。
このような処理が、俯瞰映像表示が終了されるまで繰り返される。
このようにして、俯瞰映像生成システム１は、障害物Ｑの位置が進行方向の合成境界Ｂに重なる場合、仮想視点Ｐの位置を車両Ｖの進行方向側の位置に変更した俯瞰映像１００Ａを生成する。
上述したように、本実施形態は、障害物Ｑの位置が進行方向の合成境界Ｂに重なる場合、仮想視点の位置を車両Ｖの進行方向に応じて、車両Ｖの進行方向側の位置に変更した仮想視点ＰＡの俯瞰映像１００Ａを生成する。これにより、本実施形態は、障害物Ｑが進行方向の合成境界Ｂに重なる場合、仮想視点の位置をずらして、障害物Ｑが合成境界Ｂに重ならない俯瞰映像を表示することができる。これにより、障害物Ｑが合成境界Ｂ上に位置することで、障害物Ｑの形状が歪んだり、障害物Ｑが非表示となるようなことを抑制することができる。このように、本実施形態は、俯瞰映像において障害物Ｑを適切に表示することができる。本実施形態は、俯瞰映像における障害物Ｑの視認性を向上することができる。本実施形態は、車両周辺の障害物Ｑを適切に確認可能にすることができる。
本実施形態は、俯瞰映像における障害物Ｑを検出した方向を表示する表示範囲が広くなるように、仮想視点の位置を変更して俯瞰映像を生成する。例えば、障害物Ｑが後方に検出された場合、障害物Ｑを検出した方向に対応する、俯瞰映像１００Ａの後方映像１０２Ａの表示面積を、俯瞰映像１００の後方映像１０２の表示面積に比べて広くする。これにより、本実施形態は、障害物Ｑとその周辺をより広い範囲で合成境界Ｂに重ならないようにした俯瞰映像１００Ａを表示することができる。このように、本実施形態は、俯瞰映像において障害物Ｑとその周辺を適切に表示することができる。本実施形態は、車両周辺の障害物Ｑとその周囲を適切に確認可能にすることができる。
しかも、本実施形態は、仮想視点の位置を車両Ｖの進行方向に応じて変更することで、障害物Ｑをより認識しやすい俯瞰映像を表示することができる。具体的には、本実施形態は、仮想視点Ｐの位置を車両Ｖの進行方向側の位置に変更した俯瞰映像１００Ａを生成する。これにより、本実施形態は、障害物Ｑを基準として、車両Ｖが近づいてくるような俯瞰映像１００Ａを表示することができる。言い換えると、本実施形態は、車両Ｖの進行方向に立って車両Ｖを誘導したような視点の俯瞰映像１００Ａを表示することができる。これにより、本実施形態は、障害物Ｑに対する車両Ｖの接近状態をより認識しやすい表示とすることができる。このように、本実施形態は、俯瞰映像において障害物Ｑを適切に表示することができる。
本実施形態は、障害物Ｑの位置が進行方向の合成境界Ｂに重なる場合、仮想視点ＰＡの俯瞰映像１００Ａを生成表示する。そして、本実施形態は、障害物Ｑの位置が進行方向の合成境界Ｂに重なる位置から外れた場合、仮想視点Ｐの俯瞰映像１００を生成表示する。このように、本実施形態は、障害物Ｑの位置が進行方向の合成境界Ｂに重なる間だけ、仮想視点ＰＡの俯瞰映像１００Ａを生成表示する。このため、本実施形態は、仮想視点の位置が頻繁に変更されることがなく、俯瞰映像の表示が煩雑になることを抑制することができる。
本実施形態は、仮想視点の位置が変更されると、自車両アイコンが変化する。これにより、運転者は、仮想視点の位置が変更されていることを容易に認識することができる。
［第二実施形態］
図１０を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１０は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像生成システム１は、基本的な構成は第一実施形態の俯瞰映像生成システム１と同様である。以下の説明においては、俯瞰映像生成システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５における処理が、第一実施形態の俯瞰映像生成システム１と異なる。
俯瞰映像生成部４５は、障害物情報取得部４３が特定した障害物Ｑの位置が進行方向の合成境界Ｂに重なるとき、仮想視点Ｐの位置を車両Ｖの進行方向とは反対側の仮想視点ＰＢに変更した俯瞰映像１００Ｂを生成する。仮想視点ＰＢの位置は、（ｘＢ，ｙ，ｚ）で表される。
例えば、車両Ｖが後退しているとき、俯瞰映像生成部４５は、障害物Ｑの位置が合成境界Ｂ３または合成境界Ｂ４に重なるとき、仮想視点Ｐの位置を車両Ｖの前方側の仮想視点ＰＢに変更した俯瞰映像１００Ｂを生成する。
例えば、車両Ｖが前進しているとき、俯瞰映像生成部４５は、障害物Ｑの位置が合成境界Ｂ１または合成境界Ｂ２に重なるとき、仮想視点Ｐの位置を車両Ｖの後方側の仮想視点ＰＢに変更した俯瞰映像１００Ｂを生成する。
視点変換処理部４５１は、障害物Ｑの位置が進行方向の合成境界Ｂに重なるとき、仮想視点Ｐの位置を車両Ｖの進行方向とは反対側に変更して視点変換処理を行った映像を生成する。
例えば、車両Ｖが後退しているとき、視点変換処理部４５１は、障害物Ｑの位置が合成境界Ｂ３または合成境界Ｂ４に重なるとき、仮想視点Ｐの位置を車両Ｖの前方側の仮想視点ＰＢに変更して視点変換処理を行った映像を生成する。
例えば、車両Ｖが前進しているとき、視点変換処理部４５１は、障害物Ｑの位置が合成境界Ｂ１または合成境界Ｂ２に重なるとき、仮想視点Ｐの位置を車両Ｖの後方側の仮想視点ＰＢに変更して視点変換処理を行った映像を生成する。
次に、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。俯瞰映像生成装置４０は、図７に示すフローチャートに沿った処理を行う。本実施形態は、ステップＳ１５における処理が第一実施形態と異なり、ステップＳ１１〜ステップＳ１４、ステップＳ１６、ステップＳ１７の処理は第一実施形態と同様の処理を行う。
制御部４１は、仮想視点位置を変更する（ステップＳ１５）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、俯瞰映像１００の仮想視点Ｐの位置を車両Ｖの進行方向とは反対側に変更して仮想視点ＰＢとした俯瞰映像１００Ｂを生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ１７に進む。
図１０を用いて、第一実施形態と同様に、車両Ｖが後方に進むとき、障害物Ｑが後方に検出された場合について説明する。
まず、シフトポジションが「リバース」とされると、ステップＳ１１において、俯瞰映像表示を開始すると判定される。
ステップＳ１２において、車両Ｖの後方に位置する障害物Ｑが検出される。ステップＳ１３において、障害物Ｑの位置が車両Ｖの後端部より左後方であると取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していないと判定される。ステップＳ１６において、図５に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
そして、ステップＳ１２において、障害物Ｑが検出され、ステップＳ１３において、車両Ｖに近づいた障害物Ｑの位置が取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していると判定される。ステップＳ１５において、図１０に示すような、仮想視点ＰＢとした俯瞰映像１００Ｂが生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
図１０を用いて、生成された俯瞰映像１００Ｂについて説明する。自車両アイコン２２０は、車両Ｖを前方から見下ろした形態を示している。障害物Ｑは、合成境界Ｂ３Ｂより前方に表示されている。
前方映像１０１Ｂの表示面積は、両側端部において、前方映像１０１の表示面積に対して後側に広い。前方映像１０１Ｂの表示面積は、後方映像１０２Ｂの表示面積に対して広い。後方映像１０２Ｂの表示面積は、後方映像１０２の表示面積に対して狭い。左側方映像１０３Ｂの表示面積と右側方映像１０４Ｂの表示面積とは、左側方映像１０３の表示面積と右側方映像１０４の表示面積に対して後側に広い。
合成境界Ｂ１Ｂは、自車両アイコン２２０の左前端部から左方に向かって水平に延びている。合成境界Ｂ１Ｂは、自車両アイコン２２０の左前端部から長辺部１００Ｂａへ延びている。合成境界Ｂ２Ｂは、自車両アイコン２２０の右前端部から右方に向かって水平に延びている。合成境界Ｂ２Ｂは、自車両アイコン２２０の右前端部から長辺部１００Ｂｂへ延びている。合成境界Ｂ３Ｂは、自車両アイコン２２０の左後端部から後方に向かって延びている。合成境界Ｂ３Ｂは、自車両アイコン２２０の左後端部から短辺部１００Ｂｄへ延びている。合成境界Ｂ４Ｂは、自車両アイコン２２０の右後端部から後方に向かって延びている。合成境界Ｂ４Ｂは、自車両アイコン２２０の右後端部から短辺部１００Ｂｄへ延びている。
合成境界Ｂ３Ｂと合成境界Ｂ４Ｂ近傍においては、後方カメラ１２からの周辺映像データより、左側方カメラ１３と右側方カメラ１４からの周辺映像データの方が歪が少ない。このため、合成境界Ｂ３Ｂと合成境界Ｂ４Ｂとは、左側方カメラ１３と右側方カメラ１４からの周辺映像データの表示面積を広くするように設定されている。
合成境界Ｂ１Ｂと合成境界Ｂ２Ｂ近傍においては、左側方カメラ１３と右側方カメラ１４からの周辺映像データより、前方カメラ１１からの周辺映像データの方が歪が少ない。このため、合成境界Ｂ１Ｂと合成境界Ｂ２Ｂとは、左側方カメラ１３と右側方カメラ１４からの周辺映像データの表示面積を広くするように設定されている。
そして、ステップＳ１３において、障害物Ｑの位置が車両Ｖの後端部に近い左側方であると取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していないと判定される。ステップＳ１６において、図８に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
そして、ステップＳ１３において、障害物Ｑの位置が車両Ｖの後端部より左前方であると取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していないと判定される。ステップＳ１６において、図９に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
このような処理が、俯瞰映像表示が終了されるまで繰り返される。
上述したように、本実施形態は、障害物Ｑの位置が進行方向の合成境界Ｂに重なる場合、車両Ｖの進行方向と反対側に位置を変更した仮想視点ＰＢの俯瞰映像１００Ｂを生成する。これにより、本実施形態は、障害物Ｑが進行方向の合成境界Ｂに重なる場合、仮想視点の位置をずらして、障害物Ｑが合成境界Ｂに重ならない俯瞰映像を表示することができる。これにより、障害物Ｑが合成境界Ｂ上に位置することで、障害物Ｑの形状が歪んだり、障害物Ｑが非表示となるようなことを抑制することができる。このように、本実施形態は、俯瞰映像において障害物Ｑを適切に表示することができる。本実施形態は、俯瞰映像における障害物Ｑの視認性を向上することができる。本実施形態は、車両周辺の障害物Ｑを適切に確認可能にすることができる。
しかも、本実施形態は、仮想視点Ｐの位置を車両Ｖの進行方向と反対側に変更した俯瞰映像１００Ｂを生成する。これにより、本実施形態は、車両Ｖの進行方向と反対側に立って車両Ｖを誘導したような視点の俯瞰映像１００Ｂを表示することができる。これにより、本実施形態は、障害物Ｑに対する車両Ｖの接近状態をより認識しやすい表示とすることができる。このように、本実施形態は、俯瞰映像において障害物Ｑを適切に表示することができる。
［第三実施形態］
図１１を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１１は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５における処理が、第一実施形態の俯瞰映像生成システム１と異なる。
俯瞰映像生成部４５は、障害物情報取得部４３が特定した障害物Ｑの位置が進行方向の合成境界Ｂに重なるとき、仮想視点Ｐの位置を車両Ｖの進行方向と交差する方向、例えば、側方に変更した俯瞰映像１００Ｃを生成する。
例えば、車両Ｖが後退しているとき、俯瞰映像生成部４５は、障害物Ｑの位置が合成境界Ｂ３または合成境界Ｂ４に重なるとき、仮想視点Ｐの位置を車両Ｖの左側または右側の仮想視点ＰＣに変更した俯瞰映像１００Ｃを生成する。仮想視点ＰＣは、障害物Ｑが検出された側とすることが好ましい。仮想視点ＰＣの位置は、（ｘ，ｙＣ，ｚ）で表される。
例えば、車両Ｖが前進しているとき、俯瞰映像生成部４５は、障害物Ｑの位置が合成境界Ｂ１または合成境界Ｂ２に重なるとき、仮想視点Ｐの位置を車両Ｖの左側または右側の仮想視点ＰＣに変更した俯瞰映像１００Ｃを生成する。
視点変換処理部４５１は、障害物Ｑの位置が進行方向の合成境界Ｂに重なるとき、仮想視点Ｐの位置を車両Ｖの進行方向と交差する方向に変更して視点変換処理を行った映像を生成する。
例えば、車両Ｖが後退しているとき、視点変換処理部４５１は、障害物Ｑの位置が合成境界Ｂ３または合成境界Ｂ４に重なるとき、仮想視点Ｐの位置を車両Ｖの左側または右側の仮想視点ＰＣに変更して視点変換処理を行った映像を生成する。
例えば、車両Ｖが前進しているとき、視点変換処理部４５１は、障害物Ｑの位置が合成境界Ｂ１または合成境界Ｂ２に重なるとき、仮想視点Ｐの位置を車両Ｖの左側または右側の仮想視点ＰＣに変更して視点変換処理を行った映像を生成する。
次に、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。俯瞰映像生成装置４０は、図７に示すフローチャートに沿った処理を行う。本実施形態は、ステップＳ１５における処理が第一実施形態と異なり、ステップＳ１１〜ステップＳ１４、ステップＳ１６、ステップＳ１７の処理は第一実施形態と同様の処理を行う。
制御部４１は、仮想視点位置を変更する（ステップＳ１５）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、俯瞰映像１００の仮想視点Ｐの位置を車両Ｖの進行方向と交差する方向に変更して仮想視点ＰＣとした俯瞰映像１００Ｃを生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ１７に進む。
図１１を用いて、第一実施形態と同様に、車両Ｖが後方に進むとき、障害物Ｑが後方に検出された場合について説明する。
まず、シフトポジションが「リバース」とされると、ステップＳ１１において、俯瞰映像表示を開始すると判定される。
ステップＳ１２において、車両Ｖの後方に位置する障害物Ｑが検出される。ステップＳ１３において、障害物Ｑの位置が車両Ｖの後端部より左後方であると取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していないと判定される。ステップＳ１６において、図５に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
そして、ステップＳ１２において、障害物Ｑが検出され、ステップＳ１３において、車両Ｖに近づいた障害物Ｑの位置が取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００の合成境界Ｂ３上に位置していると判定される。ステップＳ１５において、図１１に示すような、仮想視点ＰＣとした俯瞰映像１００Ｃが生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
図１１を用いて、生成された俯瞰映像１００Ｃについて説明する。自車両アイコン２３０は、車両Ｖを左側方から見下ろした形態を示している。障害物Ｑは、合成境界Ｂ３Ｃより前方に表示されている。
前方映像１０１Ｃの表示面積と後方映像１０２Ｃの表示面積とは、前側方映像１０１の表示面積と後側方映像１０２の表示面積とに対して狭い。左側方映像１０３Ｃの表示面積は、左側方映像１０３の表示面積に対して前後方向に広い。左側方映像１０３Ｃの表示面積は、右側方映像１０４Ｃの表示面積に対して広い。右側方映像１０４Ｃの表示面積は、右側方映像１０４の表示面積と同じである。
合成境界Ｂ１Ｃは、自車両アイコン２３０の左前端部から前方に向かって延びている。合成境界Ｂ１Ｃは、自車両アイコン２３０の左前端部から短辺部１００Ｃｃへ延びている。合成境界Ｂ２Ｃは、自車両アイコン２３０の右前端部から右方に向かって延びている。合成境界Ｂ２Ｃは、自車両アイコン２３０の右前端部から長辺部１００Ｃｂへ延びている。合成境界Ｂ３Ｃは、自車両アイコン２３０の左後端部から後方に向かって延びている。合成境界Ｂ３Ｃは、自車両アイコン２３０の左後端部から短辺部１００Ｃｄへ延びている。合成境界Ｂ４Ｃは、自車両アイコン２３０の右後端部から右方に向かって延びている。合成境界Ｂ４Ｃは、自車両アイコン２３０の右後端部から長辺部１００Ｃｂへ延びている。
合成境界Ｂ３Ｃ近傍においては、後方カメラ１２からの周辺映像データより、左側方カメラ１３からの周辺映像データの方が歪が少ない。このため、合成境界Ｂ３Ｃは、左側方カメラ１３からの周辺映像データの表示面積を広くするように設定されている。
合成境界Ｂ１Ｃ近傍においては、前方カメラ１１からの周辺映像データより、左側方カメラ１３からの周辺映像データの方が歪が少ない。このため、合成境界Ｂ１Ｃは、左側方カメラ１３からの周辺映像データの表示面積を広くするように設定されている。
そして、ステップＳ１３において、障害物Ｑの位置が車両Ｖの後端部に近い左側方であると取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００における合成境界Ｂ３上に位置していないと判定される。ステップＳ１６において、図８に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
そして、ステップＳ１３において、障害物Ｑの位置が車両Ｖの後端部より左前方であると取得される。ステップＳ１４において、障害物Ｑは俯瞰映像１００Ｃにおける合成境界Ｂ３上に位置していないと判定される。ステップＳ１６において、図９に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ１７において、俯瞰映像表示終了ではないと判定されて、ステップＳ１２に戻る。
このような処理が、俯瞰映像表示が終了されるまで繰り返される。
上述したように、本実施形態は、障害物Ｑの位置が進行方向の合成境界Ｂに重なる場合、車両Ｖの進行方向と交差する方向に位置を変更した仮想視点ＰＣの俯瞰映像１００Ｃを生成する。これにより、本実施形態は、障害物Ｑが進行方向の合成境界Ｂに重なる場合、仮想視点の位置をずらして、障害物Ｑが合成境界Ｂに重ならない俯瞰映像を表示することができる。これにより、障害物Ｑが合成境界Ｂ上に位置することで、障害物Ｑの形状が歪んだり、障害物Ｑが非表示となるようなことを抑制することができる。このように、本実施形態は、俯瞰映像において障害物Ｑを適切に表示することができる。本実施形態は、俯瞰映像における障害物Ｑの視認性を向上することができる。本実施形態は、車両周辺の障害物Ｑを適切に確認可能にすることができる。
しかも、本実施形態は、仮想視点Ｐの位置を車両Ｖの進行方向と交差する方向に変更した俯瞰映像１００Ｃを生成する。これにより、本実施形態は、車両の側方に立って車両Ｖを誘導するような仮想視点ＰＣの俯瞰映像１００Ｃを表示することができる。これにより、本実施形態は、障害物Ｑに対する車両Ｖの接近状態をより認識しやすい表示とすることができる。このように、本実施形態によれば、運転者は、車両周辺の障害物Ｑを適切に確認することができる。
［第四実施形態］
図１２ないし図１５を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１２は、第四実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。図１３は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図１４は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図１５は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５における処理が、第二実施形態の俯瞰映像生成システム１と異なる。本実施形態では、複数の障害物Ｑ１、障害物Ｑ２が検出された場合に対応している。
俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。ステップＳ２１、Ｓ２６、Ｓ２７の処理は、第一実施形態のステップＳ１１、Ｓ１６、ステップＳ１７と同様の処理を行う。
制御部４１は、障害物Ｑを検出したか否かを判定する（ステップＳ２２）。より詳しくは、制御部４１は、障害物情報取得部４３で、所定条件を満たす障害物Ｑの障害物情報が取得されたか否かを判定する。本実施形態では、複数の障害物Ｑが所定条件を満たすものとする。制御部４１は、障害物Ｑを検出したと判定した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３に進む。制御部４１は、障害物Ｑを検出していないと判定した場合（ステップＳ２２でＮｏ）、ステップＳ２６に進む。
制御部４１は、障害物Ｑの位置情報を取得する（ステップＳ２３）。より詳しくは、制御部４１は、障害物情報取得部４３で取得した障害物情報に基づいて、すべての障害物Ｑの俯瞰映像上における位置を取得する。制御部４１は、ステップＳ２４に進む。
制御部４１は、俯瞰映像の合成境界Ｂ上に位置している障害物Ｑがあるか否かを判定する（ステップＳ２４）。より詳しくは、制御部４１は、ステップＳ２３で取得した障害物Ｑの位置情報について、俯瞰映像１００において、進行方向の合成境界Ｂに重なる位置の障害物Ｑがあるか否かを判定する。制御部４１は、進行方向の合成境界Ｂに重なる位置の障害物Ｑに加えて、進行方向の合成境界Ｂに重なることが予測される位置の障害物Ｑがあるか否かを判定する。進行方向の合成境界Ｂに重なることが予測される位置の障害物Ｑとは、車両Ｖが進行方向に移動することで、合成境界Ｂに重なることが予測される位置の障害物Ｑのことである。これにより、仮想視点の位置を変更する回数を抑制する。
制御部４１は、俯瞰映像１００の合成境界Ｂに重なる位置の障害物Ｑがあると判定した場合（ステップＳ２４でＹｅｓ）、ステップＳ２５に進む。制御部４１は、俯瞰映像１００の合成境界Ｂに重なる位置の障害物Ｑがないと判定した場合（ステップＳ２４でＮｏ）、ステップＳ２６に進む。
制御部４１は、仮想視点位置を変更する（ステップＳ２５）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、俯瞰映像１００の仮想視点Ｐの位置を変更して仮想視点ＰＡとした俯瞰映像１００Ａを生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ２７に進む。
図１３ないし図１５を用いて、車両Ｖが後方に進むとき、二つの障害物Ｑ１、障害物Ｑ２が後方に検出された場合について説明する。複数の障害物Ｑ１、障害物Ｑ２は、車両Ｖの後端部より左後方に位置しているものとする。
まず、シフトポジションが「リバース」とされると、ステップＳ２１において、俯瞰映像表示を開始すると判定される。
そして、ステップＳ２２において、車両Ｖの後方に位置する二つの障害物Ｑ１、障害物Ｑ２が検出される。ステップＳ２３において、障害物Ｑ１の位置が俯瞰映像における合成境界Ｂ３上の位置であると取得される。ステップＳ２４において、障害物Ｑ１は俯瞰映像１００の合成境界Ｂ３上に位置していると判定される。ステップＳ２５において、図１３に示すような、仮想視点ＰＡとした俯瞰映像１００Ａが生成されて表示パネル３０に表示される。ステップＳ２７において、俯瞰映像表示終了ではないと判定されて、ステップＳ２２に戻る。
図１３に示す俯瞰映像１００Ａにおいては、合成境界Ｂの位置は、図６に示す俯瞰映像１００Ａの合成境界Ｂと同じ位置である。障害物Ｑ１、障害物Ｑ２は、合成境界Ｂ３Ａより後方に位置している。
そして、ステップＳ２２において、障害物Ｑ１およびＱ２が検出されステップＳ２３において、障害物Ｑ１の位置は俯瞰映像における合成境界Ｂ３上の位置ではないと取得される。また、障害物Ｑ２の位置は、俯瞰映像における合成境界Ｂ３上の位置ではないが、車両Ｖが進行方向に移動すると、合成境界Ｂ３上の位置になることが予測される。これにより、ステップＳ２４において、障害物Ｑ２は俯瞰映像１００Ａの合成境界Ｂ３上に位置することが予測されると判定される。ステップＳ２５において、図１４に示すような、仮想視点ＰＡとした俯瞰映像１００Ａが生成されて表示パネル３０に表示される。ステップＳ２７において、俯瞰映像表示終了ではないと判定されて、ステップＳ２２に戻る。
図１４に示す俯瞰映像１００Ａにおいては、合成境界Ｂの位置は、図１３に示す俯瞰映像１００Ａの合成境界ＢＡと同じ位置である。障害物Ｑ１は、合成境界Ｂ３Ａより前方に位置している。障害物Ｑ２は、合成境界Ｂ３Ａより後方に位置している。
そして、ステップＳ２３において、二つの障害物Ｑ１、障害物Ｑ２の位置が車両Ｖの後端部より左前方であると取得される。ステップＳ２４において、二つの障害物Ｑ１、障害物Ｑ２は俯瞰映像１００Ａの合成境界Ｂ３上に位置していないと判定される。ステップＳ２６において、図１５に示すような、仮想視点Ｐとした俯瞰映像１００が生成されて表示パネル３０に表示される。ステップＳ２７において、俯瞰映像表示終了ではないと判定されて、ステップＳ２２に戻る。
図１５に示す俯瞰映像１００においては、合成境界Ｂの位置は、図６に示す俯瞰映像１００Ａの合成境界Ｂと同じ位置である。障害物Ｑ１、障害物Ｑ２は、合成境界Ｂ３より前方に位置している。
このような処理が、俯瞰映像表示が終了されるまで繰り返される。
このようにして、俯瞰映像生成システム１は、複数の障害物Ｑが検出された場合、車両Ｖの進行方向に位置し、車両Ｖの移動に伴って合成境界Ｂ上に位置することになると予測される障害物Ｑがある間は、仮想視点を変更した俯瞰映像１００Ａを生成する。
上述したように、本実施形態は、複数の障害物Ｑを検出した場合、車両Ｖの進行方向に位置し、車両Ｖの移動により、合成境界Ｂ上に位置することになると予測される障害物Ｑがある間は、仮想視点を変更した俯瞰映像１００Ａを生成する。これにより、本実施形態は、仮想視点を頻繁に変更することを抑制することができる。このように、本実施形態は、車両周辺の障害物Ｑを適切に確認可能にすることができる。
さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
所定条件は、障害物Ｑが車両Ｖの進行方向に位置すること、として説明したが、これに限定されない。所定条件は、例えば、車両Ｖに干渉するおそれがあること、としてもよい。車両Ｖに干渉するおそれがあるとは、例えば、車両Ｖの進行方向に位置し、かつ、車両Ｖと接触するおそれのある地面からの高さを有することである。
または、所定条件は、例えば、車両Ｖの進行方向に位置し、かつ、合成境界Ｂを中心に所定の幅で帯状に広がる範囲より小さな面積であること、としてもよい。合成境界Ｂを中心に所定の幅で帯状に広がる範囲より大きな面積を有する障害物は、仮想視点を変更しなかったとしても、画像処理される範囲から少なくとも一部がはみ出すので、被撮影物の全体が非表示となることがないためである。
または、所定条件は、例えば、車両Ｖの進行方向に位置し、かつ、車両Ｖとの距離が最も小さい、としてもよい。これにより、複数検出された障害物Ｑの中から、例えば最も近接しているなど、より優先的に確認する必要がある障害物Ｑを確認しやすい俯瞰映像を表示することができる。
制御部４１は、ステップＳ１１において、例えば、操作部に対する、俯瞰映像表示開始の操作の検出の有無で、俯瞰映像表示を開始するか否かを判定してもよい。
仮想視点の位置を変更した俯瞰映像は、障害物Ｑを検出した方向の表示面積が広くなるように、自車両アイコンの中央を俯瞰映像の中心からずらした俯瞰映像を生成してもよい。
第二実施形態において、仮想視点ＰＢとした俯瞰映像１００Ｂを生成表示した後、車両Ｖがさらに後方に進んでも、障害物Ｑは合成境界上に位置しないので、仮想視点Ｐとした俯瞰映像１００に戻さずに、仮想視点ＰＢとした俯瞰映像１００Ｂとしたままとしてもよい。
１ 俯瞰映像生成システム
１１ 前方カメラ
１２ 後方カメラ
１３ 左側方カメラ
１４ 右側方カメラ
２０ センサ群（検出部）
３０ 表示パネル（表示部）
４０ 俯瞰映像生成装置
４１ 制御部
４２ 映像データ取得部
４３ 障害物情報取得部
４４ 車両情報取得部
４５ 俯瞰映像生成部
４５１ 視点変換処理部
４５２ 切出処理部
４５３ 合成処理部
４８ 表示制御部
４９ 記憶部
１００ 俯瞰映像
２００ 自車両アイコン
Ｐ 仮想視点

Claims (9)

  1. 車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得部と、
    前記映像データ取得部が取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成部と、
    前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得部と、
    前記俯瞰映像を表示部に表示させる表示制御部と、
    を備え、
    前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する、俯瞰映像生成装置。
  2. 前記俯瞰映像生成部は、仮想視点の位置を変更することで、前記複数のカメラの映像において仮想視点の位置を変更する前より表示範囲が広くなる映像に前記障害物が含まれて表示されるように、前記俯瞰映像の仮想視点の位置を変更する、
    請求項１に記載の俯瞰映像生成装置。
  3. 前記車両の進行方向を取得する車両情報取得部をさらに備え、
    前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が前記車両の進行方向にある合成境界に重なる場合は、前記俯瞰映像の仮想視点の位置を前記車両の進行方向に対応した位置に変更した俯瞰映像を生成する、
    請求項１または２に記載の俯瞰映像生成装置。
  4. 前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が前記車両の進行方向にある合成境界に重なるとき、前記俯瞰映像の仮想視点の位置を前記車両の進行方向側の位置に変更した俯瞰映像を生成する、
    請求項３に記載の俯瞰映像生成装置。
  5. 前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が前記車両の進行方向にある合成境界に重なるとき、前記俯瞰映像の仮想視点の位置を前記車両の進行方向とは反対側の位置に変更した俯瞰映像を生成する、
    請求項３に記載の俯瞰映像生成装置。
  6. 前記俯瞰映像生成部は、前記障害物情報取得部が特定した障害物の位置が前記車両の進行方向にある合成境界に重なるとき、前記俯瞰映像の仮想視点の位置を前記車両の進行方向と交差する方向に位置を変更した俯瞰映像を生成する、
    請求項３に記載の俯瞰映像生成装置。
  7. 請求項１から６のいずれか一項に記載の俯瞰映像生成装置と、
    前記カメラと、前記検出部と、前記表示部との少なくともいずれかと、を備える、
    俯瞰映像生成システム。
  8. 車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得ステップと、
    前記映像データ取得ステップで取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成ステップと、
    前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得ステップと、
    前記俯瞰映像を表示部に表示させる表示制御ステップと、
    を含み、
    前記俯瞰映像生成ステップは、前記障害物情報取得ステップで特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する、
    俯瞰映像生成方法。
  9. 車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得ステップと、
    前記映像データ取得ステップで取得した映像に視点変換処理を行い合成することで、前記車両の上方を仮想視点とした俯瞰映像を生成する俯瞰映像生成ステップと、
    前記車両の周囲の障害物を検出する検出部からの情報を取得し、検出した障害物の俯瞰映像上の位置を特定する障害物情報取得ステップと、
    前記俯瞰映像を表示部に表示させる表示制御ステップと、
    を含み、
    前記俯瞰映像生成ステップは、前記障害物情報取得ステップで特定した障害物の位置が、俯瞰映像における複数の映像の合成境界に重なる位置である場合、前記俯瞰映像の仮想視点の位置を変更した俯瞰映像を生成する、
    ことを俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。
JP2017036658A 2017-02-28 2017-02-28 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム Active JP6730613B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017036658A JP6730613B2 (ja) 2017-02-28 2017-02-28 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
EP17898618.8A EP3547677B1 (en) 2017-02-28 2017-10-31 Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program
PCT/JP2017/039368 WO2018159016A1 (ja) 2017-02-28 2017-10-31 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US16/424,704 US10715734B2 (en) 2017-02-28 2019-05-29 Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium
US16/889,977 US11032479B2 (en) 2017-02-28 2020-06-02 Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017036658A JP6730613B2 (ja) 2017-02-28 2017-02-28 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2018142884A true JP2018142884A (ja) 2018-09-13
JP2018142884A5 JP2018142884A5 (ja) 2019-12-19
JP6730613B2 JP6730613B2 (ja) 2020-07-29

Family

ID=63370661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017036658A Active JP6730613B2 (ja) 2017-02-28 2017-02-28 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Country Status (4)

Country Link
US (2) US10715734B2 (ja)
EP (1) EP3547677B1 (ja)
JP (1) JP6730613B2 (ja)
WO (1) WO2018159016A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6998360B2 (ja) * 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム
CN111368641A (zh) * 2020-02-11 2020-07-03 北京百度网讯科技有限公司 障碍物筛选方法、装置、电子设备及存储介质
CN113411488A (zh) * 2020-03-17 2021-09-17 长沙智能驾驶研究院有限公司 全景图像生成方法、装置、存储介质及计算机设备
CN117098693A (zh) * 2021-04-07 2023-11-21 石通瑞吉股份有限公司 包括偏移相机视图的车辆显示器
CN117074049B (zh) * 2023-10-19 2024-01-02 中汽传媒(天津)有限公司 一种基于虚实结合的智能驾驶车路云测试系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
JP2013026801A (ja) * 2011-07-20 2013-02-04 Aisin Seiki Co Ltd 車両周辺監視システム
WO2015194501A1 (ja) * 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4883977B2 (ja) * 2005-10-05 2012-02-22 アルパイン株式会社 車両用画像表示装置
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
EP2482557B1 (en) 2009-09-24 2020-03-18 Panasonic Intellectual Property Management Co., Ltd. Driving support display device
JP5195776B2 (ja) * 2010-01-25 2013-05-15 株式会社デンソー 車両周辺監視装置
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
US9728228B2 (en) * 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
JP2013026801A (ja) * 2011-07-20 2013-02-04 Aisin Seiki Co Ltd 車両周辺監視システム
WO2015194501A1 (ja) * 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法

Also Published As

Publication number Publication date
EP3547677B1 (en) 2020-07-29
US10715734B2 (en) 2020-07-14
EP3547677A1 (en) 2019-10-02
US20200296298A1 (en) 2020-09-17
JP6730613B2 (ja) 2020-07-29
US11032479B2 (en) 2021-06-08
WO2018159016A1 (ja) 2018-09-07
US20190281229A1 (en) 2019-09-12
EP3547677A4 (en) 2019-10-23

Similar Documents

Publication Publication Date Title
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP6730614B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2013031161A1 (ja) 運転支援装置
CN108886602B (zh) 信息处理装置
US10855934B2 (en) Generating bird's-eye view images
JP5875232B2 (ja) 物体検出装置、および、物体検出方法
US10609337B2 (en) Image processing apparatus
CN107004250B (zh) 图像生成装置及图像生成方法
JP2020068515A (ja) 画像処理装置
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
US10475154B2 (en) Machine surround view system and method for generating 3-dimensional composite surround view using same
JP5477394B2 (ja) 車両周辺監視装置
JP2016021712A (ja) 画像処理装置、及び、運転支援システム
JP6724821B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2008294616A (ja) 運転支援システム及び車両
JP2018142882A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018019155A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2009214790A (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP4598011B2 (ja) 車両用表示装置
JP2020182217A (ja) 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP5722643B2 (ja) 物体検出装置、および、物体検出方法
JP2018148484A (ja) 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP2005324593A (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP2017114237A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6730613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150