JP2021111854A - 車両用電子ミラーシステム - Google Patents

車両用電子ミラーシステム Download PDF

Info

Publication number
JP2021111854A
JP2021111854A JP2020001637A JP2020001637A JP2021111854A JP 2021111854 A JP2021111854 A JP 2021111854A JP 2020001637 A JP2020001637 A JP 2020001637A JP 2020001637 A JP2020001637 A JP 2020001637A JP 2021111854 A JP2021111854 A JP 2021111854A
Authority
JP
Japan
Prior art keywords
vehicle
image
virtual image
rear side
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020001637A
Other languages
English (en)
Other versions
JP7327171B2 (ja
Inventor
智陽 飯田
Tomoaki Iida
智陽 飯田
佑紀 高橋
Yuki Takahashi
佑紀 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020001637A priority Critical patent/JP7327171B2/ja
Priority to US17/068,125 priority patent/US11524630B2/en
Priority to CN202011528992.7A priority patent/CN113085729B/zh
Publication of JP2021111854A publication Critical patent/JP2021111854A/ja
Application granted granted Critical
Publication of JP7327171B2 publication Critical patent/JP7327171B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

【課題】車両用電子ミラーシステムにおいて、映像から路上における自車両の左右方向の相対位置を容易に把握することができる。【解決手段】表示制御装置２０は、後方カメラ１６により撮影された後方映像とアウタカメラユニット１４により撮影された後側方映像とに映像処理を施すことでそれぞれが連続するように合成した合成映像を電子インナーミラー１８に表示させる。表示制御装置２０の自車両仮想画像重畳表示部５２は、自車両１２を仮想的に示す自車両仮想画像６０を生成して合成映像に自車両仮想画像６０を重畳表示する。また、表示制御装置２０の自車両走行軌跡重畳表示部５４は、合成映像において後輪６２から車両１２の後方側へ向けて延設された走行軌跡仮想画像６４を生成して合成映像に重畳表示する。したがって、合成映像に映る路上に対する走行軌跡仮想画像６４から路上における自車両１２の左右方向の相対位置を容易に把握することができる。【選択図】図８

Description

本発明は、車両用電子ミラーシステムに関する。
下記特許文献１には、車両用周辺監視装置に関する発明が開示されている。この車両用周辺監視装置では、車両の外部に設けられかつ車両の側方及び後方を撮影する撮影装置によって撮影された映像に、車両前後方向に伸びる前後ガイドラインと、この前後ガイドラインから車両幅方向に伸びる横ガイドラインとが重畳して表示される。これにより、運転者が撮影された映像を見た際に、前後ガイドラインのみ又は横ガイドラインのみが表示される場合と比べて、車両周辺の距離感が掴み易くなる。
国際特許公開第２０１６／１７８１９０号公報
ところで、特許文献１に開示された構成の場合、映像中に自車両のドアが映り込むことから、映像に映る道路の車線境界線と自車両のドアとの間隔を視認することで自車両の路上における左右方向の相対位置を把握することができる。しかしながら、車両の後方を撮影する後方撮影手段による映像では、自車両が映像に映り込まなくなる。また、後方撮影手段による映像と車両の左右側方側における後方をそれぞれ撮影する左右一対の後側方撮影手段による映像とを一体的に合成する映像でも、それぞれの映像が連続的に繋がるように映像処理を施すと自車両が映像に映り込まなくなる場合がある。このため、これらの映像から路上における自車両の左右方向の相対位置を把握し難くなる。したがって、上記先行技術はこれらの点で改良の余地がある。
本発明は上記事実を考慮し、映像から路上における自車両の左右方向の相対位置を容易に把握することができる車両用電子ミラーシステムを得ることを目的とする。
請求項１に記載の発明に係る車両用電子ミラーシステムは、車両の後方を撮影する後方撮影手段と、前記車両の左右側方側における後方をそれぞれ撮影する左右一対の後側方撮影手段と、前記後方撮影手段により撮影された後方映像と前記後側方撮影手段により撮影された後側方映像とに映像処理を施すことでそれぞれが連続するように合成した合成映像を表示手段に表示させると共に、前記車両の左右一対の後輪を含めた前記車両を仮想的に示す自車両仮想画像を生成し前記合成映像に当該自車両仮想画像を重畳表示する自車両仮想画像重畳表示部と、前記合成映像において前記左右一対の後輪から前記車両の後方側へ向けて延設された前記車両の走行軌跡を仮想的に示す走行軌跡仮想画像を生成し前記合成映像に当該走行軌跡仮想画像を重畳表示する自車両走行軌跡重畳表示部と、を備えた映像処理手段と、を有している。
請求項１に記載の発明によれば、映像処理手段は、後方撮影手段により撮影された後方映像と後側方撮影手段により撮影された後側方映像とに映像処理を施すことでそれぞれが連続するように合成した合成映像を表示手段に表示させる。映像処理手段の自車両仮想画像重畳表示部は、車両の左右一対の後輪を含む自車両を仮想的に示す自車両仮想画像を生成して合成映像に当該自車両仮想画像を重畳表示する。また、映像処理手段の自車両走行軌跡重畳表示部は、合成映像において左右一対の後輪から車両の後方側へ向けて延設された走行軌跡を仮想的に示す走行軌跡仮想画像を生成して合成映像に重畳表示する。したがって、合成映像に映る路上に対する走行軌跡仮想画像の位置から自車両の路上における左右方向の相対位置の把握が容易となる。
請求項２に記載の発明に係る車両用電子ミラーシステムは、請求項１記載の発明において、前記映像処理手段は、前記後方映像、前記後側方映像及び前記合成映像の少なくとも一つに映る車線境界線を検知すると共に、前記自車両走行軌跡重畳表示部は、前記合成映像の前記左右一対の後輪に対応する位置から前記後方映像、前記後側方映像及び前記合成映像の少なくとも一つにおける前記車線境界線までの距離を算出し、当該距離にて前記車線境界線から離間しかつ前記車線境界線に沿って前記走行軌跡仮想画像を生成する。
請求項２に記載の発明によれば、映像処理手段は、合成映像に映る車線境界線を検知すると共に、自車両走行軌跡重畳表示部は、合成映像における左右一対の後輪に対応する位置から車線境界線までの距離を算出して、当該距離にて車線境界線から離間しかつ車線境界線に沿って走行軌跡仮想画像を生成する。したがって、車両用電子ミラーシステムが起動してから車両が走行していない状態においても走行軌跡仮想画像を生成することができることから、車両の走行前の状態においても自車両の路上における左右方向の相対位置の把握が容易となる。
ここで、「車線境界線」には、自車両が走行する道路におけるセンターライン、道路境界線、中央分離帯、路面に埋設された道路鋲及びマーカ並びに道路標示等が含まれるものとする。
請求項３に記載の発明に係る車両用電子ミラーシステムは、請求項２に記載の発明において、前記自車両走行軌跡重畳表示部は、前記合成映像における前記走行軌跡仮想画像の延設方向の表示範囲を前記合成映像における前記車線境界線の延設方向の表示範囲と同一となるように生成する。
請求項３に記載の発明によれば、自車両走行軌跡重畳表示部は、合成映像における走行軌跡仮想画像の延設方向の表示範囲を合成映像における車線境界線の延設方向の表示範囲と同一となるように生成する。したがって、坂道の頂上を通過した後等、合成映像車線境界線における延設方向の表示範囲が平地を走行している場合と比べて小さい場合にて走行軌跡仮想画像が長く表示されることによる合成映像視認時の違和感を低減することができる。
請求項４に記載の発明に係る車両用電子ミラーシステムは、請求項２又は請求項３に記載の発明において、前記映像処理手段は、前記車両のステアリングホイールの舵角情報を取得すると共に、前記自車両仮想画像重畳表示部は、前記走行軌跡仮想画像を前記合成映像における前記左右一対の後輪に対応する位置を中心として前記舵角情報に対応して車両幅方向に湾曲させる。
請求項４に記載の発明によれば、映像処理手段は、車両のステアリングホイールの舵角情報を取得すると共に、自車両仮想画像重畳表示部は、走行軌跡仮想画像を左右一対の後輪に対応する位置を中心として舵角情報に対応して車両幅方向に湾曲させることから、実際の走行状態により近い走行軌跡仮想画像を合成映像に重畳表示させることができる。
請求項５に記載の発明に係る車両用電子ミラーシステムは、請求項１〜請求項４のいずれか一項に記載の発明において、前記映像処理手段は、前記後方映像、前記後側方映像及び前記合成映像の少なくとも一つにおける前記左右一対の後輪に対応した位置の車両後方側近傍の範囲にて特徴点を抽出すると共に、前記自車両走行軌跡重畳表示部は、当該特徴点の移動軌跡に基いて前記走行軌跡仮想画像を生成する。
請求項５に記載の発明によれば、映像処理手段は、合成映像における左右一対の後輪に対応した位置の車両後方側近傍の範囲にて抽出された特徴点の移動軌跡に基いて走行軌跡仮想画像を生成することから、実際の走行軌跡に沿った軌跡を表示させることができる。したがって、車線境界線が検知できない場合においても走行軌跡仮想画像を合成映像に重畳表示させることができる。
請求項６に記載の発明に係る車両用電子ミラーシステムは、請求項５に記載の発明において、前記映像処理手段は、前記後方映像、前記後側方映像及び前記合成映像の少なくとも一つにおける前記左右一対の後輪に対応した位置の車両後方側近傍の範囲にて前記特徴点が抽出不能の場合は、前記合成映像における前記特徴点を抽出する範囲を拡大させる。
請求項６に記載の発明によれば、映像処理手段は、合成映像における左右一対の後輪に対応した位置の車両後方側近傍の範囲にて特徴点が抽出不能の場合は、合成映像における特徴点を抽出する範囲を拡大させることから、特徴点を抽出し難い状況においても走行軌跡仮想画像を生成することができる。
請求項７に記載の発明に係る車両用電子ミラーシステムは、請求項１〜請求項６のいずれか一項に記載の発明において、前記自車両走行軌跡重畳表示部は、前記合成映像に前記車両の後続車両が表示される場合には、前記走行軌跡仮想画像が前記後続車両と重ならないように前記走行軌跡仮想画像の延設方向の長さを変更する。
請求項７に記載の発明によれば、自車両走行軌跡重畳表示部は、合成映像に表示される後続車両と走行軌跡仮想画像とが重ならないように走行軌跡仮想画像の延設方向の長さを変更することから、走行軌跡仮想画像が後続車両に重なることで発生する合成映像視認時の違和感を低減することができる。
請求項８に記載の発明に係る車両用電子ミラーシステムは、請求項１〜請求項７のいずれか一項に記載の発明において、前記自車両走行軌跡重畳表示部は、前記合成映像に前記車両の後続車両が表示されかつ前記車両から当該後続車両までの距離が所定の距離以下の場合には、それ以外の場合に対して前記走行軌跡仮想画像の表示を変更する。
請求項８に記載の発明によれば、自車両走行軌跡重畳表示部は、合成映像に表示される後続車両から自車両までの距離が所定の距離以下の場合には、それ以外の場合に対して走行軌跡仮想画像の表示を変更することから、合成映像を視認した際に自車両と後続車両との距離感を把握し易くなる。
請求項１記載の本発明に係る車両用電子ミラーシステムは、映像から路上における自車両の左右方向の相対位置を容易に把握することができるという優れた効果を有する。
請求項２記載の本発明に係る車両用電子ミラーシステムは、車両の走行前においても映像から走行レーン上における自車両の左右方向の相対位置を容易に把握することができるという優れた効果を有する。
請求項３、請求項７記載の本発明に係る車両用電子ミラーシステムは、視認性を向上させることができるという優れた効果を有する。
請求項４記載の本発明に係る車両用電子ミラーシステムは、合成映像視認時の違和感を低減できるという優れた効果を有する。
請求項５記載の本発明に係る車両用電子ミラーシステムは、車線境界線が検知し難い状況においても路上における自車両の左右方向の相対位置を容易に把握することができるという優れた効果を有する。
請求項６記載の本発明に係る車両用電子ミラーシステムは、様々な状況においても走行軌跡仮想画像を合成映像に重畳表示させることができるという優れた効果を有する。
請求項８記載の本発明に係る車両用電子ミラーシステムは、自車両と後続車両との位置関係を容易に把握することができるという優れた効果を有する。
第１実施形態に係る車両用電子ミラーシステムを有する車両の車室内を車両前方側へ向かって見た状態を示す概略斜視図である。 第１実施形態に係る車両用電子ミラーシステムを有する車両における撮影範囲を概略的に示す平面図である。 第１実施形態に係る車両用電子ミラーシステムの合成映像の表示例を示す概略図である。 第１実施形態に係る車両用電子ミラーシステムの映像処理の内容を概略的に示す概略図である。 第１実施形態に係る車両用電子ミラーシステムを有する車両の坂道を走行している場合の合成映像の例を示す概略図である。 第１実施形態に係る車両用電子ミラーシステムを有する車両がステアリングホイールを左右一方へ操舵している場合の合成映像の例を示す概略図である。 第１実施形態に係る車両用電子ミラーシステムのハードウェア構成を示すブロック図である。 第１実施形態に係る車両用電子ミラーシステムの機能構成を示すブロック図である。 第２実施形態に係る車両用電子ミラーシステムの映像処理における初期段階を概略的に示す概略図である。 第２実施形態に係る車両用電子ミラーシステムの映像処理における中期段階を概略的に示す概略図である。 第２実施形態に係る車両用電子ミラーシステムの映像処理における後期段階を概略的に示す概略図である。 第２実施形態に係る車両用電子ミラーシステムの映像処理における走行軌跡仮想画像の表示前の段階を概略的に示す概略図である。 第２実施形態に係る車両用電子ミラーシステムの機能構成を示すブロック図である。 第３実施形態に係る車両用電子ミラーシステムの合成映像の表示例を示す概略図である。 第３実施形態に係る車両用電子ミラーシステムの機能構成を示すブロック図である。
（第１実施形態）
以下、図１〜図８を用いて、本発明に係る車両用電子ミラーシステム１０の一実施形態について説明する。
（全体構成）
図１に示されるように、車両用電子ミラーシステム１０は、車両（以下、「自車両」とも称する。）１２に搭載された後側方撮影手段としてのアウタカメラユニット１４と、後方撮影手段としての後方カメラ１６と（図２参照）、表示手段としての電子インナーミラー１８と、映像処理手段としての表示制御装置２０と、舵角センサ２２とを有している。
車両１２の左サイドドア１２Ａ(フロントサイドドア)の車両上下方向中間部の車両前側端部には、略直方体形状で先端部が円弧状とされたカメラ支持体１５の基部が、当該カメラ支持体１５の先端部が車両外側へ突出するように取り付けられている。カメラ支持体１５の先端部付近には、アウタカメラユニット１４の一部を構成する左後側方カメラ１４Ｌが取り付けられており、左後側方カメラ１４Ｌは撮影光軸(レンズ)が車両の左後方に向けられ、車両の左後方側及び左側方側の一部を撮影する。カメラ支持体１５は、略車両上下方向を軸方向として車両前後方向に回動可能とされており、図示しないアクチュエータの駆動力により、カメラ支持体１５の長手方向が車両の外側面におよそ沿う格納位置、又は、左後側方カメラ１４Ｌが車両の左後方を撮影する復帰位置へ回動可能とされている。左後側方カメラ１４Ｌの具体的な構成及び作用については、後述する。
また、車両１２の右サイドドア１２Ｂ(フロントサイドドア、図示省略)の車両上下方向中間部の車両前側端部には、カメラ支持体１５と左右対称の形状のカメラ支持体１７の基部が取り付けられている。カメラ支持体１７の先端部付近には、アウタカメラユニット１４のその他の一部を構成する右後側方カメラ１４Ｒが取り付けられており、右後側方カメラ１４Ｒは撮影光軸(レンズ)が車両の右後方に向けられ、車両の右後方側及び右側方側の一部を撮影する。カメラ支持体１７も、略車両上下方向を軸方向として車両前後方向に回動可能とされており、図示しないアクチュエータの駆動力により、カメラ支持体１７の長手方向が車両の外側面におよそ沿う格納位置、又は、右後側方カメラ１４Ｒが車両の右後方を撮影する復帰位置へ回動可能とされている。右後側方カメラ１４Ｒの具体的な構成及び作用については、後述する。
さらに、図２に示されるように、車両１２のトランクリッド１２Ｃには、後方カメラ１６が取り付けられている。後方カメラ１６は、撮影光軸（レンズ）が車両の後方へ向けられ、車両１２の後方を撮影する。後方カメラ１６の具体的な構成及び作用については、後述する。
図１に示されるように、電子インナーミラー１８は、フロントウインドシールドガラス１２Ｄの車両上方側かつ車両幅方向略中央に設けられている。電子インナーミラー１８の具体的な構成及び作用については、後述する。
表示制御装置２０は、車室内に搭載されており、アウタカメラユニット１４と、後方カメラ１６と、電子インナーミラー１８と、舵角センサ２２とに通信可能に接続されている。表示制御装置２０の具体的な構成及び作用については、後述する。
舵角センサ２２は、ステアリングホイール２４の近傍に設けられており、表示制御装置２０と通信可能に接続されている。舵角センサ２２の具体的な構成及び作用については、後述する。
（ハードウェア構成）
図７は、車両用電子ミラーシステム１０のハードウェア構成を示すブロック図である。
図７に示されるように、車両用電子ミラーシステム１０は、表示制御装置２０内に設けられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４及びストレージ３６と、左後側方カメラ１４Ｌと、右後側方カメラ１４Ｒと、後方カメラ１６と、電子インナーミラー１８と、舵角センサ２２とを含んで構成されている。各構成は、バス４２を介して相互に通信可能に接続されている。
ＣＰＵ３０は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３０は、ＲＯＭ３２又はストレージ３６からプログラムを読み出し、ＲＡＭ３４を作業領域としてプログラムを実行する。ＣＰＵ３０は、ＲＯＭ３２又はストレージ３６に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ３２又はストレージ３６には、電子インナーミラー１８に映像を表示する映像表示プログラムが格納されている。
ＲＯＭ３２は、各種プログラム及び各種データを格納する。ＲＡＭ３４は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ３６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
左後側方カメラ１４Ｌは、一例として撮影光軸の向きを変更する機構がなく、レンズが固定焦点で画角が比較的広角とされている。このため、左後側方カメラ１４Ｌはカメラ支持体１５が復帰位置に位置している状態で、図２に示されるように、車両１２の左後方側の比較的広角かつ一定の撮影範囲ＰＬを撮影する。具体的には、左後側方カメラ１４Ｌの撮影範囲ＰＬは、車両平面視にて左後側方カメラ１４Ｌが取り付けられたカメラ支持体１５の車両幅方向外側を頂点として車両後方側へ向かうに連れて車両幅方向に拡幅する形状とされている。
右後側方カメラ１４Ｒは、左後側方カメラ１４Ｌと同様、一例として撮影光軸の向きを変更する機構がなく、レンズが固定焦点で画角が比較的広角とされている。このため、右後側方カメラ１４Ｒはカメラ支持体１７が復帰位置に位置している状態で、車両１２の右後方側の比較的広角かつ一定の撮影範囲ＰＲを撮影する。具体的には、右後側方カメラ１４Ｒの撮影範囲ＰＲは、車両平面視にて右後側方カメラ１４Ｒが取り付けられたカメラ支持体１７の車両幅方向外側を頂点として車両後方側へ向かうに連れて車両幅方向に拡幅する形状とされている。
後方カメラ１６は、一例として、撮影光軸の向きを変更する機構がなく、レンズが固定焦点で画角が比較的広角とされている。このため、後方カメラ１６は車両１２の後方側の比較的広角かつ一定の撮影範囲ＰＢを撮影する。具体的には、後方カメラ１６の撮影範囲ＰＢは、車両平面視にてトランクリッド１２Ｃの車両幅方向略中央かつ車両上方側を頂点として車両後方側へ向かうに連れて車両幅方向に拡幅する形状とされている。
図１に示されるように、電子インナーミラー１８は、一例として液晶パネルにより構成されかつ車室４４の内側へ向けて映像表示が可能とされている。電子インナーミラー１８には、後方カメラ１６（図２参照）、左後側方カメラ１４Ｌ及び右後側方カメラ１４Ｒにより撮影された映像に表示制御装置２０にて映像処理及びそれぞれが連続するように合成した合成映像（図３参照）が表示される。すなわち、電子インナーミラー１８は、インナーミラー及びサイドミラーの代わりとして機能し、乗員は、電子インナーミラー１８に表示された映像を視認することで、車両の後方を中心とする車両１２の周囲の状況を確認することができる。
舵角センサ２２は、ステアリングホイール２４の舵角を検知するセンサであり、ステアリングホイール２４の操舵角に応じた情報（信号）を表示制御装置２０へ出力する。
（機能構成）
上記の映像表示プログラムを実行する際に、車両用電子ミラーシステム１０は、上記のハードウェア資源を用いて、各種の機能を実現する。車両用電子ミラーシステム１０が実現する機能構成について説明する。
図８は、車両用電子ミラーシステム１０の機能構成の例を示すブロック図である。
図８に示されるように、車両用電子ミラーシステム１０は、機能構成として、撮影部４６、映像処理制御部４８、自車両仮想画像重畳表示部５２、自車両走行軌跡重畳表示部５４、車線境界線検知部５６及び舵角検知部５８を有している。各機能構成は、表示制御装置２０のＣＰＵ３０がＲＯＭ３２又はストレージ３６（図７参照）に記憶された映像表示プログラムを読み出し、実行することにより実現される。
撮影部４６は、アウタカメラユニット１４と、後方カメラ１６とによって車両１２の周囲の一部を動画にて撮影する。具体的には、アウタカメラユニット１４は車両１２の後方の後方映像を撮影し、後方カメラ１６は車両１２の左右側方側における後方を車両前後方向撮影する。撮影部４６は、これら撮影映像を映像処理制御部４８へ出力する。
舵角検知部５８は、自車両１２のステアリングホイール２４の舵角情報を舵角センサ２２から取得すると共に、舵角情報を映像処理制御部４８へ出力する。
映像処理制御部４８は、撮影部４６が撮影した映像に映像処理を施した映像を電子インナーミラー１８へ出力する。映像処理制御部４８は、後方カメラ１６による撮影映像の左右両側に左後側方カメラ１４Ｌによる撮影映像及び右後側方カメラ１４Ｒによる撮影映像を合成する映像処理を行うと共に、自車両１２におけるボンネット１２Ｅの車両上方側に設定された仮想視点Ｖ（図２参照）から車両後方側かつ車両下方側へ向けて斜めに見下ろしたような映像となるように映像処理を行った合成映像（図３参照）を生成後、当該合成映像を電子インナーミラー１８に表示させる。
車線境界線検知部５６は、後方映像、後側方映像及び合成映像の少なくとも一つを画像解析することにより、合成映像における車線境界線ＬＮを検知する。なお、車線境界線検知部５６は、合成映像における自車両１２が位置する道路の走行レーンと他のレーンや路肩等とを区画する車線境界線ＬＮを中心に検知する。
自車両仮想画像重畳表示部５２は、図３に示されるように、仮想視点Ｖから車両後方側かつ車両後方側へ向けて見た状態の自車両１２の外観の一部（具体的にはフロントウインドシールドガラス１２Ｄの車両上方側からルーフパネルにかけての範囲）を模した仮想画像である自車両仮想画像６０を生成する。この自車両仮想画像６０は、仮想視点Ｖから車両後方側かつ車両後方側へ向けて見た状態の自車両１２の左右一対の後輪６２を含めて表示されており、合成映像上の自車両１２が位置する部位に重畳表示されている。また、自車両仮想画像６０は、半透明な画像とされており、これによって自車両仮想画像６０の重畳表示された部位の合成映像も視認可能とされている。
自車両走行軌跡重畳表示部５４は、合成映像において自車両仮想画像６０の左右一対の後輪６２から自車両１２の後方側へ向けてそれぞれ延設された走行軌跡を仮想的に示す走行軌跡仮想画像６４を生成すると共に、合成映像に走行軌跡仮想画像６４を重畳表示する。具体的には、自車両走行軌跡重畳表示部５４は、図４に示されるように、合成映像上の自車両仮想画像６０における左右一対の後輪６２の車両後方側かつ合成映像の下方側に一対の仮想点ＶＰを生成する。換言すると、合成映像上の左右一対の後輪に対応する位置が仮想点ＶＰに相当する。この仮想点ＶＰの合成映像上の座標位置は固定されている。次に、車線境界線検知部５６により検知された自車両１２が位置する道路の走行レーンと他のレーンや路肩等とを区画する車線境界線ＬＮと重なる一対の仮想線ＶＬを生成する。そして、仮想点ＶＰからこれと隣接する仮想線ＶＬまでの車両幅方向の距離を算出し、仮想点ＶＰを起点としてこの距離にて車線境界線ＬＮと平行となる走行軌跡仮想画像６４を生成する（図３参照）。換言すると、合成映像上にて仮想点ＶＰを起点に車両後方側へ向けて車線境界線ＬＮと平行な走行軌跡仮想画像６４が生成される。なお、図４における仮想点ＶＰ及び仮想線ＶＬは、説明のために図示したものであり、実際の合成映像には表示されない。
自車両走行軌跡重畳表示部５４は、図３に示されるように、通常時は自車両１２の後端部から車両後方側へ所定の距離（一例として約１０ｍ）離れた位置に相当する範囲（以下、単に「軌跡表示範囲」と称する。）内に走行軌跡仮想画像６４を重畳表示する。また、自車両走行軌跡重畳表示部５４は、一例として自車両１２から離れるに従って走行軌跡仮想画像６４の透明度を上げることで遠近感を表現している。なお、自車両走行軌跡重畳表示部５４は、図５に示されるように、坂道の頂上部を通過した後など車線境界線検知部５６により検知された車線境界線ＬＮが軌跡表示範囲より車両前後方向にて短い場合は、合成映像上の車線境界線ＬＮにおける延設方向の表示範囲に対応するように走行軌跡仮想画像６４の延設方向の長さを変更する。
また、自車両走行軌跡重畳表示部５４は、舵角検知部５８からステアリングホイール２４の舵角情報を取得すると共に、図６に示されるように、合成映像における走行軌跡仮想画像６４を舵角情報に対応して仮想点ＶＰ（図４参照）を中心として車両幅方向に湾曲させる。
（第１実施形態の作用・効果）
次に、第１実施形態の作用並びに効果を説明する。
本実施形態では、図８に示されるように、表示制御装置２０は、後方カメラ１６により撮影された後方映像とアウタカメラユニット１４により撮影された後側方映像とに映像処理を施すことでそれぞれが連続するように合成した合成映像を電子インナーミラー１８に表示させる。表示制御装置２０の自車両仮想画像重畳表示部５２は、図３に示されるように、車両１２の左右一対の後輪６２を含む自車両１２を仮想的に示す自車両仮想画像６０を生成して合成映像に当該自車両仮想画像６０を重畳表示する。また、表示制御装置２０の自車両走行軌跡重畳表示部５４は、合成映像において左右一対の後輪６２から車両１２の後方側へ向けて延設された走行軌跡を仮想的に示す走行軌跡仮想画像６４を生成して合成映像に重畳表示する。したがって、合成映像に映る路上に対する走行軌跡仮想画像６４の左右方向の相対位置の把握が容易となる。これにより、映像から路上における自車両１２の左右方向の相対位置を容易に把握することができる。
また、表示制御装置２０は、合成映像に映る車線境界線ＬＮを検知すると共に、自車両走行軌跡重畳表示部５４は、合成映像における左右一対の後輪６２に対応する位置から車線境界線ＬＮまでの距離を算出して、当該距離にて車線境界線ＬＮから離間しかつ車線境界線ＬＮに沿って走行軌跡仮想画像６４を生成する。したがって、車両用電子ミラーシステム１０が起動してから車両１２が走行していない状態においても走行軌跡仮想画像６４を生成することができることから、車両１２の走行前の状態においても自車両１２の路上における左右方向の相対位置の把握が容易となる。これにより、車両１２の走行前においても映像から走行レーン上における自車両１２の左右方向の相対位置を容易に把握することができる。
さらに、仮想画像上にて仮想点ＶＰを起点に車両後方側へ向けて車線境界線ＬＮと平行な走行軌跡仮想画像６４が生成するため、実際の走行軌跡を演算して表示させる場合と比べて画像生成処理が軽くなる。したがって、表示制御装置２０の負荷を低減することができる。
さらにまた、自車両走行軌跡重畳表示部５４は、合成映像における走行軌跡仮想画像６４の延設方向の表示範囲を合成映像における車線境界線ＬＮの延設方向の表示範囲と同一となるように生成する。したがって、図５に示されるように、坂道の頂上を通過した後等、合成映像における車線境界線ＬＮの延設方向の表示範囲が平地を走行している場合と比べて小さい場合にて走行軌跡仮想画像６４が長く表示されて道路外の箇所に表示されることによる合成映像視認時の違和感を低減することができる。これにより、視認性を向上させることができる。
さらにまた、表示制御装置２０は、車両１２のステアリングホイール２４の舵角情報を取得すると共に、自車両仮想画像重畳表示部５２は、図６に示されるように、走行軌跡仮想画像６４を左右一対の後輪６２に対応する位置を中心として舵角情報に対応して車両幅方向に湾曲させることから、実際の走行状態により近い走行軌跡仮想画像６４を合成映像に重畳表示させることができる。これにより、合成映像の違和感を低減できる。
（第２実施形態）
次に、図９〜図１３を用いて、本発明の第２実施形態に係る車両用電子ミラーシステムについて説明する。なお、前述した第１実施形態等と同一構成部分については、同一番号を付してその説明を省略する。
この第２実施形態に係る車両用電子ミラーシステム８０は、基本的な構成は第１実施形態と同様とされ、表示制御装置８１が左右一対の後輪６２の車両後方側近傍の範囲にて特徴点を抽出して走行軌跡仮想画像６４を生成する点に特徴がある。
すなわち、車両用電子ミラーシステム８０は、後方カメラ１６（図２参照）と、アウタカメラユニット１４と、電子インナーミラー１８と、表示制御装置８１（図１参照）とを有している。車両用電子ミラーシステム８０は、上記のハードウェア資源を用いて、各種の機能を実現する。車両用電子ミラーシステム８０が実現する機能構成について説明する。
図１３は、車両用電子ミラーシステム８０の機能構成の例を示すブロック図である。
図１３に示されるように、車両用電子ミラーシステム８０は、機能構成として、撮影部４６、映像処理制御部４８、自車両仮想画像重畳表示部５２、特徴点検知部８４及び自車両走行軌跡重畳表示部８２を有している。各機能構成は、表示制御装置２０のＣＰＵ３０がＲＯＭ３２又はストレージ３６（図７参照）に記憶された映像表示プログラムを読み出し、実行することにより実現される。
特徴点検知部８４は、後方映像、後側方映像及び合成映像の少なくとも一つを画像解析することにより、後方映像、後側方映像及び合成映像の少なくとも一つにおける左右一対の後輪６２に対応した位置（本実施形態では一例として図４に示される仮想点ＶＰと同一位置）の車両後方側近傍の範囲にて図９に示されるように、特徴点Ｃを抽出する。なお、この特徴点Ｃは、一例として、輝度変化が大きい箇所とされている。そして、特徴点検知部８４は、抽出した特徴点Ｃの合成映像の次フレームでの移動先を検出する。この処理を繰り返すことで、図１０〜図１２に示されるように当初の特徴点Ｃの合成映像上の座標位置から数フレーム後の特徴点Ｃの位置までの移動軌跡が算出される。また、後方映像及び後側方映像にて特徴点Ｃを抽出する際は、特徴点Ｃの位置が合成映像上においても同じになるように特徴点Ｃの座標変換が行われる。
また、特徴点検知部８４は、後方映像、後側方映像及び合成映像の少なくとも一つにおける左右一対の後輪６２に対応した位置の車両後方側近傍の範囲にて特徴点Ｃが抽出不能の場合には、特徴点Ｃが抽出できるまで合成映像における特徴点Ｃを検出する範囲を拡大させる。
自車両走行軌跡重畳表示部８２は、合成映像上において自車両仮想画像６０の左右一対の後輪６２から自車両１２の後方側へ向けてそれぞれ延設された走行軌跡を示す走行軌跡仮想画像６４を生成すると共に、合成映像に走行軌跡仮想画像６４を重畳表示する（図３参照）。走行軌跡仮想画像６４の生成ついて具体的には、自車両走行軌跡重畳表示部８２は、特徴点検知部８４が算出した特徴点Ｃの移動軌跡（図１２参照）を包括するように走行軌跡仮想画像６４を生成する。これにより、自車両走行軌跡重畳表示部８２が生成する走行軌跡仮想画像６４は自車両１２の実際の走行軌跡に沿ったものとなる。なお、自車両走行軌跡重畳表示部８２は、第１実施形態と同様に、走行軌跡仮想画像６４を合成映像における軌跡表示範囲内に表示させると共に、状況に応じて合成映像上の車線境界線ＬＮにおける延設方向の表示範囲に対応するように走行軌跡仮想画像６４の延設方向の長さを変更する。
（第２実施形態の作用・効果）
次に、第２実施形態の作用並びに効果を説明する。
上記構成によっても、表示制御装置８１が車両後方側近傍の範囲にて特徴点Ｃを抽出して走行軌跡仮想画像６４を生成する点以外は第１実施形態の車両用電子ミラーシステム１０と同様に構成されているので、第１実施形態と同様の効果が得られる。また、表示制御装置８１は、図９〜図１２に示されるように、後方映像、後側方映像及び合成映像の少なくとも一つにおける左右一対の後輪６２に対応した位置の車両後方側近傍の範囲にて抽出された特徴点Ｃの移動軌跡に基いて走行軌跡仮想画像６４を生成することから、実際の走行軌跡に沿った軌跡を表示させることができる。したがって、車線境界線ＬＮが検知できない場合においても走行軌跡仮想画像６４を合成映像に重畳表示させることができる。これにより、車線境界線ＬＮが検知し難い状況においても路上における自車両１２の左右方向の相対位置を容易に把握することができる。
また、表示制御装置８１は、後方映像、後側方映像及び合成映像の少なくとも一つにおける左右一対の後輪６２に対応した位置の車両後方側近傍の範囲にて特徴点Ｃが抽出不能の場合は、特徴点Ｃを抽出する範囲を拡大させることから、特徴点Ｃを抽出し難い状況においても走行軌跡仮想画像６４を生成することができる。これにより、様々な状況においても走行軌跡仮想画像６４を合成映像に重畳表示させることができる。
なお、本実施形態では、後方映像、後側方映像及び合成映像の少なくとも一つにおける左右一対の後輪６２の後方側近傍の範囲にて特徴点Ｃを抽出して走行軌跡仮想画像６４を生成する構成されているが、これに限らず、合成映像上の車線境界線ＬＮを検知できる場合は、第１実施形態と同様に左右一対の後輪６２に対応する位置から車線境界線ＬＮまでの距離を算出し当該距離にて左右一対の後輪６２に対応する位置を起点に車線境界線ＬＮに沿って走行軌跡仮想画像６４を生成する構成としてもよい。
（第３実施形態）
次に、図１４、図１５を用いて、本発明の第３実施形態に係る車両用電子ミラーシステムについて説明する。なお、前述した第１実施形態等と同一構成部分については、同一番号を付してその説明を省略する。
この第３実施形態に係る車両用電子ミラーシステム９０は、基本的な構成は第１実施形態と同様とされ、走行軌跡仮想画像９２が合成映像における後続車両Ｂと重ならないように走行軌跡仮想画像９２の延設方向の長さを変更する点に特徴がある。
すなわち、車両用電子ミラーシステム９０は、後方カメラ１６（図２参照）と、アウタカメラユニット１４と、電子インナーミラー１８と、表示制御装置９１（図１参照）とを有している。車両用電子ミラーシステム９０は、上記のハードウェア資源を用いて、各種の機能を実現する。車両用電子ミラーシステム９０が実現する機能構成について説明する。
図１５は、車両用電子ミラーシステム９０の機能構成の例を示すブロック図である。
図１５に示されるように、車両用電子ミラーシステム９０は、機能構成として、撮影部４６、映像処理制御部４８、自車両仮想画像重畳表示部５２、車線境界線検知部５６、舵角検知部５８、自車両走行軌跡重畳表示部９６、及び後続車両検知部９８を有している。各機能構成は、表示制御装置９１のＣＰＵ３０がＲＯＭ３２又はストレージ３６（図７参照）に記憶された映像表示プログラムを読み出し、実行することにより実現される。
後続車両検知部９８は、合成映像の画像認識を行うことにより合成映像における自車両１２の車両後方側に位置する後続車両Ｂ（図１４参照）及び自車両１２から後続車両Ｂまでの距離を検知する。なお、後続車両検知部９８の検知する後続車両Ｂは、四輪車に限らず、二輪車や自転車、歩行者等の一般的に四輪車よりも幅が狭いもの（以下、単に「幅狭物」と称する。）も含まれると共に、幅狭物が検知された場合は幅狭物が左右一対の後輪６２のうちどちら側に近いかも併せて検知する。
自車両走行軌跡重畳表示部９６は、合成映像において自車両仮想画像６０の左右一対の後輪６２から自車両１２の後方側へ向けてそれぞれ延設された走行軌跡を仮想的に示す走行軌跡仮想画像６４を生成すると共に、合成映像に走行軌跡仮想画像６４を重畳表示する（図３参照）。また、自車両走行軌跡重畳表示部９６は、後続車両検知部９８が検知した後続車両Ｂと走行軌跡仮想画像６４とが重なる場合には、走行軌跡仮想画像６４が後続車両Ｂに重ならないように走行軌跡仮想画像６４の延設方向（合成映像上の車両後方側）の長さを変更した走行軌跡仮想画像９２を生成し、合成映像に重畳表示する（図１４参照）。なお、自車両走行軌跡重畳表示部９６は、自車両１２の車両後方側に幅狭物が検知されかつ当該幅狭物が左右一対の後輪６２のうちのどちらか一方側に近い場合は、当該幅狭物が近い側の後輪６２から延設される走行軌跡仮想画像６４のみの延設方向の長さを当該幅狭物に重ならないように走行軌跡仮想画像９２へ変更する。
また、自車両走行軌跡重畳表示部９６は、後続車両検知部９８が検知した後続車両Ｂの自車両１２に対する距離が所定の閾値以下である場合は、走行軌跡仮想画像９２の表示を変更する。本実施形態では、自車両１２に対する後続車両Ｂの距離が近い場合には、走行軌跡仮想画像９２の色を赤へ変更する。なお、色を変更する以外にも走行軌跡仮想画像９２を点滅させたり、その他の表示へ変更してもよい。
（第３実施形態の作用・効果）
次に、第３実施形態の作用並びに効果を説明する。
上記構成によっても、走行軌跡仮想画像９２が合成映像における後続車両Ｂと重ならないように走行軌跡仮想画像９２の延設方向の長さを変更する点以外は第１実施形態の車両用電子ミラーシステム１０と同様に構成されているので、第１実施形態と同様の効果が得られる。また、表示制御装置９１は、合成映像に表示される後続車両Ｂと走行軌跡仮想画像９２とが重ならないように走行軌跡仮想画像９２の延設方向の長さを変更することから、走行軌跡仮想画像９２が後続車両Ｂに重なることで発生する合成映像視認時の違和感を低減することができる。これにより、視認性を向上させることができる。
また、自車両走行軌跡重畳表示部９６は、合成映像に表示される後続車両Ｂと自車両１２との距離が所定の距離以下の場合には、それ以外の場合に対して走行軌跡仮想画像９２の表示を変更することから、合成映像を視認した際に自車両１２と後続車両Ｂとの距離感を把握し易くなる。これにより、自車両１２と後続車両Ｂとの位置関係を容易に把握することができる。
なお、本実施形態では、第１実施形態と同様に左右一対の後輪６２に対応する位置から車線境界線ＬＮまでの距離を算出して、左右一対の後輪６２に対応する位置を起点に当該距離にて車線境界線ＬＮから離間しかつ車線境界線ＬＮに沿って走行軌跡仮想画像６４を生成する構成されているが、これに限らず、合成映像における左右一対の後輪６２の後方側近傍の範囲にて特徴点Ｃを抽出して走行軌跡仮想画像６４を生成する構成としてもよいし、これらを組み合わせてもよい。
以上、本発明の実施形態について説明したが、本発明は、上記に限定されるものでなく、その主旨を逸脱しない範囲内において上記以外にも種々変形して実施することが可能であることは勿論である。
１０ 車両用電子ミラーシステム
１２ 車両
１４ アウタカメラユニット（後側方撮影手段）
１６ 後方カメラ（後方撮影手段）
１８ 電子インナーミラー（表示手段）
２０ 表示制御装置（映像処理手段）
２４ ステアリングホイール
５２ 自車両仮想画像重畳表示部
５４ 自車両走行軌跡重畳表示部
６０ 自車両仮想画像
６２ 後輪
６４ 走行軌跡仮想画像
８０ 車両用電子ミラーシステム
８１ 表示制御装置（映像処理手段）
９０ 車両用電子ミラーシステム
９１ 表示制御装置（映像処理手段）
９２ 走行軌跡仮想画像
Ｂ 後続車両
Ｃ 特徴点
ＬＮ 車線境界線

Claims (8)

  1. 車両の後方を撮影する後方撮影手段と、
    前記車両の左右側方側における後方をそれぞれ撮影する左右一対の後側方撮影手段と、
    前記後方撮影手段により撮影された後方映像と前記後側方撮影手段により撮影された後側方映像とに映像処理を施すことでそれぞれが連続するように合成した合成映像を表示手段に表示させると共に、前記車両の左右一対の後輪を含めた前記車両を仮想的に示す自車両仮想画像を生成し前記合成映像に当該自車両仮想画像を重畳表示する自車両仮想画像重畳表示部と、前記合成映像において前記左右一対の後輪から前記車両の後方側へ向けて延設された前記車両の走行軌跡を仮想的に示す走行軌跡仮想画像を生成し前記合成映像に当該走行軌跡仮想画像を重畳表示する自車両走行軌跡重畳表示部と、を備えた映像処理手段と、
    を有する車両用電子ミラーシステム。
  2. 前記映像処理手段は、前記後方映像、前記後側方映像及び前記合成映像の少なくとも一つに映る車線境界線を検知すると共に、
    前記自車両走行軌跡重畳表示部は、前記合成映像の前記左右一対の後輪に対応する位置から前記後方映像、前記後側方映像及び前記合成映像の少なくとも一つにおける前記車線境界線までの距離を算出し、当該距離にて前記車線境界線から離間しかつ前記車線境界線に沿って前記走行軌跡仮想画像を生成する、
    請求項１記載の車両用電子ミラーシステム。
  3. 前記自車両走行軌跡重畳表示部は、前記合成映像における前記走行軌跡仮想画像の延設方向の表示範囲を前記合成映像における前記車線境界線の延設方向の表示範囲と同一となるように生成する、
    請求項２記載の車両用電子ミラーシステム。
  4. 前記映像処理手段は、前記車両のステアリングホイールの舵角情報を取得すると共に、
    前記自車両仮想画像重畳表示部は、前記走行軌跡仮想画像を前記合成映像における前記左右一対の後輪に対応する位置を中心として前記舵角情報に対応して車両幅方向に湾曲させる、
    請求項２又は請求項３記載の車両用電子ミラーシステム。
  5. 前記映像処理手段は、前記後方映像、前記後側方映像及び前記合成映像の少なくとも一つにおける前記左右一対の後輪に対応した位置の車両後方側近傍の範囲にて特徴点を抽出すると共に、
    前記自車両走行軌跡重畳表示部は、当該特徴点の移動軌跡に基いて前記走行軌跡仮想画像を生成する、
    請求項１〜請求項４のいずれか一項に記載の車両用電子ミラーシステム。
  6. 前記映像処理手段は、前記後方映像、前記後側方映像及び前記合成映像の少なくとも一つにおける前記左右一対の後輪に対応した位置の車両後方側近傍の範囲にて前記特徴点が抽出不能の場合は、前記合成映像における前記特徴点を抽出する範囲を拡大させる、
    請求項５記載の車両用電子ミラーシステム。
  7. 前記自車両走行軌跡重畳表示部は、前記合成映像に前記車両の後続車両が表示される場合には、前記走行軌跡仮想画像が前記後続車両と重ならないように前記走行軌跡仮想画像の延設方向の長さを変更する、
    請求項１〜請求項６のいずれか一項に記載の車両用電子ミラーシステム。
  8. 前記自車両走行軌跡重畳表示部は、前記合成映像に前記車両の後続車両が表示されかつ前記車両から当該後続車両までの距離が所定の距離以下の場合には、それ以外の場合に対して前記走行軌跡仮想画像の表示を変更する、
    請求項１〜請求項７のいずれか一項に記載の車両用電子ミラーシステム。
JP2020001637A 2020-01-08 2020-01-08 車両用電子ミラーシステム Active JP7327171B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020001637A JP7327171B2 (ja) 2020-01-08 2020-01-08 車両用電子ミラーシステム
US17/068,125 US11524630B2 (en) 2020-01-08 2020-10-12 Electronic mirror system for vehicle
CN202011528992.7A CN113085729B (zh) 2020-01-08 2020-12-22 车辆用电子镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020001637A JP7327171B2 (ja) 2020-01-08 2020-01-08 車両用電子ミラーシステム

Publications (2)

Publication Number Publication Date
JP2021111854A true JP2021111854A (ja) 2021-08-02
JP7327171B2 JP7327171B2 (ja) 2023-08-16

Family

ID=76655698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020001637A Active JP7327171B2 (ja) 2020-01-08 2020-01-08 車両用電子ミラーシステム

Country Status (3)

Country Link
US (1) US11524630B2 (ja)
JP (1) JP7327171B2 (ja)
CN (1) CN113085729B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113879214A (zh) * 2021-11-17 2022-01-04 阿维塔科技(重庆)有限公司 电子后视镜的显示方法、电子后视镜显示系统及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043530A (ja) * 2005-08-04 2007-02-15 Nissan Motor Co Ltd 運転支援装置、および運転支援方法
JP2011211432A (ja) * 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置
US20110307176A1 (en) * 2009-03-30 2011-12-15 Delphi Technologies, Inc. Vehicle handling assistant apparatus
JP2014239357A (ja) * 2013-06-10 2014-12-18 ユニキャリア株式会社 作業車両の後方周辺監視装置
JP2017224881A (ja) * 2016-06-13 2017-12-21 株式会社デンソー 画像生成装置及びプログラム
JP2018174383A (ja) * 2017-03-31 2018-11-08 株式会社Ｓｕｂａｒｕ 画像表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236540A (ja) 2004-02-18 2005-09-02 Matsushita Electric Ind Co Ltd 車載カメラ装置
JP2006051850A (ja) 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd 運転支援装置及び運転支援方法
JP2010136289A (ja) 2008-12-08 2010-06-17 Denso It Laboratory Inc 運転支援装置及び運転支援方法
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
KR20150058531A (ko) 2011-04-20 2015-05-28 도요타 지도샤（주） 차량용 주변 경계 장치
KR101340738B1 (ko) * 2011-11-08 2013-12-12 엘지이노텍 주식회사 주차 보조 시스템
KR101358329B1 (ko) * 2012-09-03 2014-02-04 현대모비스 주식회사 차선 추종 제어 시스템 및 그 제어 방법
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
JP6171890B2 (ja) 2013-11-21 2017-08-02 トヨタ自動車株式会社 車両用支援制御装置
CN103903019B (zh) * 2014-04-11 2017-12-15 北京工业大学 一种多车道车辆轨迹时空图的自动生成方法
JP6318864B2 (ja) 2014-05-29 2018-05-09 トヨタ自動車株式会社 運転支援装置
EP3176062B1 (en) * 2014-07-28 2023-11-15 Robert Bosch GmbH Information providing device and program for motorcycle
JP6502662B2 (ja) 2014-12-24 2019-04-17 株式会社デンソー 車両制御装置
CN107848465B (zh) 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
JP6654820B2 (ja) 2015-06-30 2020-02-26 株式会社デンソー 運転支援装置、及び運転支援方法
EP3305597B1 (en) 2016-10-04 2020-12-09 Ficomirrors, S.A.U. Vehicle driving assist system
JP2018121223A (ja) 2017-01-26 2018-08-02 株式会社富士通ゼネラル 画像処理装置および車載撮像装置
JP6720924B2 (ja) 2017-06-12 2020-07-08 トヨタ自動車株式会社 車外報知装置
US10366541B2 (en) * 2017-07-21 2019-07-30 Ford Global Technologies, Llc Vehicle backup safety mapping
JP7119438B2 (ja) 2018-03-12 2022-08-17 トヨタ自動車株式会社 運転支援システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043530A (ja) * 2005-08-04 2007-02-15 Nissan Motor Co Ltd 運転支援装置、および運転支援方法
US20110307176A1 (en) * 2009-03-30 2011-12-15 Delphi Technologies, Inc. Vehicle handling assistant apparatus
JP2011211432A (ja) * 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置
JP2014239357A (ja) * 2013-06-10 2014-12-18 ユニキャリア株式会社 作業車両の後方周辺監視装置
JP2017224881A (ja) * 2016-06-13 2017-12-21 株式会社デンソー 画像生成装置及びプログラム
JP2018174383A (ja) * 2017-03-31 2018-11-08 株式会社Ｓｕｂａｒｕ 画像表示装置

Also Published As

Publication number Publication date
US20210206318A1 (en) 2021-07-08
JP7327171B2 (ja) 2023-08-16
US11524630B2 (en) 2022-12-13
CN113085729B (zh) 2023-09-12
CN113085729A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
JP3695319B2 (ja) 車両周辺モニタ装置
JP5132249B2 (ja) 車載用撮像装置
JP6028848B2 (ja) 車両の制御装置、及びプログラム
JP4914458B2 (ja) 車両周辺表示装置
JP5003946B2 (ja) 駐車支援装置
US7969326B2 (en) Parking assist method and parking assist apparatus
WO2014129026A1 (ja) 運転支援装置、および画像処理プログラム
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
US20130038734A1 (en) Driving support apparatus
CN104321224A (zh) 具有摄像机监控系统的机动车
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2004240480A (ja) 運転支援装置
JP2009105660A (ja) 車載用撮像装置
JP2002354467A (ja) 車両周囲情報表示装置
JP2010028803A (ja) 駐車補助のための画像表示方法
JP4855884B2 (ja) 車両周辺監視装置
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
JP2004356845A (ja) 移動体周辺監視装置
JP2004147083A (ja) 運転支援装置
JP2008114691A (ja) 車両周辺監視装置および車両周辺監視映像表示方法
JP2010154304A (ja) 移動体カメラシステム及び駆動方法
JP5226621B2 (ja) 車両用画像表示装置
JP2008213647A (ja) 駐車支援方法及び駐車支援装置
JP2021111854A (ja) 車両用電子ミラーシステム
JP2007251880A (ja) 車両用画像表示装置および画像合成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R151 Written notification of patent or utility model registration

Ref document number: 7327171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151