JP2018052216A - 車両用視認装置及び車両用視認画像表示方法 - Google Patents

車両用視認装置及び車両用視認画像表示方法 Download PDF

Info

Publication number
JP2018052216A
JP2018052216A JP2016188401A JP2016188401A JP2018052216A JP 2018052216 A JP2018052216 A JP 2018052216A JP 2016188401 A JP2016188401 A JP 2016188401A JP 2016188401 A JP2016188401 A JP 2016188401A JP 2018052216 A JP2018052216 A JP 2018052216A
Authority
JP
Japan
Prior art keywords
image
vehicle
visual recognition
outside
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016188401A
Other languages
English (en)
Other versions
JP2018052216A5 (ja
JP6877115B2 (ja
Inventor
正則 小杉
Masanori Kosugi
正則 小杉
貴史 長尾
Takashi Nagao
貴史 長尾
哲也 江川
Tetsuya Egawa
哲也 江川
拓矢 林
Takuya Hayashi
拓矢 林
尚文 加藤
Naofumi Kato
尚文 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2016188401A priority Critical patent/JP6877115B2/ja
Priority to US15/706,906 priority patent/US10752177B2/en
Publication of JP2018052216A publication Critical patent/JP2018052216A/ja
Publication of JP2018052216A5 publication Critical patent/JP2018052216A5/ja
Application granted granted Critical
Publication of JP6877115B2 publication Critical patent/JP6877115B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】表示部に表示された画像の見た目が損ねられるのを抑制する。
【解決手段】車両用視認装置では、車室画像３２と車外画像３６とを合成した合成画像５２をモニタに表示する。車室画像３２の車体画像は、車外画像３６が視認可能な透過率とされている。また、車外画像３６は、リアピラー２６Ｄの画像に重なる位置に合成領域４８、５０が設定されており、合成領域４８、５０において抽出画像３８、４０、４２が重ねられる。合成画像は、車室画像３２のリアピラー２６Ｄの画像が合成領域４８、５０の画像が重ねられて、車外画像３６と車室画像３２とが合成されている。このため、合成画像では、車外画像３６の合成領域４８、５０の画像が見え難くなるので、モニタに表示されたときに、見た目が損ねられるのを抑制できる。
【選択図】図３

Description

本発明は、車両の乗員の視認を補助する車両用視認装置及び車両用視認画像表示方法に関する。
特許文献１の車載用画像表示装置では、自車後部の車幅方向中央部及び自車の左右のドアミラーの各々に車両後方を撮像する撮像カメラが設けられていると共に、ディスプレイが設けられており、撮像カメラにより撮像された画像データが合成されてディスプレイに表示される。また、車載用画像表示装置には、自車後方に存在する後方車両を検出するセンサが設けられており、センサによって自車後方の車両が検出されると、画像データを合成する画像合成の境界を可変して、検出された自車後方の車両をトリミングしてディスプレイに表示するようにしている。
ところで、複数の画像データを合成して仮想的な視点から見たようにディスプレイに表示した場合、画像を合成する境界位置において画像が歪んでしまう。このため、ディスプレイに表示された画像の見た目が損ねられてしまう。
特許第５５００８７７号公報
本発明は、上記事実を鑑みて成されたものであり、表示される画像の見た目が損ねられるのを抑制できる車両用視認装置及び車両用視認画像表示方法を提供することを目的とする。
請求項１の車両用視認装置は、画像の一部が相互に重なる複数の車外撮影画像を車外から撮像する撮像部と、所定の透過状態にされた車室画像の車体部分の画像と、前記複数の車外撮影画像の重なり部分の少なくとも一部とが重なるように、前記複数の車外撮影画像と前記車室画像とを合成して表示部に表示するように制御する制御部と、を備えている。
画像の一部が相互に重なる複数の車外撮影画像を車外から撮像する撮像部と、ウインドガラスと車体の一部とが含まれるように車室内が前記撮像部の撮像方向と対応する方向から撮像され、かつ所定の透過状態にされた車室画像の車体部分の画像と、前記複数の車外撮影画像の重なり部分の少なくとも一部とが重なるように、前記複数の車外撮影画像と前記車室画像とを合成して表示部に表示するように制御する制御部と、を備えている。
請求項１の車両用視認装置では、撮像部により車外から撮像した複数の車外撮影画像と、車室画像とが合成される。また、車室画像は、車室内の車体部分の画像の各々が所定の透過状態とされて、車体部分の画像を通して車外撮影画像が視認可能にされている。
表示部に表示される画像は、複数の車外撮影画像が相互に重なる重なり部分において重ねられ、車室画像が車体部分の画像の少なくとも一部と車外撮影画像の重なり部分とが重ねられて、複数の車外撮影画像と車室画像とが合成された画像にされる。
このため、表示部に表示される画像では、車外撮影画像の重なり部分の少なくとも一部に車室画像上の車体部分の画像が重なる。これにより、車体部分の画像に重なった車外撮影画像の重なり部分の画像が見え難くなり、表示部に表示された画像の見た目が損ねられるのを抑制できる。
請求項２の車両用視認装置は、請求項１の車両用視認装置において、前記車室画像は、ウインドガラスと車体の一部とが含まれるように車室内が前記撮像部の撮像方向と対応する方向から撮像されている。
請求項２の車両用視認装置では、車室画像として、撮像部の撮像方向と対応する方向からウインドガラスと車体の一部とを含んで車室内を撮像した撮影画像が用いられる。これにより、表示部に車外撮影画像と共に車室内の様子を表示することができる。
請求項３の車両用視認装置は、請求項１又は請求項２の車両用視認装置において、前記車室画像は、前記車体部分の画像の透過率が周囲の画像の透過率よりも低くされている。
請求項３の車両用視認装置では、車外撮影画像の重なり部分に重ねられる車体部分の画像の透過率を周囲の画像の透過率より低くしている。透過率を低くした車体部分の画像は周囲の画像より濃くなるので、車外撮影画像の重なり部分の画像を見え難くできて、表示部に表示された画像の見た目が損ねられるのを抑制できる。
請求項４の車両用視認装置は、請求項１から請求項３の何れかの車両用視認装置において、前記車外撮影画像の重なり部分の上下方向の全域が前記の前記車体部分の画像に重ねられる。
請求項４の車両用視認装置では、車外撮影画像の重なり部分の上下方向の全域に車室画像の車体部分の画像が重ねられる。これにより、車外撮影画像の重なり部分の画像を見え難くできて、表示部に表示された画像の見た目が損ねられるのを抑制できる。
請求項５の車両用視認装置は、請求項１から請求項４の何れかの車両用視認装置において、前記車体部分の画像がウインドガラスに接するピラーの画像である。
請求項５の車両用視認装置では、ピラーの画像と車外撮影画像の重なり部分の各々とが重ねられる。ピラーは、車両天井と車体下部との間で上下方向に設けられている。このピラーの画像と車外撮影画像の重なり部分とが重ねられることで、車外撮影画像の重なり部分の画像の上下方向の全域に車体部分の画像が重なる。これにより、車外撮影画像の重なり部分の画像を見え難くできて、表示部に表示された画像の見た目が損ねられるのを抑制できる。
請求項６の車両用視認装置は、請求項５の車両用視認装置において、前記車外撮影画像の重なり部分の上下方向と交差する方向の全域が前記ピラーの画像に重ねられる。
請求項６の車両用視認装置では、車外撮影画像の重なり部分の幅（上下方向と交差する方向の寸法）が車室画像上におけるピラーの画像の幅（車幅方向の寸法）に合わせられている。このため、車外撮影画像の重なり部分の画像がピラーの画像からウインドガラス部分にはみ出るのを抑制できて、表示部に表示された画像の見た目が損ねられるのを抑制できる。
請求項７の車両用視認装置は、請求項１から請求項６の何れかの車両用視認装置において、前記車室画像は、前記車室画像の上下方向中間部より上側の前記車体部分の画像の透過率が前記車室画像の上下方向中間部より下側の前記車体部分の画像の透過率よりも高くされている。
請求項７の車両用視認装置では、車室画像の上下方向中間部より上側の車体部分の画像の透過率を、車室画像の上下方向中間部より下側の車体部分の画像の透過率よりも高くしている。車両の上側には、雲（空）などが見えるが、雲の画像に歪みが生じていても表示部に表示される画像の見た目に影響しないので表示部に表示された画像の見た目が損ねられるのを抑制できる。
請求項８の車両用視認画像表示方法は、撮像部により画像の一部が相互に重なる複数の車外撮影画像を車外から撮像し、所定の透過状態にされた車室画像を生成し、前記車室画像の車体部分の画像と、前記複数の車外撮影画像の重なり部分の少なくとも一部とが重なるように設定した合成部において、前記複数の車外撮影画像と前記車室画像とを合成した合成画像を生成し、前記合成画像を表示部に表示する。
請求項８の車両用視認画像表示方法では、車体部分の画像の各々が所定の透過状態した車室画像を生成する。車体部分の画像の透過状態は、車室画像と複数の車外撮影画像とが重ねられたときに、車室画像（車体部分の画像）を通して車外撮影画像が視認可能な透過状態とされる。合成部は、車外撮影画像の重なり部分の少なくとも一部が車室画像上の車体部分の画像に重なる部分とされる。合成画像は、合成部において、隣接する車外撮影画像と車室内画像とが合成されて生成され、表示部に表示される。
このため、合成画像では、車外撮影画像の重なり部分の少なくとも一部に車室画像の車体部分の画像が重なる。これにより、車体部分の画像に重なった車外撮影画像の重なり部分の画像が見え難くなり、合成画像の見た目が損ねられるのを抑制できる。
請求項１の車両用視認装置によれば、表示部に表示された画像の見た目が損ねられるのを抑制できる、という効果を有する。また、請求項２の車両用視認装置によれば、表示部に車外撮影画像と共に車室内の様子を表示することができる、という効果を有する。
請求項３の車両用視認装置によれば、車外撮影画像の重なり部分の画像を見え難くできて、表示部に表示された画像の見た目が損ねられるのを抑制できる、という効果を有する。さらに、請求項４の車両用視認装置によれば、車体部分の画像により車外撮影画像の重なり部分の画像を見え難くできて、表示部に表示された画像の見た目が損ねられるのを抑制できる、という効果を有する。
請求項５の車両用視認装置によれば、ピラーの画像により車外撮影画像の重なり部分の画像を見え難くできて、表示部に表示された画像の見た目が損ねられるのを抑制できる、という効果を有する。また、請求項６の車両用視認装置によれば、車外撮影画像の重なり部分の画像がピラーの画像からはみ出るのを抑制できて、表示部に表示された画像の見た目が損ねられるのを抑制できる、という効果を有する。
請求項７の車両用視認装置によれば、車体部分の画像の透過率が高くとも、表示部に表示された画像の見た目が損ねられるのを抑制できる、という効果を有する。
請求項８の車両用視認画像表示方法によれば、表示部に表示された合成画像の見た目が損ねられるのを抑制できる、という効果を有する。
本実施の形態に係る車両用視認装置を示すブロック図である。 （Ａ）は車室内のインナーミラーを示す車両後側から見た正面図、（Ｂ）は車両を上方から見た平面図である。 （Ａ）は車外の撮影画像を示す概略図、（Ｂ）は車室画像を示す概略図、（Ｃ）及び（Ｄ）は車外の撮影画像の各々から抽出する抽出画像を示す概略図である。 本実施の形態に係る画像表示処理を示す流れ図である。 （Ａ）は車室画像を示す概略図、（Ｂ）は車外画像を示す概略図、（Ｃ）は合成画像を示す概略図である。 合成画像の他の一例を示す概略図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図１には、本実施の形態に係る車両用視認装置１０の概略構成がブロック図にて示されている。また、図２（Ａ）には、車両１２の車室内の主要部が車両後側から見た正面図にて示されており、図２（Ｂ）には、車両用視認装置１０が設けられた車両１２が上方視の平面図にて示されている。尚、各図において、車両前側が矢印ＦＲにて示され、車幅方向が矢印Ｗにて示され、上方が矢印ＵＰにて示されている。
車両用視認装置１０には、撮像部としての後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒが設けられている。後方カメラ１４は、車両後部かつ車幅方向中央部（例えば、リアバンパの車幅方向中央部）に配置されて、車両１２の後方を所定の画角（撮像領域）で撮像可能にされている。また、ドアカメラ１６Ｌは、車両１２の車幅左側のドアミラーに設けられ、ドアカメラ１６Ｒは、車両１２の車幅右側のドアミラーに設けられている。ドアカメラ１６Ｌ、１６Ｒは、車体側方から車両後方を所定の画角（撮像領域）で撮像可能にされている。
後方カメラ１４の撮像領域の一部は、ドアカメラ１６Ｌ、１６Ｒの撮像領域の一部と重複されており、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒにより、車両後方を車体の右斜め後方から左斜め後方の範囲に渡って撮像可能にされている。これにより、車両１２の後方側が広角に撮像される。
車両１２の車室内には、インナーミラー１８が設けられており、インナーミラー１８は、ブラケット２０の基部が車室内天井面の車両前側かつ車幅方向中央部に取付けられている。ブラケット２０には、表示部としての長尺矩形状とされたモニタ２２が設けられており、モニタ２２は、長手方向が車幅方向にされ、かつ表示面が車両後方に向けられてブラケット２０の下端部に取付けられている。これにより、モニタ２２は、車両前側のフロントウインドシールドガラスの上部付近に配置されて、表示面が車室内の乗員に視認可能にされている。
モニタ２２の表示面は、車両後方へ向けて凸状の湾曲面とされている。また、モニタ２２の表示面には、ハーフミラー（ワイドミラー）が設けられており、モニタ２２が非表示の場合に、ハーフミラーには、車室内と共にリアウインドガラス及びドアガラスを通した後方視界が写される。
ブラケット２０には、車室撮像部としてのインナーカメラ２４が設けられており、インナーカメラ２４がモニタ２２の上側（車室内天井側）においてブラケット２０に固定されている。インナーカメラ２４は、撮像方向が車両後方に向けられており、インナーカメラ２４が車両前側から車室内及び車両後方を撮像する。
インナーカメラ２４の撮像領域には、ウインドガラスとしてのリアウインドガラス２６Ａ、サイドドアのドアガラス２６Ｂが含まれており、リアウインドガラス２６Ａ及びドアガラス２６Ｂを通して後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒの撮像領域が撮像可能にされている。また、インナーカメラ２４の撮像領域には、車室内に見える車体部品としてのセンターピラー２６Ｃ、リアピラー２６Ｄ、リアサイドドア２６Ｅ、後席２６Ｆ、及び車室内天井２６Ｇ等が含まれる。なお、インナーカメラ２４の撮像領域には、前席が含まれても良い。
一方、車両用視認装置１０には、制御部としての制御装置２８が設けられており、制御装置２８に後方カメラ１４、ドアカメラ１６Ｌ、１６Ｒ、モニタ２２及びインナーカメラ２４が接続されている。制御装置２８には、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性記憶媒体（例えば、ＥＰＲＯＭ）３０Ｄ、及びＩ／Ｏ（入出力インタフェース）３０Ｅがそれぞれバス３０Ｆに接続されたマイクロコンピュータが含まれている。ＲＯＭ３０Ｂ等には、車両用視認表示制御プログラム等の各種のプログラムが記憶されており、ＣＰＵ３０ＡがＲＯＭ３０Ｂ等に記憶されるプログラムを読み出して実行することで、制御装置２８がモニタ２２に乗員の視認を補助する画像を表示する。
制御装置２８は、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒの各々により撮像された車外撮影画像を重ねて車外画像を生成する。また、制御装置２８は、インナーカメラ２４により撮像された撮影画像から車室画像を生成する。さらに、制御装置２８は、車外画像と車室画像とを重ねて、表示用の合成画像を生成し、合成画像をモニタ２２に表示するように制御する。なお、モニタ２２は、運転席より車両前側に設けられており、撮影画像に対してモニタ２２に表示される画像が左右反転される。
ここで、後方カメラ１４、ドアカメラ１６Ｌ、１６Ｒ及びインナーカメラ２４の各々の間では、撮影画像の視点位置が異なっている。ここから、制御装置２８は、後方カメラ１４、ドアカメラ１６Ｌ、１６Ｒ及びインナーカメラ２４の各々の撮影画像に対して視点位置を合わせる視点変換処理を行う。視点変換処理では、モニタ２２の中心位置（車幅方向及び上下方向の中間位置）よりも車両前側に仮想視点が設定され、後方カメラ１４、ドアカメラ１６Ｌ、ドアカメラ１６Ｒ、及びインナーカメラ２４の各々の撮影画像が、仮想視点から見た画像に変換される。視点変換処理を行う場合、仮想視点と共に、車両後方に仮想スクリーンが設定される。仮想スクリーンは、平面とされても良いが、車両後方に凸状とされた湾曲面（車両から見て凹状とされた湾曲面）とされることが好ましい。視点変換処理は、撮影画像の各々を仮想視点してから見て仮想スクリーン上に投影された画像に変換する任意の手法が適用される。
各撮影画像は、同一の仮想視点及び仮想スクリーンを用いて視点変換処理が行われることで、異なる撮影画像に映っている同一の対象物が重なって見える。即ち、インナーカメラ２４の撮像画像においてリアウインドガラス２６Ａ及びドアガラス２６Ｂ越しに映っている対象物が、後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒの撮影画像に映っていると仮定したときに、その対象物の画像が重なるように見える。制御装置２８は、視点変換処理を行った後方カメラ１４、ドアカメラ１６Ｌ、及びドアカメラ１６Ｒの各々の撮影画像に対してトリミング処理を行って、モニタ２２に表示する領域の画像を抽出する。
図３（Ａ）には、後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒにより撮像されて視点変換処理が行われた撮影画像が概略図にて示されており、図３（Ｂ）には、インナーカメラ２４により撮像されて視点変換処理が行われた撮影画像から得られる車室画像が概略図にて示されている。また、図３（Ｃ）及び図３（Ｄ）には、後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒの撮影画像の各々から抽出される抽出領域（抽出画像）が概略図にて示されている。なお、図３（Ｃ）及び図３（Ｄ）には、図３（Ｂ）の車室画像が重ねて示されている。また、各撮影画像の形状は、一例として矩形形状にて示されている。
図３（Ｂ）に示される車室画像３２は、インナーカメラ２４により車室内の車両前側から車室内の車両後方側を撮像した撮影画像（動画）が用いられ、撮影画像に対して視点変換処理されて得られる。車室画像３２には、リアウインドガラス２６Ａ及びドアガラス２６Ｂを通して見える車外の画像が含まれる。また、車室画像３２には、センターピラー２６Ｃ、リアピラー２６Ｄ、リアサイドドア２６Ｅ、後席２６Ｆ及び車室内天井２６Ｇなどの車体部分の画像が含まれる。
図３（Ａ）に示されるように、後方カメラ１４の撮影画像３４Ａは、車両後方の車幅方向の領域の画像とされている。また、ドアカメラ１６Ｌの撮影画像３４Ｌが車両１２から見て撮影画像３４Ａの左側の領域の画像とされ、ドアカメラ１６Ｒの撮影画像３４Ｒが車両１２から見て撮影画像３４Ａの右側の領域の画像とされている。撮影画像３４Ａは、車幅左側の一部の画像が、撮影画像３４Ｌと重なっていると共に、車幅右側の一部の画像が、撮影画像３４Ｒに重なっている。
制御装置２８は、インナーカメラ２４の撮影画像に対してトリミング処理を行うことで、モニタ２２に車室画像３２として表示する領域の画像を抽出する。また、制御装置２８では、車室画像３２に対して透過率が設定されており、車室画像３２が設定された透過率となるように画像変換が行われる。車室画像３２は、透過率が高くなることで、透明度が増して透過性が高くなり、透過率が低い場合に比べて画像が淡くなる（薄く見える）。制御装置２８には、車室画像３２に設定される透過率として、合成画像上で下記車外画像３６が認識可能となる透過率が設定されている。また、制御装置２８には、車室画像３２に対する透過率として、合成部に重なる車体部分の画像としてのリアピラー２６Ｄの画像、車室内天井２６Ｇの画像のリアピラー２６Ｄの上側部分、及び後席２６Ｆの画像のリアピラー２６Ｄの下側部分において他の車体部分の画像よりも低く設定されている（画像が濃く見える）。
なお、リアウインドガラス２６Ａ及びドアガラス２６Ｂの画像の透過率は、１００％（全透過）であっても良く、また、リアピラー２６Ｄを除く車体部分の画像と同様の透過率であっても良い。また、本実施の形態では、透過率を低く設定する車体部品の画像としてリアピラー２６Ｄに加え、リアピラー２６Ｄの上側部分の車室内天井２６Ｇの画像、及びリアピラー２６Ｄの下側部分のリアサイドドア２６Ｅ、後席２６Ｆの画像が含まれる。
制御装置２８は、後方カメラ１４、ドアカメラ１６Ｌ、及びドアカメラ１６Ｒの各々の撮影画像３４Ａ、３４Ｌ、３４Ｒに対してトリミング処理を行って、モニタ２２に表示する領域の画像を抽出する。
ここで、撮影画像３４Ａから抽出される抽出画像３８と、撮影画像３４Ｌから抽出される抽出画像４０との間には、仮想した境界線４４が設定され、撮影画像３４Ａから抽出される抽出画像３８と、撮影画像３４Ｒから抽出される抽出画像４２との間には、仮想した境界線４６が設定される。また、制御装置２８では、境界線４４、４６を挟んだ所定幅の領域が合成部及び重なり部分としての合成領域４８、５０に設定されている。
境界線４４、４６は、車室画像３２上においてリアピラー２６Ｄに重なる位置に設定した直線に限らず、少なくとも一部が車室画像３２上においてリアウインドガラス２６Ａ及びドアガラス２６Ｂを除く車体部分の画像に重なるものであればよく、湾曲された曲線であってもよく、屈曲されていても良い。図３（Ｃ）には、境界線４４、４６として直線状の境界線４４Ａ、４６Ａを用いた場合が示され、図３（Ｄ）には、境界線４４、４６として屈曲された境界線４４Ｂ、４６Ｂを用いた場合が示されている。
図４（Ｃ）に示されるように、境界線４４Ａは、車室画像３２上において、車幅左側のリアピラー２６Ｄに重なる位置に設定され、境界線４６Ａは、車室画像３２上において、車幅右側のリアピラー２６Ｄに重なる位置に設定される。境界線４４Ａ、４６Ａの車幅方向の位置は、車室画像３２上においてリアピラー２６Ｄの略中心位置にされている。
合成領域４８Ａ（４８）は、境界線４４Ａが中心にされ、合成領域５０Ａ（５０）は、境界線４６Ａが中心にされている。また、合成領域４８Ａ、５０Ａの幅（車幅方向の寸法）は、車室画像３２上において、リアピラー２６Ｄの画像の幅（車幅方向の寸法）と略同様か又はリアピラー２６Ｄの画像の幅よりも狭くされている。
抽出画像３８Ａ（３８）は、合成領域４８Ａから合成領域５０Ａまでの領域（合成領域４８Ａ、５０Ａを含む）が撮影画像３４Ａから抽出される。また、抽出画像４０Ａは、抽出画像３８Ａ側が合成領域４８Ａまで（合成領域４８Ａを含む）とされて撮影画像３４Ｌから抽出され、抽出画像４２Ａは、抽出画像３８Ａ側が合成領域５０Ａまで（合成領域５０Ａを含む）とされて撮影画像３４Ｒから抽出される。抽出画像３８Ａ、４０Ａ、４２Ａは、合成領域４８Ａ、５０Ａにおいて重ねられて合成される。これにより、抽出画像３８Ａ、４０Ａ、４２Ａが合成領域４８Ａ、５０Ａにおいて繋げられた車外画像３６Ａ（３６）が生成される。
図４（Ｄ）に示される境界線４４Ｂ、４６Ｂの各々は、車室画像３２上において、リアピラー２６Ｄの画像に重なる位置に設定され、下側がリアサイドドア２６Ｅの画像に重なるように車両前側に屈曲されている。また、合成領域４８Ｂ（４８）は、境界線４４Ｂを中心にされ、合成領域５０Ｂ（５０）は、境界線４６Ｂを中心にされている。合成領域４８Ｂ、５０Ｂの幅は、車室画像３２上において、リアピラー２６Ｄの画像に重なる部分がリアピラー２６Ｄの画像の幅と略同様か又はリアピラー２６Ｄの画像の幅よりも狭くされている。
抽出画像３８Ｂ（３８）は、合成領域４８Ｂから合成領域５０Ｂまでの領域（合成領域４８Ｂ、４０Ｂを含む）が撮影画像３４Ａから抽出される。また、抽出画像４０Ｂは、抽出画像３８Ｂ側が合成領域４８Ｂまで（合成領域４８Ｂを含む）とされて、撮影画像３４Ｌから抽出され、抽出画像４２Ｂは、抽出画像３８Ｂ側が合成領域５０Ｂまで（合成領域５０Ｂを含む）とされて、撮影画像３４Ｒから抽出される。抽出画像３８Ｂ、４０Ｂ、４２Ｂは、合成領域４８Ｂ、５０Ｂにおいて重ねられて合成される。これにより、抽出画像３８Ｂ、４０Ｂ、４２Ｂが合成領域４８Ａ、５０Ａにおいて繋げられた車外画像３６Ｂ（３６）が生成される。
また、制御装置２８は、車外画像３６（３６Ａ、３６Ｂ）の合成領域４８、５０と車室画像３２の車体部分の画像（リアピラー２６Ｄの画像）とを重ねて、車外画像３６と車室画像３２とを合成して、合成画像を生成する。即ち、合成画像は、抽出画像３８、４０、４２が合成領域４８、５０において重ねられて（合成されて）繋げられると共に、合成領域４８、５０に車室画像３２のリアピラー２６Ｄの画像が重ねられて、抽出画像３８、４０、４２と車室画像３２とが合成されている。
次に、本実施の形態の作用として、車両用視認装置１０の制御装置２８において実行される具体的な処理について説明する。図４には、モニタ２２への合成画像の表示処理（画像表示処理）がフローチャートにて示されている。また、図５（Ａ）〜図５（Ｃ）には、制御装置２８において生成される画像が概略図にて示されており、図５（Ａ）には車室画像３２が示され、図５（Ｂ）には車外画像３６が示され、図５（Ｃ）には合成画像としての合成画像５２が示されている。なお、図５（Ａ）〜図５（Ｃ）では、撮影画像に対して左右が反転された画像として示されている。
車両用視認装置１０では、車両１２の図示しないイグニッションスイッチ（ＩＧ）がオンされると、モニタ２２への画像表示を開始する。なお、モニタ２２の表示／非表示を切り替えは、車両用視認装置１０にモニタ２２の表示／非表示を切り替えるスイッチが設けられていても良く、スイッチがオン操作されることで、モニタ２２への画像表示が開始され、スイッチがオフ操作されることで、モニタ２２への画像表示が終了されて、モニタ２２がルームミラー（ハーフミラー）として機能される。
図４のフローチャートでは、最初のステップ１００において車両１２のイグニッションスイッチがオンされたか否かを確認しており、イグニッションスイッチがオンされると、ステップ１００で肯定判定されてステップ１０２へ移行する。ステップ１０２では、インナーカメラ２４により撮像された車室内の撮影画像を読み込み、次のステップ１０４では、読み込んだ撮影画像に対して、視点変換処理（トリミング処理を含む）を行うと共に、予め設定された透過率に変換処理される。この際、車室画像３２では、少なくとも合成領域４８、５０に重なる車体部品の画像部分について、透過率が周囲の透過率より低くされる。
これにより、図５（Ａ）に示される車室画像３２が得られる。車室画像３２では、リアピラー２６Ｄの画像の透過率が周囲の画像の透過率より低くされている。また、車室画像３２では、車室内天井２６Ｇの画像のリアピラー２６Ｄの上側部分、リアサイドドア２６Ｅの画像及び後席２６Ｆの画像のリアピラー２６Ｄの下側部分の透過率がリアピラー２６Ｄと同様に低くされている。なお、車両１２に乗車している乗員がインナーカメラ２４により撮像され、かつ乗員の画像が透過率の低くされる画像に重なる場合、乗員の画像の透過率をリアピラー２６Ｄと同様に低くしても良い。
ステップ１０６では、後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒの各々により撮像された撮影画像を読み込み、次のステップ１０８では、読み込んだ撮影画像に対して、視点変換処理を行い、撮影画像３４Ａ、３４Ｌ、３４Ｒを生成する。また、ステップ１０８では、撮影画像３４Ａ、３４Ｌ、３４Ｒに対して画像抽出処理（トリミング処理）等を行う。これにより、境界線４４、４６を中心とした合成領域４８、５０を含む抽出画像３８、境界線４４を中心とした合成領域４８を含む抽出画像４０、及び境界線４６を中心とした合成領域５０を含む抽出画像４２が抽出される（図５（Ｂ）参照）。また、抽出画像３８、４０、４２の各々が、合成領域４８、５０において重ねられる（合成された）ことで、抽出画像３８、４０、４２が繋げられた車外画像３６が生成される。なお、ステップ１０６、１０８の処理は、ステップ１０２、１０４の処理と並行して実行される。
この後、ステップ１１０では、車外画像３６の合成領域４８、５０に車室画像３２のリアピラー２６Ｄの画像が重ねられて、車外画像３６と車室画像３２とが合成された合成画像５２（図５（Ｃ）参照）が生成され、ステップ１１２では、合成画像５２がモニタ２２に表示される。ステップ１１４では、イグニッションスイッチがオフされたか否かが確認され、イグニッションスイッチがオンされている間は、ステップ１１４において肯定判定されて、ステップ１０２〜ステップ１１２の処理が繰り返される。これにより、モニタ２２には、後方カメラ、及びドアカメラ１６Ｌ、１６Ｒにより撮影される車両後方の状況と共に、インナーカメラ２４により撮影された車室内の様子がモニタ２２に表示される。
ここで、車外画像３６と合成される車室画像３２が透過性を有しているので、モニタ２２に表示される合成画像５２では、車室画像３２を通して車外画像３６を視認できる。このため、モニタ２２に表示される合成画像５２が、車室内の乗員の視認を補助できる。しかも、車室画像３２は、インナーカメラ２４により撮像された撮影画像が用いられているので、乗員が乗車している場合、その乗員が車室画像３２に映る。このため、車室内の様子をモニタ２２に表示できると共に、車室内の乗員がモニタ２２に表示されないことによる違和感が生じるのを抑制できる。
また、車外画像３６では、抽出画像３８と抽出画像４０、４２との重なり部分である合成領域４８、５０において対象物（被写体）の画像に歪みが生じることがあるが、合成領域４８、５０の各々に車室画像３２のリアピラー２６Ｄが重ねられる。このため、合成画像５２では、合成領域４８、５０の画像が車室画像３２のリアウインドガラス２６Ａの画像及びドアガラス２６Ｂの画像を通しては見えず、リアピラー２６Ｄを通してしか見えない。これにより、合成画像５２では、合成領域４８、５０の画像が見え難くなって、合成領域４８、５０の画像の歪みが、モニタ２２に表示される合成画像５２の見た目を損ねてしまうのを抑制できる。しかも、車室画像３２では、リアピラー２６Ｄの画像の透過率が周囲の画像の透過率よりも低くされているので、合成領域４８、５０の画像がリアピラー２６Ｄの画像以外の画像より見え難くなって、合成領域４８、５０の画像の歪みがモニタ２２に表示される合成画像５２の見た目を損ねるのをより抑制できる。
一方、本実施の形態では、車室画像３２のリアピラー２６Ｄ、後席２６Ｆ及び車室内天井２６Ｇの画像に合成領域４８、５０が重なるようにしたが、合成領域４８、５０の少なくとも一部が車室画像３２の車体部分に重なれば良い。これにより、合成領域４８、５０の画像は、車室画像３２の車体部分に重なる領域において、リアウインドガラス２６Ａ及びドアガラス２６Ｂに重なる画像より見え難くなるので、モニタ２２に表示される合成画像５２の見た目が損なわれるのを抑制できる。しかも、車室画像３２において、合成領域４８、５０の画像が重なる車体部分の画像の透過率が周囲の画像の透過率より低くされているので、車体部分の画像に重なる合成領域４８、５０の画像をより見え難くできて、車体部分の画像から外れた合成領域４８、５０の画像が歪んでいると感じ難くできる。これにより、モニタ２２に表示される合成画像５２の見た目が損なわれていると感じるのを抑制できる。
また、車室画像３２は、車外画像３６の合成領域４８、５０の画像に重なるリアピラー２６Ｄ等の画像の透過率を低くしているが、これに限らず、リアピラー２６Ｄ等の画像の透過率を他の画像の透過率と同様にしても良い。この場合、車外画像３６の合成領域４８、５０の画像に車室画像３２の車体部分（リアピラー２６Ｄ）の画像が重なるので、合成領域４８、５０の領域の画像を周囲の画像（リアウインドガラス２６Ａ及びドアガラス２６Ｂに重なる画像）よりも見え難くできて、合成領域４８、５０の画像がモニタ２２に表示された合成画像５２の見た目を損ねるのを抑制できる。
さらに、車室画像３２においては、上側の車体部分（例えば、リアウインドガラス２６Ａの上端よりも上側の車室内天井２６Ｇ）の画像の透過率を下側の車体部分（リアウインドガラス２６Ａの上端よりも下側のリアピラー２６Ｄ、後席２６Ｆ等）よりも高くするか、透過率１００％（車室内天井２６Ｇの画像が見えない状態）としても良い。図６には、車室画像３２において、車室内天井２６Ｇの透過率を周囲の車体部分の画像の透過率よりも高くした合成画像５２Ａが示されている。
この合成画像５２Ａでは、車室内天井２６Ｇの画像の透過率が高くされることで、車外画像３６が見え易くなって、車両後方の視認性を向上できる。また、車室内天井２６Ｇ越しとなる車外の風景は、空（雲）などである場合が多く、合成領域４８、５０の画像に歪みが生じても、歪みが生じていることが判り難い。このため、合成画像５２Ａでは、合成領域４８、５０の画像に生じる歪みが見た目を損ねるのを抑制できる。
また、車室画像３２では、合成領域４８、５０に重なるリアピラー２６Ｄの画像、リアサイドドア２６Ｅの画像のリアピラー２６Ｄ下側部分、後席２６Ｆの画像のリアピラー２６Ｄの下側部分、及び車室内天井２６Ｇの画像のリアピラー２６Ｄの上側部分の透過率を周囲の画像の透過率より低くした。しかしながら、透過率を低くする部分は、少なくとも合成領域４８、５０に重なる部分のみとしても良い。また、合成領域４８、５０に重なる部分の透過率を低くすると共に、合成領域４８、５０から離れるに従って透過率を徐々に高くして、周囲の画像の透過率になるように変化させても良い。
また、本実施の形態の説明では、合成領域４８、５０に幅を持たせているが、これに限らず、合成領域４８、５０の幅をなくし、境界線４４、４６で抽出画像３８と抽出画像４０及び抽出画像４２とが繋げられて合成されても良い。この場合、車外画像３６では、境界線４４、４６において画像が切り替わるように変化するが、合成画像５２において、境界線４４、４６に車室画像３２の車体部分の画像が重なる。このため、境界線４４、４６における画像の切り替わりを見え難くできて、モニタ２２に表示される合成画像５２の見た目が損ねられるのを抑制できる。
一方、境界線４４、４６の位置及び合成領域４８、５０の幅は、可変であっても良い。境界線４４、４６の位置及び合成領域４８、５０の幅の少なくとも一方を可変することで、それまで見え難くなっていた画像（車外の対象物）を視認性できるようになる。このため、モニタ２２に表示された合成画像５２における対象物の視認性が向上できて、モニタ２２に表示される合成画像５２が乗員の視認を補助できる。
さらに、車外画像３６における境界線４４、４６の位置の変更、及び車外画像３６における合成領域４８、５０の幅の変更等は、車両１２の沿う走行状態に応じても良い。車両１２の走行状態に応じて、境界線４４、４６の位置、及び車外画像３６における合成領域４８、５０の幅を変更する場合、低速時よりも高速時において、境界線４４、４６の位置が車外画像３６上において車幅方向の内側に移動され、合成領域４８、５０の幅が狭くされる。これにより、合成画像５２では、境界線４４、４６及び合成領域４８、５０の少なくとも一部が車室画像３２における車体部分の画像に重なるので、合成領域４８、５０の画像の歪みが合成画像５２の見た目を損ねるのを抑制できる。また、高速走行時において、車両１２の側方において車両１２に近い領域における画像の視認性を向上できる。
なお、本実施の形態では、車室画像としてインナーカメラ２４の撮影画像（動画像）を用いた。しかしながら、車室画像としては、工場における車両の製造時や出荷時等において予め車室内を撮像した撮影画像や、車両の走行開始前に撮像した撮影画像を用いた静止画であっても良い。また、車室画像としては、撮像手段により撮像された撮影画像に限らず、車室内を描画したイラストなどを用いても良い。
車室画像として予め撮像された撮影画像や予め作成したイラスト等を用いる場合、インナーカメラ２４を用いても良く、インナーカメラ２４とは別の撮像手段（カメラ）による撮影画像を用いても良い。また、車室画像として予め撮像された撮影画像や予め作成したイラスト等を用いる場合、図４のフローチャートのステップ１０２、１０４の処理を省略できるので、モニタ２２に合成画像を表示するための制御装置２８の処理負荷の増加を抑制できる。さらに、車室画像として予め撮像された撮影画像や予め作成したイラスト等を用いる場合、インナーカメラ２４を省略できるので、車両用視認装置１０の低コスト化が可能となる。
さらに、室内画像は、予め撮像された撮影画像又は予め作成されたイラストと共に、インナーカメラ２４により撮影された車室内の撮影画像を用いても良い。この場合、予め作成しておいた車室画像をメモリに記憶しておき、図４のフローチャートのステップ１０４において作成された車室画像に予め作成しておいた室内画像を重ねればよい。また、予め作成しておいた車室画像において、合成領域４８、５０に対応する部分の透過率を周囲の透過率より低くしておくことにより、インナーカメラ２４の撮影画像から生成する車室画像を一様の透過率としておくことができる。さらに、合成領域４８、５０の位置及び幅を可変可能とする場合、可変された合成領域４８、５０の位置及び幅に合わせて、予め作成しておいた車室画像上における透過率を変えておくことで、合成領域４８、５０の位置及び幅に合わせるためのインナーカメラ２４の撮影画像の透過率の変更を不要にできて、合成画像の表示処理の簡略化を図れる。
また、以上説明した本実施の形態では、撮像部として後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒの３台の撮像手段を用いた。しかしながら、撮像部は、車両１２のフロントドア、センターピラー、フロントフェンダーなどの車両１２の車外側面に撮像手段（カメラ）が設けられても良い。また、撮像部に用いる撮像手段の数は、撮像領域の一部が重なる２台又は４台以上を用いたものであれば良い。従って、撮像部は、撮像領域がモニタ２２に表示したい領域を含むように撮像手段が配置されれば良く、車両後方の撮像には、車両後部の車幅両側（例えば、リアバンパの両側）に１台ずつの撮像手段を設けても良い。
また、本実施の形態では、車両後方を撮像したが、これに限らず、車両用視認装置は、撮像部により車両１２の側方或いは車両１２の前方を撮像して表示部に表示するようにしても良い。この場合、車室画像は、車室内において撮像部の撮像方向とは反対側から撮像部の撮像領域に向けて車室内を撮像して得られる撮影画像やイラスト等を適用できる。
１０ 車両用視認装置
１４ 後方カメラ（撮像部）
１６Ｌ、１６Ｒ ドアカメラ（撮像部）
２２ モニタ（表示部）
２６Ｄ ピラー（画像が合成部、車外画像の重なり部分に重ねられる車体部分）
２８ 制御装置（制御部）
３２ 車室画像
３８、４０、４２ 抽出画像（車外撮影画像）
４８、５０ 合成領域（合成部、車外撮影画像の重なり部分）
５２ 合成画像

Claims (8)

  1. 画像の一部が相互に重なる複数の車外撮影画像を車外から撮像する撮像部と、
    所定の透過状態にされた車室画像の車体部分の画像と、前記複数の車外撮影画像の重なり部分の少なくとも一部とが重なるように、前記複数の車外撮影画像と前記車室画像とを合成して表示部に表示するように制御する制御部と、
    を備えた車両用視認装置。
  2. 前記車室画像は、ウインドガラスと車体の一部とが含まれるように車室内が前記撮像部の撮像方向と対応する方向から撮像されている請求項１記載の車両用視認装置。
  3. 前記車室画像は、前記車体部分の画像の透過率が周囲の画像の透過率よりも低くされている請求項１又は請求項２記載の車両用視認装置。
  4. 前記車外撮影画像の重なり部分の上下方向の全域が前記の前記車体部分の画像に重ねられる請求項１から請求項３の何れか１項記載の車両用視認装置。
  5. 前記車体部分の画像がウインドガラスに接するピラーの画像である請求項１から請求項４の何れか１項記載の車両用視認装置。
  6. 前記車外撮影画像の重なり部分の上下方向と交差する方向の全域が前記ピラーの画像に重ねられる請求項５記載の車両用視認装置。
  7. 前記車室画像は、前記車室画像の上下方向中間部より上側の前記車体部分の画像の透過率が前記車室画像の上下方向中間部より下側の前記車体部分の画像の透過率よりも高くされている請求項１から請求項６の何れか１項記載の車両用視認装置。
  8. 撮像部により画像の一部が相互に重なる複数の車外撮影画像を車外から撮像し、
    所定の透過状態にされた車室画像を生成し、
    前記車室画像の車体部分の画像と、前記複数の車外撮影画像の重なり部分の少なくとも一部とが重なるように設定した合成部において、前記複数の車外撮影画像と前記車室画像とを合成した合成画像を生成し、
    前記合成画像を表示部に表示する、
    ことを特徴とする車両用視認画像表示方法。
JP2016188401A 2016-09-27 2016-09-27 車両用視認装置 Active JP6877115B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016188401A JP6877115B2 (ja) 2016-09-27 2016-09-27 車両用視認装置
US15/706,906 US10752177B2 (en) 2016-09-27 2017-09-18 Vehicular visual recognition device and vehicular visual recognition image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016188401A JP6877115B2 (ja) 2016-09-27 2016-09-27 車両用視認装置

Publications (3)

Publication Number Publication Date
JP2018052216A true JP2018052216A (ja) 2018-04-05
JP2018052216A5 JP2018052216A5 (ja) 2018-05-31
JP6877115B2 JP6877115B2 (ja) 2021-05-26

Family

ID=61687851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016188401A Active JP6877115B2 (ja) 2016-09-27 2016-09-27 車両用視認装置

Country Status (2)

Country Link
US (1) US10752177B2 (ja)
JP (1) JP6877115B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020120277A (ja) * 2019-01-24 2020-08-06 アルパイン株式会社 電子サイドミラーシステム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
US20180220082A1 (en) * 2017-01-30 2018-08-02 GM Global Technology Operations LLC Method and apparatus for augmenting rearview display
US20190102923A1 (en) * 2017-10-04 2019-04-04 L3 Technologies, Inc. Combining synthetic imagery with real imagery for vehicular operations
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
CN113498527A (zh) 2019-02-19 2021-10-12 奥拉科产品有限责任公司 具有动态拼接的镜更换系统
EP3951744A4 (en) * 2019-03-26 2022-05-25 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, VEHICLE CONTROL DEVICE, METHOD AND PROGRAM
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
JP7287355B2 (ja) * 2020-06-26 2023-06-06 トヨタ自動車株式会社 車両周辺監視装置
CN112818743B (zh) * 2020-12-29 2022-09-23 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
JP2024078751A (ja) * 2022-11-30 2024-06-11 キヤノン株式会社 画像処理システム、画像処理方法、およびコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109684A (ja) * 2008-10-30 2010-05-13 Clarion Co Ltd 車両周辺画像表示システム
JP2010287163A (ja) * 2009-06-15 2010-12-24 Alpine Electronics Inc 車載用画像表示装置および画像のトリミング方法
JP2014197818A (ja) * 2013-03-29 2014-10-16 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP2014200018A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置および画像表示システム
US20140340516A1 (en) * 2013-05-16 2014-11-20 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
JP2016043778A (ja) * 2014-08-21 2016-04-04 アイシン精機株式会社 画像表示制御装置および画像表示システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007112B2 (en) * 2015-05-06 2018-06-26 Hand Held Products, Inc. Hands-free human machine interface responsive to a driver of a vehicle
US9569874B2 (en) * 2015-06-05 2017-02-14 International Business Machines Corporation System and method for perspective preserving stitching and summarizing views
WO2017057057A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
TWI618644B (zh) * 2016-05-06 2018-03-21 財團法人金屬工業研究發展中心 Image overlay method
JP6768412B2 (ja) * 2016-08-26 2020-10-14 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109684A (ja) * 2008-10-30 2010-05-13 Clarion Co Ltd 車両周辺画像表示システム
JP2010287163A (ja) * 2009-06-15 2010-12-24 Alpine Electronics Inc 車載用画像表示装置および画像のトリミング方法
JP2014197818A (ja) * 2013-03-29 2014-10-16 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP2014200018A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置および画像表示システム
US20140340516A1 (en) * 2013-05-16 2014-11-20 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
JP2016043778A (ja) * 2014-08-21 2016-04-04 アイシン精機株式会社 画像表示制御装置および画像表示システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020120277A (ja) * 2019-01-24 2020-08-06 アルパイン株式会社 電子サイドミラーシステム
JP7146658B2 (ja) 2019-01-24 2022-10-04 アルパイン株式会社 電子サイドミラーシステム

Also Published As

Publication number Publication date
JP6877115B2 (ja) 2021-05-26
US10752177B2 (en) 2020-08-25
US20180086271A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
JP6877115B2 (ja) 車両用視認装置
US10343607B2 (en) Viewing device for vehicle
CN107444263B (zh) 车辆用显示装置
US10029621B2 (en) Rear view camera system using rear view mirror location
EP3186109B1 (en) Panoramic windshield viewer system
EP3378702B1 (en) Viewing device for vehicle
KR102151654B1 (ko) 화상 표시 장치
JP6504529B1 (ja) 車両用表示装置
JP7188727B2 (ja) 車両用視認装置
JP6707007B2 (ja) 車両用視認装置及び車両用視認画像表示方法
JP2018052216A5 (ja)
JP2008213649A (ja) 車両用周辺監視装置
JP5966513B2 (ja) 車両の後側方撮影装置
EP3457254A1 (en) Method and system for displaying virtual reality information in a vehicle
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2017111739A (ja) 運転支援装置、運転支援方法
JP2019034692A (ja) 車両用視認装置
JP2007290570A (ja) 車両用表示装置
JP2018074503A (ja) 車両用視認装置及び車両用視認画像表示方法
JP6970035B2 (ja) 車両用視認装置の撮影部の画角設定方法
CN112532915A (zh) 车外监视装置
WO2019155935A1 (ja) 車両用視認装置
JP7523196B2 (ja) 周辺画像表示装置
JP6618045B2 (ja) 車両用表示装置
JP2019071543A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201225

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210119

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210427

R150 Certificate of patent or registration of utility model

Ref document number: 6877115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150