JP2020078051A - 後方表示装置、後方表示方法、およびプログラム - Google Patents

後方表示装置、後方表示方法、およびプログラム Download PDF

Info

Publication number
JP2020078051A
JP2020078051A JP2019163827A JP2019163827A JP2020078051A JP 2020078051 A JP2020078051 A JP 2020078051A JP 2019163827 A JP2019163827 A JP 2019163827A JP 2019163827 A JP2019163827 A JP 2019163827A JP 2020078051 A JP2020078051 A JP 2020078051A
Authority
JP
Japan
Prior art keywords
image
display
mirror
area
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019163827A
Other languages
English (en)
Other versions
JP6857695B2 (ja
Inventor
和馬 菊池
Kazuma Kikuchi
和馬 菊池
紫村 智哉
Tomoya Shimura
智哉 紫村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2020078051A publication Critical patent/JP2020078051A/ja
Application granted granted Critical
Publication of JP6857695B2 publication Critical patent/JP6857695B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083Anti-glare mirrors, e.g. "day-night" mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215Mirror assemblies combined with other articles, e.g. clocks with information displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Abstract

【課題】ドライバーの視界を妨げることなく映像の異常の有無をドライバーに確認させる後方表示装置、後方表示方法、およびプログラムを提供する。【解決手段】後方表示装置は、表示部と、表示部の表示面に重畳して配置され、かつ、車両の周辺をミラー像として映し出す調光ミラーと、車両の周辺を撮像することによって、映像を生成する撮像部と、映像処理部とを備える。映像処理部は、カメラ映像42を変換することによってミラー像41と同一の画角を有する変換映像43を生成すると共に、生成された変換映像43をミラー像41に重畳させて表示領域50に表示する。【選択図】図4

Description

本発明は、後方表示装置、後方表示方法、およびプログラムに関する。
従来、車両などに搭載され、光学ミラーおよび撮像素子の両方を備える後方表示装置が知られている(例えば、特許文献1)。後方表示装置は車両などに搭載されるため、その安全性を向上させる必要がある。
従来、後方表示装置の安全性を向上させる技術として、映像の異常を検出する手法が提案されている。例えば、特許文献2には、車両に分散して配置された複数のカメラを含み、前記車両の周囲を撮影可能な撮像部と、前記車両の俯瞰画像を生成する俯瞰画像生成部と、前記複数のカメラで撮影した画像を処理して前記車両の背景画像を生成し、前記背景画像と前記俯瞰画像を合成した第1の画像を出力する第1の画像生成部と、前記車両の後部又は前方部の背景画像付近の自車両の進行方向に対して垂直かつ地面に対して垂直な面を基準に、第1の画像を面対称させた画像を形成するとともに面対称であることを識別可能にした第2の画像を生成する第2の画像生成部と、前記第1の画像生成部からの第1の画像及び前記第2の画像生成部からの前記第2の画像を選択的に合成する画像合成部と、前記画像合成部からの出力画像を表示可能な表示部と、を具備したことを特徴とする車両用画像表示装置が開示されている。特許文献2には、さらに、この車両用画像表示装置によればミラー画像を表示したときに現実の映像と誤認しないように区分して表示できることが開示されている。
また、特許文献3には、周囲の撮影を行い、撮影画像を形成するカメラ(110)と、前記撮影画像に対して所定の画像処理を行い、表示用画像とする画像処理部(120)と、前記表示用画像を表示する表示部(130)と、を備える視界支援装置であって、前記カメラ(110)は、前記撮影画像に正常作動を示すためのマーク画像を付加して、前記画像処理部(120)に出力することを特徴とする視界支援装置が開示されている。特許文献3には、さらに、この視界支援装置によれば簡素な構成で視認者が故障の有無をすぐに認識できることが開示されている。
特開2017−165211号公報 特開2011−030078号公報 特開2016−134657号公報
特許文献2の技術では、ミラー画像の周辺部から中心部に向かって段階的に色濃度を変えてグラデーション表示するので、その部分の視認性が落ちてしまう。さらに、グラデーションの表示位置がミラー画像の枠部分であるため、ミラー画像における上下方向および左右方向の視野角が狭まってしまう。
特許文献3の技術では、撮影画像に正常作動を示すためのマーク画像を付加するため、マーク画像が表示される部分の領域の視界が妨げられてしまう。視界が妨げられた領域に、運転する上で重要な情報(例えば後続車など)が存在する場合、ドライバーがそれを認識できないまま運転を継続してしまう。そのため、ドライバーが認識欠如を原因として車両を誤って運転する恐れがある。
本発明は、このような問題を鑑みてなされたものであり、その目的は、ドライバーの視界を妨げることなく映像の異常の有無をドライバーに確認させることである。
(1)本発明の一実施形態は、表示部と、前記表示部の表示面に重畳して配置され、かつ、車両の周辺をミラー像として映し出す調光ミラーと、前記車両の周辺を撮像することによって、映像を生成する撮像部と、前記映像を変換することによって、前記ミラー像と同一の画角を有する変換映像を生成すると共に、前記変換映像を前記ミラー像に重畳させて前記表示部に表示する映像処理部とを備えている、後方表示装置。
(2)また、本発明のある実施形態は、前記(1)の構成に加え、前記変換映像のうち一部分を暗い映像として前記表示部に表示することによって、前記変換映像および前記ミラー像を前記表示部に分割表示する、後方表示装置。
(3)また、本発明のある実施形態は、前記(1)または前記(2)の構成に加え、前記ミラー像の輝度に合わせて、前記表示部の輝度を制御する輝度制御部をさらに備えている、後方表示装置。
(4)また、本発明のある実施形態は、前記(1)〜前記(3)のいずれかの構成に加え、前記表示部の輝度に合わせて、前記調光ミラーの反射率を制御する反射率制御部をさらに備えている、後方表示装置。
(5)また、本発明のある実施形態は、前記(1)または前記(2)の構成に加え、前記ミラー像の輝度に合わせて、前記表示部の輝度を制御する輝度制御部と、前記表示部の輝度に合わせて、前記調光ミラーの反射率を制御する反射率制御部とをさらに備えており、前記ミラー像の輝度と、前記表示部の輝度とが一致するように、前記調光ミラーの反射率および前記表示部の輝度を制御する、後方表示装置。
(6)また、本発明のある実施形態は、前記(2)の構成に加え、前記映像処理部は、前記変換映像または前記ミラー像のうち分割表示前に前記表示部の表示領域の全体に表示していた像と同一の像を、分割表示時に前記表示領域における中央領域に表示する、後方表示装置。
(7)また、本発明のある実施形態は、前記(1)〜前記(6)のいずれかの構成に加え、前記車両に関する車両情報を取得する車両情報取得部と、前記車両情報に基づいて、前記車両が停止しているか否かを判定する判定部とをさらに備えており、前記映像処理部は、前記車両が停止していると判定された場合、前記変換映像を前記ミラー像に重畳させて前記表示部に表示する、後方表示装置。
(8)また、本発明のある実施形態は、前記(1)〜前記(7)のいずれかの構成に加え、前記映像処理部は、前記変換映像を前記表示部に表示することと、前記ミラー像を前記表示部に表示することと、前記変換映像を前記ミラー像に重畳させて前記表示部に表示することとのうち、少なくとも2つの表示を、一定時間ごとに切り替える、後方表示装置。
(9)また、本発明のある実施形態は、前記(1)〜前記(8)のいずれかの構成に加え、ドライバーの視点を取得する視点取得部と、前記後方表示装置の姿勢を取得する姿勢取得部と、前記撮像部と撮像対象との距離を取得する距離取得部とをさらに備えており、前記映像処理部は、前記視点、前記姿勢、および前記距離を用いることによって、前記ミラー像と同一の前記画角を有する前記変換映像を生成する、後方表示装置。
(10)本発明の一実施形態は、表示部と、前記表示部の表示面に重畳して配置され、かつ、車両の周辺をミラー像として映し出す調光ミラーと、前記車両の周辺を撮像することによって、映像を生成する撮像部と、前記映像を変換することによって、前記映像が縮小された変換映像を生成し、前記表示部の表示領域における第1領域に前記変換映像を表示すると共に、前記表示領域における前記第1領域を除く第2領域に暗い映像を表示することによって、前記変換映像および前記ミラー像を前記表示領域に分割表示する映像処理部とを備えている、後方表示装置。
(11)本発明の一実施形態は、表示部と、前記表示部の表示面に重畳して配置され、かつ、車両の周辺をミラー像として映し出す調光ミラーとを備えている後方表示装置によって実行される後方表示方法であって、前記車両の周辺を撮像することによって、映像を生成する生成工程と、前記映像を変換することによって、前記ミラー像と同一の画角を有する変換映像を生成すると共に、前記変換映像を前記ミラー像に重畳させて前記表示部に表示する映像処理工程とを有する、後方表示方法。
(12)本発明の一実施形態は、表示部と、前記表示部の表示面に重畳して配置され、かつ、車両の周辺をミラー像として映し出す調光ミラーとを備えている後方表示装置によって実行される後方表示方法であって、前記車両の周辺を撮像することによって、映像を生成する撮像工程と、前記映像を変換することによって、前記映像が縮小された変換映像を生成し、前記表示部の表示領域における第1領域に前記変換映像を表示すると共に、前記表示領域における前記第1領域を除く第2領域に暗い映像を表示することによって、前記変換映像および前記ミラー像を前記表示領域に分割表示する表示工程とを有する、後方表示方法。
(13)本発明の一実施形態は、前記(1)〜前記(10)のいずれかの後方表示装置としてコンピュータを機能させるためのプログラムであって、前記各部としてコンピュータを機能させる、プログラム。
本発明の一実施形態によれば、ドライバーの視界を妨げることなく映像の異常の有無をドライバーに確認させることができる。
本発明の第1の実施形態に係る後方表示装置が搭載される車両の一例を示す図である。 本発明の第1の実施形態に係る後方表示装置の詳細な構成の一例を示す図である。 本発明の第1の実施形態に係る後方表示装置の要部構成の一例を示すブロック図である。 本発明の第1の実施形態において、通常時のミラー像および変換映像の重畳表示の一例を示す図である。 本発明の第1の実施形態において、カメラ映像の左右反転が発生した場合のミラー像および変換映像の重畳表示の一例を示す図である。 本発明の第1の実施形態に係る後方表示装置によって実行される一連の処理の流れを示すフローチャートである。 本発明の第1の実施形態に係る後方表示装置によって実行される一連の処理の流れを説明するフローチャートである。 本発明の第1の実施形態において、ミラー像に変換映像を重畳表示させる場合の、ミラー像の輝度と変換映像の輝度との最適な関係を説明するモデルを示す図である。 本発明の第2の実施形態に係る後方表示装置が、ミラー像および変換映像を表示領域の上下方向に2分割して表示する一例を示す図である。 本発明の第2の実施形態に係る後方表示装置が、ミラー像および変換映像を表示領域における上下方向に3分割して表示する一例を示す図である。 本発明の第2の実施形態に係る後方表示装置が、ミラー像および変換映像を表示領域における左右方向に2分割して表示する一例を示す図である。 本発明の第2の実施形態に係る後方表示装置が、ミラー像および変換映像を表示領域における左右方向に3分割して表示する一例を示す図である。 本発明の第2の実施形態に係る後方表示装置が、ミラー像および変換映像を表示領域における中央および周辺に2分割して表示する一例を示す図である。 本発明の第2の実施形態に係る後方表示装置が、ミラー像および変換映像を表示領域における中央および周辺に2分割して表示する一例を示す図である。 本発明の第2の実施形態に係る後方表示装置によって実行される一連の処理の流れを示すフローチャートである。 本発明の第3の実施形態に係る後方表示装置が搭載される車両の一例を示す図である。 本発明の第3の実施形態に係る後方表示装置の詳細な構成の一例を示す図である。 本発明の第3の実施形態に係る後方表示装置の要部構成の一例を示すブロック図である。 本発明の第3の実施形態に係る後方表示装置における、調光ミラーの視野および車載カメラの撮像範囲を示す模式図である。 本発明の第3の実施形態に係る後方表示装置によって実行される一連の処理の流れを示すフローチャートである。
〔第1の実施形態〕
(後方表示装置1の構成)
図1は、本発明の第1の実施形態に係る後方表示装置1が搭載される車両2の一例を示す図である。図1の(a)は、車両2の上面図であり、図1の(b)は、車両2の後方面図である。図1に示すように、後方表示装置1は車両2の内部に配置され、車載カメラ11(撮像部)は車両2の後方の中央部に配置される。車載カメラ11は、車両2の後方を撮像することによって、後方を映し出したカメラ映像を生成する。後方表示装置1は、カメラ映像を表示することによって、カメラ映像をドライバーに提示する。ドライバーは、カメラ映像を視認することによって、車両2の後方を確認できる。
図1に示す後方表示装置1および車載カメラ11の構成および配置は、単なる一例に過ぎない。例えば、車載カメラ11は、車両2の後方の中央部以外の他の場所に搭載されてもよい。
図2は、本発明の第1の実施形態に係る後方表示装置1の詳細な構成の一例を示す図である。図2の(a)は、後方表示装置1の側面を示し、図2の(b)は、後方表示装置1の前面を示す。図2に示すように、後方表示装置1は、車載カメラ11、ハーネス12、ディスプレイ13、調光ミラー14、および照度センサ15を備えている。ハーネス12は、車載カメラ11と後方表示装置1とを接続する。ディスプレイ13は、各種の映像を表示する。調光ミラー14は、入射光の透過率を自由に調整できる。照度センサ15は、照度センサ15の周囲の明るさ(照度)を検出する。
図2では、調光ミラー14は、ディスプレイ13の表示面(前方)側において、ディスプレイ13の表示面に重畳して配置される。したがって、ディスプレイ13から発せられた映像の光は、調光ミラー14を通ってドライバーの目に達する。
図3は、本発明の第1の実施形態に係る後方表示装置1の要部構成の一例を示すブロック図である。この図に示すように、後方表示装置1は、表示部10、制御部20、および信号入力部30を備えている。表示部10は、ディスプレイ13および調光ミラー14を備えている。制御部20は、反射率制御部21、輝度制御部22、CPU23(判定部)、映像処理部24を備えている。信号入力部30は、操作部31、車両信号取得部32(車両情報取得部)、照度取得部33、および映像取得部34を備えている。表示部10は、映像を含む各種の視覚情報をドライバーに提示する。信号入力部30は、後方表示装置1の制御および映像の表示に使用される各種の情報および映像を取得する。制御部20は、信号入力部30が取得した情報および映像を使用することによって、後方表示装置1を制御したりディスプレイ13に映像を表示したりする。
(車両信号取得部32)
車両信号取得部32は、車両2の状態を表す各種の車両情報を、電気信号として取得する。車両情報の一例は、ディマー信号、サイドブレーキ信号、および車両速度情報である。車両信号取得部32は、これら以外の車両2に関わる任意の車両情報を取得できる。車両信号取得部32は、取得した車両信号をCPU23に伝送する。車両信号は、何らかの伝送方式に従って車両2からCPU23に伝送される。伝送方式の一例として、CAN(Controller Area Network)などが挙げられる。CANは、自動車内部の速度、エンジンの回転数、およびブレーキの状態などの車両情報を伝送する手段として用いられている、内部通信ネットワークのプロトコルである。CANによる情報伝送によって、信頼性の高い通信が可能になる。CANはあくまでも一例に過ぎず、車両信号取得部32は、CAN以外の任意の伝送方式に従って車両信号をCPU23に伝送できる。
(照度センサ15および照度取得部33)
照度センサ15は、照度センサ15の周囲の照度を検出する。照度取得部33は、照度センサ15によって検出された照度を、電気信号として照度センサ15から取得し、CPUに伝送する。伝送方式は任意の方式でよい。照度センサ15は、例えば、フォトダイオードまたはフォトトランジスタと、その周辺回路などを備えている。照度取得部33は、検出された照度を、アナログ値またはデジタル値の電気信号として照度センサ15から取得する。照度取得部33がアナログ値の電気信号を取得する場合、CPU23は、アナログ値の電気信号をデジタル値の電気信号に変換する。照度取得部33がデジタル値の電気信号を取得する場合、CPU23による電気信号のデジタル値への変換は不要である。
照度センサ15は、後方表示装置1における、ドライバーの視認を阻害しない任意の位置に設置される。照度センサ15の設置位置が異なれば、照度センサ15によって検出される照度が異なることが起こり得る。そのため、照度センサ15の設置位置は、照度を取得したい場所に応じて変更できる。照度センサ15は、後方表示装置1の外部に設置されてもよい。
後方表示装置1は、複数の照度センサ15を備えていてもよい。複数の照度センサ15が後方表示装置1に設置される場合、1つの照度センサ15を設置する場合よりも広い範囲かつ様々な方向からの入射光の照度を検出できる。したがって、検出された照度の信頼性をより向上させることができる。照度取得部33は、さらに、状況に応じて、複数の照度センサ15のうちのいずれか1つから、特定の方向の照度を表す電気信号を取得することもできる。
(車載カメラ11および映像取得部34)
車載カメラ11は、入射光を集光するレンズ部と、光を電気信号に変換する撮像素子部から構成される。撮像素子部は、例えばCCD(Charge Coupled Device)型イメージセンサ、またはCMOS(Complemantary Metal Oxide Semiconductor)型のイメージセンサなどの撮像素子を有する。レンズ部で集光された光が撮像素子部で電気信号に変換される。映像取得部34は、車載カメラ11によって撮像されたカメラ映像を、車載カメラ11から取得し、映像処理部24に伝送する。伝送方式は任意の方式でよい。
(CPU23)
CPU23は、複数の命令群から構成されるプログラム情報を保持する不揮発性メモリを内蔵し、プログラムによって記述された命令群を実行する。これにより、CPU23は、信号入力部30によって取得された各種のデータを処理したり、後方表示装置1の周辺機器を制御したりする。CPU23は、信号を入出力する機能を有する。CPU23は、例えば、車両信号取得部32および照度取得部33から入力された信号に基づいて、反射率制御部21および映像処理部24の動作を制御する。
(映像処理部24)
映像処理部24は、映像取得部34によって取得されたカメラ映像を処理することによって、変換映像を生成する。映像処理部24は、さらに、生成された変換映像をディスプレイ13に伝送することによって、ディスプレイ13に表示する。伝送方式は任意の方式でよい。映像処理部24は、エッジ強調、映像の輝度調整、ガンマ調整、コントラスト調整などの映像処理機能を有する。CPU23は、映像処理部24が有するこれらの映像処理機能を制御できる。
映像処理部24は、カメラ映像を変換映像に変換する際、ミラー像とカメラ映像との画角合わせを実行する。ここでいう画角合わせとは、調光ミラー14が映し出すミラー像(虚像)の表示領域と、カメラ映像の表示領域とを一致させることを指すものとする。すなわち、調光ミラー14に反射してドライバーに見える後方の領域(以下、ミラー像または調光ミラー14の画角と記載する)と、カメラ映像の撮像領域とが同一になるように、カメラ映像を変換することである。
ミラー像の表示領域の大きさと、カメラ映像の表示領域の大きさとは、必ずしも同一になるとは限らない。例えば、車載カメラ11の画角が調光ミラー14の画角と異なる場合、各表示領域の大きさは異なる。あるいは、車載カメラ11の設置位置に応じて、各表示領域の大きさが異なることも起こり得る。映像処理部24は、カメラ映像の表示領域の大きさを、ミラー像の表示領域の大きさと同一に変更する。映像処理部24は、カメラ映像を拡大または縮小することによって、車載カメラ11の画角を擬似的に変更する。カメラ映像を拡大することは、車載カメラ11の画角を狭くすることに相当する。カメラ映像を縮小することは、車載カメラ11の画角を広くすることに相当する。例えば、車載カメラ11の画角が調光ミラー14の画角よりも大きい場合、カメラ映像を拡大することによって、車載カメラ11の画角を調光ミラー14の画角に一致させる。拡大率は、(車載カメラ11の画角÷2)の正接と(調光ミラー14の画角÷2)の正接との比率で与えられる。
第1の実施形態において、調光ミラー14は車両2の前方部に設置され、車載カメラ11は車両2の後方部に設置される。したがって、調光ミラー14の画角が車載カメラ11の画角に等しい場合、調光ミラー14よりも車載カメラ11の方が、車載カメラ11の撮像対象に対してより近い位置に配置される。この場合、カメラ映像の表示領域の大きさは、ミラー像の表示領域の大きさよりも小さくなる。そのため、映像処理部24は、調光ミラー14の設置位置が車載カメラ11の設置位置と異なることを原因とする各表示領域の大きさの違いを、補正する必要がある。
この場合、調光ミラー14の視野よりも、車載カメラ11の撮像範囲の方が小さいので、映像処理部24は、カメラ映像を縮小することによって、カメラ映像の表示領域をミラー像の表示範囲に一致させる。縮小率は、車載カメラ11から撮像対象までの距離と、調光ミラー14から撮像対象までの距離との比率で与えられる。映像処理部24は、このようにカメラ映像を処理することによって、カメラ映像の表示領域をミラー像の表示領域に一致させることができる。
(調光ミラー14および反射率制御部21)
調光ミラー14は、入射光の透過率を可変に制御可能な素子を備えるデバイスである。調光ミラー14は、透過率が高い場合には光を透過するガラスとして機能し、透過率が低い場合には光を反射する平面鏡として機能する。調光ミラー14は、好ましくは、ガスクロミック方式のミラーガラス、またはエレクトロクロミック方式のミラーフィルムなどである。反射率制御部21は、ディスプレイ13の輝度に合わせて、調光ミラー14の透過率を制御する。
後方表示装置1は、調光ミラー14の代わりにハーフミラーを備えることができる。ハーフミラーは、入射光の一部を透過しかつ残りの一部を反射する平面鏡のうち、透過光の強さと反射光の強さとがほぼ同一の平面鏡を指す。後方表示装置1がハーフミラーを備える場合、ディスプレイ13の輝度を高くすれば、ドライバーの目に届く光は、ディスプレイ13からの透過光が支配的になる。したがって、ドライバーの目には、ディスプレイ13に表示される映像が主に見えるようになる。逆に、ディスプレイ13の輝度を低くすれば、ハーフミラーにおける反射光が支配的になる。したがって、ドライバーの目には、ハーフミラーに映し出されるミラー像が主に見えるようになる。このように、後方表示装置1がハーフミラーを備える場合、ハーフミラーの透過率を変更することができないが、ディスプレイ13の輝度を調整するだけで、変換映像の表示と、ミラー像の表示とを切り替えることができる。したがって、後方表示装置1に搭載される制御ソフトウェアおよび周辺回路の構成をより簡易にできる。
調光ミラー14の形状は、平面鏡の形状ではなく、曲率を有する凸面鏡の形状であってもよい。凸面鏡の形状を有する調光ミラー14の画角は、平面鏡の形状を有する調光ミラー14の画角よりも広い。したがって、後方表示装置1は、凸面鏡の形状を有する調光ミラー14を備える場合、車両2の後方におけるより広い範囲を映し出すミラー像をドライバーに提示できる。
(ディスプレイ13および輝度制御部22)
ディスプレイ13は、発光体素子を備え、映像をドライバーに視認させる役割を持つ。
ディスプレイ13の一例として、液晶表示パネルおよびバックライトを組み合わせた液晶ディスプレイが挙げられる。バックライトを構成する発光素子の一例として、LED(Light Emitting Diode)が挙げられる。ディスプレイ13の他の例として、有機EL(Electro Luminescence)ディスプレイが挙げられる。有機ELディスプレイは、表示パネルおよび発光素子の両方の機能を有するので、ディスプレイ13を単一のデバイスとして実現できる。輝度制御部22は、調光ミラー14の輝度に合わせて、ディスプレイ13の輝度を制御する。輝度制御部22は、ディスプレイ13の輝度を、例えばPWM(Pulse Width Modulation)信号などによって制御する。
(映像反転の確認)
後方表示装置1は、ミラー像に画角を合わせた変換映像をミラー像に重畳させてディスプレイ13に表示することによって、カメラ映像に反転が生じたか否かをドライバーに確認させることができる。この確認手法の例について、図4および図5を参照して以下に説明する。
図4は、本発明の第1の実施形態において、通常時のミラー像41および変換映像43の重畳表示の一例を示す図である。図4において、調光ミラー14は、車両2の後方をミラー像41として映し出す。車載カメラ11は、車両2の後方を撮像することによって、車両2の後方を示すカメラ映像42を生成する。図4では、カメラ映像42の反転は発生していない。
ミラー像41およびカメラ映像42を後方表示装置1の表示領域50に重畳表示する場合、カメラ映像42の大きさがミラー像41の大きさと一致することが望ましい。そこで、映像処理部24は、カメラ映像42を変換することによって、ミラー像41と同一画角を有する変換映像43を生成する。映像処理部24は、例えば、ミラー像41の画角とカメラ映像42の画角が一致するように、カメラ映像42を拡大または縮小したり、カメラ映像42における変換映像43の切り出し位置を変更したりする。
映像処理部24は、生成された変換映像43をミラー像41に重畳させて、表示領域50に表示する。図4では、カメラ映像42の反転が発生していないので、ドライバーには、表示領域50にミラー像41および変換映像43が重なり合って見える。ドライバーは、ミラー像41および変換映像43が重なり合うことを確認することによって、カメラ映像42の左右反転が生じていないことを認識する。
図5は、本発明の第1の実施形態において、カメラ映像42の左右反転が発生した場合のミラー像41および変換映像43の重畳表示の一例を示す図である。図5では、カメラ映像42の左右反転が発生している。したがって、ドライバーには、表示領域50において、ミラー像41および変換映像43が重なり合わず、それぞれ異なって見える。ドライバーは、ミラー像41および変換映像43がそれぞれ異なって見えることを確認することによって、カメラ映像42の左右反転が生じたことを認識する。
ミラー像41および変換映像43を表示領域50に重畳表示する場合、ミラー像41の輝度と変換映像43の輝度とが同程度であることが望ましい。そこで、重畳表示の際、ドライバーが認識するミラー像41の輝度と変換映像43の輝度とが同一になるように、反射率制御部21が調光ミラー14の反射率を制御し、輝度制御部22がディスプレイ13の輝度を調整する。
(処理フローの一例)
図6は、本発明の第1の実施形態に係る後方表示装置1によって実行される一連の処理の流れを示すフローチャートである。
ステップS1において、車両信号取得部32は、現在の車両2の速度を取得する。ステップS2において、CPU23は、ステップS1において取得された車両速度に基づいて、車両2が停止しているか否かを判定する。ステップS2において「NO」の場合、後方表示装置1は、ステップS3において通常の処理を実行する。通常の処理とは、変換映像43をミラー像41に重畳させずに表示領域50に表示することである。この後、図3に示す一連の処理は終了する。この結果、車両2の走行中において後方表示装置1に表示される変換映像43の見え方が変わらないため、ドライバーの運転を妨げずに済む。以下に説明するように、後方表示装置1は、信号指示に基づく車両2の停止時または車両2のエンジン始動時など、車両2の停止時にのみ、映像反転の有無をドライバーに確認させる。
ステップS3において「YES」の場合、ステップS4において、照度取得部33は、照度センサ15によって検出された現在の周囲の照度を取得する。取得された照度には、ノイズなどの影響によって信頼性の低いデータが混入する可能性がある。照度取得部33は、安定した照度を取得するために、ディジタルフィルタを用いることによって、取得した照度を平滑化することが好ましい。ディジタルフィルタの一例として、FIR(Finite Impulse Response)フィルタなどが挙げられる。
ステップS5において、CPU23は、ステップS4において取得された照度に基づいて、現在が「昼状態」であるか否かを判定する。照度が閾値以上である場合が「昼状態」であり、照度が閾値未満である場合を「夜状態」であると、それぞれ定義する。閾値は、固定のパラメータとしてあらかじめ後方表示装置1に設定されている。ドライバーが、後方表示装置1に閾値を設定することもできる。CPU23は、照度が閾値以上である場合は現在が「昼状態」であると判定し、照度が閾値未満である場合は現在が「夜状態」であると判定する。
ステップS5において「NO」である場合、後方表示装置1は、ステップS3において通常の処理を実行する。この後、図3に示す一連の処理は終了する。このように、夜状態ではドライバーが調光ミラー14を視認しづらい可能性があるため、後方表示装置1は、映像反転の有無をドライバーに確認させない。
ステップS5において「YES」の場合、ステップS6において、映像処理部24は、カメラ映像42を変換することによって、ミラー像41と同一画角を有する変換映像43を生成する。ステップS7において、映像処理部24は、生成された変換映像43を表示領域50に表示する。ステップS8において、反射率制御部21は、調光ミラー14の反射率を下げる。ステップS9において、輝度制御部22は、調光ミラー14の反射率に合わせて、ディスプレイ13の輝度を制御する。後方表示装置1は、ステップS8およびS9の処理を実行することによって、調光ミラー14が映し出すミラー像41の輝度と、変換映像43を表示するディスプレイ13の輝度とが一致するように、調光ミラー14の反射率およびディスプレイ13の輝度を制御する。これらの処理によって、ドライバーは、ミラー像41および変換映像43の両方を明瞭に視認できるようになる。したがって、ドライバーは、ミラー像41と変換映像43とが重なり合って見える場合、変換映像43に反転が生じていないことを確認できる。逆に、ミラー像41と変換映像43とが異なって見える場合、変換映像43に反転が生じたことを確認できる。
反射率制御部21は、調光ミラー14の反射率を、瞬間的に切り替えてもよいし、一定の切替時間中の段階的に切り替えてもよい。輝度制御部22は、ディスプレイ13の輝度を、瞬間的に切り替えてよいし、一定の切替時間中に段階的に切り替えてもよい。反射率および輝度を段階的に切り替えれば、映像の変化を容易にドライバーに認識させることができる。切替時間は、固定のパラメータとして事前に後方表示装置1に設定されている。ドライバーが、切替時間を後方表示装置1に設定することもできる。この場合、ドライバーは、映像の変化を自身が認識しやすい切替時間を、後方表示装置1に設定できる。これにより、ドライバーごとの認識しやすさの個人差を吸収できる。
(処理フローの他の例)
図7は、本発明の第1の実施形態に係る後方表示装置1によって実行される一連の処理の流れを説明するフローチャートである。後方表示装置1は、図7に示す一連の処理を実行する場合、変換映像43をミラー像41に重畳させて表示領域50に表示する代わりに、ドライバーに対するミラー像41の表示と変換映像43の表示とを一定時間ごとに切り替える。言い換えれば、映像処理部24は、ミラー像41を表示領域50に表示することと、変換映像43を表示領域50に表示することとを、一定時間ごとに切り替える。また、ドライバーに対するミラー像41の表示と、ミラー像41と変換映像43とを重畳させた表示とを、一定時間ごとに切り替えてもよい。さらに、ドライバーに対する変換映像43の表示と、ミラー像41と変換映像43とを重畳させた表示とを、一定時間ごとに切り替えてもよい。つまり、ミラー像41と変換映像43との違いを分かり易く表示するために、ミラー像41の表示、変換映像43の表示、およびミラー像41と変換映像43とを重畳させた表示のうち、少なくとも2つの表示を、一定時間ごとに切り替えて表示してもよい。
図7に示す各処理のうち、ステップS1〜S9の各処理は図6に示すものと同一であるため、詳細な説明を省略する。図7の処理が開始された後、CPU23は、時間の計測を開始する。ステップS5において「YES」の場合、ステップS11において、CPU23は、時間の計測開始後に一定時間が経過したか否かを判定する。ステップS11において「NO」の場合、後方表示装置1は、何の処理も実行することなく、ステップS14の処理に移行する。ステップS11において「YES」の場合、CPU23は、計測時間をリセットし、その後、ステップS12の処理を実行する。このように、後方表示装置1は、一定時間が経過するごとに、ステップS12以降の処理を実行できる。
ステップS12において、反射率制御部21は、現在の調光ミラー14の反射率を取得し、反射率に基づいて、後方表示装置1の表示領域における現在の状態がミラー像表示状態であるか否かを判定する。調光ミラー14の反射率が高反射状態である場合をミラー像表示状態であると定義し、調光ミラー14の反射率が低反射状態である場合を変換映像表示状態であると定義する。ミラー像表示状態とは、後方表示装置1の表示領域にミラー像41のみが表示される状態、言い換えれば、ドライバーの目にミラー像41のみが提示される状態のことである。変換映像表示状態とは、後方表示装置1の表示領域に変換映像43のみが表示される状態、言い換えれば、ドライバーの目に変換映像43のみが提示される状態のことである。
ステップS12において「YES」の場合、後方表示装置1は、ステップS6〜S9の各処理を実行する。この場合、後方表示装置1は、変換映像43を必ずしもミラー像41に重畳させて表示領域50に表示する必要はない。反射率制御部21は、例えば、ステップS8において、変換映像43のみがドライバーに視認されるように、調光ミラー14の反射率を下げることができる。
ステップS12において「NO」の場合、ステップS13において、反射率制御部21は、ミラー像41の光が変換映像43の光よりも強くなるように、調光ミラー14の反射率を上げる。これにより、後方表示装置1の表示領域50にミラー像41のみを表示する。言い換えれば、ミラー像41および変換映像43のうちミラー像41のみがドライバーの目に視認されるようにする。後方表示装置1が調光ミラー14に代えてハーフミラーを備える場合、輝度制御部22は、ステップS12においてディスプレイ13を消灯すればよい。これにより、ディスプレイ13からの変換映像43の光がハーフミラーに入らなくなるので、ドライバーは、ハーフミラーの反射光のみを視認する。これにより、後方表示装置1の表示領域50にミラー像41のみを表示できる。
ステップS3、ステップS9、またはステップS13の後、ステップS14において、後方表示装置1は、動作を終了するか否かを判定する。ステップS14において「NO」の場合、後方表示装置1はステップS1の処理に戻る。ステップS14において「YES」の場合、後方表示装置1は動作を終了する。
以上のように、本実施形態に係る後方表示装置1は、変換映像43をミラー像41に重畳させて表示領域50に表示する。ドライバーは、ミラー像41と変換映像43とが正しく重なり合って見えるか否かに応じて、変換映像43の左右反転などの異常が発生しているか否かを確認できる。このように、後方表示装置1は、ドライバーの視界を妨げることなく、変換映像43の異常の有無をドライバーに確認させることができる。
また、後方表示装置1は、車両2が停止していない(走行している)と判定された場合、変換映像43をミラー像41に重畳させずに表示領域50に表示する。また、変換映像43の代わりにミラー像41を表示領域50に表示してもよい。さらに、変換映像43に代わって映像取得部34によって取得されたカメラ映像42を表示領域50に表示してもよい。
一方、後方表示装置1は、車両2が停止していると判定された場合、変換映像43をミラー像41に重畳させて表示領域50に表示する。これにより、変換映像43の異常発生の有無を車両2の走行中にドライバーに確認させずに済むので、ドライバーの安全を確保できる。
(反射率と輝度との関係)
図8は、本発明の第1の実施形態において、ミラー像41に変換映像43を重畳表示させる場合の、ミラー像41の輝度と変換映像43の輝度との最適な関係を説明するモデルを示す図である。図8において、調光ミラー14に含まれる2つの表面のうち、よりドライバーに近い側の表面をA面と定義し、よりディスプレイ13に近い側の表面をB面と定義する。調光ミラー14のA面における反射率をα、B面における反射率をβ、調光ミラー14の周囲の輝度をL、変換映像43の輝度をLとする。この場合、ミラー像41の輝度はαLであり、ディスプレイ13から出力される変換映像43の光が調光ミラー14を通過する際の輝度は(1−β)Lである。
これら2つの輝度が等しい場合、調光ミラー14の反射率α,βと、変換映像43の輝度Lとの間に、以下の制約が成立する。
÷L=(1−β)÷α・・・(1)
また、調光ミラー14のA面における反射率αが、B面における反射率βに等しい場合、以下の制約が成立する。
÷L=(1−α)÷α・・・(2)
ただし、ここでは次の2つの仮定を設けるものとする。まず、調光ミラー14のA面およびB面において、すべての反射光は鏡面反射するものとする。さらに、ディスプレイ13の表面における光の反射と、調光ミラー14におけるA面−B面間での光反射は、ドライバーに対する影響が少ないものとして無視する。
後方表示装置1は、上述した式(1)が成立するように、ディスプレイ13の輝度および調光ミラー14の反射率のうち少なくともいずれかを調整する。後方表示装置1は、例えば、ディスプレイ13の輝度を固定すると共に、調光ミラー14の反射率を変更することによって、ミラー像41の輝度Lと変換映像43の輝度Lとを一致させる。後方表示装置1は、調光ミラー14の反射率を固定すると共に、ディスプレイ13の輝度を調整してもよい。後方表示装置1は、あるいは、ディスプレイ13の輝度および調光ミラー14の反射率の両方を調整してもかまわない。調光ミラー14の代わりにハーフミラーを用いる場合、後方表示装置1は、ディスプレイ13の輝度を調整することによって、上述した式(1)を成立させる。このような調整を行うことで、ドライバーの視認性を向上させることができる。
変換映像43の輝度Lは、ディスプレイ13の輝度と、表示領域50に表示される変換映像43の各画素の輝度値との双方によって、決定される。各画素の輝度値は画素ごとに様々な値を取り得るが、ディスプレイ13の輝度はすべての画素で均一である。したがって、すべての画素において上述の式(1)が成立するとは限らない。そこで、後方表示装置1は、例えばヒストグラムのピーク値に相当する画素の輝度値が上述した式(1)を満たすように、ディスプレイ13の輝度を調整する。
また、後方表示装置1は、輝度の調整に加えて、コントラスト、ダイナミックレンジ、および色調などを調整してもよい。これにより、輝度調整のみを行った場合に比べ、ミラー像41と変換映像43との映像の見た目をより合わせる効果が得られる。
また、後方表示装置1は、表示領域50上で調整を行う領域を限定してもよい。表示領域50上の特定の領域に絞って調整を行うことで、調光ミラー14の分解能に対して車載カメラ11の分解能を近付けることができ、ミラー像41と変換映像43との映像の見た目をより合わせる効果が得られる。
後方表示装置1は、部分駆動型のLEDバックライトを備えることができる。この場合、個別に制御可能な複数のLEDバックライトが、後方表示装置1に設置される。したがって、後方表示装置1は、任意のLEDバックライトを制御することによって、ディスプレイ13の輝度を局所的に調整する。そこで、ディスプレイ13の画素数と同一数のLEDバックライトを後方表示装置1に設置すれば、後方表示装置1は、すべての画素の輝度を、上述の式(1)を満たす輝度に調整できる。これにより、ミラー像41と変換映像43との映像の見た目を合わせる効果をより高めることができる。
(映像処理による強調)
映像処理部24は、変換映像43に対して、エッジ強調、明るさ強調、またはコントラスト強調などの各種の映像処理を施せる。これらの映像処理によって変換映像43の視認性が向上するので、ドライバーは、映像反転の有無をより確認しやすくなる。映像処理部24は、物体検知の手法を用いることによって、変換映像43における注目部分のみを局所的に映像処理することもできる。これにより、ドライバーにとって、変換映像43におけるどの箇所を確認すればよいのかがより分かりやすくなる。変換映像43内の強調箇所は、変換映像43に映し出される左右非対称なものが望ましい。これにより、変換映像43において反転が発生したことを、より容易にドライバーに認識させることができる。左右非対称なものとして、例えば、標識または路面上の文字などが挙げられる。
映像処理部24は、GUI(Graphical User Interface)を変換映像43に重畳させて表示領域50に表示することが好ましい。これにより、変換映像43においてドライバーが注視すべき箇所を、ドライバーに明示できる。GUIによって文字情報またはバウンディングボックスなどをドライバーに提示すれば、変換映像43におけるドライバーが注視すべき箇所が、ドライバーにとってより分かりやすくなる。
映像処理部24は、映像反転確認のための変換映像43を表示領域50に表示する際、「現在、映像反転確認のための表示を行っている」という旨のメッセージを、変換映像43に重畳させて表示領域50に表示することが好ましい。映像処理部24は、このようなメッセージを、例えばGUIの一部として表示領域50に表示する。ドライバーは、映像反転確認に関する事前知識を持たない場合、反転確認のための変換映像43が、このようなメッセージを伴わずに表示領域50に表示されても、表示領域50上で起こったことを正しく理解できない恐れがある。映像反転確認のための表示であることをドライバーに通知するメッセージが表示領域50に表示されれば、ドライバーは、現在の変換映像43の表示が映像反転確認のための表示であることを、一目で理解できる。
ドライバーは、映像反転確認のための変換映像43の表示時に後方表示装置1を注視していなければ、変換映像43が反転していたとしてもその事実に気付かない恐れがある。そこで、後方表示装置1は、反転確認のための変換映像43の表示時に、ドライバーに確認を促すことが好ましい。後方表示装置1は、例えば、スピーカーなどの音響機器を通じて、ドライバーに確認を促すための音声を出力する。音響機器を用いれば、ドライバーが後方表示装置1を注視していない場合でも、音声を通してドライバーに映像反転の確認を促すことができる。映像処理部24は、ディスプレイ13を点滅させることによって、ドライバーに確認を促すこともできる。この場合、後方 表示装置1に新たにデバイスを増やすことなく、ドライバーに確認を促すことができるので、後方表示装置1の製造コストを抑えることができる。
(画角合わせのパラメータ調整)
ミラー像41と変換映像43の重畳表示する場合、ミラー像41と変換映像43の見え方が一致するためには、ドライバーの視点位置座標、調光ミラー14の大きさおよびディスプレイ13の表示面の単位法線ベクトル、ならびに車載カメラ11と画角合わせ対象面の距離が既知である必要がある。第1の実施形態では、後方表示装置1は、これらの情報を固定のパラメータとしてあらかじめ保持している。ドライバーが、これらのパラメータを後方表示装置1に自ら設定することもできる。ドライバーの視点位置の座標には、ドライバーの身長および座高、車両2における運転座席の位置設定および背もたれの傾き設定などに応じて、個人差が存在する。調光ミラー14の傾きも、ドライバーごとに最適な値が異なる。そこで、後方表示装置1においてこれらのパラメータを変更できるようにすることによって、ドライバーごとの個人差を吸収できる。
後方表示装置1は、ドライバーによって設定された各パラメータを、不揮発性メモリに保存することが好ましい。これにより、後方表示装置1を起動するたびにドライバーがパラメータを設定し直す必要がなくなるので、ドライバーの手間を省ける。後方表示装置1は、パラメータごとに、異なる複数の値を保存することもできる。この場合、異なるドライバーが同一の車両2に乗車したとしても、後方表示装置1は、ドライバーごとに最適なパラメータの値を用いることができる。
車載カメラ11と画角合わせ対象面との距離は、ミラー像41および変換映像43にそれぞれ含まれる後続車の大きさを互いに一致させることができる距離(例えば5m)などとして、あらかじめ固定値として後方表示装置1に保存されている。ミラー像41および変換映像43において大きさを一致させる対象は、必ずしも後続車に限らず、例えば無限遠などでもよい。ドライバーは、後方表示装置1に設定される距離の値を、キャリブレーションによって変更することもできる。
調光ミラー14の視野が車載カメラ11の撮像範囲よりも大きい場合、重畳表示時に、調光ミラー14の視野に対応する変換映像43の領域が存在しないことがある。調光ミラー14の視野と車載カメラ11の撮像範囲がずれている場合も、同様である。映像処理部24は、存在しない領域に、例えば(R,G,B)=(0,0,0)などの任意の画素値を設定することが好ましい。画素値は、ドライバーの視認を妨げない任意の値であればよい。
(映像反転確認のための表示タイミング)
後方表示装置1は、反転確認のための重畳表示を、車両2が停止するたびに毎回実行しなくてもよい。後方表示装置1は、例えば、車両2の停止時の3回に1回は変換映像43を重畳表示し、残りの2回は変換映像43を通常表示する。通常表示とは、変換映像43のみをミラー像41に重畳させずに単独で表示することである。車両2が停止するたびに映像反転の有無をドライバーに毎回確認させると、ドライバーによっては負担になるので、車両2の快適な運転を妨げるおそれがある。映像反転の有無をドライバーに確認させる回数を減らせば、ドライバーの負担を軽減できる。反転確認のための重畳表示の頻度を、ドライバーが自ら後方表示装置1に設定することもできる。これにより、各ドライバーは、自身にとって最適な頻度で映像反転の有無を確認できる。
後方表示装置1は、反転確認のための重畳表示の回数を、車両2の運転開始時点からの累計乗車時間に応じて変更できる。後方表示装置1は、例えば、運転開始時点からの合計乗車時間が増えるにつれて、重畳表示の回数を減らす。これにより、運転時間が長くなるにつれてドライバーの負担を徐々に軽減できる。
後方表示装置1は、車両2に故障が発生する可能性が高い環境下に車両2がある場合、反転確認のための重畳表示の頻度を増やすことが好ましい。これにより、車両2に故障が発生した場合、その事実をより早くドライバーに気付かせることができる。後方表示装置1は、例えば、加速度センサなどを備えており、車両2が強い衝撃を受けたことを加速度センサによって検知した場合、検知後の一定時間は重畳表示の頻度を増やす。後方表示装置1は、例えば温度センサを備えており、温度が極端に高いかまたは極端に低い場合、重畳表示の頻度を増やす。後方表示装置1は、例えば湿度センサを備えており、湿度センサを用いて検出した湿度が極端に高いかまたは極端に低い場合、重畳表示の頻度を増やす。
〔第2の実施形態〕
第1の実施形態では、ドライバーの周囲が明るかったり、後続車のヘッドライトがドライバーに照射されたりすることなどによって、重畳表示されたミラー像41および変換映像43がドライバーにとって見えづらくなる可能性がある。そこで、第2の実施形態に係る後方表示装置1は、ミラー像41および変換映像43を後方表示装置1の表示領域50に分割表示することによって、ミラー像41および変換映像43の重ね合わせをなくす。これにより、ミラー像41および変換映像43の見やすさを最大限に向上させることができるので、変換映像43が正しく表示されていることをドライバーに容易に確認させることができる。
(上下方向の2分割表示)
図9は、本発明の第2の実施形態に係る後方表示装置1が、ミラー像41および変換映像43を表示領域50における上下方向に2分割して表示する一例を示す図である。本実施形態において、ミラー像41と同一の画角を有する変換映像43を生成するための映像変換処理は、第1の実施形態と同一であるため、詳細な説明は省略する。図9の例では、映像処理部24は、生成された変換映像43の下半分を、暗い映像(例えば黒色映像)にさらに変換する。映像処理部24は、下半分が暗い映像によって構成される変換映像43を、ミラー像41に重畳させて表示領域50に表示する。このとき、輝度制御部22は、ディスプレイ13の輝度を十分に高くする。
これにより、後方表示装置1の表示領域50のうち上半分(一部分)に相当する上領域51において、調光ミラー14によって反射されるミラー像41の光に比べて、ディスプレイ13から出力される変換映像43の光の方が強くなる。したがって、図9に示すように、上領域51には、ミラー像41は表示されず、変換映像43のみが表示される。一方、表示領域50のうち下半分に相当する下領域52では、変換映像43の下半分を構成する暗い映像の光に比べて、ミラー像41の光の方が強くなる。したがって、図9に示すように、下領域52では、変換映像43が表示されずに、ミラー像41のみが表示される。
さらに、ミラー像41および変換映像43を表示領域50に表示する場合、ミラー像41の輝度と変換映像43の輝度とが同程度であることが望ましい。そこで、ドライバーが認識するミラー像41の輝度と変換映像43の輝度とが同一になるように、反射率制御部21が調光ミラー14の反射率を制御し、輝度制御部22がディスプレイ13の輝度を調整する。その結果、ミラー像41の輝度と変換映像43の輝度とが同様の輝度となるので、分割表示によるドライバーの違和感が低減され、ドライバーの視認性を確保することができる。
また、後方表示装置1は、輝度の調整に加えて、コントラスト、ダイナミックレンジ、色調、および解像度などを調整してもよい。これにより、輝度調整のみを行った場合と比べ、ミラー像41と変換映像43との映像の見た目をより一層合わせることができるので、分割表示によるドライバーの違和感が低減され、ドライバーの視認性を向上することができる。
後方表示装置1は、さらに、調整を行う表示領域50上の領域を限定してもよい。特定の領域に絞って調整を行うことで、前記した各調整項目に対する調光ミラー14の分解能と車載カメラ11の分解能とをより一層近付けることができる。例えば、ミラー像41と変換映像43とでは、像が同じ領域の階調が大きく異なるため、調整を行う領域を絞ることにより像の階調を近付けることができる。これにより、後方表示装置1は、輝度調整のみを行った場合と比べ、ミラー像41と変換映像43との映像の見た目をより一層合わせることができるので、分割表示によるドライバーの違和感が低減され、ドライバーの視認性を向上することができる。なお、特定の領域として、表示領域50上の左領域、中央領域、または右領域が挙げられる。ここでいう中央領域とは、左領域と右領域とに挟まれる領域のことである。さらには、特定の領域として、表示領域50上の、ミラー像41または変換映像43上に表示される特定の物体(車、人、建物、車道、風景など)を包含する領域などが挙げられる。
このように、後方表示装置1は、表示領域50を上領域51および下領域52に分割すると共に、上領域51に変換映像43を表示し、かつ、下領域52にミラー像41を表示する。言い換えれば、後方表示装置1は、ミラー像41および変換映像43を表示領域50に分割表示する。これにより、ドライバーの目には、ミラー像41および変換映像43が重なって映ることがない。したがって、ドライバーは、ミラー像41および変換映像43の両方を明瞭に視認できる。
表示領域50において、ミラー像41および変換映像43がそれぞれ表示される領域は、上下逆でもよい。この場合、映像処理部24は、生成された変換映像43の上半分を暗い映像にさらに変換する。映像処理部24は、上半分が暗い映像によって構成される変換映像43を、ミラー像41に重畳させて表示領域50に表示する。これにより、後方表示装置1は、上領域51にミラー像41を表示すると共に、下領域52に変換映像43を表示できる。
上領域51および下領域52は、表示領域50のちょうど半分である必要はない。言い換えれば、上領域51および下領域52は、互いに同一である必要はない。後方表示装置1は、例えば、上領域51および下領域52のうちいずれかを、他方よりも大きくすることもできる。これにより、後方表示装置1は、ミラー像41を変換映像43よりも大きく表示できたり、逆に変換映像43をミラー像41よりも大きく表示できたりする。変換映像43の反転有無を車両2の走行中にドライバーに確認させる場合、確認前にドライバーが視認していた変換映像43を、確認時に大きく変更してしまうと、ドライバーによる後方確認に支障をきたす恐れがある。そこで、後方表示装置1は、車両2の走行中にミラー像41を変換映像43よりも小さく表示することが好ましい。これにより、後方表示装置1は、変換映像43の反転表示の有無をドライバーに確認させることができると共に、変換映像43の表示が大きく変更されることを防止できる。
ディスプレイ13は、バックライトを使って変換映像43を表示する液晶ディスプレイなどのディスプレイでもよい。この場合、後方表示装置1は、バックライトのうち、ミラー像41が表示される下領域52を照らす箇所を、暗くするかまたは消灯することによって、下領域52にミラー像41のみを表示できる。また、映像処理部24は、変換映像43の下半分を暗い映像に必ずしも変換する必要がない。
(反転有無の確認)
ドライバーは、分割表示されるミラー像41と変換映像43との上下間の境界において、表示領域50に表示される物体が連続した像となっているか否かを確認することによって、変換映像43の反転有無を確認できる。変換映像43が正しく表示されている場合、図9に示すように、後方車両は、ミラー像41と変換映像43との境界を含む確認用領域64において、表示領域50における上下方向に連続した像として表示される。ドライバーは、確認用領域64内の後方車両を視認することによって、変換映像43が正しく表示されていること、言い換えれば、変換映像43の反転が発生していないことを確認できる。逆に、変換映像43が正しく表示されていない場合、後方車両は、確認用領域64において上下方向の途中で途切れた像として表示される。ドライバーは、確認用領域64に表示される不連続な後方車両の像を視認することによって、変換映像43が正しく表示されていないことを確認できる。
ドライバーは、後方表示装置1に表示される後方車両などの物体の上部および下部が、ミラー像41および変換映像43において同一の位置に表示されるか否かを確認することもできる。ドライバーは、例えば、後方車両が、上領域51および下領域52における左側または真ん中などの同一の位置に表示されることを、確認する。これにより、ドライバーは、変換映像43が、上下反転表示または左右反転表示されることも、また回転表示されることもなく、正しく表示されていることを、確認できる。
(変換映像43の強調表示)
分割表示時に変換映像43が反転せずに正しく表示されていれば、ドライバーは、上領域51および下領域52において、ミラー像41および変換映像43を同様に視認できる。この場合、ドライバーが、分割表示に気付かない恐れがある。そこで、映像処理部24は、分割表示時に変換映像43を表示領域50に強調表示することが好ましい。映像処理部24は、例えば、変換映像43の周囲に配置される枠線を表示領域50に表示することによって、変換映像43を強調表示する。これにより、表示領域50においてミラー像41および変換映像43をそれぞれ明確化できる。ドライバーは、変換映像43の周囲の枠線を視認することによって、ミラー像41および変換映像43が分割表示されていることに明瞭に気付くことができる。このように、後方表示装置1は、上下の分割表示中であることをドライバーに注意できる。
映像処理部24は、他の手法を用いることによって変換映像43を強調表示してもよい。映像処理部24は、例えば、ミラー像41と変換映像43との境界に配置される境界線を表示領域50に表示したり、変換映像43の全体を薄く着色したり、上下分割表示中であることを示すアイコンをディスプレイ13またはインジケータに表示したりすることによって、変換映像43を強調表示できる。後方表示装置1は、変換映像43の強調表示中であることを、ドライバーに音声で通知することもできる。
(カメラ映像42の表示)
映像処理部24は、ミラー像41と画角を合わせる前のカメラ映像42の全体または任意の一部を、変換映像43の代わりに表示領域50に表示してもよい。この場合、ドライバーは、表示領域50に表示される目印となる物体(例えば後方車両または道路の端)が、ミラー像41およびカメラ映像42においてそれぞれ同一の位置に表示されているか否かを確認する。
(上下方向の3分割表示)
図10は、本発明の第2の実施形態に係る後方表示装置1が、ミラー像41および変換映像43を表示領域50における上下方向に3分割して表示する一例を示す図である。図12の例では、映像処理部24は、生成された変換映像43のうち中央を除く上部分および下部分を、いずれも暗い映像(例えば黒色映像)にさらに変換する。映像処理部24は、上部分および下部分が暗い映像によって構成される変換映像43を、ミラー像41に重畳させて表示領域50に表示する。このとき、輝度制御部22は、ディスプレイ13の輝度を十分に高くする。これにより、後方表示装置1は、表示領域50を上領域61、中央領域62、および下領域63に3分割すると共に、上領域61および下領域63にミラー像41を表示し、かつ、中央領域62に変換映像43を表示する。図10の例では、中央領域62は、上領域61および下領域63よりも大きい。
図10の例では、後方表示装置1は、ミラー像41および変換映像43を表示領域50に3分割表示する。これにより、ドライバーの目には、ミラー像41および変換映像43が重なって映ることがない。したがって、ドライバーは、ミラー像41および変換映像43の両方を明瞭に視認できる。
ドライバーは、後方表示装置1を確認する際、表示領域50内の周辺を見ることより、中央領域62を見ることの方が多い。そこで、後方表示装置1は、表示領域50における中央領域62に変換映像43を表示することによって、ドライバーが視認していた後方の変換映像43を大きく変化させることなく、ミラー像41を表示領域50に表示できる。これにより、後方表示装置1は、車両2の停車中だけでなく、走行中でも変換映像43の反転有無の確認をドライバーに促すことができる。
映像処理部24は、変換映像43の全体を縮小すると共に、縮小された変換映像43の全体を中央領域62に表示することもできる。この場合、後方表示装置1は、車載カメラ11の画角に応じた撮像範囲のすべてを、変換映像43として表示領域50に表示できる。ドライバーは、変換映像43内の周囲に映された物体の状態と、ミラー像41内の周囲に映された物体の状態とが、互いに同一であるか否かを確認する。ドライバーは、例えば、ミラー像41に含まれる複数の物体と変換映像43に含まれる複数の物体とが互いに同一であるか否かと、各物体の配置順がミラー像41および変換映像43において互いに同一であるか否かとを、それぞれ確認する。これにより、ドライバーは、変換映像43に左右反転が生じているか否かを確認できる。
後方表示装置1は、ミラー像41および変換映像43のうち、分割表示前に表示領域50の全体に表示していた像と同一の像を、分割表示時に中央領域62に表示してもよい。詳細には、分割表示前にミラー像41を表示領域50の全体に表示していた場合、分割表示時にミラー像41を中央領域62に表示すると共に変換映像43を上領域61および下領域63に表示する。一方、分割表示前に変換映像43を表示領域50の全体に表示していた場合、分割表示時に変換映像43を中央領域62に表示すると共にミラー像41を上領域61および下領域63に表示する。ドライバーが視認する表示領域50内の領域は主に中央領域62となるため、分割表示が開始される前にドライバーが視認していた像を、分割表示時に中央領域62に表示される像と一致させることによって、分割表示開始の前後における像の表示の違いを最小限に抑えることができる。これにより、表示領域50に表示される像の変化によるドライバーの戸惑いを減少させることができる。
図9を参照して説明した2分割表示に関する各種の変形例は、図10に基づく3分割表示にも等しく適用される。例えば、図10の例において、後方表示装置1は、上領域61および下領域63に変換映像43を表示すると共に、中央領域62にミラー像41を表示することもできる。後方表示装置1は、さらに、中央領域62を上領域61および下領域63よりも小さくすることもできる。後方表示装置1は、さらに、図9の場合と同様に変換映像43を強調表示することもできる。後方表示装置1は、さらに、バックライトのうち上領域61および下領域63を照らす箇所を、暗くするかまたは消灯することによって、上領域61および下領域63にミラー像41のみを表示できる。
図10の例において、ドライバーが認識するミラー像41の輝度と変換映像43の輝度とが同一になるように、図9の例と同様に、反射率制御部21が調光ミラー14の反射率を制御し、輝度制御部22がディスプレイ13の輝度を調整してもよい。図10の例において、後方表示装置1は、さらに、輝度の調整に加えて、図9の例と同様に、コントラスト、ダイナミックレンジ、色調、および解像度などを調整してもよい。図10の例において、後方表示装置1は、さらに、図9の例と同様に、調整を行う表示領域50上の領域を、特定の領域に限定してもよい。ここでいう特定の領域として、表示領域50上の左領域、中央領域、または右領域が挙げられる。ここでいう中央領域とは、左領域と右領域とに挟まれる領域のことである。さらには、特定の領域として、表示領域50上の、ミラー像41または変換映像43上に表示される特定の物体(車、人、建物、車道、風景など)を包含する領域などが挙げられる。
(左右方向の2分割表示)
図11は、本発明の第2の実施形態に係る後方表示装置1が、ミラー像41および変換映像43を表示領域50における左右方向に2分割して表示する一例を示す図である。図11の例では、映像処理部24は、生成された変換映像43のうち右半分を、暗い映像(例えば黒色映像)にさらに変換する。映像処理部24は、右半分が暗い映像によって構成される変換映像43を、ミラー像41に重畳させて表示領域50に表示する。このとき、輝度制御部22は、ディスプレイ13の輝度を十分に高くする。これにより、後方表示装置1は、表示領域50を左領域71および右領域72に2分割すると共に、左領域71に変換映像43を表示し、かつ、右領域72にミラー像41を表示する。図11の例では、左領域71および右領域72の大きさは互いに同一である。
図11に示す例では、後方表示装置1は、ミラー像41および変換映像43を表示領域50に2分割表示する。これにより、ドライバーの目には、ミラー像41および変換映像43が重なって映ることがない。したがって、ドライバーは、ミラー像41および変換映像43の両方を明瞭に視認できる。
変換映像43が正しく表示されている場合、図11に示すように、後方車両は、ミラー像41と変換映像43との境界を含む確認用領域73において、表示領域50における左右方向に連続した像として表示される。ドライバーは、確認用領域73内の後方車両を視認することによって、変換映像43が正しく表示されていること、言い換えれば、変換映像43に左右反転が発生していないことを、確認できる。逆に、変換映像43が正しく表示されていない場合、後方車両は、確認用領域73において左右方向の途中で途切れた像として表示される。ドライバーは、確認用領域73内の不連続な後方車両の像を視認することによって、変換映像43が正しく表示されていないことを確認できる。
また、ドライバーは、左領域71および右領域72の双方に同一物体が表示されているか否かを確認することによって、変換映像43が正しく表示されているか否かを確認できる。ドライバーは、例えば、左領域71および右領域72に同一の物体が表示されていない場合、変換映像43が正しく表示されていることを確認できる。ドライバーは、さらに、左領域71および右領域72に同一の物体が表示されている場合、変換映像43が正しく表示されていないことを確認できる。
さらには、車両2が片側二車線道路などを走行している場合、後続車両は、左右のどちらかの車線に寄って走行している。ミラー像41および変換映像43が表示領域50における左右方向に分割表示された場合、同一の物体(後続車両)が左領域71および右領域72の双方に表示される。したがって、ドライバーは、左領域71および右領域72に表示される同一の物体を視認することによって、変換映像43が反転表示されていることに容易に気付くことができる。
図9を参照して説明した2分割表示に関する各種の変形例は、図11に基づく左右方向の2分割表示にも等しく適用される。例えば、図11の例において、後方表示装置1は、左領域71に変換映像43を表示すると共に、右領域72にミラー像41を表示することもできる。後方表示装置1は、さらに、左領域71および右領域72のうちいずれかを、他方よりも大きくすることもできる。後方表示装置1は、さらに、車両2の走行中にミラー像41を変換映像43よりも小さく表示することが好ましい。後方表示装置1は、さらに、図9の場合と同様に変換映像43を強調表示することもできる。後方表示装置1は、さらに、バックライトのうち右領域72を照らす箇所を暗くするかまたは消灯することによって、右領域72にミラー像41のみを表示できる。
図11の例において、ドライバーが認識するミラー像41の輝度と変換映像43の輝度とが同一になるように、図9の例と同様に、反射率制御部21が調光ミラー14の反射率を制御し、輝度制御部22がディスプレイ13の輝度を調整してもよい。図11の例において、後方表示装置1は、さらに、図9の例と同様に、輝度の調整に加えて、コントラスト、ダイナミックレンジ、色調、および解像度などを調整してもよい。図11の例において、後方表示装置1は、さらに、図9の例と同様に、調整を行う表示領域50上の領域を、特定の領域に限定してもよい。ここでいう特定の領域として、表示領域50上の上領域、中央領域、または下領域が挙げられる。ここでいう中央領域とは、上領域と下領域とに挟まれる領域のことである。さらには、特定の領域として、表示領域50上の、ミラー像41または変換映像43上に表示される特定の物体(車、人、建物、車道、風景など)を包含する領域などが挙げられる。
(左右方向の3分割表示)
図12は、本発明の第2の実施形態に係る後方表示装置1が、ミラー像41および変換映像43を表示領域50における左右方向に3分割して表示する一例を示す図である。図12の例では、映像処理部24は、生成された変換映像43のうち左右方向の中央部分を除く左部分および右部分を、暗い映像(例えば黒色映像)にさらに変換する。映像処理部24は、左部分および右部分が暗い映像によって構成される変換映像43を、ミラー像41に重畳させて表示領域50に表示する。このとき、輝度制御部22は、ディスプレイ13の輝度を十分に高くする。これにより、後方表示装置1は、表示領域50を左領域81、中央領域82、および右領域83に3分割すると共に、左領域81および右領域83にミラー像41を表示し、かつ、中央領域82に変換映像43を表示する。図12の例では、中央領域82は、左領域81および右領域83よりも大きい。
図12の例では、後方表示装置1は、ミラー像41および変換映像43を表示領域50に3分割表示する。これにより、ドライバーの目には、ミラー像41および変換映像43が重なって映ることがない。したがって、ドライバーは、ミラー像41および変換映像43の両方を明瞭に視認できる。
変換映像43が正しく表示されている場合、図12に示すように、後方車両は、左側のミラー像41と変換映像43との境界と、右側のミラー像41と変換映像43との強化とを両方とも含む確認用領域84において、表示領域50における左右方向に連続した像として表示される。ドライバーは、確認用領域84内の後方車両を視認することによって、変換映像43が正しく表示されていること、言い換えれば、変換映像43に左右反転が発生していないことを、確認できる。逆に、変換映像43が正しく表示されていない場合、後方車両は、確認用領域84において左右方向の途中で途切れた像として表示される。ドライバーは、確認用領域84内の不連続な後方車両の像を視認することによって、変換映像43が正しく表示されていないことを確認できる。
また、ドライバーは、左領域81および中央領域82の双方に同一物体が表示されているか否かを確認することによって、変換映像43が正しく表示されているか否かを確認できる。ドライバーは、例えば、左領域81および中央領域82に同一の物体が表示されていない場合、変換映像43が正しく表示されていることを確認できる。ドライバーは、さらに、左領域81および中央領域82に同一の物体が表示されている場合、変換映像43が正しく表示されていないことを確認できる。ドライバーは、右領域83および中央領域82の双方に同一物体が表示されているか否かを確認することによっても、変換映像43が正しく表示されているか否かを確認できる。
ドライバーは、後方表示装置1を確認する際、表示領域50内の周辺を見ることより、中央領域82を見ることの方が多い。そこで、後方表示装置1は、表示領域50における中央領域82に変換映像43を表示することによって、ドライバーが視認していた後方の変換映像43を大きく変化させることなく、ミラー像41を表示領域50に表示できる。これにより、後方表示装置1は、車両2の停車中だけでなく、走行中でも変換映像43の反転有無の確認をドライバーに促すことができる。
映像処理部24は、変換映像43の全体を縮小すると共に、縮小された変換映像43の全体を中央領域82に表示することもできる。この場合、後方表示装置1は、車載カメラ11の画角に応じた撮像範囲のすべてを、変換映像43として表示領域50に表示できる。ドライバーは、変換映像43内の周囲に映された物体の状態と、ミラー像41内の周囲に映された物体の状態とが、互いに同一であるか否かを確認する。ドライバーは、例えば、ミラー像41に含まれる複数の物体と変換映像43に含まれる複数の物体とが互いに同一であるか否かと、各物体の配置順がミラー像41および変換映像43において互いに同一であるか否かとを、それぞれ確認する。これにより、ドライバーは、変換映像43に左右反転が生じているか否かを確認できる。
図9を参照して説明した2分割表示に関する各種の変形例は、図12に基づく左右方向における3分割表示にも等しく適用される。例えば、図12の例において、後方表示装置1は、左領域81および右領域83に変換映像43を表示すると共に、中央領域82にミラー像41を表示することもできる。後方表示装置1は、さらに、中央領域82を左領域81および右領域83よりも小さくすることもできる。後方表示装置1は、さらに、図9の場合と同様に変換映像43を強調表示することもできる。後方表示装置1は、さらに、バックライトのうち左領域81および右領域83を照らす箇所を、暗くするかまたは消灯することによって、左領域81および右領域83にミラー像41のみを表示できる。
図12の例において、ドライバーが認識するミラー像41の輝度と変換映像43の輝度とが同一になるように、図9の例と同様に、反射率制御部21が調光ミラー14の反射率を制御し、輝度制御部22がディスプレイ13の輝度を調整してもよい。図12の例において、後方表示装置1は、さらに、輝度の調整に加えて、図9の例と同様に、コントラスト、ダイナミックレンジ、色調、および解像度などを調整してもよい。図12の例において、後方表示装置1は、さらに、図9の例と同様に、調整を行う表示領域50上の領域を、特定の領域に限定してもよい。ここでいう特定の領域として、表示領域50上の上領域、中央領域、または左領域が挙げられる。ここでいう中央領域とは、上領域と下領域とに挟まれる領域のことである。さらには、特定の領域として、表示領域50上の、ミラー像41または変換映像43上に表示される特定の物体(車、人、建物、車道、風景など)を包含する領域などが挙げられる。
図10を参照して説明した3分割表示に関する変形例は、図12に基づく左右方向における3分割表示にも等しく適用される。例えば、後方表示装置1は、ミラー像41および変換映像43のうち分割表示前に表示領域50の全体に表示していた像と同一の像を、分割表示時に中央領域82に表示してもよい。詳細には、分割表示前にミラー像41を表示領域50の全体に表示していた場合、分割表示時にミラー像41を中央領域82に表示すると共に変換映像43を左領域81および右領域83に表示する。一方、分割表示前に変換映像43を表示領域50の全体に表示していた場合、分割表示時に変換映像43を中央領域82に表示すると共にミラー像41を左領域81および右領域83に表示する。
(中央分割表示)
図13は、本発明の第2の実施形態に係る後方表示装置1が、ミラー像41および変換映像43を表示領域50における中央および周辺に2分割して表示する一例を示す図である。図12の例では、映像処理部24は、生成された変換映像43のうち中央部分を除く周辺部分を、暗い映像(例えば黒色映像)にさらに変換する。映像処理部24は、周辺部分が暗い映像によって構成される変換映像43を、ミラー像41に重畳させて表示領域50に表示する。このとき、輝度制御部22は、ディスプレイ13の輝度を十分に高くする。これにより、後方表示装置1は、表示領域50を中央領域91および周辺領域92に2分割すると共に、中央領域91に変換映像43を表示し、かつ、周辺領域92にミラー像41を表示する。言い換えれば、後方表示装置1は、ミラー像41および変換映像43を表示領域50に2分割表示する。これにより、ドライバーの目には、ミラー像41および変換映像43が重なって映ることがない。したがって、ドライバーは、ミラー像41および変換映像43の両方を明瞭に視認できる。
変換映像43が正しく表示されている場合、図13に示すように、後方車両は、ミラー像41と変換映像43との境界を含む確認用領域93において、表示領域50における上下方向に連続した像として表示される。ドライバーは、確認用領域93内の後方車両を視認することによって、変換映像43が正しく表示されていること、言い換えれば、変換映像43に左右反転が発生していないことを、確認できる。逆に、変換映像43が正しく表示されていない場合、後方車両は、確認用領域93において上下方向の途中で途切れた像として表示される。ドライバーは、確認用領域93内の不連続な後方車両の像を視認することによって、変換映像43が正しく表示されていないことを確認できる。
図13の例では、変換映像43の周辺端のすべてが、ミラー像41における内側の周辺端に接している。これにより、後方表示装置1は、ミラー像41および変換映像43からなる一体的な1つの映像を、表示領域50に表示できる。そのため、ドライバーは、変換映像43が正しく表示されているか否かを一目で判別できる。
図13の例では、さらに、ミラー像41と変換映像43とが接する範囲が、図9〜図12の例に比べて多い。したがって、車載カメラ11の撮像範囲内に含まれる物体の数が少なくても、表示領域50において物体の像の連続性をドライバーが確認できる確認用領域93を、確率的に増加させられる。したがって、ドライバーは、ミラー像41と変換映像43との境界を全体的に見回すことによって、変換映像43が正しく表示されているか否かを容易に確認できる。
ドライバーは、後方表示装置1を確認する際、表示領域50内の周辺を見ることより、中央領域91を見ることの方が多い。そこで、後方表示装置1は、表示領域50における中央領域91に変換映像43を表示することによって、ドライバーが視認していた後方の変換映像43を大きく変化させることなく、ミラー像41を表示領域50に表示できる。これにより、後方表示装置1は、車両2の停車中だけでなく、走行中でも変換映像43の反転有無の確認をドライバーに促せる。
図9を参照して説明した2分割表示に関する各種の変形例は、図13に基づく中央分割表示にも等しく適用される。例えば、図13の例において、後方表示装置1は、ミラー像41を中央領域91に表示すると共に、変換映像43を周辺領域92に表示することもできる。後方表示装置1は、さらに、図9の場合と同様に変換映像43を強調表示することもできる。後方表示装置1は、さらに、バックライトのうち周辺領域92を照らす箇所を暗くするかまたは消灯することによって、周辺領域92にミラー像41のみを表示できる。
図13の例において、ドライバーが認識するミラー像41の輝度と変換映像43の輝度とが同一になるように、図9の例と同様に、反射率制御部21が調光ミラー14の反射率を制御し、輝度制御部22がディスプレイ13の輝度を調整してもよい。図13の例において、後方表示装置1は、さらに、輝度の調整に加えて、図9の例と同様に、コントラスト、ダイナミックレンジ、色調、および解像度などを調整してもよい。図13の例において、後方表示装置1は、さらに、図9の例と同様に、調整を行う表示領域50上の領域を、特定の領域に限定してもよい。ここでいう特定の領域として、表示領域50上の上領域、下領域、中央領域、左領域、または右領域が挙げられる。ここでいう中央領域とは、上領域と下領域とに挟まれる領域または左領域と右領域とに挟まれる領域のことである。さらには、特定の領域として、表示領域50上の、ミラー像41または変換映像43上に表示される特定の物体(車、人、建物、車道、風景など)を包含する領域などが挙げられる。
図10を参照して説明した3分割表示に関する変形例は、図13に基づく中央分割表示にも等しく適用される。例えば、後方表示装置1は、ミラー像41および変換映像43のうち分割表示前に表示領域50の全体に表示していた像と同一の像を、分割表示時に中央領域91に表示してもよい。詳細には、分割表示前にミラー像41を表示領域50の全体に表示していた場合、分割表示時にミラー像41を中央領域91に表示すると共に変換映像43を周辺領域92に表示する。一方、分割表示前に変換映像43を表示領域50の全体に表示していた場合、分割表示時に変換映像43を中央領域91に表示すると共にミラー像41を周辺領域92に表示する。
(中央分割表示の他の例)
図14は、本発明の第2の実施形態に係る後方表示装置1が、ミラー像41および変換映像43を表示領域50における中央および周辺に2分割して表示する一例を示す図である。図14の例では、映像処理部24は、生成された変換映像43の全体を縮小する。映像処理部24は、さらに、表示領域50を中央領域101(第1領域)とその周辺に配置される周辺領域102(第2領域)とに分割する。周辺領域102は、表示領域50における中央領域101を除く領域である。映像処理部24は、さらに、縮小された変換映像43の全体を中央領域101に表示すると共に、周辺領域102には暗い映像(例えば黒色映像)を表示する。これにより、後方表示装置1は、縮小された変換映像43を中央領域101に表示すると共に、ミラー像41を周辺領域102に表示できる。言い換えれば、後方表示装置1は、ミラー像41および変換映像43を表示領域50に2分割表示する。これにより、ドライバーの目には、ミラー像41および変換映像43が重なって映ることがない。したがって、ドライバーは、ミラー像41および変換映像43の両方を明瞭に視認できる。
図14の例では、後方表示装置1は、車載カメラ11の画角に応じた撮像範囲のすべてを、変換映像43として表示領域50に表示できる。ドライバーは、変換映像43内の周辺領域に映された物体の状態と、ミラー像41内の周辺領域に映された物体の状態とが、互いに同一であるか否かを確認する。ドライバーは、例えば、ミラー像41に含まれる複数の物体と変換映像43に含まれる複数の物体とが互いに同一であるか否かと、各物体の配置順がミラー像41および変換映像43において互いに同一であるか否かとを、それぞれ確認する。これにより、ドライバーは、変換映像43に左右反転が生じているか否かを確認できる。
図14では、ミラー像41内の右端と、変換映像43内の右端とに、同一の物体である自転車が映されている。言い換えれば、ミラー像41内の周辺領域(本例では右端領域)および変換映像43内の周辺領域(本例では右端領域)に映された物体が同一である。したがって、ドライバーは、2つの自転車が含まれる確認用領域103を視認することによって、変換映像43が正しく表示されていることを確認できる。
ドライバーは、ミラー像41内および変換映像43内の上端領域、下端領域、左端領域、および周辺領域全体のうちいずれか一つの領域を対象に、当該領域に映される物体同士を比較することもできる。ドライバーは、これらの領域のうち任意の複数の領域を対象に、当該領域に映される物体同士を比較することもできる。
図14の例は、ミラー像41に映された物体の全体が表示されている場合に有効である。変換映像43によって物体が隠されていないため、ドライバーは、変換映像43に映された物体と、ミラー像41に映された物体とをそのまま比較できる。言い換えれば、ドライバーは、2つの物体を容易に視認できる。
ドライバーは、さらに、ミラー像41における物体(例えば、後続車両)の相対的位置と、変換映像43における同一の物体の相対的位置とが、互いに一致するか否かを確認することによっても、変換映像43が正しく表示されているかを確認できる。図14の例では、後続車両は、ミラー像41内において左側に映し出されており、変換映像43内において左側に映されている。言い換えれば、ミラー像41および変換映像43において、同一の物体の相対的位置が互いに同一である。したがって、ドライバーは、2つの後続車両を含む確認用領域104を確認することによって、変換映像43が正しく表示されていることを確認できる。図14の例は、ミラー像41に映された物体が、変換映像43によって隠れてしまう場合に効果的である。
図9を参照して説明した2分割表示に関する各種の変形例は、図14に基づく中央分割表示にも等しく適用される。例えば、図14の例において、後方表示装置1は、ミラー像41を中央領域101に表示すると共に、変換映像43を周辺領域102に表示することもできる。後方表示装置1は、さらに、図9の場合と同様に変換映像43を強調表示することもできる。後方表示装置1は、さらに、バックライトのうち周辺領域102を照らす箇所を、暗くするかまたは消灯することによって、周辺領域102にミラー像41のみを表示できる。
図14の例において、ドライバーが認識するミラー像41の輝度と変換映像43の輝度とが同一になるように、図9の例と同様に、反射率制御部21が調光ミラー14の反射率を制御し、輝度制御部22がディスプレイ13の輝度を調整してもよい。図14の例において、後方表示装置1は、さらに、輝度の調整に加えて、図9の例と同様に、コントラスト、ダイナミックレンジ、色調、および解像度などを調整してもよい。図14の例において、後方表示装置1は、さらに、図9の例と同様に、調整を行う表示領域50上の領域を、特定の領域に限定してもよい。ここでいう特定の領域として、表示領域50上の上領域、下領域、中央領域、左領域、または右領域が挙げられる。ここでいう中央領域とは、上領域と下領域とに挟まれる領域または左領域と右領域とに挟まれる領域のことである。さらには、特定の領域として、表示領域50上の、ミラー像41または変換映像43上に表示される特定の物体(車、人、建物、車道、風景など)を包含する領域などが挙げられる。
図10を参照して説明した3分割表示に関する変形例は、図14に基づく中央分割表示にも等しく適用される。例えば、後方表示装置1は、ミラー像41および変換映像43のうち、分割表示前に表示領域50の全体に表示していた像と同一の像を、分割表示時に中央領域101に表示してもよい。詳細には、分割表示前にミラー像41を表示領域50の全体に表示していた場合、分割表示時にミラー像41を中央領域101に表示すると共に変換映像43を周辺領域92に表示する。一方、分割表示前に変換映像43を表示領域50の全体に表示していた場合、分割表示時に変換映像43を中央領域101に表示すると共にミラー像41を周辺領域102に表示する。
(処理フローの一例)
図15は、本発明の第2の実施形態に係る後方表示装置1によって実行される一連の処理の流れを示すフローチャートである。
図15の処理が実行される前に、ドライバーは、操作部31を操作することによって、分割表示モードをあらかじめ選択する。分割表示モードとは、図9〜14のいずれかに示す分割表示例のことである。ドライバーとは異なる任意のユーザが分割表示モードを選択することもできる。後方表示装置1は、選択された分割表示モードを記憶する。図15に示す各処理のうち、ステップS1〜S9の各処理は図6に示すものと同一であるため、詳細な説明を省略する。
ステップS6の後、ステップS21において、映像処理部24は、ドライバーによって選択された分割表示モードに応じて、ミラー像41および変換映像43を表示領域50に分割表示する。映像処理部24は、図8〜図13のいずれかに対応する分割表示モードが選択された場合、変換映像43のうち分割表示モードに応じた一部領域を暗い映像に変換する。映像処理部24は、一部領域が暗い映像によって構成される変換映像43を、ミラー像41に重畳させて表示領域50に表示することによって、ミラー像41および変換映像43を表示領域50に分割表示する。映像処理部24は、図14に対応する分割表示モードが選択された場合、変換映像43の全体を縮小し、縮小後の変換映像43を中央領域101に表示する。映像処理部24は、さらに、周辺領域102に暗い映像を表示する。これらにより、映像処理部24は、ミラー像41および変換映像43を表示領域50に分割表示する。後方表示装置1は、暗い映像を表示する代わりに、表示領域50のうちミラー像41が表示される領域に対応するバックライトの一部箇所を暗くするかまたは消灯してもよい。
以上のように、本実施形態に係る後方表示装置1は、ミラー像41および変換映像43を表示領域50に分割表示する。言い換えれば、後方表示装置1は、ミラー像41および変換映像43を表示領域50に重畳表示しない。これにより、ミラー像41および変換映像43がドライバーに見えにくくなることを、抑制できる。さらに、ミラー像41および変換映像43の見やすさを最大限に向上させることができるので、変換映像43が正しく表示されているか否かをドライバーに容易に確認させることができる。
さらに、ドライバーは、ミラー像41および変換映像43に映された物体の像の連続性を確認したり、各物体の一致性を確認したりするなどの簡便な確認方法によって、変換映像43の反転表示の有無を確認できる。したがって、ドライバーは、車両2の停止中だけでなく走行中でも、変換映像43の反転表示の有無を確認できる。
本実施形態におけるミラー像41および変換映像43の分割表示のタイミングは、第1の実施形態に係るミラー像41および変換映像43の重畳表示のタイミングと同一である。さらに、本実施形態では、車両2の走行中においても分割表示が可能であり、特に車両2の低速走行中に分割表示することが効果的である。
〔第3の実施形態〕
(後方表示装置1の構成)
図16は、本発明の第3の実施形態に係る後方表示装置1が搭載される車両2の一例を示す図である。図16の(a)は、車両2の上面図であり、図16の(b)は車両2の後方面図である。本実施形態では、後方表示装置1および車載カメラ11が、車両2における図1と同一の位置にそれぞれ配置される。加えて、本実施形態では、視点検出器18が後方表示装置1の右上部に配置される。図16に示す視点検出器18の配置は、単なる一例に過ぎない。視点検出器18は、後方表示装置1以外の場所に配置されてもよい。視点検出器18の特性に応じて、視点の検出精度がより高くなる場所が既知である場合、その場所に視点検出器18を配置することが好ましい。
図17は、本発明の第3の実施形態に係る後方表示装置1の詳細な構成の一例を示す図である。図17の(a)は、後方表示装置1の側面を示し、図17の(b)は、後方表示装置1の前面を示す。この図に示すように、本実施形態に係る後方表示装置1は、車載カメラ11、ハーネス12、ディスプレイ13、調光ミラー14、照度センサ15、視点検出器18、姿勢検出器17、および距離センサ16を備えている。車載カメラ11、ハーネス12、ディスプレイ13、調光ミラー14、および照度センサ15は、第1の実施形態と同一であるため、詳細な説明を省略する。
距離センサ16は、車載カメラ11に設置されており、車載カメラ11の撮像対象と車載カメラ11との距離を測定する。距離センサ16は、必ずしも車載カメラ11に設置する必要はない。距離センサ16と車載カメラ11との位置関係が後方表示装置1にとって既知である場合、距離センサ16を車載カメラ11以外の任意の場所に設置できる。姿勢検出器17は、後方表示装置1に設置されており、車両2に対する後方表示装置1の姿勢を検出する。視点検出器18は、後方表示装置1に設置されており、ドライバーの視点を検出する。
図18は、本発明の第3の実施形態に係る後方表示装置1の要部構成の一例を示すブロック図である。この図に示すように、後方表示装置1は、表示部10、制御部20、および信号入力部30を備えている。表示部10および制御部20の構成は、第1の実施形態と同一であるため、詳細な説明を省略する。信号入力部30は、操作部31、車両信号取得部32、照度取得部33、映像取得部34、距離取得部35、姿勢取得部36、および視点取得部37を備えている。距離取得部35、姿勢取得部36、および視点取得部37は、いずれもCPU23に接続されている。
(距離センサ16および距離取得部35)
距離センサ16は、撮像対象と車載カメラ11との距離を測定する。距離取得部35は、距離センサ16によって測定された距離を距離センサ16から取得し、CPU23に伝送する。
(姿勢検出器17および姿勢取得部36)
姿勢検出器17は、車両2に対する後方表示装置1の姿勢を検出する。姿勢検出器17は、詳細には、車両2に対する後方表示装置1の3軸周りの各傾きを検出する。姿勢検出器17は、例えば、メカニカル方式の傾斜センサである。姿勢検出器17は、例えば、後方表示装置1の可動部に設置される。これにより、姿勢検出器17は、車両2のある状態を基準とした後方表示装置1の3軸周りの傾きを検出できる。姿勢検出器17は、加速度センサであってもよい。姿勢検出器17が加速度センサである場合、車両2の加減速または車両2の坂道の走行などによって、車両2に加速度が生じると、その加速度が後方表示装置1の傾きによって生じたものは、車両2に移動によって生じたものかを、区別することができない。車両2に別の加速度センサを取り付ければ、この区別を実現できる。例えば、姿勢取得部36は、姿勢検出器17が検出した加速度と、別の加速度センサが取得した加速度とを用いることによって、車両2を基準とした後方表示装置1の相対加速度を決定できる。
(視点検出器18および視点取得部37)
視点検出器18は、ドライバーの視点を検出する。視点検出器18は、詳細には、三次元空間におけるドライバーの両眼の位置座標を検出する。視点検出器18は、例えば、カメラなどのセンサによってドライバーの顔全体を撮像し、機械学習に基づく顔検出アルゴリズムを用いることによって、撮像映像からドライバーの両眼の位置座標を検出する。視点検出器18は、ドライバーの両眼の注視方向を検出することもできる。視点取得部37は、視点検出器18によって検出されたドライバーの視点を、視点検出器18から取得し、CPU23に伝送する。
ミラー像41および変換映像43が後方表示装置1に重畳表示される場合、これらの見え方をドライバーにとって一致させるためには、調光ミラー14の視野を決定するパラメータの値と、車載カメラ11の撮像範囲を決定するパラメータの値とを、測定によって事前に取得する必要がある。以下では、ミラー像41の視野を決定するパラメータの詳細と、車載カメラ11の撮像範囲を決定するパラメータの詳細とについて説明する。さらに、これらのパラメータの値を測定するための具体的な手法についても説明する。
(調光ミラー14の視野)
図19は、本発明の第3の実施形態に係る後方表示装置1における、調光ミラー14の視野および車載カメラ11の撮像範囲を示す模式図である。まず、調光ミラー14の視野について説明する。
図19において、車両2から見た静止座標系を考える。静止座標系の中心をOとする。車両2の座標系中心Oに対するドライバーの視点座標をEとする。後方表示装置1の両端の位置座標をそれぞれMおよびMとする。車両2を基準とした静止座標系上のディスプレイ13の表示面の単位法線ベクトルを
Figure 2020078051
とする。画角合わせ対象面をPとする。これらの定義に応じて、調光ミラー14が映し出すミラー像41の視野の境界は、画角合わせ対象面P上の点M’および点M’によって表される。任意の2つのベクトル
Figure 2020078051
のなす角を
Figure 2020078051
と表記した場合、点M’および点M’は、入射角および反射角が等しいという「反射の法則」を表す以下の制約によって、一意に決定される。
Figure 2020078051
このように、調光ミラー14の画角および視野は、ドライバーの視点座標E、単位法線ベクトル
Figure 2020078051
、後方表示装置1の両端の位置座標MおよびM、後方表示装置1の両端間の幅、ならびに後方表示装置1と画角合わせ対象面Pとの距離によって、決定される。
ドライバーの視点座標Eは、ドライバーの身長および座高に応じて異なる。同一のドライバーであっても、座席の調整位置および角度、ならびにドライバーの姿勢によって、視点座標Eが変化する可能性がある。したがって、視点取得部37は、視点検出器18によってリアルタイムに検出されたドライバーの視点座標Eを、視点検出器18からリアルタイムに取得する。姿勢取得部36は、ディスプレイ13の表示面の単位法線ベクトル
Figure 2020078051
を、姿勢検出器17によってリアルタイムに検出された後方表示装置1の姿勢に基づいて、リアルタイムに算出する。後方表示装置1の幅は、不変の定数と考えることができる。そこで、後方表示装置1の幅をあらかじめ測定しておき、固定値のパラメータとして後方表示装置1に設定しておく。
後方表示装置1と車載カメラ11の距離をDとし、車載カメラ11と画角合わせ対象面Pとの距離をDとすると、車載カメラ11と画角合わせ対象面Pとの距離は、D+Dによって表される。車両2はほぼ剛体と考えることができるので、車両2を基準とする後方表示装置1および車載カメラ11の位置は、いずれも不変であると考えることができる。したがって、距離Dは不変の定数と考えることができる。そこで、距離Dをあらかじめ測定し、固定のパラメータとして後方表示装置1に設定しておく。距離Dは、車両2の走行中に常に変化する。そこで、距離取得部35は、距離センサ16によってリアルタイムに測定された距離Dを、距離センサ16からリアルタイムに取得する。後方表示装置1は、距離センサ16の代わりにステレオカメラを用いることによって、距離Dをリアルタイムに測定することもできる。
(車載カメラ11の撮像範囲)
車載カメラ11の撮像範囲は、車載カメラ11の画角、車載カメラ11と画角合わせ対象面Pとの距離D、車両2の座標系中心Oに対する後方表示装置1の位置座標、および車両2から見た静止座標系に対する後方表示装置1の姿勢によって、決定される。
車載カメラ11の画角は、車載カメラ11に内蔵されるイメージセンサの大きさと、車載カメラ11に内蔵されるレンズの焦点距離と、レンズの光学中心位置とによって、決定される。これらのパラメータの値は車載カメラ11の利用中に変化しないと考えることができるので、車載カメラ11の画角は不変の定数と考えることができる。そこで、車載カメラ11の画角を固定のパラメータとしてあらかじめ後方表示装置1に設定できる。
車両2の座標系中心Oに対する車載カメラ11の位置座標は、不変であると考えることができる。そこで、車載カメラ11の位置座標をあらかじめ測定し、固定のパラメータとして後方表示装置1に設定できる。
ドライバーは、車両2の運転中に、後方表示装置1の筐体の角度を微調整することによって、後方表示装置1の位置を、後方表示装置1に表示される映像を見やすい位置に調整する。したがって、車両2から見た静止座標系に対する車載カメラ11の姿勢は、車両2の走行中に変化することが考えられる。そこで、後方表示装置1は、車両2に対する車載カメラ11の姿勢を、姿勢検出器17によってリアルタイムに測定する。
カメラ映像42には、車載カメラ11に内蔵されるレンズの特性によって、樽型歪みおよび糸巻き型歪みなどに代表される各種の歪曲収差が発生する可能性がある。歪曲収差のあるカメラ映像42では、撮像面に対して平行な面に置いたテストパターンの矩形が矩形としてカメラ映像42に投影されないので、歪んだカメラ映像42となってしまう。カメラ映像42に歪曲収差が存在する場合、調光ミラー14の視野と車載カメラ11の撮像範囲を同一にしたとしても、カメラ映像42の歪みによって、カメラ映像42に撮像範囲内でのずれが発生してしまう。そのため、ミラー像41の見え方と変換映像43の見え方とを一致させるためには、カメラ映像42の歪みを補正する必要がある。
車載カメラ11をキャリブレーションするなどによって、車載カメラ11の内部パラメータおよび歪み係数をあらかじめ取得し、後方表示装置1に設定しておく。映像処理部24は、これらの内部パラメータおよび歪み係数を用いることによって、カメラ映像42の歪みを補正できる。映像処理部24は、歪み補正後のカメラ映像42を変換することによって、変換映像43を生成する。
以上のように、本実施形態に係る後方表示装置1は、ドライバーの視点座標、後方表示装置1の姿勢、およびカメラ映像42の各画素に対応する距離を用いることによって、調光ミラー14の視野および車載カメラ11の撮像範囲をそれぞれ一意に決定できる。したがって、後方表示装置1は、視野と撮像範囲との差分を補正するように、カメラ映像42の拡大率または縮小率を決定したり、切り出し位置を調整したりできる。これにより、後方表示装置1は、ドライバーに対するミラー像41および変換映像43の見え方を互いに一致させることができる。
(処理フローの一例)
図20は、本発明の第3の実施形態に係る後方表示装置1によって実行される一連の処理の流れを示すフローチャートである。図20に示す各処理のうち、ステップS1〜S5、およびS7〜S9の各処理は図6に示すものと同一であるため、詳細な説明を省略する。
ステップS5において「YES」の場合、ステップS31において、視点取得部37は、視点検出器18によって検出されたドライバーの視点を取得する。視点取得部37は、例えば、ドライバーの視点座標を取得する。ここで取得される視点座標は、視点検出器18から見た相対座標である。視点取得部37は、取得された視点座標に、座標系中心Oから見た視点検出器18の座標を加算することによって、取得された視点座標を、座標系中心Oに対するドライバーの視点座標に変換する。後方表示装置1の周辺照度が極端に低かったり、ドライバーが極端に横を向いていたりするなどによって、視点検出器18によるドライバーの視点検出が困難である環境下では、視点取得部37がドライバーの視点座標を取得できない場合がある。視点取得部37は、視点座標を取得できなかった場合、後方表示装置1に設定される既定のデフォルト座標を、取得された視点座標として扱う。
ステップS32において、姿勢取得部36は、姿勢検出器17によって検出された後方表示装置1の姿勢を取得する。この例では、車両2を基準にした静止座標系に対する後方表示装置1のロール角、ピッチ角、およびヨー角を取得する。ステップS33において、距離取得部35は、距離センサ16によって測定された、カメラ映像42内の各画素に対応する車載カメラ11と画角合わせ対象面Pとの各距離を取得する。距離取得部35は、例えば、カメラ映像42に含まれる画素の数と同一の数の距離を取得する。ステップS34において、映像処理部24は、取得された視点、姿勢、および距離を用いることによって、ミラー像41と同一の画角を有する変換映像43を生成する。画角合わせのためのカメラ映像42の拡大率または縮小率は、車載カメラ11と画角合わせ対象面Pとの距離によって決まる。したがって、ステップS34において、映像処理部24は、カメラ映像42の各画素に対応する距離を用いることによって、カメラ映像42の各画素を、当該画素に対応する倍率で個別に拡大または縮小する。この後、後方表示装置1は、ステップS7〜S9の各処理を実行する。
(変形例)
後方表示装置1は、映像反転をドライバーに確認させる際、後方表示装置1の映像を注視するように、音声などによってドライバーに喚起できる。後方表示装置1は、この際、視点検出器18によって検出したドライバーの視線の注視方向を参照できる。後方表示装置1は、検出された視線の注視方向を参照することによって、例えばドライバーが後方表示装置1を注視していないときのみに限定して、注視を喚起するための音声を出力する。
後方表示装置1は、視点検出器18の代わりに、ドライバーの顔全体の特徴点などを検出する顔検出器を備えることができる。後方表示装置1は、顔検出器によって、ドライバーの視線のみでなく、ドライバーの顔全体の傾きなどの特徴点を検出できる。したがって、後方表示装置1は、後方表示装置1の映像注視をドライバーに喚起する際に、ドライバーの顔全体の特徴点を参照できる。後方表示装置1は、複数の特徴点を参照することによって、視点検出器18によって検出された視線の注視方向のみを参照する場合よりも、ドライバーに対してより効果的に注視を喚起できる。
第1の実施形態から第3の実施形態に係る後方表示装置1の一部(例えば、映像処理部24)は、コンピュータによって実現することもできる。例えば、後方表示装置1の一部による制御機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することによって、後方表示装置1の一部を実現できる。ここでいう「コンピュータシステム」とは、オペレーティングシステムおよび周辺機器などの各種のハードウェアを含む。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、およびCD−ROMなどの可搬媒体、ならびにコンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークまたは電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間かつ動的にプログラムを保持するもののことをいう。さらには、サーバまたはクライアントとなるコンピュータシステムに内蔵される揮発性メモリのような、プログラムの送信時に当該プログラムを一定時間保持する記録媒体も、「コンピュータ読み取り可能な記録媒体」の一種に含まれる。プログラムは、前述した制御機能の一部を実現するためのものでもよい。あるいは、プログラムは、コンピュータシステムに記録済みの他のプログラムと組み合わせて実行することによって、前述した制御機能のすべてを実現できるものであっても良い。
各実施形態に係る後方表示装置1の少なくとも一部を、LSI(Large Scale Integration)などの集積回路として実現することもできる。後方表示装置1の各機能ブロックを、個別にプロセッサ化することもできる。後方表示装置1の各機能ブロックの一部または全部を集積化してプロセッサ化することもできる。集積回路化は、LSIに限らず、専用回路または汎用プロセッサによっても実現できる。将来的な半導体技術の進歩によって、LSIに代わる新たな集積回路化の技術が実現された場合、その技術を用いて各機能ブロックの一部または全部を集積化することもできる。
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。
1 後方表示装置
2 車両
10 表示部
11 車載カメラ
12 ハーネス
13 ディスプレイ
14 調光ミラー
15 照度センサ
16 距離センサ
17 姿勢検出器
18 視点検出器
20 制御部
21 反射率制御部
22 輝度制御部
23 CPU
24 映像処理部
30 信号入力部
31 操作部
32 車両信号取得部
33 照度取得部
34 映像取得部
35 距離取得部
36 姿勢取得部
37 視点取得部
41 ミラー像
42 カメラ映像
43 変換映像
50 表示領域
51、61 上領域
52、63 下領域
62、82、91、101 中央領域
64、73、84、93、103、104 確認用領域
71、81 左領域
72、83 右領域
92、102 周辺領域
、L 輝度
、M 位置座標
’、M’ 点
α、β 反射率

Claims (13)

  1. 表示部と、
    前記表示部の表示面に重畳して配置され、かつ、車両の周辺をミラー像として映し出す調光ミラーと、
    前記車両の周辺を撮像することによって、映像を生成する撮像部と、
    前記映像を変換することによって、前記ミラー像と同一の画角を有する変換映像を生成すると共に、前記変換映像を前記ミラー像に重畳させて前記表示部に表示する映像処理部とを備えていることを特徴とする後方表示装置。
  2. 前記映像処理部は、前記変換映像のうち一部分を暗い映像として前記表示部に表示することによって、前記変換映像および前記ミラー像を前記表示部に分割表示することを特徴とする請求項1に記載の後方表示装置。
  3. 前記ミラー像の輝度に合わせて、前記表示部の輝度を制御する輝度制御部をさらに備えていることを特徴とする請求項1または2に記載の後方表示装置。
  4. 前記表示部の輝度に合わせて、前記調光ミラーの反射率を制御する反射率制御部をさらに備えていることを特徴とする請求項1または2項に記載の後方表示装置。
  5. 前記ミラー像の輝度に合わせて、前記表示部の輝度を制御する輝度制御部と、
    前記表示部の輝度に合わせて、前記調光ミラーの反射率を制御する反射率制御部とをさらに備えており、
    前記ミラー像の輝度と、前記表示部の輝度とが一致するように、前記調光ミラーの反射率および前記表示部の輝度を制御することを特徴とする請求項1または2に記載の後方表示装置。
  6. 前記映像処理部は、前記変換映像または前記ミラー像のうち分割表示前に前記表示部の表示領域の全体に表示していた像と同一の像を、分割表示時に前記表示領域における中央領域に表示することを特徴とする請求項2に記載の後方表示装置。
  7. 前記車両に関する車両情報を取得する車両情報取得部と、
    前記車両情報に基づいて、前記車両が停止しているか否かを判定する判定部とをさらに備えており、
    前記映像処理部は、前記車両が停止していると判定された場合、前記変換映像を前記ミラー像に重畳させて前記表示部に表示することを特徴とする請求項1または2に記載の後方表示装置。
  8. 前記映像処理部は、前記変換映像を前記表示部に表示することと、前記ミラー像を前記表示部に表示することと、前記変換映像を前記ミラー像に重畳させて前記表示部に表示することのうち、少なくとも2つの表示を、一定時間ごとに切り替えることを特徴とする請求項1または2に記載の後方表示装置。
  9. ドライバーの視点を取得する視点取得部と、
    前記後方表示装置の姿勢を取得する姿勢取得部と、
    前記撮像部と撮像対象との距離を取得する距離取得部とをさらに備えており、
    前記映像処理部は、前記視点、前記姿勢、および前記距離を用いることによって、前記ミラー像と同一の前記画角を有する前記変換映像を生成することを特徴とする請求項1または2に記載の後方表示装置。
  10. 表示部と、
    前記表示部の表示面に重畳して配置され、かつ、車両の周辺をミラー像として映し出す調光ミラーと、
    前記車両の周辺を撮像することによって、映像を生成する撮像部と、
    前記映像を変換することによって、前記映像が縮小された変換映像を生成し、前記表示部の表示領域における第1領域に前記変換映像を表示すると共に、前記表示領域における前記第1領域を除く第2領域に暗い映像を表示することによって、前記変換映像および前記ミラー像を前記表示領域に分割表示する映像処理部とを備えていることを特徴とする後方表示装置。
  11. 表示部と、前記表示部の表示面に重畳して配置され、かつ車両の周辺をミラー像として映し出す調光ミラーとを備えている後方表示装置によって実行される後方表示方法であって、
    前記車両の周辺を撮像することによって、映像を生成する生成工程と、
    前記映像を変換することによって、前記ミラー像と同一の画角を有する変換映像を生成すると共に、前記変換映像を前記ミラー像に重畳させて前記表示部に表示する映像処理工程とを有することを特徴とする後方表示方法。
  12. 表示部と、前記表示部の表示面に重畳して配置され、かつ、車両の周辺をミラー像として映し出す調光ミラーとを備えている後方表示装置によって実行される後方表示方法であって、
    前記車両の周辺を撮像することによって、映像を生成する撮像工程と、
    前記映像を変換することによって、前記映像が縮小された変換映像を生成し、前記表示部の表示領域における第1領域に前記変換映像を表示すると共に、前記表示領域における前記第1領域を除く第2領域に暗い映像を表示することによって、前記変換映像および前記ミラー像を前記表示領域に分割表示する表示工程とを有することを特徴とする後方表示方法。
  13. 請求項1または10に記載の後方表示装置としてコンピュータを機能させるためのプログラムであって、前記各部としてコンピュータを機能させるためのプログラム。
JP2019163827A 2018-09-14 2019-09-09 後方表示装置、後方表示方法、およびプログラム Active JP6857695B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862731541P 2018-09-14 2018-09-14
US62/731,541 2018-09-14

Publications (2)

Publication Number Publication Date
JP2020078051A true JP2020078051A (ja) 2020-05-21
JP6857695B2 JP6857695B2 (ja) 2021-04-14

Family

ID=69774748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019163827A Active JP6857695B2 (ja) 2018-09-14 2019-09-09 後方表示装置、後方表示方法、およびプログラム

Country Status (3)

Country Link
US (1) US11077793B2 (ja)
JP (1) JP6857695B2 (ja)
CN (1) CN110901531B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
JP7343441B2 (ja) * 2020-04-17 2023-09-12 トヨタ自動車株式会社 表示制御装置、表示制御方法及びプログラム
US20210394616A1 (en) * 2020-06-23 2021-12-23 Bruce Matthew Paggeot Method and Apparatus for Real-Time Acceleration Indication
JP2023066483A (ja) * 2021-10-29 2023-05-16 フォルシアクラリオン・エレクトロニクス株式会社 後方画像表示装置、及び後方画像表示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2005335410A (ja) * 2004-05-24 2005-12-08 Olympus Corp 画像表示装置
JP2006135797A (ja) * 2004-11-08 2006-05-25 Matsushita Electric Ind Co Ltd 車両用周囲状況表示装置
JP2010130647A (ja) * 2008-12-01 2010-06-10 Aisin Seiki Co Ltd 車両周辺確認装置
JP2017034453A (ja) * 2015-07-31 2017-02-09 富士通テン株式会社 画像処理装置、画像表示システム及び画像処理方法
JP2018026757A (ja) * 2016-08-12 2018-02-15 株式会社デンソー 周辺監査装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4180931A (en) * 1977-10-11 1980-01-01 Osch John V Display device
US5883605A (en) * 1992-02-25 1999-03-16 Gentex Corporation Automatic electrochromic control of light level of vacuum fluorescent display
US6445287B1 (en) * 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
WO2006124682A2 (en) * 2005-05-16 2006-11-23 Donnelly Corporation Vehicle mirror assembly with indicia at reflective element
US20020154007A1 (en) * 2001-04-20 2002-10-24 Tsan-Lung Yang Car reverse alerting and multi-functional display
US7253833B2 (en) * 2001-11-16 2007-08-07 Autonetworks Technologies, Ltd. Vehicle periphery visual recognition system, camera and vehicle periphery monitoring apparatus and vehicle periphery monitoring system
CN1985266B (zh) * 2004-07-26 2010-05-05 奥普提克斯晶硅有限公司 全景视觉系统和方法
EP2378350B1 (en) * 2006-03-09 2013-12-11 Gentex Corporation Vehicle rearview assembly including a high intensity display
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP5209578B2 (ja) 2009-07-28 2013-06-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像表示装置
WO2013044077A1 (en) * 2011-09-23 2013-03-28 Johnson Controls Technology Company Systems and methods for rear view mirror displays
JP2013073352A (ja) * 2011-09-27 2013-04-22 Nec Casio Mobile Communications Ltd 携帯型電子機器、入力操作受付方法およびプログラム
US9333900B2 (en) * 2011-10-12 2016-05-10 Imra America, Inc. Apparatus for generating high contrast optical signals, and exemplary applications
US20130229519A1 (en) * 2012-03-01 2013-09-05 Madhav Kavuru Automatic rear view display in vehicles with entertainment systems
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
US10449902B1 (en) * 2013-09-24 2019-10-22 Rosco, Inc. Mirror monitor using two levels of reflectivity and transmissibility
FR3015939B1 (fr) * 2013-12-30 2018-06-15 Valeo Systemes Thermiques Dispositif et procede de retro-vision a affichage electronique pour vehicule.
US20170320435A1 (en) * 2014-09-23 2017-11-09 Dae Kwon Chung WiFi Wireless Rear View Parking System
JP2018022932A (ja) * 2014-12-08 2018-02-08 株式会社ジャパンディスプレイ 表示システム及び表示装置
US20160159286A1 (en) * 2014-12-09 2016-06-09 Jerry Harville Rear View Mirror System and Related Methods
JP6507660B2 (ja) 2015-01-15 2019-05-08 株式会社デンソー 視界支援装置
US9580012B2 (en) * 2015-03-02 2017-02-28 Tk Holdings Inc. Vehicle object detection and notification system
TWI564185B (zh) * 2015-06-03 2017-01-01 Chun-Hsien Kuo Multi - mode switch car rearview mirror
US9969332B1 (en) * 2015-06-03 2018-05-15 Ambarella, Inc. Reduction of LED headlight flickering in electronic mirror applications
JP6402684B2 (ja) * 2015-06-10 2018-10-10 トヨタ自動車株式会社 表示装置
US10635290B2 (en) * 2015-06-11 2020-04-28 Karma Automotive Llc Virtual joy stick controls for adjustable components in vehicles
US10046706B2 (en) * 2015-06-26 2018-08-14 Magna Mirrors Of America, Inc. Interior rearview mirror assembly with full screen video display
CN105469771A (zh) * 2016-02-02 2016-04-06 京东方科技集团股份有限公司 一种车载后视显示系统及显示方法
JP2017165211A (ja) 2016-03-15 2017-09-21 パナソニックIpマネジメント株式会社 電子ミラー
US20170297493A1 (en) * 2016-04-15 2017-10-19 Ford Global Technologies, Llc System and method to improve situational awareness while operating a motor vehicle
US10948798B2 (en) * 2016-05-02 2021-03-16 Magna Mirrors Of America, Inc. Caseless rearview mirror assembly
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
US20180222391A1 (en) * 2017-02-03 2018-08-09 Da Xiang CHEN Multi-function, Network Linked Smart Rearview Mirror
JP6554131B2 (ja) * 2017-03-15 2019-07-31 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
US10942379B2 (en) * 2018-07-10 2021-03-09 Visteon Global Technologies, Inc. System and method for a mirror with active feedback dimming

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2005335410A (ja) * 2004-05-24 2005-12-08 Olympus Corp 画像表示装置
JP2006135797A (ja) * 2004-11-08 2006-05-25 Matsushita Electric Ind Co Ltd 車両用周囲状況表示装置
JP2010130647A (ja) * 2008-12-01 2010-06-10 Aisin Seiki Co Ltd 車両周辺確認装置
JP2017034453A (ja) * 2015-07-31 2017-02-09 富士通テン株式会社 画像処理装置、画像表示システム及び画像処理方法
JP2018026757A (ja) * 2016-08-12 2018-02-15 株式会社デンソー 周辺監査装置

Also Published As

Publication number Publication date
CN110901531A (zh) 2020-03-24
US11077793B2 (en) 2021-08-03
CN110901531B (zh) 2023-06-16
JP6857695B2 (ja) 2021-04-14
US20200086792A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
US10339811B2 (en) Image processing apparatus, electronic apparatus, and image processing method
JP5093611B2 (ja) 車両周辺確認装置
JP2014116756A (ja) 周辺監視システム
JP6669019B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6669053B2 (ja) ヘッドアップディスプレイシステム
JPWO2017056953A1 (ja) 表示装置
JP2017034453A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP2011217318A (ja) 車両用後方視認システム
JP2014026177A (ja) 車両用表示制御装置、車両用表示装置及び車両用表示制御方法
KR101657673B1 (ko) 파노라마뷰 생성 장치 및 방법
JP4552636B2 (ja) ドライバモニタシステムおよびその処理方法
KR20150079004A (ko) 차량용 표시 장치 및 그 제어 방법
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
JP2020052143A (ja) 画像表示装置、画像表示方法
US10102436B2 (en) Image processing device, warning device and method for processing image
JP2018084767A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
WO2018109991A1 (ja) 表示装置、電子ミラー、表示装置の制御方法、プログラム、記録媒体
JP4893388B2 (ja) 車両用撮像装置
JP7099239B2 (ja) 表示装置及び表示制御装置
CN219495252U (zh) 车载裸眼3d投影导航设备及车辆
JP2009262881A (ja) 車両用表示装置
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP4285229B2 (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210322

R150 Certificate of patent or registration of utility model

Ref document number: 6857695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150