JP2019217970A

JP2019217970A - 電子ミラー装置及び画像表示方法

Info

Publication number: JP2019217970A
Application number: JP2018118108A
Authority: JP
Inventors: 優太中村; Yuta Nakamura
Original assignee: Nidec Copal Corp
Current assignee: Nidec Precision Corp
Priority date: 2018-06-21
Filing date: 2018-06-21
Publication date: 2019-12-26

Abstract

【課題】電子ミラー装置において、表示部に表示された視界に対して対象者が違和感を覚える可能性を低減する。【解決手段】電子ミラー装置は、車両に取り付けられる電子ミラー装置であって、前記車両の周辺を撮像した撮像画像を取得する撮像画像取得部と、前記車両に乗車している対象者のポジションを取得するポジション取得部と、前記車両にミラーが設けられた場合に、前記対象者が前記ミラーを介して見得る視界を示すミラー画像を、前記ポジションに応じて前記撮像画像に基づき生成する画像生成部と、前記ミラー画像を表示する表示部と、を備える。【選択図】図２

Description

本発明の一態様は、車両に搭載される電子ミラー装置などに関する。

車両の後方を撮像した画像をモニタに表示する電子ミラー装置が開発されている。このような電子ミラー装置は、たとえば特許文献１などに開示されている。

特開２０１７−２４４６４号公報

車両には、ルームミラー及びサイドミラーなどのバックミラーが取り付けられ、運転者は、バックミラーを介して車両後方の視界を確保する。バックミラーに映る後方の視界は、運転者の頭部の位置及び姿勢などのポジションに応じて変化するので、運転者は、ポジションを変更することで、通常のポジションではバックミラーに映らない後方視界を得ることもできる。

特許文献１の電子ミラー装置では、右カメラ及び左カメラが、車両の右側後方及び左側後方をそれぞれ広い画角で撮像する。車両の室内には、右モニタ及び左モニタが設けられる。右モニタには、右カメラによって撮像された画像の一部が切り出された画像が表示される。同様に、左モニタには、左カメラによって撮像された画像の一部が切り出された画像が表示される。特許文献１の電子ミラー装置では、画像を切り出す範囲が操作パネルを介して調整可能に構成されている。

しかしながら、右モニタ及び左モニタに表示される画像は、運転者のポジションに応じて変化しない。このため、運転者は、ポジションを変更しても右モニタ及び左モニタに表示される画像が変化しないため違和感を覚えることがある。また、通常のポジションではバックミラーに映らない視界を右モニタ及び左モニタから得ることが容易ではない。

本発明は、上記の課題などを解決するために次のような手段を採る。なお、以下の説明において、発明の理解を容易にするために図面中の符号等を括弧書きで付記するが、本発明の各構成要素はこれらの付記したものに限定されるものではなく、当業者が技術的に理解しうる範囲にまで広く解釈されるべきものである。

本発明の一の手段は、
車両（８１）に取り付けられる電子ミラー装置（１，２，３）であって、
前記車両の周辺を撮像した撮像画像を取得する撮像画像取得部（２１，４１）と、
前記車両に乗車している対象者（Ｄｖ）のポジションを取得するポジション取得部（２２）と、
前記車両にミラーが設けられた場合に、前記対象者が前記ミラーを介して見得る視界（ＶＡ１，ＶＡ２）を示すミラー画像を、前記ポジションに応じて前記撮像画像に基づき生成する画像生成部（２３，２７，４３）と、
前記ミラー画像を表示する表示部（１５）と、を備える、
電子ミラー装置である。

上記構成の電子ミラー装置によれば、仮に車両に設けられたミラーを介して対象者が見得る視界を表示部に表示することで、表示部に表示される視界を対象者のポジションに応じて変更することができるので、表示部に表示された視界に対して対象者が違和感を覚える可能性を低減することができる。また、対象者は、ポジションを変更することで、通常のポジションではミラーに映らない視界を表示部において容易に視認することができる。

上記電子ミラー装置において、好ましくは、
前記ポジション取得部は、前記対象者の眼の位置を取得し、
前記画像生成部は、前記眼の位置に応じた前記視界を決定し、決定した前記視界を示す前記ミラー画像を前記撮像画像に基づき生成する。

上記構成の電子ミラー装置によれば、たとえば、対象者の眼の位置に基づき、対象者の眼から表示部への視線方向をより容易に算出することができるので、仮に車両に設けられたミラーを介して対象者が見得る視界をより正しく生成することができる。これにより、対象者が覚える違和感をより低減することができる。

上記電子ミラー装置において、好ましくは、
前記ポジション取得部は、前記表示部と前記対象者との間の距離（ｄ）をさらに取得し、
前記画像生成部は、前記距離に応じて前記視界の視野を変更する。

上記構成の電子ミラー装置によれば、たとえば、対象者が表示部に近づいたときに視界の視野を大きくし、対象者が表示部から離れたときに視界の視野を小さくすることができるので、対象者が覚える違和感をより低減することができる。

上記電子ミラー装置において、好ましくは、
前記画像生成部は、前記視界の範囲（ＩＡ１，ＩＡ２）を調整可能である。

上記構成の電子ミラー装置によれば、たとえば後方視界の範囲を車両の上側、下側、右側または左側などに移動させることができる。すなわち、たとえば、対象者がバックミラーの向きを調整するときの感覚と同様の感覚で後方視界の範囲を調整することができる。また、後方視界の範囲を拡大または縮小することができるので、遠くの物体を拡大して表示したり、より広い後方視界を表示したりすることができる。これにより、車両の運転の安全性をより高めることができる。

上記電子ミラー装置において、好ましくは、
前記車両のギアポジションを取得するギアポジション取得部（２４）をさらに備え、
前記電子ミラー装置（３）は、サイドミラーの位置に取り付けられ、
前記画像生成部（２７）は、前記ギアポジションがリバース位置である場合、前記視界の範囲を下方に移動させる。

上記構成の電子ミラー装置によれば、車両を後退させようとするときに、より下方の後方視界を表示させることができるので、たとえば、駐車場の枠線を対象者に認識させやすくするとともに、子供及び障害物などの全高の小さい物体を対象者に発見させやすくすることができる。これにより、車両の運転の安全性をより高めることができる。

上記電子ミラー装置において、好ましくは、
前記撮像画像取得部（４１）は、複数の撮像装置（１１，３１）から前記撮像画像をそれぞれ取得し、
前記画像生成部（４３）は、複数の前記撮像装置のうちの１つの前記撮像装置（１１）によって撮像された前記撮像画像に基づき前記ミラー画像を生成し、生成した前記ミラー画像が視認困難であると判断された場合、他の前記撮像装置（３１）によって撮像された前記撮像画像に基づき前記ミラー画像を生成する。

上記構成の電子ミラー装置によれば、ミラー画像が視認困難な場合に、他の撮像装置によって撮像された撮像画像に基づくミラー画像を表示することができるので、より良好な視界を表示部に表示することができる。これにより、視界が視認困難となる可能性を低減することができるので、車両の運転の安全性をより高めることができる。

上記電子ミラー装置において、好ましくは、
前記表示部は、前記ミラーの位置に設けられる。

上記構成の電子ミラー装置によれば、ミラーに視線を向ける感覚で表示部に視線を向けることができるので、表示部に表示された視界に対して対象者が違和感を覚える可能性をより低減することができる。

また、本発明の別の手段は、
表示部を備え、車両に取り付けられる電子ミラー装置における画像表示方法であって、
前記車両の周辺を撮像した撮像画像を取得するステップと、
前記車両に乗車している対象者のポジションを取得するステップと、
前記車両にミラーが設けられた場合に、前記対象者が前記ミラーを介して見得る視界を示すミラー画像を、前記ポジションに応じて前記撮像画像に基づき生成するステップと、
前記表示部に前記ミラー画像を表示するステップと、を有する、
画像表示方法である。

上記構成の画像表示方法によれば、仮に車両に設けられたミラーを介して対象者が見得る視界を表示部に表示することで、表示部に表示される視界を対象者のポジション変更に応じて変更することができるので、表示部に表示された視界に対して対象者が違和感を覚える可能性を低減することができる。また、対象者は、ポジションを変更することで、通常のポジションではミラーに映らない視界を表示部において容易に視認することができる。

上記いずれかの電子ミラー装置は、乗用車などの車両に好適に適用される。

図１は、本実施形態の乗用車を上からみた模式図である。図２は、本実施形態の電子ミラー装置の構成を示す図である。図３は、本実施形態の乗用車を上からみた模式図である。図４は、本実施形態における電子ミラー装置におけるミラー画像表示処理の第１の具体例を示すフローチャートである。図５は、本実施形態における電子ミラー装置におけるミラー画像表示処理の第２の具体例を示すフローチャートである。図６は、本実施形態の第１の変形例の電子ミラー装置の構成を示す図である。図７は、本実施形態の第２の変形例の電子ミラー装置の構成を示す図である。

本発明の電子ミラー装置は、車両の後部方向を撮像した撮像画像を取得し、車両にミラーが設けられた場合に、対象者が当該ミラーを介して見得る視界を示すミラー画像を、対象者のポジションに応じて撮像画像に基づき生成し、生成したミラー画像を表示部に表示する点を特徴の一つとしている。本明細書では、ミラー画像には、左右が反転した画像だけでなく、左右が反転していない画像も含まれる

なお、本明細書では、運転者に対してステアリングが位置する方向、言い換えると着座した運転者が向く方向、または車両が前進する方向を「フロント側」または「車両前方」と称する。ステアリングに対して運転者が位置する方向、言い換えると車両が後退する方向を「リア側」または「車両後方」と称する。リア側からフロント側を見て右側及び左側を、それぞれ「車両右側」及び「車両左側」と称する。車両から見て鉛直上方側を「車両上側」と称し、車両から見て鉛直下方側を「車両下側」と称する。

本発明に係る実施形態について、以下の構成に従って説明する。ただし、以下で説明する実施形態はあくまで本発明の一例にすぎず、本発明の技術的範囲を限定的に解釈させるものではない。なお、各図面において、同一の構成要素には同一の符号を付しており、その説明を省略する場合がある。
１．実施形態
（１）基本例
（２）動作例１
（３）動作例２
（４）第１の変形例
（５）第２の変形例
２．補足事項

＜１．実施形態＞
＜（１）基本例＞
本発明の実施形態について、図面を参照しながら説明する。図１は、本実施形態の乗用車を上からみた模式図である。図２は、本実施形態の電子ミラー装置の構成を示す図である。

図１及び図２に示されるように、本実施形態の乗用車８１は、電子ミラーカメラ１１、ドライバーモニタカメラ１２、及び電子ミラー装置１を含んで構成される。電子ミラー装置１は、モニタ１５、撮像画像取得部２１、ポジション取得部２２、画像生成部２３、及び操作受付部２６を含んで構成される。乗用車８１は、本発明でいう「車両」の一具体例である。

電子ミラー装置１は、乗用車８１に取り付けられる。本実施形態では、電子ミラー装置１は、たとえば、仮に乗用車８１にルームミラー本体（以下、仮想ルームミラー本体と称することがある。）が取り付けられた場合における仮想ルームミラー本体の位置に設けられる。ここで、仮想ルームミラー本体は、ミラー（以下、仮想ルームミラーと称することがある。）及び支持具を含んで構成されると仮定する。本実施形態では、電子ミラー装置１の筐体には、モニタ１５、撮像画像取得部２１、ポジション取得部２２、画像生成部２３、及び操作受付部２６が格納される。なお、モニタ１５以外の撮像画像取得部２１、ポジション取得部２２、画像生成部２３及び操作受付部２６のうちの少なくともいずれか１つは、電子ミラー装置１の筐体の外部に設けられてもよい。

＜電子ミラーカメラ１１＞
電子ミラーカメラ１１は、乗用車８１の後部方向を撮像する。本実施形態では、電子ミラーカメラ１１は、たとえば、乗用車８１の後部に設けられ、乗用車８１の後部方向を広い画角で撮像する。電子ミラーカメラ１１が撮像する撮像範囲ＳＡは、たとえば、運転席に位置する運転者Ｄｖが仮想ルームミラーを介して見得る後方視界ＶＡ１より広い。電子ミラーカメラ１１は、たとえば、定期的に撮像を行い、撮像した画像（以下、撮像画像と称することがある。）を示す撮像画像情報を電子ミラー装置１へ送信する。電子ミラーカメラ１１は、本発明でいう「撮像装置」の一具体例である。運転者Ｄｖは、本発明でいう「対象者」の一具体例である。後方視界は、本発明でいう「視界」の一具体例である。

＜ドライバーモニタカメラ１２＞
本実施形態では、ドライバーモニタカメラ１２は、たとえば、乗用車８１の室内において運転者Ｄｖに対するフロント側に設置される。ドライバーモニタカメラ１２は、運転席に着座した運転者Ｄｖが頭部を前後左右に動かした場合に、運転者Ｄｖの頭部が撮像範囲から外れない程度の画角を少なくとも有する。ドライバーモニタカメラ１２は、たとえば、定期的に撮像を行い、撮像した画像（以下、運転者画像と称することがある。）を示す運転者画像情報を電子ミラー装置１へ送信する。

＜電子ミラー装置１＞
＜モニタ１５＞
モニタ１５は、仮想ルームミラーの位置に設けられ、画像生成部２３から受けるミラー画像を表示する。ここで、ミラー画像は、後方視界ＶＡ１を含む画像である。ミラー画像の生成方法の詳細については後述する。本実施形態では、モニタ１５は、たとえば、仮想ルームミラーと同様の向きで、運転者Ｄｖがモニタ１５を視認可能なように取り付けられる。モニタ１５は、本発明でいう「表示部」の一具体例である。

＜撮像画像取得部２１＞
撮像画像取得部２１は、撮像画像を取得する。本実施形態では、撮像画像取得部２１は、たとえば、電子ミラーカメラ１１から撮像画像情報を定期的に受信し、受信した撮像画像情報を画像生成部２３へ出力する。

＜ポジション取得部２２＞
ポジション取得部２２は、運転者Ｄｖのポジション、及びモニタ１５と運転者Ｄｖとの間の距離ｄを取得する。本実施形態では、ポジション取得部２２は、たとえば、ドライバーモニタカメラ１２から運転者画像情報を定期的に受信し、受信した運転者画像情報に基づき、運転者Ｄｖの視線方向及び距離ｄを算出する。より詳細には、ポジション取得部２２は、たとえば、運転者画像情報の示す運転者画像を解析し、運転者Ｄｖの眼の位置を取得する。ポジション取得部２２は、たとえば、運転者画像における運転者Ｄｖの眼の位置に基づき、運転者Ｄｖの眼からモニタ１５への方向を視線方向として算出する。ポジション取得部２２は、たとえば、運転者Ｄｖが乗用車８１の前方などを注視し、モニタ１５に視線を合せていない場合でも、運転者Ｄｖの眼からモニタ１５への方向を視線方向として算出する。また、ポジション取得部２２は、運転者画像における運転者Ｄｖのサイズ、ならびに運転者画像における運転者Ｄｖの眼の大きさ及び位置などに基づき距離ｄを算出する。ポジション取得部２２は、視線方向を示す視線方向情報と距離ｄを示す距離情報とを画像生成部２３へ定期的に出力する。

＜画像生成部２３＞
画像生成部２３は、運転者Ｄｖのポジションに応じて、撮像画像に基づきミラー画像を生成する。詳細には、画像生成部２３は、運転者Ｄｖの眼の位置に応じた後方視界ＶＡ１を決定し、決定した後方視界ＶＡ１を示すミラー画像を撮像画像に基づき生成する。また、画像生成部２３は、距離ｄに応じて後方視界ＶＡ１の視野を変更する。

本実施形態では、画像生成部２３は、ポジション取得部２２から定期的に受ける視線方向情報及び距離情報、ならびに撮像画像取得部２１から定期的に受ける撮像画像情報に基づきミラー画像を生成する。詳細には、画像生成部２３は、たとえば、最新の視線方向情報の示す視線方向に基づき後方視界ＶＡ１の中心を算出する。たとえば、図１では、後方視界ＶＡ１の中心は、乗用車８１の真後ろである。また、画像生成部２３は、たとえば、距離情報の示す距離ｄに基づき後方視界ＶＡ１のサイズを算出する。具体的には、運転者Ｄｖがモニタ１５に近づいて距離ｄが小さくなると、画像生成部２３は、より大きい後方視界ＶＡ１のサイズを算出し、運転者Ｄｖがモニタ１５から離れて距離ｄが大きくなると、画像生成部２３は、より小さい後方視界ＶＡ１のサイズを算出する。

なお、他の実施形態では、運転者Ｄｖがモニタ１５に近づいて距離ｄが小さくなると、画像生成部２３は、より小さい後方視界ＶＡ１のサイズを算出し、運転者Ｄｖがモニタ１５から離れて距離ｄが大きくなると、画像生成部２３は、より大きい後方視界ＶＡ１のサイズを算出する。

画像生成部２３は、算出した後方視界ＶＡ１の中心及び後方視界ＶＡ１のサイズに基づき、撮像画像情報の示す撮像画像からミラー画像を取得する。詳細には、画像生成部２３は、たとえば、後方視界ＶＡ１の中心及び後方視界ＶＡ１のサイズと撮像画像からミラー画像を切り取る範囲（以下、表示範囲ＩＡ１と称することがある。）との対応関係を示す対応情報を有している。画像生成部２３は、対応情報に基づき、後方視界ＶＡ１の中心及び後方視界ＶＡ１のサイズに対応する表示範囲ＩＡ１を取得する。画像生成部２３は、取得した表示範囲ＩＡ１に含まれる画像すなわちミラー画像を撮像画像から切り取る。

図３は、本実施形態の乗用車を上からみた模式図である。図３では、運転者Ｄｖが頭部をモニタ１５へ近付けつつ車両左側へ寄せた状態が示される。図３に示されるように、たとえば、運転者Ｄｖが頭部をモニタ１５へ近付けつつ車両左側に移動させた場合、視線方向及び距離ｄは、運転者Ｄｖの頭部の位置に応じて変化する。具体的には、画像生成部２３は、視線方向情報に基づき、図１に示す後方視界ＶＡ１の中心と比べて、車両右側に寄った後方視界ＶＡ２の中心を算出する。また、画像生成部２３は、距離情報に基づき、図１に示す後方視界ＶＡ１のサイズと比べて、より大きい後方視界ＶＡ２のサイズを算出する。画像生成部２３は、対応情報に基づき、算出した後方視界ＶＡ２の中心及び後方視界ＶＡ２のサイズに対応する表示範囲ＩＡ２を取得する。表示範囲ＩＡ２は、図１に示す表示範囲ＩＡ１と比べて、サイズが大きく、車両右側に寄っている。画像生成部２３は、取得した表示範囲ＩＡ２に含まれる画像すなわちミラー画像を左右反転させて撮像画像から切り取り、切り取ったミラー画像を示すミラー画像情報をモニタ１５へ定期的に出力する。モニタ１５は、上述したように、画像生成部２３からミラー画像を定期的に受けると、受けたミラー画像を表示する。なお、画像生成部２３は、ミラー画像を左右反転させなくてもよい。

なお、画像生成部２３は、運転者Ｄｖが頭部をモニタ１５から遠ざけたり、運転者Ｄｖが頭部をフロント側、リア側または車両右側に移動させたりした場合においても、上述の場合と同様に、運転者Ｄｖの頭部の位置に応じた後方視界の中心及び後方視界のサイズを算出する。すなわち、モニタ１５に表示されるミラー画像は、定期的に更新される。そして、更新されたミラー画像は、最新の運転者Ｄｖの頭部の位置に応じた後方視界、すなわち現在の運転者Ｄｖが仮想ルームミラーを介して見得る後方視界を示す。

＜操作受付部２６＞
本実施形態では、操作受付部２６は、運転者Ｄｖなどのユーザの操作を受け付けることが可能であり、ユーザの操作を受けると、受けた操作内容を示す操作情報を画像生成部２３へ出力する。本実施形態では、操作受付部２６は、たとえば、後方視界ＶＡ１を移動する操作、及び後方視界ＶＡ１のサイズを変更する操作をユーザから受け付ける。後方視界ＶＡ１を移動する操作によって、後方視界ＶＡ１を車両右側、車両左側、車両上側または車両下側に移動にさせることが可能となる。また、後方視界ＶＡ１のサイズを変更する操作によって、後方視界ＶＡ１を拡大したり、縮小したりすることが可能となる。

画像生成部２３は、後方視界ＶＡ１の範囲を調整可能である。具体的には、画像生成部２３は、たとえば、操作受付部２６から操作情報を受けると、受けた操作情報が後方視界ＶＡ１を車両右側に移動する操作内容を示す場合、後方視界ＶＡ１の中心を車両右側に移動する。これにより、たとえば、運転者Ｄｖが標準的な姿勢で運転席に着座した場合、モニタ１５には、図１に示すような乗用車８１の真後ろの後方視界ＶＡ１でなく、車両右側に寄った後方視界が表示される。また、画像生成部２３は、たとえば、受けた操作情報が後方視界ＶＡ１のサイズを拡大する操作内容を示す場合、後方視界ＶＡ１の範囲を拡大する。

＜（２）動作例１＞
次に、本実施形態の電子ミラー装置におけるミラー画像表示処理の第１の具体例について、図４を参照しながら説明する。図４は、本実施形態における電子ミラー装置におけるミラー画像表示処理の第１の具体例を示すフローチャートである。

＜Ｓ１００＞
電子ミラーカメラ１１及びドライバーモニタカメラ１２が動作を開始し、電子ミラーカメラ１１及びドライバーモニタカメラ１２は、それぞれ撮像画像情報及び運転者画像情報を電子ミラー装置１へ定期的に送信する（Ｓ１００）。

＜Ｓ１０２＞
次に、ポジション取得部２２は、ドライバーモニタカメラ１２から運転者画像情報を受信すると、運転者画像情報に基づき視線方向及び距離ｄを算出する。ポジション取得部２２は、視線方向を示す視線方向情報と距離ｄを示す距離情報とを画像生成部２３へ出力する（Ｓ１０２）。

＜Ｓ１０４＞
次に、画像生成部２３は、ポジション取得部２２から視線方向情報及び距離情報を受けると、受けた視線方向情報に基づき後方視界ＶＡ１の中心を算出するとともに、距離情報に基づき後方視界ＶＡ１のサイズを算出する（Ｓ１０４）。

＜Ｓ１０６＞
次に、画像生成部２３は、対応情報に基づき、後方視界ＶＡ１の中心及び後方視界ＶＡ１のサイズに対応する表示範囲ＩＡ１を取得する（Ｓ１０６）。

＜Ｓ１０８＞
次に、撮像画像取得部２１は、電子ミラーカメラ１１から撮像画像情報を受信し、受信した撮像画像情報を画像生成部２３へ出力する（Ｓ１０８）。

＜Ｓ１１０＞
次に、画像生成部２３は、撮像画像取得部２１から撮像画像情報を受けると、受けた撮像画像情報の示す撮像画像から、取得した表示範囲ＩＡ１に含まれる画像すなわちミラー画像を切り取る（Ｓ１１０）。

＜Ｓ１１２＞
次に、画像生成部２３は、切り取ったミラー画像を示すミラー画像情報をモニタ１５へ出力する。モニタ１５は、画像生成部２３からミラー画像を受けると、受けたミラー画像を表示する（Ｓ１１２）。
＜Ｓ１１４＞
次に、電子ミラーカメラ１１及びドライバーモニタカメラ１２が動作を継続している場合（Ｓ１１４でＹＥＳ）、ポジション取得部２２は、ドライバーモニタカメラ１２から新たな運転者画像情報を受信すると、運転者画像情報に基づき視線方向及び距離ｄを算出する。ポジション取得部２２は、視線方向を示す視線方向情報と距離ｄを示す距離情報とを画像生成部２３へ出力する（Ｓ１０２）。

＜Ｓ１１６＞
一方、電子ミラーカメラ１１及びドライバーモニタカメラ１２の少なくともいずれか一方の動作が停止した場合（Ｓ１１４でＮＯ）、電子ミラー装置１は、ミラー画像表示処理を終了する（Ｓ１１６）。

なお、上記フローチャートにおける各処理は、動作に影響がない範囲で入れ換えられてもよい。例えば、上記フローチャートにおけるＳ１０２〜Ｓ１０６とＳ１０８との処理の順序は入れ換えられてもよい。

＜（３）動作例２＞
次に、本実施形態の電子ミラー装置におけるミラー画像表示処理の第２の具体例について、図５を参照しながら説明する。当該動作例２は、上記の動作例１に代えて用いられる場合がある。図５は、本実施形態における電子ミラー装置におけるミラー画像表示処理の第２の具体例を示すフローチャートである。図５に示されるミラー画像表示処理のフローチャートは、図４に示されるミラー画像表示処理のフローチャートと比較して、運転者Ｄｖの視線方向の変化が小さい場合、表示範囲を変更しない点において相違している。以下、Ｓ２０４〜Ｓ２１０が本実施形態の特徴であるので、これらの各ステップについて説明する。Ｓ２００〜Ｓ２０２及びＳ２１２〜Ｓ２２０は、図４に示すＳ１００〜Ｓ１０２及びＳ１０８〜Ｓ１１６とそれぞれ同様である。

＜Ｓ２０４，Ｓ２０８＞
次に、画像生成部２３は、ポジション取得部２２から視線方向情報及び距離情報を受けると、受けた視線方向情報の示す視線方向が所定の範囲に含まれる場合（Ｓ２０４でＹＥＳ）、標準の表示範囲を設定する（Ｓ２０８）。ここで、所定の範囲は、たとえば、運転者Ｄｖが標準的な姿勢で運転席に着座した場合における視線方向を含む範囲である。標準の表示範囲は、たとえば図１に示す表示範囲ＩＡ１である。

＜Ｓ２０６＞
一方、画像生成部２３は、後方視界ＶＡ１の中心が所定の範囲に含まれない場合（Ｓ２０４でＮＯ）、視線方向情報に基づき後方視界の中心を算出するとともに、距離情報に基づき後方視界のサイズを算出する（Ｓ２０６）。

＜Ｓ２１０＞
次に、画像生成部２３は、対応情報に基づき、後方視界の中心及び後方視界のサイズに対応する表示範囲を取得する（Ｓ２１０）。

たとえば、標準的な姿勢で運転席に着座した運転者Ｄｖが少し頭部を動かした場合においても、視線方向が所定の範囲に含まれる場合（Ｓ２０４でＹＥＳ）、標準の表示範囲が維持されるので（Ｓ２０８）、電子ミラー装置１における処理負担を軽減することができる。

＜（４）第１の変形例＞
次に、本実施形態の第１の変形例の電子ミラー装置の構成について、図６を参照しながら説明する。図６は、本実施形態の第１の変形例の電子ミラー装置の構成を示す図である。本実施形態の第１の変形例の電子ミラー装置２は、図２に示す電子ミラー装置１と比較して、撮像画像取得部２１及び画像生成部２３の代わりに、画像判断部２５、撮像画像取得部４１及び画像生成部４３を備える点において相違している。また、乗用車８１は、図１に示す乗用車８１と比較して、電子ミラーカメラ３１をさらに備える点において相違している。以下、電子ミラー装置２が、電子ミラー装置１の内容と相違する点について具体的に説明する。

＜電子ミラーカメラ３１＞
電子ミラーカメラ３１は、電子ミラーカメラ１１と同様に、乗用車８１の後部に設けられ、乗用車８１の後部方向を広い画角で撮像する。電子ミラーカメラ３１は、たとえば、定期的に撮像を行い、撮像した撮像画像を示す撮像画像情報を電子ミラー装置２へ送信する。電子ミラーカメラ３１は、本発明でいう「撮像装置」の一具体例である。

＜電子ミラー装置２＞
＜撮像画像取得部４１＞
撮像画像取得部４１は、電子ミラーカメラ１１及び電子ミラーカメラ３１からそれぞれ撮像画像情報を定期的に受信する。本実施形態では、たとえば、電子ミラーカメラ１１がメインカメラとして用いられ、電子ミラーカメラ３１が予備カメラとして用いられる。詳細には、撮像画像取得部４１は、たとえば、画像判断部２５からカメラ変更命令を受けるまでは、電子ミラーカメラ１１から撮像画像情報を受信すると、受信した撮像画像情報を画像生成部４３へ出力する。一方、撮像画像取得部４１は、たとえば、画像判断部２５からカメラ変更命令を受けるまでは、電子ミラーカメラ３１から撮像画像情報を受信すると、受信した撮像画像情報を破棄する。

＜画像判断部２５＞
画像判断部２５は、画像生成部４３が生成するミラー画像が視認困難であるか否かについて判断する。本実施形態では、画像判断部２５は、画像生成部４３が出力するミラー画像情報を取得し、取得したミラー画像情報の示すミラー画像にたとえばゴーストまたはフレアが発生している場合、当該ミラー画像が視認困難であると判断する。画像判断部２５は、ミラー画像が視認困難であると判断すると、カメラ変更命令を撮像画像取得部４１へ出力する。撮像画像取得部４１は、画像判断部２５からカメラ変更命令を受けると、電子ミラーカメラを切り替える。具体的には、撮像画像取得部４１は、これまで予備カメラであった電子ミラーカメラ３１から撮像画像情報を受信すると、受信した撮像画像情報を画像生成部４３へ出力する。一方、撮像画像取得部４１は、これまでメインカメラであった電子ミラーカメラ１１から撮像画像情報を受信すると、受信した撮像画像情報を破棄する。

＜画像生成部４３＞
画像生成部４３は、電子ミラーカメラ１１及び電子ミラーカメラ３１のうちのいずれか一方の電子ミラーカメラによって撮像された撮像画像に基づきミラー画像を生成する。そして、画像生成部４３は、生成したミラー画像が視認困難であると判断された場合、他の電子ミラーカメラによって撮像された撮像画像に基づきミラー画像を生成する。本実施形態では、画像生成部４３は、画像判断部２５がカメラ変更命令を出力するまでは、電子ミラーカメラ１１によって撮像された撮像画像に基づきミラー画像を生成する。そして、画像生成部４３は、画像判断部２５によってミラー画像が視認困難であると判断され、画像判断部２５がカメラ変更命令を出力した後は、電子ミラーカメラ３１によって撮像された撮像画像に基づきミラー画像を生成する。

＜（５）第２の変形例＞
次に、本実施形態の第２の変形例の電子ミラー装置の構成について、図７を参照しながら説明する。図７は、本実施形態の第２の変形例の電子ミラー装置の構成を示す図である。本実施形態の第２の変形例の電子ミラー装置３は、図２に示す電子ミラー装置１と比較して、モニタ１５及び画像生成部２３の代わりに、ギアポジション取得部２４、画像生成部２７及びモニタ２８を備える点において相違している。以下、電子ミラー装置３が、電子ミラー装置１の内容と相違する点について具体的に説明する。

＜電子ミラー装置３＞
本実施形態の第２の変形例では、電子ミラー装置３は、たとえば、ドアミラーまたはフェンダーミラーなどのサイドミラー本体（以下、仮想サイドミラー本体と称することがある。）が仮に乗用車８１に取り付けられた場合における仮想サイドミラー本体の位置に設けられる。ここで、仮想サイドミラー本体は、ミラー（以下、仮想サイドミラーと称することがある。）及び支持具を含んで構成されると仮定する。本実施形態では、電子ミラー装置３の筐体には、撮像画像取得部２１、ポジション取得部２２、ギアポジション取得部２４、操作受付部２６、画像生成部２７及びモニタ２８が格納される。なお、モニタ２８以外の撮像画像取得部２１、ポジション取得部２２、ギアポジション取得部２４、操作受付部２６及び画像生成部２７のうちの少なくともいずれか１つは、電子ミラー装置３の筐体の外部に設けられてもよい。

＜モニタ２８＞
モニタ２８は、仮想サイドミラーの位置に設けられ、画像生成部２７から受けるミラー画像を表示する。

＜ギアポジション取得部２４＞
ギアポジション取得部２４は、乗用車８１８１のギアポジションを取得する。本実施形態では、ギアポジション取得部２４は、たとえば、乗用車８１のコントロールユニットから乗用車８１のトランスミッションのギアポジションを取得し、取得したギアポジションを示すギア情報を画像生成部２７へ出力する。

＜画像生成部２７＞
画像生成部２７は、運転者Ｄｖが仮想サイドミラーを介して見得る後方視界を示すミラー画像を、運転者Ｄｖのポジションに応じて撮像画像に基づき生成する。そして、画像生成部２７は、ギアポジションがリバース位置である場合、後方視界の範囲を下方に移動させる。本実施形態では、画像生成部２７は、たとえば、ギアポジション取得部２４から受けるギア情報の示すギアポジションがリバース位置である場合、後方視界の中心を車両下側に移動する。これにより、たとえば、乗用車８１を後退させて駐車場における枠線の枠内に移動するときに、運転者Ｄｖは、駐車場における枠線をミラー画像から容易に認識することができる。また、運転者Ｄｖは、子供及び障害物などの全高の小さい物体を容易に発見することができる。

上記構成の電子ミラー装置によれば、仮に乗用車８１に設けられた仮想ルームミラーを介して運転者Ｄｖが見得る後方視界ＶＡ１をモニタ１５に表示することで、モニタ１５に表示される後方視界ＶＡ１を運転者Ｄｖのポジションに応じて変更することができるので、モニタ１５に表示された後方視界ＶＡ１に対して運転者Ｄｖが違和感を覚える可能性を低減することができる。また、運転者Ｄｖは、ポジションを変更することで、通常のポジションではミラーに映らない後方視界ＶＡ２をモニタ１５において容易に視認することができる。

また、上記構成の電子ミラー装置では、ポジション取得部２２が、運転者Ｄｖの眼の位置を取得し、画像生成部２３が、運転者Ｄｖの眼の位置に応じた後方視界ＶＡ１を決定し、決定した後方視界ＶＡ１を示すミラー画像を撮像画像に基づき生成する。これにより、たとえば、運転者Ｄｖの眼の位置に基づき、運転者Ｄｖの眼からモニタ１５への視線方向をより容易に算出することができるので、仮想ルームミラーを介して運転者Ｄｖが見得る後方視界ＶＡ１をより正しく生成することができる。これにより、運転者Ｄｖが覚える違和感をより低減することができる。

また、上記構成の電子ミラー装置では、ポジション取得部２２が、モニタ１５と運転者Ｄｖとの間の距離ｄを取得し、画像生成部２３が、距離ｄに応じて後方視界ＶＡ１の視野を変更する。これにより、たとえば、運転者Ｄｖがモニタ１５に近づいたときに後方視界ＶＡ１の視野を大きくし、運転者Ｄｖがモニタ１５から離れたときに後方視界ＶＡ１の視野を小さくすることができるので、運転者Ｄｖが覚える違和感をより低減することができる。

また、上記構成の電子ミラー装置では、画像生成部２３が、後方視界ＶＡ１の表示範囲ＩＡ１を調整可能であるため、後方視界ＶＡ１の表示範囲ＩＡ１を車両の上側、下側、右側または左側などに移動させることができる。すなわち、運転者Ｄｖがバックミラーの向きを調整するときの感覚と同様の感覚で後方視界ＶＡ１の表示範囲ＩＡ１を調整することができる。また、後方視界ＶＡ１の表示範囲ＩＡ１を拡大または縮小することができるので、遠くの物体を拡大して表示したり、より広い後方視界を表示したりすることができる。これにより、乗用車８１の運転の安全性をより高めることができる。

また、本実施形態の電子ミラー装置では、ギアポジション取得部２４が、乗用車８１のギアポジションを取得し、電子ミラー装置３が、サイドミラーの位置に取り付けられ、画像生成部２７が、ギアポジションがリバース位置である場合、後方視界ＶＡ１の表示範囲ＩＡ１を下方に移動させる。これにより、乗用車８１を後退させようとするときに、より下方の後方視界ＶＡ１を表示させることができるので、たとえば、駐車場の枠線を運転者Ｄｖに認識させやすくするとともに、子供及び障害物などの全高の小さい物体を運転者Ｄｖに発見させやすくすることができる。これにより、乗用車８１の運転の安全性をより高めることができる。

また、本実施形態の電子ミラー装置では、撮像画像取得部４１が、電子ミラーカメラ１１及び電子ミラーカメラ３１から撮像画像をそれぞれ取得し、画像生成部４３が、たとえば電子ミラーカメラ１１によって撮像された撮像画像に基づきミラー画像を生成する。そして、画像判断部２５が、当該ミラー画像が視認困難であると判断した場合、画像生成部４３が、電子ミラーカメラ３１によって撮像された撮像画像に基づきミラー画像を生成する。これにより、ミラー画像が視認困難な場合に、他の電子ミラーカメラによって撮像された撮像画像に基づくミラー画像を表示することができるので、より良好な後方視界ＶＡ１をモニタ１５に表示することができる。これにより、後方視界ＶＡ１が視認困難となる可能性を低減することができるので、乗用車８１の運転の安全性をより高めることができる。

また、本実施形態の電子ミラー装置では、モニタ１５が、仮想ルームミラー本体の位置に設けられるため、仮想ルームミラーに視線を向ける感覚でモニタ１５に視線を向けることができるので、モニタ１５に表示された後方視界に対して運転者Ｄｖが違和感を覚える可能性をより低減することができる。

＜２．補足事項＞
以上、本発明の実施形態についての具体的な説明を行った。上記説明では、あくまで一実施形態としての説明であって、本発明の範囲はこの一実施形態に留まらず、当業者が把握可能な範囲にまで広く解釈されるものである。

本実施形態では、電子ミラー装置が乗用車８１に搭載される構成について説明したが、電子ミラー装置は、フォークリフトなどの特殊自動車、トラック、バス、自動二輪車または自転車などの車両に搭載される構成であってもよい。

また、本実施形態では、電子ミラー装置が運転者Ｄｖによって使用される構成について説明したが、電子ミラー装置は、助手席または後部座席に着座している者によって使用される構成であってもよい。具体的には、たとえば、助手席に着座している者によって使用される電子ミラー装置を教習車またはパトロールカーなどに搭載してもよい。

また、本実施形態の基本例及び第１の変形例では、電子ミラー装置１，２が、仮想ルームミラー本体の位置に設けられる構成について説明したが、電子ミラー装置１，２は、仮想サイドミラー本体の位置に設けられる構成であってもよい。この場合、電子ミラー装置１，２は、運転席に位置する運転者Ｄｖが仮想サイドミラーを介して見得る後方視界を表示する。また、電子ミラー装置１，２は、車両の前方を確認するための補助ミラーを介して見得る車両の周辺を表示してもよい。この場合、電子ミラー装置１，２は、たとえば、当該補助ミラーの本体の位置に設けられる。

また、本実施形態の第２の変形例では、電子ミラー装置３が、仮想サイドミラー本体の位置に設けられる構成について説明したが、電子ミラー装置３は、仮想ルームミラー本体の位置に設けられる構成であってもよい。この場合、電子ミラー装置３は、運転席に位置する運転者Ｄｖが仮想ルームミラーを介して見得る後方視界を表示する。

また、本実施形態の電子ミラー装置１，２のモニタ１５は、仮想ルームミラー本体の位置とは関係ない位置に取り付けられてもよい。すなわち、電子ミラー装置１，２のモニタ１５が設けられる位置は、仮想ルームミラー本体の位置だけに限られない。具体的には、電子ミラー装置１，２のモニタ１５は、仮想ルームミラー本体の近傍に設けられてもよい。同様に、電子ミラー装置３のモニタ１５が設けられる位置は、仮想サイドミラー本体の位置だけに限られない。具体的には、電子ミラー装置３のモニタ１５は、仮想サイドミラー本体の近傍たとえば室内に設けられてもよい。

また、本実施形態では、ポジション取得部２２が、運転者画像に基づき運転者Ｄｖの眼の位置を取得する構成について説明したが、ポジション取得部２２は、たとえば、運転者Ｄｖの鼻などの、眼以外の顔の部位の位置を取得する構成であってもよい。この場合、ポジション取得部２２は、たとえば、鼻の位置に基づき運転者Ｄｖの視線方向を直接算出してもよいし、鼻の位置から運転者Ｄｖの眼の位置を推定し、推定結果に基づき運転者Ｄｖの視線方向を算出してもよい。

また、本実施形態の電子ミラーカメラ１１は、光学ズーム機構を有していてもよい。この場合、電子ミラーカメラ１１は、距離ｄなどの変化に基づいてズーム倍率を変化させる。また、本実施形態の電子ミラーカメラ１１は、撮像方向を変化させる駆動機構を有していてもよい。この場合、電子ミラーカメラ１１は、視線方向の変化に基づいて撮像方向を変化させる。このように、電子ミラーカメラ１１が光学ズーム機構および駆動機構を有する場合、撮像画像から切り取ることなくミラー画像を生成することができる。この場合、撮像画像を全てモニタ１５に表示することが出来るため、解像度の高いミラー画像をモニタ１５に表示することが出来る。

また、本実施形態の電子ミラーカメラ１１は、ジンバルなどの手振れ補正をおこなう機構を介して車両に取り付けられてもよい。この場合、走行中の振動の影響を低減させて撮影することができるため、モニタ１５に表示するミラー画像の画質を向上させることが出来る。

本発明は、車載用の電子ミラー装置などとして好適に利用される。

１，２，３…電子ミラー装置
１１…電子ミラーカメラ
１２…ドライバーモニタカメラ
１５…モニタ
２１…撮像画像取得部
２２…ポジション取得部
２３…画像生成部
２４…ギアポジション取得部
２５…画像判断部
２６…操作受付部
２７…画像生成部
２８…モニタ
３１…電子ミラーカメラ
４１…撮像画像取得部
４３…画像生成部
８１…乗用車

Claims

車両に取り付けられる電子ミラー装置であって、
前記車両の周辺を撮像した撮像画像を取得する撮像画像取得部と、
前記車両に乗車している対象者のポジションを取得するポジション取得部と、
前記車両にミラーが設けられた場合に、前記対象者が前記ミラーを介して見得る視界を示すミラー画像を、前記ポジションに応じて前記撮像画像に基づき生成する画像生成部と、
前記ミラー画像を表示する表示部と、を備える、
電子ミラー装置。
前記ポジション取得部は、前記対象者の眼の位置を取得し、
前記画像生成部は、前記眼の位置に応じた前記視界を決定し、決定した前記視界を示す前記ミラー画像を前記撮像画像に基づき生成する、
請求項１に記載の電子ミラー装置。
前記ポジション取得部は、前記表示部と前記対象者との間の距離をさらに取得し、
前記画像生成部は、前記距離に応じて前記視界の視野を変更する、
請求項１または請求項２に記載の電子ミラー装置。
前記画像生成部は、前記視界の範囲を調整可能である、
請求項１から請求項３のいずれか１項に記載の電子ミラー装置。
前記車両のギアポジションを取得するギアポジション取得部をさらに備え、
前記電子ミラー装置は、サイドミラーの位置に取り付けられ、
前記画像生成部は、前記ギアポジションがリバース位置である場合、前記視界の範囲を下方に移動させる、
請求項１から請求項４のいずれか１項に記載の電子ミラー装置。
前記撮像画像取得部は、複数の撮像装置から前記撮像画像をそれぞれ取得し、
前記画像生成部は、複数の前記撮像装置のうちの１つの前記撮像装置によって撮像された前記撮像画像に基づき前記ミラー画像を生成し、生成した前記ミラー画像が視認困難であると判断された場合、他の前記撮像装置によって撮像された前記撮像画像に基づき前記ミラー画像を生成する、
請求項１から請求項５のいずれか１項に記載の電子ミラー装置。
前記表示部は、前記ミラーの位置に設けられる、
請求項１から請求項６のいずれか１項に記載の電子ミラー装置。
表示部を備え、車両に取り付けられる電子ミラー装置における画像表示方法であって、
前記車両の周辺を撮像した撮像画像を取得するステップと、
前記車両に乗車している対象者のポジションを取得するステップと、
前記車両にミラーが設けられた場合に、前記対象者が前記ミラーを介して見得る視界を示すミラー画像を、前記ポジションに応じて前記撮像画像に基づき生成するステップと、
前記表示部に前記ミラー画像を表示するステップと、を有する、
画像表示方法。
請求項１から請求項７のいずれか１項に記載の電子ミラー装置を備える、
車両。