JP2022148226A - 画像表示装置 - Google Patents

Abstract

【課題】使用状況毎に電子ミラーと実ミラーを切り替える際の操作の煩雑さをなくすことができる画像表示装置を提供すること。【解決手段】画像表示装置１００は、ルームミラー２００と、車両の後方を撮像する後方カメラ５２と、後方カメラ５２で撮像した画像を用いて表示画面に表示させる後方画像を作成する後方画像作成部３１と、後方画像の表示を停止した状態で、運転者がルームミラー２００で反射した車両の後方を確認可能な実ミラーとしての第１の状態と、後方画像の表示を行った状態で、運転者がルームミラー２００を通して表示画面に表示された後方画像を確認可能な電子ミラーとしての第２の状態とを切り替える表示切替部３２と、運転者の注視点までの距離を算出する注視点距離算出部３５とを備える。表示切替部３２は、第１の状態のときに、ルームミラー２００を見ている運転者の注視点までの距離が所定値よりも長いときに、第２状態に切り替える。【選択図】図２

Description

本発明は、ミラーで光学的に反射させた車両後方の鏡像の表示とカメラで撮影した車両後方の画像表示とを切り替えて行う画像表示装置に関する。

従来から、ドライバーの視線移動の際の輻輳運動を検知して、液晶ディスプレイ表示とハーフミラー表示とを切り替えるようにした車載用表示装置が知られている（例えば、特許文献１参照。）。この車載用表示装置では、ドライバーが車両前方から表示器へ視線を移行する際の輻輳角の変化量を検知し、この変化量に基づいて液晶ディスプレイをＯＮ状態あるいはＯＦＦ状態として表示器の切り替えを行っている。これにより、急激な焦点調節によるドライバーの目の負担を軽減することができる。

特開２０１６－３０５０７号公報

ところで、車両後方に取り付けられたカメラで撮像した後方画像を液晶ディスプレイに表示する場合には、ピラー等によって視界が妨げられることがないため、ハーフミラーを通して車両後方を見る場合に比べて視認性を高めることが可能であり、このような使用形態が今後増加すると考えられる。一方で、このカメラは、車両後方を撮像可能な位置、例えば車両後部やリアガラス内側の上部などに取り付けられており、車内後部座席の搭乗者や荷物は撮像可能な範囲外であるため、後部座席の搭乗者や荷物を目視で確認したい時はハーフミラーを通して後部を見ることが望ましい。しかしながら、従来は、このような使用状況毎に液晶ディスプレイ（電子ミラー）の使用とハーフミラー（実ミラー）の使用を切り替える場合には、その都度手動で切替操作を行う必要があり、操作が煩雑であるという問題があった。

なお、上述した特許文献１に開示された車両用表示装置では、視線を表示器に移行した際の輻輳角に応じてハーフミラーの使用と液晶ディスプレイの使用とを切り替えるものであって、上述した切替操作に適用することはできない。

本発明は、このような点に鑑みて創作されたものであり、その目的は、使用状況毎に電子ミラーと実ミラーを切り替える際の操作の煩雑さをなくすことができる画像表示装置を提供することにある。

上述した課題を解決するために、本発明の画像表示装置は、車両の後方を映すとともに、裏側に配置された表示画面の画像を透過させるミラーと、車両の後方を撮像する第１のカメラと、第１のカメラで撮像した画像を用いて、表示画面に表示させる後方画像を作成する後方画像作成手段と、後方画像の表示を停止した状態で、運転者がミラーで反射した車両の後方を確認可能な第１の状態と、後方画像の表示を行った状態で、運転者がミラーを通して表示画面に表示された後方画像を確認可能な第２の状態とを切り替える表示切替手段と、運転者の注視点までの距離を算出する注視点距離算出手段とを備え、表示切替手段は、第１の状態のときに、ミラーを見ている運転者の注視点までの距離が所定値よりも長いときに、第２状態に切り替えている。

ミラーを見ている運転者の注視点までの距離を算出することにより、運転者が遠い車両後方を見ているか近い車室内を見ているかを区別でき、使用状況毎に第１の状態（実ミラー）と第２の状態（電子ミラー）を自動で切り替えることができ、手動の切替操作の煩雑さをなくすことができる。

また、運転者の顔を撮像する第２のカメラをさらに備え、注視点距離算出手段は、第２のカメラで撮像した顔画像に基づいて運転者の注視点までの距離を算出することが望ましい。あるいは、上述した第２のカメラで撮像した顔画像に基づいて運転者の視線の方向を特定する視線特定手段をさらに備え、表示切替手段は、視線特定手段によって特定された視線の向きに基づいて、運転者がミラーを見ているか否かを判定することが望ましい。運転者の顔を撮像するだけで、容易に運転者の注視点までの距離や視線の向きを得ることが可能となる。

また、車室内の後部座席の搭乗者および荷物の少なくとも一方の有無を検出する後部座席検出手段をさらに備え、後部座席検出手段によって搭乗者あるいは荷物が検出された場合に、表示切替手段による切り替えが行われることが望ましい。これにより、後部座席に搭乗者がいない場合や荷物を置いていない場合などの車室内の様子を確認する必要がない場合には、撮像により得られた後方画像を表示する第２の状態（電子ミラー）とすることができ、車両後方の視認性を高めることが可能となる。

また、上述した視線特定手段によって特定された視線の向きがミラーから外れたときに、表示切替手段は、それまで第１の状態だった場合には第１の状態を維持し、それまで第２の状態だった場合には第１の状態に切り替えることが望ましい。運転者の視線の向きがミラーから外れた場合に、再度注視点までの距離に基づく切替判断を実施することができ、一旦車両後方を確認した後に車室内の様子を確認することが可能となる。

一実施形態の画像表示装置の構成を示す図である。 表示切替プログラムをＣＰＵによって実行することで動作する後方画像表示処理部の機能ブロック図である。 注視点までの距離算出の具体例を示す図である。 車両後方を確認する設定を実ミラーとＥミラーの間で相互に切り替える動作手順を示す流れ図である。

以下、本発明を適用した一実施形態の画像表示装置について、図面を参照しながら説明する。

図１は、一実施形態の画像表示装置の構成を示す図である。図１に示すように、本実施形態の画像表示装置１００は、表示切替ＳＷ（スイッチ）１０、表示処理部２０、表示装置２２、ＣＰＵ３０、メモリ４０、入出力インタフェース部（Ｉ／Ｏ ＩＦ）５０、後方カメラ５２、車室内カメラ５４を備えている。この画像表示装置１００は、車両の後方を撮像した画像（後方画像）を作成し、ルームミラー２００の鏡像に置き換えて表示するためのものである。

ルームミラー２００は、車両の運転席と助手席の中央であってフロントガラスの上部に取り付けられている。このルームミラー２００には、裏側に表示装置２２が備わっており、表示画面に画像が表示されたときに、この表示された画像が鏡面を通して運転者から見えるようになっている。

表示切替ＳＷ１０は、ルームミラー２００によって車両の後方の鏡像を映す第１の状態と、ルームミラー２００を通して表示画面の画像を表示する第２の状態とを、車両の運転者自身が手動で切り替えるためのものである。

表示処理部２０は、車両後方を撮像した後方カメラ５２の画像を用いて、表示装置２２の表示画面に表示する後方画像を作成する。表示装置２２は、例えば液晶表示装置（ＬＣＤ）を用いた表示画面を有する。この表示画面がルームミラー２００の裏側に配置されており、表示画面が暗くなっている状態ではルームミラー２００による鏡像が運転者から見え、表示画面が明るくなっている状態（画像が表示された状態）ではルームミラー２００の鏡面を通して表示画面に表示された画像が運転者から見えるようになる。

ＣＰＵ３０は、メモリ４０に格納された所定のプログラムを実行することにより、画像表示装置１００の全体を制御する。また、ＣＰＵ３０は、後方カメラ５２で撮像した画像を用いて表示用の後方画像を作成するとともに、ルームミラー２００によって車両の後方の鏡像を映す第１の状態とルームミラー２００を通して表示画面の画像を表示する第２の状態とを、表示切替ＳＷ１０の操作状態に応じて、あるいは、運転者を観察した結果に基づいて自動で判断して切り替える処理を行う。

メモリ４０は、ＣＰＵ３０の動作プログラムを格納するとともに、ＣＰＵ３０の動作に必要な各種データを格納する作業領域として用いられる。ＣＰＵ３０によって実行される動作プログラムには、上述した第１の状態と第２の状態を自動で切り替えるためのプログラム（表示切替プログラム）が含まれる。

入出力インタフェース部５０は、後方カメラ５２や車室内カメラ５４を含む各種の入出力機器との間で信号（データ）の入出力処理を行う。

後方カメラ５２は、車両後方の所定位置（例えば、リヤガラス上部）に取り付けられ、ルームミラー２００に映る鏡像と同じ範囲あるいはこれよりも広い範囲を撮像する。この後方カメラ５２が、ルームミラー２００の鏡面に映る車両後方の景色と同等あるいはより広範囲の車両後方の画像を撮像するために用いられる。

車室内カメラ５４は、眼を含む運転者の顔や後部座席の搭乗者や荷物を撮像するためのものであり、運転者や後部座席を含む車室内の所定範囲を撮像する。運転者の顔画像は、運転者の視線の方向や運転者の注視点（合焦点）までの距離を推定するために用いられる。このため、車室内カメラ５４は、運転者の顔を正面に近い角度で撮像可能な位置、例えばフロントガラス上部などに取り付けられている。なお、運転者の顔を撮像するためのカメラと、後部座席の搭乗者や荷物を撮像するカメラとを別々に備えるようにしてもよい。

図２は、表示切替プログラムをＣＰＵ３０によって実行することで動作する後方画像表示処理部３０Ａの機能ブロック図である。この後方画像表示処理部３０Ａは、後方画像作成部３１、表示切替部３２、後部座席判定部３３、視線特定部３４、注視点距離算出部３５を含んで構成されている。

後方画像作成部３１は、後方カメラ５２で撮像した画像を用いて、表示装置２２の表示画面に表示する後方画像を作成する。

表示切替部３２は、表示切替ＳＷ１０をオフ／オンする運転者による手動操作に応じて、あるいは、運転者の注視点までの距離に基づいて自動的に、ルームミラー２００によって車両の後方の鏡像を映す第１の状態（実ミラー）と、ルームミラー２００を通して表示画面の後方画像を表示する第２の状態（Ｅミラー（電子ミラー））とを相互に切り替える。自動切り替えの具体例については後述する。

後部座席判定部３３は、車室内カメラ５４で撮像した画像に基づいて、後部座席の搭乗者や荷物の少なくとも一方の有無を判定する。車室内カメラ５４の撮像によって得られる画像には、運転者や運転席、助手席などが含まれているため、これらを除く範囲について画像認識処理を行って後部座席の搭乗者や荷物の有無が判定される。なお、この判定は、車室内カメラ５４で撮像した画像に基づいて行う場合に限定されない。例えば、後部座席の座面にセンサを配置し、搭乗者や荷物の重さを感知したときに搭乗者／荷物ありの判定を行うようにしてもよい。

視線特定部３４は、車室内カメラ５４で撮像した画像に含まれる運転者の顔画像に基づいて運転者の視線の方向を特定する。例えば、運転者の顔画像から眼の瞳孔中心を抽出し、この瞳孔中心と眼球の中心とを結ぶ線を視線の方向として特定する。

注視点距離算出部３５は、車室内カメラ５４で撮像した画像に基づいて、運転者の注視点までの距離を算出する。例えば、運転者の顔画像から両眼のそれぞれについて上述した視線の方向を特定し、その交点を注視点（合焦点）の位置としてその位置までの距離（注視点距離）を算出する。なお、この注視点の特定方法は一例であって、上記以外の方法を用いるようにしてもよい。例えば、瞳孔の絞り具合で近い位置を見ているか遠い位置を見ているかを判断する場合などが考えられる。

図３は、注視点までの距離算出の具体例を示す図である。図３（Ａ）、（Ｂ）、（Ｃ）において、Ｐ、Ｐ１、Ｐ２は注視対象の位置（注視点）を、ＧＬは運転者の左眼を、ＧＲは運転者の右眼をそれぞれ示している。

図３（Ａ）において、運転者の左眼の視線ａの向きは、左眼の瞳孔中心と眼球の中心とを結ぶ線の向きとして特定することができる。同様に、運転者の右眼の視線ｂの向きは、右眼の瞳孔中心と眼球の中心とを結ぶ線の向きとして特定することができる。なお、ルームミラー２００を通して車両後方側を見ている場合には、実際の視線はルームミラー２００で折り返されるが、図３では、ルームミラー２００を通して見える虚像に対応する視線が示されている。

図３（Ａ）に示すように、注視点Ｐを見ている運転者の輻輳角αは、左目の視線ａと右眼の視線ｂの交差角として算出することができる。図３（Ｂ）に示すように、運転者が車両よりも後方位置（注視点Ｐ１）を見ている場合にはこの輻輳角α１は小さくなる。一方、図３（Ｃ）に示すように、運転者が車室内の後部座席の搭乗者や荷物（注視点Ｐ２）を見ている場合にはこの輻輳角α２は大きくなる。このように、輻輳角αと注視点Ｐまでの距離は１対１の関係にあるため、輻輳角αを求めることにより注視点Ｐまでの距離を算出することができる。

上述した後方カメラ５２が第１のカメラに、後方画像作成部３１が後方画像作成手段に、表示切替部３２が表示切替手段に、注視点距離算出部３５が注視点距離算出手段に、車室内カメラ５４が第２のカメラに、視線特定部３４が視線特定手段に、後部座席判定部３３が後部座席判定手段にそれぞれ対応する。

本実施形態の画像表示装置１００はこのような構成を有しており、次にその動作を説明する。

図４は、車両後方を確認する設定を実ミラーとＥミラーの間で相互に切り替える動作手順を示す流れ図である。

車両のアクセサリスイッチをオンにして画像表示装置１００が起動された直後は、表示切替部３２は、ルームミラー２００に後方を反射させ、車両の後方の鏡像をルームミラーに映す第１の状態（実ミラー）に設定する（ステップ１００）。例えば、この第１の状態は、表示装置２２の表示を停止して表示画面を暗くすることにより実現することができる。

次に、後部座席判定部３３は、後部座席に搭乗者（後部乗員）と荷物があるか否かを判定する（ステップ１０２）。なお、車室内カメラ５４による撮像は、上述したステップ１００やその後の各ステップの動作と並行して行われており、最新の撮像画像を適宜使用して、後部座席の搭乗者／荷物の有無判定や運転者の視線の特定や注視点の算出などが行われるものとする。同様に、後方カメラ５２による車両後方の撮像動作と後方画像作成部３１による後方画像の作成動作も各ステップの動作と並行して行われており、その内容が適宜更新される。後部座席に搭乗者や荷物が存在しない場合にはステップ１０２の判定において否定判断が行われる。この場合には、表示切替部３２は、表示装置２２の表示を有効にし、表示装置２２の表示画面に、後方画像作成部３１で作成された後方画像を表示する第２の状態（Ｅミラー）に設定する（ステップ１２０）。一方、後部座席に搭乗者や荷物が存在する場合にはステップ１０２の判定において肯定判断が行われる。

次に、視線特定部３４は、運転者の視線の方向を特定する（ステップ１０４）。また、表示切替部３２は、この特定された視線の方向に基づいて、運転者がルームミラー２００を見ているか否かを判定する（ステップ１０６）。見ていない場合には否定判断が行われる。例えば、運転者が車両前方を見ている状態が維持されている場合などであり、この場合にはステップ１００に戻って実ミラーの設定が維持される。

また、運転者がルームミラー２００を見ている場合にはステップ１０６の判定において肯定判断が行われる。次に、注視点距離算出部３５は、ルームミラー２００を見ている運転者の注視点までの距離を算出する（ステップ１０８）。次に、表示切替部３２は、算出された注視点までの距離が所定値よりも長いか否かを判定する（ステップ１１０）。ミラーを通して遠くの車両後方を見ている場合には注視点までの距離が長くなり、車室内の後部座席の搭乗者や荷物を見ている場合には注視点までの距離が短くなる。ステップ１１０の判定は、これら２通りの状況を区別するためのものであり、例えば、所定値として５ｍ程度の値を用いることにより、この区別を行うことが可能となる。

注視点までの距離が所定値よりも長くない場合（近くを見ている場合）にはステップ１１０の判定において否定判断が行われる。この場合にはステップ１００に戻って実ミラーの設定が維持される。

また、注視点までの距離が所定値よりも長い場合（遠くを見ている場合）にはステップ１１０の判定において肯定判断が行われる。この場合には、表示切替部３２は、表示装置２２の表示を有効にし、表示装置２２の表示画面に、後方画像作成部３１で作成された後方画像を表示する第２の状態（Ｅミラー）に設定する（ステップ１１２）。これにより、運転者は後方カメラ５２で撮像された後方画像をルームミラー２００を通して見ることになる。

次に、視線特定部３４は、運転者の視線の方向を特定する（ステップ１１４）。また、表示切替部３２は、この特定された視線の方向に基づいて、運転者の視線の向きがルームミラー２００から外れたか否かを判定する（ステップ１１６）。外れていない場合には否定判断が行われ、ステップ１１４に戻って運転者の視線の方向を特定する動作が繰り返される。また、運転者の視線の向きがルームミラー２００から外れた場合にはステップ１１６の判定において肯定判断が行われる。この場合には、ステップ１００に戻って実ミラーの設定以降の動作が繰り返される。

このように、本実施形態の画像表示装置１００では、ルームミラー２００を見ている運転者の注視点までの距離を算出することにより、運転者が遠い車両後方を見ているか近い車室内を見ているかを区別でき、使用状況毎に実ミラーとＥミラー（電子ミラー）を自動で切り替えることができ、手動の切替操作の煩雑さをなくすことができる。

また、運転者の顔を車室内カメラ５４によって撮像するだけで、容易に運転者の注視点までの距離や視線の向きを得ることが可能となる。

また、後部座席に搭乗者がいない場合や荷物を置いていない場合などの車室内の様子を確認する必要がない場合には、撮像により得られた後方画像を表示するＥミラーを用いることができ、車両後方の視認性を高めることが可能となる。

また、運転者の視線の向きがルームミラー２００から外れた際に、それまでＥミラーを用いていた場合であっても一旦実ミラーに戻しているため、再度注視点までの距離に基づく切替判断を実施することができ、一旦車両後方を良好な視認性で確認した後に車室内の様子を確認することが可能となる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、後部座席の搭乗者や荷物の有無を判定し（図４のステップ１０２）、これらが存在しない場合には実ミラーとＥミラーの切替判断を行うことなくＥミラーの設定を行ったが、これらのステップを省略し、ステップ１００の動作（実ミラーの設定）の後に直ちにステップ１０４の動作（運転者の視線方向の特定）に移行するようにしてもよい。

上述したように、本発明によれば、ミラーを見ている運転者の注視点までの距離を算出することにより、運転者が遠い車両後方を見ているか近い車室内を見ているかを区別でき、使用状況毎に第１の状態（実ミラー）と第２の状態（電子ミラー）を自動で切り替えることができ、手動の切替操作の煩雑さをなくすことができる。

１０ 表示切替ＳＷ（スイッチ）
２０ 表示処理部
２２ 表示装置
３０ ＣＰＵ
３０Ａ 後方画像表示処理部
３１ 後方画像作成部
３２ 表示切替部
３３ 後部座席判定部
３４ 視線特定部
３５ 注視点距離算出部
４０ メモリ
５０ 入出力インタフェース部（Ｉ／Ｏ ＩＦ）
５２ 後方カメラ
５４ 車室内カメラ
１００ 画像表示装置
２００ ルームミラー

Claims (5)

1. 車両の後方を映すとともに、裏側に配置された表示画面の画像を透過させるミラーと、
   車両の後方を撮像する第１のカメラと、
   前記第１のカメラで撮像した画像を用いて、前記表示画面に表示させる後方画像を作成する後方画像作成手段と、
   前記後方画像の表示を停止した状態で、運転者が前記ミラーで反射した車両の後方を確認可能な第１の状態と、前記後方画像の表示を行った状態で、運転者が前記ミラーを通して前記表示画面に表示された前記後方画像を確認可能な第２の状態とを切り替える表示切替手段と、
   運転者の注視点までの距離を算出する注視点距離算出手段と、
   を備え、前記表示切替手段は、前記第１の状態のときに、前記ミラーを見ている運転者の注視点までの距離が所定値よりも長いときに、前記第２状態に切り替えることを特徴とする画像表示装置。
2. 運転者の顔を撮像する第２のカメラをさらに備え、
   前記注視点距離算出手段は、前記第２のカメラで撮像した顔画像に基づいて運転者の注視点までの距離を算出することを特徴とする請求項１に記載の画像表示装置。
3. 前記第２のカメラで撮像した顔画像に基づいて運転者の視線の方向を特定する視線特定手段をさらに備え、
   前記表示切替手段は、前記視線特定手段によって特定された視線の向きに基づいて、運転者が前記ミラーを見ているか否かを判定することを特徴とする請求項２に記載の画像表示装置。
4. 車室内の後部座席の搭乗者および荷物の少なくとも一方の有無を検出する後部座席検出手段をさらに備え、
   前記後部座席検出手段によって搭乗者あるいは荷物が検出された場合に、前記表示切替手段による切り替えが行われることを特徴とする請求項１～３のいずれか一項に記載の画像表示装置。
5. 前記視線特定手段によって特定された視線の向きが前記ミラーから外れたときに、前記表示切替手段は、それまで前記第１の状態だった場合には前記第１の状態を維持し、それまで前記第２の状態だった場合には前記第１の状態に切り替えることを特徴とする請求項３または４に記載の画像表示装置。

Images