JP2013026796A - 画像表示装置 - Google Patents

Abstract

【課題】使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を、使用者に提供することが可能な、画像表示装置を提供する。
【解決手段】使用者の上方に視点を設定した俯瞰画像のうち少なくとも使用者の周囲を映した俯瞰画像を取得する俯瞰画像取得部４と、水平面に対する使用者の頭部の上下方向への傾斜角度である頭部傾斜角を検出する頭部傾斜角検出部６と、頭部傾斜角検出部６が検出した頭部傾斜角が俯角であると判定すると、俯瞰画像取得部４が取得した俯瞰画像を用いて、水平面よりも下方向への傾斜角度に応じて視点を変化させた俯瞰画像を生成する画像生成部１０と、使用者の頭部の向きに対して予め設定した表示範囲内へ、画像生成部１０が生成した画像を表示する画像表示部１２を備える。
【選択図】図１

Description

本発明は、例えば、車両の運転時において、自車両周囲の環境を示す画像情報を運転者に提供する、画像表示装置に関する。

作業を支援するための画像情報を使用者に提供する画像表示装置として、例えば、特許文献１に記載されているものがある。
特許文献１に記載されている画像表示装置は、使用者の頭部に装着する撮像部（カメラ）及び表示部（ディスプレイ）を備える。そして、撮像部で撮像した画像に対し、作業に関する作業情報（文字等）を付加する。さらに、作業情報を付加した画像情報を表示部に表示する。ここで、撮像部は、使用者の頭部の前面が向いている方向に延びる軸を撮像軸として、画像を撮像する。

特開２００８−２２５９１３号公報

しかしながら、特許文献１に記載の画像表示装置では、使用者の頭部の前面が向いている方向に延びる軸を撮像軸として撮像した画像を、表示部に表示する。このため、例えば、画像表示装置を車両の運転に使用し、使用者が自車両の側方や後方の状況を確認したい場合等、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を使用者に提供することは困難である。
本発明は、上記のような問題点に着目してなされたもので、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を使用者に提供することが可能な、画像表示装置を提供することを課題とする。

上記課題を解決するために、本発明の一態様は、水平面に対する使用者の頭部の上下方向への傾斜角度である頭部傾斜角を検出する。そして、検出した頭部傾斜角が俯角であると判定すると、水平面よりも下方向への傾斜角度に応じて視点を変化させた俯瞰画像を生成し、この生成した画像を、頭部の向きに対して予め設定した表示範囲内へ表示する。ここで、俯瞰画像の生成は、使用者の上方に視点を設定した俯瞰画像のうち少なくとも使用者の周囲を映した俯瞰画像を取得し、この取得した俯瞰画像を用いて行う。

本発明によれば、検出した頭部傾斜角が俯角であると判定すると、水平面よりも下方向への傾斜角度に応じて変化させた視点を変化させた俯瞰画像を生成して、予め設定した表示範囲内へ表示する。
このため、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を、使用者に提供することが可能となる。

本発明の第一実施形態の画像表示装置の構成を示すブロック図である。 画像表示装置を適用した頭部装着部材の構成を示す図である。 画像表示装置の使用者が運転する自車両の構成を示す図である。 本発明の第一実施形態の画像表示装置が行う処理を示すフローチャートである。

以下、本発明の実施形態について図面を参照しつつ説明する。
（第一実施形態）
以下、本発明の第一実施形態について、図面を参照しつつ説明する。
（構成）
図１は、本実施形態の画像表示装置の構成を示すブロック図である。
図１から図３中に示すように、本実施形態の画像表示装置１は、水平方向画像取得部２と、俯瞰画像取得部４と、頭部傾斜角検出部６と、ナビゲーションシステム部８と、画像生成部１０と、画像表示部１２を備える。

水平方向画像取得部２は、例えば、一つＣＣＤカメラ等を有する。また、水平方向画像取得部２は、上面視で画像表示装置１の使用者（図示せず）から周囲へ放射状に延びる複数の軸のうち、少なくとも一つの軸を撮像軸として撮像した画像を取得する。そして、水平方向画像取得部２は、取得した画像を含む情報信号を、頭部傾斜角検出部６へ出力する。なお、本実施形態では、一例として、水平方向画像取得部２が、上記の放射状に延びる複数の軸のうち、使用者の頭部中心から前面へ延びる軸を撮像軸として撮像した画像を取得する場合を説明する。

ここで、本実施形態では、画像表示装置１を、図２中に示すように、眼鏡形状の部材である頭部装着部材に適用した場合を説明する。なお、図２は、画像表示装置１を適用した頭部装着部材１４の構成を示す図である。
頭部装着部材１４は、画像表示装置１の使用者が頭部に装着する眼鏡形状の部材であり、フレーム部１６と、レンズ部１８を備える。

フレーム部１６は、頭部装着部材１４を使用者が頭部に装着した状態で、鉛直方向から見てコの字型に形成してあり、三つのフレーム辺２０ａ〜２０ｃを有する。
三つのフレーム辺２０ａ〜２０ｃは、鉛直方向から見て互いに平行であるフレーム辺２０ａ及びフレーム辺２０ｃと、フレーム辺２０ａとフレーム辺２０ｃとを連結するフレーム辺２０ｂを有する。
また、フレーム辺２０ｂには、その外周面（フレーム辺２０ａ及びフレーム辺２０ｃの外周面と連続する面）に、一つのＣＣＤカメラ２２を取り付ける。なお、ＣＣＤカメラ２２は、フレーム辺２０ｂの中心に取り付ける。

以上により、本実施形態では、一例として、頭部装着部材１４のフレーム部１６に取り付けたＣＣＤカメラ２２により、水平方向画像取得部２を形成する場合を説明する。
レンズ部１８は、例えば、透明な樹脂材料を用いて、板状に形成する。また、レンズ部１８は、頭部装着部材１４を使用者が頭部に装着した状態で、鉛直方向上方から見て、レンズ部１８の上端とフレーム辺２０ｂの下端が連続する状態で、フレーム部１６に取り付ける。なお、本実施形態では、レンズ部１８を、透明な樹脂材料を用いて形成した場合を説明する。

また、レンズ部１８の使用者側の面（三つのフレーム辺２０ａ〜２０ｃで囲んだ空間側の面）には、複数の網膜プロジェクタ２４を取り付ける。なお、網膜プロジェクタ２４に関する説明は、後述する。
俯瞰画像取得部４は、例えば、広角レンズを備えた複数の広角カメラを有して形成する。また、俯瞰画像取得部４は、後述する処理により、使用者の上方に視点を設定した俯瞰画像のうち、少なくとも使用者の周囲を映した俯瞰画像を取得する。そして、俯瞰画像取得部４は、取得した俯瞰画像を含む情報信号を、画像生成部１０へ出力する。なお、以降の説明では、使用者の上方に設定した視点を、「仮想視点」と記載する場合がある。

ここで、本実施形態では、画像表示装置１を、図２中に示す頭部装着部材１４に適用し、さらに、頭部装着部材１４を装着した使用者が、図３中に示す車両（以下、「自車両」と記載する場合がある）に運転する場合を説明する。なお、図３は、画像表示装置１の使用者が運転する自車両Ｖの構成を示す図である。
したがって、本実施形態では、俯瞰画像取得部４が取得する俯瞰画像を、自車両Ｖの上方に視点を設定した俯瞰画像のうち、少なくとも自車両Ｖの周囲を映した俯瞰画像として説明する。

自車両Ｖは、画像表示装置１の使用者が運転する車両であり、複数の広角カメラ２６を備える。なお、本実施形態では、一例として、自車両Ｖの構成が、四つの広角カメラ２６を備える構成である場合を説明する。
四つの広角カメラ２６は、前方カメラ２６ａと、右側方カメラ２６ｂと、左側方カメラ２６ｃと、後方カメラ２６ｄである。

前方カメラ２６ａは、車両前後方向前方、例えば、フロントグリルの中心付近に取り付ける。また、前方カメラ２６ａの撮像範囲は、例えば、自車両Ｖの車両前後方向前方の地面へ向ける。なお、図３中では、前方カメラ２６ａの撮像範囲を示す領域を、符号２８ａを付して示す。
右側方カメラ２６ｂは、車幅方向右側、例えば、車幅方向右側のドアミラーの下面（地面と対向する面）に取り付ける。また、右側方カメラ２６ｂの撮像範囲は、例えば、自車両Ｖの車幅方向右側の地面へ向ける。なお、図３中では、右側方カメラ２６ｂの撮像範囲を示す領域を、符号２８ｂを付して示す。

左側方カメラ２６ｃは、車幅方向左側、例えば、車幅方向左側のドアミラーの下面（地面と対向する面）に取り付ける。また、左側方カメラ２６ｃの撮像範囲は、例えば、自車両Ｖの車幅方向左側の地面へ向ける。なお、図３中では、左側方カメラ２６ｃの撮像範囲を示す領域を、符号２８ｃを付して示す。
後方カメラ２６ｄは、車両前後方向後方、例えば、後部ドア上端の中心付近に取り付ける。また、後方カメラ２６ｄの撮像範囲は、例えば、自車両Ｖの車両前後方向後方の地面へ向ける。なお、図３中では、後方カメラ２６ｄの撮像範囲を示す領域を、符号２８ｄを付して示す。

したがって、前方カメラ２６ａ、右側方カメラ２６ｂ、左側方カメラ２６ｃ及び後方カメラ２６ｄが撮像した画像を組み合わせると、自車両Ｖの上方に設定した仮想視点Ｐから自車両Ｖの周囲の地面を見下ろした画像となる。すなわち、前方カメラ２６ａ、右側方カメラ２６ｂ、左側方カメラ２６ｃ及び後方カメラ２６ｄが撮像した画像を組み合わせると、使用者が運転する自車両Ｖの周囲（使用者の周囲）における地面の俯瞰画像を形成することが可能となる。

なお、図３中では、仮想視点Ｐが、自車両Ｖの上方において、自車両Ｖの中心付近（車両前後方向及び車幅方向の中心付近）と重なる位置である場合を示す。
以上により、本実施形態では、一例として、自車両Ｖの外周面に取り付けた四つの広角カメラ２６（車載カメラ）により、俯瞰画像取得部４を形成する場合を説明する。すなわち、本実施形態では、一例として、俯瞰画像取得部４の構成を、使用者が装着しないカメラ（広角カメラ２６）を有する構成とした場合を説明する。

頭部傾斜角検出部６は、水平方向画像取得部２が出力した情報信号に基づき、頭部傾斜角を検出する。ここで、頭部傾斜角は、水平面に対する使用者の頭部の上下方向への傾斜角度である。そして、頭部傾斜角検出部６は、検出した頭部傾斜角を含む情報信号を、画像生成部１０へ出力する。すなわち、本実施形態では、一例として、頭部傾斜角検出部６が、水平方向画像取得部２が取得した画像に基づいて、頭部傾斜角を検出する場合を説明する。なお、頭部傾斜角検出部６は、例えば、フレーム部１６に内蔵する。

また、本実施形態では、一例として、頭部傾斜角検出部６が、使用者の頭部と対向する物体に対する使用者の頭部の上下方向への傾斜角度を用いて、頭部傾斜角を検出する場合を説明する。
ここで、頭部傾斜角を検出する処理の具体例としては、まず、自車両Ｖが備えるステアリングホイールの回転中心を、使用者の頭部と対向する物体として設定する。これに加え、ＣＣＤカメラ２２が撮像した画像を参照する。

そして、ＣＣＤカメラ２２とステアリングホイールの回転中心を結ぶ第一直線を算出する。これに加え、ＣＣＤカメラ２２の撮像方向中心を示す第二直線を算出する。
さらに、水平方向から見た第一直線と第二直線がなす角度を算出し、この算出した角度を、頭部傾斜角として検出する。
ナビゲーションシステム部８は、一般的なカーナビゲーション（Ａｕｔｏｍｏｔｉｖｅ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ）を用いて構成する。また、ナビゲーションシステム部８は、道路種別、道路曲率、道路勾配等の地図情報を記憶し、必要に応じて、これらの情報を更新可能な機能を有する。これに加え、ナビゲーションシステム部８は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による、自車両の位置測定、自車両の経路誘導、自車両の走行経路における制限車速情報の表示等を行う機能を有する。

なお、ナビゲーションシステム部８が記憶している各種情報は、必要に応じて、画像生成部１０が、情報信号の入力により取得する。
画像生成部１０は、水平方向画像取得部２、俯瞰画像取得部４、頭部傾斜角検出部６及びナビゲーションシステム部８が出力した情報信号に基づき、画像表示部１２に表示するための画像を生成する。そして、画像生成部１０は、生成した画像を含む情報信号を、画像表示部１２へ出力する。また、画像生成部１０には、予め、自車両Ｖの上面の画像（写真データ、ＣＧデータ等）を記憶させておく。なお、画像生成部１０は、例えば、フレーム部１６に内蔵する。

具体的には、画像生成部１０は、まず、頭部傾斜角検出部６が検出した頭部傾斜角が俯角であるか否かを判定する。ここで、判定に用いる俯角は、例えば、自車両Ｖが平坦路を走行している場合では、水平面と下り勾配の線がなす垂直面内の角度とする。また、判定に用いる俯角は、例えば、自車両Ｖが上り坂を走行している場合では、水平面よりも上方向へ、上り坂の勾配に応じて傾斜した面を基準とし、この基準とした面と下り勾配の線がなす垂直面内の角度とする。また、判定に用いる俯角は、例えば、自車両Ｖが下り坂を走行している場合では、水平面よりも下方向へ、下り坂の勾配に応じて傾斜した面を基準とし、この基準とした面と下り勾配の線がなす垂直面内の角度とする。

以下、頭部傾斜角検出部６が検出した頭部傾斜角が俯角であると判定した場合の処理を説明する。
画像生成部１０は、頭部傾斜角検出部６が検出した頭部傾斜角が俯角であると判定すると、水平面よりも下方向への傾斜角度に応じて仮想視点Ｐの位置を変化させた俯瞰画像を生成する。この場合、俯瞰画像の生成は、俯瞰画像取得部４が撮像した画像を用いて行う。そして、画像生成部１０は、生成した俯瞰画像を含む情報信号を、画像表示部１２へ出力する。

なお、本実施形態では、一例として、画像生成部１０が、頭部傾斜角検出部６が検出した頭部傾斜角のうち、水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖ（使用者）の周囲の領域が広く映るように視点を変化させた俯瞰画像を生成する場合を説明する。このような俯瞰画像の生成は、上述したように、頭部傾斜角検出部６が検出した頭部傾斜角が俯角であると判定すると行う。

以下、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖの周囲の領域が広く映るように仮想視点Ｐの位置を変化させた俯瞰画像を生成する際に行う処理の具体例を説明する。
まず、四つの広角カメラ２６が撮像した画像を組み合わせる。次に、頭部傾斜角のうち水平面よりも下方向への傾斜角度の大きさに応じて、四つの広角カメラ２６がそれぞれ撮像した画像から、自車両Ｖから離れた領域の比率を変更した画像を生成する。この場合、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖの領域よりも自車両Ｖから離れた領域が広く映る仮想視点Ｐの俯瞰画像を生成する。なお、自車両Ｖから離れた領域の最大値は、広角カメラ２６の性能等に応じた値である。

そして、形成した俯瞰画像の中心に、予め記憶させてある自車両Ｖの上面の画像を合成（上書き）する。これにより、水平面よりも下方向への傾斜角度に応じて仮想視点Ｐを変化させた俯瞰画像を生成する。
また、本実施形態では、一例として、画像生成部１０が、頭部傾斜角が予め設定した非表示角度以下であれば、生成した画像を含む情報信号の出力を行わない場合を説明する。

ここで、非表示角度は、例えば、上述した水平面を中心とした鉛直方向への角度とする。この場合、非表示角度は、例えば、使用者の頭部の中心から前方（視認方向）へ向けて、鉛直方向±１０［°］程度の範囲に対応する領域を形成する角度に設定する。また、設定した非表示角度は、予め、画像生成部１０に記憶しておく。
また、本実施形態では、一例として、画像生成部１０が、頭部傾斜角検出部６が検出した頭部傾斜角が、水平面よりも上方向への傾斜角度である場合に、自車両Ｖの周辺環境情報や走行支援情報を表示する画像を生成する場合を説明する。

ここで、自車両Ｖの周辺環境情報とは、例えば、ナビゲーションシステム部８が記憶している地図情報と自車両Ｖの位置測定により生成する自車両Ｖの周辺マップ等である。また、走行支援情報とは、自車両Ｖの走行経路における、渋滞予測情報等である。
画像表示部１２は、画像生成部１０が出力した情報信号に基づき、使用者の頭部の向きに対して予め設定した表示範囲内へ、画像生成部１０が生成した画像を表示する。

ここで、使用者の頭部の向きに対して予め設定した表示範囲とは、例えば、使用者の視界である。
なお、本実施形態では、上述したように、頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部１０が、生成した画像を含む情報信号の出力を行わない。このため、本実施形態では、画像表示部１２が、頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部１０が生成した画像を表示しない場合を説明する。

また、本実施形態では、一例として、画像表示部１２の構成が、レンズ部１８に取り付けた、複数の網膜プロジェクタ２４を備える構成である場合について説明する。
網膜プロジェクタ２４は、使用者の視界内に画像を表示する表示装置である。また、網膜プロジェクタ２４は、例えば、網膜走査ディスプレイ（ＲＩＤ：Ｒｅｔｉｎａｌ Ｉｍａｇｉｎｇ Ｄｉｓｐｌａｙ）を用いて形成する。ここで、網膜走査ディスプレイは、画像生成部１０が生成した画像を形成する光を、使用者の網膜へ直接照射して、使用者の視界内に画像を表示する。なお、本実施形態では、複数の網膜プロジェクタ２４を、使用者の両目（右目及び左目）に対し、それぞれ、網膜へ光を直接照射することが可能な位置に配置する。具体的に、本実施形態では、レンズ部１８に四つの網膜プロジェクタ２４を取り付け、二つ一組の網膜プロジェクタ２４を、それぞれ、右目または左目へ光を直接照射することが可能な位置に配置する。

（動作）
次に、図１から図３を参照しつつ、図４を用いて、本実施形態の画像表示装置１が行なう動作の一例について説明する。
図４は、本実施形態の画像表示装置１が行う処理を示すフローチャートである。
図４中に示すフローチャートは、自車両Ｖが走行しており、自車両Ｖを運転している画像表示装置１の使用者によって、画像表示装置１を作動させるスイッチが操作（ＯＮ）された状態からスタートする（図４中に示す「ＳＴＡＲＴ」）。なお、画像表示装置１を作動させるスイッチは、例えば、フレーム部１６に設け、手動により操作する。

画像表示装置１を作動させると、水平方向画像取得部２を形成するＣＣＤカメラ２２が画像を取得（ステップＳ１００に示す「水平方向の画像を取得」）する。そして、水平方向の画像を取得した水平方向画像取得部２は、取得した画像を含む情報信号を、頭部傾斜角検出部６へ出力する。ステップＳ１００において、水平方向の画像を取得すると、画像表示装置１が行う処理は、ステップＳ１０２へ移行する。

ステップＳ１０２では、俯瞰画像取得部４を形成する複数の広角カメラ２６ａ〜２６ｄが、それぞれ、自車両Ｖの周囲の地面を、自車両Ｖの上方に設定した仮想視点Ｐから見下ろした画像を取得する。これにより、画像表示装置１の使用者が運転する自車両Ｖの周囲における地面の俯瞰画像を取得（ステップＳ１０２に示す「俯瞰画像を取得」）する。自車両Ｖの周囲における地面の俯瞰画像を取得した俯瞰画像取得部４は、取得した俯瞰画像を含む情報信号を、画像生成部１０へ出力する。ステップＳ１０２において、自車両Ｖの周囲における地面の俯瞰画像を取得すると、画像表示装置１が行う処理は、ステップＳ１０４へ移行する。

なお、ステップＳ１００で行う処理と、ステップＳ１０２で行う処理は、逆の順番（ステップＳ１０２→ステップＳ１００）で行ってもよい。
ステップＳ１０４では、頭部傾斜角検出部６が、水平方向画像取得部２が出力した情報信号に基づいて、頭部傾斜角を検出（ステップＳ１０４に示す「頭部傾斜角を検出」）する。そして、頭部傾斜角を検出した頭部傾斜角検出部６は、検出した頭部傾斜角を含む情報信号を、画像生成部１０へ出力する。ステップＳ１０４において、頭部傾斜角を検出すると、画像表示装置１が行う処理は、ステップＳ１０６へ移行する。

ステップＳ１０６では、画像生成部１０が、画像表示部１２に表示するための画像を生成（ステップＳ１０６に示す「画像を生成」）する。そして、画像表示部１２に表示するための画像を生成した画像生成部１０は、生成した画像を含む情報信号を、画像表示部１２へ出力する。ステップＳ１０６において、画像表示部１２に表示するための画像を生成すると、画像表示装置１が行う処理は、ステップＳ１０８へ移行する。

ここで、画像生成部１０は、水平方向画像取得部２、俯瞰画像取得部４、頭部傾斜角検出部６及びナビゲーションシステム部８が出力した情報信号に基づいて、画像表示部１２に表示するための画像を生成する。
以下に、画像生成部１０が、上述した各種の情報信号に基づいて、画像表示部１２に表示するための画像を生成する処理の具体例を列挙する。
（例１）頭部傾斜角検出部６が検出した頭部傾斜角が、水平面よりも下方向への傾斜角度であり、水平面よりも下方向への傾斜角度が４５［°］である場合。

この場合、画像生成部１０は、頭部傾斜角検出部６が検出した頭部傾斜角が俯角であると判定する。そして、画像生成部１０は、俯瞰画像取得部４が撮像した画像を用いて、四つの広角カメラ２６ａ〜２６ｄの撮像可能な範囲のうち、半分の領域が映るように仮想視点Ｐを変化させた俯瞰画像を生成する。
これにより、画像生成部１０は、四つの広角カメラ２６ａ〜２６ｄの撮像可能な範囲のうち、半分の領域が映るように仮想視点Ｐを変化させた俯瞰画像を生成する。

（例２）頭部傾斜角検出部６が検出した頭部傾斜角が水平面よりも上方向への傾斜角度である場合。
この場合、画像生成部１０は、頭部傾斜角検出部６が検出した頭部傾斜角が俯角ではないと判定する。そして、画像生成部１０は、ナビゲーションシステム部８が出力した情報信号に基づいて、自車両Ｖの周辺環境情報を示す画像を生成する。
ステップＳ１０８では、画像生成部１０が、頭部傾斜角検出部６が検出した頭部傾斜角と、非表示角度とを比較する。そして、頭部傾斜角が非表示角度以下であるか否かを判定（ステップＳ１０８に示す「頭部傾斜角が非表示角度以下？」）する。

ステップＳ１０８において、画像生成部１０が、頭部傾斜角が非表示角度以下であると判定（図４中に示す「Ｙ」）すると、画像表示装置１が行う処理は、ステップＳ１１０へ移行する。
一方、ステップＳ１０８において、画像生成部１０が、頭部傾斜角が非表示角度を超えていると判定（図４中に示す「Ｎ」）すると、画像表示装置１が行う処理は、ステップＳ１１２へ移行する。

ステップＳ１１０では、画像生成部１０が、画像表示部１２に表示するために生成した画像を含む情報信号を画像表示部１２へ出力しない処理を行う。これにより、ステップＳ１１０の処理を行うと、網膜プロジェクタ２４は光の照射を行わない。
ここで、レンズ部１８は、透明な樹脂材料を用いて形成しているため、網膜プロジェクタ２４が光の照射を行わないと、画像生成部１０が生成した画像は表示されない（ステップＳ１１０に示す「画像を非表示」）。このため、使用者の視界には、レンズ部１８を透過した、実際の光景が映ることとなる。ステップＳ１１０において、画像表示部１２に表示するために生成した画像を含む情報信号を画像表示部１２へ出力しない処理を行うと、画像表示装置１が行う処理は、ステップＳ１００の処理に復帰（図４中に示す「ＲＥＴＵＲＮ」）する。

ステップＳ１１２では、画像生成部１０が、画像表示部１２に表示するために生成した画像を含む情報信号を画像表示部１２へ出力する処理を行う。これにより、ステップＳ１１２の処理を行うと、網膜プロジェクタ２４から、画像生成部１０が生成した画像を形成する光を、使用者の網膜へ直接照射する。
画像生成部１０が生成した画像を形成する光を、使用者の網膜へ直接照射すると、画像生成部１０が生成した画像が、使用者の視界内に表示される（ステップＳ１１２に示す「画像を表示」）。ステップＳ１１２において、画像表示部１２に表示するために生成した画像を含む情報信号を画像表示部１２へ出力する処理を行うと、画像表示装置１が行う処理は、ステップＳ１００の処理に復帰（図４中に示す「ＲＥＴＵＲＮ」）する。

（第一実施形態の効果）
（１）画像生成部１０が、頭部傾斜角検出部６が検出した頭部傾斜角が俯角であると判定すると、俯瞰画像取得部４が取得した俯瞰画像を用いて、水平面よりも下方向への傾斜角度に応じて視点を変化させた俯瞰画像を生成する。
このため、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を、使用者に提供することが可能となる。
この構成によれば、画像表示装置１の使用者が、例えば、自車両Ｖの運転時に側方や後方の状況を確認したい場合に、頭部を下方へ傾斜させることにより、実際の回転角度と異なる角度に対応した俯瞰画像を視認して、自車両Ｖの周囲を視認することが可能となる。

（２）画像生成部１０が、頭部傾斜角検出部６が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖの周囲の領域が広く映るように仮想視点Ｐを変化させた俯瞰画像を生成する。これは、頭部傾斜角検出部６が検出した頭部傾斜角が俯角であると判定して行う。
この構成によれば、頭部傾斜角検出部６が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖに対する自車両Ｖの周囲の領域が広い俯瞰画像を、使用者に提供することが可能となる。

（３）頭部傾斜角検出部６が、水平方向画像取得部２が取得した画像を用いて頭部傾斜角を検出する。
この構成によれば、頭部傾斜角を検出するために、専用のセンサを追加する必要が無いため、画像表示装置１の構成を簡略化することが可能となる。これにより、画像表示装置１の製造コスト増加を抑制することが可能となる。
（４）頭部傾斜角検出部６が、使用者の頭部と対向する物体に対する頭部の上下方向への傾斜角度を用いて頭部傾斜角を検出する。
この構成によれば、使用者の頭部に対する相対関係が変化しない対象を用いて、頭部傾斜角を検出することが可能となる。

（５）画像表示部１２が、頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部１０が生成した画像を表示しない。
この構成によれば、使用者の視界が前方を向いている状態では、視界に応じた自然な光景を、使用者に視認させることが可能となる。
（６）俯瞰画像取得部４が、使用者が装着しないカメラである、広角カメラ２６を有する。
この構成によれば、例えば、自車両Ｖのピラー（フロントピラー）等により発生する死角を減少させることが可能となる。

（変形例）
（１）本実施形態では、画像表示装置１を、画像表示装置１の使用者が頭部に装着する頭部装着部材１４に適用し、さらに、頭部装着部材１４を装着した使用者が、自車両Ｖを運転する構成としたが、これに限定するものではない。
すなわち、画像表示装置１の構成を、例えば、画像表示装置１の使用者が、頭部装着部材１４を装着した状態で徒歩により移動する構成としてもよい。この場合、例えば、俯瞰画像取得部４の構成を、使用者の俯瞰画像を撮像可能な、屋外施設・設備が有する監視カメラとしてもよい。

また、画像表示装置１の構成を、例えば、画像表示装置１の使用者が、頭部装着部材１４を装着した状態で住居等の建築物内で行動する構成としてもよい。この場合、例えば、俯瞰画像取得部４の構成を、使用者が内部で行動する建築物の俯瞰画像を撮像可能な、建築物が有するカメラとしてもよい。
また、頭部装着部材１４を装着した使用者が運転する対象は、地上を移動する自車両Ｖに限定するものではなく、例えば、船舶や航空機等、海上・海中や空中を移動する乗物を、頭部装着部材１４を装着した使用者が運転する対象としてもよい。

（２）本実施形態の画像表示装置１では、俯瞰画像取得部４の構成を、使用者の周囲を映した俯瞰画像を撮像する構成としたが、これに限定するものではなく、俯瞰画像取得部４の構成を、使用者を含む使用者の周囲を映した俯瞰画像を撮像する構成としてもよい。この場合、例えば、俯瞰画像取得部４の構成を、使用者を映した俯瞰画像を撮像可能な、屋外施設・設備が有する監視カメラを有する構成とする。

（３）本実施形態の画像表示装置１では、画像生成部１０の構成を、頭部傾斜角検出部６が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、使用者の周囲の領域が広く映るように視点を変化させた俯瞰画像を生成する構成とした。しかしながら、画像生成部１０の構成は、これに限定するものではない。すなわち、画像生成部１０の構成を、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、使用者の周囲の領域のうち使用者前方の領域よりも使用者後方の領域が広く映るように視点を変化させた俯瞰画像を生成する構成としてもよい。

ここで、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、使用者前方の領域よりも使用者後方の領域が広く映るように視点を変化させた俯瞰画像を生成する際に行う処理の具体例を説明する。
まず、四つの広角カメラ２６が撮像した画像を組み合わせる。次に、四つの広角カメラ２６のうち、前方カメラ２６ａ及び後方カメラ２６ｄが撮像した画像から、頭部傾斜角のうち水平面よりも下方向への傾斜角度の大きさに応じて、自車両Ｖ前方の領域と自車両Ｖ後方の領域との比率を変更した画像を生成する。この場合、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、前方カメラ２６ａが撮像した画像の領域に対して、後方カメラ２６ｄが撮像した画像の領域を増加させた俯瞰画像を生成する。

これは、例えば、頭部傾斜角のうち水平面よりも下方向への傾斜角度が６０［°］である場合に、前方カメラ２６ａが撮像した画像の領域と後方カメラ２６ｄが撮像した画像の領域との比を、１０：９０とした俯瞰画像を生成する。さらに、俯瞰画像の中心に、予め記憶させてある自車両Ｖの上面の画像を合成する。

これにより、頭部傾斜角検出部６が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖに対して、自車両Ｖの周囲の領域のうち、自車両Ｖ後方の領域が広い俯瞰画像を、使用者に提供することが可能となる。
この構成によれば、例えば、自車両Ｖを後退させながら車庫入れする場合等に、使用者が後方を視認しなくとも、頭部傾斜角のうち水平面よりも下方向への傾斜角度を増加させることにより、自車両Ｖ後方の状況を俯瞰で視認することが可能となる。

（４）本実施形態の画像表示装置１では、水平方向画像取得部２が撮像した画像を用いて頭部傾斜角を検出したが、これに限定するものではない。すなわち、頭部傾斜角検出部６を、例えば、ジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）等、回転角度を検出可能なセンサを用いて形成し、頭部傾斜角を検出してもよい。
また、頭部傾斜角検出部６の構成を、例えば、使用者を撮像するカメラを有する構成とし、撮像した画像から使用者の頭部と上半身との相対位置を検出して、頭部傾斜角を検出してもよい。

（５）本実施形態の画像表示装置１では、水平方向画像取得部２が撮像した画像を用いて頭部傾斜角を検出したが、これに限定するものではない。すなわち、俯瞰画像取得部４が取得した俯瞰画像を用いて頭部傾斜角を検出してもよい。
この場合、画像表示装置１の構成を、水平方向画像取得部２を備えていない構成とすることが可能となるため、本実施形態と比較して、画像表示装置１の構成を簡略化することが可能となる。これにより、画像表示装置１の製造コスト増加を抑制することが可能となる。

（６）本実施形態の画像表示装置１では、使用者の頭部と対向する物体に対する頭部の上下方向への傾斜角度を用いて、頭部傾斜角を検出したが、これに限定するものではない。すなわち、使用者の上半身に対する前記頭部の上下方向への傾斜角度を用いて、頭部傾斜角を検出してもよい。
（７）本実施形態の画像表示装置１では、俯瞰画像取得部４の構成を、使用者が装着しないカメラである、広角カメラ２６を有する構成としたが、これに限定するものではない。すなわち、俯瞰画像取得部４の構成を、使用者が装着する広角カメラ２６を有する構成としてもよい。この場合、広角カメラ２６を、例えば、頭部装着部材１４のフレーム部１６に取り付ける。

（８）本実施形態の画像表示装置１では、画像表示部１２の構成を、頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部１０が生成した画像を表示しない構成としたが、これに限定するものではない。すなわち、例えば、画像表示部１２の構成を、頭部傾斜角が予め設定した非表示角度以下であれば、正面の画像を表示する構成としてもよい。この場合、画像表示部１２に表示する正面の画像としては、例えば、ＣＣＤカメラ２２が撮像した画像を用いる。

（９）本実施形態の画像表示装置１では、頭部装着部材１４のフレーム部１６に取り付けたＣＣＤカメラ２２、すなわち、使用者が装着するＣＣＤカメラ２２により、水平方向画像取得部２を形成している。しかしながら、これに限定するものではなく、例えば、自車両Ｖの外周面に取り付けたＣＣＤカメラ２２、すなわち、使用者が装着しないカメラにより、水平方向画像取得部２を形成してもよい。

（１０）本実施形態の画像表示装置１では、複数の網膜プロジェクタ２４を、使用者の両目に対して、それぞれ、網膜へ光を直接照射することが可能な位置に配置したが、これに限定するものではない。すなわち、網膜プロジェクタ２４を、例えば、使用者の片目のみ（右目または左目）に対して、網膜へ光を直接照射することが可能な位置に配置してもよい。

（１１）本実施形態の画像表示装置１では、透明な樹脂材料を用いて形成したレンズ部１８に取り付けた網膜プロジェクタ２４により、画像表示部１２を構成しているが、これに限定するものではない。すなわち、例えば、レンズ部１８の使用者と対向する面全体をディスプレイとして形成してもよい。この場合、レンズ部１８の構成を、開閉等が可能な可動式の構成とし、頭部傾斜角が予め設定した非表示角度以下であれば、レンズ部１８が開いて使用者の視界を確保する構成としてもよい。
また、レンズ部１８を、光束を二つ以上に分割可能なビームスプリッター、特に、反射光と透過光の強さの比がほぼ１：１であるハーフミラーを用いて形成してもよい。

（１２）本実施形態の画像表示装置１では、水平方向画像取得部２の構成を、ＣＣＤカメラを有する構成とし、俯瞰画像取得部４の構成を、広角カメラを有する構成としたが、水平方向画像取得部２及び俯瞰画像取得部４の構成は、これに限定するものではない。すなわち、水平方向画像取得部２の構成を、例えば、画像を撮像する機能に加え、暗視鏡（ｓｎｏｏｐｅｒｓｃｏｐｅ）としての機能や、望遠鏡（ｔｅｌｅｓｃｏｐｅ）としての機能を有する構成としてもよい。また、水平方向画像取得部２の構成を、例えば、画像を撮像する機能に加え、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）としての機能を有する構成としてもよい。これらは、俯瞰画像取得部４に関しても同様である。

（１３）本実施形態の画像表示装置１では、画像表示部１２の構成を、レンズ部１８に取り付けた網膜プロジェクタ２４を備える構成としたが、これに限定するものではない。すなわち、画像表示部１２の構成を、例えば、フロントウインドウの内側面等、車室内において使用者が視認可能な位置に、画像生成部１０が生成した画像を投影して表示する構成としてもよい。

（１４）本実施形態の画像表示装置１では、頭部装着部材１４を、眼鏡形状の部材で形成したが、これに限定するものではなく、頭部装着部材１４を、例えば、片眼鏡や単眼鏡で形成してもよい。
（１５）本実施形態では、例えば、フレーム部１６に設けたスイッチを手動で操作することにより、画像表示装置１を作動させたが、これに限定するものではなく、例えば、自車両Ｖのエンジン始動と連動させて、画像表示装置１を作動させてもよい。

１ 画像表示装置
２ 水平方向画像取得部
４ 俯瞰画像取得部
６ 頭部傾斜角検出部
８ ナビゲーションシステム部
１０ 画像生成部
１２ 画像表示部
１４ 頭部装着部材
１６ フレーム部
１８ レンズ部
２０ フレーム辺
２２ ＣＣＤカメラ
２４ 網膜プロジェクタ
２６ 広角カメラ
２８ 広角カメラの撮像範囲を示す領域
Ｖ 自車両
Ｐ 仮想視点

Claims (8)

1. 使用者の上方に視点を設定した俯瞰画像のうち少なくとも前記使用者の周囲を映した俯瞰画像を取得する俯瞰画像取得部と、
   水平面に対する前記使用者の頭部の上下方向への傾斜角度である頭部傾斜角を検出する頭部傾斜角検出部と、
   前記頭部傾斜角検出部が検出した頭部傾斜角が俯角であると判定すると、前記俯瞰画像取得部が取得した俯瞰画像を用いて、前記水平面よりも下方向への前記傾斜角度に応じて前記視点を変化させた俯瞰画像を生成する画像生成部と、
   前記頭部の向きに対して予め設定した表示範囲内へ、前記画像生成部が生成した画像を表示する画像表示部と、を備えることを特徴とする画像表示装置。
2. 前記画像生成部は、前記頭部傾斜角検出部が検出した頭部傾斜角が俯角であると判定すると、前記頭部傾斜角検出部が検出した頭部傾斜角のうち前記水平面よりも下方向への前記傾斜角度が大きいほど、前記使用者の周囲の領域が広く映るように視点を変化させた俯瞰画像を生成することを特徴とする請求項１に記載した画像表示装置。
3. 前記画像生成部は、前記頭部傾斜角検出部が検出した頭部傾斜角が俯角であると判定すると、前記頭部傾斜角検出部が検出した頭部傾斜角のうち前記水平面よりも下方向への前記傾斜角度が大きいほど、前記使用者の周囲の領域のうち使用者前方の領域よりも使用者後方の領域が広く映るように視点を変化させた俯瞰画像を生成することを特徴とする請求項１に記載した画像表示装置。
4. 前記頭部傾斜角検出部は、前記俯瞰画像取得部が取得した俯瞰画像に基づいて前記頭部傾斜角を検出することを特徴とする請求項１から請求項３のうちいずれか１項に記載した画像表示装置。
5. 上面視で使用者から周囲へ放射状に延びる複数の軸の少なくとも一つの軸を撮像軸として撮像した画像を取得する水平方向画像取得部を備え、
   前記頭部傾斜角検出部は、前記水平方向画像取得部が取得した画像に基づいて前記頭部傾斜角を検出することを特徴とする請求項１から請求項３のうちいずれか１項に記載した画像表示装置。
6. 前記頭部傾斜角検出部は、前記使用者の上半身に対する前記頭部の上下方向への傾斜角度、または、前記頭部と対向する物体に対する頭部の上下方向への傾斜角度を用いて前記頭部傾斜角を検出することを特徴とする請求項１から請求項５のうちいずれか１項に記載した画像表示装置。
7. 前記画像表示部は、前記頭部傾斜角が予め設定した非表示角度以下であれば、前記画像生成部が生成した画像を表示しないことを特徴とする請求項１から請求項６のうちいずれか１項に記載した画像表示装置。
8. 前記俯瞰画像取得部は、前記使用者が装着しないカメラを有することを特徴とする請求項１から請求項７のうちいずれか１項に記載した画像表示装置。

Images