JP2013026797A - Image display unit - Google Patents
Image display unit Download PDFInfo
- Publication number
- JP2013026797A JP2013026797A JP2011159308A JP2011159308A JP2013026797A JP 2013026797 A JP2013026797 A JP 2013026797A JP 2011159308 A JP2011159308 A JP 2011159308A JP 2011159308 A JP2011159308 A JP 2011159308A JP 2013026797 A JP2013026797 A JP 2013026797A
- Authority
- JP
- Japan
- Prior art keywords
- head
- image
- rotation angle
- angle
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、例えば、車両の運転時において、自車両周囲の環境を示す画像情報を運転者に提供する、画像表示装置に関する。 The present invention relates to an image display device that provides a driver with image information indicating an environment around a host vehicle, for example, during driving of the vehicle.
作業を支援するための画像情報を使用者に提供する画像表示装置として、例えば、特許文献１に記載されているものがある。
特許文献１に記載されている画像表示装置は、使用者の頭部に装着する撮像部（カメラ）及び表示部（ディスプレイ）を備える。そして、撮像部で撮像した画像に対し、作業に関する作業情報（文字等）を付加する。さらに、作業情報を付加した画像情報を表示部に表示する。ここで、撮像部は、使用者の頭部の前面が向いている方向に延びる軸を撮像軸として、画像を撮像する。
As an image display device that provides image information for supporting work to a user, for example, there is one described in Patent Document 1.
The image display device described in Patent Literature 1 includes an imaging unit (camera) and a display unit (display) that are mounted on the user's head. Then, work information (such as characters) related to the work is added to the image picked up by the image pickup unit. Further, the image information added with the work information is displayed on the display unit. Here, the imaging unit captures an image using an axis extending in a direction in which the front surface of the user's head is facing as an imaging axis.
しかしながら、特許文献１に記載の画像表示装置では、使用者の頭部の前面が向いている方向に延びる軸を撮像軸として撮像した画像を、表示部に表示する。このため、例えば、画像表示装置を車両の運転に使用し、使用者が自車両の側方や後方の状況を確認したい場合等、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を使用者に提供することは困難である。
本発明は、上記のような問題点に着目してなされたもので、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を使用者に提供することが可能な、画像表示装置を提供することを課題とする。
However, in the image display device described in Patent Document 1, an image captured using an axis extending in a direction in which the front surface of the user's head is facing as an imaging axis is displayed on the display unit. For this reason, for example, when the image display device is used for driving the vehicle and the user wants to check the situation of the side or the back of the host vehicle, the viewpoint different from the angle at which the user's head is actually rotated It is difficult to provide a user with an image captured in (1).
The present invention was made paying attention to the above problems, and can provide the user with an image captured from a viewpoint different from the angle at which the user's head is actually rotated. It is an object to provide an image display device.
上記課題を解決するために、本発明の一態様は、予め設定した基準方向に対する使用者の頭部の上下軸周りの回転角度である頭部回転角を検出し、水平面に対する上記頭部の上下方向への傾斜角度である頭部傾斜角を検出する。
そして、上記検出した頭部傾斜角が俯角であると判定すると、水平面よりも下方向への傾斜角度に応じて視点を変化させ、且つ当該変化させた視点を上記検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。さらに、生成した俯瞰画像を、上記頭部の向きに対して予め設定した表示範囲内へ表示する。ここで、俯瞰画像の生成は、上記使用者の上方に視点を設定した俯瞰画像のうち少なくとも使用者の周囲を映した俯瞰画像を取得し、この取得した俯瞰画像を用いて行う。
In order to solve the above-described problem, an aspect of the present invention detects a head rotation angle that is a rotation angle around a vertical axis of a user's head relative to a preset reference direction, and moves the head up and down relative to a horizontal plane. A head inclination angle that is an inclination angle in the direction is detected.
When it is determined that the detected head inclination angle is a depression angle, the viewpoint is changed according to the inclination angle downward from the horizontal plane, and the changed viewpoint is different from the detected head rotation angle. An overhead view image that is changed in the direction of the imaging axis facing the rotation angle is generated. Further, the generated overhead image is displayed within a display range set in advance with respect to the orientation of the head. Here, the overhead image is generated by acquiring an overhead image that reflects at least the user's surroundings from among the overhead images set with the viewpoint above the user, and using the acquired overhead image.
また、上記検出した頭部傾斜角が俯角ではないと判定すると、上記検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する。さらに、生成した画像を、上記頭部の向きに対して予め設定した表示範囲内へ表示する。ここで、上記検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像の生成は、上面視で上記使用者から周囲へ放射状に延びる複数の軸の少なくとも一つの軸を撮像軸として撮像した画像を取得し、この取得した画像を用いて行う。 If it is determined that the detected head inclination angle is not a depression angle, an image picked up with an image pickup axis facing a rotation angle different from the detected head rotation angle is generated. Further, the generated image is displayed within a display range set in advance with respect to the orientation of the head. Here, the generation of an image picked up by an image pickup axis that faces a rotation angle different from the detected head rotation angle is performed using at least one of a plurality of axes radially extending from the user as viewed in the top view as an image pickup axis. A captured image is acquired, and the acquired image is used.
本発明によれば、検出した頭部傾斜角が俯角であると判定すると、水平面よりも下方向への傾斜角度に応じて変化させた視点を、検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成して、予め設定した表示範囲内へ表示する。一方、検出した頭部傾斜角が俯角ではないと判定すると、検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成して、予め設定した表示範囲内へ表示する。
このため、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を、使用者に提供することが可能となる。
According to the present invention, when it is determined that the detected head tilt angle is a depression angle, the viewpoint changed according to the tilt angle downward from the horizontal plane is directed to a rotation angle different from the detected head rotation angle. An overhead image changed in the direction of the imaging axis is generated and displayed within a preset display range. On the other hand, if it is determined that the detected head inclination angle is not a depression angle, an image picked up with an image pickup axis facing a rotation angle different from the detected head rotation angle is generated and displayed within a preset display range.
For this reason, it is possible to provide the user with an image captured from a viewpoint different from the angle at which the user's head is actually rotating.
以下、本発明の実施形態について図面を参照しつつ説明する。
（第一実施形態）
以下、本発明の第一実施形態について、図面を参照しつつ説明する。
（構成）
図１は、本実施形態の画像表示装置の構成を示すブロック図である。
図１から図３中に示すように、本実施形態の画像表示装置１は、水平方向画像取得部２と、俯瞰画像取得部４と、頭部回転角検出部６と、頭部傾斜角検出部８と、ナビゲーションシステム部１０と、画像生成部１２と、画像表示部１４を備える。
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
(Constitution)
FIG. 1 is a block diagram showing the configuration of the image display apparatus of this embodiment.
As shown in FIGS. 1 to 3, the image display device 1 of the present embodiment includes a horizontal image acquisition unit 2, an overhead image acquisition unit 4, a head rotation
水平方向画像取得部２は、例えば、複数のＣＣＤカメラ等を有する。また、水平方向画像取得部２は、上面視で画像表示装置１の使用者（図示せず）から周囲へ放射状に延びる複数の軸のうち、少なくとも一つの軸を撮像軸として撮像した画像を取得する。そして、水平方向画像取得部２は、取得した画像を含む情報信号を、頭部回転角検出部６、頭部傾斜角検出部８及び画像生成部１２へ出力する。
The horizontal image acquisition unit 2 includes, for example, a plurality of CCD cameras. Further, the horizontal image acquisition unit 2 acquires an image obtained by imaging at least one of the plurality of axes extending radially from the user (not shown) of the image display device 1 in a top view as an imaging axis. To do. Then, the horizontal image acquisition unit 2 outputs an information signal including the acquired image to the head rotation
ここで、本実施形態では、画像表示装置１を、図２中に示すように、眼鏡形状の部材である頭部装着部材に適用した場合を説明する。なお、図２は、画像表示装置１を適用した頭部装着部材１６の構成を示す図である。
頭部装着部材１６は、画像表示装置１の使用者が頭部に装着する眼鏡形状の部材であり、フレーム部１８と、レンズ部２０を備える。
Here, in this embodiment, the case where the image display apparatus 1 is applied to a head-mounted member that is a spectacle-shaped member as shown in FIG. 2 will be described. FIG. 2 is a diagram showing a configuration of the
The
フレーム部１８は、頭部装着部材１６を使用者が頭部に装着した状態で、鉛直方向から見てコの字型に形成してあり、三つのフレーム辺２２ａ〜２２ｃを有する。
三つのフレーム辺２２ａ〜２２ｃのうち、鉛直方向から見て互いに平行であるフレーム辺２２ａとフレーム辺２２ｃには、その外周面（互いに対向する面と反対側の面）に、複数のＣＣＤカメラ２４を取り付ける。
The
Among the three
また、三つのフレーム辺２２ａ〜２２ｃのうち、フレーム辺２２ａとフレーム辺２２ｃとを連結するフレーム辺２２ｂには、その外周面（フレーム辺２２ａ及びフレーム辺２２ｃの外周面と連続する面）に、複数のＣＣＤカメラ２４を取り付ける。
なお、本実施形態では、一例として、フレーム辺２２ａ〜２２ｃの外周面に、それぞれ、五つのＣＣＤカメラ２４をフレーム辺２２の延在方向へ配列して形成したカメラアレイを設ける場合を説明する。ここで、フレーム辺２２の延在方向とは、頭部装着部材１６を使用者が頭部に装着した状態で、水平方向または略水平方向となる。また、フレーム辺２２ａ〜２２ｃの外周面に取り付けた五つのＣＣＤカメラ２４は、それぞれ、等間隔で配置する。
Of the three
In the present embodiment, as an example, a case will be described in which a camera array in which five
以上により、本実施形態では、一例として、頭部装着部材１６のフレーム部１８に取り付けた複数のＣＣＤカメラ２４により、水平方向画像取得部２を形成する場合を説明する。
したがって、本実施形態では、複数のＣＣＤカメラ２４、すなわち、上面視で使用者から周囲へ放射状に延びる複数の軸を撮像軸として撮像した画像を取得するため、使用者の視界よりも水平方向へ広い範囲の画像を撮像することが可能である。
As described above, in the present embodiment, as an example, a case where the horizontal image acquisition unit 2 is formed by the plurality of
Therefore, in the present embodiment, since a plurality of
レンズ部２０は、例えば、透明な樹脂材料を用いて、板状に形成する。また、レンズ部２０は、頭部装着部材１６を使用者が頭部に装着した状態で、鉛直方向上方から見て、レンズ部２０の上端とフレーム辺２２ｂの下端が連続する状態で、フレーム部１８に取り付ける。なお、本実施形態では、レンズ部２０を、透明な樹脂材料を用いて形成した場合を説明する。
The lens unit 20 is formed in a plate shape using, for example, a transparent resin material. In addition, the lens unit 20 is configured so that the upper end of the lens unit 20 and the lower end of the
また、レンズ部２０の使用者側の面（三つのフレーム辺２２ａ〜２２ｃで囲んだ空間側の面）には、複数の網膜プロジェクタ２６を取り付ける。なお、網膜プロジェクタ２６に関する説明は、後述する。
俯瞰画像取得部４は、例えば、広角レンズを備えた複数の広角カメラを有して形成する。また、俯瞰画像取得部４は、後述する処理により、使用者の上方に視点を設定した俯瞰画像のうち、少なくとも使用者の周囲を映した俯瞰画像を取得する。そして、俯瞰画像取得部４は、取得した俯瞰画像を含む情報信号を、画像生成部１２へ出力する。なお、以降の説明では、使用者の上方に設定した視点を、「仮想視点」と記載する場合がある。
A plurality of
The overhead image acquisition unit 4 is formed with, for example, a plurality of wide-angle cameras including wide-angle lenses. In addition, the overhead image acquisition unit 4 acquires at least a bird's-eye view image that shows the surroundings of the user from among the overhead images in which the viewpoint is set above the user by a process described later. Then, the bird's-eye view image acquisition unit 4 outputs an information signal including the acquired bird's-eye view image to the
ここで、本実施形態では、画像表示装置１を、図２中に示す頭部装着部材１６に適用し、さらに、頭部装着部材１６を装着した使用者が、図３中に示す車両（以下、「自車両」と記載する場合がある）に運転する場合を説明する。なお、図３は、画像表示装置１の使用者が運転する自車両Ｖの構成を示す図である。
したがって、本実施形態では、俯瞰画像取得部４が取得する俯瞰画像を、自車両Ｖの上方に視点を設定した俯瞰画像のうち、少なくとも自車両Ｖの周囲を映した俯瞰画像として説明する。
Here, in the present embodiment, the image display device 1 is applied to the
Therefore, in this embodiment, the bird's-eye view image acquired by the bird's-eye view image acquisition unit 4 will be described as a bird's-eye view image that reflects at least the surroundings of the host vehicle V among the bird's-eye view images set with the viewpoint above the host vehicle V.
自車両Ｖは、画像表示装置１の使用者が運転する車両であり、複数の広角カメラ２８を備える。なお、本実施形態では、一例として、自車両Ｖの構成が、四つの広角カメラ２８を備える構成である場合を説明する。
四つの広角カメラ２８は、前方カメラ２８ａと、右側方カメラ２８ｂと、左側方カメラ２８ｃと、後方カメラ２８ｄである。
The host vehicle V is a vehicle that is driven by a user of the image display device 1 and includes a plurality of wide-angle cameras 28. In the present embodiment, the case where the configuration of the host vehicle V is a configuration including four wide-angle cameras 28 will be described as an example.
The four wide-angle cameras 28 are a
前方カメラ２８ａは、車両前後方向前方、例えば、フロントグリルの中心付近に取り付ける。また、前方カメラ２８ａの撮像範囲は、例えば、自車両Ｖの車両前後方向前方の地面へ向ける。なお、図３中では、前方カメラ２８ａの撮像範囲を示す領域を、符号３０ａを付して示す。
右側方カメラ２８ｂは、車幅方向右側、例えば、車幅方向右側のドアミラーの下面（地面と対向する面）に取り付ける。また、右側方カメラ２８ｂの撮像範囲は、例えば、自車両Ｖの車幅方向右側の地面へ向ける。なお、図３中では、右側方カメラ２８ｂの撮像範囲を示す領域を、符号３０ｂを付して示す。
The
The
左側方カメラ２８ｃは、車幅方向左側、例えば、車幅方向左側のドアミラーの下面（地面と対向する面）に取り付ける。また、左側方カメラ２８ｃの撮像範囲は、例えば、自車両Ｖの車幅方向左側の地面へ向ける。なお、図３中では、左側方カメラ２８ｃの撮像範囲を示す領域を、符号３０ｃを付して示す。
後方カメラ２８ｄは、車両前後方向後方、例えば、後部ドア上端の中心付近に取り付ける。また、後方カメラ２８ｄの撮像範囲は、例えば、自車両Ｖの車両前後方向後方の地面へ向ける。なお、図３中では、後方カメラ２８ｄの撮像範囲を示す領域を、符号３０ｄを付して示す。
The left-
The
したがって、前方カメラ２８ａ、右側方カメラ２８ｂ、左側方カメラ２８ｃ及び後方カメラ２８ｄが撮像した画像を組み合わせると、自車両Ｖの上方に設定した仮想視点Ｐから自車両Ｖの周囲の地面を見下ろした画像となる。すなわち、前方カメラ２８ａ、右側方カメラ２８ｂ、左側方カメラ２８ｃ及び後方カメラ２８ｄが撮像した画像を組み合わせると、使用者が運転する自車両Ｖの周囲（使用者の周囲）における地面の俯瞰画像を形成することが可能となる。
Therefore, when the images captured by the
なお、図３中では、仮想視点Ｐが、自車両Ｖの上方において、自車両Ｖの中心付近（車両前後方向及び車幅方向の中心付近）と重なる位置である場合を示す。
以上により、本実施形態では、一例として、自車両Ｖの外周面に取り付けた四つの広角カメラ２８（車載カメラ）により、俯瞰画像取得部４を形成する場合を説明する。すなわち、本実施形態では、一例として、俯瞰画像取得部４の構成を、使用者が装着しないカメラ（広角カメラ２８）を有する構成とした場合を説明する。
FIG. 3 shows a case where the virtual viewpoint P is located above the host vehicle V and is near the center of the host vehicle V (near the center in the vehicle longitudinal direction and the vehicle width direction).
As described above, in the present embodiment, as an example, the case where the overhead image acquisition unit 4 is formed by the four wide-angle cameras 28 (vehicle-mounted cameras) attached to the outer peripheral surface of the host vehicle V will be described. That is, in the present embodiment, as an example, a case will be described in which the overhead image acquisition unit 4 is configured to have a camera (wide-angle camera 28) that is not worn by the user.
頭部回転角検出部６は、水平方向画像取得部２が出力した情報信号に基づき、頭部回転角を検出する。ここで、頭部回転角は、予め設定した基準方向に対する、使用者の頭部の上下軸周りの回転角度である。
そして、頭部回転角検出部６は、検出した頭部回転角を含む情報信号を、画像生成部１２へ出力する。すなわち、本実施形態では、一例として、頭部回転角検出部６が、水平方向画像取得部２が取得した画像に基づいて、頭部回転角を検出する場合を説明する。なお、頭部回転角検出部６は、例えば、フレーム部１８に内蔵する。
The head rotation
Then, the head rotation
また、本実施形態では、一例として、基準方向を、使用者の上半身の正中面と同じ方向とする場合を説明する。ここで、「上半身の正中面」とは、使用者の上半身を横方向（左右方向）で均等に分割する面である。
なお、基準方向の設定は、例えば、フレーム辺２２ｂの外周面に取り付けた五つのＣＣＤカメラ２４のうち、中心に配置したＣＣＤカメラ２４が、自車両Ｖが備えるステアリングホイールの回転中心を最短距離で撮像している状態を検出して行う。この場合、ステアリングホイールの回転中心を最短距離で撮像している状態の検出は、例えば、自車両Ｖの運転席に着座した使用者がシートベルトを着用した状態で行う。
In the present embodiment, as an example, a case where the reference direction is the same direction as the median surface of the upper body of the user will be described. Here, the “midline surface of the upper body” is a surface that equally divides the upper body of the user in the horizontal direction (left-right direction).
The reference direction is set by, for example, the center of the five
また、本実施形態では、一例として、頭部回転角検出部６が、使用者の頭部と対向する物体に対する使用者の頭部の上下軸周りの回転角度を用いて、頭部回転角を検出する場合を説明する。
ここで、頭部回転角を検出する処理の具体例としては、まず、ステアリングホイールの回転中心を、使用者の頭部と対向する物体として設定する。これに加え、複数のＣＣＤカメラ２４が撮像した画像を検出する。
In the present embodiment, as an example, the head rotation
Here, as a specific example of the process of detecting the head rotation angle, first, the rotation center of the steering wheel is set as an object facing the user's head. In addition to this, images taken by a plurality of
そして、複数のＣＣＤカメラ２４のうち、ステアリングホイールの回転中心に最も近いＣＣＤカメラ２４とステアリングホイールの回転中心を結ぶ第一直線を算出する。これに加え、フレーム辺２２ｂの外周面に取り付けた五つのＣＣＤカメラ２４のうち、中心に配置したＣＣＤカメラ２４の撮像方向中心を示す第二直線を算出する。
さらに、鉛直方向から見た第一直線と第二直線がなす角度を算出し、この算出した角度を、頭部回転角として検出する。
Then, a first straight line connecting the
Furthermore, an angle formed by the first straight line and the second straight line viewed from the vertical direction is calculated, and the calculated angle is detected as a head rotation angle.
頭部傾斜角検出部８は、水平方向画像取得部２が出力した情報信号に基づき、頭部傾斜角を検出する。ここで、頭部傾斜角は、水平面に対する使用者の頭部の上下方向への傾斜角度である。そして、頭部傾斜角検出部８は、検出した頭部傾斜角を含む情報信号を、画像生成部１２へ出力する。すなわち、本実施形態では、一例として、頭部傾斜角検出部８が、水平方向画像取得部２が取得した画像に基づいて、頭部傾斜角を検出する場合を説明する。なお、頭部傾斜角検出部８は、例えば、フレーム部１８に内蔵する。
The head tilt angle detection unit 8 detects the head tilt angle based on the information signal output by the horizontal image acquisition unit 2. Here, the head inclination angle is an inclination angle of the user's head in the vertical direction with respect to the horizontal plane. Then, the head tilt angle detection unit 8 outputs an information signal including the detected head tilt angle to the
また、本実施形態では、一例として、頭部傾斜角検出部８が、使用者の頭部と対向する物体に対する使用者の頭部の上下方向への傾斜角度を用いて、頭部傾斜角を検出する場合を説明する。
ここで、頭部傾斜角を検出する処理の具体例としては、まず、自車両Ｖが備えるステアリングホイールの回転中心を、使用者の頭部と対向する物体として設定する。これに加え、複数のＣＣＤカメラ２４が撮像した画像を参照する。
In the present embodiment, as an example, the head tilt angle detection unit 8 uses the tilt angle in the vertical direction of the user's head relative to the object facing the user's head to determine the head tilt angle. A case of detection will be described.
Here, as a specific example of the process of detecting the head inclination angle, first, the rotation center of the steering wheel provided in the host vehicle V is set as an object facing the user's head. In addition to this, images taken by a plurality of
そして、複数のＣＣＤカメラ２４のうち、ステアリングホイールの回転中心に最も近いＣＣＤカメラ２４とステアリングホイールの回転中心を結ぶ第一直線を算出する。これに加え、フレーム辺２２ｂの外周面に取り付けた五つのＣＣＤカメラ２４のうち、中心に配置したＣＣＤカメラ２４の撮像方向中心を示す第二直線を算出する。
さらに、水平方向から見た第一直線と第二直線がなす角度を算出し、この算出した角度を、頭部傾斜角として検出する。
Then, a first straight line connecting the
Further, an angle formed by the first straight line and the second straight line viewed from the horizontal direction is calculated, and the calculated angle is detected as a head tilt angle.
ナビゲーションシステム部１０は、一般的なカーナビゲーション（Ａｕｔｏｍｏｔｉｖｅ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ）を用いて構成する。また、ナビゲーションシステム部１０は、道路種別、道路曲率、道路勾配等の地図情報を記憶し、必要に応じて、これらの情報を更新可能な機能を有する。これに加え、ナビゲーションシステム部１０は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による、自車両の位置測定、自車両の経路誘導、自車両の走行経路における制限車速情報の表示等を行う機能を有する。
The
なお、ナビゲーションシステム部１０が記憶している各種情報は、必要に応じて、画像生成部１２が、情報信号の入力により取得する。
画像生成部１２は、水平方向画像取得部２、俯瞰画像取得部４、頭部回転角検出部６、頭部傾斜角検出部８及びナビゲーションシステム部１０が出力した情報信号に基づき、画像表示部１４に表示するための画像を生成する。そして、画像生成部１２は、生成した画像を含む情報信号を、画像表示部１４へ出力する。また、画像生成部１２には、予め、自車両Ｖの上面の画像（写真データ、ＣＧデータ等）を記憶させておく。なお、画像生成部１２は、例えば、フレーム部１８に内蔵する。
Note that the various types of information stored in the
The
具体的には、画像生成部１２は、まず、頭部傾斜角検出部８が検出した頭部傾斜角が俯角であるか否かを判定する。ここで、判定に用いる俯角は、例えば、自車両Ｖが平坦路を走行している場合では、水平面と下り勾配の線がなす垂直面内の角度とする。また、判定に用いる俯角は、例えば、自車両Ｖが上り坂を走行している場合では、水平面よりも上方向へ、上り坂の勾配に応じて傾斜した面を基準とし、この基準とした面と下り勾配の線がなす垂直面内の角度とする。また、判定に用いる俯角は、例えば、自車両Ｖが下り坂を走行している場合では、水平面よりも下方向へ、下り坂の勾配に応じて傾斜した面を基準とし、この基準とした面と下り勾配の線がなす垂直面内の角度とする。
Specifically, the
以下、頭部傾斜角検出部８が検出した頭部傾斜角が俯角であると判定した場合の処理と、頭部傾斜角検出部８が検出した頭部傾斜角が俯角ではないと判定した場合の処理を、順に説明する。
・頭部傾斜角検出部８が検出した頭部傾斜角が俯角であると判定した場合の処理
画像生成部１２は、頭部傾斜角検出部８が検出した頭部傾斜角が俯角であると判定すると、水平面よりも下方向への傾斜角度に応じて仮想視点Ｐの位置を変化させる。これに加え、位置を変化させた仮想視点Ｐを頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。この場合、俯瞰画像の生成は、俯瞰画像取得部４が撮像した画像を用いて行う。そして、画像生成部１２は、生成した俯瞰画像を含む情報信号を、画像表示部１４へ出力する。
Hereinafter, when it is determined that the head tilt angle detected by the head tilt angle detection unit 8 is a depression angle, and when it is determined that the head inclination angle detected by the head tilt angle detection unit 8 is not a depression angle These processes will be described in order.
Processing when it is determined that the head tilt angle detected by the head tilt angle detection unit 8 is a depression angle The
なお、本実施形態では、一例として、画像生成部１２が、頭部傾斜角検出部８が検出した頭部傾斜角のうち、水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖ（使用者）の周囲の領域が広く映るように視点を変化させた俯瞰画像を生成する場合を説明する。このような俯瞰画像の生成は、上述したように、頭部傾斜角検出部８が検出した頭部傾斜角が俯角であると判定すると行う。
In the present embodiment, as an example, the
以下、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖの周囲の領域が広く映るように仮想視点Ｐの位置を変化させた俯瞰画像を生成する際に行う処理の具体例を説明する。
まず、四つの広角カメラ２８が撮像した画像を組み合わせる。次に、頭部傾斜角のうち水平面よりも下方向への傾斜角度の大きさに応じて、四つの広角カメラ２８がそれぞれ撮像した画像から、自車両Ｖから離れた領域の比率を変更した画像を生成する。この場合、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖの領域よりも自車両Ｖから離れた領域が広く映る仮想視点Ｐの俯瞰画像を生成する。なお、自車両Ｖから離れた領域の最大値は、広角カメラ２８の性能等に応じた値である。
Hereinafter, it is performed when generating a bird's-eye view image in which the position of the virtual viewpoint P is changed so that the area around the host vehicle V is reflected more widely as the tilt angle downward from the horizontal plane is larger in the head tilt angle. A specific example of processing will be described.
First, the images captured by the four wide-angle cameras 28 are combined. Next, an image obtained by changing the ratio of the area away from the host vehicle V from the images captured by the four wide-angle cameras 28 according to the inclination angle of the head inclination angle downward from the horizontal plane. Is generated. In this case, an overhead image of the virtual viewpoint P in which a region farther from the host vehicle V than the region of the host vehicle V appears wider as the tilt angle of the head tilt angle downward from the horizontal plane is larger. Note that the maximum value in the region away from the host vehicle V is a value according to the performance of the wide-angle camera 28 and the like.
さらに、自車両Ｖの領域よりも自車両Ｖから離れた領域が広く映るように位置を変化させた仮想視点Ｐを、頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。
なお、本実施形態では、一例として、画像生成部１２が、予め設定した回転角変化係数を、頭部回転角検出部６が検出した頭部回転角に乗算した角度に基づいて、頭部回転角検出部６が検出した頭部回転角と異なる回転角度を設定する場合を説明する。
Further, the virtual viewpoint P whose position is changed so that a region far from the host vehicle V is reflected wider than the region of the host vehicle V has a rotation angle different from the head rotation angle detected by the head rotation
In the present embodiment, as an example, the
この場合、本実施形態では、一例として、回転角変化係数を「Ｋ」と定義し、以下に示す式（１）が成立するように、回転角変化係数Ｋを予め設定する。なお、設定した回転角変化係数Ｋは、予め、画像生成部１２に記憶させておく。
Ｋ＞１ … （１）
すなわち、本実施形態では、回転角変化係数Ｋを、１よりも大きい値とする場合を説明する。
そして、形成した俯瞰画像の中心に、予め記憶させてある自車両Ｖの上面の画像を合成（上書き）する。これにより、水平面よりも下方向への傾斜角度に応じて仮想視点Ｐを変化させ、さらに、変化させた仮想視点Ｐを頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。
In this case, in this embodiment, as an example, the rotation angle change coefficient is defined as “K”, and the rotation angle change coefficient K is set in advance so that the following equation (1) is satisfied. The set rotation angle change coefficient K is stored in the
K> 1 (1)
That is, in this embodiment, a case where the rotation angle change coefficient K is set to a value larger than 1 will be described.
Then, the image of the upper surface of the host vehicle V stored in advance is synthesized (overwritten) at the center of the formed overhead image. Thereby, the virtual viewpoint P is changed according to the inclination angle downward from the horizontal plane, and further, the rotation angle different from the head rotation angle detected by the head rotation
・頭部傾斜角検出部８が検出した頭部傾斜角が俯角ではないと判定した場合の処理
画像生成部１２は、頭部傾斜角検出部８が検出した頭部傾斜角が俯角ではないと判定すると、頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する。この場合、画像の生成は、水平方向画像取得部２が取得した画像を用いて行う。そして、画像生成部１２は、生成した画像を含む情報信号を、画像表示部１４へ出力する。
Processing when it is determined that the head tilt angle detected by the head tilt angle detection unit 8 is not a depression angle The
なお、本実施形態では、上述したように、回転角変化係数Ｋを、１よりも大きい値とする場合を説明する。
なお、上式（１）に示すように、１を超える値に設定する回転角変化係数Ｋは、例えば、定数である「２」に設定してもよい。これにより、使用者が頭部を水平方向へ９０［°］右回転させた場合に、画像生成部１２が、使用者が頭部を水平方向へ１８０［°］右回転させた範囲の画像を生成する。この場合、画像生成部１２が生成する画像は、自車両Ｖの後方を撮像した画像となる。
In the present embodiment, as described above, a case where the rotation angle change coefficient K is set to a value larger than 1 will be described.
As shown in the above equation (1), the rotation angle change coefficient K set to a value exceeding 1 may be set to “2” which is a constant, for example. As a result, when the user rotates the head by 90 [°] right in the horizontal direction, the
また、画像生成部１２が、頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する際には、隣り合うＣＣＤカメラ２４が撮像した画像同士を連続させる処理を行う。この処理は、例えば、複数のＣＣＤカメラ２４を、隣り合うＣＣＤカメラ２４が撮像した画像が互いに端の部分で重なるように配置し、隣り合うＣＣＤカメラ２４が撮像した画像を、上述した重なり部分を互いに重ねて一枚に統合した画像とする処理である。
Further, when the
また、本実施形態では、一例として、画像生成部１２が、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、生成した画像を含む情報信号の出力を行わない場合を説明する。
ここで、非表示角度は、例えば、上述した基準方向を中心とした円形の領域を形成する角度とする。この場合、非表示角度は、例えば、使用者の頭部の中心から前方（視認方向）へ向けて、水平方向±１０［°］及び鉛直方向±１０［°］程度の範囲に対応する円形の領域を形成する角度に設定する。また、設定した非表示角度は、予め、画像生成部１２に記憶しておく。
In the present embodiment, as an example, when the
Here, the non-display angle is, for example, an angle that forms a circular region centered on the reference direction described above. In this case, the non-display angle is, for example, a circular shape corresponding to a range of about ± 10 [°] in the horizontal direction and ± 10 [°] in the vertical direction from the center of the user's head to the front (viewing direction). Set the angle to form the region. The set non-display angle is stored in advance in the
また、本実施形態では、一例として、画像生成部１２が、頭部傾斜角検出部８が検出した頭部傾斜角が、水平面よりも上方向への傾斜角度である場合に、自車両Ｖの周辺環境情報や走行支援情報を表示する画像を生成する場合を説明する。
ここで、自車両Ｖの周辺環境情報とは、例えば、ナビゲーションシステム部１０が記憶している地図情報と自車両Ｖの位置測定により生成する自車両Ｖの周辺マップ等である。また、走行支援情報とは、自車両Ｖの走行経路における、渋滞予測情報等である。
In the present embodiment, as an example, when the
Here, the surrounding environment information of the own vehicle V is, for example, map information stored in the
画像表示部１４は、画像生成部１２が出力した情報信号に基づき、使用者の頭部の向きに対して予め設定した表示範囲内へ、画像生成部１２が生成した画像を表示する。
ここで、使用者の頭部の向きに対して予め設定した表示範囲とは、例えば、使用者の視界である。
なお、本実施形態では、上述したように、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部１２が、生成した画像を含む情報信号の出力を行わない。このため、本実施形態では、画像表示部１４が、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部１２が生成した画像を表示しない場合を説明する。
The
Here, the display range set in advance with respect to the orientation of the user's head is, for example, the user's field of view.
In the present embodiment, as described above, if the head rotation angle and the head tilt angle are equal to or less than the preset non-display angle, the
また、本実施形態では、一例として、画像表示部１４の構成が、レンズ部２０に取り付けた、複数の網膜プロジェクタ２６を備える構成である場合について説明する。
網膜プロジェクタ２６は、使用者の視界内に画像を表示する表示装置である。また、網膜プロジェクタ２６は、例えば、網膜走査ディスプレイ（ＲＩＤ：Ｒｅｔｉｎａｌ Ｉｍａｇｉｎｇ Ｄｉｓｐｌａｙ）を用いて形成する。ここで、網膜走査ディスプレイは、画像生成部１２が生成した画像を形成する光を、使用者の網膜へ直接照射して、使用者の視界内に画像を表示する。なお、本実施形態では、複数の網膜プロジェクタ２６を、使用者の両目（右目及び左目）に対し、それぞれ、網膜へ光を直接照射することが可能な位置に配置する。具体的に、本実施形態では、レンズ部２０に四つの網膜プロジェクタ２６を取り付け、二つ一組の網膜プロジェクタ２６を、それぞれ、右目または左目へ光を直接照射することが可能な位置に配置する。
In the present embodiment, as an example, a case where the configuration of the
The
（動作）
次に、図１から図３を参照しつつ、図４を用いて、本実施形態の画像表示装置１が行なう動作の一例について説明する。
図４は、本実施形態の画像表示装置１が行う処理を示すフローチャートである。
図４中に示すフローチャートは、自車両Ｖが走行しており、自車両Ｖを運転している画像表示装置１の使用者によって、画像表示装置１を作動させるスイッチが操作（ＯＮ）された状態からスタートする（図４中に示す「ＳＴＡＲＴ」）。なお、画像表示装置１を作動させるスイッチは、例えば、フレーム部１８に設け、手動により操作する。
(Operation)
Next, an example of an operation performed by the image display apparatus 1 according to the present embodiment will be described with reference to FIGS. 1 to 3 and FIG.
FIG. 4 is a flowchart showing processing performed by the image display apparatus 1 of the present embodiment.
In the flowchart shown in FIG. 4, the host vehicle V is traveling, and a switch for operating the image display device 1 is operated (ON) by a user of the image display device 1 driving the host vehicle V. Start from ("START" shown in FIG. 4). The switch for operating the image display device 1 is provided, for example, in the
画像表示装置１を作動させると、水平方向画像取得部２を形成する複数のＣＣＤカメラ２４が、それぞれ、画像を撮像する。これにより、水平方向画像取得部２が、使用者の視界よりも水平方向へ広い範囲の画像を取得（ステップＳ１００に示す「水平方向の画像を取得」）する。そして、使用者の視界よりも水平方向へ広い範囲の画像を取得した水平方向画像取得部２は、取得した画像を含む情報信号を、頭部回転角検出部６、頭部傾斜角検出部８及び画像生成部１２へ出力する。ステップＳ１００において、使用者の視界よりも水平方向へ広い範囲の画像を取得すると、画像表示装置１が行う処理は、ステップＳ１０２へ移行する。
When the image display device 1 is operated, the plurality of
ステップＳ１０２では、俯瞰画像取得部４を形成する複数の広角カメラ２８ａ〜２８ｄが、それぞれ、自車両Ｖの周囲の地面を、自車両Ｖの上方に設定した仮想視点Ｐから見下ろした画像を取得する。これにより、画像表示装置１の使用者が運転する自車両Ｖの周囲における地面の俯瞰画像を取得（ステップＳ１０２に示す「俯瞰画像を取得」）する。自車両Ｖの周囲における地面の俯瞰画像を取得した俯瞰画像取得部４は、取得した俯瞰画像を含む情報信号を、画像生成部１２へ出力する。ステップＳ１０２において、自車両Ｖの周囲における地面の俯瞰画像を取得すると、画像表示装置１が行う処理は、ステップＳ１０４へ移行する。
In step S <b> 102, the plurality of wide-
なお、ステップＳ１００で行う処理と、ステップＳ１０２で行う処理は、逆の順番（ステップＳ１０２→ステップＳ１００）で行ってもよい。
ステップＳ１０４では、頭部回転角検出部６が、水平方向画像取得部２が出力した情報信号に基づいて、頭部回転角を検出（ステップＳ１０４に示す「頭部回転角を検出」）する。そして、頭部回転角を検出した頭部回転角検出部６は、検出した頭部回転角を含む情報信号を、画像生成部１２へ出力する。ステップＳ１０４において、頭部回転角を検出すると、画像表示装置１が行う処理は、ステップＳ１０６へ移行する。
Note that the process performed in step S100 and the process performed in step S102 may be performed in the reverse order (step S102 → step S100).
In step S104, the head rotation
ステップＳ１０６では、頭部傾斜角検出部８が、水平方向画像取得部２が出力した情報信号に基づいて、頭部傾斜角を検出（ステップＳ１０６に示す「頭部傾斜角を検出」）する。そして、頭部傾斜角を検出した頭部傾斜角検出部８は、検出した頭部傾斜角を含む情報信号を、画像生成部１２へ出力する。ステップＳ１０６において、頭部傾斜角を検出すると、画像表示装置１が行う処理は、ステップＳ１０８へ移行する。
なお、ステップＳ１０４で行う処理と、ステップＳ１０６で行う処理は、逆の順番（ステップＳ１０６→ステップＳ１０４）で行ってもよい。
In step S106, the head tilt angle detector 8 detects the head tilt angle based on the information signal output from the horizontal image acquisition unit 2 ("detect head tilt angle" shown in step S106). Then, the head tilt angle detection unit 8 that has detected the head tilt angle outputs an information signal including the detected head tilt angle to the
Note that the processing performed in step S104 and the processing performed in step S106 may be performed in the reverse order (step S106 → step S104).
ステップＳ１０８では、画像生成部１２が、画像表示部１４に表示するための画像を生成（ステップＳ１０８に示す「画像を生成」）する。そして、画像表示部１４に表示するための画像を生成した画像生成部１２は、生成した画像を含む情報信号を、画像表示部１４へ出力する。ステップＳ１０８において、画像表示部１４に表示するための画像を生成すると、画像表示装置１が行う処理は、ステップＳ１１０へ移行する。
ここで、画像生成部１２は、水平方向画像取得部２、俯瞰画像取得部４、頭部回転角検出部６、頭部傾斜角検出部８及びナビゲーションシステム部１０が出力した情報信号に基づいて、画像表示部１４に表示するための画像を生成する。
In step S108, the
Here, the
以下に、画像生成部１２が、上述した各種の情報信号に基づいて、画像表示部１４に表示するための画像を生成する処理の具体例を列挙する。
（例１）頭部回転角検出部６が検出した頭部回転角が、自車両Ｖの車幅方向右側へ４５［°］増加した角度であり、頭部傾斜角検出部８が検出した頭部傾斜角が０［°］である場合。
Hereinafter, specific examples of processing in which the
(Example 1) The head rotation angle detected by the head rotation
この場合、画像生成部１２は、頭部傾斜角検出部８が検出した頭部傾斜角が俯角ではないと判定する。そして、画像生成部１２は、水平方向画像取得部２が取得した画像を用いて、頭部回転角検出部８が検出した頭部回転角（車幅方向右側へ４５［°］）と異なる回転角度（車幅方向右側へ９０［°］）を向く撮像軸で撮像した画像を生成する。
これにより、画像生成部１２は、頭部回転角が自車両Ｖの車幅方向右側へ９０［°］増加した範囲の画像を生成する。これは、回転角変化係数Ｋを、定数である「２」に設定した場合である。
In this case, the
Thereby, the
（例２）頭部回転角検出部６が検出した頭部回転角が０［°］であり、頭部傾斜角検出部８が検出した頭部傾斜角が、水平面よりも下方向への傾斜角度である場合。これに加え、水平面よりも下方向への傾斜角度が４５［°］である場合。
この場合、画像生成部１２は、頭部傾斜角検出部８が検出した頭部傾斜角が俯角であると判定する。そして、画像生成部１２は、俯瞰画像取得部４が撮像した画像を用いて、四つの広角カメラ２８ａ〜２８ｄの撮像可能な範囲のうち、半分の領域が映るように仮想視点Ｐを変化させた俯瞰画像を生成する。
(Example 2) The head rotation angle detected by the head rotation
In this case, the
また、頭部回転角検出部６が検出した頭部回転角が０［°］であるため、画像生成部１２は、変化させた仮想視点Ｐを頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する処理は行わない。
これにより、画像生成部１２は、四つの広角カメラ２８ａ〜２８ｄの撮像可能な範囲のうち、半分の領域が映るように仮想視点Ｐを変化させた俯瞰画像を生成する。
Since the head rotation angle detected by the head rotation
As a result, the
（例３）頭部回転角検出部６が検出した頭部回転角が０［°］であり、頭部傾斜角検出部８が検出した頭部傾斜角が水平面よりも上方向への傾斜角度である場合。
この場合、画像生成部１２は、頭部傾斜角検出部８が検出した頭部傾斜角が俯角ではないと判定する。そして、画像生成部１２は、ナビゲーションシステム部１０が出力した情報信号に基づいて、自車両Ｖの周辺環境情報を示す画像を生成する。
(Example 3) The head rotation angle detected by the head rotation
In this case, the
（例４）頭部回転角検出部６が検出した頭部回転角が、自車両Ｖの車幅方向右側へ４５［°］増加した角度であり、頭部傾斜角検出部８が検出した頭部傾斜角が、水平面よりも下方向への傾斜角度である場合。これに加え、水平面よりも下方向への傾斜角度が４５［°］である場合。
この場合、画像生成部１２は、頭部傾斜角検出部８が検出した頭部傾斜角が俯角であると判定する。そして、画像生成部１２は、俯瞰画像取得部４が撮像した画像を用いて、四つの広角カメラ２８ａ〜２８ｄの撮像可能な範囲のうち、半分の領域が映るように仮想視点Ｐの位置を変化させる。
(Example 4) The head rotation angle detected by the head rotation
In this case, the
さらに、画像生成部１２は、上記のように位置を変化させた仮想視点Ｐを、頭部回転角が自車両Ｖの車幅方向右側へ９０［°］増加した回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。これは、上述したように、回転角変化係数Ｋを、定数である「２」に設定した場合である。
これにより、画像生成部１２は、四つの広角カメラ２８ａ〜２８ｄの撮像可能な範囲のうち、半分の領域が映るとともに、頭部回転角が自車両Ｖの車幅方向右側へ９０［°］増加した回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。
Further, the
As a result, the
ステップＳ１１０では、画像生成部１２が、頭部回転角検出部６が検出した頭部回転角及び頭部傾斜角検出部８が検出した頭部傾斜角と、非表示角度とを比較する。そして、頭部回転角及び頭部傾斜角が非表示角度以下であるか否かを判定（ステップＳ１１０に示す「頭部回転角及び頭部傾斜角が非表示角度以下？」）する。
In step S110, the
ステップＳ１１０において、画像生成部１２が、頭部回転角及び頭部傾斜角が非表示角度以下であると判定（図４中に示す「Ｙ」）すると、画像表示装置１が行う処理は、ステップＳ１１２へ移行する。
一方、ステップＳ１１０において、画像生成部１２が、頭部回転角及び頭部傾斜角が非表示角度を超えていると判定（図４中に示す「Ｎ」）すると、画像表示装置１が行う処理は、ステップＳ１１４へ移行する。
ステップＳ１１２では、画像生成部１２が、画像表示部１４に表示するために生成した画像を含む情報信号を画像表示部１４へ出力しない処理を行う。これにより、ステップＳ１１２の処理を行うと、網膜プロジェクタ２６は光の照射を行わない。
In step S110, when the
On the other hand, in step S110, when the
In step S <b> 112, the
ここで、レンズ部２０は、透明な樹脂材料を用いて形成しているため、網膜プロジェクタ２６が光の照射を行わないと、画像生成部１２が生成した画像は表示されない（ステップＳ１１２に示す「画像を非表示」）。このため、使用者の視界には、レンズ部２０を透過した、実際の光景が映ることとなる。ステップＳ１１２において、画像表示部１４に表示するために生成した画像を含む情報信号を画像表示部１４へ出力しない処理を行うと、画像表示装置１が行う処理は、ステップＳ１００の処理に復帰（図４中に示す「ＲＥＴＵＲＮ」）する。
Here, since the lens unit 20 is formed using a transparent resin material, the image generated by the
ステップＳ１１４では、画像生成部１２が、画像表示部１４に表示するために生成した画像を含む情報信号を画像表示部１４へ出力する処理を行う。これにより、ステップＳ１１４の処理を行うと、網膜プロジェクタ２６から、画像生成部１２が生成した画像を形成する光を、使用者の網膜へ直接照射する。
画像生成部１２が生成した画像を形成する光を、使用者の網膜へ直接照射すると、画像生成部１２が生成した画像が、使用者の視界内に表示される（ステップＳ１１４に示す「画像を表示」）。ステップＳ１１４において、画像表示部１４に表示するために生成した画像を含む情報信号を画像表示部１４へ出力する処理を行うと、画像表示装置１が行う処理は、ステップＳ１００の処理に復帰（図４中に示す「ＲＥＴＵＲＮ」）する。
In step S <b> 114, the
When the light that forms the image generated by the
（第一実施形態の効果）
（１）画像生成部１２が、俯瞰画像取得部４が取得した俯瞰画像を用いて、水平面よりも下方向への傾斜角度に応じて変化させた視点を頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。俯瞰画像の生成は、頭部傾斜角検出部８が検出した頭部傾斜角が俯角であると判定すると行う。また、画像生成部１２が、水平方向画像取得部２が取得した画像を用いて、頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する。この画像の生成は、頭部傾斜角検出部８が検出した頭部傾斜角が俯角ではないと判定すると行う。
(Effects of the first embodiment)
(1) Using the overhead image acquired by the overhead image acquisition unit 4, the head rotation
このため、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を、使用者に提供することが可能となる。
この構成によれば、画像表示装置１の使用者が、例えば、自車両Ｖの運転時に側方や後方の状況を確認したい場合に、頭部を下方及び側方へ回転させることにより、実際の回転角度と異なる角度に対応した画像を視認して、自車両Ｖの周囲を視認することが可能となる。
For this reason, it is possible to provide the user with an image captured from a viewpoint different from the angle at which the user's head is actually rotating.
According to this configuration, when the user of the image display device 1 wants to check the situation of the side and the rear when driving the host vehicle V, for example, by rotating the head downward and sideward, It is possible to visually recognize the periphery of the host vehicle V by visually recognizing an image corresponding to an angle different from the rotation angle.
（２）頭部回転角検出部６が、水平方向画像取得部２が取得した画像を用いて頭部回転角を検出し、頭部傾斜角検出部８が、水平方向画像取得部２が取得した画像を用いて頭部傾斜角を検出する。
この構成によれば、頭部回転角及び頭部傾斜角を検出するために、専用のセンサを追加する必要が無いため、画像表示装置１の構成を簡略化することが可能となる。これにより、画像表示装置１の製造コスト増加を抑制することが可能となる。
(2) The head rotation
According to this configuration, it is not necessary to add a dedicated sensor in order to detect the head rotation angle and the head tilt angle, so that the configuration of the image display device 1 can be simplified. As a result, an increase in manufacturing cost of the image display apparatus 1 can be suppressed.
（３）頭部回転角検出部６が、使用者の頭部と対向する物体に対する頭部の上下軸周りの回転角度を用いて頭部回転角を検出し、頭部傾斜角検出部８が、使用者の頭部と対向する物体に対する頭部の上下方向への傾斜角度を用いて頭部傾斜角を検出する。
この構成によれば、使用者の頭部に対する相対関係が変化しない対象を用いて、頭部回転角及び頭部傾斜角を検出することが可能となる。
（４）基準方向を、使用者の上半身の正中面と同じ方向とする。
この構成によれば、人体構造上で自然な基準を用いて、基準方向を設定することが可能となる。
(3) The head rotation
According to this configuration, it is possible to detect the head rotation angle and the head tilt angle using an object whose relative relationship with the user's head does not change.
(4) The reference direction is the same direction as the midline of the user's upper body.
According to this configuration, it is possible to set the reference direction using a natural reference on the human body structure.
（５）画像表示部１４が、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部１２が生成した画像を表示しない。
この構成によれば、使用者の視界が前方を向いている状態では、視界に応じた自然な光景を、使用者に視認させることが可能となる。
（６）俯瞰画像取得部４が、使用者が装着しないカメラである、広角カメラ２８を有する。
この構成によれば、例えば、自車両Ｖのピラー（フロントピラー）等により発生する死角を減少させることが可能となる。
(5) If the
According to this configuration, in a state where the user's field of vision is facing forward, the user can visually recognize a natural scene corresponding to the field of view.
(6) The overhead image acquisition unit 4 includes a wide-angle camera 28 that is a camera that is not worn by the user.
According to this configuration, for example, it is possible to reduce a blind spot generated by a pillar (front pillar) of the host vehicle V or the like.
（７）画像生成部１２が、頭部傾斜角検出部８が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖの周囲の領域が広く映るように仮想視点Ｐを変化させた俯瞰画像を生成する。
この構成によれば、頭部傾斜角検出部８が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖに対する自車両Ｖの周囲の領域が広い俯瞰画像を、使用者に提供することが可能となる。
(7) The
According to this configuration, as the head tilt angle detected by the head tilt angle detector 8 is larger in the downward direction than the horizontal plane, the bird's-eye view image has a wider area around the host vehicle V. Can be provided to the user.
（８）画像生成部１２が、予め設定した回転角変化係数Ｋを頭部回転角検出部８が検出した頭部回転角に乗算した角度に基づいて、頭部回転角検出部８が検出した頭部回転角と異なる回転角度を設定する。
この構成によれば、使用者の頭部が回転可能な範囲内で、使用者の周囲の状況を均等な回転量で視認することが可能となる。
(8) The head rotation angle detection unit 8 detects the
According to this configuration, it is possible to visually recognize the situation around the user with an equal amount of rotation within a range in which the user's head can rotate.
（９）回転角変化係数Ｋを、１よりも大きい値とする。
この構成によれば、使用者の頭部の実際の回転角度である頭部回転角よりも大きな回転角度を向く撮像軸で撮像した画像を、使用者へ提供することが可能となる。これにより、例えば、使用者の状況（体調等）が、自車両Ｖの後方を目視可能な角度まで頭部を回転させることが困難な状況であっても、使用者へ所望の画像を提供することが容易となる。
(9) The rotation angle change coefficient K is set to a value larger than 1.
According to this configuration, it is possible to provide the user with an image captured by the imaging axis that faces a rotation angle larger than the head rotation angle that is the actual rotation angle of the user's head. Thereby, for example, even if the user's situation (physical condition etc.) is a situation where it is difficult to rotate the head to an angle at which the rear of the host vehicle V can be seen, a desired image is provided to the user. It becomes easy.
（変形例）
（１）本実施形態では、画像表示装置１を、画像表示装置１の使用者が頭部に装着する頭部装着部材１６に適用し、さらに、頭部装着部材１６を装着した使用者が、自車両Ｖを運転する構成としたが、これに限定するものではない。
すなわち、画像表示装置１の構成を、例えば、画像表示装置１の使用者が、頭部装着部材１６を装着した状態で徒歩により移動する構成としてもよい。この場合、例えば、俯瞰画像取得部４の構成を、使用者の俯瞰画像を撮像可能な、屋外施設・設備が有する監視カメラとしてもよい。
(Modification)
(1) In the present embodiment, the image display device 1 is applied to the
That is, the configuration of the image display device 1 may be configured such that, for example, the user of the image display device 1 moves on foot while wearing the
また、画像表示装置１の構成を、例えば、画像表示装置１の使用者が、頭部装着部材１６を装着した状態で住居等の建築物内で行動する構成としてもよい。この場合、例えば、俯瞰画像取得部４の構成を、使用者が内部で行動する建築物の俯瞰画像を撮像可能な、建築物が有するカメラとしてもよい。これにより、画像表示装置１の使用者が、建築物内において、例えば、玄関を視認する際に、玄関を実際に視認するため必要な頭部の回転角度が９０［°］であっても、頭部の回転角度を４５［°］として、玄関を視認することが可能となる。
また、頭部装着部材１６を装着した使用者が運転する対象は、地上を移動する自車両Ｖに限定するものではなく、例えば、船舶や航空機等、海上・海中や空中を移動する乗物を、頭部装着部材１６を装着した使用者が運転する対象としてもよい。
Further, the configuration of the image display device 1 may be a configuration in which, for example, the user of the image display device 1 acts in a building such as a residence while wearing the
In addition, the target to be driven by the user wearing the
（２）本実施形態の画像表示装置１では、俯瞰画像取得部４の構成を、使用者の周囲を映した俯瞰画像を撮像する構成としたが、これに限定するものではなく、俯瞰画像取得部４の構成を、使用者を含む使用者の周囲を映した俯瞰画像を撮像する構成としてもよい。この場合、例えば、俯瞰画像取得部４の構成を、使用者を映した俯瞰画像を撮像可能な、屋外施設・設備が有する監視カメラを有する構成とする。 (2) In the image display device 1 of the present embodiment, the overhead image acquisition unit 4 is configured to capture an overhead image that reflects the user's surroundings, but is not limited to this, and the overhead image acquisition is performed. The configuration of the unit 4 may be configured to capture a bird's-eye view image that reflects the surroundings of the user including the user. In this case, for example, the configuration of the bird's-eye view image acquisition unit 4 includes a monitoring camera included in an outdoor facility / equipment that can capture a bird's-eye view image showing a user.
（３）本実施形態の画像表示装置１では、画像生成部１２の構成を、頭部傾斜角検出部８が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、使用者の周囲の領域が広く映るように視点を変化させた俯瞰画像を生成する構成とした。しかしながら、画像生成部１２の構成は、これに限定するものではない。すなわち、画像生成部１２の構成を、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、使用者の周囲の領域のうち使用者前方の領域よりも使用者後方の領域が広く映るように視点を変化させた俯瞰画像を生成する構成としてもよい。
(3) In the image display device 1 of the present embodiment, the configuration of the
ここで、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、使用者前方の領域よりも使用者後方の領域が広く映るように視点を変化させた俯瞰画像を生成する際に行う処理の具体例を説明する。
まず、四つの広角カメラ２８が撮像した画像を組み合わせる。次に、四つの広角カメラ２８のうち、前方カメラ２８ａ及び後方カメラ２８ｄが撮像した画像から、頭部傾斜角のうち水平面よりも下方向への傾斜角度の大きさに応じて、自車両Ｖ前方の領域と自車両Ｖ後方の領域との比率を変更した画像を生成する。この場合、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、前方カメラ２８ａが撮像した画像の領域に対して、後方カメラ２８ｄが撮像した画像の領域を増加させた俯瞰画像を生成する。
Here, when generating a bird's-eye view image in which the viewpoint is changed so that the area behind the user is reflected wider than the area in front of the user as the inclination angle downward from the horizontal plane of the head inclination angle is larger. A specific example of the processing to be performed will be described.
First, the images captured by the four wide-angle cameras 28 are combined. Next, of the four wide-angle cameras 28, the front of the host vehicle V is determined according to the magnitude of the inclination angle of the head inclination angle downward from the horizontal plane from the images captured by the
これは、例えば、頭部傾斜角のうち水平面よりも下方向への傾斜角度が６０［°］である場合に、前方カメラ２８ａが撮像した画像の領域と後方カメラ２８ｄが撮像した画像の領域との比を、１０：９０とした俯瞰画像を生成する。さらに、俯瞰画像の中心に、予め記憶させてある自車両Ｖの上面の画像を合成する。
This is because, for example, when the head tilt angle is 60 [°] downward from the horizontal plane, the image area captured by the
これにより、頭部傾斜角検出部８が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Ｖに対して、自車両Ｖの周囲の領域のうち、自車両Ｖ後方の領域が広い俯瞰画像を、使用者に提供することが可能となる。
この構成によれば、例えば、自車両Ｖを後退させながら車庫入れする場合等に、使用者が後方を視認しなくとも、頭部傾斜角のうち水平面よりも下方向への傾斜角度を増加させることにより、自車両Ｖ後方の状況を俯瞰で視認することが可能となる。
As a result, the larger the tilt angle in the downward direction than the horizontal plane of the head tilt angle detected by the head tilt angle detection unit 8, the self-vehicle V out of the area around the own vehicle V. A bird's-eye view image with a wide area behind the vehicle V can be provided to the user.
According to this configuration, for example, when entering the garage while reversing the host vehicle V, the inclination angle of the head inclination angle downward from the horizontal plane is increased without visually recognizing the rear. Thus, the situation behind the host vehicle V can be viewed from an overhead view.
（４）本実施形態の画像表示装置１では、回転角変化係数Ｋを、１よりも大きい値としたが、これに限定するものではない。すなわち、回転角変化係数Ｋを、例えば、自車両Ｖの車速、すなわち、使用者の移動速度に応じて変化させてもよい。この場合、例えば、車速閾値（例えば、６０［ｋｍｋ／ｈ］）を予め設定し、車速が車速閾値を超えた場合、車速の増加に応じて回転角変化係数Ｋを減少させる。これに加え、車速が車速閾値未満の場合、車速の減少に応じて回転角変化係数Ｋを増加させる。ここで、車速の減少に応じて増加させる回転角変化係数Ｋは、例えば、最大で「２」とする。 (4) In the image display device 1 of the present embodiment, the rotation angle change coefficient K is set to a value larger than 1, but the present invention is not limited to this. That is, the rotation angle change coefficient K may be changed according to the vehicle speed of the host vehicle V, that is, the moving speed of the user, for example. In this case, for example, a vehicle speed threshold (for example, 60 [kmk / h]) is set in advance, and when the vehicle speed exceeds the vehicle speed threshold, the rotation angle change coefficient K is decreased according to the increase in the vehicle speed. In addition, when the vehicle speed is less than the vehicle speed threshold, the rotation angle change coefficient K is increased according to the decrease in the vehicle speed. Here, the rotation angle change coefficient K to be increased in accordance with the decrease in the vehicle speed is, for example, “2” at the maximum.
また、回転角変化係数Ｋを自車両Ｖの車速に応じて変化させる場合、回転角変化係数Ｋは、例えば、前進走行時と後退時で異なる値に変化させてもよい。この場合、前進走行時と後退時の検出は、例えば、シフトレバーのポジション変化等に基づいて行う。
上記のように、回転角変化係数Ｋを使用者の移動速度に応じて変化させると、画像生成部１２が生成し、画像表示部１４に表示する画像の、使用者の頭部が実際に回転している角度から変化度合いを、使用者が視認しやすい変化度合いとすることが可能となる。
When the rotation angle change coefficient K is changed according to the vehicle speed of the host vehicle V, the rotation angle change coefficient K may be changed to a different value, for example, when traveling forward and when traveling backward. In this case, detection during forward travel and reverse travel is performed based on, for example, a change in the position of the shift lever.
As described above, when the rotation angle change coefficient K is changed according to the moving speed of the user, the
（５）本実施形態の画像表示装置１では、回転角変化係数Ｋを、１よりも大きい値としたが、これに限定するものではない。すなわち、回転角変化係数Ｋは、例えば、１未満の値としてもよい。また、回転角変化係数Ｋは、例えば、予め設定したテーブルから読み出して、設定してもよい。 (5) In the image display device 1 of the present embodiment, the rotation angle change coefficient K is set to a value larger than 1, but the present invention is not limited to this. That is, the rotation angle change coefficient K may be a value less than 1, for example. Further, the rotation angle change coefficient K may be set by reading from a preset table, for example.
（６）本実施形態の画像表示装置１では、画像生成部１２が、予め設定した回転角変化係数Ｋを頭部回転角検出部６が検出した頭部回転角に乗算した角度に基づいて、頭部回転角検出部６が検出した頭部回転角と異なる回転角度を設定する。しかしながら、画像生成部１２の構成は、これに限定するものではない。すなわち、画像生成部１２の構成を、予め設定した指数関数を頭部回転角検出部６が検出した頭部回転角に乗算した角度に基づいて、頭部回転角検出部６が検出した頭部回転角と異なる回転角度を設定する構成としてもよい。
この場合、使用者の頭部の回転量が少ない状況では、使用者が視認する画像と使用者の頭部の回転量との乖離を減少させることが可能となる。
(6) In the image display device 1 of the present embodiment, the
In this case, in a situation where the rotation amount of the user's head is small, it is possible to reduce the difference between the image visually recognized by the user and the rotation amount of the user's head.
（７）本実施形態の画像表示装置１では、水平方向画像取得部２が撮像した画像を用いて頭部回転角及び頭部傾斜角を検出したが、これに限定するものではない。すなわち、頭部回転角検出部６及び頭部傾斜角検出部８を、例えば、ジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）等、回転角度を検出可能なセンサを用いて形成し、頭部回転角及び頭部傾斜角を検出してもよい。
また、頭部回転角検出部６及び頭部傾斜角検出部８の構成を、例えば、使用者を撮像するカメラを有する構成とし、撮像した画像から使用者の頭部と上半身との相対位置を検出して、頭部回転角及び頭部傾斜角を検出してもよい。
(7) In the image display device 1 of the present embodiment, the head rotation angle and the head tilt angle are detected using the image captured by the horizontal image acquisition unit 2, but the present invention is not limited to this. That is, the head rotation
In addition, the configuration of the head rotation
（８）本実施形態の画像表示装置１では、水平方向画像取得部２が撮像した画像を用いて頭部回転角及び頭部傾斜角を検出したが、これに限定するものではない。すなわち、俯瞰画像取得部４が取得した俯瞰画像を用いて頭部回転角及び頭部傾斜角を検出してもよい。
（９）本実施形態の画像表示装置１では、使用者の頭部と対向する物体に対する頭部の上下軸周りの回転角度を用いて、頭部回転角を検出したが、これに限定するものではない。すなわち、使用者の上半身に対する前記頭部の上下軸周りの回転角度を用いて、頭部回転角を検出してもよい。同様に、使用者の上半身に対する前記頭部の上下方向への傾斜角度を用いて、頭部傾斜角を検出してもよい。
(8) In the image display device 1 of the present embodiment, the head rotation angle and the head tilt angle are detected using the image captured by the horizontal image acquisition unit 2, but the present invention is not limited to this. That is, the head rotation angle and the head inclination angle may be detected using the overhead image acquired by the overhead image acquisition unit 4.
(9) In the image display device 1 of the present embodiment, the head rotation angle is detected using the rotation angle around the vertical axis of the head relative to the object facing the user's head, but the present invention is not limited to this. is not. That is, the head rotation angle may be detected using the rotation angle of the head around the vertical axis with respect to the upper body of the user. Similarly, the head tilt angle may be detected using the tilt angle of the head in the vertical direction with respect to the upper body of the user.
（１０）本実施形態の画像表示装置１では、俯瞰画像取得部４の構成を、使用者が装着しないカメラである、広角カメラ２８を有する構成としたが、これに限定するものではない。すなわち、俯瞰画像取得部４の構成を、使用者が装着する広角カメラ２８を有する構成としてもよい。この場合、広角カメラ２８を、例えば、頭部装着部材１６のフレーム部１８に取り付ける。
(10) In the image display device 1 of the present embodiment, the overhead image acquisition unit 4 has the wide-angle camera 28 that is a camera that is not worn by the user, but is not limited thereto. That is, the configuration of the overhead image acquisition unit 4 may include a wide-angle camera 28 worn by the user. In this case, the wide-angle camera 28 is attached to, for example, the
（１１）本実施形態の画像表示装置１では、画像表示部１４の構成を、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部１２が生成した画像を表示しない構成としたが、これに限定するものではない。すなわち、例えば、画像表示部１４の構成を、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、正面の画像を表示する構成としてもよい。この場合、画像表示部１４に表示する正面の画像としては、例えば、フレーム辺２２ｂの外周面に取り付けた五つのＣＣＤカメラ２４のうち、中心に配置したＣＣＤカメラ２４が撮像した画像を用いる。
(11) In the image display device 1 of the present embodiment, if the configuration of the
（１２）本実施形態の画像表示装置１では、基準方向を、使用者の上半身の正中面と同じ方向としたが、これに限定するものではない。すなわち、基準方向を、例えば、使用者の頭部の正中面と使用者の上半身の正中面が鉛直方向から見て、直交する角度としてもよい。要は、基準方向を、例えば、使用者の頭部の正中面と使用者の上半身の正中面が鉛直方向から見て、平行とならない角度に設定してもよい。 (12) In the image display device 1 of the present embodiment, the reference direction is the same direction as the median surface of the upper body of the user, but is not limited thereto. That is, the reference direction may be an angle at which the median plane of the user's head and the median plane of the user's upper body are perpendicular to each other when viewed from the vertical direction. In short, the reference direction may be set to an angle at which the median plane of the user's head and the median plane of the user's upper body are not parallel when viewed from the vertical direction.
（１３）本実施形態の画像表示装置１では、頭部装着部材１６のフレーム部１８に取り付けた複数のＣＣＤカメラ２４により、水平方向画像取得部２を形成している。すなわち、使用者が装着するＣＣＤカメラ２４により、水平方向画像取得部２を形成している。しかしながら、これに限定するものではなく、例えば、自車両Ｖの外周面に取り付けたＣＣＤカメラ２４により、水平方向画像取得部２を形成してもよい。すなわち、使用者が装着しないカメラにより、水平方向画像取得部２を形成してもよい。
(13) In the image display device 1 of the present embodiment, the horizontal image acquisition unit 2 is formed by a plurality of
（１４）本実施形態の画像表示装置１では、複数の網膜プロジェクタ２６を、使用者の両目に対して、それぞれ、網膜へ光を直接照射することが可能な位置に配置したが、これに限定するものではない。すなわち、網膜プロジェクタ２６を、例えば、使用者の片目のみ（右目または左目）に対して、網膜へ光を直接照射することが可能な位置に配置してもよい。
(14) In the image display device 1 of the present embodiment, the plurality of
（１５）本実施形態の画像表示装置１では、透明な樹脂材料を用いて形成したレンズ部２０に取り付けた網膜プロジェクタ２６により、画像表示部１４を構成しているが、これに限定するものではない。すなわち、例えば、レンズ部２０の使用者と対向する面全体をディスプレイとして形成してもよい。この場合、レンズ部２０の構成を、開閉等が可能な可動式の構成とし、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、レンズ部２０が開いて使用者の視界を確保する構成としてもよい。
また、レンズ部２０を、光束を二つ以上に分割可能なビームスプリッター、特に、反射光と透過光の強さの比がほぼ１：１であるハーフミラーを用いて形成してもよい。
(15) In the image display device 1 of the present embodiment, the
Further, the lens unit 20 may be formed using a beam splitter that can split a light beam into two or more, particularly a half mirror having a ratio of the intensity of reflected light to transmitted light of approximately 1: 1.
（１６）本実施形態の画像表示装置１では、水平方向画像取得部２の構成を、ＣＣＤカメラを有する構成とし、俯瞰画像取得部４の構成を、広角カメラを有する構成としたが、水平方向画像取得部２及び俯瞰画像取得部４の構成は、これに限定するものではない。すなわち、水平方向画像取得部２の構成を、例えば、画像を撮像する機能に加え、暗視鏡（ｓｎｏｏｐｅｒｓｃｏｐｅ）としての機能や、望遠鏡（ｔｅｌｅｓｃｏｐｅ）としての機能を有する構成としてもよい。また、水平方向画像取得部２の構成を、例えば、画像を撮像する機能に加え、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）としての機能を有する構成としてもよい。これらは、俯瞰画像取得部４に関しても同様である。 (16) In the image display device 1 according to the present embodiment, the horizontal image acquisition unit 2 has a CCD camera, and the overhead image acquisition unit 4 has a wide-angle camera. The configurations of the image acquisition unit 2 and the overhead image acquisition unit 4 are not limited to this. That is, the configuration of the horizontal image acquisition unit 2 may be configured to have a function as a night scope or a telescope in addition to the function of capturing an image, for example. Further, the configuration of the horizontal image acquisition unit 2 may be configured to have a function as augmented reality (AR) in addition to a function of capturing an image, for example. The same applies to the overhead image acquisition unit 4.
（１７）本実施形態の画像表示装置１では、画像生成部１２が、頭部回転角に回転角変化係数Ｋを乗算した角度を用いて、使用者の視界から頭部回転角が増加した方向を設定したが、これに限定するものではない。すなわち、例えば、使用者の実際の視線がルームミラーを視認した視線である状態で、自車両Ｖの後方の画像を、画像表示部１４に表示する構成としてもよい。この場合、使用者の実際の視線がルームミラーを視認した視線である状態の検出は、例えば、フレーム辺２２ｂの外周面に取り付けた五つのＣＣＤカメラ２４のうち、中心に配置したＣＣＤカメラ２４が撮像した画像を用いて行う。
(17) In the image display device 1 of the present embodiment, the
（１８）本実施形態の画像表示装置１では、使用者の視界よりも水平方向へ広い範囲の画像を撮像するために、水平方向画像取得部２の構成を、フレーム辺２２の延在方向へ配列した複数のＣＣＤカメラ２４を有する構成としたが、これに限定するものではない。すなわち、例えば、ＣＣＤカメラ２４の撮像方向を水平方向に変化可能なアクチュエータを、ＣＣＤカメラ２４に設けることにより、水平方向画像取得部２を構成してもよい。ここで、アクチュエータの駆動は、例えば、頭部回転角検出部６が検出した頭部回転角を用いて行う。この場合、例えば、フレーム辺２２に一つのＣＣＤカメラ２４、すなわち、三つのＣＣＤカメラ２４で、水平方向画像取得部２を構成することが可能となる。
(18) In the image display device 1 of the present embodiment, the configuration of the horizontal image acquisition unit 2 is configured in the extending direction of the frame side 22 in order to capture an image in a wider range in the horizontal direction than the user's field of view. Although the configuration includes a plurality of
（１９）本実施形態の画像表示装置１では、画像表示部１４の構成を、レンズ部２０に取り付けた網膜プロジェクタ２６を備える構成としたが、これに限定するものではない。すなわち、画像表示部１４の構成を、例えば、フロントウインドウの内側面等、車室内において使用者が視認可能な位置に、画像生成部１２が生成した画像を投影して表示する構成としてもよい。
(19) In the image display device 1 of the present embodiment, the configuration of the
（２０）本実施形態の画像表示装置１では、頭部装着部材１６を、眼鏡形状の部材で形成したが、これに限定するものではなく、頭部装着部材１６を、例えば、片眼鏡や単眼鏡で形成してもよい。
（２１）本実施形態では、例えば、フレーム部１８に設けたスイッチを手動で操作することにより、画像表示装置１を作動させたが、これに限定するものではなく、例えば、自車両Ｖのエンジン始動と連動させて、画像表示装置１を作動させてもよい。
(20) In the image display device 1 of the present embodiment, the
(21) In the present embodiment, for example, the image display device 1 is operated by manually operating a switch provided in the
（２２）本実施形態の画像表示装置１では、画像生成部１２が、頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する際に、隣り合うＣＣＤカメラ２４が撮像した画像同士を連続させる処理を行う。しかしながら、これに限定するものではなく、例えば、隣り合うＣＣＤカメラ２４が撮像した画像間に空白の部分が存在する場合、この空白部分を消すように、隣り合うＣＣＤカメラ２４が撮像した画像を、互いに端の部分で連続させてもよい。また、隣り合うＣＣＤカメラ２４が撮像した画像間に空白の部分が存在しても、この空白を残した状態で、頭部回転角検出部６が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成してもよい。
(22) In the image display device 1 of the present embodiment, when the
１ 画像表示装置
２ 水平方向画像取得部
４ 俯瞰画像取得部
６ 頭部回転角検出部
８ 頭部傾斜角検出部
１０ ナビゲーションシステム部
１２ 画像生成部
１４ 画像表示部
１６ 頭部装着部材
１８ フレーム部
２０ レンズ部
２２ フレーム辺
２４ ＣＣＤカメラ
２６ 網膜プロジェクタ
２８ 広角カメラ
３０ 広角カメラの撮像範囲を示す領域
Ｖ 自車両
Ｐ 仮想視点
DESCRIPTION OF SYMBOLS 1 Image display apparatus 2 Horizontal direction image acquisition part 4 Overhead
Claims (12)
前記使用者の上方に視点を設定した俯瞰画像のうち少なくとも前記使用者の周囲を映した俯瞰画像を取得する俯瞰画像取得部と、
予め設定した基準方向に対する前記使用者の頭部の上下軸周りの回転角度である頭部回転角を検出する頭部回転角検出部と、
水平面に対する前記頭部の上下方向への傾斜角度である頭部傾斜角を検出する頭部傾斜角検出部と、
前記頭部傾斜角検出部が検出した頭部傾斜角が俯角であると判定すると、前記俯瞰画像取得部が取得した俯瞰画像を用いて、前記水平面よりも下方向への前記傾斜角度に応じて前記視点を変化させ、且つ当該変化させた視点を前記頭部回転角検出部が検出した頭部回転角と異なる前記回転角度を向く前記撮像軸の方向へ変化させた俯瞰画像を生成し、
前記頭部傾斜角検出部が検出した頭部傾斜角が俯角ではないと判定すると、前記水平方向画像取得部が取得した画像を用いて、前記頭部回転角検出部が検出した頭部回転角と異なる前記回転角度を向く前記撮像軸で撮像した画像を生成する画像生成部と、
前記頭部の向きに対して予め設定した表示範囲内へ、前記画像生成部が生成した画像を表示する画像表示部と、を備えることを特徴とする画像表示装置。 A horizontal image acquisition unit that acquires an image captured using at least one of a plurality of axes extending radially from the user to the periphery in a top view;
An overhead image acquisition unit that acquires an overhead image that reflects at least the user's surroundings from among the overhead images that set the viewpoint above the user;
A head rotation angle detector that detects a head rotation angle that is a rotation angle around the vertical axis of the user's head relative to a preset reference direction;
A head tilt angle detection unit that detects a head tilt angle that is a tilt angle of the head in the vertical direction with respect to a horizontal plane;
When it is determined that the head tilt angle detected by the head tilt angle detection unit is a depression angle, the overhead image acquired by the overhead image acquisition unit is used according to the inclination angle below the horizontal plane. Changing the viewpoint and generating the overhead view image in which the changed viewpoint is changed in the direction of the imaging axis facing the rotation angle different from the head rotation angle detected by the head rotation angle detection unit;
When it is determined that the head tilt angle detected by the head tilt angle detection unit is not a depression angle, the head rotation angle detected by the head rotation angle detection unit using the image acquired by the horizontal image acquisition unit An image generation unit that generates an image captured by the imaging axis facing the rotation angle different from
An image display device comprising: an image display unit that displays an image generated by the image generation unit within a display range set in advance with respect to the orientation of the head.
前記頭部傾斜角検出部は、前記水平方向画像取得部が取得した画像及び前記俯瞰画像取得部が取得した俯瞰画像のうち少なくとも一方に基づいて前記頭部傾斜角を検出することを特徴とする請求項１に記載した画像表示装置。 The head rotation angle detection unit detects the head rotation angle based on at least one of the image acquired by the horizontal image acquisition unit and the overhead image acquired by the overhead image acquisition unit,
The head inclination angle detection unit detects the head inclination angle based on at least one of an image acquired by the horizontal image acquisition unit and an overhead image acquired by the overhead image acquisition unit. The image display device according to claim 1.
前記頭部傾斜角検出部は、前記上半身に対する前記頭部の上下方向への傾斜角度、または、前記頭部と対向する物体に対する頭部の上下方向への傾斜角度を用いて前記頭部傾斜角を検出することを特徴とする請求項１または請求項２に記載した画像表示装置。 The head rotation angle detection unit uses the rotation angle around the vertical axis of the head relative to the upper body of the user or the rotation angle around the vertical axis of the head relative to an object facing the head. Part rotation angle is detected,
The head inclination angle detection unit uses the inclination angle of the head in the vertical direction with respect to the upper body or the inclination angle of the head in the vertical direction with respect to an object facing the head. The image display device according to claim 1, wherein the image display device detects an image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011159308A JP2013026797A (en) | 2011-07-20 | 2011-07-20 | Image display unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011159308A JP2013026797A (en) | 2011-07-20 | 2011-07-20 | Image display unit |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013026797A true JP2013026797A (en) | 2013-02-04 |
Family
ID=47784680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011159308A Withdrawn JP2013026797A (en) | 2011-07-20 | 2011-07-20 | Image display unit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013026797A (en) |
-
2011
- 2011-07-20 JP JP2011159308A patent/JP2013026797A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10061992B2 (en) | Image display system | |
| KR101702888B1 (en) | Vehicle view angle controlling apparatus, vehicle having the same and vehicle view angle controlling method | |
| US8094190B2 (en) | Driving support method and apparatus | |
| JP6123761B2 (en) | Vehicle display device | |
| EP1961613B1 (en) | Driving support method and driving support device | |
| EP2891953B1 (en) | Eye vergence detection on a display | |
| CN104827967B (en) | Head-up display device | |
| US8035575B2 (en) | Driving support method and driving support apparatus | |
| KR101949358B1 (en) | Apparatus for providing around view and Vehicle including the same | |
| US11315528B2 (en) | Image display system, image display method, movable object including the image display system, and non-transitory computer-readable medium | |
| WO2010029707A4 (en) | Image projection system and image projection method | |
| US20070003162A1 (en) | Image generation device, image generation method, and image generation program | |
| US20190155031A1 (en) | Display apparatus for superimposing a virtual image into the field of vision of a user | |
| CN104163133A (en) | Rear view camera system using rear view mirror location | |
| JP6945933B2 (en) | Display system | |
| JP2005509129A (en) | Enhanced display that informs the driver of the car about the surrounding visual information for navigation | |
| JP6453929B2 (en) | Vehicle display system and method for controlling vehicle display system | |
| JP6232691B2 (en) | VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY DEVICE, AND VEHICLE DISPLAY CONTROL METHOD | |
| JP2005538656A (en) | Stereoscopic night vision device for automobiles | |
| JP2008018760A (en) | Driving support device | |
| JP7111582B2 (en) | head up display system | |
| CN112424570A (en) | Head-up display | |
| US11068731B2 (en) | Vehicle-mounted display system and method for preventing vehicular accidents | |
| KR20170065738A (en) | Apparatus for controlling head up display and method thereof | |
| JP2020024561A (en) | Display device, display control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141007 |