JP2007323001A - Image display device - Google Patents
Image display device Download PDFInfo
- Publication number
- JP2007323001A JP2007323001A JP2006156126A JP2006156126A JP2007323001A JP 2007323001 A JP2007323001 A JP 2007323001A JP 2006156126 A JP2006156126 A JP 2006156126A JP 2006156126 A JP2006156126 A JP 2006156126A JP 2007323001 A JP2007323001 A JP 2007323001A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mirror
- user
- driver
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、画像表示装置に関する。 The present invention relates to an image display device.
前方、左右および後方に設けられた各スクリーンに予め取得した実写走行映像を同期して表示するとともに、表示される実写走行映像を運転者(被験者)の運転操作に応じて変化させることによって擬似運転走行を実現するドライビングシミュレータが下記特許文献1に記載されている。
Simulated driving is performed by synchronously displaying live-action traveling images acquired in advance on the screens provided on the front, left, right, and rear, and by changing the displayed actual traveling images according to the driving operation of the driver (subject). A driving simulator that realizes traveling is described in
このドライビングシミュレータで用いられる実写走行映像は、次のようにして取得される。すなわち、まず、前後左右の4方向に向けてビデオカメラが搭載された収録車両により走行映像が収録される。次に、収録した走行映像が、運転者に視点を置いた映像、すなわち運転者から見た映像となるように編集されて各スクリーンに投影される映像が取得される。
上記ドライビングシミュレータは、実車との整合性をより高めるために、後方を確認するためのルームミラー(バックミラー)や左右のサイドミラーを備えている。そのため、運転者は、実際の車両運転時と同様に、これらのバックミラーやサイドミラーに後方スクリーンの映像を反射させることによって、後方を確認することができる。 The driving simulator includes a rear view mirror (rear mirror) and left and right side mirrors for confirming the rear in order to further improve the consistency with the actual vehicle. Therefore, the driver can confirm the rear side by reflecting the image of the rear screen on these rearview mirrors and side mirrors, as in actual vehicle driving.
しかしながら、後方スクリーンに表示される映像は、上述したように、運転者から見た映像であるため、ルームミラーや左右のドアミラーを介して後方を見る場合には、視点の違いから、実車の場合と見え方が異なる。このように、上記ドライビングシミュレータに適用されている表示装置では、ミラーを介して後方を見る際に、実車と同じ見え方を再現することができない。 However, since the video displayed on the rear screen is the video seen from the driver as described above, when looking at the rear through the rear view mirror and the left and right door mirrors, It looks different. Thus, the display device applied to the driving simulator cannot reproduce the same appearance as an actual vehicle when looking backward through the mirror.
本発明は、上記問題点を解消する為になされたものであり、利用者の後方に表示される画像をミラーに反射させて該利用者が見るときに、現実と同じ見え方を再現することができる画像表示装置を提供することを目的とする。 The present invention has been made to solve the above problems, and reproduces the same appearance as when the user sees the image displayed behind the user by reflecting it on a mirror. An object of the present invention is to provide an image display device capable of performing the above.
本発明に係る画像表示装置は、利用者の周囲に設けられた表示面に画像を表示する表示手段と、利用者が背後を目視するための後方目視ミラーと、利用者の視線方向を検出する視線検出手段とを備え、上記表示手段が、視線検出手段により検出された利用者の視線方向に基づいて、利用者が後方目視ミラーを介して背後を見ていると判断された場合に、後方目視ミラーに映る表示面の領域に、後方目視ミラーの反射面に視点を置いて作成された画像を表示することを特徴とする。 An image display device according to the present invention detects display means for displaying an image on a display surface provided around a user, a rear viewing mirror for the user to visually observe the back, and a user's gaze direction. Line-of-sight detection means, and when the display means determines that the user is looking through the rear viewing mirror based on the line-of-sight direction of the user detected by the line-of-sight detection means, An image created by placing the viewpoint on the reflection surface of the rear viewing mirror is displayed in the area of the display surface reflected on the viewing mirror.
本発明に係る画像表示装置によれば、検出された利用者の視線方向から、利用者が後方目視ミラーを介して背後を見ていると判断された場合に、後方目視ミラーに映る表示面の領域に、後方目視ミラーの反射面に視点を置いて作成された画像が表示される。そのため、利用者が、背後に表示される画像を後方目視ミラーに反射させて見るときに、現実と同じ見え方を再現することが可能となる。 According to the image display device according to the present invention, when it is determined from the detected user's line-of-sight direction that the user is looking through the rear viewing mirror, the display surface reflected on the rear viewing mirror is displayed. An image created by placing the viewpoint on the reflection surface of the rear viewing mirror is displayed in the area. Therefore, when the user sees the image displayed behind by reflecting the image to the rear viewing mirror, the same appearance as in reality can be reproduced.
ここで、上記表示手段としては、スクリーンに画像を投影するプロジェクタを用いることが好適である。 Here, as the display means, it is preferable to use a projector that projects an image on a screen.
また、本発明に係る画像表示装置は、複数の後方目視ミラーを備え、上記表示手段が、検出された利用者の視線方向に基づいて、利用者がいずれかの後方目視ミラーを介して背後を見ていると判断された場合に、利用者が見ている後方目視ミラーに映る表示面の領域に、利用者が見ている後方目視ミラーの反射面に視点を置いて作成された画像を表示することが好ましい。 Further, the image display device according to the present invention includes a plurality of rear viewing mirrors, and the display means allows the user to be behind the rear viewing mirror based on the detected direction of the user's line of sight. When it is determined that the user is looking, an image created with the viewpoint on the reflective surface of the rear viewing mirror that the user is viewing is displayed in the area of the display surface that is reflected on the rear viewing mirror that the user is viewing. It is preferable to do.
このように複数の後方目視ミラーを備える場合、検出された利用者の視線方向から利用者が見ている後方目視ミラーが特定され、該後方目視ミラーに映る表示面の領域に、該後方目視ミラーの反射面に視点を置いて作成された画像が表示される。そのため、複数の後方目視ミラーを備える場合であっても、すべての後方目視ミラーについて、現実と同じ見え方を再現することが可能となる。 When a plurality of rear viewing mirrors are provided in this way, the rear viewing mirror that the user is looking at is identified from the detected user's line-of-sight direction, and the rear viewing mirror is displayed in the area of the display surface reflected on the rear viewing mirror. An image created by placing the viewpoint on the reflection surface is displayed. Therefore, even when a plurality of rear viewing mirrors are provided, it is possible to reproduce the same appearance as reality for all rear viewing mirrors.
上記表示手段は、検出された利用者の視線方向に基づいて、利用者が直接後方を見ていると判断された場合に、利用者の眼球位置に視点を置いて作成された画像を表示することが好ましい。 The display means displays an image created with the viewpoint at the position of the user's eyeball when it is determined that the user is directly looking backward based on the detected line-of-sight direction of the user. It is preferable.
後方目視ミラーを介して背後を見る場合と比較して、振り返って後方を目視するときには、顔の向きや視線方向が大きく動くため、その検出を容易に行うことができる。また、一般的に、後方を振り返るには、視線のみを動かす場合よりも時間を要する。そのため、利用者が振り返って直接後方を見ていると判断された場合に、利用者の眼球位置に視点を置いて作成された画像を表示する構成とすることによって、画像の切り替えをより適切に行うことが可能となる。 Compared with the case of looking at the back through the rear viewing mirror, when looking back, the direction of the face and the direction of the line of sight move greatly, so that the detection can be easily performed. In general, looking back requires more time than moving only the line of sight. Therefore, when it is determined that the user is looking back and looking directly behind, the image created by placing the viewpoint at the user's eyeball position is displayed, so that switching of images can be performed more appropriately. Can be done.
本発明によれば、検出された利用者の視線方向から、利用者が後方目視ミラーを介して背後を見ていると判断された場合に、後方目視ミラーに映る表示面の領域に、後方目視ミラーの反射面に視点を置いて作成された画像を表示する構成としたので、利用者の後方に表示される画像をミラーに反射させて見るときに、現実と同じ見え方を再現することが可能となる。 According to the present invention, when it is determined from the detected direction of the user's line of sight that the user is looking behind through the rear viewing mirror, the area of the display surface reflected on the rear viewing mirror is Since the image created with the viewpoint on the reflecting surface of the mirror is displayed, it is possible to reproduce the same appearance as in reality when the image displayed behind the user is reflected on the mirror. It becomes possible.
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the figure, the same reference numerals are used for the same or corresponding parts.
第1の実施形態として、本発明に係る画像表示装置を、運転者(利用者)の運転操作に応じて車両の運動を模擬するドライビングシミュレータに適用した場合を例に説明する。 As a first embodiment, an example will be described in which the image display device according to the present invention is applied to a driving simulator that simulates the motion of a vehicle in accordance with a driving operation of a driver (user).
まず、図1および図2を併せて参照して、第1実施形態に係る画像表示装置1が適用されたドライビングシミュレータ10の構成について説明する。図1は、ドライビングシミュレータ10の主要な構成を示す図である。図2は、ドライビングシミュレータ10に適用される画像表示装置1の構成を示すブロック図である。
First, the configuration of a
ドライビングシミュレータ10は、各種条件下での車両運転者の挙動や車両挙動を解析調査するための運転模擬装置であり、走行に伴って変化する車外の視界を模擬する視界模擬部、運転感覚を乗員に与える運動模擬部、および操作反力等を与える操縦感覚模擬部等から構成される。ここで、画像表示装置1は視界模擬部に適用される。より具体的には、ドライビングシミュレータ10は、車両モデル11が内部に設置されるドーム12を備え、運転者の運転操作に基づいて操作系の操作状態や車両モデル11の運動状態を演算し、その演算結果に応じて操作反力を付与するアクチュエータやドーム12等を駆動するとともに、ドーム12の内周面に設けられた円筒状スクリーン14に走行シーンなどのシミュレーション画像を投影することなどによって車両走行をシミュレートする。
The driving
ドーム12は、略円筒形状をしており、その底面には円形状の基盤13が回動自在に設置されている。基盤13の上面には、車両モデル11が支持部を介して設置される。また、基盤13には該基盤13(すなわち車両モデル11)の回動位置を検出する回動位置センサ15が取り付けられている。回動位置センサ15は電子制御装置30に接続されており、車両モデル11の回動位置に応じた検出信号が電子制御装置30に出力される。なお、電子制御装置30の詳細については後述する。車両モデル11の周囲、すなわち前方、両側方および後方には、ドーム12の内周面に沿ってスクリーン14が設けられている。また、ドーム12内の上方には、スクリーン14に投影可能な位置・角度で複数のプロジェクタ16が設けられている。
The
車両モデル11には、実車両と同様に、アクセルペダル、ブレーキペダル、ステアリングホイール、シフトレバーなどの操作系やスピードメータなどの計器類、車両後方を確認するためのルームミラー17、左ドアミラー18、右ドアミラー19などが備え付けられている。ここで、ルームミラー17、左ドアミラー18および右ドアミラー19は、特許請求の範囲に記載された後方目視ミラーに相当する。
The
アクセルペダル、ブレーキペダルやステアリングホイールなどには、それぞれの操作量を検出するためのセンサが取り付けられている。同様に、シフトレバーにはシフトポジションを検出するセンサが取り付けられている。これらのセンサも電子制御装置30に接続されており、各センサで検出された検出結果は電子制御装置30に出力される。
Sensors for detecting the respective operation amounts are attached to the accelerator pedal, the brake pedal, the steering wheel, and the like. Similarly, a sensor for detecting the shift position is attached to the shift lever. These sensors are also connected to the
電子制御装置30には、運転者の頭部(顔部)を撮像して運転者の視線方向を検出するための画像データを取得する視線方向検出用カメラ20も接続されている。この視線方向検出用カメラ20で取得された画像データは電子制御装置30に出力される。視線方向検出用カメラ20は、CCDカメラによって構成されており、例えば車両モデル11のステアリングコラムカバーの上面に取り付けられる。なお、視線方向検出用カメラ20の取り付け場所は、ステアリングコラムカバーの上面に限られない。視線方向検出用カメラ20は、運転者の視線方向、特に運転者の視線が車両後方を確認するためのルームミラー17および左右ドアミラー18,19に向けられているか否かを高精度に検出することができる画像を取得可能な位置に取り付けられていればよく、例えば、ルームミラー17および左右ドアミラー18,19に取り付けられてもよい。
The
電子制御装置30は、上述した各センサからの検出情報に基づいて、スクリーン14に投影する画像を生成するものである。この電子制御装置30は、演算を行うマイクロプロセッサ、演算結果などの各種データを記憶する内部メモリ、およびマイクロプロセッサに各処理を実行させるためのプログラムやシミュレーション画像などを記憶する記憶装置等により構成されている。
The
電子制御装置30には、視線方向検出用カメラ20により取得された画像データに基づいて運転者の視線方向を検出するとともに、予め記憶されているルームミラー17、左右ドアミラー18,19の位置情報と検出された視線方向とに基づいて、運転者がルームミラー17、左ドアミラー18または右ドアミラー19を見ているか否かを判断する視線方向演算部31、および、プロジェクタ16によってスクリーン14に投影される画像を生成する画像生成部32が構築されている。すなわち、特許請求の範囲に記載された視線検出手段および表示手段が有する各機能は電子制御装置30を構成する視線方向演算部31および画像生成部32により実現される。
The
視線方向演算部31には、視線方向検出用カメラ20によって取得された運転者の頭部の画像データが入力される。視線方向演算部31では、まず、入力された運転者の頭部の画像データから、パターン認識やステレオ立体視の理論に基づく処理を行うことにより運転者の視線方向(視線ベクトル)が取得される。より詳細には、画像データから、運転者の顔の位置,角度(向き)、顔の中の目の位置、および目の中の黒目の位置(眼球位置)を検出することによって視線方向が求められる。続いて、視線方向演算部31では、予め記憶されているルームミラー17、左右ドアミラー18,19の位置情報(3次元座標)と求められた視線方向とに基づいて、運転者がルームミラー17、左ドアミラー18または右ドアミラー19を見ているか否かが判断される。判断結果は画像生成部32に出力される。
The line-of-
画像生成部32では、アクセルペダル、ブレーキペダル、ステアリングホイールの操作量やシフトポジションなどに応じて車両モデル11の運動情報が演算され、得られた運動情報に基づいて、シミュレーション走行における現在の走行位置が算出される。そして、現在の走行位置において車両内から見える景色の画像情報が読み込まれ、この画像情報からプロジェクタ16用の画像信号が生成される。その際、視線方向演算部31による判断結果、すなわち運転者がルームミラー17、左ドアミラー18または右ドアミラー19を介して後方を見ているか否かに応じて生成される画像信号が変更される。その結果、車両モデル11の周囲に設置されているスクリーン14に投影される画像が切り替えられる。
In the
より具体的には、運転者がルームミラー17を介して後方を見ていると判断された場合には、ルームミラー17に映るスクリーン14上の領域14Aにルームミラー17の反射面に視点を置いた画像が投影されるように画像信号が生成される。また、スクリーン14上の領域14Bに左ドアミラー18の反射面に視点を置いた画像が投影され、スクリーン14上の領域14Cに右ドアミラー19の反射面に視点を置いた画像が投影されるように画像信号が生成される。さらに、その他の領域14Gに運転者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。
More specifically, when it is determined that the driver is looking backward through the
一方、運転者が左ドアミラー18または右ドアミラー19を介して後方を見ていると判断された場合には、左ドアミラー18に映るスクリーン14上の領域14Eに左ドアミラー18の反射面に視点を置いた画像が投影され、右ドアミラー19に映るスクリーン14上の領域14Fに右ドアミラー19の反射面に視点を置いた画像が投影されるように画像信号が生成される。また、スクリーン14上の領域14Dにルームミラー17の反射面に視点を置いた画像が投影されるように画像信号が生成される。さらに、その他の領域14Gに運転者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。
On the other hand, when it is determined that the driver is looking backward through the
さらに、運転者が振り返って直接後方を見ていると判断された場合には、車両モデル11後方のスクリーン14に運転者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。なお、このとき、車両モデル11前方のスクリーン14にも運転者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。
Further, when it is determined that the driver is looking back and looking directly behind, an image signal is generated so that an image with the viewpoint at the driver's eyeball position is projected onto the
生成された画像信号はプロジェクタ16に出力される。その際、回動位置センサ15により検出された車両モデル11の回動位置に応じて、それぞれの画像信号が出力されるプロジェクタ16が選択される。
The generated image signal is output to the
プロジェクタ16は、電子制御装置30から入力される画像信号に応じて、走行路を走行するときに車両内から見える景色の画像などのシミュレーション画像をスクリーン14に投射する。運転者は、スクリーン14に投影されるシミュレーション画像に含まれる走行情報(例えば、走行路、標識、信号、他車両や歩行者などの情報)を認知、判断して車両モデル11の運転操作を行う。運転操作状態は、上述したように、各センサによって検出され、電子制御装置30に送られる。
The
次に、図3を参照して、画像表示装置1の動作について説明する。図3は、画像表示装置1での投影画像切り替え処理の処理手順を示すフローチャートである。
Next, the operation of the
ステップS100では、視線方向検出用カメラ20によって取得された運転者の顔部の画像データが読み込まれ、読み込まれた画像データから、運転者の眼球の3次元位置や視線方向が検出される。
In step S100, the image data of the driver's face acquired by the
続くステップS102では、ステップS100において検出された視線方向と予め記憶されている左ドアミラー18,右ドアミラー19の位置情報(3次元座標)とに基づいて、運転者が左ドアミラー18あるいは右ドアミラー19を見ているか、または見ている可能性が高いか否かについての判断が行われる。また、ステップS102では、運転者が前方もしくは左右を見ているか否かについての判断も行われる。ここで、ステップS102が肯定された場合、すなわち運転者が左右ドアミラー18,19を見ていると判断された場合、見ている可能性が高いと判断された場合、または前方もしくは左右を見ていると判断された場合には、ステップS104に処理が移行する。一方、ステップS102が否定されたとき、すなわち、上述した条件がすべて否定されたときには、ステップS106に処理が移行する。
In the subsequent step S102, the driver moves the
ステップS104では、左ドアミラー18に映るスクリーン14上の領域14Eに左ドアミラー18の反射面に視点を置いた画像が投影されるとともに、右ドアミラー19に映るスクリーン14上の領域14Fに右ドアミラー19の反射面に視点を置いた画像が投影される。また、スクリーン14上の領域14Dにルームミラー17の反射面に視点を置いた画像が投影される。さらに、その他の領域14Gに運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS114に処理が移行する。
In step S104, an image with the viewpoint on the reflecting surface of the
ステップS106では、ステップS100において検出された視線方向と予め記憶されているルームミラー17の位置情報(3次元座標)とに基づいて、運転者がルームミラー17を見ているか、または見ている可能性が高いか否かについての判断が行われる。ここで、運転者がルームミラー17を見ていると判断された場合、または見ている可能性が高いと判断された場合には、ステップS108に処理が移行する。一方、運転者がルームミラー17を見ていないと判断されたとき、または見ている可能性が低いと判断されたときには、ステップS110に処理が移行する。
In step S106, based on the line-of-sight direction detected in step S100 and the position information (three-dimensional coordinates) of the
ステップS108では、ルームミラー17に映るスクリーン14上の領域14Aにルームミラー17の反射面に視点を置いた画像が投影される。また、スクリーン14上の領域14Bに左ドアミラー18の反射面に視点を置いた画像が投影され、スクリーン14上の領域14Cに右ドアミラー19の反射面に視点を置いた画像が投影される。さらに、その他の領域14Gに運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS114に処理が移行する。
In step S <b> 108, an image with the viewpoint on the reflecting surface of the
ステップS110では、運転者が振り返って直接後方を見ているか否かについての判断が行われる。ここで、運転者が直接後方を見ていると判断された場合には、ステップS112に処理が移行する。一方、本ステップが否定されたときには、上述したステップS104に処理が移行する。ステップS104での処理内容は上述したとおりであるので、ここでは説明を省略する。 In step S110, a determination is made as to whether the driver is looking back and looking directly behind. Here, if it is determined that the driver is looking directly behind, the process proceeds to step S112. On the other hand, when this step is negative, the process proceeds to step S104 described above. Since the processing content in step S104 is as described above, description thereof is omitted here.
ステップS112では、車両モデル11後方のスクリーン14に運転者の眼球位置に視点を置いた画像が投影される。なお、車両モデル11前方にも運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS114に処理が移行する。
In step S112, an image with the viewpoint placed on the driver's eyeball position is projected onto the
ステップS104、S108またはS112の処理が終了した後、ステップS114では、シミュレーション走行が終了したか否かについての判断が行われる。ここで、シミュレーション走行がまだ終了していないと判断された場合には、ステップS100に処理が移行し、シミュレーション走行が終了したと判断されるまで、上述したステップS100〜S112の処理が繰り返して実行される。一方、シミュレーション走行が終了したと判断されたときには、本処理が終了される。 After the process of step S104, S108, or S112 is completed, in step S114, a determination is made as to whether the simulation travel has been completed. Here, when it is determined that the simulation traveling has not ended yet, the process proceeds to step S100, and the above-described processing of steps S100 to S112 is repeatedly performed until it is determined that the simulation traveling has ended. Is done. On the other hand, when it is determined that the simulation traveling has ended, the present processing is ended.
本実施形態に係るドライビングシミュレータ10によれば、検出された運転者の視線方向に基づいて、運転者がルームミラー17を介して後方を見ていると判断された場合には、ルームミラー17に映るスクリーン14上の領域14Aにルームミラー17の反射面に視点を置いた画像が投影される。一方、運転者が左ドアミラー18または右ドアミラー19を介して後方を見ていると判断された場合には、左ドアミラー18に映るスクリーン14上の領域14Eに左ドアミラー18の反射面に視点を置いた画像が投影され、右ドアミラー19に映るスクリーン14上の領域14Fに右ドアミラー19の反射面に視点を置いた画像が投影される。そのため、運転者がルームミラー17または左右ドアミラー18,19を介して後方を見るときに、現実と同じ見え方を再現することが可能となる。
According to the driving
また、運転者が振り返って直接後方を見ていると判断された場合には、車両モデル11後方のスクリーン14に運転者の眼球位置に視点を置いた画像が投影される。その結果、直接後方を見た場合にも現実と同じ見え方を再現することが可能となる。ここで、ルームミラー17などを介して後方を見る場合と比較して、振り返って後方を目視するときには、顔の向きや視線方向が大きく動くため、その検出を容易に行うことができる。また、一般的に、後方を振り返るには、視線のみを動かす場合よりも時間を要する。そのため、運転者が振り返って直接後方を見ていると判断されたときに、運転者の眼球位置に視点を置いた画像に切り替えることによって、より適切に画像の切り替えを行うことができる。
If it is determined that the driver is looking back and looking directly behind, an image with the viewpoint at the position of the driver's eyeball is projected onto the
次に、第2の実施形態として、本発明に係る画像表示装置を、例えばCAVE(Cave Automatic Virtual Environment:登録商標)などの立体視表示システムに適用した場合を例に説明する。 Next, a case where the image display apparatus according to the present invention is applied to a stereoscopic display system such as CAVE (Cave Automatic Virtual Environment: registered trademark) will be described as an example as a second embodiment.
まず、図4および図5を併せて参照して、第2実施形態に係る画像表示装置2が適用された立体視表示システム40の構成について説明する。図4は、立体視表示システム40の主要な構成を示す図である。図5は、立体視表示システム40に適用される画像表示装置2の構成を示すブロック図である。
First, the configuration of a
立体視表示システム40は、略直方体の部屋RMを形成する各壁面に設けられた複数(本実施形態では6面)のスクリーン14にCG(computergraphic)映像をプロジェクタ16を用いて投影することによって、仮想現実空間(バーチャルリアリティ)を生成するものである。部屋RMの内部にはミラー41が設けられており、被験者は、実験中に、このミラー41を介して背後を確認することができるように構成されている。
The
画像表示装置2は、回動位置センサ15を備えていない点で、上述した第1実施形態と異なる。また、画像表示装置2を構成する電子制御装置30Bは、アクセルペダル、ブレーキペダルやステアリングホイールなどの操作量を検出するためのセンサやシフトポジションを検出するセンサが接続されていない点で、第1実施形態と異なる。また、本実施形態では、視線方向検出用カメラ20をミラー41に取り付け、被験者がミラー41を見たか否かを検出するように構成することが好ましい。
The
また、電子制御装置30Bに構築された画像生成部32Bが次の点で第1実施形態と異なる。すなわち、画像生成部32Bでは、被験者の位置や動作状態などに応じた画像情報が読み込まれ、この画像情報からプロジェクタ16用の画像信号が生成される。その際、視線方向演算部31による判断結果、すなわち被験者がミラー41を介して後方を見ているか否かに応じて生成される画像信号が変更される。その結果、部屋RMの内壁面に設置されているスクリーン14に投影される画像が切り替えられる。より具体的には、被験者がミラー41を介して後方を見ていると判断された場合には、ミラー41に映るスクリーン14上の領域14Hにミラー41の反射面に視点を置いた画像が投影されるように画像信号が生成される。また、その他の領域に対して被験者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。なお、被験者の位置や動作状態は、視線方向検出用カメラ20を流用して検出してもよいし、専用のセンサなどを追加して検出してもよい。
Further, the
その他の構成は、上述した第1実施形態と同一または同様であるので、ここでは説明を省略する。 Other configurations are the same as or similar to those of the first embodiment described above, and thus the description thereof is omitted here.
次に、図6を参照して、画像表示装置2の動作について説明する。図6は、画像表示装置2での投影画像切り替え処理の処理手順を示すフローチャートである。
Next, the operation of the
ステップS200では、視線方向検出用カメラ20によって取得された運転者の顔部の画像データが読み込まれ、読み込まれた画像データから、運転者の眼球の3次元位置や視線方向が検出される。
In step S200, the image data of the driver's face acquired by the
続くステップS202では、ステップS200において検出された視線方向と予め記憶されているミラー41の位置情報とに基づいて、被験者がミラー41を見ているか、または見ている可能性が高いか否かについての判断が行われる。ここで、被験者がミラー41を見ていると判断された場合、または見ている可能性が高いと判断された場合には、ステップS204に処理が移行する。一方、ステップS202が否定されたときには、ステップS206に処理が移行する。
In subsequent step S202, based on the line-of-sight direction detected in step S200 and the position information of the
ステップS204では、ミラー41に映るスクリーン14上の領域14Hにミラー41の反射面に視点を置いた画像が投影される。また、その他の領域に運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS208に処理が移行する。
In step S <b> 204, an image with the viewpoint placed on the reflection surface of the
被験者がミラー41を見ていない場合や見ている可能性が低い場合には、ステップS206において、スクリーン14のすべての領域に運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS208に処理が移行する。
When the subject does not look at the
上記ステップS204またはS206の処理が終了した後、ステップS208において、実験が終了したか否かについての判断が行われる。ここで、実験がまだ終了していないと判断された場合には、ステップS200に処理が移行し、実験が終了したと判断されるまで、上述したステップS200〜S206の処理が繰り返して実行される。一方、実験が終了したと判断されたときには、本処理が終了される。 After the process of step S204 or S206 is completed, in step S208, it is determined whether or not the experiment is completed. Here, if it is determined that the experiment has not ended yet, the process proceeds to step S200, and the above-described steps S200 to S206 are repeatedly executed until it is determined that the experiment has ended. . On the other hand, when it is determined that the experiment has ended, the present process is ended.
本実施形態に係る立体視表示システム40によれば、検出された被験者の視線方向に基づいて、被験者がミラー41を介して背後を見ていると判断された場合には、ミラー41に映るスクリーン14上の領域14Hにミラー41の反射面に視点を置いた画像が投影される。そのため、被験者がミラー41を介して背後を見るときに、現実と同じ見え方を再現することが可能となる。
According to the
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。上記実施形態では、本発明に係る画像表示装置をドライビングシミュレータや立体視表示システムに適用したが、本発明を適用することが可能なシステムはドライビングシミュレータや立体視表示システムに限られない。すなわち、映像を表示したときに、利用者が直接その映像を見る場合と、ミラーを介して見る場合とが混在するようなシステムに対して広く適用することができる。 Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made. In the above embodiment, the image display device according to the present invention is applied to a driving simulator or a stereoscopic display system. However, a system to which the present invention can be applied is not limited to a driving simulator or a stereoscopic display system. That is, the present invention can be widely applied to a system in which when a video is displayed, a case where the user directly views the video and a case where the video is viewed through a mirror are mixed.
また、画像を表示する表示手段がプロジェクタに限られないことは言うまでもない。 Needless to say, the display means for displaying the image is not limited to the projector.
1,2…画像表示装置、10…ドライビングシミュレータ、11…車両モデル、12…ドーム、13…基盤、14…スクリーン、15…回動位置センサ、16…プロジェクタ、17…ルームミラー、18…左ドアミラー、19…右ドアミラー、20…視線方向検出用カメラ、30,30B…電子制御装置、31…視線方向演算部、32,32B…画像生成部、40…立体視表示システム、41…ミラー。
DESCRIPTION OF
Claims (4)
前記利用者が背後を目視するための後方目視ミラーと、
前記利用者の視線方向を検出する視線検出手段と、を備え、
前記表示手段は、前記視線検出手段により検出された前記利用者の視線方向に基づいて、前記利用者が前記後方目視ミラーを介して背後を見ていると判断された場合に、前記後方目視ミラーに映る前記表示面の領域に、前記後方目視ミラーの反射面に視点を置いて作成された画像を表示することを特徴とする画像表示装置。 Display means for displaying an image on a display surface provided around the user;
A rear viewing mirror for the user to view the back;
Gaze detection means for detecting the gaze direction of the user,
The display means, when it is determined that the user is looking through the rear visual mirror based on the user's visual direction detected by the visual line detection means, the rear visual mirror An image display device, wherein an image created by placing a viewpoint on a reflection surface of the rear viewing mirror is displayed in an area of the display surface shown in FIG.
前記表示手段は、検出された前記利用者の視線方向に基づいて、前記利用者がいずれかの後方目視ミラーを介して背後を見ていると判断された場合に、前記利用者が見ている後方目視ミラーに映る前記表示面の領域に、前記利用者が見ている後方目視ミラーの反射面に視点を置いて作成された画像を表示することを特徴とする請求項1または2に記載の画像表示装置。 With multiple rear view mirrors,
The display means is viewed by the user when it is determined that the user is looking behind through any rear view mirror based on the detected line-of-sight direction of the user. The image created by placing the viewpoint on the reflection surface of the rear viewing mirror that the user is viewing is displayed in the area of the display surface that is reflected on the rear viewing mirror. Image display device.
The display means is an image created with a viewpoint at the eyeball position of the user when it is determined that the user is directly looking backward based on the detected line-of-sight direction of the user. The image display device according to claim 1, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156126A JP2007323001A (en) | 2006-06-05 | 2006-06-05 | Image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156126A JP2007323001A (en) | 2006-06-05 | 2006-06-05 | Image display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007323001A true JP2007323001A (en) | 2007-12-13 |
Family
ID=38855829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006156126A Pending JP2007323001A (en) | 2006-06-05 | 2006-06-05 | Image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007323001A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013167732A (en) * | 2012-02-15 | 2013-08-29 | Japan Radio Co Ltd | Display, screen and image conversion apparatus |
CN103577683A (en) * | 2012-08-02 | 2014-02-12 | 哈尼施费格尔技术公司 | Depth-related help functions for shovel training simulator |
CN104408989A (en) * | 2014-11-27 | 2015-03-11 | 南京南车浦镇城轨车辆有限责任公司 | Rearview mirror simulation method for vehicle driving simulation system |
-
2006
- 2006-06-05 JP JP2006156126A patent/JP2007323001A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013167732A (en) * | 2012-02-15 | 2013-08-29 | Japan Radio Co Ltd | Display, screen and image conversion apparatus |
CN103577683A (en) * | 2012-08-02 | 2014-02-12 | 哈尼施费格尔技术公司 | Depth-related help functions for shovel training simulator |
CN103577683B (en) * | 2012-08-02 | 2018-07-10 | 哈尼施费格尔技术公司 | The depth dependent help function of forklift training simulators |
CN104408989A (en) * | 2014-11-27 | 2015-03-11 | 南京南车浦镇城轨车辆有限责任公司 | Rearview mirror simulation method for vehicle driving simulation system |
CN104408989B (en) * | 2014-11-27 | 2016-10-12 | 南京中车浦镇城轨车辆有限责任公司 | A kind of rearview mirror emulation mode for vehicle simulation control loop |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7554461B2 (en) | Recording medium, parking support apparatus and parking support screen | |
US9479740B2 (en) | Image generating apparatus | |
JP5035643B2 (en) | Image display device | |
JP4579145B2 (en) | Vehicle peripheral image display device | |
JP5341789B2 (en) | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program | |
EP1462762A1 (en) | Circumstance monitoring device of a vehicle | |
JP6699370B2 (en) | Vehicle image processing device | |
US20110074916A1 (en) | Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent | |
CN102804763A (en) | Vehicle periphery monitoring device | |
JP5726201B2 (en) | Three-dimensional stereoscopic display device, three-dimensional stereoscopic display control device, and LSI circuit | |
JP5658507B2 (en) | Image display system, image generation apparatus, and image display method | |
JP3817612B2 (en) | Virtual driving system | |
US11525694B2 (en) | Superimposed-image display device and computer program | |
CN102812704A (en) | Vehicle periphery monitoring device | |
JP5914114B2 (en) | Parking assistance device and parking assistance method | |
JP6084097B2 (en) | Image generation apparatus, image display system, and image generation method | |
US20190100147A1 (en) | Parking assistant panoramic image system | |
JP2012214083A (en) | Image generating apparatus, image displaying system, and image generating method | |
JP2010028803A (en) | Image displaying method for parking aid | |
JP2019054420A (en) | Image processing system | |
JP5825713B2 (en) | Dangerous scene reproduction device for vehicles | |
JP6258000B2 (en) | Image display system, image display method, and program | |
Broll | Augmented reality | |
JP2007323001A (en) | Image display device | |
WO2019131296A1 (en) | Head-up display device |