JP2007323001A - Image display device - Google Patents

Image display device Download PDF

Info

Publication number
JP2007323001A
JP2007323001A JP2006156126A JP2006156126A JP2007323001A JP 2007323001 A JP2007323001 A JP 2007323001A JP 2006156126 A JP2006156126 A JP 2006156126A JP 2006156126 A JP2006156126 A JP 2006156126A JP 2007323001 A JP2007323001 A JP 2007323001A
Authority
JP
Japan
Prior art keywords
image
mirror
user
driver
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006156126A
Other languages
Japanese (ja)
Inventor
Takashi Yonekawa
隆 米川
Sueharu Nakiri
末晴 名切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2006156126A priority Critical patent/JP2007323001A/en
Publication of JP2007323001A publication Critical patent/JP2007323001A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display device capable of reproducing the way in which an image displayed behind a user is actually viewed when the user views the image through reflection by a mirror. <P>SOLUTION: When it is judged that a driver looks in a rear-view mirror 17, an image obtained when the visual point is placed on a reflecting surface of the rear-view mirror 17 is projected on an area 14A on a screen 14 reflected in the rear-view mirror 17. When it is judged that the driver looks in a left or right door mirror 18 or 19, an image obtained when the view point is placed on a reflecting surface of the left door mirror 18 is projected on an area 14E on the screen reflected in the left door mirror 18, and an image obtained when the visual point is placed on the reflecting surface of the right door mirror 19 is projected on an area 14F on the screen 14 reflected in the right door mirror 19. When it is judged that the driver looks back directly, an image obtained when the visual point is placed at the eyeball position of the driver is projected on the screen 14 behind a vehicle model 11. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、画像表示装置に関する。   The present invention relates to an image display device.

前方、左右および後方に設けられた各スクリーンに予め取得した実写走行映像を同期して表示するとともに、表示される実写走行映像を運転者(被験者)の運転操作に応じて変化させることによって擬似運転走行を実現するドライビングシミュレータが下記特許文献1に記載されている。   Simulated driving is performed by synchronously displaying live-action traveling images acquired in advance on the screens provided on the front, left, right, and rear, and by changing the displayed actual traveling images according to the driving operation of the driver (subject). A driving simulator that realizes traveling is described in Patent Document 1 below.

このドライビングシミュレータで用いられる実写走行映像は、次のようにして取得される。すなわち、まず、前後左右の4方向に向けてビデオカメラが搭載された収録車両により走行映像が収録される。次に、収録した走行映像が、運転者に視点を置いた映像、すなわち運転者から見た映像となるように編集されて各スクリーンに投影される映像が取得される。
特開2005−3923号公報
The live-action running video used in this driving simulator is acquired as follows. That is, first, a running image is recorded by a recording vehicle equipped with a video camera in four directions, front, rear, left and right. Next, the recorded traveling video is edited so as to be a video with a viewpoint on the driver, that is, a video viewed from the driver, and a video projected on each screen is acquired.
JP 2005-3923 A

上記ドライビングシミュレータは、実車との整合性をより高めるために、後方を確認するためのルームミラー(バックミラー)や左右のサイドミラーを備えている。そのため、運転者は、実際の車両運転時と同様に、これらのバックミラーやサイドミラーに後方スクリーンの映像を反射させることによって、後方を確認することができる。   The driving simulator includes a rear view mirror (rear mirror) and left and right side mirrors for confirming the rear in order to further improve the consistency with the actual vehicle. Therefore, the driver can confirm the rear side by reflecting the image of the rear screen on these rearview mirrors and side mirrors, as in actual vehicle driving.

しかしながら、後方スクリーンに表示される映像は、上述したように、運転者から見た映像であるため、ルームミラーや左右のドアミラーを介して後方を見る場合には、視点の違いから、実車の場合と見え方が異なる。このように、上記ドライビングシミュレータに適用されている表示装置では、ミラーを介して後方を見る際に、実車と同じ見え方を再現することができない。   However, since the video displayed on the rear screen is the video seen from the driver as described above, when looking at the rear through the rear view mirror and the left and right door mirrors, It looks different. Thus, the display device applied to the driving simulator cannot reproduce the same appearance as an actual vehicle when looking backward through the mirror.

本発明は、上記問題点を解消する為になされたものであり、利用者の後方に表示される画像をミラーに反射させて該利用者が見るときに、現実と同じ見え方を再現することができる画像表示装置を提供することを目的とする。   The present invention has been made to solve the above problems, and reproduces the same appearance as when the user sees the image displayed behind the user by reflecting it on a mirror. An object of the present invention is to provide an image display device capable of performing the above.

本発明に係る画像表示装置は、利用者の周囲に設けられた表示面に画像を表示する表示手段と、利用者が背後を目視するための後方目視ミラーと、利用者の視線方向を検出する視線検出手段とを備え、上記表示手段が、視線検出手段により検出された利用者の視線方向に基づいて、利用者が後方目視ミラーを介して背後を見ていると判断された場合に、後方目視ミラーに映る表示面の領域に、後方目視ミラーの反射面に視点を置いて作成された画像を表示することを特徴とする。   An image display device according to the present invention detects display means for displaying an image on a display surface provided around a user, a rear viewing mirror for the user to visually observe the back, and a user's gaze direction. Line-of-sight detection means, and when the display means determines that the user is looking through the rear viewing mirror based on the line-of-sight direction of the user detected by the line-of-sight detection means, An image created by placing the viewpoint on the reflection surface of the rear viewing mirror is displayed in the area of the display surface reflected on the viewing mirror.

本発明に係る画像表示装置によれば、検出された利用者の視線方向から、利用者が後方目視ミラーを介して背後を見ていると判断された場合に、後方目視ミラーに映る表示面の領域に、後方目視ミラーの反射面に視点を置いて作成された画像が表示される。そのため、利用者が、背後に表示される画像を後方目視ミラーに反射させて見るときに、現実と同じ見え方を再現することが可能となる。   According to the image display device according to the present invention, when it is determined from the detected user's line-of-sight direction that the user is looking through the rear viewing mirror, the display surface reflected on the rear viewing mirror is displayed. An image created by placing the viewpoint on the reflection surface of the rear viewing mirror is displayed in the area. Therefore, when the user sees the image displayed behind by reflecting the image to the rear viewing mirror, the same appearance as in reality can be reproduced.

ここで、上記表示手段としては、スクリーンに画像を投影するプロジェクタを用いることが好適である。   Here, as the display means, it is preferable to use a projector that projects an image on a screen.

また、本発明に係る画像表示装置は、複数の後方目視ミラーを備え、上記表示手段が、検出された利用者の視線方向に基づいて、利用者がいずれかの後方目視ミラーを介して背後を見ていると判断された場合に、利用者が見ている後方目視ミラーに映る表示面の領域に、利用者が見ている後方目視ミラーの反射面に視点を置いて作成された画像を表示することが好ましい。   Further, the image display device according to the present invention includes a plurality of rear viewing mirrors, and the display means allows the user to be behind the rear viewing mirror based on the detected direction of the user's line of sight. When it is determined that the user is looking, an image created with the viewpoint on the reflective surface of the rear viewing mirror that the user is viewing is displayed in the area of the display surface that is reflected on the rear viewing mirror that the user is viewing. It is preferable to do.

このように複数の後方目視ミラーを備える場合、検出された利用者の視線方向から利用者が見ている後方目視ミラーが特定され、該後方目視ミラーに映る表示面の領域に、該後方目視ミラーの反射面に視点を置いて作成された画像が表示される。そのため、複数の後方目視ミラーを備える場合であっても、すべての後方目視ミラーについて、現実と同じ見え方を再現することが可能となる。   When a plurality of rear viewing mirrors are provided in this way, the rear viewing mirror that the user is looking at is identified from the detected user's line-of-sight direction, and the rear viewing mirror is displayed in the area of the display surface reflected on the rear viewing mirror. An image created by placing the viewpoint on the reflection surface is displayed. Therefore, even when a plurality of rear viewing mirrors are provided, it is possible to reproduce the same appearance as reality for all rear viewing mirrors.

上記表示手段は、検出された利用者の視線方向に基づいて、利用者が直接後方を見ていると判断された場合に、利用者の眼球位置に視点を置いて作成された画像を表示することが好ましい。   The display means displays an image created with the viewpoint at the position of the user's eyeball when it is determined that the user is directly looking backward based on the detected line-of-sight direction of the user. It is preferable.

後方目視ミラーを介して背後を見る場合と比較して、振り返って後方を目視するときには、顔の向きや視線方向が大きく動くため、その検出を容易に行うことができる。また、一般的に、後方を振り返るには、視線のみを動かす場合よりも時間を要する。そのため、利用者が振り返って直接後方を見ていると判断された場合に、利用者の眼球位置に視点を置いて作成された画像を表示する構成とすることによって、画像の切り替えをより適切に行うことが可能となる。   Compared with the case of looking at the back through the rear viewing mirror, when looking back, the direction of the face and the direction of the line of sight move greatly, so that the detection can be easily performed. In general, looking back requires more time than moving only the line of sight. Therefore, when it is determined that the user is looking back and looking directly behind, the image created by placing the viewpoint at the user's eyeball position is displayed, so that switching of images can be performed more appropriately. Can be done.

本発明によれば、検出された利用者の視線方向から、利用者が後方目視ミラーを介して背後を見ていると判断された場合に、後方目視ミラーに映る表示面の領域に、後方目視ミラーの反射面に視点を置いて作成された画像を表示する構成としたので、利用者の後方に表示される画像をミラーに反射させて見るときに、現実と同じ見え方を再現することが可能となる。   According to the present invention, when it is determined from the detected direction of the user's line of sight that the user is looking behind through the rear viewing mirror, the area of the display surface reflected on the rear viewing mirror is Since the image created with the viewpoint on the reflecting surface of the mirror is displayed, it is possible to reproduce the same appearance as in reality when the image displayed behind the user is reflected on the mirror. It becomes possible.

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。   DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the figure, the same reference numerals are used for the same or corresponding parts.

第1の実施形態として、本発明に係る画像表示装置を、運転者(利用者)の運転操作に応じて車両の運動を模擬するドライビングシミュレータに適用した場合を例に説明する。   As a first embodiment, an example will be described in which the image display device according to the present invention is applied to a driving simulator that simulates the motion of a vehicle in accordance with a driving operation of a driver (user).

まず、図1および図2を併せて参照して、第1実施形態に係る画像表示装置1が適用されたドライビングシミュレータ10の構成について説明する。図1は、ドライビングシミュレータ10の主要な構成を示す図である。図2は、ドライビングシミュレータ10に適用される画像表示装置1の構成を示すブロック図である。   First, the configuration of a driving simulator 10 to which the image display device 1 according to the first embodiment is applied will be described with reference to FIGS. 1 and 2 together. FIG. 1 is a diagram showing a main configuration of the driving simulator 10. FIG. 2 is a block diagram showing a configuration of the image display device 1 applied to the driving simulator 10.

ドライビングシミュレータ10は、各種条件下での車両運転者の挙動や車両挙動を解析調査するための運転模擬装置であり、走行に伴って変化する車外の視界を模擬する視界模擬部、運転感覚を乗員に与える運動模擬部、および操作反力等を与える操縦感覚模擬部等から構成される。ここで、画像表示装置1は視界模擬部に適用される。より具体的には、ドライビングシミュレータ10は、車両モデル11が内部に設置されるドーム12を備え、運転者の運転操作に基づいて操作系の操作状態や車両モデル11の運動状態を演算し、その演算結果に応じて操作反力を付与するアクチュエータやドーム12等を駆動するとともに、ドーム12の内周面に設けられた円筒状スクリーン14に走行シーンなどのシミュレーション画像を投影することなどによって車両走行をシミュレートする。   The driving simulator 10 is a driving simulation device for analyzing and investigating the behavior of the vehicle driver and the vehicle behavior under various conditions. The driving simulator 10 is a visual field simulation unit that simulates the visual field outside the vehicle that changes as the vehicle travels. Is composed of a motion simulation section for giving to the vehicle and a control feeling simulation section for giving an operation reaction force and the like. Here, the image display apparatus 1 is applied to a visual field simulation unit. More specifically, the driving simulator 10 includes a dome 12 in which the vehicle model 11 is installed. The driving simulator 10 calculates the operation state of the operation system and the movement state of the vehicle model 11 based on the driving operation of the driver. The vehicle travels by driving an actuator, an dome 12 or the like that applies an operational reaction force according to the calculation result, and projecting a simulation image such as a travel scene onto the cylindrical screen 14 provided on the inner peripheral surface of the dome 12. To simulate.

ドーム12は、略円筒形状をしており、その底面には円形状の基盤13が回動自在に設置されている。基盤13の上面には、車両モデル11が支持部を介して設置される。また、基盤13には該基盤13(すなわち車両モデル11)の回動位置を検出する回動位置センサ15が取り付けられている。回動位置センサ15は電子制御装置30に接続されており、車両モデル11の回動位置に応じた検出信号が電子制御装置30に出力される。なお、電子制御装置30の詳細については後述する。車両モデル11の周囲、すなわち前方、両側方および後方には、ドーム12の内周面に沿ってスクリーン14が設けられている。また、ドーム12内の上方には、スクリーン14に投影可能な位置・角度で複数のプロジェクタ16が設けられている。   The dome 12 has a substantially cylindrical shape, and a circular base 13 is rotatably installed on the bottom surface thereof. The vehicle model 11 is installed on the upper surface of the base 13 via a support portion. Further, a rotation position sensor 15 for detecting a rotation position of the base 13 (that is, the vehicle model 11) is attached to the base 13. The rotation position sensor 15 is connected to the electronic control device 30, and a detection signal corresponding to the rotation position of the vehicle model 11 is output to the electronic control device 30. Details of the electronic control unit 30 will be described later. A screen 14 is provided along the inner peripheral surface of the dome 12 around the vehicle model 11, that is, in the front, both sides, and the rear. A plurality of projectors 16 are provided above the dome 12 at positions and angles that can be projected onto the screen 14.

車両モデル11には、実車両と同様に、アクセルペダル、ブレーキペダル、ステアリングホイール、シフトレバーなどの操作系やスピードメータなどの計器類、車両後方を確認するためのルームミラー17、左ドアミラー18、右ドアミラー19などが備え付けられている。ここで、ルームミラー17、左ドアミラー18および右ドアミラー19は、特許請求の範囲に記載された後方目視ミラーに相当する。   The vehicle model 11 includes an operation system such as an accelerator pedal, a brake pedal, a steering wheel, and a shift lever, instruments such as a speedometer, a room mirror 17 for confirming the rear of the vehicle, a left door mirror 18, A right door mirror 19 and the like are provided. Here, the room mirror 17, the left door mirror 18, and the right door mirror 19 correspond to the rear viewing mirror described in the claims.

アクセルペダル、ブレーキペダルやステアリングホイールなどには、それぞれの操作量を検出するためのセンサが取り付けられている。同様に、シフトレバーにはシフトポジションを検出するセンサが取り付けられている。これらのセンサも電子制御装置30に接続されており、各センサで検出された検出結果は電子制御装置30に出力される。   Sensors for detecting the respective operation amounts are attached to the accelerator pedal, the brake pedal, the steering wheel, and the like. Similarly, a sensor for detecting the shift position is attached to the shift lever. These sensors are also connected to the electronic control unit 30, and the detection results detected by each sensor are output to the electronic control unit 30.

電子制御装置30には、運転者の頭部(顔部)を撮像して運転者の視線方向を検出するための画像データを取得する視線方向検出用カメラ20も接続されている。この視線方向検出用カメラ20で取得された画像データは電子制御装置30に出力される。視線方向検出用カメラ20は、CCDカメラによって構成されており、例えば車両モデル11のステアリングコラムカバーの上面に取り付けられる。なお、視線方向検出用カメラ20の取り付け場所は、ステアリングコラムカバーの上面に限られない。視線方向検出用カメラ20は、運転者の視線方向、特に運転者の視線が車両後方を確認するためのルームミラー17および左右ドアミラー18,19に向けられているか否かを高精度に検出することができる画像を取得可能な位置に取り付けられていればよく、例えば、ルームミラー17および左右ドアミラー18,19に取り付けられてもよい。   The electronic control device 30 is also connected with a gaze direction detection camera 20 that images the driver's head (face) and acquires image data for detecting the gaze direction of the driver. Image data acquired by the line-of-sight direction detection camera 20 is output to the electronic control unit 30. The line-of-sight direction detection camera 20 is constituted by a CCD camera, and is attached to the upper surface of the steering column cover of the vehicle model 11, for example. The mounting position of the camera 20 for detecting the sight line direction is not limited to the upper surface of the steering column cover. The gaze direction detection camera 20 detects with high accuracy whether or not the driver's gaze direction, in particular, the driver's gaze direction is directed to the rearview mirror 17 and the left and right door mirrors 18 and 19 for confirming the rear of the vehicle. For example, it may be attached to the room mirror 17 and the left and right door mirrors 18 and 19.

電子制御装置30は、上述した各センサからの検出情報に基づいて、スクリーン14に投影する画像を生成するものである。この電子制御装置30は、演算を行うマイクロプロセッサ、演算結果などの各種データを記憶する内部メモリ、およびマイクロプロセッサに各処理を実行させるためのプログラムやシミュレーション画像などを記憶する記憶装置等により構成されている。   The electronic control unit 30 generates an image to be projected on the screen 14 based on the detection information from each sensor described above. The electronic control unit 30 includes a microprocessor that performs calculations, an internal memory that stores various data such as calculation results, and a storage device that stores programs and simulation images for causing the microprocessor to execute various processes. ing.

電子制御装置30には、視線方向検出用カメラ20により取得された画像データに基づいて運転者の視線方向を検出するとともに、予め記憶されているルームミラー17、左右ドアミラー18,19の位置情報と検出された視線方向とに基づいて、運転者がルームミラー17、左ドアミラー18または右ドアミラー19を見ているか否かを判断する視線方向演算部31、および、プロジェクタ16によってスクリーン14に投影される画像を生成する画像生成部32が構築されている。すなわち、特許請求の範囲に記載された視線検出手段および表示手段が有する各機能は電子制御装置30を構成する視線方向演算部31および画像生成部32により実現される。   The electronic control unit 30 detects the driver's line-of-sight direction based on the image data acquired by the line-of-sight direction detection camera 20, and stores the position information of the room mirror 17 and the left and right door mirrors 18, 19 stored in advance. Based on the detected line-of-sight direction, the line-of-sight direction calculation unit 31 that determines whether the driver is looking at the room mirror 17, the left door mirror 18, or the right door mirror 19, and the projector 16 project the image onto the screen 14. An image generation unit 32 that generates an image is constructed. In other words, the functions of the line-of-sight detection means and the display means described in the claims are realized by the line-of-sight direction calculation unit 31 and the image generation unit 32 that constitute the electronic control device 30.

視線方向演算部31には、視線方向検出用カメラ20によって取得された運転者の頭部の画像データが入力される。視線方向演算部31では、まず、入力された運転者の頭部の画像データから、パターン認識やステレオ立体視の理論に基づく処理を行うことにより運転者の視線方向(視線ベクトル)が取得される。より詳細には、画像データから、運転者の顔の位置,角度(向き)、顔の中の目の位置、および目の中の黒目の位置(眼球位置)を検出することによって視線方向が求められる。続いて、視線方向演算部31では、予め記憶されているルームミラー17、左右ドアミラー18,19の位置情報(3次元座標)と求められた視線方向とに基づいて、運転者がルームミラー17、左ドアミラー18または右ドアミラー19を見ているか否かが判断される。判断結果は画像生成部32に出力される。   The line-of-sight calculation unit 31 receives image data of the driver's head acquired by the line-of-sight direction detection camera 20. The gaze direction calculation unit 31 first acquires the driver's gaze direction (gaze vector) from the input image data of the driver's head by performing processing based on the theory of pattern recognition and stereo stereoscopic vision. . More specifically, the line-of-sight direction is obtained by detecting the position, angle (orientation) of the driver's face, the position of the eye in the face, and the position of the black eye (eye position) in the eye from the image data. It is done. Subsequently, in the line-of-sight direction calculation unit 31, based on the position information (three-dimensional coordinates) of the room mirror 17 and the left and right door mirrors 18, 19 stored in advance and the obtained line-of-sight direction, the driver uses the room mirror 17, It is determined whether the left door mirror 18 or the right door mirror 19 is being viewed. The determination result is output to the image generation unit 32.

画像生成部32では、アクセルペダル、ブレーキペダル、ステアリングホイールの操作量やシフトポジションなどに応じて車両モデル11の運動情報が演算され、得られた運動情報に基づいて、シミュレーション走行における現在の走行位置が算出される。そして、現在の走行位置において車両内から見える景色の画像情報が読み込まれ、この画像情報からプロジェクタ16用の画像信号が生成される。その際、視線方向演算部31による判断結果、すなわち運転者がルームミラー17、左ドアミラー18または右ドアミラー19を介して後方を見ているか否かに応じて生成される画像信号が変更される。その結果、車両モデル11の周囲に設置されているスクリーン14に投影される画像が切り替えられる。   In the image generation unit 32, the motion information of the vehicle model 11 is calculated according to the operation amount and shift position of the accelerator pedal, the brake pedal, and the steering wheel, and the current travel position in the simulation travel is based on the obtained motion information. Is calculated. Then, image information of the scenery that can be seen from inside the vehicle at the current traveling position is read, and an image signal for the projector 16 is generated from this image information. At that time, a determination result by the line-of-sight direction calculation unit 31, that is, an image signal generated depending on whether or not the driver is looking at the rear via the room mirror 17, the left door mirror 18, or the right door mirror 19 is changed. As a result, the image projected on the screen 14 installed around the vehicle model 11 is switched.

より具体的には、運転者がルームミラー17を介して後方を見ていると判断された場合には、ルームミラー17に映るスクリーン14上の領域14Aにルームミラー17の反射面に視点を置いた画像が投影されるように画像信号が生成される。また、スクリーン14上の領域14Bに左ドアミラー18の反射面に視点を置いた画像が投影され、スクリーン14上の領域14Cに右ドアミラー19の反射面に視点を置いた画像が投影されるように画像信号が生成される。さらに、その他の領域14Gに運転者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。   More specifically, when it is determined that the driver is looking backward through the rearview mirror 17, the viewpoint is placed on the reflecting surface of the rearview mirror 17 in the area 14A on the screen 14 reflected in the rearview mirror 17. An image signal is generated so that the projected image is projected. Further, an image with the viewpoint on the reflecting surface of the left door mirror 18 is projected on the area 14B on the screen 14, and an image with the viewpoint on the reflecting surface of the right door mirror 19 is projected on the area 14C on the screen 14. An image signal is generated. Furthermore, an image signal is generated so that an image with the viewpoint at the position of the driver's eyeball is projected onto the other region 14G.

一方、運転者が左ドアミラー18または右ドアミラー19を介して後方を見ていると判断された場合には、左ドアミラー18に映るスクリーン14上の領域14Eに左ドアミラー18の反射面に視点を置いた画像が投影され、右ドアミラー19に映るスクリーン14上の領域14Fに右ドアミラー19の反射面に視点を置いた画像が投影されるように画像信号が生成される。また、スクリーン14上の領域14Dにルームミラー17の反射面に視点を置いた画像が投影されるように画像信号が生成される。さらに、その他の領域14Gに運転者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。   On the other hand, when it is determined that the driver is looking backward through the left door mirror 18 or the right door mirror 19, the viewpoint is placed on the reflecting surface of the left door mirror 18 in the area 14E on the screen 14 reflected on the left door mirror 18. The projected image is projected, and an image signal is generated so that an image with the viewpoint on the reflecting surface of the right door mirror 19 is projected onto a region 14F on the screen 14 reflected on the right door mirror 19. In addition, an image signal is generated so that an image with the viewpoint on the reflection surface of the room mirror 17 is projected onto the region 14D on the screen 14. Furthermore, an image signal is generated so that an image with the viewpoint at the position of the driver's eyeball is projected onto the other region 14G.

さらに、運転者が振り返って直接後方を見ていると判断された場合には、車両モデル11後方のスクリーン14に運転者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。なお、このとき、車両モデル11前方のスクリーン14にも運転者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。   Further, when it is determined that the driver is looking back and looking directly behind, an image signal is generated so that an image with the viewpoint at the driver's eyeball position is projected onto the screen 14 behind the vehicle model 11. Is done. At this time, an image signal is generated so that an image with the viewpoint at the driver's eyeball position is projected onto the screen 14 in front of the vehicle model 11.

生成された画像信号はプロジェクタ16に出力される。その際、回動位置センサ15により検出された車両モデル11の回動位置に応じて、それぞれの画像信号が出力されるプロジェクタ16が選択される。   The generated image signal is output to the projector 16. At that time, the projector 16 that outputs each image signal is selected according to the rotation position of the vehicle model 11 detected by the rotation position sensor 15.

プロジェクタ16は、電子制御装置30から入力される画像信号に応じて、走行路を走行するときに車両内から見える景色の画像などのシミュレーション画像をスクリーン14に投射する。運転者は、スクリーン14に投影されるシミュレーション画像に含まれる走行情報(例えば、走行路、標識、信号、他車両や歩行者などの情報)を認知、判断して車両モデル11の運転操作を行う。運転操作状態は、上述したように、各センサによって検出され、電子制御装置30に送られる。   The projector 16 projects a simulation image such as an image of a landscape that can be seen from inside the vehicle when traveling on the traveling road in accordance with an image signal input from the electronic control device 30. The driver recognizes and determines the driving information (for example, information on the driving path, signs, signals, other vehicles, pedestrians, etc.) included in the simulation image projected on the screen 14 and operates the vehicle model 11. . The driving operation state is detected by each sensor and sent to the electronic control unit 30 as described above.

次に、図3を参照して、画像表示装置1の動作について説明する。図3は、画像表示装置1での投影画像切り替え処理の処理手順を示すフローチャートである。   Next, the operation of the image display apparatus 1 will be described with reference to FIG. FIG. 3 is a flowchart showing the processing procedure of the projection image switching process in the image display device 1.

ステップS100では、視線方向検出用カメラ20によって取得された運転者の顔部の画像データが読み込まれ、読み込まれた画像データから、運転者の眼球の3次元位置や視線方向が検出される。   In step S100, the image data of the driver's face acquired by the camera 20 for detecting the eye direction is read, and the three-dimensional position and the eye direction of the driver's eyeball are detected from the read image data.

続くステップS102では、ステップS100において検出された視線方向と予め記憶されている左ドアミラー18,右ドアミラー19の位置情報(3次元座標)とに基づいて、運転者が左ドアミラー18あるいは右ドアミラー19を見ているか、または見ている可能性が高いか否かについての判断が行われる。また、ステップS102では、運転者が前方もしくは左右を見ているか否かについての判断も行われる。ここで、ステップS102が肯定された場合、すなわち運転者が左右ドアミラー18,19を見ていると判断された場合、見ている可能性が高いと判断された場合、または前方もしくは左右を見ていると判断された場合には、ステップS104に処理が移行する。一方、ステップS102が否定されたとき、すなわち、上述した条件がすべて否定されたときには、ステップS106に処理が移行する。   In the subsequent step S102, the driver moves the left door mirror 18 or the right door mirror 19 based on the line-of-sight direction detected in step S100 and the position information (three-dimensional coordinates) of the left door mirror 18 and the right door mirror 19 stored in advance. A determination is made as to whether or not they are watching. In step S102, it is also determined whether or not the driver is looking forward or left and right. Here, when step S102 is affirmed, that is, when it is determined that the driver is looking at the left and right door mirrors 18 and 19, when it is determined that there is a high possibility of watching, or when looking at the front or left and right If it is determined that there is, the process proceeds to step S104. On the other hand, when step S102 is denied, that is, when all the above-described conditions are denied, the process proceeds to step S106.

ステップS104では、左ドアミラー18に映るスクリーン14上の領域14Eに左ドアミラー18の反射面に視点を置いた画像が投影されるとともに、右ドアミラー19に映るスクリーン14上の領域14Fに右ドアミラー19の反射面に視点を置いた画像が投影される。また、スクリーン14上の領域14Dにルームミラー17の反射面に視点を置いた画像が投影される。さらに、その他の領域14Gに運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS114に処理が移行する。   In step S104, an image with the viewpoint on the reflecting surface of the left door mirror 18 is projected onto an area 14E on the screen 14 reflected on the left door mirror 18, and the right door mirror 19 is projected onto an area 14F on the screen 14 reflected on the right door mirror 19. An image with a viewpoint on the reflection surface is projected. In addition, an image with the viewpoint on the reflecting surface of the room mirror 17 is projected onto the area 14D on the screen 14. Further, an image with the viewpoint placed on the driver's eyeball position is projected onto the other region 14G. Thereafter, the process proceeds to step S114.

ステップS106では、ステップS100において検出された視線方向と予め記憶されているルームミラー17の位置情報(3次元座標)とに基づいて、運転者がルームミラー17を見ているか、または見ている可能性が高いか否かについての判断が行われる。ここで、運転者がルームミラー17を見ていると判断された場合、または見ている可能性が高いと判断された場合には、ステップS108に処理が移行する。一方、運転者がルームミラー17を見ていないと判断されたとき、または見ている可能性が低いと判断されたときには、ステップS110に処理が移行する。   In step S106, based on the line-of-sight direction detected in step S100 and the position information (three-dimensional coordinates) of the room mirror 17 stored in advance, the driver is watching or watching the room mirror 17. A determination is made as to whether the property is high. Here, when it is determined that the driver is looking at the room mirror 17 or when it is determined that there is a high possibility that the driver is looking, the process proceeds to step S108. On the other hand, when it is determined that the driver is not looking at the room mirror 17 or when it is determined that the driver is not likely to be looking, the process proceeds to step S110.

ステップS108では、ルームミラー17に映るスクリーン14上の領域14Aにルームミラー17の反射面に視点を置いた画像が投影される。また、スクリーン14上の領域14Bに左ドアミラー18の反射面に視点を置いた画像が投影され、スクリーン14上の領域14Cに右ドアミラー19の反射面に視点を置いた画像が投影される。さらに、その他の領域14Gに運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS114に処理が移行する。   In step S <b> 108, an image with the viewpoint on the reflecting surface of the room mirror 17 is projected onto the area 14 </ b> A on the screen 14 reflected on the room mirror 17. Further, an image with the viewpoint on the reflecting surface of the left door mirror 18 is projected on the area 14B on the screen 14, and an image with the viewpoint on the reflecting surface of the right door mirror 19 is projected on the area 14C on the screen 14. Further, an image with the viewpoint placed on the driver's eyeball position is projected onto the other region 14G. Thereafter, the process proceeds to step S114.

ステップS110では、運転者が振り返って直接後方を見ているか否かについての判断が行われる。ここで、運転者が直接後方を見ていると判断された場合には、ステップS112に処理が移行する。一方、本ステップが否定されたときには、上述したステップS104に処理が移行する。ステップS104での処理内容は上述したとおりであるので、ここでは説明を省略する。   In step S110, a determination is made as to whether the driver is looking back and looking directly behind. Here, if it is determined that the driver is looking directly behind, the process proceeds to step S112. On the other hand, when this step is negative, the process proceeds to step S104 described above. Since the processing content in step S104 is as described above, description thereof is omitted here.

ステップS112では、車両モデル11後方のスクリーン14に運転者の眼球位置に視点を置いた画像が投影される。なお、車両モデル11前方にも運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS114に処理が移行する。   In step S112, an image with the viewpoint placed on the driver's eyeball position is projected onto the screen 14 behind the vehicle model 11. In addition, an image with the viewpoint at the driver's eyeball position is also projected in front of the vehicle model 11. Thereafter, the process proceeds to step S114.

ステップS104、S108またはS112の処理が終了した後、ステップS114では、シミュレーション走行が終了したか否かについての判断が行われる。ここで、シミュレーション走行がまだ終了していないと判断された場合には、ステップS100に処理が移行し、シミュレーション走行が終了したと判断されるまで、上述したステップS100〜S112の処理が繰り返して実行される。一方、シミュレーション走行が終了したと判断されたときには、本処理が終了される。   After the process of step S104, S108, or S112 is completed, in step S114, a determination is made as to whether the simulation travel has been completed. Here, when it is determined that the simulation traveling has not ended yet, the process proceeds to step S100, and the above-described processing of steps S100 to S112 is repeatedly performed until it is determined that the simulation traveling has ended. Is done. On the other hand, when it is determined that the simulation traveling has ended, the present processing is ended.

本実施形態に係るドライビングシミュレータ10によれば、検出された運転者の視線方向に基づいて、運転者がルームミラー17を介して後方を見ていると判断された場合には、ルームミラー17に映るスクリーン14上の領域14Aにルームミラー17の反射面に視点を置いた画像が投影される。一方、運転者が左ドアミラー18または右ドアミラー19を介して後方を見ていると判断された場合には、左ドアミラー18に映るスクリーン14上の領域14Eに左ドアミラー18の反射面に視点を置いた画像が投影され、右ドアミラー19に映るスクリーン14上の領域14Fに右ドアミラー19の反射面に視点を置いた画像が投影される。そのため、運転者がルームミラー17または左右ドアミラー18,19を介して後方を見るときに、現実と同じ見え方を再現することが可能となる。   According to the driving simulator 10 according to the present embodiment, when it is determined that the driver is looking behind the room mirror 17 based on the detected line-of-sight direction of the driver, An image with the viewpoint on the reflecting surface of the room mirror 17 is projected onto the area 14A on the screen 14 to be projected. On the other hand, when it is determined that the driver is looking backward through the left door mirror 18 or the right door mirror 19, the viewpoint is placed on the reflecting surface of the left door mirror 18 in the area 14E on the screen 14 reflected on the left door mirror 18. The projected image is projected, and an image with the viewpoint on the reflecting surface of the right door mirror 19 is projected onto a region 14F on the screen 14 reflected on the right door mirror 19. Therefore, when the driver looks rearward through the room mirror 17 or the left and right door mirrors 18 and 19, it is possible to reproduce the same appearance as in reality.

また、運転者が振り返って直接後方を見ていると判断された場合には、車両モデル11後方のスクリーン14に運転者の眼球位置に視点を置いた画像が投影される。その結果、直接後方を見た場合にも現実と同じ見え方を再現することが可能となる。ここで、ルームミラー17などを介して後方を見る場合と比較して、振り返って後方を目視するときには、顔の向きや視線方向が大きく動くため、その検出を容易に行うことができる。また、一般的に、後方を振り返るには、視線のみを動かす場合よりも時間を要する。そのため、運転者が振り返って直接後方を見ていると判断されたときに、運転者の眼球位置に視点を置いた画像に切り替えることによって、より適切に画像の切り替えを行うことができる。   If it is determined that the driver is looking back and looking directly behind, an image with the viewpoint at the position of the driver's eyeball is projected onto the screen 14 behind the vehicle model 11. As a result, it is possible to reproduce the same appearance as when viewing directly behind. Here, when looking back through the rear view mirror 17 or the like, the direction of the face or the direction of the line of sight moves greatly, so that the detection can be easily performed. In general, looking back requires more time than moving only the line of sight. Therefore, when it is determined that the driver is looking back and looking directly behind, the image can be switched more appropriately by switching to an image with the viewpoint at the eyeball position of the driver.

次に、第2の実施形態として、本発明に係る画像表示装置を、例えばCAVE(Cave Automatic Virtual Environment:登録商標)などの立体視表示システムに適用した場合を例に説明する。   Next, a case where the image display apparatus according to the present invention is applied to a stereoscopic display system such as CAVE (Cave Automatic Virtual Environment: registered trademark) will be described as an example as a second embodiment.

まず、図4および図5を併せて参照して、第2実施形態に係る画像表示装置2が適用された立体視表示システム40の構成について説明する。図4は、立体視表示システム40の主要な構成を示す図である。図5は、立体視表示システム40に適用される画像表示装置2の構成を示すブロック図である。   First, the configuration of a stereoscopic display system 40 to which the image display device 2 according to the second embodiment is applied will be described with reference to FIGS. 4 and 5 together. FIG. 4 is a diagram illustrating a main configuration of the stereoscopic display system 40. FIG. 5 is a block diagram showing a configuration of the image display device 2 applied to the stereoscopic display system 40.

立体視表示システム40は、略直方体の部屋RMを形成する各壁面に設けられた複数(本実施形態では6面)のスクリーン14にCG(computergraphic)映像をプロジェクタ16を用いて投影することによって、仮想現実空間(バーチャルリアリティ)を生成するものである。部屋RMの内部にはミラー41が設けられており、被験者は、実験中に、このミラー41を介して背後を確認することができるように構成されている。   The stereoscopic display system 40 projects CG (computergraphic) images on a plurality of (six in this embodiment) screens 14 provided on each wall surface forming a substantially rectangular parallelepiped room RM by using the projector 16. A virtual reality space (virtual reality) is generated. A mirror 41 is provided inside the room RM, and the subject can check the back via the mirror 41 during the experiment.

画像表示装置2は、回動位置センサ15を備えていない点で、上述した第1実施形態と異なる。また、画像表示装置2を構成する電子制御装置30Bは、アクセルペダル、ブレーキペダルやステアリングホイールなどの操作量を検出するためのセンサやシフトポジションを検出するセンサが接続されていない点で、第1実施形態と異なる。また、本実施形態では、視線方向検出用カメラ20をミラー41に取り付け、被験者がミラー41を見たか否かを検出するように構成することが好ましい。   The image display device 2 is different from the first embodiment described above in that the rotation position sensor 15 is not provided. Further, the electronic control device 30B constituting the image display device 2 is the first in that a sensor for detecting an operation amount of an accelerator pedal, a brake pedal, a steering wheel, or the like or a sensor for detecting a shift position is not connected. Different from the embodiment. In the present embodiment, it is preferable that the gaze direction detection camera 20 is attached to the mirror 41 and configured to detect whether or not the subject has seen the mirror 41.

また、電子制御装置30Bに構築された画像生成部32Bが次の点で第1実施形態と異なる。すなわち、画像生成部32Bでは、被験者の位置や動作状態などに応じた画像情報が読み込まれ、この画像情報からプロジェクタ16用の画像信号が生成される。その際、視線方向演算部31による判断結果、すなわち被験者がミラー41を介して後方を見ているか否かに応じて生成される画像信号が変更される。その結果、部屋RMの内壁面に設置されているスクリーン14に投影される画像が切り替えられる。より具体的には、被験者がミラー41を介して後方を見ていると判断された場合には、ミラー41に映るスクリーン14上の領域14Hにミラー41の反射面に視点を置いた画像が投影されるように画像信号が生成される。また、その他の領域に対して被験者の眼球位置に視点を置いた画像が投影されるように画像信号が生成される。なお、被験者の位置や動作状態は、視線方向検出用カメラ20を流用して検出してもよいし、専用のセンサなどを追加して検出してもよい。   Further, the image generation unit 32B constructed in the electronic control device 30B is different from the first embodiment in the following points. That is, in the image generation unit 32B, image information corresponding to the position and operating state of the subject is read, and an image signal for the projector 16 is generated from this image information. At that time, a determination result by the line-of-sight direction calculation unit 31, that is, an image signal generated depending on whether or not the subject is looking backward through the mirror 41 is changed. As a result, the image projected on the screen 14 installed on the inner wall surface of the room RM is switched. More specifically, when it is determined that the subject is looking behind through the mirror 41, an image with the viewpoint on the reflecting surface of the mirror 41 is projected onto the area 14H on the screen 14 reflected on the mirror 41. As a result, an image signal is generated. In addition, an image signal is generated so that an image with the viewpoint placed at the eyeball position of the subject is projected onto other regions. Note that the position and operation state of the subject may be detected by diverting the gaze direction detection camera 20, or may be detected by adding a dedicated sensor or the like.

その他の構成は、上述した第1実施形態と同一または同様であるので、ここでは説明を省略する。   Other configurations are the same as or similar to those of the first embodiment described above, and thus the description thereof is omitted here.

次に、図6を参照して、画像表示装置2の動作について説明する。図6は、画像表示装置2での投影画像切り替え処理の処理手順を示すフローチャートである。   Next, the operation of the image display device 2 will be described with reference to FIG. FIG. 6 is a flowchart showing the procedure of the projection image switching process in the image display device 2.

ステップS200では、視線方向検出用カメラ20によって取得された運転者の顔部の画像データが読み込まれ、読み込まれた画像データから、運転者の眼球の3次元位置や視線方向が検出される。   In step S200, the image data of the driver's face acquired by the camera 20 for detecting the eye direction is read, and the three-dimensional position and the eye direction of the driver's eyeball are detected from the read image data.

続くステップS202では、ステップS200において検出された視線方向と予め記憶されているミラー41の位置情報とに基づいて、被験者がミラー41を見ているか、または見ている可能性が高いか否かについての判断が行われる。ここで、被験者がミラー41を見ていると判断された場合、または見ている可能性が高いと判断された場合には、ステップS204に処理が移行する。一方、ステップS202が否定されたときには、ステップS206に処理が移行する。   In subsequent step S202, based on the line-of-sight direction detected in step S200 and the position information of the mirror 41 stored in advance, whether or not the subject is looking at the mirror 41 or is likely to be seen. Judgment is made. Here, when it is determined that the subject is looking at the mirror 41 or when it is determined that there is a high possibility that the subject is looking, the process proceeds to step S204. On the other hand, when step S202 is negative, the process proceeds to step S206.

ステップS204では、ミラー41に映るスクリーン14上の領域14Hにミラー41の反射面に視点を置いた画像が投影される。また、その他の領域に運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS208に処理が移行する。   In step S <b> 204, an image with the viewpoint placed on the reflection surface of the mirror 41 is projected onto the area 14 </ b> H on the screen 14 that is reflected on the mirror 41. In addition, an image with the viewpoint at the position of the driver's eyeball is projected onto the other area. Thereafter, the process proceeds to step S208.

被験者がミラー41を見ていない場合や見ている可能性が低い場合には、ステップS206において、スクリーン14のすべての領域に運転者の眼球位置に視点を置いた画像が投影される。その後、ステップS208に処理が移行する。   When the subject does not look at the mirror 41 or when the possibility of viewing is low, an image with the viewpoint placed on the driver's eyeball position is projected on all areas of the screen 14 in step S206. Thereafter, the process proceeds to step S208.

上記ステップS204またはS206の処理が終了した後、ステップS208において、実験が終了したか否かについての判断が行われる。ここで、実験がまだ終了していないと判断された場合には、ステップS200に処理が移行し、実験が終了したと判断されるまで、上述したステップS200〜S206の処理が繰り返して実行される。一方、実験が終了したと判断されたときには、本処理が終了される。   After the process of step S204 or S206 is completed, in step S208, it is determined whether or not the experiment is completed. Here, if it is determined that the experiment has not ended yet, the process proceeds to step S200, and the above-described steps S200 to S206 are repeatedly executed until it is determined that the experiment has ended. . On the other hand, when it is determined that the experiment has ended, the present process is ended.

本実施形態に係る立体視表示システム40によれば、検出された被験者の視線方向に基づいて、被験者がミラー41を介して背後を見ていると判断された場合には、ミラー41に映るスクリーン14上の領域14Hにミラー41の反射面に視点を置いた画像が投影される。そのため、被験者がミラー41を介して背後を見るときに、現実と同じ見え方を再現することが可能となる。   According to the stereoscopic display system 40 according to the present embodiment, when it is determined that the subject is looking through the mirror 41 based on the detected gaze direction of the subject, the screen reflected on the mirror 41 is displayed. 14 is projected on the reflection surface of the mirror 41 in the region 14H on the image 14. Therefore, when the subject looks behind through the mirror 41, the same appearance as in reality can be reproduced.

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。上記実施形態では、本発明に係る画像表示装置をドライビングシミュレータや立体視表示システムに適用したが、本発明を適用することが可能なシステムはドライビングシミュレータや立体視表示システムに限られない。すなわち、映像を表示したときに、利用者が直接その映像を見る場合と、ミラーを介して見る場合とが混在するようなシステムに対して広く適用することができる。   Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made. In the above embodiment, the image display device according to the present invention is applied to a driving simulator or a stereoscopic display system. However, a system to which the present invention can be applied is not limited to a driving simulator or a stereoscopic display system. That is, the present invention can be widely applied to a system in which when a video is displayed, a case where the user directly views the video and a case where the video is viewed through a mirror are mixed.

また、画像を表示する表示手段がプロジェクタに限られないことは言うまでもない。   Needless to say, the display means for displaying the image is not limited to the projector.

第1実施形態に係る画像表示装置が適用されたドライビングシミュレータの主要な構成を示す図である。It is a figure which shows the main structures of the driving simulator to which the image display apparatus which concerns on 1st Embodiment was applied. 第1実施形態に係る画像表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image display apparatus which concerns on 1st Embodiment. 第1実施形態に係る画像表示装置での投影画像切り替え処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the projection image switching process in the image display apparatus which concerns on 1st Embodiment. 第2実施形態に係る画像表示装置が適用された立体視表示システムの主要な構成を示す図である。It is a figure which shows the main structures of the stereoscopic display system to which the image display apparatus which concerns on 2nd Embodiment was applied. 第2実施形態に係る画像表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image display apparatus which concerns on 2nd Embodiment. 第2実施形態に係る画像表示装置での投影画像切り替え処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the projection image switching process in the image display apparatus which concerns on 2nd Embodiment.

符号の説明Explanation of symbols

1,2…画像表示装置、10…ドライビングシミュレータ、11…車両モデル、12…ドーム、13…基盤、14…スクリーン、15…回動位置センサ、16…プロジェクタ、17…ルームミラー、18…左ドアミラー、19…右ドアミラー、20…視線方向検出用カメラ、30,30B…電子制御装置、31…視線方向演算部、32,32B…画像生成部、40…立体視表示システム、41…ミラー。   DESCRIPTION OF SYMBOLS 1, 2 ... Image display apparatus, 10 ... Driving simulator, 11 ... Vehicle model, 12 ... Dome, 13 ... Base, 14 ... Screen, 15 ... Rotation position sensor, 16 ... Projector, 17 ... Room mirror, 18 ... Left door mirror , 19: Right door mirror, 20: Camera for detecting the direction of gaze, 30, 30B: Electronic control unit, 31: Gaze direction calculating unit, 32, 32B: Image generating unit, 40 ... Stereoscopic display system, 41 ... Mirror.

Claims (4)

利用者の周囲に設けられた表示面に画像を表示する表示手段と、
前記利用者が背後を目視するための後方目視ミラーと、
前記利用者の視線方向を検出する視線検出手段と、を備え、
前記表示手段は、前記視線検出手段により検出された前記利用者の視線方向に基づいて、前記利用者が前記後方目視ミラーを介して背後を見ていると判断された場合に、前記後方目視ミラーに映る前記表示面の領域に、前記後方目視ミラーの反射面に視点を置いて作成された画像を表示することを特徴とする画像表示装置。
Display means for displaying an image on a display surface provided around the user;
A rear viewing mirror for the user to view the back;
Gaze detection means for detecting the gaze direction of the user,
The display means, when it is determined that the user is looking through the rear visual mirror based on the user's visual direction detected by the visual line detection means, the rear visual mirror An image display device, wherein an image created by placing a viewpoint on a reflection surface of the rear viewing mirror is displayed in an area of the display surface shown in FIG.
前記表示手段は、スクリーンに画像を投影するプロジェクタであることを特徴とする請求項1に記載の画像表示装置。   The image display apparatus according to claim 1, wherein the display unit is a projector that projects an image on a screen. 複数の後方目視ミラーを備え、
前記表示手段は、検出された前記利用者の視線方向に基づいて、前記利用者がいずれかの後方目視ミラーを介して背後を見ていると判断された場合に、前記利用者が見ている後方目視ミラーに映る前記表示面の領域に、前記利用者が見ている後方目視ミラーの反射面に視点を置いて作成された画像を表示することを特徴とする請求項1または2に記載の画像表示装置。
With multiple rear view mirrors,
The display means is viewed by the user when it is determined that the user is looking behind through any rear view mirror based on the detected line-of-sight direction of the user. The image created by placing the viewpoint on the reflection surface of the rear viewing mirror that the user is viewing is displayed in the area of the display surface that is reflected on the rear viewing mirror. Image display device.
前記表示手段は、検出された前記利用者の視線方向に基づいて、前記利用者が直接後方を見ていると判断された場合に、前記利用者の眼球位置に視点を置いて作成された画像を表示することを特徴とする請求項1〜3のいずれか1項に記載の画像表示装置。
The display means is an image created with a viewpoint at the eyeball position of the user when it is determined that the user is directly looking backward based on the detected line-of-sight direction of the user. The image display device according to claim 1, wherein:
JP2006156126A 2006-06-05 2006-06-05 Image display device Pending JP2007323001A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006156126A JP2007323001A (en) 2006-06-05 2006-06-05 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006156126A JP2007323001A (en) 2006-06-05 2006-06-05 Image display device

Publications (1)

Publication Number Publication Date
JP2007323001A true JP2007323001A (en) 2007-12-13

Family

ID=38855829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006156126A Pending JP2007323001A (en) 2006-06-05 2006-06-05 Image display device

Country Status (1)

Country Link
JP (1) JP2007323001A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013167732A (en) * 2012-02-15 2013-08-29 Japan Radio Co Ltd Display, screen and image conversion apparatus
CN103577683A (en) * 2012-08-02 2014-02-12 哈尼施费格尔技术公司 Depth-related help functions for shovel training simulator
CN104408989A (en) * 2014-11-27 2015-03-11 南京南车浦镇城轨车辆有限责任公司 Rearview mirror simulation method for vehicle driving simulation system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013167732A (en) * 2012-02-15 2013-08-29 Japan Radio Co Ltd Display, screen and image conversion apparatus
CN103577683A (en) * 2012-08-02 2014-02-12 哈尼施费格尔技术公司 Depth-related help functions for shovel training simulator
CN103577683B (en) * 2012-08-02 2018-07-10 哈尼施费格尔技术公司 The depth dependent help function of forklift training simulators
CN104408989A (en) * 2014-11-27 2015-03-11 南京南车浦镇城轨车辆有限责任公司 Rearview mirror simulation method for vehicle driving simulation system
CN104408989B (en) * 2014-11-27 2016-10-12 南京中车浦镇城轨车辆有限责任公司 A kind of rearview mirror emulation mode for vehicle simulation control loop

Similar Documents

Publication Publication Date Title
US7554461B2 (en) Recording medium, parking support apparatus and parking support screen
US9479740B2 (en) Image generating apparatus
JP5035643B2 (en) Image display device
JP4579145B2 (en) Vehicle peripheral image display device
JP5341789B2 (en) Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program
EP1462762A1 (en) Circumstance monitoring device of a vehicle
JP6699370B2 (en) Vehicle image processing device
US20110074916A1 (en) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
CN102804763A (en) Vehicle periphery monitoring device
JP5726201B2 (en) Three-dimensional stereoscopic display device, three-dimensional stereoscopic display control device, and LSI circuit
JP5658507B2 (en) Image display system, image generation apparatus, and image display method
JP3817612B2 (en) Virtual driving system
US11525694B2 (en) Superimposed-image display device and computer program
CN102812704A (en) Vehicle periphery monitoring device
JP5914114B2 (en) Parking assistance device and parking assistance method
JP6084097B2 (en) Image generation apparatus, image display system, and image generation method
US20190100147A1 (en) Parking assistant panoramic image system
JP2012214083A (en) Image generating apparatus, image displaying system, and image generating method
JP2010028803A (en) Image displaying method for parking aid
JP2019054420A (en) Image processing system
JP5825713B2 (en) Dangerous scene reproduction device for vehicles
JP6258000B2 (en) Image display system, image display method, and program
Broll Augmented reality
JP2007323001A (en) Image display device
WO2019131296A1 (en) Head-up display device