JP2020021012A - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP2020021012A JP2020021012A JP2018146514A JP2018146514A JP2020021012A JP 2020021012 A JP2020021012 A JP 2020021012A JP 2018146514 A JP2018146514 A JP 2018146514A JP 2018146514 A JP2018146514 A JP 2018146514A JP 2020021012 A JP2020021012 A JP 2020021012A
- Authority
- JP
- Japan
- Prior art keywords
- gaze
- image processing
- processing device
- image
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、画像処理装置及びプログラムに関する。 The present invention relates to an image processing device and a program.
近年、観察者の網膜に像を投影する網膜投影装置が注目されている。
例えば、特許文献1は、画像処理装置によって生成された像を網膜に投影する眼鏡型ディスプレイを開示している。特許文献1の眼鏡型ディスプレイのユーザは、眼球を動かしても網膜に投影された像を観察することができる。
2. Description of the Related Art In recent years, attention has been focused on a retinal projection device that projects an image on a retina of an observer.
For example, Patent Literature 1 discloses a glasses-type display that projects an image generated by an image processing device onto a retina. The user of the spectacle-type display of Patent Literature 1 can observe the image projected on the retina even when moving the eyeball.
特に、現実空間の像と、画像処理装置によって生成された像と、を同時に観察させるためのシースルー方式を採用する網膜投影装置は、AR(Augmented Reality)やMR(Mixed Reality))への応用が期待されている。 In particular, a retinal projection device that employs a see-through method for simultaneously observing an image of a real space and an image generated by an image processing device is applicable to AR (Augmented Reality) and MR (Mixed Reality). Expected.
一般に、人間は、現実空間を観察するときに、特定の注視点に視線を向ける。そのため、現実空間の像のうち注視点の周辺から離れた位置の像はボケたように見える。 Generally, when observing the real space, a human turns his or her gaze to a specific point of gaze. Therefore, an image at a position distant from the periphery of the gazing point in the image of the real space looks blurred.
しかし、特許文献1では、観察者の注視点を考慮していないので、画像処理装置がブラー処理を実行したとしても、画像処理装置によって生成される像のボケと、観察者が観察する現実空間の像のボケとが一致しない。このボケの差は、観察者の疲労の原因になる。 However, in Patent Literature 1, since the gaze point of the observer is not considered, even if the image processing apparatus executes the blur processing, the blur of the image generated by the image processing apparatus and the real space observed by the observer Does not match the blur of the image. This difference in blur causes observer fatigue.
つまり、従来技術では、シースルー方式を採用する網膜投影装置において、現実空間の像のボケと画像処理装置によって生成された像のボケとの不一致に起因する疲労が大きい。 That is, in the related art, in a retinal projection apparatus that employs a see-through method, fatigue caused by mismatch between a blur of a real space image and a blur of an image generated by an image processing apparatus is large.
本発明の目的は、シースルー方式を採用する網膜投影装置を装着する観察者の疲労を軽減することである。 An object of the present invention is to reduce fatigue of an observer wearing a retinal projection device employing a see-through method.
本発明の一態様は、
観察者の網膜に画像を投影する網膜投影装置と接続された画像処理装置であって、
前記網膜投影装置を装着したユーザが注視している注視点と前記観察者との間の距離を示す注視距離を計算する手段を備え、
3次元データの頂点情報を2次元空間の画素情報に変換する手段を備え、
前記注視距離に基づいて、前記画素情報に対して、前記注視点を含む注視領域と、前記注視領域以外の非注視領域と、を設定する手段を備え、
前記非注視領域の非注視画素の画素情報に対して、ブラー処理を実行する手段を備え、
前記ブラー処理が実行された後の画素情報を前記網膜投影装置に出力する手段を備える、
画像処理装置である。
One embodiment of the present invention provides
An image processing device connected to a retinal projection device that projects an image on a viewer's retina,
A means for calculating a gaze distance indicating a distance between a gazing point at which the user wearing the retinal projection device is gazing and the observer,
Means for converting vertex information of three-dimensional data into pixel information of two-dimensional space;
Based on the gaze distance, for the pixel information, a gaze area including the gaze point, a non-gaze area other than the gaze area, comprising means for setting,
For the pixel information of the non-gaze pixel of the non-gaze region, comprising means for performing a blur process,
Comprising means for outputting pixel information after the blur processing has been performed to the retinal projection device,
An image processing device.
本発明によれば、シースルー方式を採用する網膜投影装置を装着する観察者の疲労を軽減することができる。 ADVANTAGE OF THE INVENTION According to this invention, the fatigue of the observer who wears the retinal projection apparatus which employs a see-through system can be reduced.
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. In the drawings for describing the embodiments, the same components are denoted by the same reference numerals in principle, and the repeated description thereof will be omitted.
以下の説明では、「光透過性」とは、光(特に、光源13(図1)から出射される光)を透過する性質を意味するが、透過度の大小は問わない。 In the following description, “light transmittance” means a property of transmitting light (in particular, light emitted from the light source 13 (FIG. 1)), but the magnitude of the transmittance does not matter.
(1)網膜投影装置の概要
本実施形態の網膜投影装置の概要について説明する。図1は、本実施形態の網膜投影装置の外観を示す図である。図2は、図1の網膜投影装置のユーザビューを示す図である。
(1) Outline of Retina Projection Apparatus An outline of the retina projection apparatus of the present embodiment will be described. FIG. 1 is a diagram illustrating an appearance of a retinal projection device according to the present embodiment. FIG. 2 is a diagram showing a user view of the retinal projection device of FIG.
図1の網膜投影装置10は、観察者U(図2)の網膜に画像を投影するように構成される。
図1に示すように、網膜投影装置10は、フレーム10aと、透過型ミラー11と、接眼ミラー12と、光源13と、光透過プレート14と、を備える。
The retinal projection device 10 of FIG. 1 is configured to project an image on the retina of the observer U (FIG. 2).
As shown in FIG. 1, the retinal projection device 10 includes a frame 10a, a transmission mirror 11, an eyepiece mirror 12, a light source 13, and a light transmission plate 14.
左右のフレーム10a内には、それぞれ、一対の光源13と、一対の透過型ミラー11と、が埋め込まれている。
光透過プレート14は、光透過性を有する材料(例えば、プラスチック又はガラス)である。一対の光透過プレート14内には、それぞれ、接眼ミラー12が埋め込まれている。
A pair of light sources 13 and a pair of transmission mirrors 11 are embedded in the left and right frames 10a, respectively.
The light transmitting plate 14 is a material having light transmitting properties (for example, plastic or glass). The eyepiece mirror 12 is embedded in each of the pair of light transmitting plates 14.
網膜投影装置10の光学系は、光源13と、透過型ミラー11と、接眼ミラー12と、を含む。この光学系によって、光源13の光の像が観察者Uの網膜に投影される。 The optical system of the retinal projection device 10 includes a light source 13, a transmission mirror 11, and an eyepiece mirror 12. With this optical system, an image of light from the light source 13 is projected on the retina of the observer U.
図2に示すように、網膜投影装置10は、画像処理装置30と接続可能である。例えば、画像処理装置30は、3次元画像IMGの画像データを生成し、且つ、当該画像データを網膜投影装置10に送信するように構成されたコンピュータである。光源13は、画像処理装置30から送信された画像に対応する光を出射する。この場合、網膜投影装置10を装着した観察者Uのビュー(以下「観察者ビュー」という)UVには、3次元画像IMGが空中に表示されたように見える。
また、光透過プレート14は、観察者Uの周囲に実在する物理オブジェクトに反射した光を透過するので、観察者Uには、3次元画像IMGと、物理オブジェクトの像と、が重畳して見える。
As shown in FIG. 2, the retinal projection device 10 can be connected to the image processing device 30. For example, the image processing device 30 is a computer configured to generate image data of the three-dimensional image IMG and transmit the image data to the retinal projection device 10. The light source 13 emits light corresponding to the image transmitted from the image processing device 30. In this case, the view (hereinafter referred to as “observer view”) UV of the observer U wearing the retinal projection device 10 looks as if the three-dimensional image IMG is displayed in the air.
Further, since the light transmitting plate 14 transmits light reflected on the physical object existing around the observer U, the observer U sees the three-dimensional image IMG and the image of the physical object in a superimposed manner. .
このように、網膜投影装置10は、空中に投影した3次元画像IMGを観察させる機能(いわゆる空中ディスプレイとしての機能)と、3次元画像IMGと物理オブジェクトの像とを重畳して観察させる機能(いわゆる、ARやMRのためのディスプレイとしての機能)と、を有するシースルー方式を採用する。 As described above, the retinal projection device 10 has a function of observing the three-dimensional image IMG projected in the air (a function as a so-called aerial display) and a function of superimposing and observing the three-dimensional image IMG and the image of the physical object ( (A function as a display for AR and MR).
以下の説明では、図2に示すように、網膜投影装置10を装着したときの観察者Uの頭頂部側Uhtの方向を「上方UP」といい、上方UPに対して反対方向を「下方LO」といい、観察者Uにとって右側方向を「右側方R」といい、観察者にとって左側方向を「左側方HL」といい、観察者にとって前方方向を「前方FR」といい、観察者にとって後方方向を「後方RR」という。 In the following description, as shown in FIG. 2, the direction of the vertex side Uht of the observer U when the retinal projection device 10 is mounted is referred to as “upper UP”, and the direction opposite to the upper UP is referred to as “lower LO”. ”, The right direction to the observer U is referred to as“ right side R ”, the left direction to the observer is referred to as“ left HL ”, the forward direction to the observer is referred to as“ front FR ”, and the observer backward. The direction is referred to as “rear RR”.
(2)網膜投影装置の構成
本実施形態の網膜投影装置の構成について説明する。図3は、図1の網膜投影装置の構成を示す図である。
(2) Configuration of Retina Projection Apparatus The configuration of the retinal projection apparatus of the present embodiment will be described. FIG. 3 is a diagram showing a configuration of the retinal projection device of FIG.
図3に示すように、網膜投影装置10は、画像処理装置30と接続可能である。網膜投影装置10は、透過型ミラー11と、接眼ミラー12と、光源13と、を備える。 As shown in FIG. 3, the retinal projection device 10 can be connected to the image processing device 30. The retinal projection device 10 includes a transmission mirror 11, an eyepiece mirror 12, and a light source 13.
光源13は、放射状に直進する光OP0(例えば、平行光)を出射するように構成される。光源13から出射された光OP0は元画像に対応する。元画像は、網膜投影装置10に接続された画像処理装置30によって生成される。 The light source 13 is configured to emit light OP0 (for example, parallel light) that goes straight in a radial direction. Light OP0 emitted from the light source 13 corresponds to the original image. The original image is generated by the image processing device 30 connected to the retinal projection device 10.
透過型ミラー11は、第1面11aと、第2面と11bと、を有する。
第1面11aは、光源13側の空間(つまり、第2空間SP2)を向いている。
第2面11bは、第1面11aの反対側の空間(つまり、第1空間SP1)を向いている。
The transmission mirror 11 has a first surface 11a, a second surface and 11b.
The first surface 11a faces the space on the light source 13 side (that is, the second space SP2).
The second surface 11b faces a space on the opposite side of the first surface 11a (that is, the first space SP1).
透過型ミラー11は、接眼ミラー12に対して光源13側に配置される。つまり、透過型ミラー11は、網膜投影装置10の光学系において、光源13と接眼ミラー12との間に位置する。
透過型ミラー11は、透過型ミラー11に入射する放射状の入射光OP0を反射させながら、逆放射状に透過させることにより、光の波面を歪ませることなく、透過光OP1を生成するように構成される。透過光OP1は、透過型ミラー11を起点として逆放射状に直進し、透過型ミラー11を対称軸として光源13に対して対象となる位置の焦点FPで集束する。
The transmission mirror 11 is disposed on the light source 13 side with respect to the eyepiece mirror 12. That is, the transmission mirror 11 is located between the light source 13 and the eyepiece mirror 12 in the optical system of the retinal projection device 10.
The transmissive mirror 11 is configured to generate the transmitted light OP1 without distorting the wavefront of light by reflecting the radially incident light OP0 incident on the transmissive mirror 11 and transmitting the reflected light in an inverse radial manner. You. The transmitted light OP <b> 1 travels straight in a reverse radial manner with the transmission mirror 11 as a starting point, and converges at the focus FP at a target position with respect to the light source 13 with the transmission mirror 11 as a symmetric axis.
透過型ミラー11は、例えば、以下のものを含む。
・オプティカルメタマテリアルミラー
・透過型二面コーナーリフレクタアレイミラー(Transmission Type Dihedral Corner Reflector Array Mirror)
The transmission mirror 11 includes, for example, the following.
・ Optical Metamaterial Mirror ・ Transmission Type Dihedral Corner Reflector Array Mirror
接眼ミラー12は、透過型ミラー11に対して観察者Uの眼球UE側に配置される。つまり、接眼ミラー12は、網膜投影装置10の光学系において、透過型ミラー11と眼球UEとの間に位置する。
図3Aに示すように、接眼ミラー12は、透過型ミラー11の透過光を観察者Uに向かって反射させることにより、光源13から出射された光OP0に対応する像を、観察者Uの網膜に投影するように構成される。
換言すると、図3Bに示すように、接眼ミラー12は、透過型ミラー11の透過光を反射させることにより、光源13と等価な仮想光源を空間上の焦点FPに転写するように構成される。
The eyepiece mirror 12 is disposed on the eyeball UE side of the observer U with respect to the transmission mirror 11. That is, the eyepiece mirror 12 is located between the transmission mirror 11 and the eyeball UE in the optical system of the retinal projection device 10.
As shown in FIG. 3A, the eyepiece mirror 12 reflects the light transmitted through the transmission mirror 11 toward the observer U, thereby forming an image corresponding to the light OP0 emitted from the light source 13 on the retina of the observer U. Is configured to be projected onto
In other words, as shown in FIG. 3B, the eyepiece mirror 12 is configured to transfer the virtual light source equivalent to the light source 13 to the focal point FP in space by reflecting the transmitted light of the transmission mirror 11.
画像処理装置30は、画像を生成し、且つ、生成した画像を網膜投影装置10に送信するように構成される。 The image processing device 30 is configured to generate an image and transmit the generated image to the retinal projection device 10.
(2−1)光源の構成
本実施形態の光源の構成を説明する。図4は、図3の光源の一例を示す模式図である。
(2-1) Configuration of Light Source The configuration of the light source of the present embodiment will be described. FIG. 4 is a schematic diagram illustrating an example of the light source of FIG.
図4Aは、光源13の第1例の模式図である。
図4Aに示すように、光源13の第1例は、放射状に直進する光を出射するレーザプロジェクタ131である。
レーザプロジェクタ131は、可視光レーザOP0を出射するように構成される。レーザプロジェクタ131は、例えば、任意の色(例えば、赤色、緑色、及び、青色の少なくとも1色)の可視光レーザOP0を出射する半導体レーザを備える。
レーザプロジェクタ131から出射された可視光レーザOP0は、レーザプロジェクタ131を起点として、放射状に直進する。
FIG. 4A is a schematic diagram of a first example of the light source 13.
As shown in FIG. 4A, a first example of the light source 13 is a laser projector 131 that emits light that goes straight radially.
The laser projector 131 is configured to emit the visible light laser OP0. The laser projector 131 includes, for example, a semiconductor laser that emits a visible light laser OP0 of an arbitrary color (for example, at least one of red, green, and blue).
The visible light laser OP0 emitted from the laser projector 131 travels radially straight from the laser projector 131 as a starting point.
図4Bは、光源13の第2例の模式図である。
図4Bに示すように、光源13の第2例は、ディスプレイ132aと、ピンホール132bと、を備える。
FIG. 4B is a schematic diagram of a second example of the light source 13.
As shown in FIG. 4B, the second example of the light source 13 includes a display 132a and a pinhole 132b.
ディスプレイ132aは、元画像に対応する光を発光するように構成される。ディスプレイ132aは、例えば、以下の何れかである。
・液晶ディスプレイ
・有機EL(Electro Luminescence)ディスプレイである。
The display 132a is configured to emit light corresponding to the original image. The display 132a is, for example, one of the following.
-Liquid crystal display-Organic EL (Electro Luminescence) display.
ディスプレイ132aの光OP0は、ピンホール132bで集束する。
ピンホール132bで集束した光OP0は、ピンホール132bを起点として、放射状に直進する。
Light OP0 of the display 132a is focused on the pinhole 132b.
The light OP0 converged by the pinhole 132b travels radially straight from the pinhole 132b.
図4Cは、光源13の第3例の模式図である。
図4Cに示すように、光源13の第3例は、逆放射状に直進する光を出射するレーザプロジェクタ133である。
レーザプロジェクタ133は、可視光レーザOP0を出射するように構成される。レーザプロジェクタ131は、例えば、任意の色(例えば、赤色、緑色、及び、青色の少なくとも1色)の可視光レーザOP0を出射する半導体レーザを備える。
レーザプロジェクタ133から出射された可視光レーザOP0は、レーザプロジェクタ133を起点として、逆放射状に直進する。
レーザプロジェクタ133は、SLM型であっても良いし、レーザスキャン型であっても良い。
FIG. 4C is a schematic diagram of a third example of the light source 13.
As shown in FIG. 4C, a third example of the light source 13 is a laser projector 133 that emits light that travels straight in a reverse radial manner.
The laser projector 133 is configured to emit the visible light laser OP0. The laser projector 131 includes, for example, a semiconductor laser that emits a visible light laser OP0 of an arbitrary color (for example, at least one of red, green, and blue).
The visible light laser OP0 emitted from the laser projector 133 travels straight in a reverse radial manner starting from the laser projector 133.
The laser projector 133 may be an SLM type or a laser scan type.
このように、光源13は、発光源(例えば、図4Aのレーザプロジェクタ131)が放射状に直進する光を発光するものであっても良いし、発光源(例えば、図4Bのディスプレイ132a)の先に配置された光学素子(例えば、図4Bのピンホール132b)が放射状に直進する光を生成するものであっても良いし、発光源(例えば、図4Cのレーザプロジェクタ133)が逆放射状に直進する光を発光するものであっても良い。 As described above, the light source 13 may be a light source that emits light in which a light emitting source (for example, the laser projector 131 in FIG. 4A) goes straight in a radial direction, or may be a light source (for example, the display 132a in FIG. 4B). (For example, the pinhole 132b in FIG. 4B) may generate light that goes straight in a radial direction, or the light emitting source (for example, the laser projector 133 in FIG. 4C) may go straight in a reverse radial direction. It may emit light that emits light.
(2−2)透過型ミラーの構成
本実施形態の透過型ミラーの構成を説明する。図5は、図3の透過型ミラーの一例である透過型二面コーナーリフレクタアレイミラーの模式図である。
(2-2) Configuration of Transmission Mirror The configuration of the transmission mirror of the present embodiment will be described. FIG. 5 is a schematic diagram of a transmission type two-sided corner reflector array mirror which is an example of the transmission type mirror of FIG.
図5Aは、透過型ミラー11の一例である透過型二面コーナーリフレクタアレイミラーの外観を示している。
図5Aに示すように、透過型ミラー11は、第1面11aを含む第1層11eと、第2面11bを含む第2層11fと、を有する。第1層11e及び第2層11fは、Y方向に積層されている。第1面11aは、第1層11e及び第2層11fの積層方向(Y方向)について、第2面11bと反対方向を向く。
FIG. 5A shows the appearance of a transmission type dihedral corner reflector array mirror which is an example of the transmission type mirror 11.
As shown in FIG. 5A, the transmission mirror 11 has a first layer 11e including a first surface 11a and a second layer 11f including a second surface 11b. The first layer 11e and the second layer 11f are stacked in the Y direction. The first surface 11a faces in a direction opposite to the second surface 11b in the stacking direction (Y direction) of the first layer 11e and the second layer 11f.
図5Bは、図5Aの領域Iの拡大図である。
図5Bに示すように、透過型ミラー11は、複数の第1マイクロミラーシート11haと、複数の第2マイクロミラーシート11hbと、を有する。
FIG. 5B is an enlarged view of a region I in FIG. 5A.
As shown in FIG. 5B, the transmission mirror 11 has a plurality of first micromirror sheets 11ha and a plurality of second micromirror sheets 11hb.
第1層11eの複数の第1マイクロミラーシート11haは、ピッチpでX方向に沿って配列されている。各第1マイクロミラーシート11haの反射面11haaは、第1マイクロミラーシート11haの配列方向(X方向)を向く。
第1層11eに入射した光は、X方向に反射しながら進む。
The plurality of first micromirror sheets 11ha of the first layer 11e are arranged at a pitch p along the X direction. The reflection surface 11haa of each first micromirror sheet 11ha faces in the arrangement direction (X direction) of the first micromirror sheets 11ha.
Light incident on the first layer 11e travels while being reflected in the X direction.
第2層11fの複数の第2マイクロミラーシート11hbは、ピッチpでZ方向に沿って配列されている。各第2マイクロミラーシート11hbの反射面11hbaは、第2マイクロミラーシート11hbの配列方向(Z方向)を向く。
第2層11fに入射した光は、Z方向に反射しながら進む。
The plurality of second micromirror sheets 11hb of the second layer 11f are arranged at a pitch p along the Z direction. The reflection surface 11hba of each second micromirror sheet 11hb faces in the arrangement direction (Z direction) of the second micromirror sheet 11hb.
Light incident on the second layer 11f travels while being reflected in the Z direction.
つまり、透過型ミラー11は、入射光をX方向及びZ方向に反射させながら、Y方向に透過させるように構成される。換言すると、透過型ミラー11は、入射光に対して、X方向及びZ方向に再帰性させ、且つ、Y方向に正反射させる光学素子として機能する。 In other words, the transmission mirror 11 is configured to transmit incident light in the Y direction while reflecting incident light in the X and Z directions. In other words, the transmission mirror 11 functions as an optical element that makes incident light recursive in the X and Z directions and specularly reflects in the Y direction.
接眼ミラー12が透過型二面コーナーリフレクタアレイミラーである場合、接眼ミラー12の構成は、図5の構成と同様である。 When the eyepiece mirror 12 is a transmissive dihedral corner reflector array mirror, the configuration of the eyepiece mirror 12 is the same as the configuration in FIG.
(3)網膜投影装置の動作原理
本実施形態の網膜投影装置の動作原理を説明する。
(3) Operation Principle of Retinal Projection Device The operation principle of the retinal projection device of the present embodiment will be described.
(3−1)透過型ミラーの動作原理
本実施形態の透過型ミラーの動作原理を説明する。図6は、図3の透過型ミラーの動作原理の説明図である。
(3-1) Operation Principle of Transmission Mirror The operation principle of the transmission mirror of the present embodiment will be described. FIG. 6 is an explanatory diagram of the operation principle of the transmission mirror of FIG.
図6に示すように、透過型ミラー11の平面に沿ったXZ平面によって、第1空間SP1と、第2空間SP2と、に分割される。
また、XZ平面と、透過型ミラー11の法線に沿ったY軸と、によって、第1空間SP1及び第2空間SP2は、4つの象限(第1象限Q1〜第4象限Q4)に分割される。
As shown in FIG. 6, the space is divided into a first space SP1 and a second space SP2 by an XZ plane along the plane of the transmission mirror 11.
In addition, the first space SP1 and the second space SP2 are divided into four quadrants (first quadrant Q1 to fourth quadrant Q4) by the XZ plane and the Y axis along the normal line of the transmission mirror 11. You.
第2空間SP2は、第1象限Q1及び第4象限Q4を含む。
第1象限Q1は、入射光OP0が進行する空間(つまり、光源13が配置される空間)である。第1象限Q1は、Y軸(つまり、透過型ミラー11の光軸)を含む。
第4象限Q4は、Y軸に対して第1象限Q1と反対側の空間である。
The second space SP2 includes a first quadrant Q1 and a fourth quadrant Q4.
The first quadrant Q1 is a space where the incident light OP0 travels (that is, a space where the light source 13 is arranged). The first quadrant Q1 includes the Y axis (that is, the optical axis of the transmission mirror 11).
The fourth quadrant Q4 is a space opposite to the first quadrant Q1 with respect to the Y axis.
第1空間SP1は、第2象限Q2及び第3象限Q3を含む。
第2象限Q2は、透過光OP1が進行する空間(つまり、観察者Uの眼球UEを含む空間)である。第2象限Q2は、Y軸(つまり、透過型ミラー11の光軸)を含む。
第3象限Q3は、Y軸に対して第2象限Q2と反対側の空間である。
The first space SP1 includes a second quadrant Q2 and a third quadrant Q3.
The second quadrant Q2 is a space where the transmitted light OP1 travels (that is, a space including the eyeball UE of the observer U). The second quadrant Q2 includes the Y axis (that is, the optical axis of the transmission mirror 11).
The third quadrant Q3 is a space opposite to the second quadrant Q2 with respect to the Y axis.
第1象限Q1及び第2象限Q2は、透過型ミラー11(XZ平面)を基準として互いに反対側に位置し、且つ、透過型ミラー11の法線(Y軸)を基準として同じ側に位置する。 The first quadrant Q1 and the second quadrant Q2 are located on opposite sides with respect to the transmission mirror 11 (XZ plane) and on the same side with reference to the normal (Y axis) of the transmission mirror 11. .
光源13から出射された光が透過型ミラー11に直接入射する場合、光源13は、第1象限Q1に配置される。 When the light emitted from the light source 13 directly enters the transmission mirror 11, the light source 13 is arranged in the first quadrant Q1.
(3−1−1)透過型ミラーの動作原理の第1観点
第1観点では、透過型ミラー11が入射光OP0の進行方向を変えるように構成されるという観点で、透過型ミラー11の動作原理を説明する。図7は、図3の透過型ミラーの動作原理の第1観点の説明図である。
(3-1-1) First Aspect of Operation Principle of Transmission Mirror In the first aspect, the operation of the transmission mirror 11 is considered from the viewpoint that the transmission mirror 11 is configured to change the traveling direction of the incident light OP0. The principle will be described. FIG. 7 is an explanatory diagram of a first viewpoint of the operation principle of the transmission mirror of FIG.
図7に示すように、光源13から出射された光OP0は、透過型ミラー11に向かって拡がり角度θ0で放射状に直進し、第1象限Q1から透過型ミラー11に入射する。 As shown in FIG. 7, the light OP0 emitted from the light source 13 travels radially straight at a spread angle θ0 toward the transmission mirror 11, and enters the transmission mirror 11 from the first quadrant Q1.
透過型ミラー11は、入射光OP0をXZ方向に反射しながらY方向に透過することによって、第2象限Q2に、出射角θ0で逆放射状に直進する透過光OP1を出射する。透過光OP1は、透過型ミラー11を起点として逆放射状に直進し、第2象限Q2内の焦点FPで集束する。 The transmission mirror 11 reflects the incident light OP0 in the XZ direction and transmits it in the Y direction, thereby emitting the transmitted light OP1 that travels straight in the reverse radial direction at the emission angle θ0 to the second quadrant Q2. The transmitted light OP <b> 1 travels straight in a reverse radial direction from the transmission mirror 11 as a starting point, and is focused at a focal point FP in the second quadrant Q <b> 2.
このように、透過型ミラー11は、第1象限Q1から放射状に入射する入射光OP0を、第2象限Q2に逆放射状に進行する透過光OP1に変える光学素子として機能する。 As described above, the transmission mirror 11 functions as an optical element that changes the incident light OP0 radially incident from the first quadrant Q1 to the transmitted light OP1 traveling in the second quadrant Q2 in a reverse radial manner.
透過型ミラー11が透過型二面コーナーリフレクタアレイミラーである場合、焦点FPは、透過型ミラー11に関して、光源13に対して面対称の関係にある。この場合、透過型ミラー11は、光源13に対して面対称の位置に入射光を結像するように構成された面対称結像素子として機能する。 When the transmission mirror 11 is a transmission dihedral corner reflector array mirror, the focal point FP has a plane-symmetric relationship with the light source 13 with respect to the transmission mirror 11. In this case, the transmission mirror 11 functions as a plane-symmetric imaging element configured to form incident light at a plane-symmetric position with respect to the light source 13.
(3−1−2)透過型ミラーの動作原理の第2観点
第2観点では、透過型ミラー11が光源13を転写するように構成されるという観点で、透過型ミラー11の動作原理を説明する。図8は、図3の透過型ミラーの動作原理の第2観点の説明図である。
(3-1-2) Second Perspective of Operation Principle of Transmission Mirror In a second perspective, the operation principle of transmission mirror 11 is described from the viewpoint that transmission mirror 11 is configured to transfer light source 13. I do. FIG. 8 is an explanatory diagram of a second viewpoint of the operation principle of the transmission mirror of FIG.
図8に示すように、光源13から出射された光OP0は、透過型ミラー11に向かって拡がり角θ0で放射状に直進し、第1象限Q1から透過型ミラー11に入射する。 As shown in FIG. 8, the light OP0 emitted from the light source 13 travels radially toward the transmission mirror 11 at a divergence angle θ0, and enters the transmission mirror 11 from the first quadrant Q1.
透過型ミラー11は、入射光OP0をXZ方向に反射しながらY方向に透過することによって、第2象限Q2に、拡がり角θ0で逆放射状に直進する透過光OP1を出射する。透過光OP1は、透過型ミラー11を起点として逆放射状に直進し、第2象限Q2内の焦点FPで集束する。焦点FPで集束した透過光OP1は、光源13の実像を形成する。この現象は、光源13に対応する仮想光源VOSが形成されたことと等価である。 The transmissive mirror 11 transmits the incident light OP0 in the second quadrant Q2 by reflecting the incident light OP0 in the XZ direction and transmitting it in the reverse radial direction at the divergence angle θ0 to the second quadrant Q2. The transmitted light OP <b> 1 travels straight in a reverse radial direction from the transmission mirror 11 as a starting point, and is focused at a focal point FP in the second quadrant Q <b> 2. The transmitted light OP <b> 1 focused at the focal point FP forms a real image of the light source 13. This phenomenon is equivalent to the virtual light source VOS corresponding to the light source 13 being formed.
このように、透過型ミラー11は、第2空間SP2(第1象限Q1)に配置された光源13の実像であり、且つ、光源13と等価な仮想光源VOSを第1空間SP1(第2象限Q2)に転写する光学素子として機能する。 As described above, the transmission mirror 11 is a real image of the light source 13 arranged in the second space SP2 (first quadrant Q1), and transmits the virtual light source VOS equivalent to the light source 13 to the first space SP1 (second quadrant Q1). It functions as an optical element for transferring to Q2).
透過型ミラー11が透過型二面コーナーリフレクタアレイミラーである場合、焦点FPは、透過型ミラー11に関して、光源13に対して面対称の関係にある。この場合、透過型ミラー11は、光源13に対して面対称の位置に仮想光源VOSを転写するように構成された面対称転写素子として機能する。 When the transmission mirror 11 is a transmission dihedral corner reflector array mirror, the focal point FP has a plane-symmetric relationship with the light source 13 with respect to the transmission mirror 11. In this case, the transmission mirror 11 functions as a plane-symmetric transfer element configured to transfer the virtual light source VOS to a plane-symmetric position with respect to the light source 13.
(3−1−3)透過型ミラーの動作原理の第3観点
第3観点では、透過型ミラー11の光学特性の観点で、透過型ミラー11の動作原理を説明する。図9は、図3の透過型ミラーの動作原理の第3観点の説明図である。
(3-1-3) Third Viewpoint of Operation Principle of Transmission Mirror In the third view, the operation principle of transmission mirror 11 will be described from the viewpoint of the optical characteristics of transmission mirror 11. FIG. 9 is an explanatory diagram of a third viewpoint of the operation principle of the transmission mirror of FIG.
図9に示すように、透過型ミラー11は、第1空間SP1と第2空間SP2との間の界面として振る舞う。透過型ミラー11は、光源13の光軸に対して角度α0(0°<α0<360°)を成すように、傾斜している。 As shown in FIG. 9, the transmission mirror 11 acts as an interface between the first space SP1 and the second space SP2. The transmission mirror 11 is inclined so as to form an angle α0 (0 ° <α0 <360 °) with respect to the optical axis of the light source 13.
第2空間SPの第1象限Q1内の光源13から出射された光OP0は、透過型ミラー11に向かって放射状に直進し、第1象限Q1から透過型ミラー11(つまり、第1空間SP1と第2空間SP2の界面)に入射角α0で入射する。 Light OP0 emitted from the light source 13 in the first quadrant Q1 of the second space SP goes straight radially toward the transmission mirror 11, and from the first quadrant Q1 the transmission mirror 11 (that is, the first space SP1). (An interface of the second space SP2) at an incident angle α0.
透過型ミラー11は、入射光OP0をXZ方向に反射しながらY方向に透過することによって、第2象限Q2に透過光OP1を出射する。透過光OP1は、出射角α1(0°<α1<360°)で透過型ミラー11を起点として逆放射状に直進し、第2象限Q2内の
焦点FPで集束する。
なお、透過型ミラー11が透過型二面コーナーリフレクタアレイミラーである場合、α0=α1である。
The transmission mirror 11 emits the transmitted light OP1 to the second quadrant Q2 by transmitting the incident light OP0 in the Y direction while reflecting the incident light OP0 in the XZ direction. The transmitted light OP1 travels straight in a reverse radial manner with the transmission mirror 11 as a starting point at an emission angle α1 (0 ° <α1 <360 °), and converges at a focal point FP in the second quadrant Q2.
When the transmission mirror 11 is a transmission dihedral corner reflector array mirror, α0 = α1.
第1空間SP1の及び第2空間SP2は、何れも、空気で満たされている。したがって、第1空間SP1の物性としての屈折率(つまり、第1空間SP1の実際の屈折率)は、第2空間SP2の物性としての屈折率(つまり、第2空間SP2の実際の屈折率)と等しい。 Both the first space SP1 and the second space SP2 are filled with air. Therefore, the refractive index as the physical property of the first space SP1 (that is, the actual refractive index of the first space SP1) is the refractive index as the physical property of the second space SP2 (that is, the actual refractive index of the second space SP2). Is equal to
しかし、透過型ミラー11は、第1空間SP1と第2空間SP2の界面として振る舞うことにより、第1空間SP1に見かけ上の屈折率n1を付与する。屈折率n1は、スネルの法則により、式1で表される。
・n2・・・第2空間SP2の物性としての屈折率
・α0・・・光OP0の入射角
・α1・・・光OP1の出射角
However, the transmission mirror 11 acts as an interface between the first space SP1 and the second space SP2, thereby giving the first space SP1 an apparent refractive index n1. The refractive index n1 is expressed by Expression 1 according to Snell's law.
透過型ミラー11を透過しない光が第1空間SP1を進行する場合、当該光には、第1空間SP1の物性としての屈折率が作用する。物性としての屈折率は、一般に、正の値である。
一方、透過型ミラー11によって生成された透過光OP1が第1空間SP1を進行する場合、透過光OP1には、見かけ上の屈折率n1が作用する。透過光OP1は、第1象限Q1から透過型ミラー11に入射した入射光OP0が第2象限Q2に向かって屈折した光としてみなすことができるので、見かけ上の屈折率n1は、負の値である。
When light that does not pass through the transmission mirror 11 travels through the first space SP1, the light has a refractive index as a physical property of the first space SP1. The refractive index as a physical property is generally a positive value.
On the other hand, when the transmitted light OP1 generated by the transmission mirror 11 travels in the first space SP1, the apparent refractive index n1 acts on the transmitted light OP1. Since the transmitted light OP1 can be regarded as the light obtained by refracting the incident light OP0 incident on the transmission mirror 11 from the first quadrant Q1 toward the second quadrant Q2, the apparent refractive index n1 is a negative value. is there.
このように、透過型ミラー11は、透過光OP1が進行する第1空間SP1を、負の屈折率n1を有する媒質として振る舞わせる界面として機能するように構成される。 As described above, the transmission mirror 11 is configured to function as an interface that acts as the medium having the negative refractive index n1 in the first space SP1 in which the transmitted light OP1 travels.
透過型ミラー11は、上記動作原理の第1観点〜第3観点の何れかで説明された光学特性を有するので、透過型ミラー11では、波面の歪みは生じない。従って、眼球UEには、波面の歪がない光が入射する。
これにより、網膜投影装置10の光学系に起因する波面の歪みを防ぐことができる。その結果、観察者Uが3次元画像IMGを鮮明に観察可能な領域が拡がる。
Since the transmission mirror 11 has the optical characteristics described in any of the first to third aspects of the operation principle, no distortion of the wavefront occurs in the transmission mirror 11. Accordingly, light having no wavefront distortion enters the eyeball UE.
Thereby, distortion of the wavefront due to the optical system of the retinal projection device 10 can be prevented. As a result, an area where the observer U can clearly observe the three-dimensional image IMG is expanded.
焦点FPが眼球UEの水晶体の中心と合う場合、仮想光源VOSが眼球UEの中に形成される。その結果、網膜と光源13との実質的な距離が極めて短くなる。これにより、網膜投影装置10のサイズを増大させることなく、且つ、波面を歪ませることなく、視野角を拡げることができる。 When the focus FP is centered on the lens of the eye UE, a virtual light source VOS is formed in the eye UE. As a result, the substantial distance between the retina and the light source 13 becomes extremely short. Thus, the viewing angle can be increased without increasing the size of the retinal projection device 10 and without distorting the wavefront.
(4)画像処理
本実施形態の画像処理について説明する。図10は、本実施形態の画像処理のフローチャートである。図11は、図10の注視点の特定の処理の説明図である。図12は、図10の領域設定及びブラー処理の説明図である。
(4) Image Processing Image processing of the present embodiment will be described. FIG. 10 is a flowchart of the image processing according to the present embodiment. FIG. 11 is an explanatory diagram of the specific processing of the point of regard in FIG. FIG. 12 is an explanatory diagram of the area setting and blur processing of FIG.
図10に示すように、画像処理装置30は、注視点の特定(S100)を実行する。 As illustrated in FIG. 10, the image processing device 30 executes the specification of the point of regard (S100).
ステップS100の第1例として、画像処理装置30は、屈折率測定装置と接続される。屈折率測定装置は、網膜投影装置10を装着した観察者の眼球UEの角膜屈折率を測定するように構成される(図11Aを参照)。
画像処理装置30は、屈折率測定装置によって測定された角膜屈折率に基づいて、注視点情報を計算する。注視点情報は、以下の情報を含む。
・眼球UEの位置を基準とする注視点NPの3次元座標(以下「注視座標」という){xnp,ynp,znp}
・眼球UEから注視点NPまでの距離(以下「注視距離」という)fnp
ステップS100の第1例では、注視座標及び注視距離の組合せにより、注視点が特定される。
As a first example of Step S100, the image processing device 30 is connected to a refractive index measurement device. The refractive index measurement device is configured to measure the corneal refractive index of the eyeball UE of the observer wearing the retinal projection device 10 (see FIG. 11A).
The image processing device 30 calculates gazing point information based on the corneal refractive index measured by the refractive index measuring device. The fixation point information includes the following information.
-Three-dimensional coordinates of the gazing point NP based on the position of the eyeball UE (hereinafter referred to as "gazing coordinates") {xnp, ynp, znp}
A distance from the eyeball UE to the gazing point NP (hereinafter referred to as “gazing distance”) fnp
In the first example of step S100, a gaze point is specified by a combination of the gaze coordinates and the gaze distance.
ステップS100の第2例として、画像処理装置30は、深度センサと接続される。深度センサは、網膜投影装置10を装着した観察者の注視方向(図11AのV方向)の深度画像データを取得するように構成される。深度画像データは、深度画像データの画像空間における各画素の深度に関する深度情報D11〜D33(図11B)を含む。
画像処理装置30は、深度センサによって取得された深度画像データの中心画素の深度情報D22を、注視距離fnpとして計算する。
ステップS100の第2例では、注視距離により、注視点が特定される。
As a second example of Step S100, the image processing device 30 is connected to a depth sensor. The depth sensor is configured to acquire depth image data in the gaze direction (the V direction in FIG. 11A) of the observer wearing the retinal projection device 10. The depth image data includes depth information D11 to D33 (FIG. 11B) related to the depth of each pixel in the image space of the depth image data.
The image processing device 30 calculates the depth information D22 of the center pixel of the depth image data acquired by the depth sensor as the gaze distance fnp.
In the second example of step S100, the gazing point is specified by the gazing distance.
ステップS100の第3例として、画像処理装置30は、カメラと接続される。カメラは、網膜投影装置10を装着した観察者の注視方向の画像データを取得するように構成される。
画像処理装置30は、カメラによって取得された画像データの特徴量を抽出する。
画像処理装置30は、抽出した特徴量に基づいて、画像データに含まれる画像オブジェクトのうち、観察者が注視する画像オブジェクト(以下「注視画像オブジェクト」という)を推定する。
画像処理装置30は、注視画像オブジェクトの奥行きの推定値を、注視距離fnpとして計算する。
画像処理装置30は、注視画像オブジェクトの座標を、注視座標{xnp、ynp、znp}として計算する。
ステップS100の第3例では、注視座標及び注視距離の組合せにより、注視点が特定される。
As a third example of Step S100, the image processing device 30 is connected to a camera. The camera is configured to acquire image data in a gaze direction of an observer wearing the retinal projection device 10.
The image processing device 30 extracts a feature amount of the image data acquired by the camera.
The image processing device 30 estimates an image object (hereinafter, referred to as a “gaze image object”) that the observer gazes among image objects included in the image data, based on the extracted feature amount.
The image processing device 30 calculates the estimated value of the depth of the gaze image object as the gaze distance fnp.
The image processing device 30 calculates the coordinates of the gaze image object as the gaze coordinates {xnp, ynp, znp}.
In the third example of step S100, the gaze point is specified by a combination of the gaze coordinates and the gaze distance.
ステップS100の第4例として、画像処理装置30は、複数のアイトラッカと接続される。図11Cに示すように、複数のアイトラッカは、例えば、一対のアイトラッカ(一例として、左目LEYEの視線に関するアイトラック情報を計測するアイトラッカ、及び、右目REYEの視線に関するアイトラック情報を計測するアイトラッカ)である。
画像処理装置30は、複数のアイトラッカによって計測された複数のアイトラック情報に基づいて、複数の視線方向が交わる注視点NPの注視座標{xnp,ynp,znp}及び注視距離fnpを計算する。
ステップS100の第4例では、注視座標及び注視距離の組合せにより、注視点が特定される。
As a fourth example of Step S100, the image processing device 30 is connected to a plurality of eye trackers. As shown in FIG. 11C, the plurality of eye trackers are, for example, a pair of eye trackers (for example, an eye tracker that measures eye track information on the line of sight of the left eye LEEYE and an eye tracker that measures eye track information on the line of sight of the right eye REEYE). is there.
The image processing device 30 calculates the fixation coordinates {xnp, ynp, znp} and the fixation distance fnp of the fixation point NP at which the plurality of gaze directions intersect based on the plurality of eye track information measured by the plurality of eye trackers.
In the fourth example of step S100, the gaze point is specified by the combination of the gaze coordinates and the gaze distance.
ステップS100の後、画像処理装置30は、ラスタライズ(S101)を実行する。
具体的には、画像処理装置30は、画像処理装置30に内蔵されたメモリ、又は、画像処理装置30に接続された装置から3次元データを取得する。3次元データは、例えば、以下の情報を含む。
・3次元空間におけるオブジェクト(以下「3次元オブジェクト」という)の頂点に関する頂点情報を含む。
・頂点を結ぶ線に関する線情報
・3次元オブジェクトの面に関する面情報
画像処理装置30は、3次元オブジェクトの各頂点の頂点情報を画素情報に変換する。
After step S100, the image processing device 30 performs rasterization (S101).
Specifically, the image processing device 30 acquires three-dimensional data from a memory built in the image processing device 30 or a device connected to the image processing device 30. The three-dimensional data includes, for example, the following information.
-Includes vertex information on the vertices of an object (hereinafter referred to as "3D object") in a 3D space.
Line information on a line connecting the vertices Surface information on the surface of the three-dimensional object The image processing device 30 converts the vertex information of each vertex of the three-dimensional object into pixel information.
ステップS101の後、画像処理装置30は、領域設定(S102)を実行する。 After step S101, the image processing device 30 executes region setting (S102).
ステップS102の第1例として、ステップS100の第1例又は第4例が実行された場合、画像処理装置30は、画像空間において、注視座標{xnp,ynp,znp}に対応する注視点画素を決定する。
画像処理装置30は、注視点画素から所定範囲の領域を注視領域として設定し、且つ、注視領域以外の領域を非注視領域として設定する。
As a first example of step S102, when the first example or the fourth example of step S100 is executed, the image processing device 30 sets the fixation point pixel corresponding to the fixation coordinates {xnp, ynp, znp} in the image space. decide.
The image processing device 30 sets an area within a predetermined range from the point of interest pixel as a point of interest, and sets an area other than the point of interest as a non-point of interest.
ステップS102の第2例として、ステップS100の第2例又は第3例が実行された場合、画像処理装置30は、画像空間における中心画素を注視点画素として決定する。
図12Aに示すように、画像処理装置30は、注視点画素から所定範囲の領域を注視領域NAとして設定し、且つ、注視領域以外の領域を非注視領域NNAとして設定する。
When the second example or the third example of step S100 is executed as the second example of step S102, the image processing device 30 determines the center pixel in the image space as the point of interest pixel.
As illustrated in FIG. 12A, the image processing device 30 sets an area within a predetermined range from the gazing point pixel as the gazing area NA, and sets an area other than the gazing area as the non-gazing area NNA.
ステップS102の後、画像処理装置30は、ブラー処理(S103)を実行する。
具体的には、画像処理装置30は、画像空間において、注視点画素と非注視点画素との間の非注視距離を計算する。
画像処理装置30は、注視距離fnp及び非注視距離の組合せに基づいて、ブラーのレベルを示すブラー係数を非注視点画素毎に決定する。
画像処理装置30は、決定したブラー係数を有するブラーフィルタを各非注視点画素の画素情報に適用する。
つまり、画像処理装置30は、非注視領域の画素情報に対して、ブラー処理を実行する。
After step S102, the image processing device 30 executes a blur process (S103).
Specifically, the image processing device 30 calculates the non-gaze distance between the gazing point pixel and the non-gazing point pixel in the image space.
The image processing device 30 determines a blur coefficient indicating a blur level for each non-gaze point pixel based on a combination of the gaze distance fnp and the non-gaze distance.
The image processing device 30 applies a blur filter having the determined blur coefficient to the pixel information of each non-gaze point pixel.
That is, the image processing device 30 performs a blur process on the pixel information of the non-gaze area.
ステップS103の結果、注視距離fnp及び非注視距離の組合せに応じたブラーが施された2次元画像(図12B)が得られる。 As a result of step S103, a two-dimensional image (FIG. 12B) blurred according to the combination of the gaze distance fnp and the non-gaze distance is obtained.
図12Bに示すように、注視点NPに基づく注視領域NAに含まれる画像オブジェクトIMG1には、ブラーフィルタは適用されない。一方、非注視領域NNAに含まれる画像オブジェクトIMG2〜IMG3には、非注視距離に応じたブラーフィルタが適用される。具体的には、画像オブジェクトIMG2の非注視距離は、画像オブジェクトIMG3の非注視距離より短いので、画像オブジェクトIMG2に適用されるブラーフィルタのブラーレベルは、画像オブジェクトIMG3に適用されるブラーフィルタのブラーレベルより低い。 As shown in FIG. 12B, the blur filter is not applied to the image object IMG1 included in the watch area NA based on the watch point NP. On the other hand, a blur filter according to the non-gaze distance is applied to the image objects IMG2 to IMG3 included in the non-gaze area NNA. Specifically, since the non-gaze distance of the image object IMG2 is shorter than the non-gaze distance of the image object IMG3, the blur level of the blur filter applied to the image object IMG2 is the blur level of the blur filter applied to the image object IMG3. Lower than level.
図12Bの画像オブジェクトIMG1は、ステップS102で得られた画像である。
画像オブジェクトIMG2は、ステップS102で得られた画像に相対的に低レベルのブラーフィルタを適用することにより得られた画像である。
画像オブジェクトIMG3は、ステップS102で得られた画像に相対的に高レベルのブラーフィルタを適用することにより得られた画像である。
The image object IMG1 in FIG. 12B is the image obtained in step S102.
The image object IMG2 is an image obtained by applying a relatively low-level blur filter to the image obtained in step S102.
The image object IMG3 is an image obtained by applying a relatively high-level blur filter to the image obtained in step S102.
ステップS103の後、画像処理装置30は、画像データの出力(S104)を実行する。
具体的には、画像処理装置30は、ステップS103で得られた2次元画像の画像データを光源13に出力する。
After step S103, the image processing device 30 outputs image data (S104).
Specifically, the image processing device 30 outputs the image data of the two-dimensional image obtained in step S103 to the light source 13.
光源13は、画像処理装置30から出力された画像データに対応する光を発光する。
その結果、網膜投影装置10を装着した観察者は、ステップS103で得られた2次元画像を観察することができる。
The light source 13 emits light corresponding to the image data output from the image processing device 30.
As a result, the observer wearing the retinal projection device 10 can observe the two-dimensional image obtained in step S103.
本実施形態によれば、ステップS103において、注視距離fnpを考慮したブラー処理が実行される。したがって、網膜投影装置10を装着する観察者は、現実空間の像のボケと、網膜投影装置10によって投影される画像のボケとが略一致する。これにより、観察者の疲労を軽減することができる。 According to the present embodiment, in step S103, blur processing is performed in consideration of the gaze distance fnp. Therefore, for the observer wearing the retinal projection device 10, the blur of the image in the real space substantially matches the blur of the image projected by the retinal projection device 10. Thereby, the fatigue of the observer can be reduced.
また、本実施形態によれば、現実空間の像の奥行きと、網膜投影装置10によって投影される画像の奥行きと、が略一致する。これにより、三次元空間における現実空間の像と画像の位置関係を正確に表現することができる。 In addition, according to the present embodiment, the depth of the image in the real space substantially matches the depth of the image projected by the retinal projection device 10. This makes it possible to accurately represent the positional relationship between the real space image and the image in the three-dimensional space.
(5)変形例
本実施形態の変形例について説明する。変形例は、図10の注視点の特定(S100)に関する変形例である。
(5) Modification A modification of the present embodiment will be described. The modification is a modification relating to the specification of the point of regard (S100) in FIG.
変形例では、ステップS100の第2例において、画像処理装置30は、深度センサ及びアイトラッカと接続される。
アイトラッカは、観察者の視線に関するアイトラック情報を計測するように構成される。
画像処理装置30は、アイトラッカによって計測されたアイトラック情報に基づいて、注視座標{xnp、ynp、znp}を計算する。
In a modified example, in the second example of step S100, the image processing device 30 is connected to a depth sensor and an eye tracker.
The eye tracker is configured to measure eye track information about the line of sight of the observer.
The image processing device 30 calculates the gaze coordinates {xnp, ynp, znp} based on the eye track information measured by the eye tracker.
ステップS101の後、ステップS102の第1例と同様に、画像処理装置30は、注視座標{xnp、ynp、znp}に対応する注視点画素を決定する。 After step S101, similarly to the first example of step S102, the image processing device 30 determines a gazing point pixel corresponding to the gazing coordinates {xnp, ynp, znp}.
変形例によれば、深度センサの計測結果に基づいて注視点を特定する場合において、注視点画素をより高精度に決定することができる。 According to the modification, in the case where the point of interest is specified based on the measurement result of the depth sensor, the point of interest pixel can be determined with higher accuracy.
(6)小括
本実施形態について小括する。
(6) Summary This embodiment will be summarized.
本実施形態の第1態様は、
観察者の網膜に画像を投影する網膜投影装置10と接続された画像処理装置30であって、
網膜投影装置10を装着したユーザが注視している注視点と観察者との間の距離を示す注視距離を計算する手段(例えば、ステップS100の処理を実行するコンピュータ)を備え、
3次元データの頂点情報を2次元空間の画素情報に変換する手段(例えば、ステップS101の処理を実行するコンピュータ)を備え、
注視距離に基づいて、画素情報に対して、注視点を含む注視領域と、注視領域以外の非注視領域と、を設定する手段(例えば、ステップS102の処理を実行するコンピュータ)を備え、
非注視領域の非注視画素の画素情報に対して、ブラー処理を実行する手段(例えば、ステップS103の処理を実行するコンピュータ)を備え、
ブラー処理が実行された後の画素情報を網膜投影装置10に出力する手段(例えば、ステップS104の処理を実行するコンピュータ)を備える、
画像処理装置30である。
A first aspect of the present embodiment is:
An image processing device 30 connected to a retinal projection device 10 that projects an image on a viewer's retina,
Means for calculating a gaze distance indicating a distance between a gaze point watched by a user wearing the retinal projection device 10 and an observer (for example, a computer that executes the process of step S100);
Means for converting vertex information of the three-dimensional data into pixel information of a two-dimensional space (for example, a computer that executes the process of step S101);
Means (for example, a computer that executes the process of step S102) for setting a gaze area including a gaze point and a non-gaze area other than the gaze area with respect to the pixel information based on the gaze distance;
Means for executing a blur process on the pixel information of the non-gaze pixel in the non-gaze region (for example, a computer for executing the process of step S103);
Means for outputting the pixel information after the blur processing has been executed to the retinal projection device 10 (for example, a computer executing the processing of step S104);
An image processing device 30.
第1態様によれば、画素情報の2次元空間において、観察者が注視していない領域の画素に対してブラー処理を実行する。これにより、シースルー方式を採用する網膜投影装置を装着する観察者の疲労を軽減することができる。 According to the first aspect, in the two-dimensional space of the pixel information, the blur processing is performed on the pixels in the area that the observer is not watching. Thereby, the fatigue of the observer wearing the retinal projection device adopting the see-through method can be reduced.
また、第1態様によれば、現実空間の像の奥行きと、網膜投影装置10によって投影される画像の奥行きと、が略一致する。これにより、三次元空間における現実空間の像と画像の位置関係を正確に表現することができる。 Further, according to the first aspect, the depth of the image in the real space substantially matches the depth of the image projected by the retinal projection device 10. This makes it possible to accurately represent the positional relationship between the real space image and the image in the three-dimensional space.
本実施形態の第2態様は、
ブラー処理を実行する手段は、
注視点の注視座標と、非注視領域の各非注視画素の座標と、に基づいて、注視点と各非注視画素との間の非注視距離を計算し、
各非注視画素の画素情報に対して、注視距離及び非注視距離の組合せに応じたブラーレベルのブラー処理を実行する、
画像処理装置30である。
A second aspect of the present embodiment is:
The means for performing blur processing is
The gaze coordinates of the gaze point and the coordinates of each non-gaze pixel in the non-gaze area, based on the calculated gaze distance between the gaze point and each non-gaze pixel,
For the pixel information of each non-gaze pixel, execute blur processing at the blur level according to the combination of the gaze distance and the non-gaze distance,
An image processing device 30.
第2態様によれば、観察者が注視している領域からの距離に応じたブラーレベルのブラー処理を実行する。これにより、シースルー方式を採用する網膜投影装置を装着する観察者の疲労をより軽減することができる。 According to the second aspect, the blur processing at the blur level according to the distance from the area where the observer is gazing is executed. Thereby, the fatigue of the observer wearing the retinal projection device adopting the see-through method can be further reduced.
本実施形態の第3態様は、
計算する手段は、観察者の角膜屈折率に基づいて注視距離と、注視点の注視座標と、を計算し、
設定する手段は、注視座標に基づいて、注視領域及び非注視領域を設定する、
画像処理装置30である。
A third aspect of the present embodiment is:
The calculating means calculates the gaze distance and the gaze coordinates of the gaze point based on the corneal refractive index of the observer,
The setting means sets a gaze area and a non-gaze area based on the gaze coordinates,
An image processing device 30.
第3態様によれば、角膜屈折率に基づいて注視座標が計算される。これにより、注視領域と、観察者が実際に注視している領域との誤差を低減することができる。その結果、シースルー方式を採用する網膜投影装置を装着する観察者の疲労をより軽減することができる。 According to the third aspect, the gaze coordinates are calculated based on the corneal refractive index. Accordingly, it is possible to reduce an error between the gazing region and the region where the observer is actually gazing. As a result, it is possible to further reduce the fatigue of the observer wearing the retinal projection device employing the see-through method.
本実施形態の第4態様は、
計算する手段は、観察者の視界の深度画像データの深度情報に基づいて、注視距離を計算する、
画像処理装置30である。
A fourth aspect of the present embodiment is:
The calculating means calculates the gaze distance based on depth information of the depth image data of the observer's field of view,
An image processing device 30.
第4態様によれば、深度情報に基づいて注視距離が計算される。これにより、比較的安価な深度センサを用いた場合にも、上記の画像処理装置30を実現することができる。 According to the fourth aspect, the gaze distance is calculated based on the depth information. Thus, even when a relatively inexpensive depth sensor is used, the above-described image processing device 30 can be realized.
本実施形態の第5態様は、
計算する手段は、観察者の視界の画像データの特徴量に基づいて、注視距離を計算する、
画像処理装置30である。
A fifth aspect of the present embodiment is:
The calculating means calculates a gaze distance based on a feature amount of the image data of the observer's field of view,
An image processing device 30.
第5態様によれば、比較的安価なイメージセンサを用いた場合にも、上記の画像処理装置30を実現することができる。 According to the fifth aspect, even when a relatively inexpensive image sensor is used, the above-described image processing device 30 can be realized.
本実施形態の第6態様は、
計算する手段は、観察者の視線に関するアイトラック情報に基づいて、注視距離を計算する、
画像処理装置30である。
A sixth aspect of the present embodiment is:
The calculating means calculates the gaze distance based on the eye track information on the line of sight of the observer,
An image processing device 30.
第6態様によれば、アイトラック情報に基づいて、注視距離が計算される。これにより、比較的安価なアイトラッカを用いた場合にも、上記の画像処理装置30を実現することができる。 According to the sixth aspect, the gaze distance is calculated based on the eye track information. Thus, even when a relatively inexpensive eye tracker is used, the above-described image processing device 30 can be realized.
本実施形態の第7態様は、
計算する手段は、アイトラック情報に基づいて、注視点の注視座標を計算し、
設定する手段は、注視座標に基づいて、注視領域及び非注視領域を設定する、
画像処理装置30である。
A seventh aspect of the present embodiment is:
The calculating means calculates gaze coordinates of the gaze point based on the eye track information,
The setting means sets a gaze area and a non-gaze area based on the gaze coordinates,
An image processing device 30.
第7態様によれば、アイトラック情報に基づいて注視座標が計算される。これにより、注視領域と、観察者が実際に注視している領域との誤差を低減することができる。その結果、シースルー方式を採用する網膜投影装置を装着する観察者の疲労をより軽減することができる。 According to the seventh aspect, the gaze coordinates are calculated based on the eye track information. Accordingly, it is possible to reduce an error between the gazing region and the region where the observer is actually gazing. As a result, it is possible to further reduce the fatigue of the observer wearing the retinal projection device employing the see-through method.
本実施形態の第8態様は、
計算する手段は、観察者の両目の視線に関するアイトラック情報に基づいて、注視距離を計算する、
画像処理装置30である。
An eighth aspect of the present embodiment is:
Means for calculating, based on eye track information on the line of sight of the observer's eyes, calculates the gaze distance,
An image processing device 30.
第8態様によれば、両目の視線に基づいて、注視距離が計算される。これにより、注視領域と、観察者が実際に注視している領域との誤差を低減することができる。その結果、シースルー方式を採用する網膜投影装置を装着する観察者の疲労をより軽減することができる。 According to the eighth aspect, the gaze distance is calculated based on the line of sight of both eyes. Accordingly, it is possible to reduce an error between the gazing region and the region where the observer is actually gazing. As a result, it is possible to further reduce the fatigue of the observer wearing the retinal projection device employing the see-through method.
本実施形態の第9態様は、
コンピュータを上記の何れかに記載の各手段として機能させるためのプログラムである。
A ninth aspect of the present embodiment is:
A program for causing a computer to function as each of the above-described units.
(7)その他の変形例
その他の変形例について説明する。
(7) Other Modification Examples Other modification examples will be described.
本実施形態では、光源13の一例として、レーザプロジェクタ131及び133(図4A及び図4C)と、ディスプレイ132a及びピンホール132bの組合せ(図4B)と、を例示した。しかし、光源13は、放射状に直進する光を出力するものであれば、これらに限られるものではない。 In the present embodiment, as an example of the light source 13, the laser projectors 131 and 133 (FIGS. 4A and 4C) and the combination of the display 132a and the pinhole 132b (FIG. 4B) are illustrated. However, the light source 13 is not limited to these as long as it outputs light that travels straight radially.
上記アプリケーションの例では、網膜投影装置10が画像処理装置30と接続される例を示した。本実施形態はこれに限られない。画像処理装置30は、網膜投影装置10に内蔵されてもよい。 In the example of the application, the example in which the retinal projection device 10 is connected to the image processing device 30 has been described. The present embodiment is not limited to this. The image processing device 30 may be built in the retinal projection device 10.
一対の光源13は、視差画像に対応する光OPを出射しても良い。この場合、観察者Uの網膜には、視差画像が投影される。これにより、観察者Uは、光源13から出射される光OP0に対応する画像を立体視することができる。 The pair of light sources 13 may emit light OP corresponding to the parallax image. In this case, a parallax image is projected on the retina of the observer U. Thereby, the observer U can stereoscopically view the image corresponding to the light OP0 emitted from the light source 13.
光源13がレーザプロジェクタ131又は133である場合、レーザプロジェクタは、SLM(Spatial Light Modulator)型であっても良いし、レーザスキャン型であっても良い。 When the light source 13 is a laser projector 131 or 133, the laser projector may be an SLM (Spatial Light Modulator) type or a laser scan type.
本実施形態では、1つの光源13は、1つのレーザプロジェクタ131(図4A)、又は、1つのディスプレイ132a(図4B)を有する例を示した。しかし、本実施形態は、これに限られるものではない。1つの光源13が、複数のレーザプロジェクタ131、又は、複数のディスプレイ132a(つまり、複数の発光素子)を有しても良い。この場合、観察者Uの視野角を拡大することができる。 In the present embodiment, an example has been described in which one light source 13 has one laser projector 131 (FIG. 4A) or one display 132a (FIG. 4B). However, the present embodiment is not limited to this. One light source 13 may include a plurality of laser projectors 131 or a plurality of displays 132a (that is, a plurality of light emitting elements). In this case, the viewing angle of the observer U can be enlarged.
本実施形態では、図7に示すように、透過型ミラー11は、透過型ミラー11に関して、入射光OP0に対して面対称となる位置の焦点FPに透過光OP1を結像させる例を示した。しかし、本実施形態の透過型ミラー11は、これに限られるものではない。透過型ミラー11は、第2象限Q2(透過型ミラー11の光軸を含む)のうち、透過型ミラー11に関して面対称ではない位置の焦点FPに透過光OP1を結像させてもよい。 In the present embodiment, as shown in FIG. 7, an example has been shown in which the transmission mirror 11 forms an image of the transmission light OP1 on the focal point FP at a position that is plane-symmetric with respect to the incident light OP0 with respect to the transmission mirror 11. . However, the transmission mirror 11 of the present embodiment is not limited to this. The transmission mirror 11 may form an image of the transmission light OP1 on the focal point FP of the second quadrant Q2 (including the optical axis of the transmission mirror 11) that is not plane-symmetric with respect to the transmission mirror 11.
本実施形態では、網膜投影装置10の原理として、第1観点〜第3観点に基づいて説明した。しかし、本実施形態の網膜投影装置10の原理はこれに限られるものではない。例えば、網膜投影装置10は、透過型ミラー11に代えて、ルーフミラーアレイを備えてもよい。
一例として、図6の第1象限Q1に光源13が配置された場合、入射光OP0は、第4象限Q4に反射する。このように、ルーフミラーアレイは、第1象限Q1から放射状に入射する入射光OP0を、第4象限Q4に逆放射状に再帰性反射させる光学素子として機能する。
In the present embodiment, the principle of the retinal projection device 10 has been described based on the first to third viewpoints. However, the principle of the retinal projection device 10 of the present embodiment is not limited to this. For example, the retinal projection device 10 may include a roof mirror array instead of the transmission mirror 11.
As an example, when the light source 13 is arranged in the first quadrant Q1 of FIG. 6, the incident light OP0 is reflected in the fourth quadrant Q4. As described above, the roof mirror array functions as an optical element that retroreflects the incident light OP0 radially incident from the first quadrant Q1 back to the fourth quadrant Q4.
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。 As mentioned above, although embodiment of this invention was described in detail, the scope of this invention is not limited to said embodiment. Further, the above-described embodiment can be variously improved or changed without departing from the gist of the present invention. Further, the above embodiments and modified examples can be combined.
10 :網膜投影装置
10a :フレーム
11 :透過型ミラー
12 :接眼ミラー
13 :光源
14 :光透過プレート
30 :コンピュータ30画像処理装置
30 :画像処理装置
131 :レーザプロジェクタ
132a :ディスプレイ
132b :ピンホール
133 :レーザプロジェクタ
10: Retinal projection device 10a: Frame 11: Transmission mirror 12: Eyepiece mirror 13: Light source 14: Light transmission plate 30: Computer 30 Image processing device 30: Image processing device 131: Laser projector 132a: Display 132b: Pinhole 133: Laser projector
Claims (9)
前記網膜投影装置を装着したユーザが注視している注視点と前記観察者との間の距離を示す注視距離を計算する手段を備え、
3次元データの頂点情報を2次元空間の画素情報に変換する手段を備え、
前記注視距離に基づいて、前記画素情報に対して、前記注視点を含む注視領域と、前記注視領域以外の非注視領域と、を設定する手段を備え、
前記非注視領域の非注視画素の画素情報に対して、ブラー処理を実行する手段を備え、
前記ブラー処理が実行された後の画素情報を前記網膜投影装置に出力する手段を備える、
画像処理装置。 An image processing device connected to a retinal projection device that projects an image on a viewer's retina,
A means for calculating a gaze distance indicating a distance between a gazing point at which the user wearing the retinal projection device is gazing and the observer,
Means for converting vertex information of three-dimensional data into pixel information of two-dimensional space;
Based on the gaze distance, for the pixel information, a gaze area including the gaze point, a non-gaze area other than the gaze area, comprising means for setting,
For the pixel information of the non-gaze pixel of the non-gaze region, comprising means for performing a blur process,
Comprising means for outputting pixel information after the blur processing has been performed to the retinal projection device,
Image processing device.
前記注視点の注視座標と、前記非注視領域の各非注視画素の座標と、に基づいて、前記注視点と各非注視画素との間の非注視距離を計算し、
各非注視画素の画素情報に対して、前記注視距離及び前記非注視距離の組合せに応じたブラーレベルのブラー処理を実行する、
請求項1に記載の画像処理装置。 The means for performing the blur processing includes:
The gaze coordinates of the gaze point and the coordinates of each non-gaze pixel in the non-gaze area, based on the non-gaze distance between the gaze point and each non-gaze pixel,
For the pixel information of each non-gaze pixel, execute blur processing of a blur level according to the combination of the gaze distance and the non-gaze distance,
The image processing device according to claim 1.
前記設定する手段は、前記注視座標に基づいて、前記注視領域及び前記非注視領域を設定する、
請求項1又は2に記載の画像処理装置。 The calculating means calculates the gazing distance based on the corneal refractive index of the observer, and gazing coordinates of the gazing point,
The setting means sets the gaze area and the non-gaze area based on the gaze coordinates,
The image processing device according to claim 1.
請求項1〜3の何れかに記載の画像処理装置。 The calculating means calculates the gaze distance based on depth information of depth image data of the observer's field of view,
The image processing device according to claim 1.
請求項1〜4の何れかに記載の画像処理装置。 The calculating means calculates the gaze distance based on a feature amount of image data of the field of view of the observer,
The image processing device according to claim 1.
請求項5に記載の画像処理装置。 The calculating means calculates the gaze distance based on eye track information on the line of sight of the observer,
The image processing device according to claim 5.
前記設定する手段は、前記注視座標に基づいて、前記注視領域及び前記非注視領域を設定する、
請求項6に記載の画像処理装置。 The calculating means calculates gaze coordinates of the gaze point based on the eye track information,
The setting means sets the gaze area and the non-gaze area based on the gaze coordinates,
The image processing device according to claim 6.
請求項1〜7の何れかに記載の画像処理装置。 The calculating means calculates the gaze distance based on eye track information on the line of sight of the observer's eyes,
The image processing device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018146514A JP2020021012A (en) | 2018-08-03 | 2018-08-03 | Image processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018146514A JP2020021012A (en) | 2018-08-03 | 2018-08-03 | Image processing apparatus and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020021012A true JP2020021012A (en) | 2020-02-06 |
Family
ID=69587524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018146514A Pending JP2020021012A (en) | 2018-08-03 | 2018-08-03 | Image processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020021012A (en) |
-
2018
- 2018-08-03 JP JP2018146514A patent/JP2020021012A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11614631B1 (en) | Adaptive viewports for a hyperfocal viewport (HVP) display | |
CN107407817B (en) | Display device with total internal reflection | |
US20180084232A1 (en) | Optical See-Through Head Worn Display | |
US20170353714A1 (en) | Self-calibrating display system | |
EP3485632B1 (en) | Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization | |
US10838209B2 (en) | Head mounted imaging apparatus with curved lenslet array | |
US20150312558A1 (en) | Stereoscopic rendering to eye positions | |
CN110914786A (en) | Method and system for registration between an external scene and a virtual image | |
CN107076984A (en) | Virtual image maker | |
US10602033B2 (en) | Display apparatus and method using image renderers and optical combiners | |
CN109803133B (en) | Image processing method and device and display device | |
CN110187506B (en) | Optical display system and augmented reality device | |
US20220311992A1 (en) | System and method for displaying an object with depths | |
JP2022547579A (en) | Optical see-through head-mounted display with eye-matching occlusion | |
WO2020123526A1 (en) | Optical system for ar headsets, and method for design and manufacturing | |
JP2021028724A (en) | Projection apparatus and projection method | |
CN107884934B (en) | Head-mounted display device and control method thereof | |
JP2020021012A (en) | Image processing apparatus and program | |
WO2022111668A1 (en) | Virtual-reality fusion display device | |
EP4345531A1 (en) | Eye tracking system with in-plane illumination | |
Jia | Varifocal Occlusion for Optical See-through Head-Mounted Display Using Varifocal Element | |
CN109963141B (en) | Visual display system and method and head-mounted display device | |
Hua et al. | Variable Focus Element (VFE) Based Lightfield Occlusion Design | |
TW202338443A (en) | Hybrid waveguide to maximize coverage in field of view (fov) |