JP2014071546A - Tactile illusion presenting apparatus and tactile illusion presenting program - Google Patents

Tactile illusion presenting apparatus and tactile illusion presenting program Download PDF

Info

Publication number
JP2014071546A
JP2014071546A JP2012215303A JP2012215303A JP2014071546A JP 2014071546 A JP2014071546 A JP 2014071546A JP 2012215303 A JP2012215303 A JP 2012215303A JP 2012215303 A JP2012215303 A JP 2012215303A JP 2014071546 A JP2014071546 A JP 2014071546A
Authority
JP
Japan
Prior art keywords
virtual object
user
illusion
tactile
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012215303A
Other languages
Japanese (ja)
Inventor
Takashi Kawai
隆史 河合
Hiroshi Morikawa
浩志 盛川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Original Assignee
Waseda University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University filed Critical Waseda University
Priority to JP2012215303A priority Critical patent/JP2014071546A/en
Publication of JP2014071546A publication Critical patent/JP2014071546A/en
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a tactile illusion presenting apparatus and a tactile illusion presenting program that can cause a user to have an illusion of tactile stimulus based on a virtual object three-dimensionally displayed in a real space.SOLUTION: A see-through type HMD apparatus 1, utilizing a parallax between two eyes, three-dimensionally displays a three-dimensionally shaped translucent virtual object 8 in a real space in which a user U is present, thereby causes the user U to have illusionary perception as if the virtual object 8 existed on his or her two hands H in the real space, and further causes the user U to have illusionary perception of moving of the virtual object 8 along the two hands H while keeping the state of being close to the two hands H of the user U. In this way, the see-through type HMD apparatus 1 can give the user U an illusion of receiving tactile stimulus, based on a visual illusion, from the virtual object 8 though no such stimulus is really received.

Description

本発明は触錯覚呈示装置および触錯覚呈示プログラムに関する。   The present invention relates to a tactile illusion presentation device and a tactile illusion presentation program.

近年、ユーザの頭部に装着する支持部に画像表示部が設けられ、当該ユーザに対して所定の映像を視認させるヘッドマウントディスプレイ(Head Mounted Display:以下、HMDと呼ぶ)装置が知られている。また、この種のHMD装置としては、ユーザに対してユーザが存する現実空間を視認させつつ、画像表示手段によって所定の画像を仮想物体として現実空間に立体表示させ、仮想物体が現実空間にあたかも存在しているかのような錯覚をユーザに対して与えるシースルー型HMD装置も開発されている(例えば、特許文献1参照)。   2. Description of the Related Art In recent years, a head mounted display (hereinafter referred to as “HMD”) device is known in which an image display unit is provided on a support unit mounted on a user's head, and the user can visually recognize a predetermined image. . In addition, this type of HMD device allows a user to visually recognize a real space in which the user exists, and to display a predetermined image as a virtual object in three dimensions in the real space by the image display means, so that the virtual object exists in the real space. A see-through type HMD device has also been developed that gives the user the illusion that he is doing (see, for example, Patent Document 1).

特開2005−221888号公報JP-A-2005-221888

しかしながら、この種のシースルー型HMD装置の研究としては、仮想物体に対するユーザの身体動作を基に、描画や操作命令等の入力操作を行うような技術の開発が進められているものの、仮想物体を利用した触感覚呈示に関する研究例についてはまだ少ない。   However, as a research on this type of see-through HMD device, although the development of technology that performs input operations such as drawing and operation commands based on the user's physical movements on the virtual object, There are still few studies on the tactile sensation used.

そこで、本発明は以上の点を考慮してなされたもので、現実空間に立体表示させた仮想物体に基づきユーザに対し触覚刺激を錯覚させ得る触錯覚呈示装置および触錯覚呈示プログラムを提案することを目的とする。   Therefore, the present invention has been made in consideration of the above points, and proposes a tactile illusion presentation device and a tactile illusion presentation program capable of causing a user to have an illusion of tactile stimulation based on a virtual object stereoscopically displayed in a real space. With the goal.

本発明の請求項1における触錯覚呈示装置および請求項5の触錯覚呈示プログラムでは、半透明および/または輪郭をぼかした、立体的形状でなる仮想物体を、両眼視差を利用してユーザが存する現実空間に立体表示し、前記仮想物体を前記ユーザの身体部位に重畳させて前記仮想物体が前記ユーザの身体部位に近接したまま該身体部位に沿って移動しているかのような状態を前記ユーザに視認させることで、実際には与えられていない該仮想物体からの触覚刺激を知覚しているかのような錯覚を該ユーザに与えることを特徴とする。   In the tactile illusion presentation device according to the first aspect of the present invention and the tactile illusion presentation program according to the fifth aspect of the present invention, the user uses a binocular parallax to convert a virtual object having a three-dimensional shape, translucent and / or blurred in outline. 3D display in the existing real space, the virtual object is superimposed on the body part of the user, and the state as if the virtual object is moving along the body part is close to the body part of the user By visually recognizing the user, the user is given an illusion that a tactile stimulus from the virtual object that is not actually given is perceived.

本発明によれば、仮想物体がユーザの身体部位に近接したまま身体部位に沿って移動しているかのような状態をユーザに視認させることで、視覚的な錯覚を基に、現実空間に立体表示させた仮想物体に基づきユーザに対し触覚刺激を錯覚させ得る触錯覚呈示装置および触錯覚呈示プログラムを実現し得る。   According to the present invention, by allowing the user to visually recognize a state in which a virtual object is moving along a body part while being close to the body part of the user, a three-dimensional image is created in the real space based on the visual illusion. A tactile sensation presentation apparatus and a tactile sensation presentation program that can cause a user to have an illusion of tactile stimulation based on the displayed virtual object can be realized.

本発明によるシースルー型HMD装置の回路構成を示すブロック図である。It is a block diagram which shows the circuit structure of the see-through type HMD apparatus by this invention. ユーザが存する現実空間に立体表示された仮想物体の構成を示す概略図である。It is the schematic which shows the structure of the virtual object displayed in three dimensions in the real space where a user exists. ユーザが両掌に仮想物体を位置合わせしたときの様子を示す概略図である。It is the schematic which shows a mode when a user aligns a virtual object with both palms. ユーザの視点から見て、仮想物体を両掌に近接するように位置合わせしたときの様子を示す写真である。It is a photograph which shows a mode when it aligns so that a virtual object may adjoin to both palms seeing from a user's viewpoint. ユーザ自ら頭部を左右に振ることで、仮想物体が掌上で移動しているかのように見せるときの説明に供する概略図である。It is a schematic diagram for explanation when a user himself / herself swings his / her head to show a virtual object as if it is moving on a palm. 掌の移動に合わせて仮想物体が追従するときの様子を示す概略図である。It is the schematic which shows a mode when a virtual object follows according to movement of a palm. 実施例1、実施例2、比較例1および比較例2の各条件をまとめた表である。3 is a table summarizing conditions of Example 1, Example 2, Comparative Example 1 and Comparative Example 2. 実施例2における輪郭をぼかした仮想物体を示す写真である。6 is a photograph showing a virtual object with a blurred outline in Example 2. FIG. 実施例1、実施例2、比較例1および比較例2の各条件での心理尺度上での座標を示す概略図と、それをまとめた表である。2 is a schematic diagram showing coordinates on a psychological scale under each condition of Example 1, Example 2, Comparative Example 1 and Comparative Example 2, and a table summarizing the coordinates. 検証試験で用いた仮想物体の左眼用画像と右眼用画像を示す概略図である。It is the schematic which shows the image for left eyes and the image for right eyes of the virtual object used by the verification test. 検証試験において用いた仮想物体に対する評定点をまとめたグラフである。It is the graph which put together the rating point with respect to the virtual object used in the verification test. 検証試験における各運動条件に対する評定点をまとめたグラフである。It is the graph which put together the rating point with respect to each exercise condition in a verification test. 検証試験における仮想物体条件および運動条件と、それに対する被験者の自由回答をまとめた表である。It is the table | surface which put together the virtual object condition and movement condition in a verification test, and the test subject's free answer with respect to it.

以下図面に基づいて本発明の実施の形態を詳述する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(1)本発明のシースルー型HMD装置について
図1において、1は本発明の触錯覚呈示装置としてのシースルー型HMD装置を示し、ユーザの頭部に装着可能なHMD部2aと、このHMD部2aに接続された制御ボックス2bとを備えている。制御ボックス2bは、図示しないCPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)等からなるマイクロコンピュータ構成の制御部3と、電源ボタンなどの各種ボタンからなる操作部4と、外部インターフェイス5と、記憶部6とがバスBを介して相互に接続された構成を有し、外部インターフェイス5を介してHMD部2aが接続されている。
(1) About the see-through type HMD device of the present invention In FIG. 1, reference numeral 1 denotes a see-through type HMD device as a tactile illusion presenting device of the present invention, an HMD unit 2a that can be mounted on the user's head, and this HMD unit 2a And a control box 2b connected to the. The control box 2b includes a control unit 3 having a microcomputer configuration including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and an operation unit 4 including various buttons such as a power button. The external interface 5 and the storage unit 6 are connected to each other via a bus B, and the HMD unit 2a is connected to the external interface 5 via the external interface 5.

制御部3は、ROMに予め格納されている触錯覚呈示プログラムをRAMにロードして立ち上げることにより、シースルー型HMD装置1における各種機能を統括的に制御して触錯覚呈示処理を実行し、HMD部2aに設けた画像表示部7によって、所定画像を仮想物体としてユーザが存する現実空間に立体表示し得るようになされている。   The control unit 3 loads the tactile illusion presentation program stored in the ROM in advance into the RAM and starts it up, thereby controlling the various functions in the see-through type HMD device 1 and executing the tactile illusion presentation process. The image display unit 7 provided in the HMD unit 2a can display a predetermined image as a virtual object in a real space where the user exists.

実際上、制御部3は、触錯覚呈示処理の実行命令が操作部4を介して与えられると、記憶部6に予め記憶された左眼用画像データと右眼用画像データとを読み出し、これら左眼用画像データおよび右眼用画像データを、外部インターフェイス5を介してHMD部2aの画像表示部7に送出し得る。ここで、HMD部2aは、ユーザの頭部に装着された際、画像表示部7がユーザの右眼および左眼に位置決めされ得るものの、当該画像表示部7が右眼および左眼に位置決めされてもユーザに対して現実空間の外界像をそのまま視認させ得るようになされている。   In practice, when the execution command for the tactile sensation presentation process is given via the operation unit 4, the control unit 3 reads the left-eye image data and the right-eye image data stored in advance in the storage unit 6, The image data for the left eye and the image data for the right eye can be sent to the image display unit 7 of the HMD unit 2a via the external interface 5. Here, when the HMD unit 2a is mounted on the user's head, the image display unit 7 can be positioned on the right and left eyes of the user, but the image display unit 7 is positioned on the right and left eyes. However, the user can visually recognize the external image of the real space as it is.

この場合、画像表示部7は、左眼用画像データに基づいて生成した左眼用画像を、左眼に対向配置させた左眼側表示面に表示させるとともに、右眼用画像データに基づいて生成した右眼用画像を、右眼に対向配置させた右眼側表示面に表示させ、左眼および右眼にそれぞれ異なる画像を同時に呈示し得るようになされている。画像表示部7は、左眼用画像と右眼用画像とによって生じる両眼視差により、図2に示すような仮想物体8をユーザが存する現実空間に立体表示し得る。   In this case, the image display unit 7 displays the left-eye image generated based on the left-eye image data on the left-eye display surface that is arranged to face the left eye, and based on the right-eye image data. The generated right-eye image is displayed on the right-eye display surface that is disposed to face the right eye, and different images can be simultaneously presented to the left eye and the right eye. The image display unit 7 can stereoscopically display the virtual object 8 as shown in FIG. 2 in the real space where the user exists by binocular parallax generated by the left-eye image and the right-eye image.

これにより、画像表示部7は、ユーザが存する現実空間に、画像により生成した仮想物体8が実際に存在し、当該仮想物体8がユーザの眼前でまるで浮かんでいるかのような錯覚をユーザに対して与え得る。   Thus, the image display unit 7 gives the user the illusion that the virtual object 8 generated by the image actually exists in the real space where the user exists, and that the virtual object 8 is floating in front of the user's eyes. Can be given.

ここで、この実施の形態の場合、仮想物体8は、半透明な球体からなり、後方の背景をそのまま透過してユーザに視認させ得るようになされている。また、仮想物体8は、その表面に濃淡パターンによって凹凸を表す影が付され、現実空間において奥行き感のある立体的な構造体としてユーザに視認させ得るようになされている。   Here, in the case of this embodiment, the virtual object 8 is formed of a semi-transparent sphere so that the user can visually recognize the back background as it is. In addition, the virtual object 8 is provided with a shadow representing unevenness on the surface by a shading pattern so that the user can visually recognize it as a three-dimensional structure having a sense of depth in the real space.

なお、この実施の形態の場合では、図3に示すように、ユーザUがHMD部2aを頭部に装着して仮想物体8を視認した際、ユーザUから約300[mm]離れた位置に直径40[mm]の球状でなる仮想物体8があたかも存在しているかのように表示位置が調整されている。これにより画像表示部7は、ユーザUが手を前方に延ばすことで、ユーザUの両掌Hに仮想物体8が近接するように位置合わせすることができ、まるで仮想物体8を両掌Hに載せているかのような錯覚をユーザUに与えることができる。   In the case of this embodiment, as shown in FIG. 3, when the user U wears the HMD part 2a on the head and visually recognizes the virtual object 8, the user U is at a position about 300 [mm] away from the user U. The display position is adjusted as if a spherical virtual object 8 having a diameter of 40 [mm] exists. Thus, the image display unit 7 can align the virtual object 8 so that the virtual object 8 is close to both palms H of the user U by extending the hand forward of the user U. An illusion as if it is placed can be given to the user U.

なお、上述した実施の形態においては、ユーザUから約300[mm]離れた位置に仮想物体8を立体表示させるようにした場合について述べたが、本発明はこれに限らず、ユーザUがHMD部2aを介して仮想物体8を視認した際にユーザUの掌H上に仮想物体8が位置合わせ可能な距離L以内なら種々の位置に仮想物体8を立体表示させても良い。   In the embodiment described above, the case where the virtual object 8 is stereoscopically displayed at a position approximately 300 [mm] away from the user U has been described. However, the present invention is not limited to this, and the user U performs the HMD. When the virtual object 8 is visually recognized via the unit 2a, the virtual object 8 may be stereoscopically displayed at various positions within a distance L that allows the virtual object 8 to be aligned on the palm H of the user U.

図4に示すように、ユーザUは例えば掌Hの小指球側面同士および小指側面同士を接触させて両掌Hで載置領域を形成し、この両掌H上に仮想物体8を位置合わせさせ得る。この際、仮想物体8は、半透明に形成されていることから、仮想物体8の後方にある身体部位(この場合、指)をそのままユーザに対し視認させ得るようになされている。   As shown in FIG. 4, for example, the user U forms a placement area with both palms H by bringing the little finger ball sides and little finger sides of the palm H into contact with each other, and aligns the virtual object 8 on both palms H. obtain. At this time, since the virtual object 8 is formed to be translucent, the body part (in this case, a finger) behind the virtual object 8 can be directly viewed by the user.

このように、仮想物体8は、後方の背景が透過してユーザUにそのまま視認させることで、仮想物体8の質量が小さいことをユーザUにイメージさせ、仮想物体8が掌Hに触れたとしても微弱な触覚刺激しか生じないであろうというイメージをユーザUに与え得る。   In this way, the virtual object 8 allows the user U to perceive the background behind and allows the user U to visually recognize the mass of the virtual object 8 as being small, and the virtual object 8 touches the palm H. The user U can be given an image that only a weak tactile stimulus will occur.

また、これに加えて、この実施の形態の場合、制御部3は、図4に示したように、左右方向において所定範囲内で周期的に往復移動する仮想物体8を、画像表示部7によって現実空間に立体表示させ得るようになされており、ユーザUの両掌Hが仮想物体8直下に位置合わせされると、ユーザUの両掌Hに近接したまま両掌Hに沿って仮想物体8があたかも動いているかのような錯覚を与えるようになされている。   In addition to this, in the case of this embodiment, as shown in FIG. 4, the control unit 3 causes the image display unit 7 to move the virtual object 8 that periodically reciprocates within a predetermined range in the left-right direction. When the user U's palms H are aligned directly below the virtual object 8, the virtual object 8 is moved along the palms H while remaining close to the palms H of the user U. It is designed to give the illusion that it is moving.

かくして、画像表示部7は、まるで仮想物体8自体が持つ何らかのエネルギーによってユーザUの掌Hに近接した位置で浮遊しているかのような状態をユーザUに視認させるとともに、仮想物体8自体が何らかの意思を持ってユーザUの掌H上を移動しているかのような状態をユーザUに視認させ得る。   Thus, the image display unit 7 allows the user U to visually recognize a state that is floating near the palm H of the user U by some energy of the virtual object 8 itself, and the virtual object 8 itself is The user U can visually recognize the state as if he / she is moving on the palm H of the user U with intention.

画像表示部7は、このような視覚的な錯覚をユーザUに与え続けることで、仮想物体8の動きに合わせて、仮想物体8から発生しているだろう何らかのエネルギーを、まるで掌Hで感じているかのような触覚的な錯覚をユーザUに対して与え得るようになされている。   The image display unit 7 keeps giving such a visual illusion to the user U, and feels some energy generated from the virtual object 8 with the palm H in accordance with the movement of the virtual object 8. The user U can be given a tactile illusion as if he / she is.

以上の構成において、シースルー型HMD装置1では、画像表示部7によって、立体的形状でなる半透明の仮想物体8を、両眼視差を利用してユーザUが存する現実空間に立体表示し、現実空間にて仮想物体8がユーザUの両掌H上にあたかも存在しているかのようにユーザUに視認させ、さらに、仮想物体8がユーザUの両掌Hに近接したまま両掌Hに沿って移動しているかのような状態をユーザUに視認させるようにした。   In the above configuration, in the see-through type HMD device 1, the image display unit 7 stereoscopically displays the translucent virtual object 8 having a stereoscopic shape in the real space where the user U exists using binocular parallax. In the space, the virtual object 8 is visually recognized by the user U as if it exists on both palms H of the user U. Further, the virtual object 8 is close to both palms H of the user U and along the palms H. The user U was made to visually recognize the situation as if he was moving.

このようにシースルー型HMD装置1では、仮想物体8がユーザUの掌Hに近接したまま掌Hに沿って移動しているかのような状態をユーザUに視認させることで、視覚的な錯覚を基に、実際には与えられていない仮想物体8からの触覚刺激を知覚しているかのような錯覚をユーザUに与えることができる。   In this way, in the see-through type HMD device 1, the visual illusion is obtained by allowing the user U to visually recognize the state that the virtual object 8 is moving along the palm H while being close to the palm H of the user U. Based on this, it is possible to give the user U the illusion that a tactile stimulus from the virtual object 8 that is not actually given is perceived.

(2)他の実施の形態
なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施の形態においては、仮想物体として、後方の背景が透過可能な半透明の仮想物体8を適用した場合について述べたが、本発明はこれに限らず、不透明であっても輪郭をぼかした仮想物体を適用してもよく、また、半透明で、かつ輪郭をぼかした仮想物体を適用してもよい。
(2) Other Embodiments The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the gist of the present invention. For example, in the above-described embodiment, the case where the translucent virtual object 8 capable of transmitting the back background is applied as the virtual object has been described. A virtual object with a blurred image may be applied, or a virtual object that is translucent and has a blurred outline may be applied.

このように仮想物体の輪郭をぼかして仮想物体と後方の背景との境目を曖昧にした場合でも、仮想物体の質量が小さいであろうことをユーザにイメージさせることができ、かくして仮想物体が掌に触れたとしても微弱な触覚刺激しか生じないであろうというイメージをユーザに与えることができる。   In this way, even if the outline of the virtual object is blurred and the boundary between the virtual object and the background behind it is obscured, the user can imagine that the mass of the virtual object will be small. The user can be given an image that even if touched, only a weak tactile stimulus will occur.

また、半透明で、かつ輪郭をぼかした仮想物体を適用した場合には、仮想物体の質量が一段と小さいことをユーザにイメージさせることができ、かくして仮想物体が掌に触れたとしても微弱な触覚刺激しか生じないであろうというイメージを更にユーザに与えることができる。   In addition, when a virtual object that is translucent and has a blurred outline is applied, the user can imagine that the mass of the virtual object is much smaller, and even if the virtual object touches the palm, a weak tactile sense It is possible to give the user a further image that only stimulation will occur.

また、上述した実施の形態においては、仮想物体として、球体の仮想物体8を適用するようにした場合について述べたが、本発明はこれに限らず、楕円体や三角錐体、円錐体、直方体の他、例えば掌などの身体部位の範囲内に収まるものであれば、人や動物を模したキャラクタ、気流等を表した仮想物体等その他種々の仮想物体を適用してもよい。   Further, in the above-described embodiment, the case where the spherical virtual object 8 is applied as the virtual object has been described. However, the present invention is not limited thereto, and the ellipsoid, the triangular pyramid, the cone, and the rectangular parallelepiped. In addition, as long as it falls within the range of a body part such as a palm, for example, a character imitating a person or an animal, a virtual object representing an air current, or other various virtual objects may be applied.

さらに、上述した実施の形態においては、仮想物体8が掌Hに近接したまま掌Hに沿って移動するように仮想物体8の立体表示を変化させるようにした場合について述べたが、本発明はこれに限らず、左右方向等に移動することなく、所定の位置で静止したままの仮想物体8を適用してもよい。   Furthermore, in the above-described embodiment, the case where the stereoscopic display of the virtual object 8 is changed so that the virtual object 8 moves along the palm H while being close to the palm H has been described. The present invention is not limited to this, and the virtual object 8 that remains stationary at a predetermined position may be applied without moving in the left-right direction or the like.

この場合、シースルー型HMD装置では、図5に示すように、仮想物体8を掌Hに位置合わせした状態で、ユーザ自ら頭部を左右に振ることで、仮想物体8が掌Hに近接したまま両掌Hに沿って移動しているかのような状態をユーザUに視認させることができ、かくして、上述した実施の形態と同様に、視覚的な錯覚に基づいて、実際には与えられていない仮想物体8からの触覚刺激をユーザUに錯覚させることができる。   In this case, in the see-through type HMD device, as shown in FIG. 5, the virtual object 8 remains close to the palm H by shaking the head to the left and right while the virtual object 8 is aligned with the palm H. The state as if moving along both palms H can be visually recognized by the user U, and thus, in the same manner as in the above-described embodiment, based on the visual illusion, it is not actually given. An illusion of tactile stimulation from the virtual object 8 can be given to the user U.

また、制御部3は、図示しないセンサによってユーザUの掌Hを予め認識しておき、当該掌H上に仮想物体8を常に位置合わせするように仮想物体8の立体表示を自動的に移動させるようにしてもよい。この場合、制御部3は、図6に示すように、例えばユーザUの片方の掌H上に仮想物体8が位置合わせされている際、ユーザUがこの掌Hを横方向に移動させると、これに合わせて仮想物体8も僅かに遅れて掌Hを追従するように横方向に移動させ、仮想物体8が常に掌H上に近接しているかのような感覚をユーザに与えることができる。この場合でも、ユーザUは、仮想物体8が掌Hの移動に合わせて追従する際、掌Hと仮想物体8が僅かに位置ずれするとき、その動きに合わせて、仮想物体8から発生しているだろうエネルギーを、まるで掌Hで感じているかのような錯覚をユーザUに与えることができる。   Further, the control unit 3 recognizes the palm H of the user U in advance by a sensor (not shown), and automatically moves the stereoscopic display of the virtual object 8 so that the virtual object 8 is always aligned on the palm H. You may do it. In this case, as shown in FIG. 6, when the virtual object 8 is aligned on one palm H of the user U, for example, the control unit 3 moves the palm H in the lateral direction when the virtual object 8 is aligned. In accordance with this, the virtual object 8 is also moved laterally so as to follow the palm H with a slight delay, and the user can be given a feeling as if the virtual object 8 is always close to the palm H. Even in this case, when the virtual object 8 follows the movement of the palm H, when the palm H and the virtual object 8 are slightly displaced, the user U is generated from the virtual object 8 according to the movement. It is possible to give the user U the illusion that he / she feels the energy he / she feels with his palm H.

さらに、上述した実施の形態においては、仮想物体8が重畳される身体部位として、掌Hを適用した場合について述べたが、本発明はこれに限らず、例えば上腕部や腹部、大腿部、下腿部等、ユーザが直接目視できるその他種々の身体部位を適用してもよい。この場合、制御部3は、仮想物体8を重畳させる身体部位に合わせて仮想物体8を立体表示させる表示位置を調整し、虚像である仮想物体8がユーザUの身体部位上にあたかも存在しているかのようにユーザUに視認させ得る。   Furthermore, in the above-described embodiment, the case where the palm H is applied as the body part on which the virtual object 8 is superimposed has been described, but the present invention is not limited to this, for example, the upper arm, the abdomen, the thigh, Various other body parts that can be directly observed by the user, such as the lower leg, may be applied. In this case, the control unit 3 adjusts the display position for stereoscopic display of the virtual object 8 according to the body part on which the virtual object 8 is superimposed, and the virtual object 8 that is a virtual image is present on the body part of the user U. The user U can be visually recognized as if it were.

(3)検証試験
次に、上述したシースルー型HMD装置1を用いた検証試験について説明する。ここでは、上述したシースルー型HMD装置1を用いて触覚刺激が与えられているかのような錯覚現象(以下、触錯覚現象と呼ぶ)に関して、最適な刺激呈示方法を検討するため、ユーザが錯覚する触覚刺激の特性と、仮想物体の最適な呈示方式とを調べるため下記のような検証試験を行った。
(3) Verification Test Next, a verification test using the above-described see-through HMD device 1 will be described. Here, in order to examine an optimal stimulus presentation method for an illusion phenomenon (hereinafter referred to as a tactile illusion phenomenon) as if a tactile sensation is applied using the see-through type HMD device 1 described above, the user has an illusion. In order to investigate the characteristics of tactile stimulation and the optimal presentation method of virtual objects, the following verification test was conducted.

この検証試験では、図7に示すように、条件の異なる実施例1、実施例2、比較例1および比較例2について被験者が触覚刺激を錯覚したか否かについて検証を行った。この場合、実施例1では、半透明の立体的な仮想物体を両眼視差により立体視させ(図7の表中、「両眼半透明条件」と表記)、実施例2では、同じく両眼視差を利用して仮想物体を立体表示させるものの、仮想物体を不透明とし輪郭をぼかしたものを用いた(図7の表中、「両眼不透明条件」と表記)。   In this verification test, as shown in FIG. 7, it was verified whether or not the subject had an illusion of tactile stimulation for Example 1, Example 2, Comparative Example 1 and Comparative Example 2 under different conditions. In this case, in Example 1, a semi-transparent stereoscopic virtual object is stereoscopically viewed with binocular parallax (indicated as “binocular translucent condition” in the table of FIG. 7). Although the virtual object is stereoscopically displayed using parallax, the virtual object is opaque and the contour is blurred (denoted as “binocular opacity condition” in the table of FIG. 7).

一方、比較例1では、立体的形状でなる半透明の仮想物体を単眼で呈示し、立体視されない仮想物体を呈示した(図7の表中、「単眼半透明条件」と表記)。また、比較例2では、両眼視差を用いずに、仮想スクリーン面に仮想物体を呈示した(図7の表中、「遠距離条件」と表記)。比較例2では、シースルー型HMD装置の仮想スクリーン位置を24[m]とし、仮想物体を24[m]先に呈示した。なお、仮想物体は、静止画であり、3DCGソフトウェア(3ds Max,Autodesk)によってレンダリングして作製した。   On the other hand, in Comparative Example 1, a semitransparent virtual object having a three-dimensional shape was presented with a single eye, and a virtual object that was not stereoscopically viewed was presented (indicated as “monocular translucent condition” in the table of FIG. 7). In Comparative Example 2, a virtual object was presented on the virtual screen surface without using binocular parallax (denoted as “long distance condition” in the table of FIG. 7). In Comparative Example 2, the virtual screen position of the see-through HMD device was 24 [m], and the virtual object was presented 24 [m] ahead. The virtual object is a still image, which is created by rendering with 3DCG software (3ds Max, Autodesk).

実施例1にて呈示した仮想物体は、図2に示すような直径40[mm]の白色の球体とし、この球体をユーザ眼前300[mm]の位置に立体表示させるように両眼視差を設定した。ただし、単眼半透明条件で行った比較例1では、優位眼のみに仮想物体を呈示した。そのため比較例1では、球体のスクリーン上での位置は変わらないが視差はなく、シースルー型HMD装置のスクリーン面に表示されることになる。比較例1におけるシースルー型HMD装置の光学的な焦点位置は2.5[m]とした。   The virtual object presented in Example 1 is a white sphere having a diameter of 40 [mm] as shown in FIG. 2, and binocular parallax is set so that this sphere is displayed in a stereoscopic manner at a position of 300 [mm] in front of the user's eyes. did. However, in Comparative Example 1 performed under the monocular translucent condition, the virtual object was presented only to the dominant eye. Therefore, in Comparative Example 1, the position of the sphere on the screen does not change, but there is no parallax, and the sphere is displayed on the screen surface of the see-through HMD device. The optical focal position of the see-through type HMD device in Comparative Example 1 was 2.5 [m].

仮想物体を遠距離に呈示する遠距離条件の比較例2では、光学シースルー条件を基準として視差のない仮想物体を呈示した。両眼不透明条件の実施例2では、図8に示すように、HMD部2aにおける画像表示部7の前面に黒色のシールを貼ったフィルタ10aを付加することで、球体8aの後方が透過して見えない仮想物体10とした。このとき、被験者の瞳孔間隔やHMD部2aの装着位置によって、球体8aとフィルタ10aの位置関係が変化するため、球体8aよりもやや広い範囲の背景を、フィルタ10aによって遮蔽した。ただし、仮想物体10は、フィルタ10aの輪郭をぼかしてフィルタ10aと後方背景との境目を曖昧にした。   In the comparative example 2 of the long distance condition in which the virtual object is presented at a long distance, the virtual object without parallax was presented based on the optical see-through condition. In Example 2 of the binocular opacity condition, as shown in FIG. 8, the rear of the sphere 8a is transmitted by adding a filter 10a with a black seal attached to the front surface of the image display unit 7 in the HMD unit 2a. Invisible virtual object 10. At this time, since the positional relationship between the sphere 8a and the filter 10a varies depending on the pupil interval of the subject and the mounting position of the HMD portion 2a, the background in a slightly wider range than the sphere 8a is shielded by the filter 10a. However, the virtual object 10 blurs the outline of the filter 10a to obscure the boundary between the filter 10a and the back background.

仮想物体8,10と身体部位とを近接させることは、仮想物体8,10直下に被験者が掌Hを添えることで実現した。さらに、この検証試験では、静止画からなる仮想物体8,10を用いたため、掌H上に仮想物体8,10を位置合わせさせた状態で被験者に首を振ってもらうことで、仮想物体8,10が掌H上を左右に振幅運動している状態を実現した。   The proximity of the virtual objects 8 and 10 and the body part was realized by the subject attaching the palm H directly under the virtual objects 8 and 10. Furthermore, in this verification test, since the virtual objects 8 and 10 formed of still images were used, the virtual objects 8 and 10 were shaken by having the subject shake the head with the virtual objects 8 and 10 aligned on the palm H. 10 realized an amplitude motion on the palm H from side to side.

なお、シースルー型HMD装置1としては光学シースルー型HMD(Moverio BT-100、EPSON)を用いた。被験者の前方には黒幕を配置し、被験者が仮想物体8,10を視認する際、仮想物体8,10の後方にある背景が見えないようにし、さらに一般的なオフィスの明るさと同程度の明るさの部屋で行った。但し、シースルー型HMD装置1の迷光を防ぐため、被験者の直上の光源は消灯した。   As the see-through type HMD device 1, an optical see-through type HMD (Moverio BT-100, EPSON) was used. A black screen is placed in front of the subject so that when the subject views the virtual objects 8 and 10, the background behind the virtual objects 8 and 10 cannot be seen, and the brightness is similar to that of general offices. I went in the room. However, in order to prevent stray light from the see-through HMD device 1, the light source directly above the subject was turned off.

被験者は21歳から39歳までの男女12名(男性9名、女性3名)であった。検証試験は、被験者に検証試験の目的や取得するデータについて説明した後に行った。実際上、検証試験は第1実験と第2実験の2部に分けて行い、最初に、第1実験として、実施例1の両眼半透明条件で仮想物体8を観察してもらい、図5に示したように、両掌H上に仮想物体8を位置合わせした後、首を振ってもらい両掌H上で仮想物体8を振幅運動させた。そして、この際に、被験者が手に感じる感覚についてインタビュー調査を行った。   The subjects were 12 men and women (9 men, 3 women) from 21 to 39 years old. The verification test was conducted after explaining the purpose of the verification test and the data to be acquired to the subjects. In practice, the verification test was conducted in two parts, the first experiment and the second experiment. First, as the first experiment, the virtual object 8 was observed under the binocular translucent condition of Example 1, and FIG. As shown in Fig. 5, after positioning the virtual object 8 on both palms H, the virtual object 8 was moved in amplitude on both palms H by shaking his head. At this time, an interview survey was conducted on the feelings felt by the subjects.

インタビューでは、手に感じる感覚、その強度、感じる位置、振幅運動の速さを変えた際の印象変化、運動方向を変えたときの印象変化、仮想物体8と身体部位の位置関係による印象変化等について質問し、自由に回答させた。   In the interview, the sense of hand feeling, its strength, the position to feel, the impression change when changing the speed of amplitude movement, the impression change when changing the direction of movement, the impression change due to the positional relationship between the virtual object 8 and the body part, etc. Asked questions and allowed them to answer freely.

その結果、仮想物体8が掌H上を振幅運動している状態を見た被験者からは、「掌に風があたるような感覚があった」という意見や、「掌に冷たさを感じた」という意見、「掌に物の存在や気配を感じた」とう意見が確認できた。   As a result, from the subject who saw the state in which the virtual object 8 was oscillating on the palm H, the opinion that “there was a feeling that the palm was hit by the wind” or “I felt cold on the palm” I was able to confirm the opinion, “I felt the existence and signs of things in my palm.”

その一方で、ある被験者からは「物が触れている感触ではない」という意見や、「言われてみれば何かを感じるという程度である」とう意見も聞かれた。これらの意見から、掌Hへの物体の接触といったはっきりとした触覚刺激ではなく、空気や風を受けているという程度の非常に微弱な触覚刺激があるかのような錯覚現象が生じていることが確認できた。   On the other hand, some subjects also expressed the opinion that "it is not the touch that an object is touching" and the opinion that "I feel something when I am told". From these opinions, there is an illusion that there is not a clear tactile stimulus such as the contact of an object with the palm H, but a very weak tactile stimulus that receives air or wind. Was confirmed.

また、被験者からは、仮想物体8と掌Hが接触しているように見えている箇所で触覚刺激を知覚しているかのような錯覚が得られたという意見を得た。特に、浮いているように見える場合や、完全に手と交叉して見える場合には、上記のような微弱な触覚刺激が生じないという意見も聞かれ、仮想物体8が身体部位の表面上に近接しているように視認させることが、錯覚現象の発生に有効であることが分かった。   In addition, the opinion was obtained from the subject that the illusion that a tactile stimulus was perceived at a location where the virtual object 8 and the palm H seem to be in contact was obtained. In particular, when it appears to be floating or when it is completely crossed with a hand, the opinion that the above weak tactile stimulation does not occur is heard, and the virtual object 8 is placed on the surface of the body part. It was found that visual recognition as if they were close to each other was effective in generating an illusion phenomenon.

仮想物体8の振幅運動の速さについては、速くしたり遅くしたりしても感覚は変わらないという報告もあれば、速いほうが冷たさをより感じたといった報告もあり、被験者によって印象が異なった。冷たさを感じたという被験者からは、振幅運動の速さによって錯覚の強度が異なったという報告も得られた。   Regarding the speed of the amplitude movement of the virtual object 8, there are reports that the sensation does not change even if it is made faster or slower, and there are reports that the faster feels colder, and the impression varies depending on the subject. . The subject who felt cold felt that the intensity of the illusion differed depending on the speed of the amplitude movement.

次に第2実験を行った。この第2実験では、実施例1、実施例2、比較例1および比較例2の各条件の下、被験者に仮想物体8,10の直下に両掌Hを配置させ、首を振って仮想物体8,10が両掌H上で振幅運動しているかのような状態を被験者に視認させた。実施例1、実施例2、比較例1および比較例2において両掌H上で振幅運動する仮想物体8,10の観察時間は10秒間とした。ここで、各実施例1、実施例2、比較例1および比較例2の評価はシェッフェの一対比較法によって行った。   Next, the second experiment was performed. In this second experiment, under the conditions of Example 1, Example 2, Comparative Example 1 and Comparative Example 2, the subject placed both palms H directly under the virtual objects 8 and 10, and the virtual object was shaken by shaking his head. The subject was made to visually recognize the state where 8, 10 was swinging on both palms H. In Example 1, Example 2, Comparative Example 1 and Comparative Example 2, the observation time of the virtual objects 8 and 10 that swing in amplitude on both palms H was 10 seconds. Here, each of Example 1, Example 2, Comparative Example 1 and Comparative Example 2 was evaluated by Scheffe's paired comparison method.

2回の画像呈示の後、1回目の条件に比べ、2回目の条件では、どちらのほうが錯覚を感じたかについて、-3〜+3の7段階で回答を求めた。このとき、錯覚の定義として、はじめのパートで生じた感覚であると説明し、その感覚の強度自体を比較するのではなく、どちらが錯覚の発生を認識し易かったかついて評価させた。上記の呈示と評価を1セットとして、4条件(実施例1、実施例2、比較例1および比較例2)の組み合わせで12セットの試行を行った。全試行の評価が終了した後、検証試験全体で感じた印象などについても内省報告を求めた。   After the two presentations, we asked for answers in 7 levels, -3 to +3, as to which one felt the illusion in the second condition compared to the first condition. At this time, as an illusion definition, it was explained that it was a sensation that occurred in the first part, and instead of comparing the intensity of the sensation itself, which was easier to recognize the occurrence of the illusion, it was evaluated. With the above presentation and evaluation as one set, 12 sets of trials were performed under a combination of four conditions (Example 1, Example 2, Comparative Example 1 and Comparative Example 2). After the evaluation of all trials was completed, an introspective report was also requested for the impressions felt throughout the verification test.

実施例1、実施例2、比較例1および比較例2の4つの条件について、どの条件で錯覚の発生を認識し易かったかを示す一対比較法で得られた評価結果を、図9Aおよび図9Bにまとめた。ここで、図9Aは、各比較の評価値を基に、錯覚の発生し易さについて求めた心理尺度を座標軸に表したものであり、図9Bは、これら心理尺度上の座標値をまとめた表である。   For the four conditions of Example 1, Example 2, Comparative Example 1 and Comparative Example 2, the evaluation results obtained by the paired comparison method showing which conditions made it easy to recognize the occurrence of the illusion are shown in FIGS. 9A and 9B. Summarized in Here, FIG. 9A shows a psychological scale obtained with respect to the ease of occurrence of the illusion based on the evaluation value of each comparison on the coordinate axis, and FIG. 9B summarizes the coordinate values on the psychological scale. It is a table.

図9Aおよび図9Bから、半透明の立体的な仮想物体8を呈示した実施例1と、不透明な仮想物体10を呈示した実施例2では、実施例1の方が実施例2よりも評価が高かった。但し、これら実施例1および実施例2のどちらも、他の比較例1および比較例2に比べて有意に錯覚が発生し易いことが分かった。すなわち、比較例1は、上記の実施例1および実施例2よりも錯覚が発生し難いといえ、比較例2は比較例1よりもさらに錯覚が発生し難いという結果が得られた。   From FIG. 9A and FIG. 9B, in Example 1 presenting a translucent three-dimensional virtual object 8 and Example 2 presenting an opaque virtual object 10, Example 1 is evaluated more than Example 2. it was high. However, it was found that both Example 1 and Example 2 are significantly more likely to cause illusion than other Comparative Examples 1 and 2. In other words, it can be said that Comparative Example 1 is less likely to cause an illusion than Examples 1 and 2, and Comparative Example 2 is less likely to cause an illusion than Comparative Example 1.

錯覚が起き易い実施例1および実施例2と、錯覚が起き難い比較例1および比較例2との1つの違いとしては、立体視によって手の位置と同じ位置に仮想物体が呈示できたかどうかということがあり、仮想物体8,10によって奥行き位置が定位できることは、錯覚現象の発生において有効であるといえる。   One difference between Example 1 and Example 2 where illusions are likely to occur and Comparative Example 1 and Example 2 where illusions are difficult to occur is whether a virtual object could be presented at the same position as the hand by stereoscopic vision In some cases, the ability to localize the depth position by the virtual objects 8 and 10 is effective in generating the illusion phenomenon.

次に、仮想物体の形状を変えて、上述した実施例1と同様の検証試験を行い、触覚刺激の錯覚発生について調べた。具体的には、直径40[mm]の球体を視距離300[mm]に呈示したとき、直径40[mm]の球体を視距離を変えて400[mm]に呈示したとき、直径40[mm]高さ40[mm]の円錐体を視距離300[mm]に呈示したとき、輪郭を画像処理でぼかした直径40[mm]の球体を視距離300[mm]に呈示したときに、それぞれ被験者が触覚刺激を錯覚するか否か検証試験を行った。   Next, by changing the shape of the virtual object, the same verification test as in Example 1 was performed, and the occurrence of the illusion of tactile stimulation was examined. Specifically, when a sphere with a diameter of 40 [mm] is presented at a viewing distance of 300 [mm], a sphere with a diameter of 40 [mm] is presented at 400 [mm] with a different viewing distance, a diameter of 40 [mm] ] When a cone with a height of 40 [mm] is presented at a viewing distance of 300 [mm], a sphere with a diameter of 40 [mm] with a contour blurred by image processing is presented at a viewing distance of 300 [mm] A verification test was conducted to determine whether the subject had an illusion of tactile stimulation.

なお、図10Aは、仮想物体である球体を両眼視差によって現実空間に立体表示させる際の左眼用画像15aおよび右眼用画像15bを示し、図10Bは、仮想物体である円錐体を両眼視差によって現実空間に立体表示させる際の左眼用画像16aおよび右眼用画像16bを示し、図10Cは、仮想物体であるぼかし球体を両眼視差によって現実空間に立体表示させる際の左眼用画像17aおよび右眼用画像17bを示したものである。これら仮想物体は、HMDを用いて観察した際にいずれも半透明で呈示され、左眼用画像15a,16a,17aおよび右眼用画像15b,16b,17bを3DCGソフトウェア(3ds Max,Autodesk)によってレンダリングにより作製した。   10A shows a left-eye image 15a and a right-eye image 15b when a sphere that is a virtual object is stereoscopically displayed in real space by binocular parallax, and FIG. 10B shows both cones that are virtual objects. FIG. 10C shows the left-eye image 16a and the right-eye image 16b when stereoscopically displaying in the real space by eye parallax, and FIG. 10C shows the left eye when stereoscopically displaying the blurring sphere, which is a virtual object, in the real space by binocular parallax. The image 17a for images and the image 17b for right eyes are shown. These virtual objects are both translucent when viewed using HMD, and the left-eye images 15a, 16a, 17a and the right-eye images 15b, 16b, 17b are obtained by 3DCG software (3ds Max, Autodesk). Made by rendering.

仮想物体の身体部位上での運動は、上述した検証試験と同様に、HMD部2aを装着した頭部を左右に振らせることで、仮想物体の振幅運動を再現し、このときの振幅の幅、速度については、被験者に「手の幅で」、「自分のリズムで」と教示し、この幅と速度を標準とした。   Similar to the verification test described above, the movement of the virtual object on the body part reproduces the amplitude movement of the virtual object by swinging the head wearing the HMD unit 2a to the left and right. Regarding the speed, the subjects were instructed “with the width of the hand” and “with their own rhythm”, and this width and speed were standard.

そして、主観評価として、「触覚を全く感じない」を1点、「触覚を強く感じる」を5点として集計したところ、図11Aに示すような結果が得られた。図11Aから、半透明の仮想物体であればその形状については、錯覚強度に大きな影響を与えないことが示唆された。但し、同じ球体であっても、被験者にとって手の届きやすい視距離300[mm]に球体を呈示したときのほうが、被験者にとってやや手の届きにくい視距離400[mm]に球体を呈示したときよりも評定点が僅かに高かく、触覚刺激の錯覚が感じ易いことが確認できた。   Then, as subjective evaluation, “not feeling tactile sensation” was counted as 1 point, and “feeling tactile sensation” was counted as 5 points, and the result shown in FIG. 11A was obtained. FIG. 11A suggests that the shape of a semi-transparent virtual object does not greatly affect the illusion intensity. However, even with the same sphere, when the sphere is presented at a viewing distance of 300 [mm] that is easy for the subject to reach, the sphere is presented at a viewing distance of 400 [mm] that is somewhat difficult for the subject to reach. However, it was confirmed that the rating score was slightly high and it was easy to feel the illusion of tactile stimulation.

次に、仮想物体の標準の運動に対し、「速く振幅させる」、「遅く振幅させる」、「広い幅で振幅させる」、「狭い幅で振幅させる」の4条件の下、触覚刺激の錯覚がどのようになるか検証試験を行った。なお、この検証試験では、直径40[mm]の球体を眼前300[mm]の位置に呈示した。これら検証試験の結果を図11Bに示す。図11Bから、仮想物体の運動条件を変えても、錯覚強度に大きな影響を与えないことが示唆された。   Next, for the standard motion of a virtual object, the illusion of tactile stimulation is under the four conditions of “amplify fast”, “amplify slowly”, “amplify with a wide width”, and “amplify with a narrow width”. A verification test was conducted to see how this would be. In this verification test, a sphere with a diameter of 40 [mm] was presented at a position 300 [mm] in front of the eye. The results of these verification tests are shown in FIG. 11B. FIG. 11B suggests that changing the motion condition of the virtual object does not significantly affect the illusion intensity.

図12および図13は、上記した検証試験を行った際に、各被験者から得られた自由回答をまとめたものである。以上をまとめると、仮想物体が掌に近接したまま掌に沿って移動しているかのような状態を視認した被験者からは、図12に示すように、「冷たい感じがした」、「球が転がっている感じがした」、「くすぐったい感じがした」、「空気の塊が通る感じがした」、「風が手を通るような感じがした」、「物体の重みを感じた」といった意見が聞かれた。「冷たさ」や、「空気の塊」、「風」といったように、気体が接触するような感覚が錯覚として生じていることが分かった。   12 and 13 summarize the free answers obtained from each subject when the above-described verification test was performed. To summarize the above, from a subject who visually recognizes that the virtual object is moving along the palm while staying close to the palm, as shown in FIG. 12, “I felt cold”, “the sphere rolled. "I felt like tickling", "I felt tickling", "I felt like a lump of air", "I felt like the wind was passing through my hands", "I felt the weight of the object" It was. It was found that the sensation of gas contact such as “coldness”, “chunk of air”, and “wind” occurred as an illusion.

また、仮想物体の形状を球体とした場合には、「転がり感がある」という意見も多く、物体の形状から発想される触覚が、そのまま錯覚として感じられていると考えられる。同様に、仮想物体を速く大きく動かす条件においては、動きによって生じる風を発想させ、それをそのまま錯覚として感じていると考えられる。このように、シースルー型HMD装置1では、仮想物体を現実空間の身体部位に重畳させるように立体表示し、かつ、この仮想物体を身体部位に近接させたまま身体部位に沿って動かす状態をユーザに視認させることで、仮想物体から身体部位に対しあたかも微風など微弱な触覚刺激が与えられているかのような錯覚をユーザに与えることができることが確認できた。   In addition, when the shape of the virtual object is a sphere, there are many opinions that “there is a feeling of rolling”, and it is considered that the tactile sensation that comes from the shape of the object is directly felt as an illusion. Similarly, under the condition that the virtual object is moved rapidly and greatly, it is thought that the wind caused by the movement is conceived and is felt as an illusion as it is. Thus, in the see-through HMD device 1, the virtual object is stereoscopically displayed so as to be superimposed on the body part in the real space, and the state in which the virtual object is moved along the body part while being in close proximity to the body part is displayed. It was confirmed that the user can be given an illusion as if a weak tactile stimulus such as a breeze is being given from the virtual object to the body part.

1 シースルー型HMD装置
2a HMD部
2b 制御ボックス
3 制御部
7 画像表示部(画像表示手段)
8 仮想物体
H 掌(身体部位)
1 See-through HMD system
2a HMD part
2b control box
3 Control unit
7 Image display (image display means)
8 Virtual objects
H palm (body part)

Claims (5)

半透明および/または輪郭をぼかした、立体的形状でなる仮想物体を、両眼視差を利用してユーザが存する現実空間に立体表示し、前記仮想物体を前記ユーザの身体部位に重畳させて、虚像である前記仮想物体が前記ユーザの身体部位上にあたかも存在しているかのように該ユーザに視認させる画像呈示手段を備え、
前記画像呈示手段は、
前記仮想物体が前記ユーザの身体部位に近接したまま該身体部位に沿って移動しているかのような状態を前記ユーザに視認させることで、実際には与えられていない該仮想物体からの触覚刺激を知覚しているかのような錯覚を該ユーザに与える
ことを特徴とする触錯覚呈示装置。
A virtual object having a three-dimensional shape with translucent and / or blurred outlines is stereoscopically displayed in a real space where the user exists using binocular parallax, and the virtual object is superimposed on the body part of the user, An image presenting means for allowing the user to visually recognize the virtual object as a virtual image as if it exists on the body part of the user;
The image presenting means includes
Tactile stimulation from the virtual object that is not actually given by allowing the user to visually recognize a state in which the virtual object is moving along the body part while being close to the body part of the user A tactile illusion presentation device, characterized in that the user is given the illusion of perceiving the user.
前記画像呈示手段は、
前記ユーザの身体部位上に前記仮想物体が存在しているかのような距離に該仮想物体を立体表示させる
ことを特徴とする請求項1記載の触錯覚呈示装置。
The image presenting means includes
The tactile illusion presentation device according to claim 1, wherein the virtual object is three-dimensionally displayed at a distance as if the virtual object exists on the body part of the user.
前記画像呈示手段は、
前記身体部位の範囲内で前記仮想物体が移動するように該仮想物体を表示変化させる
ことを特徴とする請求項1または2記載の触錯覚呈示装置。
The image presenting means includes
The tactile sensation presentation device according to claim 1, wherein the virtual object is displayed and changed so that the virtual object moves within a range of the body part.
前記画像呈示手段は、
ヘッドマウントタイプでなり、左眼用画像を前記ユーザの左眼に表示すると同時に、右眼用画像を前記ユーザの右眼に表示し、両眼視差によって前記ユーザの眼前に前記仮想物体を立体表示させる
ことを特徴とする請求項1〜3のうちいずれか1項記載の触錯覚呈示装置。
The image presenting means includes
It is a head-mounted type, and a left-eye image is displayed on the user's left eye and a right-eye image is displayed on the user's right eye, and the virtual object is stereoscopically displayed in front of the user's eyes by binocular parallax. The tactile illusion presentation device according to claim 1, wherein the tactile illusion presentation device is provided.
コンピュータに対して、
半透明および/または輪郭をぼかした、立体的形状でなる仮想物体を、両眼視差を利用してユーザが存する現実空間に立体表示し、前記仮想物体を前記ユーザの身体部位に重畳させて前記仮想物体が前記ユーザの身体部位に近接したまま該身体部位に沿って移動しているかのような状態を前記ユーザに視認させることで、実際には与えられていない該仮想物体からの触覚刺激を知覚しているかのような錯覚を該ユーザに与える画像呈示ステップを実行させる
ことを特徴とする触錯覚呈示プログラム。
Against the computer,
A virtual object having a three-dimensional shape with translucent and / or blurred outlines is stereoscopically displayed in a real space where a user exists using binocular parallax, and the virtual object is superimposed on the body part of the user. By allowing the user to visually recognize a state in which the virtual object is moving along the body part while being close to the user's body part, tactile stimulation from the virtual object that is not actually given can be performed. A tactile illusion presentation program characterized by causing an image presentation step to give the user the illusion of perception.
JP2012215303A 2012-09-27 2012-09-27 Tactile illusion presenting apparatus and tactile illusion presenting program Pending JP2014071546A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012215303A JP2014071546A (en) 2012-09-27 2012-09-27 Tactile illusion presenting apparatus and tactile illusion presenting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012215303A JP2014071546A (en) 2012-09-27 2012-09-27 Tactile illusion presenting apparatus and tactile illusion presenting program

Publications (1)

Publication Number Publication Date
JP2014071546A true JP2014071546A (en) 2014-04-21

Family

ID=50746719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012215303A Pending JP2014071546A (en) 2012-09-27 2012-09-27 Tactile illusion presenting apparatus and tactile illusion presenting program

Country Status (1)

Country Link
JP (1) JP2014071546A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170035130A (en) * 2015-09-22 2017-03-30 엘지전자 주식회사 Head mounted display and method for controlling the same
JP2019133276A (en) * 2018-01-29 2019-08-08 株式会社ザグローバルゲームズ Image processing system and terminal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330582A (en) * 2002-05-14 2003-11-21 Univ Waseda Sense providing device using sense of sight and sense of hearing
JP2008027223A (en) * 2006-07-21 2008-02-07 Nippon Telegr & Teleph Corp <Ntt> Apparatus and method for presenting integrated vision and touch
WO2009151121A1 (en) * 2008-06-13 2009-12-17 学校法人 早稲田大学 Sensory display system and sensory display device
JP2012005773A (en) * 2010-06-28 2012-01-12 Taito Corp Game device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330582A (en) * 2002-05-14 2003-11-21 Univ Waseda Sense providing device using sense of sight and sense of hearing
JP2008027223A (en) * 2006-07-21 2008-02-07 Nippon Telegr & Teleph Corp <Ntt> Apparatus and method for presenting integrated vision and touch
WO2009151121A1 (en) * 2008-06-13 2009-12-17 学校法人 早稲田大学 Sensory display system and sensory display device
JP2012005773A (en) * 2010-06-28 2012-01-12 Taito Corp Game device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6016025293; 中原 守勇: '複合現実感における視覚と触覚の融合効果を利用した物体形状提示に関する実験的検討' 日本バーチャルリアリティ学会論文誌 第13巻 第1号 Vol.13 No.1, 20080331, P.25-35, 特定非営利活動法人 日本バーチャルリアリティ学会 *
JPN6016025296; 新島 有信: '拡張現実感における視覚刺激位置が触知覚位置に与える影響の分析' 日本バーチャルリアリティ学会論文誌 第17巻 第2号 Vol.17 No.2, 20120630, P.73-78, 特定非営利活動法人 日本バーチャルリアリティ学会 *
JPN6016025299; 坂内 祐一: '作業者視点ステレオ映像を共有する複合現実感遠隔作業支援システム' 日本バーチャルリアリティ学会論文誌 第10巻 第3号 Vol.10 No.3, 20050930, P.381-389, 特定非営利活動法人 日本バーチャルリアリティ学会 T *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170035130A (en) * 2015-09-22 2017-03-30 엘지전자 주식회사 Head mounted display and method for controlling the same
JP2019133276A (en) * 2018-01-29 2019-08-08 株式会社ザグローバルゲームズ Image processing system and terminal

Similar Documents

Publication Publication Date Title
CN109690633B (en) Simulation system, processing method, and information storage medium
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
JP4917664B1 (en) Image display device, game program, and game control method
JP6097377B1 (en) Image display method and program
CN116348837A (en) Apparatus, method and graphical user interface for interacting with a three-dimensional environment
JP4413203B2 (en) Image presentation device
JP2017058971A (en) Program and image formation device
JP7355006B2 (en) Information processing device, information processing method, and recording medium
JP6298130B2 (en) Simulation system and program
AU2015281646A1 (en) Autostereoscopic virtual reality platform
CN108463839B (en) Information processing apparatus and user guide presenting method
JP5419100B2 (en) Sensory presentation system and sensory presentation device
TW201910973A (en) Method of Display User Movement in Virtual Reality System and Related Device
Peterson Virtual Reality, Augmented Reality, and Mixed Reality Definitions
CN106331681A (en) Image display method of head-mounted display
JP5629144B2 (en) Game device
JP2012106005A (en) Image display device, game program, and game control method
JP2014071546A (en) Tactile illusion presenting apparatus and tactile illusion presenting program
JP2018136944A (en) Simulation system and program
WO2017022303A1 (en) Information processing device, information processing method, and program
JP7104539B2 (en) Simulation system and program
CN109166369A (en) A kind of transparent screen formula augmented reality listens transverse screen training system and method depending on-touching-
CN206074913U (en) Sound control type virtual reality glasses
WO2015196877A1 (en) Autostereoscopic virtual reality platform
CN108445624B (en) Head-mounted display device with augmented reality function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161101