JP2020017159A - 仮想オブジェクト触覚提示装置およびプログラム - Google Patents

仮想オブジェクト触覚提示装置およびプログラム Download PDF

Info

Publication number
JP2020017159A
JP2020017159A JP2018140869A JP2018140869A JP2020017159A JP 2020017159 A JP2020017159 A JP 2020017159A JP 2018140869 A JP2018140869 A JP 2018140869A JP 2018140869 A JP2018140869 A JP 2018140869A JP 2020017159 A JP2020017159 A JP 2020017159A
Authority
JP
Japan
Prior art keywords
unit
virtual object
displacement
presentation device
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018140869A
Other languages
English (en)
Other versions
JP7457453B2 (ja
Inventor
優矢 上嶋
Yuya Ueshima
優矢 上嶋
慶介 木野井
Keisuke Kinoi
慶介 木野井
修一 赤岩
Shuichi Akaiwa
修一 赤岩
仁志 辻
Hitoshi Tsuji
仁志 辻
勝敏 秦
Katsutoshi Hata
勝敏 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nangok Software Co Ltd
Kurimoto Ltd
Original Assignee
Nangok Software Co Ltd
Kurimoto Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nangok Software Co Ltd, Kurimoto Ltd filed Critical Nangok Software Co Ltd
Priority to JP2018140869A priority Critical patent/JP7457453B2/ja
Priority to US16/517,101 priority patent/US10890977B2/en
Publication of JP2020017159A publication Critical patent/JP2020017159A/ja
Priority to JP2023178078A priority patent/JP2023171678A/ja
Application granted granted Critical
Publication of JP7457453B2 publication Critical patent/JP7457453B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Dynamo-Electric Clutches, Dynamo-Electric Brakes (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ＨＭＤ（ヘッドマウントディスプレイ）に表示される仮想オブジェクトの種類に応じた触覚をユーザに与える仮想オブジェクト触覚提示装置を提供する。【解決手段】仮想オブジェクト触覚提示装置は、ＨＭＤ制御装置３、触覚提示装置４を有する。ＨＭＤ制御装置３は、仮想オブジェクトの種類に対応付けて触覚情報を記憶する触覚情報ＤＢ２２と、ディスプレイに仮想オブジェクトおよびユーザフォーカスを表示させる表示制御部３２と、ユーザフォーカスが仮想オブジェクトと重なった場合に、仮想オブジェクトの種類に対応付けられた触覚情報を触覚情報ＤＢ２２から読み出して触覚提示装置４に送信する触覚情報送信部３５を有する。触覚提示装置４は、ユーザが手に持って操作することができる把持体１００と、給電ユニット２００とを備え、給電ユニット２００から供給される電流の値に応じた触覚をユーザに提示する。【選択図】図４

Description

本発明は、ディスプレイにおいて表示される仮想オブジェクトの触覚を提示する仮想オブジェクト触覚提示装置およびプログラムに関する。
現在、市販されている仮想オブジェクトを表示させることができるヘッドマウントディスプレイの一つとして、米国マイクロソフト社製ＨＯＬＯＬＥＮＳ（登録商標）がある。このヘッドマウントディスプレイは、透過型のディスプレイを備えており、現実世界の中に仮想オブジェクトを融合して表示することができる。また、ディスプレイには、仮想オブジェクトを選択するためのユーザフォーカスも表示することができる。ユーザフォーカスは、「Ｇａｚｅ」と称されるユーザの視線と、仮想オブジェクト又は現実世界とが交差する位置に表示される。選択可能な仮想オブジェクト上にユーザフォーカスを配置し、所定のハンドジェスチャ（例えば「エアー・タップ」と称されるハンドジェスチャ）を行うと、当該仮想オブジェクトが選択され、仮想オブジェクトに対応付けられた所定の処理、例えば当該仮想オブジェクトの形状の変化、効果音の発生、所定のアプリケーションプログラムの実行等、が開始される。なお、所定のハンドジェスチャは、ＨＯＬＯＬＥＮＳ（登録商標）に設けられたハンドジェスチャ用センサ（赤外線カメラ、Ｄｅｐｔｈカメラ等）の認識範囲内で行われる。
この種の技術に関連する文献として、例えば特許文献１を挙げることができる。特許文献１に開示された装置では、透過型ヘッドマウントディスプレイにおいて現実世界の中に仮想オブジェクトを表示し、ユーザフォーカスを使用して、当該仮想オブジェクトを選択することができる。選択された仮想オブジェクトは、その形状を変化させる。
特表２０１６−５３０６００号公報
本願の発明者らは、ユーザが、ハンドジェスチャを行って仮想オブジェクトを選択する際に、仮想オブジェクトに応じた触覚をユーザの手に与えることができれば、ヘッドマウントディスプレイの用途の拡大、利便性、遊戯性等の向上が図られると考えた。
そこで、本発明は、ディスプレイに表示される仮想オブジェクトの種類に応じた触覚をユーザの手に与えることができる仮想オブジェクト触覚提示装置を提供することを目的とする。
本発明の一態様に係る仮想オブジェクト触覚提示装置は、ディスプレイ装置と、前記ディスプレイ装置のディプスレイを制御するディスプレイ制御装置と、ユーザに触覚を提示する触覚提示装置と、選択可能な仮想オブジェクトの種類に対応付けて触覚情報を記憶する触覚情報記憶部と、を備える。前記ディスプレイ制御装置は、前記ディスプレイにおいて、選択可能な仮想オブジェクトを表示するするとともに、ユーザの操作によって前記仮想オブジェクトを選択するための仮想オブジェクト選択手段を表示する表示制御部と、前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択された場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する触覚情報送信部と、を有する。前記触覚提示装置は、ユーザの操作によって変位する変位部と、前記変位部に変位抵抗を付与する変位抵抗発生部と、前記触覚情報送信部から受信した触覚情報に従って前記変位抵抗発生部が前記変位部に付与する変位抵抗を制御する変位抵抗制御部と、を有する。
かかる構成を備える仮想オブジェクト触覚提示装置によれば、ディスプレイに表示される仮想オブジェクトの種類に応じた触覚をユーザの手に与えることができる。
前記構成を備える仮想オブジェクト触覚提示装置において、前記ディスプレイ装置は、ヘッドマウントディスプレイ装置であり、前記仮想オブジェクト選択手段は、ユーザの操作によって移動可能なユーザフォーカスであり、前記触覚情報送信部は、前記ユーザフォーカスが、前記選択可能な仮想オブジェクトと重なった場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する、ものとしてもよい。
前記構成を備える仮想オブジェクト触覚提示装置において、前記触覚提示装置の前記変位抵抗発生部および前記変位部は、ユーザが手に持って自由に移動させることができる把持体の一部を構成しており、前記把持体には、当該把持体の位置に関する情報を検出する把持体位置情報検出部が含まれており、前記ディスプレイ制御装置は、前記把持体位置情報検出部が検出する位置に関する情報に基づいて前記ディスプレイにおける前記ユーザフォーカスの表示位置を決めるフォーカス位置決定部を有する、ものとしてもよい。
前記構成を備える仮想オブジェクト触覚提示装置において、ユーザの手の状態に関する情報を検出するハンド状態検出部をさらに備え、前記ディスプレイ制御装置は、前記ハンド状態検出部が検出する前記情報に基づいて、ユーザが所定のハンドジェスチャを行ったか否かを認定するハンドジェスチャ認定部を有し、前記ディスプレイ制御装置は、前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択されている状態で、前記ハンドジェスチャ認定部が、ユーザが所定のハンドジェスチャを行ったことを認定した場合に、所定の処理を行う、ものとしてもよい。
前記構成を備える仮想オブジェクト触覚提示装置において、前記触覚提示装置は、前記変位部の変位量の情報を検出する変位量検出部をさらに有し、前記ディスプレイ制御装置は、前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択されている状態で、前記変位量検出部が検出した変位量が所定値以上である場合に、所定の処理を行う、ものとしてもよい。
前記構成を備える仮想オブジェクト触覚提示装置において、前記所定の処理は、前記ディスプレイ制御装置の表示制御部がディスプレイにおいて行う所定の表示である、ものとしてもよい。
前記構成を備える仮想オブジェクト触覚提示装置において、前記触覚提示装置は、前記変位部の変位量の情報を検出する変位量検出部をさらに有し、前記触覚情報記憶部は、選択可能な仮想オブジェクトの種類および前記変位部の変位量に対応付けて触覚情報を記憶しており、前記ディスプレイ制御装置の触覚情報送信部は、前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択されている状態で、当該仮想オブジェクトの種類および前記変位部の変位量に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する、ものとしてもよい。
前記構成を備える仮想オブジェクト触覚提示装置において、前記触覚提示装置の前記変位抵抗発生部は、前記変位部と連動して回転する回転部と、前記回転部に回転抵抗を与える回転抵抗発生部と、を含み、前記回転抵抗発生部は、前記回転部とともに回転する内部ロータと、前記内部ロータの周囲に形成された隙間に封入された磁気粘性流体と、前記磁気粘性流体に磁場を印加するための電磁石と、を有する、ものとしてもよい。
本発明の一態様に係るプログラムは、ディスプレイ装置と、前記ディスプレイ装置のディプスレイを制御するディスプレイ制御装置と、ユーザに触覚を提示する触覚提示装置と、選択可能な仮想オブジェクトの種類に対応付けて触覚情報を記憶する触覚情報記憶部と、を備え、前記触覚提示装置が、ユーザの操作によって変位する変位部と、前記変位部に変位抵抗を付与する変位抵抗発生部と、前記触覚情報送信部から受信した触覚情報に従って前記変位抵抗発生部が前記変位部に付与する変位抵抗を制御する変位抵抗制御部と、を有する、仮想オブジェクト触覚提示装置における前記ディスプレイ制御装置としてコンピュータを機能させるためのプログラムであって、前記ディスプレイ制御装置を、前記ディスプレイにおいて、選択可能な仮想オブジェクトを表示するするとともに、ユーザの操作によって前記仮想オブジェクトを選択するための仮想オブジェクト選択手段を表示する表示制御部と、前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択された場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する触覚情報送信部と、して機能させるプログラムである。
本発明によれば、仮想オブジェクトに応じた触覚をユーザの手に与えることができる。
仮想オブジェクト触覚提示装置の全体を示す図である。 ヘッドマウントディスプレイ装置の概略図である。 ＨＭＤ制御装置等のハードウエア構成例を示す図である。 第１実施形態に係るＨＭＤ制御装置および触覚提示装置の機能ブロックを示す図である。 ディスプレイに表示される現実世界と仮想オブジェクトの表示例を示す図である。 触覚提示装置の把持体を操作者が操作する様子を触覚提示装置の把持体の左側面から視た図と給電ユニットを示す図である。 触覚提示装置の把持体を操作者が操作する様子を触覚提示装置の把持体の正面から視た図と給電ユニットを示す図である。 触覚提示装置の把持体の底面図であって、ケーシング、第２リンク部材のボス等を断面化した図である。 触覚提示装置の把持体の左側面図である。 触覚提示装置の把持体の底面図である。 触覚提示装置の把持体の右側面図である。 触覚提示装置の把持体の平面図である。 触覚提示装置の把持体の左側面図である。 回転抵抗発生部の断面図と給電ユニットを示す図である。 仮想オブジェクト触覚提示装置において実行される処理動作を示すフローチャートである。 第２実施形態に係るＨＭＤ制御装置および触覚提示装置の機能ブロックを示す図である。 第３実施形態に係るＨＭＤ制御装置および触覚提示装置の機能ブロックを示す図である。 第３又は第４実施形態に係る触覚提示装置の把持体の底面図であってケーシング、第２リンク部材のボス等を断面化した図である。 第４実施形態に係るＨＭＤ制御装置および触覚提示装置の機能ブロックを示す図である。
＜第１実施形態＞
以下、本発明の第１実施形態について図面を参照しながら説明する。図１および図２に示すように、本実施形態に係る仮想オブジェクト触覚提示装置１は、ヘッドマウントディスプレイ装置２、ＨＭＤ制御装置３、触覚提示装置４等を備えている。
ヘッドマウントディスプレイ装置２は、ユーザ６の頭に装着するフレーム部７と、フレーム部７に取付けられた左目用ディスプレイ８Ｌおよび右目用ディスプレイ８Ｒ（以下まとめて「ディスプレイ８」ともいう。）を備えている。本実施形態では、ディスプレイ８Ｌ，８Ｒは、ユーザ６の視界に現実世界と仮想オブジェクトとの複合像を表示させることができる透過型ディスプレイである。なお、この透過型ディスプレイの構造は、多数の文献に開示されている周知のもの（例えば特許文献１に開示されている透過型ディスプレイ）と同様の構造とすることができる。
ＨＭＤ制御装置３は、ヘッドマウントディスプレイ装置２のディスプレイ８Ｌ，８Ｒを制御するディスプレイ制御装置である。本実施形態では、ＨＭＤ制御装置３は、ヘッドマウントディスプレイ装置２のフレーム部７に取付けられている。ＨＭＤ制御装置３は、例えば、超小型パーソナルコンピュータにＯＳ（オペレーションシステム）およびアプリケーションプログラムをインストールして構成することができる。本実施形態におけるヘッドマントディスプレイ装置２およびＨＭＤ制御装置３として、例えば、米国マイクロソフト社製ＨＯＬＯＬＥＮＳ（登録商標）を使用することが可能である。
ＨＭＤ制御装置３の一つの概略構成例を図３に示す。なお、図３に示すＨＭＤ制御装置３のハードウエア構成は例示に過ぎず、後述するＨＭＤ制御装置３の機能を発揮するものであれば、他のハードウエア構成を採用することも可能である。
図３に例示するＨＭＤ制御装置３は、プロセッサ１１、メインメモリ１２、ストレージ１３、通信インターフェース１４、各種機器の入出力インターフェース１５等を備えている。上記の各部１１〜１５はバス１６を介して互いに接続されている。なお、入出力インターフェース１５は、後述する各種機器８，１７〜２０毎に設けられているが、図３において纏めて１つのブロックとして図示している。
プロセッサ１１は、ストレージ１３に格納されたプログラム１０（ＯＳ、アプリケーションプログラム等）を実行することにより、後述する各種の機能を実現する。
ストレージ１３には、プログラム１０のほか、触覚情報データベース２２（以下「触覚情報ＤＢ２２」ともいう。）が格納されている。触覚情報ＤＢ２２は、図４に示すように、仮想オブジェクトの種類毎に触覚情報を有する。より詳しくは、仮想オブジェクトの種類毎に後述する触覚提示装置４の回転抵抗発生部１０４に供給する電流のパラメータ情報を有する。このパラメータ情報として、仮想オブジェクトの種類毎に、電流値、周波数およびＤＵＴＹ比が設定されている。なお、電流値、周波数およびＤＵＴＹ比はパラメータ情報の一例であり、これらに代えて又はこれらに加えて他のパラメータ情報を設定することも可能である。
通信インターフェース１４には、ワイヤレス通信装置２４が接続されている。ＨＭＤ制御装置３は、ワイヤレス通信装置２４を介して、後述する触覚提示装置４に備わっているワイヤレス通信装置２０３とワイヤレス通信をすることができる。本実施形態では、両方のワイヤレス通信装置２４，２０３の間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）によるワイヤレス通信が行われる。なお、ワイヤレス通信に代えてワイヤード通信を採用してもよい。また、Ｂｌｕｅｔｏｏｔｈ（登録商標）によるワイヤレス通信に代えて他の通信プロトコルによるワイヤレス通信を採用してもよい。
ＨＭＤ制御装置３には、図３に示すように、ディスプレイ８、環境認識カメラ１７、Ｄｅｐｔｈカメラ１８、赤外線カメラ１９および慣性計測ユニット２０が接続されている。
ディスプレイ８は、ＨＭＤ制御装置３から受け取る画像情報に基づいて仮想オブジェクトを現実世界の中に表示する。
環境認識カメラ１７は、現実世界の空間環境の画像情報を取得し、Ｄｅｐｔｈカメラ１８は、被写界の深度情報取得する。ＨＭＤ制御装置３は、環境認識カメラ１７およびＤｅｐｔｈカメラ１８から取得した情報を基に現実世界の緻密な３次元空間の情報を生成し、その情報をディスプレイ８Ｌ，８Ｒの画像情報に反映させる。
赤外線カメラ１９は、物体の表面から放射される赤外線情報を取得する。ＨＭＤ制御装置３は、赤外線カメラ１９およびＤｅｐｔｈカメラ１８からユーザの手の状態に関する情報を取得する。なお、本実施形態において赤外線カメラ１９およびＤｅｐｔｈカメラ１８は、ユーザの手の状態に関する情報を検出するハンド状態検出部を構成している。
慣性計測ユニット２０は、３軸磁力センサ、３軸ジャイロセンサおよび３軸加速度センサなどの慣性センサを含んでいる。慣性計測ユニット２０は、ヘッドマウントディスプレイ装置２の位置、向きおよび加速度を感知する。ＨＭＤ制御装置３は、慣性計測ユニット２０から取得する情報に基づいて、ユーザの視線の方向を特定し、ディスプレイ８において、ユーザの視線と現実世界又は仮想オブジェクトとが交差する位置にユーザフォーカス２８を表示する（図５参照）。ユーザフォーカス２８は、選択可能なオブジェクトと重なった場合と、重なっていない場合とで表示形態が異なる。本実施形態のユーザフォーカス２８は、選択可能なオブジェクトと重なった場合、ドーナツ形状となり、選択可能なオブジェクトと重なっていない場合、半透明の円形状となる。なお、図５に示すディスプレイ８の表示例では、選択可能なオブジェクト３８として石膏像のみが表示され、現実世界のオブジェクトとして、テーブル３９、窓４０、壁４１、床４２などが表示されている。
次に、プロセッサ１１がプログラムを実行することにより、ＨＭＤ制御装置３において実現される機能について説明する。プロセッサ１１は、プログラムを実行することにより、図４に示すように、フォーカス位置決定部３１、表示制御部３２、重畳判定部３３、ハンドジェスチャ認定部３４および触覚情報送信部３５として機能する。
フォーカス位置決定部３１は、慣性計測ユニット２０から取得する情報に基づいて、ユーザの視線の方向（実際はユーザの顔の正面が向く方向）を算出し、ディスプレイ８の視界において現実世界又は仮想オブジェクトとユーザの視線とが交差する位置をユーザフォーカス２８の位置として決定する。もちろん、ユーザフォーカス２８の位置は、ユーザの視線の方向が変わることに伴って移動する。
表示制御部３２は、図５に示すように、ディスプレイ８に、仮想オブジェクト３８を表示させるとともに、フォーカス位置決定部３１により決められた位置にユーザフォーカス２８を表示する。ユーザフォーカス２８が仮想オブジェクト３８と重なった状態で、ユーザが所定のハンドジェスチャを行った場合、ディスプレイ８に所定の表示を行う。所定の表示としては、例えば、当該仮想オブジェクトの変形、当該仮想オブジェクトの消滅、別の仮想オブジェクトの表示などが挙げられる。
重畳判定部３３は、ユーザフォーカス２８が選択可能な仮想オブジェクト３８と重なっているか否かを判定する。
ハンドジェスチャ認定部３４は、赤外線カメラ１９およびＤｅｐｔｈカメラ１８がそれぞれ検出する（ハンド状態検出部が検出する）ユーザの手の状態に関する情報に基づいて、ユーザが所定のハンドジェスチャを行ったか否かを認定する。
触覚情報送信部３５は、ユーザフォーカス２８が選択可能な仮想オブジェクト３８と重なった場合に、当該仮想オブジェクト３８に対応付けられた触覚情報を触覚情報ＤＢ２２から読み出し、触覚提示装置４に送信する。また、触覚情報送信部３５は、ハンドジェスチャ認定部３４が、ユーザが所定のハンドジェスチャを行ったことを認定すると、触覚提示装置４に対して、触覚の提示を停止すべき旨の命令を送信する。なお、本実施形態では、所定のハンドジェスチャは、人差し指を立てた状態から倒す動作（エアタップ）である。
−触覚提示装置の説明−
次に、触覚提示装置４について説明する。本実施形態における触覚提示装置４は、図１に示すように、ユーザが手に持って自由に移動させながら操作することができる把持体１００と、給電ユニット２００とを備えている。
把持体１００は、図６又は図７に示すように、ユーザの手に収まる形状および大きさに形成されている。このため、ユーザは把持体１００を手に持ちながら操作することができる。この把持体１００は、給電ユニット２００から供給される電流の値に応じた触覚を変位部１０２においてユーザに提示する。
図８〜図１３に示すように、把持体１００は、変位部１０２、回転軸１０３、回転抵抗発生部（変位抵抗発生部）１０４、ケーシング１０５等を備えている。また、把持体１００は、２つの持ち部１０６Ａ，１０６Ｂを備えている。
変位部１０２は、ユーザの操作によってケーシング１０５に対して変位するように設けられている。本実施形態では、変位部１０２は、一端部に設けられた回動軸線１０８回りに回動してケーシング１０５に対して接近又は離反する。この変位部１０２は、一端部が支軸１０９に回動自在に支持されている。また、変位部１０２は、図９に示すように、円弧状に湾曲した湾曲板を含んで構成されている。変位部１０２がユーザの操作力によって回動されると、その操作力は、リンク機構１１０を介して、回転部である回転軸１０３に伝達される。
変位部１０２は、図９および図１３に示すように、所定範囲内で回動できるように構成されている。本実施形態では、変位部１０２には、リターンスプリング等が設けられていない。そのため、把持体１００を使用するに当たっては、例えば図６又は図７に示すように、ユーザの指先と変位部１０２とを例えば面ファスナー付結束具１１２を使用して結束することが好ましい。これにより、ユーザは、変位部１０２を指先によってケーシング１０５側に押し込んだ後、再び元の位置に引き戻すことができる。
リンク機構１１０は、変位部１０２と回転軸１０３とを連動させるために設けられている。リンク機構１１０は、図９に示すように、第１リンク部材１１４および第２リンク部材１１５で構成されている。第１リンク部材１１４は、一端部が変位部１０２の裏面に回転自在に接続され、他端部が第２リンク部材１１５の先端部に回転自在に接続されている。本実施形態では、図７に示すように、第１リンク部材１１４が２本設けられており、第２リンク部材１１５の両側にそれぞれ回転自在に接続されている。第２リンク部材１１５は、図８に示すように、基部がワンウェイクラッチ１１６を介して回転軸１０３に連結されている。第２リンク部材１１５の基部にはボス部１１５ａが形成されており、このボス部１１５ａは、ベアリング１１７を介してケーシング１０５内に支持されている。また、ボス部１１５ａの内部には、回転軸１０３の先端部がベアリング１２０を介して支持されている。回転軸１０３は、回転抵抗発生装部１０４から突出した中実軸１０３ａと、中実軸１０３ａに対して回転一体に外嵌された中空軸１０３ｂとで構成されているが、回転軸１０３を１つの部材で構成してもよい。以下、「中実軸１０３ａ」のみを単に「回転軸１０３」ということもある。
上記のワンウェイクラッチ１１６は、ユーザによって変位部１０２がケーシング１０５側に押し込まれる際に、変位部１０２からリンク機構１１０を介して伝達される操作力を回転軸１０３および回転抵抗発生部１０４に伝達する。したがって、ユーザによって変位部１０２がケーシング１０５側から引き戻される際は、ワンウェイクラッチ１１６は、変位部１０２からリンク機構１１０を介して伝達される操作力を回転軸１０３および回転抵抗発生部１０４に伝達しない。
回転抵抗発生部１０４は、回転軸１０３に回転抵抗を与えることにより、変位部１０２に回動抵抗（変位抵抗）を与える。本実施形態における回転抵抗発生部１０４は、外部から供給される電流の大きさに応じた強さの磁場を磁気粘性流体に印加することにより、電流の大きさに応じた回転抵抗を回転軸１０３に与える。この回転抵抗発生部１０４の外形は略円柱状に形成されており、その一方の端面１１８から回転軸１０３が突出している。回転抵抗発生部１０４の内部構造の具体例については後に詳述する。なお、図８に示すように、回転軸１０３の軸線１０３ａと変位部の回動軸線１０８とは略平行になっている。
ケーシング１０５は、内部に収容部１０７を有している。この収容部１０７には、回転軸１０３、回転抵抗発生部１０４、第２リンク部材１１５のボス部１１５ａ、ベアリング１１７等が収容されている。収容部１０７のうち、回転抵抗発生部１０４を収容する部分１０７ａは、回転抵抗発生部１０４の外周部１３３ａが嵌まり込む形状になっている。ケーシング１０５の片側には、窓１０５ａが形成されており、その窓１０５ａから回転抵抗発生部１０４の他方の端面１１９が露出している。なお、回転抵抗発生部１０４の他方の端面１１９は平坦面になっている。
ケーシング１０５の外形は、図９に示すように、略円柱状に形成され、図９および図１０に示すように、その一部から外側に向かって一対の支持アーム１１３が延出している。一対の支持アーム１１３の先端部には、既述した支軸１０９が架設されている。また、ケーシング１０５には、リンク機構１１０との干渉を避けるための開口部１０５ｂが設けられている（図７および図１０参照）。なお、本実施形態におけるケーシング１０５は、図１０に示すように、２つのケーシング部材１０５Ａ，１０５Ｂがボルト１３４で締結されることにより構築されている。
持ち部１０６Ａ，１０６Ｂは、把持体１００において、ユーザが、変位部１０２を操作しながら、指で挟み持つことができる部分である。本実施形態に係る把持体１００には、少なくとも２つの持ち部１０６Ａ，１０６Ｂが備わっている。
１つめの持ち部１０６Ａは、ケーシング１０５の両側に形成されている。本実施形態では、図１２に示すように、ケーシング１０５の両側が、変位部１０２の中心線１０２ａが回動する方向の両側に存在している。別の言い方をすれば、変位部１０２が変位するときに変位部１０２の中心線１０２ａが描く軌道を含む平面の両側にケーシング１０５の両側が存在する。また、ケーシング１０５の両側には、平坦面が設けられている。一方の平坦面は、ケーシングの側面１２１のみで形成されており、他方の平坦面は、回転抵抗発生部１０４の他端面１１９を含んで形成されている。ケーシング１０５の側面１２１も、回転抵抗発生部１０４の他端面１１９も、変位部１０２の中心線１０２ａが回動する方向に対して略平行になっている。
ユーザは、図７に示すように、親指１２３と中指１２４で持ち部１０６Ａを挟み持ち、人差し指１２５を変位部１０２に沿わせることで、把持体１００を手に持ちながら、人差し指１２５で変位部１０２を操作することができる。
２つめの持ち部１０６Ｂは、図６に示すように、変位部１０２と、ケーシング１０５の変位部１０２と反対側の側部１２６とによって形成されている。この場合、ユーザは、ケーシング１０５の変位部１０２と反対側の側部１２６に親指１２３を沿わせ、人差し指１２５を変位部１０２に沿わせることで、把持体１００を挟み持つことができる。この場合も、把持体１００を手に持ちながら、人差し指１２５で変位部１０２を操作することができる。
次に、回転抵抗発生部１０４の構成例を図１４に基づいて説明する。図１４に例示する回転抵抗発生部１０４は、円板１２８、ヨーク１２９，１３０、コイル１３１、磁気粘性流体１３２、ケース１３３等で構成されている。
円板１２８は、回転抵抗発生部１０４の内部で回転する内部ロータであって磁性体を用いて構成されている。円板１２８の裏面１２８ｂの中心部には、回転軸１０３が垂直に接続されている。したがって、円板１２８と回転軸１０３は一体に回転する。回転軸１０３は、ベアリング１３５を介してヨーク１３０に設けられた軸穴１３６に支持されている。なお、回転軸１０３には非磁性体が用いられることが望ましい。
ヨークは、第１ヨーク１２９および第２ヨーク１３０で構成されている。第１ヨーク１２９は、円板１２８の表面１２８ａに対して微小隙間を介して対向しており、円板状の部材で構成されている。この第１ヨーク１２９は、円筒状のケース１３３に嵌め込まれて固定されている。
第２ヨーク１３０は、円板１２８の裏面１２８ｂに対して微小隙間を介して対向する対向面１３０ａを有する。この第２ヨーク１３０は、円筒状のケース１３３の内側に嵌め込まれて固定されている。なお、回転抵抗発生部１０４の外周部であるケース１３３は、ケーシング１０５（図８参照）に対して回転しないように固定されている。本実施形態では図９に示すように、ホーローセット１２７を用いてケース１３３がケーシング１０５に対して固定されている。
第１ヨーク１２９の中心部に形成された凹部と、回転軸１０３の端面の中心に形成された凹部とで形成されるスペースに非磁性体からなる球体１３７が収容されている。
コイル１３１は、第２ヨーク１３０に形成された環状の溝に沿って配設されている。このコイル１３１には、後述する給電制御部２０２から電流が供給される。
磁気粘性流体１３２は、円板１２８と、第１ヨーク１２９および第２ヨーク１３０との隙間に封入されている。この磁気粘性流体１３２は、磁性粒子を分散媒に分散させてなる液体である。磁性粒子として、例えばナノサイズの金属粒子（金属ナノ粒子）からなるものを使用することができる。磁性粒子は磁化可能な金属材料からなり、金属材料に特に制限はないが軟磁性材料が好ましい。軟磁性材料としては、例えば鉄、コバルト、ニッケル及びパーマロイ等の合金が挙げられる。分散媒は、特に限定されるものではないが、一例として疎水性のシリコーンオイルを挙げることができる。磁気粘性流体における磁性粒子の配合量は、例えば３〜４０ｖｏｌ％とすることができる。磁気粘性流体にはまた、所望の各種特性を得るために、各種の添加剤を添加することも可能である。
上記構成を備える回転抵抗発生部１０４において、コイル１３１に電流が印加されると、例えば図１４に示す矢印Ｐが示す方向に沿って円板１２８、第１ヨーク１２９、第２ヨーク１３０内に磁路が形成される。この磁路は、円板１２８の表面１２８ａと第１ヨーク１２９との隙間に介設する磁気粘性流体１３２、および、円板１２８の裏面１２８ｂと第２ヨーク１３０との隙間に介在する磁気粘性流体１３２を貫通する。これにより、磁気粘性流体１３２には、磁場の強さに応じた粘度（ずり応力）が発現し、円板１２８とヨーク１２９，１３０との間で伝達されるトルクが磁場の強さに応じて大きくなる。すなわち、回転抵抗発生部１０４は、コイル１３１に印加される電流値に応じた大きさの回転抵抗を回転軸１０３に与える。
次に、給電ユニット２００について説明する。給電ユニット２００は、例えば、ユーザの体の一部（図１に示す例では腰）に装着可能なポータブル型の給電ユニットであることが望ましい。給電ユニット２００は、図６に示すように、バッテリー２０１、給電制御部２０２およびワイヤレス通信装置２０３を備えている。給電制御部２０２は、ワイヤレス通信装置２０３を介してＨＭＤ制御装置３から受信する仮想オブジェクトの触覚情報（電流のパラメータ情報）に基づいて、バッテリー２０１から回転抵抗発生部１０４のコイル１３１に供給する電流値を制御する。給電制御部２０２は、コイル１３１に供給する電流値を制御することにより、変位部１０２に付与する変位抵抗を制御する変位抵抗制御部として機能する。
給電制御部２０２は、ＨＭＤ制御装置３から受信する触覚情報（電流のパラメータ情報）に基づいて、コイル１３１に供給する電流値を０Ａとパラメータ情報に指定される電流値との間で、パラメータ情報に指定される周波数およびＤｕｔｙ比にしたがって電流値を変動させる制御を行う。
以上の構成を備える触覚提示装置４を使用する場合、図６または図７に示すように、把持体１００を指で挟み持ちながら、変位部１０２を人差し指１２５で押し込み、または、引き戻す操作を行う。変位部１０２を押し込むときは、変位部１０２が受けた操作力がワンウェイクラッチ１１６を介して回転抵抗発生部１０４に伝達されるため、変位部１０２を押し込む動きに対して、コイル１３１に印加される電流値に応じた抵抗が発生し、その抵抗が触覚としてユーザに提示される。逆に、変位部１０２を引き戻す際は、変位部１０２が受けた操作力がワンウェイクラッチ１１６から回転抵抗発生部１０４側に伝達されないため、変位部１０２を引き戻す動きに対して殆ど抵抗が発生しない。このため、ユーザは変位部１０２を引き戻すときは軽い力で引き戻すことができる。
次に、仮想オブジェクト触覚提示装置１において実行される処理動作について図１５のフローチャートに基づいて説明する。
表示制御部３２がディスプレイ８において、現実世界に融合させて仮想オブジェクトを表示させるとともに（Ｓ１）、ユーザフォーカス２８を表示させているとき（Ｓ２）、重畳判定部３３により、ユーザフォーカス２８が、選択可能な仮想オブジェクト３８と重なったか否かが繰り返し判定される（Ｓ３）。
重畳判定部３３により、ユーザフォーカス２８が、選択可能な仮想オブジェクト３８と重なったと判定されると（Ｓ３：ＹＥＳ）、触覚情報送信部３５により、当該仮想オブジェクト３８に対応付けられた触覚情報である電流のパラメータ情報が触覚情報ＤＢ２２から読み出されて、ワイヤレス通信装置２４を介して触覚提示装置４側に送信される（Ｓ４）。
一方、触覚情報送信部３５により送信された電流のパラメータ情報が触覚提示装置４側のワイヤレス通信装置２０３を介して給電制御部２０２に受信されると（Ｔ１）、給電制御部２０２（変位抵抗制御部）は、その電流のパラメータ情報に従って、バッテリー２０１から回転抵抗発生部１０４のコイル１３１に供給する電流値を制御する（Ｔ２）。これにより、回転抵抗発生部１０４は、給電制御部２０２から供給される電流値に応じた強さの磁場を磁気粘性流体に印加する。これにより、回転抵抗発生部１０４は、電流値に応じた回転抵抗を回転軸１０３に与え、その回転抵抗がリンク機構１１０を介して変位部１０２において変位抵抗として発現する。そして、当該変位抵抗は、ユーザが変位部１０２を押し込む際の触覚として提示される。このようにして変位部１０２を押し込む際に提示される触覚は、回転抵抗発生部１０４のコイル１３１に供給される電流の電流値、周波数、Ｄｕｔｙ比等に応じて異なる。
前記Ｓ４の処理に続いて、ＨＭＤ制御装置４側では、ハンドジェスチャ認定部３４が、ユーザが所定のハンドジェスチャ（エアタップ）を行ったか否かを繰り返し認定しており、ハンドジェスチャ認定部３４が所定のハンドジェスチャが行われたと認定すると（Ｓ５：ＹＥＳ）、表示制御部３２は、ディスプレイ８において所定の表示処理を行う（Ｓ６）。所定の表示処理としては、例えば、選択された仮想オブジェクトの変形、選択された仮想オブジェクトの消滅、別の仮想オブジェクトの追加表示などが挙げられる。その後、触覚情報送信部３５は、触覚の提示を停止すべき旨の命令を触覚提示装置４に送信する（Ｓ７）。
一方、触覚情報送信部３５により送信された触覚の提示を停止すべき旨の命令が触覚提示装置４側のワイヤレス通信装置２０３を介して給電制御部２０２に受信されると（Ｔ３）、給電制御部２０２（変位抵抗制御部）は、回転抵抗発生部１０４のコイル１３１への給電を停止する（Ｔ４）。これにより、変位部１０２における触覚の提示が停止される。
以上に説明した仮想オブジェクト触覚提示装置１によれば、ユーザが、ユーザフォーカス２８を仮想オブジェクト３８に重ね、触覚提示装置４の変位部１０２を押し込むことで、仮想オブジェクトに応じた触覚をユーザの手に提示することができる。また、触覚提示装置４の変位部１０２を押し込む操作は、所定のハンドジェスチャ（エアタップ）と同じ動作であるため、ユーザは仮想オブジェクトを選択操作しながら触覚の提示を受けることができる。
＜第２実施形態＞
以下、本発明の第２実施形態について説明する。第２実施形態においては、主に第１実施形態との相違点について説明し、第１実施形態と同様の構成および機能については説明を省略する。
第２実施形態に係る仮想オブジェクト触覚提示装置は、図１６に示すように、把持体１００に把持体１００の位置に関する情報を検出する把持体位置検出部１５０を備えている。把持体位置検出部１５０として、例えば、前述した慣性計測ユニット２０と同様の慣性計測ユニットを使用することができる。また、給電ユニット２００には、把持体位置検出部１５０で検出された情報をワイヤレス通信装置２０３を介してＨＭＤ制御装置３側へ送信する位置情報送信部２５０が更に設けられている。
ＨＭＤ制御装置３のフォーカス位置決定部３１Ａは、把持体１００に含まれる把持体位置検出部１５０から取得する把持体１００の位置に関する情報に基づいて、ディスプレイ８におけるユーザフォーカス２８の位置を決定する。すなわち、本実施形態では、ユーザの視線の移動によってユーザフォーカス２８を移動させるのではなく、把持体１００を持つユーザの手の移動によってユーザフォーカス２８を移動させることができる。
＜第３実施形態＞
以下、本発明の第３実施形態について説明する。第３実施形態においては、主に第１実施形態との相違点について説明し、第１実施形態と同様の構成および機能については説明を省略する。
第３実施形態に係る仮想オブジェクト触覚提示装置は、図１７に示すように、触覚提示装置４の把持体１００に、変位部１０２の所定位置（本実施形態では、変位部１０２が最も引き戻された位置）からの変位量の情報を検出する変位量検出部１１１が設けられている。また、給電ユニット２００には、変位量検出部１１１で検出された変位量に関する情報をワイヤレス通信装置２０３を介してＨＭＤ制御装置３側へ送信する変位量情報送信部２５１が設けられている。
ＨＭＤ制御装置３のプロセッサ１１は、変位量検出部１１１から取得する触覚提示装置４の変位部１０２の変位量の情報に基づいて、変位量が所定値以上であるか否かを認定する変位量認定部３６としても機能する。そして、表示制御部３２は、ユーザフォーカス２８が選択可能な仮想オブジェクト３８と重なった状態で、変位量認定部３６により変位部１０２の変位量が所定値以上であることが認定されると、ディスプレイ８において所定の表示処理を行う。所定の表示処理としては、例えば、選択された仮想オブジェクトの変形、選択された仮想オブジェクトの消滅、別の仮想オブジェクトの追加表示などが挙げられる。
上記の変位量検出部１１１の具体例を図１８に示す。変位量検出部１１１として、例えば、エンコーダ、可変抵抗器等を使用することができる。同図に示す変位量検出部１１１は、ケーシング１０５の収容部１０７の所定部分１０７ｂに嵌め込まれ、その入力部が第２リンク部材１１５のボス部１１５ａと連結部材１２２を介して接続されている。第２リンク部材１１５のボス部１１５ａは、変位部１０２の変位に連動して回転するため変位量検出部１１１は、その回転量を検出することにより、変位部１０２の変位量を検出する。
＜第４実施形態＞
以下、本発明の第４実施形態について説明する。第４実施形態においては、主に第１実施形態との相違点について説明し、第１実施形態と同様の構成および機能については説明を省略する。
第４実施形態に係る仮想オブジェクト触覚提示装置は、図１９に示すように、触覚提示装置４の把持体１００に、変位部１０２の所定位置（本実施形態では、変位部１０２が最も引き戻された位置）からの変位量の情報を検出する変位量検出部１１１が設けられている。また、給電ユニット２００には、変位量検出部１１１で検出された変位量に関する情報をワイヤレス通信装置２０３を介してＨＭＤ制御装置３側へ送信する変位量情報送信部２５１が設けられている（以上の点は第３実施形態と同様である。）。
また、本実施形態では、触覚情報ＤＢ２２Ａは、図１９に示すように、選択可能な仮想オブジェクトの種類および変位部１０２の変位量に対応付けて、触覚提示装置４の回転抵抗発生部１０４に供給する電流のパラメータ情報を格納している。このパラメータ情報として、仮想オブジェクトの種類および変位量毎に、電流値、周波数およびＤＵＴＹ比が設定されている。本実施形態では、仮想オブジェクトの種類毎に３種類の変位量、電流値、周波数およびＤＵＴＹ比が格納されている。
ＨＭＤ制御装置３の触覚情報送信部３５Ａは、ユーザフォーカス２８が選択可能な仮想オブジェクト３８と重なった場合に、選択された仮想オブジェクト３８の種類と、触覚提示装置４側から送られてくる変位部１０２の変位量の情報とに対応付けられた触覚情報（電流のパラメータ情報）を触覚情報ＤＢ２２Ａから読み出し、触覚提示装置４に送信する。
本実施形態によれば、仮想オブジェクトの種類毎に３種類の電流のパラメータ情報が設定されているため、ユーザが変位部１０２を押し込む際に、押し込み量に応じて３種類の触覚が順次提示される。
＜他の変形例＞
本実施形態では、ユーザの視界に現実世界と仮想オブジェクトとの複合像を表示させることができる透過型ディスプレイを採用しているが、現実世界の像を透過せず、仮想オブジェクトのみを表示する非透過型のディスプレイを採用することも可能である。
また、本実施形態におけるヘッドマウントディスプレイ装置２に代えて、通常の設置型ディスプレイ装置を採用することもできる。この設置型ディスプレイ装置が備えるディスプレイも、ユーザの視界に現実世界と仮想オブジェクトとの複合像を表示させることができる透過型ディスプレイであってもよいし、現実世界の像を透過せず、仮想オブジェクトのみを表示する非透過型のディスプレイであってもよい。
通常の設置型ディスプレイを採用する場合、ユーザフォーカス２８（仮想オブジェクト選択手段）をディスプレイ上に表示するために必要な情報となるユーザの視線の方向（ユーザの顔の正面が向く方向）に関する情報は、慣性計測ユニット２０を何らかの装着手段によってユーザ６の頭部に装着することで、当該慣性計測ユニット２０から得ることができる。なお、ユーザの視線の方向に関する情報の取得方法は、上記に限らず、様々な既知の方法によって取得することができる。
１ 仮想オブジェクト触覚提示装置
２ ヘッドマウントディスプレイ装置（ディスプレイ装置）
３ ＨＭＤ制御装置（ディスプレイ制御装置）
４ 触覚提示装置
８，８Ｌ，８Ｒ ディスプレイ
１０ プログラム
１１ プロセッサ
１３ ストレージ
１７ 環境認識カメラ
１８ Ｄｅｐｔｈカメラ
１９ 赤外線カメラ
２０ 慣性計測ユニット
２２ 触覚情報データベース
２８ ユーザフォーカス
３１ フォーカス位置決定部
３２ 表示制御部
３３ 重畳判定部
３４ ハンドジェスチャ認定部
３５ 触覚情報送信部
３６ 変位量認定部
３８ 仮想オブジェクト
１００ 把持体
１０２ 変位部
１０３ 回転軸（回転部）
１０４ 回転抵抗発生部
１１１ 変位量検出部
１２８ 円板（内部ロータ）
１３２ 磁気粘性流体
１５０ 把持体位置検出部
２００ 給電ユニット
２５０ 位置情報送信部
２５１ 変位量情報送信部

Claims (9)

  1. ディスプレイ装置と、
    前記ディスプレイ装置のディプスレイを制御するディスプレイ制御装置と、
    ユーザに触覚を提示する触覚提示装置と、
    選択可能な仮想オブジェクトの種類に対応付けて触覚情報を記憶する触覚情報記憶部と、
    を備える仮想オブジェクト触覚提示装置であって、
    前記ディスプレイ制御装置は、
    前記ディスプレイにおいて、選択可能な仮想オブジェクトを表示するするとともに、ユーザの操作によって前記仮想オブジェクトを選択するための仮想オブジェクト選択手段を表示する表示制御部と、
    前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択された場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する触覚情報送信部と、
    を有し、
    前記触覚提示装置は、
    ユーザの操作によって変位する変位部と、
    前記変位部に変位抵抗を付与する変位抵抗発生部と、
    前記触覚情報送信部から受信した触覚情報に従って前記変位抵抗発生部が前記変位部に付与する変位抵抗を制御する変位抵抗制御部と、
    を有する、
    ことを特徴とする仮想オブジェクト触覚提示装置。
  2. 請求項１に記載の仮想オブジェクト触覚提示装置において、
    前記ディスプレイ装置は、ヘッドマウントディスプレイ装置であり、
    前記仮想オブジェクト選択手段は、ユーザの操作によって移動可能なユーザフォーカスであり、
    前記触覚情報送信部は、前記ユーザフォーカスが、前記選択可能な仮想オブジェクトと重なった場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する、
    ことを特徴とする仮想オブジェクト触覚提示装置。
  3. 請求項２に記載の仮想オブジェクト触覚提示装置において、
    前記触覚提示装置の前記変位抵抗発生部および前記変位部は、ユーザが手に持って自由に移動させることができる把持体の一部を構成しており、
    前記把持体には、当該把持体の位置に関する情報を検出する把持体位置情報検出部が含まれており、
    前記ディスプレイ制御装置は、前記把持体位置情報検出部が検出する位置に関する情報に基づいて前記ディスプレイにおける前記ユーザフォーカスの表示位置を決めるフォーカス位置決定部を有する、
    ことを特徴とする仮想オブジェクト触覚提示装置。
  4. 請求項１〜３の何れか１項に記載の仮想オブジェクト触覚提示装置において、
    ユーザの手の状態に関する情報を検出するハンド状態検出部をさらに備え、
    前記ディスプレイ制御装置は、前記ハンド状態検出部が検出する前記情報に基づいて、ユーザが所定のハンドジェスチャを行ったか否かを認定するハンドジェスチャ認定部を有し、
    前記ディスプレイ制御装置は、前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択されている状態で、前記ハンドジェスチャ認定部が、ユーザが所定のハンドジェスチャを行ったことを認定した場合に、所定の処理を行う、
    ことを特徴とする仮想オブジェクト触覚提示装置。
  5. 請求項１〜３の何れか１項に記載の仮想オブジェクト触覚提示装置において、
    前記触覚提示装置は、前記変位部の変位量の情報を検出する変位量検出部をさらに有し、
    前記ディスプレイ制御装置は、前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択されている状態で、前記変位量検出部が検出した変位量が所定値以上である場合に、所定の処理を行う、
    ことを特徴とする仮想オブジェクト触覚提示装置。
  6. 請求項４又は５に記載の仮想オブジェクト触覚提示装置において、
    前記所定の処理は、前記ディスプレイ制御装置の表示制御部がディスプレイにおいて行う所定の表示である、
    ことを特徴とする仮想オブジェクト触覚提示装置。
  7. 請求項１〜３の何れか１項に記載の仮想オブジェクト触覚提示装置において、
    前記触覚提示装置は、前記変位部の変位量の情報を検出する変位量検出部をさらに有し、
    前記触覚情報記憶部は、選択可能な仮想オブジェクトの種類および前記変位部の変位量に対応付けて触覚情報を記憶しており、
    前記ディスプレイ制御装置の触覚情報送信部は、前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択されている状態で、当該仮想オブジェクトの種類および前記変位部の変位量に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する、
    ことを特徴とする仮想オブジェクト触覚提示装置。
  8. 請求項１〜７の何れか１項に記載の仮想オブジェクト触覚提示装置において、
    前記触覚提示装置の前記変位抵抗発生部は、
    前記変位部と連動して回転する回転部と、
    前記回転部に回転抵抗を与える回転抵抗発生部と、
    を含み、
    前記回転抵抗発生部は、
    前記回転部とともに回転する内部ロータと、
    前記内部ロータの周囲に形成された隙間に封入された磁気粘性流体と、
    前記磁気粘性流体に磁場を印加するための電磁石と、
    を有する、
    ことを特徴とする仮想オブジェクト触覚提示装置。
  9. ディスプレイ装置と、
    前記ディスプレイ装置のディプスレイを制御するディスプレイ制御装置と、
    ユーザに触覚を提示する触覚提示装置と、
    選択可能な仮想オブジェクトの種類に対応付けて触覚情報を記憶する触覚情報記憶部と、
    を備え、
    前記触覚提示装置が、
    ユーザの操作によって変位する変位部と、
    前記変位部に変位抵抗を付与する変位抵抗発生部と、
    前記触覚情報送信部から受信した触覚情報に従って前記変位抵抗発生部が前記変位部に付与する変位抵抗を制御する変位抵抗制御部と、
    を有する、
    仮想オブジェクト触覚提示装置における前記ディスプレイ制御装置としてコンピュータを機能させるためのプログラムであって、
    前記ディスプレイ制御装置を、
    前記ディスプレイにおいて、選択可能な仮想オブジェクトを表示するするとともに、ユーザの操作によって前記仮想オブジェクトを選択するための仮想オブジェクト選択手段を表示する表示制御部と、
    前記仮想オブジェクト選択手段により、選択可能な仮想オブジェクトが選択された場合に、当該仮想オブジェクトの種類に対応付けられた触覚情報を前記触覚情報記憶部から読み出して前記触覚提示装置に送信する触覚情報送信部
    として機能させることを特徴とするプログラム。
JP2018140869A 2018-07-27 2018-07-27 仮想オブジェクト触覚提示装置およびプログラム Active JP7457453B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018140869A JP7457453B2 (ja) 2018-07-27 2018-07-27 仮想オブジェクト触覚提示装置およびプログラム
US16/517,101 US10890977B2 (en) 2018-07-27 2019-07-19 Haptic feedback device and program for virtual objects
JP2023178078A JP2023171678A (ja) 2018-07-27 2023-10-16 仮想オブジェクト触覚提示装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018140869A JP7457453B2 (ja) 2018-07-27 2018-07-27 仮想オブジェクト触覚提示装置およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023178078A Division JP2023171678A (ja) 2018-07-27 2023-10-16 仮想オブジェクト触覚提示装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2020017159A true JP2020017159A (ja) 2020-01-30
JP7457453B2 JP7457453B2 (ja) 2024-03-28

Family

ID=69179247

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018140869A Active JP7457453B2 (ja) 2018-07-27 2018-07-27 仮想オブジェクト触覚提示装置およびプログラム
JP2023178078A Pending JP2023171678A (ja) 2018-07-27 2023-10-16 仮想オブジェクト触覚提示装置およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023178078A Pending JP2023171678A (ja) 2018-07-27 2023-10-16 仮想オブジェクト触覚提示装置およびプログラム

Country Status (2)

Country Link
US (1) US10890977B2 (ja)
JP (2) JP7457453B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189423A1 (ja) * 2022-03-30 2023-10-05 株式会社栗本鐵工所 制御装置、制御方法、触覚提示システム及びプログラム製品
JP7476246B2 (ja) 2022-02-15 2024-04-30 株式会社栗本鐵工所 触覚提示システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913572B (zh) * 2020-07-03 2022-03-15 山东大学 用于用户劳动学习的人机交互系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232012A (ja) * 1998-02-17 1999-08-27 Omron Corp インタフェース装置およびインタフェースシステム
JP2010020526A (ja) * 2008-07-10 2010-01-28 Ritsumeikan 操作システム
JP2015519673A (ja) * 2012-06-14 2015-07-09 クアルコム，インコーポレイテッド 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話
JP2016530600A (ja) * 2013-06-18 2016-09-29 マイクロソフト テクノロジー ライセンシング，エルエルシー 多ステップ仮想オブジェクト選択
WO2016181469A1 (ja) * 2015-05-11 2016-11-17 富士通株式会社 シミュレーションシステム
JP2017138651A (ja) * 2016-02-01 2017-08-10 株式会社栗本鐵工所 力覚提示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010112041A (ja) * 2008-11-05 2010-05-20 Aisin Seiki Co Ltd 車両用開閉体開閉駆動装置
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US9744449B2 (en) * 2014-12-22 2017-08-29 Sony Interactive Entertainment Inc. Peripheral devices having dynamic weight distribution to convey sense of weight in HMD environments
US11254012B2 (en) * 2016-09-14 2022-02-22 Keba Ag Control device and control method for industrial machines having controlled movement drives
MX2019011754A (es) * 2017-03-31 2020-01-23 VRgluv LLC Dispositivos de interfaz haptica.

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232012A (ja) * 1998-02-17 1999-08-27 Omron Corp インタフェース装置およびインタフェースシステム
JP2010020526A (ja) * 2008-07-10 2010-01-28 Ritsumeikan 操作システム
JP2015519673A (ja) * 2012-06-14 2015-07-09 クアルコム，インコーポレイテッド 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話
JP2016530600A (ja) * 2013-06-18 2016-09-29 マイクロソフト テクノロジー ライセンシング，エルエルシー 多ステップ仮想オブジェクト選択
WO2016181469A1 (ja) * 2015-05-11 2016-11-17 富士通株式会社 シミュレーションシステム
JP2017138651A (ja) * 2016-02-01 2017-08-10 株式会社栗本鐵工所 力覚提示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7476246B2 (ja) 2022-02-15 2024-04-30 株式会社栗本鐵工所 触覚提示システム
WO2023189423A1 (ja) * 2022-03-30 2023-10-05 株式会社栗本鐵工所 制御装置、制御方法、触覚提示システム及びプログラム製品

Also Published As

Publication number Publication date
JP7457453B2 (ja) 2024-03-28
US20200033948A1 (en) 2020-01-30
US10890977B2 (en) 2021-01-12
JP2023171678A (ja) 2023-12-01

Similar Documents

Publication Publication Date Title
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
JP2023171678A (ja) 仮想オブジェクト触覚提示装置およびプログラム
Sinclair et al. Capstancrunch: A haptic vr controller with user-supplied force feedback
USRE40808E1 (en) Low-cost haptic mouse implementations
JP2019192242A (ja) 没入型現実インターフェースモードを提供するシステム、デバイス及び方法
US8441444B2 (en) System and method for providing directional tactile sensations
KR200257172Y1 (ko) 촉감 마우스장치
US20110148607A1 (en) System,device and method for providing haptic technology
US20170220112A1 (en) Haptic information presentation system and method
JP2017168121A (ja) 情報処理方法
US20080316171A1 (en) Low-Cost Haptic Mouse Implementations
JP6906275B2 (ja) 力覚提示装置
EP0995186A4 (en) GRAPHIC CLICKING SURFACES FOR FORCE RETURN APPLICATIONS
Sagheb et al. SWISH: A shifting-weight interface of simulated hydrodynamics for haptic perception of virtual fluid vessels
EP3931668B1 (en) Virtual reality controller
KR102234776B1 (ko) 햅틱 휠을 이용한 vr 또는 게임 컨트롤러 및 그 제어 방법, 이를 구비한 vr 시스템
JP3084433U (ja) 触感マウス装置
JP2024094371A (ja) 触覚提示システムおよびプログラム
JP2019185175A (ja) 力覚提示装置
JP2023118333A (ja) 触覚提示システム
WO2024090303A1 (ja) 情報処理装置及び情報処理方法
JP2018041198A (ja) 力触覚提示システム
JP7401992B2 (ja) 力覚提示装置
WO2023179421A1 (zh) 头戴式设备的手柄以及头戴式设备
WO2019043787A1 (ja) 振動制御装置

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180820

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230308

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230308

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230317

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230322

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230407

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230411

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230411

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240315

R150 Certificate of patent or registration of utility model

Ref document number: 7457453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150