JP2023050191A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2023050191A
JP2023050191A JP2022156628A JP2022156628A JP2023050191A JP 2023050191 A JP2023050191 A JP 2023050191A JP 2022156628 A JP2022156628 A JP 2022156628A JP 2022156628 A JP2022156628 A JP 2022156628A JP 2023050191 A JP2023050191 A JP 2023050191A
Authority
JP
Japan
Prior art keywords
information
image
unit
information processing
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022156628A
Other languages
English (en)
Inventor
守 宮脇
Mamoru Miyawaki
裕之 篠田
Hiroyuki Shinoda
貴晶 神垣
Takaaki Kamigaki
充 伊藤
Mitsuru Ito
汰雄 森崎
Tao Morisaki
颯 鈴木
Hayate Suzuki
篤 松林
Atsushi Matsubayashi
涼哉 小丹枝
Ryoya Onishi
泰才 牧野
Yasutoshi Makino
碩 井上
Seki Inoue
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to US18/077,393 priority Critical patent/US20240111366A1/en
Publication of JP2023050191A publication Critical patent/JP2023050191A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transducers For Ultrasonic Waves (AREA)

Abstract

【課題】触覚から対象物の形状等を認識することのできるシステムを構成することのできる情報処理装置及びプログラムを提供する。【解決手段】システムにおいて、情報処理装置１は、情報取得部１０１、画像処理部１０３、位置処理部１０４、視覚情報生成部１０５及び触覚情報生成部１０６を備える。情報取得部１０１は、ユーザの視野を示す情報を含む視点情報と、超音波の照射対象の動作を示す動作情報と、対象物情報とを取得する。視覚情報生成部１０５は、位置処理部１０４が算出した位置に基づいて、背景画像と、対象物画像とを重ね合わせた視覚情報を生成し、該生成した視覚情報を表示装置２６に出力する。触覚情報生成部１０６は、位置処理部１０４が算出した位置と、動作情報と、対象物情報とに基づいて、対象物に応じた超音波をユーザに照射させる触覚情報を生成し、該生成した触覚情報を超音波発生装置２７に出力する。【選択図】図３

Description

本発明は、情報処理装置及びプログラムに関する。
近年、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）や仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）を利用する機会が増大している。これらの技術は、人の視覚に対する画像を表示する技術であるが、これらに、触覚を提示することを加えることも望まれている。触覚の提示には、例えば、超音波を用いたものが提案されている（例えば、特許文献１）。
特表２０２１－５０８１１５号公報
ところで、視覚情報とともに触覚情報を提示する場合、提示する触覚が、対象物の有無を確認できる程度の簡易なものであれば、触覚から対象物の形状を認識したり、対象物を操作することに利用することは困難である。
本発明では上記事情を鑑み、触覚から対象物の形状等を認識することのできるシステムを構成することのできる情報処理装置及びプログラムを提供することとした。
本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、情報取得部と、画像処理部と、位置処理部と、視覚情報生成部と、触覚情報生成部とを備える。情報取得部は、視点情報と、動作情報と、対象物情報とを取得可能に構成される。視点情報は、ユーザの視野を示す情報を含む。動作情報は、超音波の照射対象の動作を示す情報である。対象物情報は、対象物の座標、形状、表面状態、固さ、温度、質量、摩擦係数のうちの少なくとも１つを含む。画像処理部は、対象物画像を処理可能に構成される。対象物画像は、仮想物体を表す画像であり、視点情報及び動作情報に基づいて更新される。位置処理部は、背景画像と、対象物画像とを重ね合わせる際の位置を算出処理可能に構成される。背景画像は、ユーザの視野に応じた画像である。視覚情報生成部は、位置処理部が算出した位置に基づいて、背景画像と、対象物画像とを重ね合わせた視覚情報を生成し、該生成した視覚情報を表示装置に出力可能に構成される。触覚情報生成部は、位置処理部が算出した位置と、動作情報と、対象物情報とに基づいて、対象物に応じた超音波をユーザに照射させる触覚情報を生成し、該生成した触覚情報を超音波発生装置に出力可能に構成される。
本発明の一態様によれば、触覚から対象物の形状等を認識することが可能となる。
本発明の実施形態に係る情報処理装置１を含むシステム１０の構成例を示した図である。 情報処理装置１の構成を示した図である。 情報処理装置１の機能的な構成を示すブロック図である。 動作情報入力装置３及び超音波発生装置８を含む装置の構成例を示した図である。 図４に示した装置の使用例を示した図である。 ユーザ画像の例を示した図である。 対象物画像の例を示した図である。 表示装置７に表示される画像の例を示した図である。 許可オブジェクトと不許可オブジェクトとを含めた画像の例を示した図である。 許可オブジェクトと不許可オブジェクトとを含めた画像の例を示した図である。 超音波の照射位置の例を示した図である。 超音波の照射位置の例を示した図である。 パッシブなアクチュエータの一例を示した図である。 連携処理部１０９を説明するための図である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
１．全体構成
図１は、本発明の実施形態に係る情報処理装置１を含むシステム１０の構成例を示した図である。同図に示すように、システム１０は、情報処理装置１に、視点情報入力装置２１と、動作情報入力装置２２と、対象物情報入力装置２３と、温度情報入力装置２４と、音声入力装置２５と、表示装置２６と、超音波発生装置２７と、音響出力装置２８と、気流出力装置２９とが接続されて構成される。これらの各装置は、通信手段により相互に接続されていれば良く、分散配置されていても良い。また、システム１０は、同等のシステムを複数用いて、これらを通信手段により相互接続を行い、相互インタラクションを行う形を取っても良い。
視点情報入力装置２１は、ユーザの視野を示す視点情報を情報処理装置１に入力するもので、例えば、カメラである。この視点情報入力装置２１は、ユーザの動きに追従し、姿勢や位置を変えても良く、これは例えば、アクチュエータと一体化して実現しても良い。
動作情報入力装置２２は、超音波の照射対象となるユーザや物体の動き、具体的には、ユーザの指を含む手や顔など皮膚の露出部の動き、パッシブなアクチュエータとなり得る物体の動きを動作情報として、情報処理装置１に入力するもので、例えば、カメラなどのセンサである。この動作情報入力装置２２は、ユーザの動きに追従し、姿勢や位置を変えても良く、これは例えば、アクチュエータと一体化して実現しても良い。
対象物情報入力装置２３は、仮想表示する対象物を示す対象物情報を情報処理装置１に入力するもので、例えば、情報処理装置１とネットワークを介して通信可能なサーバ等である。
温度情報入力装置２４は、超音波の照射対象となる表面の温度を示す温度情報を入力するもので、例えば、サーモカメラである。この温度情報入力装置２４は、ユーザの動きに追従し、姿勢や位置を変えても良く、これは例えば、アクチュエータと一体化して実現しても良い。なお、温度情報入力装置２４は、省略することも可能である。
音声入力装置２５は、ユーザが音声により発する指示を入力するもので、例えば、マイクである。この音声入力装置２５は、ユーザの動きに追従し、姿勢や位置を変えても良く、これは例えば、アクチュエータと一体化して実現しても良い。なお、音声入力装置２５は、省略することも可能である。
表示装置２６は、ＡＲ、ＶＲ、ＭＲ等の画像を表示するもので、例えば、ディスプレイである。このディスプレイは、据え置き型やユーザが装着するゴーグル型、スマートフォンやタブレットなどの携帯型のものであってもよい。この表示装置２６は、ユーザの動きに追従し、姿勢や位置を変えても良く、これは例えば、アクチュエータと一体化して実現しても良い。なお、表示装置２６が表示する画像は、映像や動画像等を含む。
超音波発生装置２７は、ユーザの皮膚の露出部（例えば、手指や腕、顔面）、あるいは、超音波の照射により動作可能な物体に、超音波を照射するもので、例えば、トランスデューサアレイである。この超音波発生装置２７は、ユーザの動きに追従し、姿勢や位置を変えても良く、これは例えば、アクチュエータと一体化して実現しても良い。
音響出力装置２８は、効果音等を発生させるもので、例えば、スピーカである。この音響出力装置２８は、ユーザの動きに追従し、姿勢や位置を変えても良く、これは例えば、アクチュエータと一体化して実現しても良い。なお、音響出力装置２８は、省略することも可能である。
気流出力装置２９は、ユーザに臨場感を与えるための気流を発生させるもので、例えば、送風機である。この気流出力装置２９は、ユーザの動きに追従し、姿勢や位置を変えても良く、これは例えば、アクチュエータと一体化して実現しても良い。また、リモコン等で遠隔操作可能な扇風機やサーキュレータ等を気流出力装置２９として用いることも可能である。なお、気流出力装置２９は、省略することも可能である。また、超音波発生装置２７を気流出力装置２９として利用し、超音波の時空間分布の適切な制御により、気流を制御することも可能である。
２．情報処理装置の構成
次に、情報処理装置１の構成について説明する。図２は、情報処理装置１の構成を示した図である。同図に示すように、情報処理装置１は、処理部１１と、記憶部１２と、一時記憶部１３と、外部装置接続部１４と、通信部１５とを有しており、これらの構成要素が情報処理装置１の内部において通信バス１６を介して電気的に接続されている。また、情報処理装置１は、電源装置１７を有している。
処理部１１は、例えば、記憶部１２に記憶された所定のプログラムに従って動作する中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、または、記憶部１２に記憶された所定のプログラムに従って構成されるプログラム可能な論理回路、あるいは、それらの組み合わせによって実現されるもので、種々の機能を実現する。
記憶部１２は、様々な情報を記憶する不揮発性の記憶媒体である。これは、例えばハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスにより実現される。なお、記憶部１２は、情報処理装置１と通信可能な別の装置に配するようにすることも可能である。
一時記憶部１３は、揮発性の記憶媒体である。これは、例えばランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリにより実現され、処理部１１が動作する際に一時的に必要な情報（引数、配列等）を記憶する。
外部装置接続部１４は、例えばユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ：ＵＳＢ）や高精細度マルチメディアインターフェース（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ：ＨＤＭＩ（登録商標））といった規格に準じた接続部であり、キーボード等の入力装置やモニタ等の表示装置を接続可能としている。視点情報入力装置２１、動作情報入力装置２２、温度情報入力装置２４、音声入力装置２５、表示装置２６、超音波発生装置２７、音響出力装置２８、気流出力装置２９等は、外部装置接続部１４に接続される。
通信部１５は、例えばローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）規格に準じた通信手段であり、情報処理装置１とローカルエリアネットワークやこれを介したインターネット等のネットワークとの間の通信を実現する。このネットワークには、対象物情報入力装置２３、情報処理装置１と同様の情報処理装置等が通信可能に接続される。なお、視点情報入力装置２１、動作情報入力装置２２、温度情報入力装置２４、音声入力装置２５、表示装置２６、超音波発生装置２７、音響出力装置２８、気流出力装置２９等を接続するようにしてもよい。
電源装置１７は、視点情報入力装置２１、動作情報入力装置２２、温度情報入力装置２４、音声入力装置２５、表示装置２６、超音波発生装置２７、音響出力装置２８、気流出力装置２９等を動作させるための電気エネルギーを供給するものであり、商用電源やバッテリー等から得た電気エネルギーを供給する。電気エネルギーの供給先の装置が、外部装置接続部１４を介して有線で接続されている場合には、当該有線を用いて電気エネルギーを供給する。有線での給電に代えてワイヤレス給電システムによる給電を行っても良い。また、電気エネルギーの供給先の装置が無線で接続されている場合には、ワイヤレス給電システムによる給電を行う。もちろん、視点情報入力装置２１、動作情報入力装置２２、温度情報入力装置２４、音声入力装置２５、表示装置２６、超音波発生装置２７、音響出力装置２８、気流出力装置２９等がバッテリーを有している場合や商用電源から給電されている場合には、当該装置への電源装置１７からの給電は不要である。なお、電源装置１７は、バッテリーやワイヤレス給電システム等のその他の装置すべて、あるいは、それらのいずれかと一体化した形態を取っても良い。
なお、情報処理装置１には、パーソナルコンピュータ等のコンピュータを利用することが可能であり、複数のコンピュータを用いて情報処理装置１を構成することも可能である。
３．情報処理装置１の機能
次に、情報処理装置１の機能について説明する。情報処理装置１は、入力された情報に基づいて、ユーザに与える視覚と触覚、あるいは、触覚のみを生成するための情報を生成するもので、プログラムにしたがって動作することで、後述する各機能部を実現する。このプログラムは、コンピュータを情報処理装置として動作又は機能させるプログラムである。
図３は、情報処理装置１の機能的な構成を示すブロック図である。同図に示すように、情報処理装置１は、情報取得部１０１と、操作制御部１０２と、画像処理部１０３と、位置処理部１０４と、視覚情報生成部１０５と、触覚情報生成部１０６と、音響情報生成部１０７と、気流情報生成部１０８と、連携処理部１０９とを備える。
情報取得部１０１は、視点情報と、動作情報と、対象物情報と、音声情報と、温度情報とを取得可能に構成される。視点情報は、ユーザの視野を示す情報を含むもので、視点情報入力装置２１、例えば、カメラによる撮像画像である。動作情報は、超音波の照射対象の動作、例えば、ユーザの動作や物体の動作を示す情報であり、動作情報入力装置２２から入力されるものである。対象物情報は、対象物の座標、形状、表面状態、固さ、温度、質量、摩擦係数のうちの少なくとも１つを含み、好ましくは、対象物の表面の状態、例えば、テクスチャや、材質等を含むもので、対象物情報入力装置２３から入力されるものである。音声情報は、ユーザが発する音声であり、音声入力装置２５から入力されるものである。ただし、音声情報は、必須のものではない。温度情報は、超音波の照射対象の表面温度を示す情報であり、温度情報入力装置２４、例えば、サーモカメラから入力される。ユーザの手指や顔面などの皮膚の露出部や物体表面など、超音波が照射される対象表面の温度は、超音波の照射によって変化するので、温度の変化から超音波の照射位置とその強度を特定できる。この温度変化はサーモカメラを用いても計測できるし、赤外線カメラを用いても推定することができる。常にサーモカメラ等で対象表面を計測し続ける必要はなく、対象表面を一度計測して、その位置を計測するセンサの出力、サーモカメラの温度変化を観測する位置、超音波トランスデューサが超音波の焦点を形成しているはずの位置の間のズレを補正するようにしてもよい。また、超音波を照射する対象表面の温度を直接計測するのではなく、例えばナイロン製のポリマーメッシュなどの上に焦点を形成してそれをサーモカメラ等で撮影し、超音波トランスデューサが焦点を形成しているはずの位置と、サーモカメラが温度変化を観測する位置を比較して補正してもよい。
ここで、動作情報入力装置２２及び超音波発生装置２７の構成例について説明する。図４は、動作情報入力装置２２及び超音波発生装置２７を含む装置の構成例を示した図である。図４に示した装置は、ステージ１００１と、ローラ１００２、接触パッド１００３、リング状基板１００４で構成され、ステージ１００１とリング状基板１００４には、動作情報入力装置２２と超音波発生装置２７とが、それぞれ複数設けられている。ステージ１００１は、ローラ１００２により回転可能であり、接触パッド１００３に腕や手を載せた状態で、その腕等を動かすことで回転する。なお、ステージ１００１と、ローラ１００２、接触パッド１００３は、省略可能である。この図４に示した装置は、図５に示すような状態で用いられる。図５は、図４に示した装置の使用例を示した図である。
操作制御部１０２は、ユーザによる対象物の操作の可否を制御可能に構成される。例えば、操作制御部１０２は、許可オブジェクトの押下に応じて操作を許可し、不許可オブジェクトの操作に応じて操作を不許可にする。許可オブジェクトと、不許可オブジェクトは、後述するように、対象物と同様に、仮想物体として、表示されるものである。また、操作制御部１０２は、情報取得部１０１が取得した音声情報に応じて操作の可否を制御するようにしてもよい。操作制御部１０２による操作の可否の制御は、例えば、複数のユーザが同一の対象物を見ている場合に、操作ができるユーザを限定するものであり、例えば、ユーザの一人が対象物を右回転させようとする操作を行い、別のユーザが対象物を左回転させようとする操作を行う等、相反する操作を行うことを防止することができる。また、二人のユーザが協力して対象物を引っ張り合う場合には、その二人のユーザの操作を可能とするように制御することができる。また、ユーザが一人の場合でも、対象物が容易に変形するものである場合等に、その変形を防止するために、操作を不許可とすることができる。
画像処理部１０３は、背景画像と、対象物画像とを処理可能に構成される。背景画像は、ユーザの視野に応じた画像であり、視点情報に基づいて更新される。背景画像は、視点情報入力装置２１であるカメラが撮像した画像であってもよく、予め撮像又は生成された画像であってもよい。また、画像処理部１０３は、ユーザ画像を処理の対象とする場合もある。
ユーザ画像は、視点情報入力装置２１であるカメラが撮像した画像以外の予め撮像又は生成された画像である場合位用いられるもので、ユーザの指を含む手を表す画像であり、動作情報に基づいて更新される。ユーザ画像は、例えば、図６に示すようなものとなる。このユーザ画像は、ユーザが指等を動かすことにより更新される。
対象物画像は、仮想物体を表す画像であり、視点情報及び動作情報に基づいて更新される。対象物画像は、例えば、図７に示すようなものとなる。この対象物画像は、ユーザが対象物を操作しようとする動作を示す動作情報に基づいて、対象物の移動と、回転と、変形と、分割と、結合とのいずれかの操作を行った状態に対象物画像を更新する。もちろん、対象物によっては、分割等を行うことができない場合もあり、ここに示した以外の操作、例えば、対象物の一部を削除する操作等を行うことも可能である。
位置処理部１０４は、画像処理部１０３が処理した背景画像と、ユーザ画像と、対象物画像とを重ね合わせる際の位置を算出処理可能に構成される。ユーザ画像を用いない場合には、ユーザ画像の重ね合わせが不要なのは、もちろんのことである。また、対象物情報は、複数の環境のそれぞれに応じた環境対応情報を含んでいてもよく、この場合には、位置処理部１０４は、環境対応情報と視点情報とに基づいて、ユーザの視野に応じた環境に対応するように背景画像と対象物画像とを重ね合わせる際の位置を算出する。結果として、例えば、平面には対象物が正立した状態で重ね合わせることができ、一定以上の斜度を有する面には、正立した状態で重ね合わせることができないといった差異が生じることになる。
視覚情報生成部１０５は、位置処理部１０４が算出した位置に基づいて、画像処理部１０３が処理した背景画像と、必要に応じてユーザ画像と、対象物画像とを重ね合わせた視覚情報を生成し、該生成した視覚情報を表示装置２６に出力可能に構成される。視覚情報生成部１０５が生成した視覚情報に基づいて表示装置２６に表示される画像は、例えば、図８に示すようなものとなる。なお、図８においては、簡略化のため、背景を無地で表現している。この画像は、ユーザの視点の変更や、ユーザの動作により更新される。
また、視覚情報生成部１０５は、視覚情報に、操作の許可に対応する許可オブジェクトと、操作の不許可に対応する不許可オブジェクトとを含めることができる。つまり、表示装置２６に表示される画像に、許可オブジェクトと不許可オブジェクトとを表示させることができる。この画像は、例えば、図９及び図１０に示すようなものとなる。図９及び図１０は、許可オブジェクトと不許可オブジェクトとを含めた画像の例を示した図である。図９は、許可オブジェクト１１０１が押下された直後の画像を示したものであり、図１０は、不許可オブジェクト１１０２が押下された直後の画像を示したものである。また、図１０に示した画像は、図９に示した画像を見ているユーザと相対する位置から対象物を見ているユーザが見ている画像でもある。
触覚情報生成部１０６は、位置処理部１０４が算出した位置と、動作情報と、対象物情報とに基づいて、対象物に応じた超音波をユーザに照射させる触覚情報を生成し、該生成した触覚情報を超音波発生装置２７に出力可能に構成される。具体的には、触覚情報生成部１０６は、感性パターン決定部１０６ａと、駆動信号決定部１０６ｂとを有する。感性パターン決定部１０６ａは、対象物情報、あるいは、後述するアプリケーションソフトで決められるユーザに提示する触覚の種類を示す感性パターンを決定する。触覚の種類は、例えば、「つるつる」、「ざらざら」等の言葉で表現されるものである。駆動信号決定部１０６ｂは，感性パターン決定部１０６ａで決定された触覚と、位置処理部１０４が算出した位置と、動作情報とに基づいて、ユーザ、あるいは、パッシブなアクチュエータとなり得る物体へ照射する超音波の駆動パターンを決める駆動信号を生成し、超音波発生装置２７に出力する。
触覚情報である駆動信号は、超音波の振幅変動周波数と、強度と、位相と、照射位置との少なくともひとつに、時間的なパターンを有する。例えば、超音波の照射位置は、図１１及び図１２に示すように、複数のものがあり、これを時間的に変化させることになる。また、この時間パターンは提示する刺激の触感の制御にも用いる。例えば、時間パターンを高い周波数でさせることで振動感を伴う刺激を、低い周波数で変化させることで（ほとんど振動を伴わない）静的な刺激を、それぞれ提示する。
図１１及び図１２は、超音波の照射位置の例を示した図である。図１１に示した例は、ユーザの指１２０１に、面１３０１を感じさせるために、部位１２０２に超音波を照射したもので、図１２に示した例は、指１２０１に面１３０２を感じさせるために、部位１２０３に超音波を照射したものである。これらの面との接触刺激においても、提示刺激の触感を変化させることができる。例えば、前述した強い振動を伴わない刺激を用いることで面との接触角度を明確に提示できる。
図１３は、パッシブなアクチュエータの一例を示した図である。同図に示すアクチュエータ１４０１は、ユーザの指１４０２に装着されるもので、図中の矢印Ａの方向から超音波を照射することで、ユーザへ触覚を提示することができる。このとき、超音波の照射パターンを変化させることで、振動や静的な力を提示することが可能である。また、アクチュエータ１４０１は、超音波を照射する位置に、マーカ等を付すようにしてもよい。パッシブなアクチュエータは、アクチュエータ１４０１のような指に装着する形態だけでなく、サングラスや服などのヒトが身に着ける物やコップやスマートフォンカバーなどヒトが把持するものといった、ヒトの皮膚に接触する物体が対象となる。なお、これらは、いずれも、パッシブな機構に超音波を照射するものである。また、この超音波で駆動するパッシブな機構は小型のバッテリーや電子部品と組みあわせて使ってもよい。
触覚情報に含まれるパターンは、対象物の形状に応じたパターンや、対象物の表面の状態又は材質に応じたパターンである。提示する超音波の時空間分布を制御することで、物体の硬軟感、表面のテクスチャ、動かしやすさ（重量感）、温度などその対象物体の特性を触覚的に再現、ユーザに提示できる。硬軟感については、例えば、対象物が粘土等の変形が容易なものであれば、最初にユーザの指のある部位にのみ、超音波が照射され、次いで、指の複数の部位に同時に超音波が照射されることで、ユーザは、指が粘土内に沈み込む触感を得ることができる。また、対象物の材質が硬いものであれば、ユーザが指を押し込もうとする力に応じて超音波の強度を強くし、ユーザの指が押し込まれないようにすることができる。テクスチャについては、例えば、ユーザが表面を軽く撫でた場合に、その指の速度と対象面の状態（例えば空間波長）に応じて指に与える刺激パターンを時間変化させることで、特定物体の表面を撫でた触感を提示することもできる。重量感については、例えば、重たい物体（動きにくい物体）を再現する場合は、その対象物を動かす際に起きる指先の移動に対し、刺激位置の移動を時間的に遅らせることで提示できる。この刺激位置移動における時間的な遅れによって、力を加えたのに物体が動かなった（動きにくかった）という体験をユーザに与えることができる。逆に、完全に遅延なく刺激位置を追従させれば軽い物体も表現できる。物体の冷感については、例えば、超音波を照射した位置に同時にミストを噴射し、そのミストを気化させることで提示できる。熱感については、超音波の照射位置にその音波を吸音する構造体、例えば、超音波の波長より十分小さい空隙パターンを備えた構造体やメッシュ素材を張り付けることで提示できる。なお、操作制御部１０２により、操作が不許可となっているユーザに対しても、触感は提供される。なお、触覚情報に含まれるパターンは、必ずしも変化を含むものではなく、超音波の強度や照射位置等が一定の場合も含まれる。これは、ユーザが平面に対して、正面から指を接触させた場合等のパターンである。
このように触覚情報はユーザが対象物に触りにいく場合のみだけでなく、対象物から触られる場合にも適用される。例えば、対象物が移動する物体や仮想キャラクターのような生き物やの場合、手指だけでなく、顔面を含む皮膚の露出部に前項の触覚を提示できる。
また、触覚情報生成部１０６は、温度情報入力装置２４から入力された温度情報に基づいて、超音波を照射する位置と強度を補正するようにしてもよい。これは、超音波の照射により、ユーザの指等の温度が変化することを利用するもので、超音波の照射位置が適切な場合と不適切な場合とで、ユーザの指等の温度が異なることから、照射位置のずれや強度を検出し、補正するものである。また、指の隙間や掌線などの空隙に超音波が進入した際の痛覚防止にも用いてよい。
ところで、触覚情報生成部１０６は、ユーザの手又は指の位置が対象物の位置と重ね合わせられてから５０ｍｓ以内、例えば、１０ｍｓ以内、２０ｍｓ以内、３０ｍｓ以内、４０ｍｓ以内、又は、これらの間の数以内に、触覚情報を出力することが望ましく、さらには、これらの時間以内に、ユーザに触覚を提示できる、つまり、ユーザが対象物に触れる動作を行ってから５０ｍｓ以内に触感を得ることができることが望ましい。
ところで、触感再現には必ずしも超音波による機械的刺激だけを用いるのではなく、映像や音を適宜利用する、あるいはこれらを組み合わせて用いてもよい。このため、音響情報生成部１０７は、ユーザによる対象物の操作に応じた効果音を発生させる音響情報を生成し、音響出力装置２８を鳴動させる。これにより、ユーザは、より直感的な操作を行うことができる。
同様に、気流情報生成部１０８は、気流出力装置２９又は超音波発生装置２７により発生させる気流の状態を示す気流情報を生成する。気流は、例えば、ユーザに物体が近づいてきた際に風が吹く感覚や仮想キャラクターに息を吹きかけられる感覚などの提示に用いられる。
連携処理部１０９は、他の機能との連携を行うものである。図１４は、連携処理部１０９を説明するための図である。同図に示すように、連携処理部１０９は、機能部１２０と、他の情報処理装置１との少なくとも一方との連携処理を行う。機能部１２０は、情報取得部１０１、操作制御部１０２、画像処理部１０３、位置処理部１０４、視覚情報生成部１０５、触覚情報生成部１０６、音響情報生成部１０７、気流情報生成部１０８、連携処理部１０９を含む自機能部１１０とは、独立した機能部であり、アプリケーションソフトウェアの動作により実現されるものである。この機能部１２０は、情報取得部１０１と、画像処理部１０３と、位置処理部１０４と、視覚情報生成部１０５と、触覚情報生成部１０６との少なくとも一部を代替することとができるものである。この機能部１２０は、例えば、ゲームのアプリケーションソフトウェアにより実現されるが、この場合には、情報処理装置１に図示しないコントローラが接続される場合があり、接続されたコントローラを動作情報入力装置２２等の代替として用いることもできる。なお、連携処理部１０９は、複数のアプリケーションソフトウェアにより実現される複数の機能部と連携することも可能である。
また、連携処理部１０９が連携する他の情報処理装置１は、情報処理装置１と同じものであり、情報取得部１０１と、画像処理部１０３と、位置処理部１０４と、視覚情報生成部１０５と、触覚情報生成部１０６との少なくとも一部を代替することができる。もちろん、他の情報処理装置１においても、アプリケーションソフトウェアにより実現される機能部を実現することができる。なお、連携処理部１０９は、複数の情報処理装置１と連携することも可能である。
５．その他
本システムは既存のアクチュエータと組み合わせてもよい。例えば、ゲームコントローラを把持しているユーザへ超音波を照射し、ゲームコントローラで再現される触覚に加えて触覚を提示しても良い。
また、超音波発生装置２７は、音波の透過できる物体、例えば、メッシュ状のシートで覆っても良い。この音波の透過が可能な物体表面上には、任意のカラーリングを施してもよく、これにより敷設先でのデザイン性を損なうことを防ぐことが可能となる。
本発明は、次に記載の各態様で提供されてもよい。
（１）情報処理装置であって、情報取得部と、画像処理部と、位置処理部と、視覚情報生成部と、触覚情報生成部とを備え、前記情報取得部は、視点情報と、動作情報と、対象物情報とを取得可能に構成され、前記視点情報は、ユーザの視野を示す情報を含み、前記動作情報は、超音波の照射対象の動作を示す情報であり、前記対象物情報は、対象物の座標、形状、表面状態、固さ、温度、質量、摩擦係数のうちの少なくとも１つを含み、前記画像処理部は、対象物画像を処理可能に構成され、前記対象物画像は、仮想物体を表す画像であり、前記視点情報及び前記動作情報に基づいて更新され、前記位置処理部は、背景画像と、前記対象物画像とを重ね合わせる際の位置を算出処理可能に構成され、前記背景画像は、前記ユーザの視野に応じた画像であり、前記視覚情報生成部は、前記位置処理部が算出した位置に基づいて、前記背景画像と、前記対象物画像とを重ね合わせた視覚情報を生成し、該生成した視覚情報を表示装置に出力可能に構成され、前記触覚情報生成部は、前記位置処理部が算出した位置と、前記動作情報と、前記対象物情報とに基づいて、前記対象物に応じた超音波を前記ユーザに照射させる触覚情報を生成し、該生成した触覚情報を超音波発生装置に出力可能に構成される情報処理装置。
（２）上記（１）に記載の情報処理装置において、連携処理部を備え、前記連携処理部は、機能部と、他の情報処理装置との少なくとも一方との連携処理を行い、前記機能部は、アプリケーションソフトウェアの動作により実現され、前記情報取得部と、前記画像処理部と、前記位置処理部と、前記視覚情報生成部と、前記触覚情報生成部との少なくとも一部を代替し、前記他の情報処理装置は、前記情報取得部と、前記画像処理部と、前記位置処理部と、前記視覚情報生成部と、前記触覚情報生成部との少なくとも一部を代替する情報処理装置。
（３）上記（１）又は（２）に記載の情報処理装置において、前記視点情報は、カメラによる撮像画像であり、前記背景画像は、前記撮像画像である情報処理装置。
（４）上記（１）又は（２）に記載の情報処理装置において、前記背景画像は、予め撮像又は生成された画像であり、前記視点情報に基づいて更新され、前記画像処理部は、前記背景画像と、ユーザ画像と、前記対象物画像とを処理可能に構成され、前記ユーザ画像は、前記ユーザの指を含む手を表す画像であり、前記動作情報に基づいて更新され、前記位置処理部は、前記背景画像と、前記ユーザ画像と、前記対象物画像とを重ね合わせる際の位置を算出処理可能に構成され、前記視覚情報生成部は、前記位置処理部が算出した位置に基づいて、前記背景画像と、前記ユーザ画像と、前記対象物画像とを重ね合わせた視覚情報を生成し、該生成した視覚情報を表示装置に出力可能に構成される情報処理装置。
（５）上記（１）乃至（４）のいずれか１つに記載の情報処理装置において、前記対象物情報は、複数の環境のそれぞれに応じた環境対応情報を含み、前記位置処理部は、前記環境対応情報と前記視点情報とに基づいて、前記ユーザの視野に応じた環境に対応するように前記背景画像と前記対象物画像とを重ね合わせる際の位置を算出する情報処理装置。
（６）上記（１）乃至（５）のいずれか１つに記載の情報処理装置において、前記触覚情報は、超音波の振幅変動周波数と、強度と、位相と、照射位置との少なくともひとつに、時間的なパターンを有する情報処理装置。
（７）上記（６）に記載の情報処理装置において、前記パターンは、前記対象物の形状に応じたパターンである情報処理装置。
（８）上記（６）又は（７）に記載の情報処理装置において、前記パターンは、前記対象物の表面の状態又は材質に応じたパターンである情報処理装置。
（９）上記（１）乃至（８）のいずれか１つに記載の情報処理装置において、前記画像処理部は、前記動作情報に基づいて、前記対象物の移動と、回転と、変形と、分割と、結合とのいずれかの操作を行った状態に前記対象物画像を更新する情報処理装置。
（１０）上記（９）に記載の情報処理装置において、音響情報生成部を備え、前記音響情報生成部は、前記操作に応じた効果音を発生させる音響情報を生成可能に構成される情報処理装置。
（１１）上記（９）又は（１０）に記載の情報処理装置において、操作制御部を備え、前記操作制御部は、前記操作の可否を制御可能に構成される情報処理装置。
（１２）上記（１１）に記載の情報処理装置において、前記視覚情報生成部は、前記視覚情報に、前記操作の許可に対応する許可オブジェクトと、前記操作の不許可に対応する不許可オブジェクトとを含め、前記操作制御部は、前記許可オブジェクトの押下に応じて前記操作を許可し、前記不許可オブジェクトの操作に応じて前記操作を不許可にする情報処理装置。
（１３）上記（１２）に記載の情報処理装置において、前記情報取得部は、音声情報を取得し、前記操作制御部は、前記音声情報に応じて前記操作の可否を制御する情報処理装置。
（１４）上記（１）乃至（１３）のいずれか１つに記載の情報処理装置において、前記情報取得部は、温度情報を取得し、前記温度情報は、前記照射対象の表面の温度を示す情報であり、前記触覚情報生成部は、前記温度情報に基づいて、前記超音波を照射する位置を補正する情報処理装置。
（１５）上記（１４）に記載の情報処理装置において、前記情報取得部は、サーモカメラ又は赤外線カメラにより前記温度情報を取得する情報処理装置。
（１６）上記（１）乃至（１５）のいずれか１つに記載の情報処理装置において、前記触覚情報生成部は、前記ユーザの手又は指の位置が前記対象物の位置と重ね合わせられてから５０ｍｓ以内に、前記触覚情報を出力する情報処理装置。
（１７）コンピュータを情報処理装置として動作させるプログラムであって、少なくとも１つのコンピュータを上記（１）乃至（１６）のいずれか１つに記載の情報処理装置として機能させるプログラム。
もちろん、この限りではない。
１ ：情報処理装置
１０ ：システム
１１ ：処理部
１２ ：記憶部
１３ ：一時記憶部
１４ ：外部装置接続部
１５ ：通信部
１６ ：通信バス
１７ ：電源装置
２１ ：視点情報入力装置
２２ ：動作情報入力装置
２３ ：対象物情報入力装置
２４ ：温度情報入力装置
２５ ：音声入力装置
２６ ：表示装置
２７ ：超音波発生装置
２８ ：音響出力装置
２９ ：気流出力装置
１０１ ：情報取得部
１０２ ：操作制御部
１０３ ：画像処理部
１０４ ：位置処理部
１０５ ：視覚情報生成部
１０６ ：触覚情報生成部
１０６ａ ：感性パターン決定部
１０６ｂ ：駆動信号決定部
１０７ ：音響情報生成部
１０８ ：気流情報生成部
１０９ ：連携処理部
１１０ ：自機能部
１２０ ：機能部
１００１ ：ステージ
１００２ ：ローラ
１００３ ：接触パッド
１００４ ：リング状基板
１１０１ ：許可オブジェクト
１１０２ ：不許可オブジェクト
１２０１ ：指
１２０２ ：部位
１２０３ ：部位
１３０１ ：面
１３０２ ：面
１４０１ ：アクチュエータ
１４０２ ：指

Claims (17)

  1. 情報処理装置であって、
    情報取得部と、画像処理部と、位置処理部と、視覚情報生成部と、触覚情報生成部とを備え、
    前記情報取得部は、視点情報と、動作情報と、対象物情報とを取得可能に構成され、
    前記視点情報は、ユーザの視野を示す情報を含み、
    前記動作情報は、超音波の照射対象の動作を示す情報であり、
    前記対象物情報は、対象物の座標、形状、表面状態、固さ、温度、質量、摩擦係数のうちの少なくとも１つを含み、
    前記画像処理部は、対象物画像を処理可能に構成され、
    前記対象物画像は、仮想物体を表す画像であり、前記視点情報及び前記動作情報に基づいて更新され、
    前記位置処理部は、背景画像と、前記対象物画像とを重ね合わせる際の位置を算出処理可能に構成され、
    前記背景画像は、前記ユーザの視野に応じた画像であり、
    前記視覚情報生成部は、前記位置処理部が算出した位置に基づいて、前記背景画像と、前記対象物画像とを重ね合わせた視覚情報を生成し、該生成した視覚情報を表示装置に出力可能に構成され、
    前記触覚情報生成部は、前記位置処理部が算出した位置と、前記動作情報と、前記対象物情報とに基づいて、前記対象物に応じた超音波を前記ユーザに照射させる触覚情報を生成し、該生成した触覚情報を超音波発生装置に出力可能に構成される
    情報処理装置。
  2. 請求項１に記載の情報処理装置において、
    連携処理部を備え、
    前記連携処理部は、機能部と、他の情報処理装置との少なくとも一方との連携処理を行い、
    前記機能部は、アプリケーションソフトウェアの動作により実現され、前記情報取得部と、前記画像処理部と、前記位置処理部と、前記視覚情報生成部と、前記触覚情報生成部との少なくとも一部を代替し、
    前記他の情報処理装置は、前記情報取得部と、前記画像処理部と、前記位置処理部と、前記視覚情報生成部と、前記触覚情報生成部との少なくとも一部を代替する
    情報処理装置。
  3. 請求項１に記載の情報処理装置において、
    前記視点情報は、カメラによる撮像画像であり、
    前記背景画像は、前記撮像画像である
    情報処理装置。
  4. 請求項１に記載の情報処理装置において、
    前記背景画像は、予め撮像又は生成された画像であり、前記視点情報に基づいて更新され、
    前記画像処理部は、前記背景画像と、ユーザ画像と、前記対象物画像とを処理可能に構成され、
    前記ユーザ画像は、前記ユーザの指を含む手を表す画像であり、前記動作情報に基づいて更新され、
    前記位置処理部は、前記背景画像と、前記ユーザ画像と、前記対象物画像とを重ね合わせる際の位置を算出処理可能に構成され、
    前記視覚情報生成部は、前記位置処理部が算出した位置に基づいて、前記背景画像と、前記ユーザ画像と、前記対象物画像とを重ね合わせた視覚情報を生成し、該生成した視覚情報を表示装置に出力可能に構成される
    情報処理装置。
  5. 請求項１に記載の情報処理装置において、
    前記対象物情報は、複数の環境のそれぞれに応じた環境対応情報を含み、
    前記位置処理部は、前記環境対応情報と前記視点情報とに基づいて、前記ユーザの視野に応じた環境に対応するように前記背景画像と前記対象物画像とを重ね合わせる際の位置を算出する
    情報処理装置。
  6. 請求項１に記載の情報処理装置において、
    前記触覚情報は、超音波の振幅変動周波数と、強度と、位相と、照射位置との少なくともひとつに、時間的なパターンを有する
    情報処理装置。
  7. 請求項６に記載の情報処理装置において、
    前記パターンは、前記対象物の形状に応じたパターンである
    情報処理装置。
  8. 請求項６に記載の情報処理装置において、
    前記パターンは、前記対象物の表面の状態又は材質に応じたパターンである
    情報処理装置。
  9. 請求項１に記載の情報処理装置において、
    前記画像処理部は、前記動作情報に基づいて、前記対象物の移動と、回転と、変形と、分割と、結合とのいずれかの操作を行った状態に前記対象物画像を更新する
    情報処理装置。
  10. 請求項９に記載の情報処理装置において、
    音響情報生成部を備え、
    前記音響情報生成部は、前記操作に応じた効果音を発生させる音響情報を生成可能に構成される
    情報処理装置。
  11. 請求項９に記載の情報処理装置において、
    操作制御部を備え、
    前記操作制御部は、前記操作の可否を制御可能に構成される
    情報処理装置。
  12. 請求項１１に記載の情報処理装置において、
    前記視覚情報生成部は、前記視覚情報に、前記操作の許可に対応する許可オブジェクトと、前記操作の不許可に対応する不許可オブジェクトとを含め、
    前記操作制御部は、前記許可オブジェクトの押下に応じて前記操作を許可し、前記不許可オブジェクトの操作に応じて前記操作を不許可にする
    情報処理装置。
  13. 請求項１２に記載の情報処理装置において、
    前記情報取得部は、音声情報を取得し、
    前記操作制御部は、前記音声情報に応じて前記操作の可否を制御する
    情報処理装置。
  14. 請求項１に記載の情報処理装置において、
    前記情報取得部は、温度情報を取得し、
    前記温度情報は、前記照射対象の表面の温度を示す情報であり、
    前記触覚情報生成部は、前記温度情報に基づいて、前記超音波を照射する位置を補正する
    情報処理装置。
  15. 請求項１４に記載の情報処理装置において、
    前記情報取得部は、サーモカメラ又は赤外線カメラにより前記温度情報を取得する
    情報処理装置。
  16. 請求項１に記載の情報処理装置において、
    前記触覚情報生成部は、前記ユーザの手又は指の位置が前記対象物の位置と重ね合わせられてから５０ｍｓ以内に、前記触覚情報を出力する
    情報処理装置。
  17. コンピュータを情報処理装置として動作させるプログラムであって、
    少なくとも１つのコンピュータを請求項１乃至請求項１６のいずれか１項に記載の情報処理装置として機能させる
    プログラム。
JP2022156628A 2021-09-29 2022-09-29 情報処理装置及びプログラム Pending JP2023050191A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/077,393 US20240111366A1 (en) 2021-09-29 2022-12-08 Information Processing Apparatus, Information Processing Method, And Non-Transitory Computer Readable Media Storing A Program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021159480 2021-09-29
JP2021159480 2021-09-29

Publications (1)

Publication Number Publication Date
JP2023050191A true JP2023050191A (ja) 2023-04-10

Family

ID=85802096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022156628A Pending JP2023050191A (ja) 2021-09-29 2022-09-29 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20240111366A1 (ja)
JP (1) JP2023050191A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102000536B1 (ko) * 2012-12-28 2019-07-16 삼성전자주식회사 합성 이미지를 촬영하는 촬영 장치 및 그 방법
EP3259654B1 (en) * 2015-02-20 2021-12-29 Ultrahaptics Ip Ltd Algorithm improvements in a haptic system
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
KR20170029320A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2020131020A1 (en) * 2018-12-17 2020-06-25 Emerge Now Inc. Systems for interfacing with immersive computing environments
EP3906462A2 (en) * 2019-01-04 2021-11-10 Ultrahaptics IP Ltd Mid-air haptic textures

Also Published As

Publication number Publication date
US20240111366A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
EP3327545A1 (en) Targeted haptic projection
JP2020004395A (ja) 仮想現実感ユーザのための実世界触覚対話
US10297122B2 (en) Wearable haptic effects with permissions settings
US10474238B2 (en) Systems and methods for virtual affective touch
WO2018086224A1 (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
US9235968B2 (en) Tactile elements for a wearable eye piece
US20140267005A1 (en) Eye piece for augmented and virtual reality
US10537815B2 (en) System and method for social dancing
US20140267401A1 (en) Visual Cortex Thought Detector Interface
JP2019050558A (ja) 非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング
JP2008108054A (ja) 接触提示装置及び方法
US11157084B2 (en) Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
JP2018113025A (ja) 触覚によるコンプライアンス錯覚のためのシステム及び方法
US10943445B2 (en) Systems and methods for providing haptic effects with airflow and thermal stimulation
TW201443760A (zh) 用以擴增實境及虛擬實境之目鏡
CN109656353A (zh) 利用多个外围设备的触觉效果
Israr et al. Po2: augmented haptics for interactive gameplay
US9000899B2 (en) Body-worn device for dance simulation
US20150022443A1 (en) Process and Apparatus for Haptic Interaction with Visually Presented Data
Yoo et al. Emotional responses of vibrotactile-thermal stimuli: Effects of constant-temperature thermal stimuli
JP2023050191A (ja) 情報処理装置及びプログラム
McIntosh et al. Magic bench: a multi-user & multi-sensory AR/MR platform
Nakamura et al. Virtual walking with omnidirectional movies and foot vibrations: Scene-congruent vibrations enhance walking-related sensations and ground material perceptions
Hasegawa et al. Generating vibrotactile images on the human palms
Grandidier et al. Softly: Simulated empathic touch between an agent and a human

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221