CN101387908A - 信息处理装置及信息处理方法 - Google Patents

信息处理装置及信息处理方法 Download PDF

Info

Publication number
CN101387908A
CN101387908A CNA2008102123462A CN200810212346A CN101387908A CN 101387908 A CN101387908 A CN 101387908A CN A2008102123462 A CNA2008102123462 A CN A2008102123462A CN 200810212346 A CN200810212346 A CN 200810212346A CN 101387908 A CN101387908 A CN 101387908A
Authority
CN
China
Prior art keywords
virtual objects
generation unit
stimulation
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008102123462A
Other languages
English (en)
Other versions
CN101387908B (zh
Inventor
野上敦史
西村直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101387908A publication Critical patent/CN101387908A/zh
Application granted granted Critical
Publication of CN101387908B publication Critical patent/CN101387908B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/10—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了一种信息处理装置及信息处理方法。本发明的信息处理装置基于关于刺激生成单元的位置和方向信息及关于背景虚拟对象的位置和方向信息来确定所述刺激生成单元与所述背景虚拟对象是否互相接触。如果确定所述刺激生成单元与所述背景虚拟对象互相接触，则所述信息处理装置确定所述刺激生成单元是否包含在关注范围内。所述信息处理装置根据所述确定的结果生成用于控制所述刺激生成单元的操作的操作设置信息并且将所述生成的操作设置信息输出到所述刺激生成单元。

Description

信息处理装置及信息处理方法
技术领域
本发明涉及被构造成实现虚拟空间与观察该虚拟空间的用户之间交互的信息处理装置及该信息处理装置的信息处理方法。
背景技术
众所周之，虚拟现实系统(VR系统)指执行以下操作的系统。即，VR系统利用三维计算机图形学(CG)构造虚拟空间并在大尺寸显示器、移动装置显示器或头戴显示器(HMD)上显示虚拟空间中的图像。因此，VR系统能够使用户感觉好像虚拟空间就是现实空间。
此外，已发展了一种混合现实系统(MR系统)，用于在现实空间的图像上重叠显示使用三维CG生成的虚拟对象。MR系统使用现实空间的图像以允许用户比在传统VR系统的所提供的中更容易享受实际尺寸的感觉。在使用这种传统系统的HMD的情况下，因为根据用户的视点及用户视线(虚拟轴)的方向来显示虚拟空间，所以用户能够感受更强烈的沉浸在虚拟空间中的感觉。
与此同时，近些年来，使用三维计算机辅助设计(3D-CAD)技术设计产品的方法已成为产品设计及制造领域的主流。在这点上，作为对已使用3D-CAD设计的对象进行评估的方法，通常使用对使用3D-CAD生成并在计算机屏上作为3D-CG图像显示的数据在视觉上进行评估。
此外，通常还使用一种用于评估使用快速原型化装置制造的简化原型(简化模型)进而基于触觉评估该原型的方法。然而，在使用传统方法评估汽车或大尺寸装置的情况下，因为不能在计算机屏上获得实际尺寸的感觉所以不容易进行近似的评估。
此外，在制造简化模型的情况下，如果要制造的模型的尺寸很大，则制造花费可能变高。在这点上，传统方法允许用户评估在通过使用VR系统或MR系统以利用3D—CAD显示CG信息从而用户能够感受实际尺寸或沉浸其中的环境下的产品。
因此，用户能够通过看具有实际尺寸的虚拟对象来更直观地评估或核查产品。
在评估要设计的对象的可操作性或可组装性的情况下，不仅需要所提供的作为CG信息的视觉信息，而且需要在触摸对象时获得的触觉信息。
在进行使用模型评估要设计的产品的的情况下，用户能够实际触摸并核查该模型。然而，为了在使用VR系统或MR系统的情况下获得触觉信息，有必要使用指定的装置、设备或方法。
即，为了表达用CG信息表达的虚拟对象的感觉，需要使用执行接触检测处理以检测用户与虚拟对象的接触并且向该用户表达并提供触觉信息的设备。
表达触觉信息的设备通常称为“触觉设备”或“触觉显示器”。这种“触觉设备”或“触觉显示器”包括表达来自虚拟对象的反应的力反馈提供装置以及向用户的皮肤感觉提供刺激的皮肤感觉提供装置(触觉显示器)。
可以使用力反馈提供装置表达来自对象的反应以评估并核查要设计的产品(对象)。然而，传统的力反馈提供装置通常是大尺寸的，因而运输起来不容易。因此，在虚拟评估汽车或大尺寸装置的情况下，因为力反馈提供装置的便携性差，所以可能限制要设计的对象的可用评估范围。因此，在此情况下，对于用户直观执行需要的评估操作可能变得困难。
此外，在很大的区域上使用力反馈提供装置的情况下，因为在多数情况下只有一个着力点可用来表达对象的感觉，所以对于用户通过触觉感受用户身体整个沉浸其中的感觉是困难的。因此，甚至在能够提供实际尺寸的感觉的VR系统或MR系统中表达要设计的虚拟对象的情况下，可能限制可用于使用触觉核查的虚拟对象的范围或区域。因此，可能降低要使用实际尺寸的虚拟对象来设计的对象的评估效果。
另一方面，在使用便携性高的小尺寸皮肤感觉提供装置的情况下，能够通过在用户身体的多个部位安装小尺寸皮肤感觉提供装置来以较强烈的沉浸其中的感觉来表达触觉。
在这点上，作为高便携性皮肤感觉提供装置，专利合作条约(PCT)日文翻译专利特开2000—501033号公报公开了一种根据用户与虚拟对象的接触，经由用户戴的手套的手指部分上安装的振动马达向用户提供振动刺激的设备。
此外，日本特开2003—316493号公报公开了一种通过使用一种用于通过按压用户手指的前表面来提供刺激的装置(布置在手套的手指前表面部分)来根据用户与虚拟对象的接触向用户提供对于用户手指前表面的皮肤刺激的方法。在使用振动马达表达触觉的情况下，尽管表达来自虚拟对象的反应力量是困难的，但是能够表达虚拟对象是否一直与用户的部位接触。
此外，这种振动马达尺寸小、重量轻并且相对便宜，能够生成足够强烈的刺激以使用户识别振动。因此，传统方法通过使用在包括诸如手指或手掌的部位的用户的整个身体上安装的多个振动马达来实现具有较强沉浸其中的感觉的触觉表现。
例如，“Hiroaki Yano，Tetsuro Ogi，Michitaka Hirose：Developmentof Haptic Suit for Whole Human Body Using Vibrators”，日本虚拟现实社会期刊1998年第三卷第三期公开了一种允许佩戴12个振动马达的用户在接触虚拟墙时识别该虚拟墙的设备。在使用在此公开的设备的情况下，在头、手背、肘、腰周围部位(3块)、膝盖、踝这些人体部位处安放12个振动马达。基于人体知觉图来确定安放这些振动马达的位置。
此外，“Jonghyun Ryu，Gerard Jounghyun Kim：“Using aVibro-tactile Display for Enhanced Collision Perception andPresence”，VRST‘04，November 10-12，2004，Hong Kong”公开了一种在用户身体上手臂和腿四个位置分别安放振动马达以通过改变振动马达的振动来提供表示与不同感觉的对象的虚拟接触的不同信息的方法。
与此同时，用户可以有意识地或无意识地接触虚拟对象。在有意识的接触的情况下，即使振动马达提供的刺激强度低，用户也能够容易识别该接触。另一方面，在无意识的接触的情况下，如果无意识地接触虚拟对象的部位的刺激强度不够高，则用户甚至不可能识别振动马达提供的刺激。特别是，为了表达在用户的整个身体上的虚拟对象的接触，进行关于用户身体的许多部位的接触的表达。因此，在此情况下，对于用户来说总是识别整个身体与虚拟对象的接触是困难的。
关于这一点，如果用户用手进行操作，则用户可能特别注意手，因而变得不那么注意腿。因此，即使提供关于通过腿与虚拟对象的接触的刺激，用户可能也不会积极识别该刺激。
另一方面，如果不管用户是否注意接触地均匀增加刺激强度从而用户确定从用户身体与虚拟对象接触的任意位置接收提供的刺激信息，则在用户有意识地接触虚拟对象的情况下刺激强度可能变得很高，因此用户可能对过度刺激感觉不舒适。
如上所述，传统方法不可能解决上述问题，因为其不能基于用户是否注意接触来根据用户与虚拟对象的接触适当地调整所提供的刺激的强度。
发明内容
本发明提供了这样一种方法：基于关于在向用户通知了利用刺激所述用户与虚拟对象的接触的情况下所述用户是否已有意识地进行了与所述虚拟对象的接触的确定结果来控制所述刺激。
根据本发明的一个方面，一种信息处理装置，用于基于关于用户视点的位置和方向信息来生成在包含虚拟对象的虚拟空间中的图像，所述信息处理装置包括：获取单元，用于获取关于刺激生成单元的位置信息，布置所述刺激生成单元从而能够对用户身体应用刺激；确定单元，用于基于关于所述虚拟对象的位置和方向信息及关于所述刺激生成单元的位置信息来确定所述虚拟对象与所述刺激生成单元是否互相接触，以及如果确定所述虚拟对象与所述刺激生成单元互相接触则确定所述刺激生成单元是否包含在用户从所述视点关注的关注范围之内；以及输出单元，用于根据所述确定单元的确定结果来生成用于控制所述刺激生成单元的操作的操作设置信息并且将所述生成的操作设置信息输出给所述刺激生成单元。
通过以下参照附图对示例性实施例的详细说明，本发明的其他特征和方面将变得明确中显而易见。
附图说明
并入说明书且构成说明书的一部分的附图示出了本发明的示例性实施例、特征和方面，这些附图与说明书一起用于解释本发明的原理。
图1示出了根据本发明的第一示例性实施例的由用户正在使用的系统的示例性状态。
图2示出了根据本发明的第一示例性实施例的系统的硬件结构的示例。
图3示出了图2所示的刺激生成单元的结构的示例。
图4是用于通过图2所示的计算处理装置(计算机)控制各刺激生成单元的操作的处理的流程图。
图5示出了包含佩戴多个刺激生成单元的用户的手臂、位置和方向传感器及HMD的现实空间的状态的示例。
图6示出了当现实空间的状态在图5所示的状态中时的虚拟空间的示例。
图7是示出了图4所示的步骤S4005中的处理的示例性流程的流程图。
图8示出了用于设置关注范围的方法的示例。
图9是示出图4所示的步骤S4006中的处理的详细流程的示例的流程图。
图10A和10B示出了对应于不同刺激的示例性波形图。
图11示出了由图2所示的成像单元所捕获的现实空间图像的示例。
图12是示出用于确定接触背景虚拟对象的部位虚拟对象位于关注范围的内侧、关注范围的外侧及外围部分中的哪一个的流程图。
图13是示出用于通过计算处理装置(计算机)控制各刺激生成单元的操作的处理的示例性流程的流程图。
图14是示出在时间序列上在部位虚拟对象与背景虚拟对象间的接触在关注范围之外继续的情况下生成的刺激的示例性强度等级的图。
以下将参照附图详细描述本发明的各示例性实施例、特征及方面。要注意的是，组件的相对排列、数字表达式及在这些实施例中预先设置的数值并不意图限制本发明的范围。
在本发明的以下示例性实施例的各个中，描述了使用HMD(头戴型显示装置的例子)及在用户身体的多个位置(部位)安放的多个刺激生成单元来实现用户与虚拟空间之间的交互的系统。
第一示例性实施例
以下描述本发明的第一示例性实施例。首先，参照图1和2描述根据本发明的第一示例性实施例的系统。
图1示出了根据本示例性实施例的由用户正在使用的系统的示例性状态。
图2示出了根据本示例性实施例的系统的硬件结构的示例。
参照图1，在用户1的身体上安放了刺激生成单元10、11和12。此外，在用户1的头上安放了HMD 100。因此，用户1在视觉和触觉上都能够体验包括虚拟对象300的虚拟空间。
在图1所示的示例中，虚拟对象300是按实际尺寸虚拟表示的汽车模拟图像。在图1中，用户1当前正在进行关于要在汽车的引擎车厢上进行的操作的核查操作。
此外，在用户1的手上安放刺激生成单元10。在用户1的肘上安放刺激生成单元11。在用户1的膝盖上安放刺激生成单元12。
此外，向刺激生成单元10、11和12及HMD 100中的各个提供一个或更多个标记40。位置和方向传感器400获取表示标记40的位置和方向的位置和方向信息。将通过位置和方向传感器400获取的关于标记40的位置和方向信息以及经由HMD 100获得的现实空间图像输入给计算处理装置(信息处理装置)200。
随后，计算处理装置200通过进行各种类型的处理将包括虚拟空间图像和现实空间图像的组合图像输出给HMD 100。此外，计算处理装置200输出用于控制刺激生成单元10、11和12的各个的操作的操作设置信息。这里，HMD 100通常是视像透视型HMD。在图2所示的示例中，HMD 100包括成像单元101及显示单元102。
成像单元101捕获现实空间的移动图像。随后，成像单元101将各帧的捕获图像(现实空间图像)发送给布置在下一阶段的计算处理装置200。计算处理装置200将现实空间图像与已通过计算处理装置200生成的虚拟空间图像组合。以下将详细描述用于组合现实空间图像与虚拟空间图像的处理。
随后，计算处理装置200将通过组合处理生成的组合图像发送给HMD100。
显示单元102包括液晶显示(LCD)屏。将显示单元102安装在HMD 100上的位置使得显示单元102正好位于用户1(在头上佩戴HMD 100)的视点的前方。显示单元102显示从计算处理装置200发送的组合图像。然而，如果显示单元102能够进一步显示其他信息则也是可以的。
这里，通过将成像单元101的光轴与显示单元102的光轴相匹配，能够抑制成像单元101与上述组合图像之间的视差。因此，用户1能够从用户1的视点看虚拟空间图像及现实空间图像，而不感到不舒服。这里，能够使用公知的方法作为用于在视觉上呈现现实对象与虚拟对象的方法。因此，在此省略其详细描述。
此外，如上所述，向HMD 100提供一个或更多个标记40。如上所述，在图1中，分别在用户1的手、肘及膝盖上安放刺激生成单元10、11和12。
然而，刺激生成单元的数量及安放位置并不限于上述的那些。在本示例性实施例中，刺激生成单元10、11和12各个都具有要平滑安放在用户身体部位上的手套状形状或运动缚带状形状。
图3示出了根据本示例性实施例的刺激生成单元10(图2)的结构示例。
参照图3，刺激生成单元10包括手套状主体单元19和一个或更多个皮肤感觉刺激单元20。这里，如果主体单元19有皮肤感觉刺激单元20紧密接触用户1的人体9(在图3的示例中用户的手背)这样的结构，则是有用的，从而使用对于用户1足够高的强度来将皮肤感觉刺激单元20生成的刺激发送给人体1以识别振动。
皮肤感觉刺激单元20包括例如振动马达。这里，关于皮肤感觉刺激单元20，如果在手心或手背的用户身体部位上安放多个皮肤感觉刺激单元20，并且根据用户身体部位与虚拟对象的接触来选择并驱动皮肤感觉刺激单元20，这是可以的。
类似地，关于具有肘状形状或护膝形状的刺激生成单元11及刺激生成单元12，提供了一个或更多个皮肤感觉刺激单元20。
在图3所示的示例中，使用振动马达作为皮肤感觉刺激单元20。
振动马达通过旋转在振动马达的转轴周围安装的偏心重来产生振动。这里，能够使用圆柱形振动马达或硬币形(扁平形)振动马达来作为振动马达。在图3所示的示例中，使用了硬币形(扁平形)振动马达。
这里，振动马达相对尺寸小但是能够产生很高能级的刺激。因此，如本示例性实施例中，如果多个皮肤感觉刺激单元20中的每一个都包含了振动马达，并且各皮肤感觉刺激单元20在用户身体的多个部位的各处给出了刺激，则是可以的。
然而，本发明并不限于此。即，皮肤感觉刺激单元20能够包括除振动马达之外的能够对用户皮肤感觉进行刺激的设备。关于用于向用户皮肤感觉给出刺激的方法，能够使用机械刺激生成方法、电刺激生成方法或热刺激生成方法。即，能够根据刺激生成方法使用各种类型的设备作为皮肤感觉刺激单元20。
在这点上，例如，能够使用生成机械振动刺激的音圈型设备作为皮肤感觉刺激单元20。
此外，能够使用包括用于接触用户身体并且由诸如压电元件或聚合传动器的操动件操作的销形部分的设备来作为皮肤感觉刺激单元20。
此外，能够将利用空气压力对用户皮肤提供压力的设备用作皮肤感觉刺激单元20。
此外，能够将使用微电极排列来向用户提供电刺激的设备用作皮肤感觉刺激单元20。而且，能够将使用电热设备来提供热刺激的设备用作皮肤感觉刺激单元20。
在以下对本发明的示例性实施例的描述中，如果能够经由计算处理装置200设置皮肤感觉刺激单元20要进行的操作(用于控制刺激强度的操作)的内容，则用作皮肤感觉刺激单元20的设备能够使用任意方法生成刺激。
如上所述，位置和方向传感器400获取关于标记40的位置和方向信息。因此，位置和方向传感器400能够检测其中每个上都布置了标记40的HMD 100和刺激生成单元10、11和12的位置和方向。
在本示例性实施例中，位置和方向传感器400及标记40构成了光位置和方向获取系统。光位置和方向获取系统包括了多个位置和方向传感器400及多个由回射材料制成的标记40，该位置和方向传感器400包含具有红外辐射功能的照相机。这里，为布置在各个不同三维位置的标记40中的每一个提供唯一的标识(ID)。
这里，能够使用公知方法来获取关于具有标记40的设备(在本示例性实施例中，HMD 100和刺激生成单元10、11和12)的位置和方向信息。因此，在此省略其详细描述。
然而，本发明并不限于此。能够使用用于获取关于HMD 100和刺激生成单元10、11和12的位置和方向信息的其他各种方法。即，本发明并不限于使用位置和方向传感器400及标记40的方法。
例如，使用磁性传感器的方法能够被用于获取关于HMD 100和刺激生成单元10、11和12的位置和方向信息。在该方法中，在现实空间中提供用于生成磁场的发送机，HMD 100和刺激生成单元10、11和12各个都具有用于随着HMD 100或刺激生成单元10、11和12在磁场中改变他们的位置和方向而检测所发生的磁场中的变化的接收机。
此外，该方法基于表示接收机的检测结果的信号来获取在各接收机的传感器坐标系中的位置和方向信息。这里，传感器坐标系具有表示发送机的位置的原点以及在原点处彼此正交的X轴、Y轴和Z轴。关于用于获取位置和方向信息的方法，使用其他方法的传感器系统(例如超声波系统)能够被使用。
此外，能够通过这样一种方法来获取位置和方向信息：使用照相机捕获在HMD 100和刺激生成单元10、11和12上安装的各个标记的图像。
此外，可以使用公知的运动捕获方法来获取关于刺激生成单元10、11和12的位置和方向信息。
此外，在使用如图3所示的手套状形状的刺激生成单元10的情况下，可以使用光传感器来获取用户的手的位置和方向，并且通过使用机械传感器或光纤的手指位置获取方法来获取各手指的位置和方向。如上所述，用于获取关于HMD 100和刺激生成单元10、11和12的位置和方向信息的方法并不特别限于上述的那些方法。
在本示例性实施例中，将通过位置和方向传感器400获取的关于HMD 100的位置和方向信息和关于刺激生成单元10、11和12的位置和方向信息发送到计算处理装置200。计算处理装置200包括例如通用个人计算机(PC)。
中央处理器(CPU)201使用存储在随机存取存储器(RAM)202或只读存储器(ROM)203上的程序和数据来控制计算处理装置200的操作。此外，使用CPU 201作为进行处理的主单元来进行计算处理装置200所进行的以下处理操作中的各个操作。
RAM 202包括用于暂时存储从数据记录单元205载入或发送的程序或数据以及通过位置和方向传感器信息获取单元209从位置和方向传感器400获取的位置和方向信息的区域。
此外，RAM 202包括用于暂时存储图像输入单元207已从成像单元101获取的现实空间图像的数据的区域。另外，RAM 202包括用于利用CPU 101来进行各种类型的处理的工作区域。即，如有必要RAM 202能够提供各种存储区域。
ROM 203存储引导程序和各种设置数据。操作输入单元206用作将操作单元204连接到计算处理装置200的接口。
操作单元204包括键盘或鼠标。操作者(用户)能够经由计算处理装置200来进行操作，以经由操作输入单元206将各种指令输入给CPU 201。
数据记录单元205是诸如硬盘驱动器(HDD)的大容量存储设备。数据记录单元205存储操作系统(OS)及当计算处理装置200的CPU 201进行以下处理操作的各个时所使用的程序和数据。
所述程序包括用于根据CPU 201要执行的处理的流程来执行各处理的程序。此外，所述数据包括与构成虚拟空间的各虚拟对象相关的数据以及与使用光束照射虚拟空间的光源相关的数据。
此外，数据记录单元205存储公知的信息和本领域的技术人员在进行以下处理中能够容易使用的信息。在CPU 201的控制下将在数据记录单元205中存储的程序和数据从数据记录单元205载入到RAM 202。
CPU 201使用载入到RAM 202上的程序和数据来进行各处理。
如果将暂时存储在RAM 202上的信息暂时存储到数据记录单元205中，则这是可以的。图像输入单元207和图像输出单元208的功能是作为用于将HMD 100连接到计算处理装置200的接口。将从HMD 100的成像单元101发送的现实空间图像的数据经由图像输入单元207存储到RAM 202或数据记录单元205中。
此外，将计算处理装置200生成的组合图像经由图像输出单元208输出到HMD 100的显示单元102。位置和方向传感器信息获取单元209的功能是作为用于将位置和方向传感器400连接到计算处理装置200的接口。
将位置和方向传感器400获取的位置和方向信息经由位置和方向传感器信息获取单元209输入给计算处理装置200，并且随后将其存储到RAM 202或数据记录单元205中。
刺激信息输出单元210的功能是作为用于将皮肤感觉刺激单元20连接到计算处理装置200的接口。将计算处理装置200生成的操作设置信息经由刺激信息输出单元210输出到指定的皮肤感觉刺激单元20。
图像输入单元207、图像输出单元208、位置和方向传感器信息获取单元209及刺激信息输出单元210中的各个都包括模拟视频端口、数字输入和输出(I/O)端口(例如IEEE 1394)、串行端口(诸如推荐标准232C(RS232C)或通用串行总线(USB)或以太网)。计算处理装置200的上述组件被连接至系统总线211。
以下详细描述计算处理装置200进行的处理。计算处理装置200除根据HMD 100的位置和方向生成虚拟空间图像、组合生成的虚拟空间图像与成像单元101捕获的现实空间图像并将组合图像发送到显示单元102之外，还进行以下处理。即，计算处理装置200检测刺激生成单元10、11或12是否与虚拟对象接触。
如果确定刺激生成单元10、11或12与虚拟对象接触，则随后计算处理装置200确定接触的刺激生成单元是否包含在用户1关注的关注范围(区域)内。
随后，计算处理装置200控制与虚拟对象接触的刺激生成单元10、11和12中的任意一个的操作。
在图1所示的示例中，示出了范围50(关注范围)和范围60(除范围50以外的范围)。这里，范围60称为“非关注范围”。
关注范围50为用户1能够利用视觉来感知虚拟对象的范围及其一部分。因此，关注范围50不限于精确测量的人的视域，但是能够被人工设定范围。
参照图1，在关注范围50中，在用户的部位(手)(其上安放了刺激生成单元10)与虚拟对象300之间发生虚拟接触。
另一方面，在非关注范围60中，在其上安放了刺激生成单元12的部位(膝盖)与虚拟对象300之间发生虚拟接触。在此情况下，在本示例性实施例中，计算处理装置200控制刺激生成单元10和刺激生成单元12来生成各自不同的刺激。在这一点上，以下详细描述计算处理装置200进行的对刺激生成单元10、11和12的操作的控制。
图4是根据本示例性实施例的计算处理装置200进行的用于控制刺激生成单元10、11和12的各个的操作的处理的流程图。
将用于根据图4的流程图使用CPU 201进行处理的程序和数据存储在数据记录单元205中。CPU 201将程序和数据从数据记录单元205载入RAM 202。
计算处理装置200的CPU 201通过利用载入的程序和数据进行处理来进行根据图4的流程图(以下将详细描述)的处理。
参照图4，在步骤S4001中，CPU 201进行用于将要在用于初始化计算处理装置200的处理以及后续处理中使用的各种数据从数据记录单元205载入RAM 202的处理。从数据记录单元205载入RAM 202的数据包括在虚拟空间中使用的各种信息(虚拟空间信息)。
在步骤S4002中，CPU 201经由位置和方向传感器信息获取单元209获取从位置和方向传感器400发送的关于HMD 100的位置和方向信息以及关于刺激生成单元10、11和12的位置和方向信息，并将获取的信息存储到RAM 202中。
在步骤S4003中，CPU 201将在步骤S4002中获取的关于HMD 100的位置和方向信息设置为关于用户1的当前视点的位置和方向信息。此外，CPU 201将在步骤S4002中获取的关于刺激生成单元10、11和12的各个的位置和方向信息设置为关于根据刺激生成单元10、11和12的各个的位置和方向布置的虚拟对象(下文简称“部位虚拟对象”)的位置和方向信息。即，CPU 201根据刺激生成单元10、11和12的各个的位置和方向来设置与各刺激生成单元对应的部位虚拟对象。
在存在于虚拟空间中的虚拟对象的位置和方向变化的情况下，CPU 201确定在该变化后的位置和方向信息。CPU 201更新如上所述的虚拟空间中的各种信息。
这里描述部位虚拟对象的概况。如上所述，根据刺激生成单元10的位置和方向将与刺激生成单元10对应的部位虚拟对象布置在虚拟空间中。
根据刺激生成单元11的位置和方向将与刺激生成单元11对应的部位虚拟对象布置在虚拟空间中。
根据刺激生成单元12的位置和方向将与刺激生成单元12对应的部位虚拟对象布置在虚拟空间中。因此，将刺激生成单元10、11和12的各个的位置和方向反映在虚拟空间中。以这种方式使得刺激生成单元10、11和12的各个与虚拟空间之间可以交互。
下文中，将除部位虚拟对象之外的虚拟对象称为“背景虚拟对象”。即，虚拟空间包括背景虚拟对象，根据各刺激生成单元的位置和方向将部位虚拟对象布置在虚拟空间中。
此外，下文中，在通用的说明中可以将部位虚拟对象和背景虚拟对象统称为“虚拟对象”。
以下将详细描述关于作为一种虚拟对象的部位虚拟对象的特征。在这点上，由此根据对部位虚拟对象的计算将部位虚拟对象布置在虚拟空间中。因此，部位虚拟对象能够保持不被描绘。如上所述，与进行图4的流程图中的处理平行地进行“用于构造虚拟空间的处理”，即用于在虚拟空间中布置背景虚拟对象及光源的处理。
因此，在步骤S4004中，CPU 201确定通过上述处理在虚拟空间中布置的各个背景虚拟对象与在步骤S4003中在虚拟空间中布置的各个部位虚拟对象是否彼此干扰。即，CPU 201确定任意背景虚拟对象与任意部位虚拟对象是否互相接触。能够根据公知的方法来进行关于虚拟对象是否彼此干扰的确定。
在步骤S4005中，CPU 201确定与背景虚拟对象接触的部位虚拟对象是否位于关注范围(与图1的关注范围50对应)内(关注确定处理)。
以下将详细描述用于计算关注范围的方法。此外，以下也将详细描述在步骤S4005中的处理。
在步骤S4006中，CPU 201生成用于控制与接触背景虚拟对象的部位虚拟对象对应的刺激生成单元的操作的操作设置信息。该操作设置信息根据接触背景虚拟对象的部位虚拟对象是否位于关注范围内而可能不同。
例如，假设根据刺激生成单元10的位置和方向布置的部位虚拟对象以及根据刺激生成单元11的位置和方向布置的部位虚拟对象都与背景虚拟对象接触。
如果根据刺激生成单元10的位置和方向布置的部位虚拟对象位于关注范围内而根据刺激生成单元11的位置和方向布置的部位虚拟对象没有位于关注范围内，则为刺激生成单元10生成的操作设置信息与为刺激生成单元11生成的操作设置信息不同。即，在各操作设置信息中表示的刺激的强度相互不同。以下将详细描述步骤S4006中的处理。
在步骤S4007中，CPU 201经由刺激信息输出单元210将在步骤S4006中生成的操作设置信息输出到与接触背景虚拟对象的部位虚拟对象对应的刺激生成单元(在本示例性实施例中，皮肤感觉刺激单元20)。在接收到操作设置信息后，刺激生成单元生成操作设置信息所表示的强度的刺激。
如果CPU 201确定用户已经由操作单元204发出用于终止处理的指令或者如果满足用于终止处理的条件(步骤S4008中“是”)，则随后处理从步骤S4008进入步骤S4009。
另一方面，如果CPU 201确定用户还未经由操作单元204发出任何用于终止处理的指令或者如果不满足用于终止处理的条件(在步骤S4008中“否”)，则随后处理从步骤S4008返回至步骤S4002以重复步骤S4002及后续步骤中的处理。
以下将描述步骤S4004中的处理，即用于确定部位虚拟对象是否干扰背景虚拟对象的处理。
如上所述，预先在数据记录单元205中存储用于部位虚拟对象的数据及用于背景虚拟对象的数据。这里，用于各虚拟对象的数据包括虚拟对象形状信息和纹理图数据。
在虚拟对象为多边形结构的情况下，形状信息包括例如关于各多边形的法线向量数据及构成多边形的各顶点数据。
在进行用于确定部位虚拟对象是否干扰背景虚拟对象的处理的情况下，只使用各虚拟对象的数据的形状信息。
如果虚拟对象具有复杂形状，则形状信息的尺寸变大。因此，在进行用于确定具有复杂形状的虚拟对象是否彼此干扰中，使用大尺寸的形状信息来进行用于确定虚拟对象之间存在或不存在干扰的处理。在此情况下，可能发生大量的处理负载。
因此，在进行用于确定背景虚拟对象与部位虚拟对象是否彼此干扰的处理中，可以基于背景虚拟对象并利用关于背景虚拟对象的形状的低详细度信息来生成伪形虚拟对象以及基于部位虚拟对象并利用关于部位虚拟对象的低详细度信息来生成伪形虚拟对象进而进行用于确定所生成的伪形虚拟对象是否互相干扰的处理。
这里，能够基于数据量小的形状数据(表示相对低的详细度的形状信息)利用公知的基于关于虚拟对象的形状信息的多角形简化方法来生成虚拟对象的伪形虚拟对象。
或者，能够预先生成并且在数据记录单元205中存储用于进行用于确定存在或不存在干扰的处理的形状信息，而不是在干扰确定处理中实时生成形状信息。在这点上，能够使用各种方法以确定虚拟对象是否互相干扰。在本示例性实施例中，能够使用用于确定存在或不存在干扰的任意方法。
此外，能够使用除多角形以外的元素构造虚拟对象。而且，能够根据虚拟对象的元素来改变干扰确定处理的内容。即，在本示例性实施例中，根据本示例性实施例的处理被进行何种干扰是不明确的。因此，能够使用能够检测虚拟对象间干扰的任意方法。
现参照图5和6描述步骤S4005中的处理。更具体来说，以下描述用于确定接触背景虚拟对象的部位虚拟对象是否位于关注范围(与图1中的关注范围50对应)内的处理。
图5示出了包含安放了刺激生成单元10和11的用户1的手臂、位置和方向传感器400及HMD 100的现实空间的状态的示例。
图6示出了当现实空间的状态在图5所示的状态中时的虚拟空间的示例。因此，将现实空间(图5)和虚拟空间(图6)的组合的状态呈现给佩戴HMD 100的用户1。然而，为了更容易理解，以下分别描述了虚拟空间和现实空间。
参照图5，如上所述将刺激生成单元10安放在用户1的手上。将刺激生成单元11安放在用户1的肘上。在刺激生成单元10和11的各个上提供多个标记40。此外，在HMD 100上提供标记40。
此外，位置和方向传感器400监视各个标记40。视线方向向量68由关于HMD 100的位置和方向信息的方向分量表示。视线方向向量68是其起始点取在由关于HMD 100的位置和方向信息的位置分量表示的位置处的向量。
另一方面，参照图6，将背景虚拟对象302和303布置在虚拟空间中。这里，用户1的视点69表示具有由位置和方向传感器400测量的作为在HMD100位于图5所示的位置和方向中的状态下的HMD 100的位置和方向的位置和方向的点。根据刺激生成单元10的位置和方向来布置部位虚拟对象311。根据刺激生成单元11的位置和方向来布置部位虚拟对象312。
这里，在图6所示的示例中，部位虚拟对象311和312的各个是通过模仿与其对应的刺激生成单元10和11的形状而生成的虚拟对象。部位虚拟对象311和312能够具有其他任何形式。然而，期望部位虚拟对象是通过模仿对应的刺激生成单元的形状生成的虚拟对象或通过模仿佩戴对应的刺激生成单元的用户的身体部位的形状生成的虚拟对象。
这是因为在增加干扰确定处理的现实度中，可以基于刺激生成单元的形状或佩戴刺激生成单元的用户部位的形状来进行用于确定存在与背景虚拟对象的干扰的处理。
基于包含在视点69的位置和方向信息及视角信息中的视点信息来计算视体55。通常能够使用在描绘虚拟空间图像的情况下设置的视体(与用于看虚拟空间的虚拟视域对应的视体)作为视体55。
在这种情况下，视体55表示在HMD 100的显示单元102上描绘的虚拟空间的范围。
在图6所示的示例中，视体55包括HMD 100的水平和垂直视角以及与视线方向向量68正交的两个平面。这两个平面包括位置与视点69较近的平面(前裁剪面)和与视点69较远的平面(后裁剪面)。
这里，如果基于关于视点69的信息中的任何变化再次计算视体55进而能够适当地确定其形状和尺寸则是可以的。
此外，将生成视体55需要的信息(除关于视体69的位置和方向信息之外的信息)预先记录在数据记录单元205中。这里，视体55被用作关注范围。
在图6所示的示例中，部位虚拟对象311与背景虚拟对象302互相接触。此外，部位虚拟对象312与背景虚拟对象303互相接触。
此外，在图6所示的示例中，部位虚拟对象311位于视体55内，而部位虚拟对象312位于视体外。这里，假定用户1关注接触背景虚拟对象的部位虚拟对象的、与包含在关注范围内的部位虚拟对象对应的刺激生成单元。
另一方面，关于与不包含在关注范围内的部位虚拟对象对应的刺激生成单元，可以假定用户1不关注。
在本示例性实施例中，CPU 201根据作为关注范围所计算的视体与接触背景虚拟对象的部位虚拟对象之间的位置关系来进行用于确定各虚拟对象是位于视体55内还是外的处理。
在图6所示的示例中，接触背景虚拟对象302的部位虚拟对象311存在于视体55之内。因此，在这种情况下，能够假定用户1关注安放了刺激生成单元10的部位。
另一方面，接触背景虚拟对象303的部位虚拟对象312存在于视体55之外。因此，在这种情况下，能够假定用户1不关注安放了刺激生成单元11的部位。
随后，在这种情况下，CPU 201为刺激生成单元10和刺激生成单元11生成不同的操作设置信息以使刺激生成单元10和刺激生成单元11生成各自不同强度等级的刺激。
图7是示出步骤S4005中的处理的示例性详细流程的流程图。
这里，在步骤S4005中，CPU 201不处理全部部位虚拟对象但是处理在步骤S4004中的干扰确定处理中已被确定的与背景虚拟对象接触的部位虚拟对象。在步骤S7001中，CPU 201确定包含在关于已被确定与背景虚拟对象接触的各部位虚拟对象的位置信息中的位置是否在视体之内(在关注范围内)。
如果在步骤S7001中确定包含在关于已被确定与背景虚拟对象接触的部位虚拟对象的位置信息中的位置在视体之内(在关注范围内)(步骤S7001中“是”)，则随后CPU 201进入步骤S7002。在步骤S7002中，CPU 201将对于部位虚拟对象唯一的标识信息(例如ID)记录在RAM 202上以确定接触背景虚拟对象的部位虚拟对象在关注范围之内。
另一方面，如果在步骤S7001中确定包含在关于已被确定与背景虚拟对象接触的部位虚拟对象的位置信息中的位置在视体之外(步骤S7001中“否”)，则随后CPU 201进入步骤S7003。在步骤S7003中，CPU 201将对于部位虚拟对象唯一的标识信息(例如ID)记录在RAM 202上以确定接触背景虚拟对象的部位虚拟对象在关注范围之外。
在上述示例中，用于显示虚拟空间的视体被用作关注范围。然而，本发明并不限于此。即，能够用具有四角棱锥形状或预定形状并被设置在HMD 100的视线方向上的空间作为关注范围。
图8示出了根据本示例性实施例的用于设置关注范围的另一方法的示例。在图8所示的示例中，为关注范围(关注确定空间)56设置比视体55小的空间。将关注确定空间56设置得比用户1能够看到的范围(视体55)小，是因为用户1不太可能关注显示区域的周边部分。如果接触背景虚拟对象的部位虚拟对象存在于关注确定空间56之内，则随后CPU 201确定用户1关注部位虚拟对象。
参照图8，将相当于视体55的后裁剪面的平面移动到视点69的方向上。因此，设置了相对小的关注确定空间56。
如在本实施例中，在使用直接安放在人体上的刺激生成单元的情况下，用于显示虚拟对象的视体不能够接触位于远距离位置处的视体。因此，将关注确定空间56用户化为专用作关于用户与虚拟对象之间接触的关注范围的空间。关于关注范围的用户化，可以基于人的视觉特征和任务的内容(在本示例性实施中，核查工作)来确定其内容。
例如，人的视域在纵向上通常为向上大约60度向下大约75度。因此，在本示例性实施例中，将关注范围设置在HMD 100的向上60度以及向下75度的范围内，即使显示装置包含比该范围更广的视角。
此外，人的视域包括具有高分辨率的中央视域。在利用视觉核查来进行工作(关注并且触摸对象)的情况下，用户1能够利用中央视域来观察对象。因此，可以在中央视域周围设置关注范围。
而且，关注范围可能根据任务类型的不同而不同。在这点上，可以根据工作目标对象的类型及要进行的核查的内容来预定关注范围。
而且，可以预先测量用户的眼睛移动以假定并估计在要进行的任务工作中的关注范围并且基于假定的关注范围来设置关注范围。如上所述，能够任意选择并且使用各种方法来设置关注范围，即使如果改变了视点的位置和方向则据此再次设置关注范围。
以下详细描述步骤S4006中的处理。更具体来说，以下描述用于生成用于控制与接触背景虚拟对象的部位虚拟对象相对应的刺激生成单元的操作的操作设置信息的处理。
图9是示出根据本示例性实施例的步骤S4006中的示例性处理的流程图。参照图9，在步骤S9001中，CPU 201确定包含在关于已被确定与背景虚拟对象接触的各部位虚拟对象的位置信息中的位置是否在视体内(在关注范围内)。
如果在步骤S9001中确定包含在关于已被确定与背景虚拟对象接触的部位虚拟对象的位置信息中的位置在视体内(在关注范围内)(步骤S9001中“是”)，则随后CPU 201进入步骤S9002。在步骤S9002中，CPU 201对在步骤S7002(图7)中记录在RAM 202上的ID信息进行处理以设置关注范围的输出值。
另一方面，如果在步骤S9001中确定包含在关于已被确定与背景虚拟对象接触的部位虚拟对象的位置信息中的位置在视体外(步骤S9001中“否”)，则随后CPU 201进入步骤S9003。在步骤S9003中，CPU 201对在步骤S7003(图7)中记录在RAM 202上的ID信息的处理以设置关注范围外的输出值。
在步骤S9002中，CPU 201识别与在步骤S7002中记录在RAM 202上的ID信息对应的部位虚拟对象。
随后，CPU 201生成(设置)要对与所识别的部位虚拟对象对应的刺激生成单元设置的操作设置信息(对于在关注范围内的部位虚拟对象的操作设置信息)。
另一方面，在步骤S9003中，CPU 201识别与在步骤S7003中记录在RAM202上的ID信息对应的部位虚拟对象。
随后，CPU 201生成(设置)要对与所识别的部位虚拟对象对应的刺激生成单元设置的操作设置信息(对于关注范围外的部位虚拟对象的操作设置信息)。
在图6所示的示例中，CPU 201对刺激生成单元10设置对于在关注范围内的部位虚拟对象的操作设置信息。另一方面，CPU 201对刺激生成单元11设置对于在关注范围外的部位虚拟对象的操作设置信息。
将关于哪个部位虚拟对象与哪个刺激生成单元相关联的对应关系信息(哪个部位虚拟对象被布置在刺激生成单元的哪个位置和方向上)预先记录在数据记录单元205上。因而，CPU 201能够识别与部位虚拟对象对应的刺激生成单元。
在图4的步骤S4007中，CPU 201经由刺激信息输出单元210将在步骤S9002中设置的操作设置信息输出给与在步骤S7002中记录在RAM 202上的ID信息对应的部位虚拟对象相关联的刺激生成单元。
此外，在图4的步骤S4007中，CPU 201经由刺激信息输出单元210将在步骤S9003中设置的操作设置信息输出给与在步骤S7003中记录在RAM 202上的ID信息对应的部位虚拟对象相关联的刺激生成单元。
在本示例性实施例中，关于刺激控制，可以将在关注范围外的接触的情况下生成的刺激设置为比在关注范围内的接触的情况下生成的刺激更高的等级。
即，如果接触背景虚拟对象的部位虚拟对象包含在关注范围内，则随后CPU 201设置操作设置信息以使与部位虚拟对象对应的刺激生成单元生成第一强度的刺激。
另一方面，如果接触背景虚拟对象的部位虚拟对象不包含在关注范围内，则随后CPU 201设置操作设置信息以使与部位虚拟对象对应的刺激生成单元生成第二强度的刺激。这里，第一强度的等级比第二强度的等级低。
在根据脉宽调制(PWM)控制使用振动马达来操作皮肤感觉刺激单元20的情况下，预先设置两个负荷比以输出不同的振动强度。
然后，如果接触背景虚拟对象的部位虚拟对象包含在关注范围内，则CPU201将低负荷比作为操作设置信息设给与部位虚拟对象对应的刺激生成单元。
如果接触背景虚拟对象的部位虚拟对象不包含在关注范围内，则随后CPU 201将高负荷比作为操作设置信息设给与部位虚拟对象对应的刺激生成单元。
当将以此方式设置的操作设置信息输出给刺激生成单元时，如果接触背景虚拟对象的部位虚拟对象包含在关注范围内，则与部位虚拟对象对应的刺激生成单元生成相对低的刺激。
另一方面，如果接触背景虚拟对象的部位虚拟对象不包括在关注范围内，则与部位虚拟对象对应的刺激生成单元生成相对高的刺激。
因此，用户能够基于振动刺激的感觉识别用户已接触了背景虚拟对象。因而，因为在关注范围外的接触的情况下用户接收到高刺激，所以用户能够清楚识别用户不关注的刺激。
在本示例性实施例中，使用负荷比作为操作设置信息。然而，本发明并不限于此。
即，在使用输入电压的模拟值进行振动马达的控制的情况下，能够通过设置低电压值和高电压值作为操作设置信息来控制要从刺激生成单元输出的刺激的等级。
此外，能够根据刺激类型通过改变关于用作皮肤感觉刺激单元20的设备的驱动频率或幅度来表达并提供刺激度(等级)。一般来说，在对用户的皮肤应用机械刺激的情况下，用户能够最清楚地感觉到大约200HZ的刺激。
在这点上，能够通过将关注范围外的部分中提供的高强度刺激设置在200HZ左右并且将在关注范围内的部分中提供的低强度刺激设置在100HZ或更低的方式改变频率来改变刺激度(等级)。在这种情况下，使用在各频率的值作为操作设置信息。
此外，作为根据本示例性实施例提供的不同刺激，可以使用不同模式的刺激。
图10A和10B是与分别的不同的刺激相对应的波形图。
图10A是示出连续刺激输出的图。图10B是示出以矩形波提供刺激的输出的图。
可以将各刺激模式分为用于在关注范围内接触的刺激及用于在关注范围外接触的刺激。在这点上，可以为关注范围内的接触分配图10A中的刺激模式而为关注范围外的接触分配图10B中的刺激模式。
这是因为能够通过使用图10A中的刺激模式来表达在关注范围内的连续接触，而能够通过图10B中的刺激模式来表达用于警告用户的刺激。
即，在刺激生成单元包含在关注范围内的情况下，CPU 201生成操作设置信息以使刺激生成单元生成第一刺激。另一方面，在刺激生成单元不包含在关注范围内的情况下，CPU 201生成用于使刺激生成单元生成第二刺激的操作设置信息。第一刺激与第二刺激彼此不同。
此外，如果CPU 201只在关注范围内的接触的情况与关注范围外的接触的情况中的其中一种情况下输出刺激并且在另一种情况下不输出刺激，则也是可以的。
如上所述，根据本示例性实施例，能够在关注范围内的接触与关注范围外的接触之间生成并且提供不同的刺激。因此，本示例性实施例在即使当用户不关注关注范围外的接触时也能够在用户的身体部位上明确地提供接触信息。
此外，根据具有上述结构的本示例性实施例，当用户在关注范围外的接触的情况下接收到高强度刺激因而关注被刺激的部位并且改变虚拟空间中视点的位置和方向时，所述接触部位进入关注范围。因而，在这种情况下，将要提供的刺激的等级或量改变为在关注范围内的接触的情况下的等级或量。
此外，根据具有上述结构的本示例性实施例，能够通过基于关于HMD 100的追踪信息动态改变关注范围来在用于警告用户的接触状态刺激与表达连续接触的刺激之间平滑地切换要提供的刺激的类型。这里，HMD 100的追踪指获取关于用户头部的位置和方向信息或关于显示装置的位置和方向信息。
第二示例性实施例
以下描述本发明的第二示例性实施例。能够使用各种方法来确定部位虚拟对象是否位于关注范围内。在本发明的第二示例性实施例中，CPU 201对关于通过成像单元101捕获的现实空间图像进行图像处理以确定部位虚拟对象是否位于关注范围内。
根据本示例性实施例的系统与第一示例性实施例中的类似。根据本示例性实施例的系统与第一示例性实施例在以下要点上不同。
图11示出了根据本示例性实施例的成像单元101捕获的现实空间图像的示例。
参照图11，背景虚拟对象305、用户1的手臂1199和刺激生成单元10包含在现实空间图像410内。此外，二维条形码45和标记40被布置在刺激生成单元10上。现实空间410还包括二维条形码45和标记40。
在图11所示的示例中，与刺激生成单元10对应的部位虚拟对象与背景虚拟对象305接触。二维条形码45表示对于刺激生成单元10唯一的ID信息(例如ID)。
这里，除二维条形码45外的任意信息能够被用作对于刺激生成单元10唯一的ID信息，如果该信息能够表示对于刺激生成单元10唯一的ID信息的话。
在本示例性实施例中，当刺激生成单元10包含在现实空间图像410(位于现实空间图像410内)时，CPU 201确定刺激生成单元10位于关注范围内。更具体来说，如果在现实空间图像410中检测到二维条形码45并且成功识别二维条形码45，则随后CPU 201确定由二维条形码45表示并且由该识别确认的刺激生成单元10位于关注范围内。
在图11所示的示例中，当检测到并识别出二维条形码45时，CPU 201能够确定表示刺激生成单元10的二维条形码45位于现实空间图像410内。因此，CPU 201将关注范围内的接触的操作设置信息设给刺激生成单元10。
关于对现实空间图像410进行的用以检测二维条形码45的图像处理的范围，可以只通过把不进行图像处理的区域遮住来对于整个现实空间图像410或对于预定区域进行图像处理。能够根据显示单元102的显示范围来选择或设置预定区域，从而考虑中央视域的范围而将图像周边部分的像素遮住。
在图11所示的示例中，在刺激生成单元10上提供标记40以获取现实空间图像410外的刺激生成单元10的位置和方向。在刺激生成单元10上提供标记40以获取关于现实空间图像410外(关注范围外)的刺激生成单元10的位置和方向并且确定相应的部位虚拟对象与背景虚拟对象是否互相干扰。
在本示例性实施例中，用户1实际观察的图像被用来确定部位虚拟对象是否位于关注范围内。因此，确定结果与实际状态符合。
例如，在图11中有另一现实对象位于刺激生成单元10和成像单元101之间，在现实对象后面捕获刺激生成单元10的图像。在这种情况下，未识别二维条形码45。因此，CPU 201确定二维条形码45表示的刺激生成单元没有位于关注范围内。在这种情况下，用户不能适当核查位于现实对象之后的刺激生成单元10的位置和方向。因此，CPU 201确定刺激生成单元10位于关注范围之外。因而，确定结果能够符合实际状态。
第三示例性实施例
以下描述本发明的第三示例性实施例。在刺激生成单元位于关注范围与关注范围外部分之间的边界上的情况下，可以进行作为用于在步骤S4005确定关注存在的处理的以下预定方法。
例如，如果刺激生成单元的任意部分位于关注范围内则使用用于确定用户关注接触(接触背景虚拟对象的部位虚拟对象位于关注范围内)的方法是可以的。
此外，也可以只有在所关心的刺激生成单元的全部位于关注范围内时才使用用于确定用户关注接触的方法。在这种情况下，如果刺激生成单元位于边界上，则CPU 201确定接触发生在关注范围之外。此外，如果刺激生成单元位于边界上，则CPU 201能够确定已经出现了预定的指定状态。
在如第一示例性实施例中的通过设置虚拟空间中的关注范围来进行用于确定用户是否关注接触的处理的情况下，如果部位虚拟对象在虚拟空间中的位置穿过关注范围与关注范围外之间的边界，则CPU 201确定刺激生成单元位于边界上。
另一方面，在如第二示例性实施例中的通过进行图像处理来进行用于确定用户是否关注接触的处理的情况下，如果在图像的周边部分只识别了标记40的一部分，则CPU 201确定刺激生成单元位于边界上。
图12是示出根据本示例性实施例的用于确定接触背景虚拟对象的部位虚拟对象位于关注范围内、外或边界上的哪一个的处理流程的示例的流程图。
这里，在步骤S4005(图4)中进行根据图12的流程图的处理。在以下描述的处理中，在使用视体55设置虚拟空间中的关注范围的情况下，CPU 201确定接触背景虚拟对象的部位虚拟对象位于关注范围内、外和边界中的哪一个。
这里，在步骤S4005中，CPU 201不处理全部部位虚拟对象但是处理已在步骤S4004的干扰确定处理中被确定与背景虚拟对象接触的部位虚拟对象。
参照图12，在步骤S1201中，CPU 201对已被确定与背景虚拟对象接触的各部位虚拟对象确定是否整个部位虚拟对象位于关注范围内。在步骤S1202中处理确定整个位于关注范围内的部位虚拟对象。
在步骤S1203中处理确定并非整个位于关注范围内的部位虚拟对象。
在步骤S1202中，CPU 201将对被确定整个位于关注范围内的部位虚拟对象唯一的ID信息(例如ID)记录在RAM 202上以确定接触背景虚拟对象的部位虚拟对象整个存在于关注范围之内。
在步骤S1203中，CPU 201确定整个部位虚拟对象(已被确定并非位于关注范围内)是否位于关注范围外。随后在步骤S1204中处理被确定整个位于关注范围外的部位虚拟对象。
另一方面，随后在步骤S1205中处理被确定并非整个位于关注范围外的部位虚拟对象。
在步骤S1204中，CPU 201将对于整个位于关注范围外的部位虚拟对象唯一的ID信息(例如ID)记录在RAM 202上以确定接触背景虚拟对象的部位虚拟对象整个存在于关注范围之外。在步骤S1205中，CPU 201将对于位于关注范围与关注范围外(即作为步骤S1201或步骤S1203的处理的结果还未提取虚拟对象)之间的边界上的部位虚拟对象唯一的ID信息(例如ID)记录在RAM 202上。
随后，在步骤S4006(图4)中，CPU 201针对上述三种情况设置操作设置信息。
在整个位于关注范围内的部位虚拟对象存在或整个位于关注范围外的部位虚拟对象存在的情况下，CPU 201以与第一示例性中类似的方式设置操作设置信息。
此外，关于与位于关注范围与关注范围外之间边界的部位虚拟对象对应的刺激生成单元，CPU 201设置以下的操作设置信息。
例如，CPU 201设置表示与整个位于关注范围外的部位虚拟对象对应的刺激生成单元所生成的刺激的强度等级以及与整个位于关注范围内的部位虚拟对象对应的刺激生成单元所生成的刺激的强度等级之间的强度等级的操作设置信息。
如上所述，根据本示例性实施例，在关注范围的周边部分中接触的情况下，CPU 201设置与关注范围的刺激相比较更高等级的刺激。因此，本示例性实施例能够根据用户的关注程度来提供刺激。
第四示例性实施例
以下描述本发明的第四示例性实施例。在上述各个示例性实施例中，皮肤感觉刺激单元被安放在刺激生成单元上以向用户身体提供皮肤感觉刺激。
可以通过在刺激生成单元上安放生成声音的声音生成单元来向用户身体提供音频刺激。在这种情况下，能够使用小尺寸扬声器作为声音生成单元。
可以使用皮肤感觉刺激向用户通知与虚拟对象的接触。然而，提供皮肤感觉刺激的设备可能需要与用户皮肤的紧密接触。因此，可能需要用户进行用于安放和拆卸刺激生成单元的复杂操作。
另一方面，用声音通知接触比用皮肤感觉刺激更高级更有用，因为能够用简单操作来安放并拆卸它。而且在用声音生成单元代替皮肤感觉刺激单元的情况下，CPU 201根据关注范围内或外来改变声音的音量或内容。因此，用户能够容易注意关注范围外的接触。
也可以在用声音表达接触信息的情况下使用外部扬声器。在这种情况下，如果在靠近接触位置处布置小尺寸扬声器从而能够用声音使用户注意接触位置，则是更有用的。
如果同时使用上述利用振动和声音的方法则是更有用的。
在利用声音信息向用户通知接触的情况下，如果在用户的工作中生成了不同的声音，或者如果多个用户协作进行工作，则可能生成并混合多种声音。在这种情况下，用户可能不会适当地听到通知声音。在这种情况下，优先使用皮肤感觉刺激是有用的。如上所述，能够根据用户的工作状态适当改变要使用的刺激生成单元。
第五示例性实施例
以下描述本发明的第五示例性实施例。在上述各个示例性实施例的中，在步骤S4005(图4)中，CPU 201不处理全部部位虚拟对象但是处理在步骤S4004的干扰确定处理中已被确定与背景虚拟对象接触的部位虚拟对象。
在本示例性实施例中，在进行用于确定部位虚拟对象是否干扰背景虚拟对象的处理之前，CPU 201确定部位虚拟对象是否位于关注范围内。
图13是示出根据本示例性实施例的计算处理装置200进行的用于控制刺激生成单元10、11和12的各个的操作的处理示例的流程图。
在图13所示的示例中，与图4的步骤相似的步骤用相同的数字和符号提供，在此不再重复对其描述。
在步骤S1304中，CPU 201对所有部位虚拟对象确定部位虚拟对象是否位于关注范围内。在本示例性实施例中，CPU 201进行上述的用于确定部位虚拟对象是否位于关注范围内的处理。
随后，在步骤S1305中，CPU 201对所有部位虚拟对象进行用于确定部位虚拟对象是否与背景虚拟对象接触的处理。
在本示例性实施例中，如上所述，在进行用于确定部位虚拟对象是否干扰背景虚拟对象的处理之前，CPU 201进行用于确定部位虚拟对象是否位于关注范围内的处理。因此，在后续处理中能够使用前一个处理的结果。
例如，关于确定位于关注范围内的部位虚拟对象，CPU 201利用详细形状信息来进行用于确定存在对背景虚拟对象的干扰的处理。
另一方面，关于确定位于关注范围外的部位虚拟对象，CPU 201利用简单形状信息来进行用于确定存在对背景虚拟对象的干扰的处理。
更具体来说，在图6所示的虚拟空间的情况下，CPU 201利用关于与用户的手相似的形状的信息来进行用于确定部位虚拟对象311是否干扰背景虚拟对象的处理。此外，CPU 201利用关于简单形状(例如圆柱体)的信息进行用于确定部位虚拟对象312是否干扰背景虚拟对象的处理。
通过控制用于确定接触存在的处理，能够降低基于关注范围之外的接触存在确定的计算的花费。
各个与背景虚拟对象接触的部位虚拟对象中位于关注范围内的部位虚拟对象和位于关注范围之外的部位虚拟对象都经受与上述示例性实施例的处理相似的处理。
第六示例性实施例
以下描述本发明的第六示例性实施例。如以上在第一示例性实施例中所述，可以将与在部位虚拟对象与背景虚拟对象在关注范围内互相接触时生成的刺激比较相对高的刺激设置为在部位虚拟对象与背景虚拟对象在关注范围外互相接触时生成的刺激。
即，如果接触背景虚拟对象的部位虚拟对象包含在关注范围内，则随后CPU 201设置操作设置信息以使与部位虚拟对象对应的刺激生成单元生成第一强度的刺激。
另一方面，如果接触背景虚拟对象的部位虚拟对象不包含在关注范围内，则随后CPU 201设置操作设置信息以使与部位虚拟对象对应的刺激生成单元生成第二强度的刺激。这里，第一强度的等级比第二强度的等级低。
然而，在连续生成关于关注范围外的接触的高刺激的情况下，甚至在用户已识别该接触之后也持续向用户提供高刺激。
在这点上，例如，在图1所示的示例中，如果在通过膝盖已识别与虚拟对象的接触后用户1进行工作或核查，则随后如果用户1在膝盖上经受持续的高刺激则用户1可能会感到不舒服。在这点上，在本示例性实施例中，在部位虚拟对象与背景虚拟对象在关注范围外互相接触时，只在从接触开始起的预定时间段内CPU 201才生成要生成的刺激。
图14是示出根据本示例性实施例的时间序列上在部位虚拟对象与背景虚拟对象间的接触在关注范围之外继续的情况下所生成的刺激的示例性强度等级的图。
在图14所示的示例中，在0秒的时刻发生了部位虚拟对象与背景虚拟对象之间的接触。
参照图14，在本示例性实施例中，在从接触开始起经过了预定时间后(在图14中1.5秒之后)CPU 201将刺激强度从第一等级降低到第二等级。使用该控制，本示例性实施例能够获取使用户容易识别在关注范围外与虚拟对象的接触的效果以及抑制用户经受连续高刺激的不便性的效果。
这里，可以假如第一等级刺激强度设置得比关注范围内的接触的刺激强度高。
即，在本示例性实施例中，用于使刺激生成单元生成第二强度刺激的操作设置信息是只在预定时间段内用于使刺激生成单元生成第二等级强度刺激的操作设置信息。
第七示例性实施例
以下描述本发明的第七示例性实施例。在上述示例性实施例中，根据刺激生成单元的位置和方向布置部位虚拟对象，以进行用于确定刺激生成单元与背景虚拟对象是否互相干扰的处理。此外，CPU 201进行用于确定部位虚拟对象是否干扰背景虚拟对象的处理。在上述示例性实施例中，CPU 201使用部位虚拟对象以确定刺激生成单元是否位于关注范围内。如上所述，上述示例性实施例使用部位虚拟对象来将现实空间的实际状态反映到虚拟空间中。因此，上述示例性实施例能够进行上述的各种确定处理。
然而，在计算的花费方面这种方法可能不那么有用。在这点上，在本示例性实施例中，CPU 201获取各皮肤感觉刺激单元的位置并将获取的位置信息反映在虚拟空间中。
例如，在皮肤感觉刺激单元被安放在手套状形状的刺激生成单元的各手指部分的情况下，CPU 201将各皮肤感觉刺激单元的位置作为点反映在虚拟空间中。随后，CPU 201用该点作为部位虚拟对象。
如上所述，根据本示例性实施例，因为本示例性实施例不使用大体积的部位虚拟对象，所以计算的花费可能比上述示例性实施例中的要小。
另一方面，在使用大量皮肤感觉刺激单元的情况下，CPU 201很困难来获取现实空间中各皮肤感觉刺激单元的位置。因此，在这种情况下，能够根据其使用目的来确定要使用上述示例性实施例描述的结构中的哪一个。
这里，在本示例性实施例中，因为要在虚拟空间中反映的现实空间信息被表示为无体积的点，所以可以仅获取关于皮肤感觉刺激单元的位置信息。即，在这种情况下，因为不需要使用方向信息，所以能够使用具有3个自由度的传感器来代替位置和方向传感器。
第八示例性实施例
以下描述本发明的第八示例性实施例。在上述示例性实施例中，部位虚拟对象具有与现实空间中的刺激生成单元的形状相似的形状。然而，该形状并不限于此。
例如，在使用手套状形状的刺激生成单元的情况下，根据刺激生成单元的位置和方向来布置的部位虚拟对象的形状可以是圆柱状形状。
此外，作为根据手套状形状的刺激生成单元的位置和方向布置的部位虚拟对象，能够使用具有如手持工具的形状的虚拟对象。在这种情况下，虚拟对象能够被实际显示并用在用于确定是否存在对背景虚拟对象的干扰的处理及用于确定在关注范围内是否发生接触的处理中。
此外，在上述示例性实施例中，刺激生成单元具有适于在人体上安放的形状。然而，本发明并不限于此。
即，如果在棍状形状的刺激生成单元中布置了多个皮肤感觉刺激单元，则是有用的。在此情况下，CPU 201将诸如螺丝刀或扳手的工具的形状设置为部位虚拟对象的形状以设置与实际刺激生成单元的形状不同的形状，并显示该部位虚拟对象的形状。
因此，用户能够虚拟地体验要使用工具进行的工作。如果使用了夹型刺激生成单元，则可能失去用户身体感受到的直觉操作感觉，但是能够简化佩戴这种夹型刺激生成单元的操作。
此外，具有上述结构的本示例性实施例能够使用户有效地在虚拟空间中进行实际工作的模拟。
第九示例性实施例
以下描述本发明的第九示例性实施例。在上述示例性实施例中，使用HMD100作为头戴型显示装置的示例。然而，可以使用除HMD 100之外的显示装置作为头戴型显示装置。此外，能够使用除头戴型显示装置之外的显示装置。
即，能够使用能够通过头部追踪来识别视线方向或能够通过追踪自身能够被使用的显示装置来追踪虚拟视线方向的任意显示装置。
使用大尺寸显示器和偏光眼镜来进行立体视觉的系统作为能够实现头部追踪方法的环境。在这种情况下，能够基于偏光眼镜的位置和方向来设置关注范围。
第十示例性实施例
以下描述本发明的第十示例性实施例。在本发明的上述示例性实施例中，在部位虚拟对象与背景虚拟对象在关注范围之外互相接触时生成的刺激比在部位虚拟对象与背景虚拟对象在关注范围之内互相接触时生成的刺激设置得要高。
然而，在使用包括振动马达的皮肤感觉刺激单元的情况下，即使当提供了相同强度的刺激时，用户实际感觉的强度也可能根据皮肤感觉刺激单元在用户身体上的安放位置而不同。
例如，人的手指能够敏感地对刺激作出反应，但是人的膝盖和肘不能像手指那样敏感地对刺激作出反映。因此，在用户身体的不同部位上安放皮肤感觉刺激单元的情况下，如果预先使各部位接触虚拟对象并将与用户感觉的刺激强度相同的值设为各部位的基准强度则是有用的。
随后，通过基于基准强度来为在关注范围内接触的各部位与在关注范围外接触的各部位的刺激强度设置不同的值，能够根据在关注范围内是否发生接触来清楚地提供虚拟对象与用户整个身体的任意部位之间的接触。
这里，本示例性实施例使用刺激生成强度来控制刺激生成单元的操作。然而，本发明并不限于此。即，提供刺激或频率的模式能够被用作用于控制刺激生成单元操作的方法。
此外，在适当时能够将上述示例性实施例彼此结合地使用。
其他示例性实施例
本发明也能通过以下方法来实现：提供具有存储了实现实施例功能的软件的程序代码的存储介质(或记录介质)的系统或设备，使用系统或设备的计算机(CPU或MPU)来读取并执行在存储介质中存储的程序代码。
在这种情况下，从存储介质读取的程序代码自身实现了上述实施例的功能，因此，存储程序代码的存储介质构成了本发明。
此外，不仅通过执行计算机读取的程序代码，而且通过操作系统(OS)等基于程序代码给出的指令执行部分或全部实际处理，也能实现根据上述实施例的功能。
而且，在从存储介质读出的程序代码被写入插入计算机的功能扩展板的存储器或连接到计算机的功能扩展单元的存储器后，功能扩展板或功能扩展单元提供的CPU等执行部分或全部处理来实现上述实施例的功能。
在本发明在上述记录介质(存储介质)上被实现的情况下，记录介质存储与上述流程图中的处理相对应的程序代码。
虽然参照示例性实施例对本发明进行了描述，应当理解的是本发明并不限于所公开的示例性实施例。以下权利要求的范围符合最宽泛的解释，包括所有修改、等同结构与功能在内。

Claims (13)

1.一种信息处理装置，被配置为基于关于用户的视点的位置和方向信息在包含虚拟对象的虚拟空间中生成图像，所述信息处理装置包括：
获取单元，被配置为获取关于布置在所述用户的身体上的、从而能够提供刺激的刺激生成单元的位置信息；
确定单元，被配置为基于关于所述虚拟对象的位置和方向信息及关于所述刺激生成单元的位置信息来确定所述虚拟对象与所述刺激生成单元是否互相接触，
以及如果确定所述虚拟对象与所述刺激生成单元互相接触则确定所述刺激生成单元是否包含在用户从所述视点所关注的关注范围之内；以及
输出单元，被配置为根据所述确定单元的确定结果来生成用于控制所述刺激生成单元的操作的操作设置信息并且将所述生成的操作设置信息输出到所述刺激生成单元。
2.根据权利要求1所述的信息处理装置，还包括：
被配置为获取从所述视点观察的现实空间中的图像的单元，以及
被配置为将通过组合所述现实空间中的所述图像与所述虚拟空间中的所述图像生成的组合图像输出到显示装置的单元。
3.根据权利要求2所述的信息处理装置，其中所述确定单元被配置为通过确定所述刺激生成单元是否包含在所述现实空间中的所述图像中来确定所述刺激生成单元是否包含在所述关注范围之内。
4.根据权利要求1所述的信息处理装置，其中所述确定单元包括：
被配置为获取关于包含有关所述视点的所述位置和方向信息的所述视点的视点信息的单元；以及
被配置为基于所述视点信息来生成表示所述关注范围的信息的单元。
5.根据权利要求1所述的信息处理装置，其中，如果所述确定单元确定所述刺激单元包含在所述关注范围内，则所述输出单元被配置为生成用于使所述刺激生成单元生成第一刺激的操作设置信息，
其中，如果所述确定单元确定所述刺激生成单元不包含在所述关注范围内，则所述输出单元被配置为生成用于使所述刺激生成单元生成第二刺激的操作设置信息，以及
其中所述第一刺激与所述第二刺激彼此不同。
6.根据权利要求5所述的信息处理装置，其中用于使所述刺激生成单元生成所述第二刺激的所述操作设置信息包括用于使所述刺激生成单元仅在预定长度的时间内生成所述第二刺激的操作设置信息。
7.一种信息处理装置，被配置为基于关于用户视点的位置和方向信息在包含虚拟对象的虚拟空间中生成图像，所述信息处理装置包括：
被配置为获取关于布置在所述用户的身体上的、从而能够提供刺激的刺激生成单元的位置信息的单元；
确定单元，被配置为确定所述刺激生成单元是否包含在用户从所述视点关注的关注范围之内；
被配置为根据所述确定单元的确定结果来控制用于基于关于所述虚拟对象的位置和方向信息及关于所述刺激生成单元的所述位置信息来确定所述虚拟对象与所述刺激生成单元是否互相接触的处理的单元；以及
输出单元，被配置为根据所述确定单元的确定结果及关于所述虚拟对象与所述刺激生成单元是否互相接触的确定结果来生成用于控制所述刺激生成单元的操作的操作设置信息并且将所述生成的操作设置信息输出到所述刺激生成单元。
8.根据权利要求1所述的信息处理装置，其中所述刺激生成单元生成的所述刺激包括皮肤感觉刺激和声音刺激。
9.一种用于控制信息处理装置的方法，所述信息处理装置被配置为基于关于用户视点的位置和方向信息在包含虚拟对象的虚拟空间中生成图像，所述方法包括：
获取关于布置在所述用户的身体上的、从而能够提供刺激的刺激生成单元的位置信息；
基于关于所述虚拟对象的位置和方向信息及关于所述刺激生成单元的位置信息来确定所述虚拟对象与所述刺激生成单元是否互相接触；
如果确定所述虚拟对象与所述刺激生成单元互相接触则确定所述刺激生成单元是否包含在用户从所述视点所关注的关注范围之内；以及
根据关于所述刺激生成单元是否包含在所述关注范围内的确定结果来生成用于控制所述刺激生成单元的操作的操作设置信息，并将所述生成的操作设置信息输出到所述刺激生成单元。
10.一种用于控制信息处理装置的方法，所述信息处理装置被配置为基于关于用户视点的位置和方向信息在包含虚拟对象的虚拟空间中生成图像，所述方法包括：
获取关于布置在所述用户的身体上的、从而能够提供刺激的刺激生成单元的位置信息；
确定所述刺激生成单元是否包含在用户从所述视点关注的关注范围内；
根据关于所述刺激生成单元是否包含在所述关注范围内的确定结果，控制用于基于关于所述虚拟对象的位置和方向信息及关于所述刺激生成单元的位置信息来确定所述虚拟对象与所述刺激生成单元是否互相接触的处理；以及
根据关于所述刺激生成单元是否包含在所述关注范围内的确定结果以及关于所述虚拟对象与所述刺激生成单元是否互相接触的确定结果来生成用于控制所述刺激生成单元的操作的操作设置信息，并将所述生成的操作设置信息输出到所述刺激生成单元。
11.一种信息处理装置，被配置为向用户提供包括虚拟对象的虚拟空间并控制被配置为生成表示所述用户与所述虚拟对象之间接触的刺激的刺激生成单元，所述信息处理装置包括：
接触确定单元，被配置为确定所述虚拟对象与所述用户之间的接触的状态；
关注确定单元，被配置为利用关于所述虚拟对象的位置信息以及关于所述用户的视点的视点信息来确定所述虚拟对象是否包含在基于所述用户的所述视点所计算的空间内；以及
控制单元，被配置为根据所述接触确定单元的确定结果以及所述关注确定单元的确定结果来控制所述刺激生成单元。
12.一种用于控制信息处理装置的方法，所述信息处理装置被配置为向用户提供包括虚拟对象的虚拟空间并控制被配置为生成表示所述用户与所述虚拟对象之间接触的刺激的刺激生成单元，所述方法包括：
确定所述虚拟对象与所述用户之间的接触的状态；
利用关于所述虚拟对象的位置信息以及关于所述用户的视点的视点信息来确定所述虚拟对象是否包含在基于所述用户的所述视点所计算的空间内；以及
根据关于所述虚拟对象与所述用户之间的接触状态的确定结果以及关于所述虚拟对象是否包含在所述空间内的确定结果来控制所述刺激生成单元。
13.一种信息处理装置，被配置为向用户提供包括虚拟对象的虚拟空间并控制被配置为生成表示所述用户与所述虚拟对象之间接触的刺激的刺激生成单元，所述信息处理装置包括：
接触确定机构，用于确定所述虚拟对象与所述用户之间的接触的状态；
关注确定机构，用于利用关于所述虚拟对象的位置信息以及关于所述用户的视点的视点信息来确定所述虚拟对象是否包含在基于所述用户的所述视点所计算的空间内；以及
控制机构，用于根据所述接触确定单元的确定结果以及所述关注确定单元的确定结果来控制所述刺激生成单元。
CN2008102123462A 2007-09-10 2008-09-10 信息处理装置及信息处理方法 Expired - Fee Related CN101387908B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-234713 2007-09-10
JP2007234713 2007-09-10
JP2007234713A JP4989383B2 (ja) 2007-09-10 2007-09-10 情報処理装置、情報処理方法

Publications (2)

Publication Number Publication Date
CN101387908A true CN101387908A (zh) 2009-03-18
CN101387908B CN101387908B (zh) 2010-10-06

Family

ID=40090038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102123462A Expired - Fee Related CN101387908B (zh) 2007-09-10 2008-09-10 信息处理装置及信息处理方法

Country Status (4)

Country Link
US (1) US8553049B2 (zh)
EP (1) EP2034390A3 (zh)
JP (1) JP4989383B2 (zh)
CN (1) CN101387908B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
CN103530495A (zh) * 2012-06-29 2014-01-22 迪士尼企业公司 增强现实仿真连续体
CN103970265A (zh) * 2013-01-15 2014-08-06 英默森公司 具有触觉反馈的增强现实用户接口
CN104090660A (zh) * 2014-05-30 2014-10-08 贺杰 一种基于立体视觉的动作采集和反馈方法及系统
CN105264460A (zh) * 2013-04-12 2016-01-20 微软技术许可有限责任公司 全息图对象反馈
CN106249890A (zh) * 2016-07-28 2016-12-21 深圳市金立通信设备有限公司 一种虚拟现实设备的控制方法及虚拟现实设备
CN106390447A (zh) * 2016-11-22 2017-02-15 深圳市超级人生科技有限公司 具有被动刺激功能的体感模拟设备
US9946336B2 (en) 2014-05-05 2018-04-17 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
CN108170262A (zh) * 2016-12-08 2018-06-15 意美森公司 触觉环绕功能
CN108698512A (zh) * 2016-02-06 2018-10-23 奥迪股份公司 对车辆的主动操作元件的刺激特性进行自动用户适配的方法
CN108885856A (zh) * 2016-03-29 2018-11-23 索尼公司 信息处理设备、信息处理方法和程序
CN110989838A (zh) * 2019-11-29 2020-04-10 维沃移动通信有限公司 可穿戴设备、其控制方法及计算机可读存储介质
TWI694357B (zh) * 2018-10-21 2020-05-21 未來市股份有限公司 基於手勢識別產生互動式虛擬用戶界面的方法及相關裝置
CN114049871A (zh) * 2022-01-13 2022-02-15 腾讯科技（深圳）有限公司 基于虚拟空间的音频处理方法、装置和计算机设备

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5062774B2 (ja) * 2009-05-21 2012-10-31 トヨタ自動車東日本株式会社 作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体
JP4876141B2 (ja) * 2009-05-21 2012-02-15 関東自動車工業株式会社 作業ガイドシステム及び作業ガイド方法並びに該作業ガイド方法を記録した記録媒体
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
JP5342354B2 (ja) * 2009-07-17 2013-11-13 日本放送協会 力覚提示装置及び力覚提示プログラム
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
JP5920862B2 (ja) * 2011-03-08 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、コンピュータプログラム、および情報処理システム
US20130022950A1 (en) * 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
WO2013128612A1 (ja) * 2012-03-01 2013-09-06 パイオニア株式会社 ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
DE102012017700A1 (de) * 2012-09-07 2014-03-13 Sata Gmbh & Co. Kg System und Verfahren zur Simulation einer Bedienung eines nichtmedizinischen Werkzeugs
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20140253540A1 (en) * 2013-03-07 2014-09-11 Yoav DORI Method and system of incorporating real world objects into a virtual environment
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
WO2014147946A1 (ja) * 2013-03-21 2014-09-25 ソニー株式会社 加速度感覚呈示装置、加速度感覚呈示方法および加速度感覚呈示システム
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP6217747B2 (ja) * 2013-04-16 2017-10-25 ソニー株式会社 情報処理装置及び情報処理方法
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
KR101367412B1 (ko) * 2013-06-18 2014-02-24 우석 계 가상공간에서의 물리적 효과 제어 장치 및 그 방법
JP5888372B2 (ja) * 2013-08-29 2016-03-22 キヤノンマーケティングジャパン株式会社 情報処理システムとその処理方法及びプログラム
JP6344029B2 (ja) * 2014-04-16 2018-06-20 富士通株式会社 表示方法、表示プログラム、及び表示装置
US10379614B2 (en) * 2014-05-19 2019-08-13 Immersion Corporation Non-collocated haptic cues in immersive environments
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
JP6725827B2 (ja) * 2015-07-31 2020-07-22 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
EP3179336A1 (en) * 2015-12-07 2017-06-14 Thomson Licensing Method and device for rendering haptic effects in an immersive content
CN114995594A (zh) 2016-03-31 2022-09-02 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
KR102560558B1 (ko) 2016-05-20 2023-07-27 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
US10198855B2 (en) 2016-07-20 2019-02-05 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
JP6189495B1 (ja) * 2016-07-20 2017-08-30 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
WO2018074054A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
WO2018110003A1 (ja) * 2016-12-12 2018-06-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10139934B2 (en) * 2016-12-22 2018-11-27 Microsoft Technology Licensing, Llc Magnetic tracker dual mode
KR102343387B1 (ko) * 2017-02-24 2021-12-29 주식회사 브이알애드 가상현실 기반 방사선학 실습 장치 및 방법
JP6469752B2 (ja) * 2017-04-24 2019-02-13 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP6867883B2 (ja) * 2017-06-01 2021-05-12 株式会社日立ドキュメントソリューションズ 空間表示装置、および、空間表示方法
JP2019008623A (ja) * 2017-06-27 2019-01-17 キヤノン株式会社 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
US10628982B2 (en) * 2018-05-14 2020-04-21 Vulcan Inc. Augmented reality techniques
JP2019219492A (ja) * 2018-06-19 2019-12-26 ニチアス株式会社 締付体験システム
DE112019003209T5 (de) 2018-06-28 2021-04-08 Sony Corporation Codiervorrichtung, Codierverfahren, Decodiervorrichtung, Decodierverfahren und Programm
CN112470104B (zh) * 2018-07-03 2024-04-19 索尼公司 编码设备、编码方法、解码设备、解码方法、发送系统、接收设备和程序
KR20220012073A (ko) 2020-07-22 2022-02-03 삼성전자주식회사 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
WO2022065120A1 (ja) * 2020-09-28 2022-03-31 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
US11462016B2 (en) * 2020-10-14 2022-10-04 Meta Platforms Technologies, Llc Optimal assistance for object-rearrangement tasks in augmented reality

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999185A (en) * 1992-03-30 1999-12-07 Kabushiki Kaisha Toshiba Virtual reality control using image, model and control data to manipulate interactions
JPH0869449A (ja) * 1994-08-26 1996-03-12 Matsushita Electric Works Ltd ３次元物体の体感シミュレーション装置
JPH09120464A (ja) * 1995-08-21 1997-05-06 Matsushita Electric Ind Co Ltd リハビリテーション支援装置
JP2000501033A (ja) 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6409599B1 (en) * 1999-07-19 2002-06-25 Ham On Rye Technologies, Inc. Interactive virtual reality performance theater entertainment system
JP2001229408A (ja) * 2000-02-18 2001-08-24 Hitachi Zosen Corp 立体虚像体感システム
JP2003316493A (ja) * 2002-04-19 2003-11-07 Seiko Epson Corp 触覚提示装置
US20040095311A1 (en) * 2002-11-19 2004-05-20 Motorola, Inc. Body-centric virtual interactive apparatus and method
JP4063131B2 (ja) * 2003-04-15 2008-03-19 セイコーエプソン株式会社 画像処理装置及び触覚・力覚提示方法
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
SE0401582L (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
EP1768011B1 (en) * 2004-07-15 2012-07-11 Nippon Telegraph And Telephone Corporation Inner force sense presentation device, inner force sense presentation method, and inner force sense presentation program
US20090256800A1 (en) * 2005-11-28 2009-10-15 Kaufman Roger E Virtual reality simulator harness systems
KR100812624B1 (ko) 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
JP4921113B2 (ja) * 2006-10-25 2012-04-25 キヤノン株式会社 接触提示装置及び方法
EP2144448B1 (en) * 2007-03-30 2019-01-09 National Institute of Information and Communications Technology Floating Image Interaction Device
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
US8854298B2 (en) * 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
US9384594B2 (en) 2011-03-29 2016-07-05 Qualcomm Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
CN103493106B (zh) * 2011-03-29 2017-11-07 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上的方法和装置
CN103530495B (zh) * 2012-06-29 2017-10-20 迪士尼企业公司 增强现实仿真连续体
CN103530495A (zh) * 2012-06-29 2014-01-22 迪士尼企业公司 增强现实仿真连续体
CN103970265A (zh) * 2013-01-15 2014-08-06 英默森公司 具有触觉反馈的增强现实用户接口
CN110262666A (zh) * 2013-01-15 2019-09-20 意美森公司 具有触觉反馈的增强现实用户接口
CN103970265B (zh) * 2013-01-15 2019-08-23 意美森公司 具有触觉反馈的增强现实用户接口
CN105264460A (zh) * 2013-04-12 2016-01-20 微软技术许可有限责任公司 全息图对象反馈
CN105264460B (zh) * 2013-04-12 2018-10-12 微软技术许可有限责任公司 全息图对象反馈
US9946336B2 (en) 2014-05-05 2018-04-17 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10444829B2 (en) 2014-05-05 2019-10-15 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
WO2015180497A1 (zh) * 2014-05-30 2015-12-03 贺杰 一种基于立体视觉的动作采集和反馈方法及系统
CN104090660B (zh) * 2014-05-30 2017-11-10 广东虚拟现实科技有限公司 一种基于立体视觉的动作采集和反馈方法及系统
CN104090660A (zh) * 2014-05-30 2014-10-08 贺杰 一种基于立体视觉的动作采集和反馈方法及系统
CN108698512B (zh) * 2016-02-06 2020-11-17 奥迪股份公司 对车辆的主动操作元件的刺激特性进行自动用户适配的方法
CN108698512A (zh) * 2016-02-06 2018-10-23 奥迪股份公司 对车辆的主动操作元件的刺激特性进行自动用户适配的方法
CN108885856A (zh) * 2016-03-29 2018-11-23 索尼公司 信息处理设备、信息处理方法和程序
CN108885856B (zh) * 2016-03-29 2021-11-09 索尼公司 信息处理设备、信息处理方法和程序
CN106249890A (zh) * 2016-07-28 2016-12-21 深圳市金立通信设备有限公司 一种虚拟现实设备的控制方法及虚拟现实设备
CN106390447B (zh) * 2016-11-22 2018-01-12 深圳市超级人生科技有限公司 具有被动刺激功能的体感模拟设备
CN106390447A (zh) * 2016-11-22 2017-02-15 深圳市超级人生科技有限公司 具有被动刺激功能的体感模拟设备
CN108170262A (zh) * 2016-12-08 2018-06-15 意美森公司 触觉环绕功能
CN108170262B (zh) * 2016-12-08 2021-06-22 意美森公司 触觉环绕功能
US10678342B2 (en) 2018-10-21 2020-06-09 XRSpace CO., LTD. Method of virtual user interface interaction based on gesture recognition and related device
TWI694357B (zh) * 2018-10-21 2020-05-21 未來市股份有限公司 基於手勢識別產生互動式虛擬用戶界面的方法及相關裝置
CN110989838A (zh) * 2019-11-29 2020-04-10 维沃移动通信有限公司 可穿戴设备、其控制方法及计算机可读存储介质
CN114049871A (zh) * 2022-01-13 2022-02-15 腾讯科技（深圳）有限公司 基于虚拟空间的音频处理方法、装置和计算机设备

Also Published As

Publication number Publication date
JP2009069918A (ja) 2009-04-02
US20090066725A1 (en) 2009-03-12
US8553049B2 (en) 2013-10-08
CN101387908B (zh) 2010-10-06
EP2034390A2 (en) 2009-03-11
EP2034390A3 (en) 2011-11-02
JP4989383B2 (ja) 2012-08-01

Similar Documents

Publication Publication Date Title
CN101387908B (zh) 信息处理装置及信息处理方法
JP4926799B2 (ja) 情報処理装置、情報処理方法
JP4921113B2 (ja) 接触提示装置及び方法
US8599194B2 (en) System and method for the interactive display of data in a motion capture environment
KR101174450B1 (ko) 버추얼 리얼리티 환경 생성 장치 및 콘트롤러 장치
CN110096131A (zh) 触感交互方法、装置、以及触感可穿戴设备
WO2015121971A1 (ja) 触感提供装置、及び、システム
JP2009276996A (ja) 情報処理装置、情報処理方法
Magnenat-Thalmann et al. From Physics-based Simulation to the Touching of Textiles: The HAPTEX Project.
CN105144035A (zh) 利用触觉单元阵列模拟有形用户界面交互和手势
CN1714388A (zh) 以身体为中心的虚拟交互设备与方法
US10895950B2 (en) Method and system for generating a holographic image having simulated physical properties
CN107930119A (zh) 信息处理方法、装置、电子设备及存储介质
JPWO2015121969A1 (ja) 触感提供装置、及び、システム
WO2016013068A1 (ja) 触感データ処理装置、触感提供システム、及び触感データ処理方法
CN108604130A (zh) 信息处理设备、信息处理方法和非暂态计算机可读介质
JPH0990867A (ja) 触覚呈示装置
JP6243732B2 (ja) 移動運動状態表示装置、方法及びシステム並びにプログラム
CN106020468A (zh) 一种手套控制的增强现实系统
Takeda et al. Tactile actuators using SMA micro-wires and the generation of texture sensation from images
Deng et al. The roughness display with pen-like tactile device for touchscreen device
JP6243730B2 (ja) 移動運動状態表示装置、方法及びシステム並びにプログラム
CN110389657A (zh) 用于增强或虚拟现实环境的跨平台动态触觉效果设计工具
JP2016062428A (ja) 力覚提示装置、情報端末、力覚提示方法、及びプログラム
Argelaguet Sanz et al. Complexity and scientific challenges

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101006

Termination date: 20180910