CN100472406C - 力觉提示装置以及力觉提示方法 - Google Patents

力觉提示装置以及力觉提示方法 Download PDF

Info

Publication number
CN100472406C
CN100472406C CNB2005800013424A CN200580001342A CN100472406C CN 100472406 C CN100472406 C CN 100472406C CN B2005800013424 A CNB2005800013424 A CN B2005800013424A CN 200580001342 A CN200580001342 A CN 200580001342A CN 100472406 C CN100472406 C CN 100472406C
Authority
CN
China
Prior art keywords
acceptor
mentioned
ejiction opening
force sense
sense presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005800013424A
Other languages
English (en)
Other versions
CN1898630A (zh
Inventor
铃木由里子
小林稔
小川克彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN1898630A publication Critical patent/CN1898630A/zh
Application granted granted Critical
Publication of CN100472406C publication Critical patent/CN100472406C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Toys (AREA)

Abstract

本发明提供一种力觉提示装置,包括:具有喷出口、可控制从该喷出口喷出的气体或液体的喷出量或喷出方向的喷出部件;和依照接受因从上述喷出部件所喷出的气体或液体引起的压力并对操作者提示力觉的接受体的位置或朝向,来控制上述喷出部件的气体或液体的喷出量或喷出方向的喷出控制部件。另外,设定上述喷出部件中的上述喷出口的设置间隔,以使得当将上述接受体设为直径D的凹形时,在直径为常数×D的区域内至少存在一个上述喷出口。

Description

力觉提示装置以及力觉提示方法
技术领域
本发明涉及通过将接受体罩在喷出空气等上将力觉提供给该接受体,从而对操作者进行力觉提示的力觉提示技术。另外,本发明还涉及利用虚拟现实的技术和上述力觉提示技术把虚拟对象当作乐器,操作者可以伴随操作感来进行演奏的力觉提示技术。
背景技术
已经提出利用气体的喷出压力来对操作者提示力觉的力觉提示装置(例如,参照参考专利文献1~3,非专利文献1、2)。根据该力觉提示装置,通过将操作者的操作与虚拟现实组合起来,除了使在虚拟空间中显示的虚拟对象发生变化或者变形、移动等以外,还可以将与虚拟对象的活动联动的力觉提示给操作者。
专利文献1:特开2001-22499号公报
专利文献2:特开2003-256105号公报
专利文献3:特开2004-157677号公报
非专利文献1:铃木由里子著“利用风压的Untethered力觉提示界面:三维对象的表达”,电子信息通信学会多媒体、虚拟环境基础研究会(MVE)71-76页、2003年7月
非专利文献2:铃木由里子著“Untethered Force FeedbackInterface That Uses Air Jets”,SIGGRAPH2004 website,2004-06,http://www,siggraph.org/s2004/conference/etech/untethered.php?=conference(平成16年7月9日检索)
非专利文献3:Maggie Orth,“Interface to architecture:integrating techno logy into the environment in the Brain Opera”,Proceedings of the conference on Designing interactive systems:processes,practices,methods,and techniques,Symposium onDesigning Interactive Systems,Amsterdam,the Netherlands,Pages:266-275,1997(ISMN:0-89719-836-0)ACM Press New York,NY,USA
在上述的力觉提示装置中,在排列有喷出口的平面上使接受体移动,并根据接受体的位置来控制来自接受体正下方或其周围的喷出口的喷出,以此就可以使提示的力觉的程度变化。
但是,当例如喷出口设置间隔过于宽时,存在用接受体所接受到的压力也就是力觉提示不充分的情况。从这样的观点出发,就要求确定适当的喷出口设置间隔,并稳定地对持有接受体的操作者提示力觉。
可是,一般而言为了演奏乐器,就需要表达和操作声音的属性(音色、音阶、音量、强度、高度、发生时刻、发生期间、发生次数等)的区别。一般的乐器,大多具有用于发生声音的物理的构造,根据与该物理的构造相对应的操作可以发生声音。因此,用于发生声音的物理性构造与操作一体化。通过使用计算机,已经可以自由地分配声音的操作内容。例如,MIT(麻省理工学院)媒体研究所的Tod Machover(ドツトマコ—バ—)教授的超级乐器(基于数字技术和传感器技术的电子声音乐器)是有名的。通过使用该电子声音乐器,可以根据手势来演奏乐器(例如,参考非专利文献3)。因此,可以创作自由结构的乐器,在新的艺术形态或儿童学习方面是有效的。
但是,虽然在采用了上述那样的计算机的乐器中可以自由地分配声音的操作,但是,必须逐个制作乐器,不能简单地变更乐器的设计。另外,在演奏中没有使乐器的形状、位置、活动等变化的那样的交互式自由度。
另一方面,在基于以计算机图形方式使操作者的活动反映的图像或声音等的虚拟现实技术中,可以自由地制作形状或以交互方式使该形状变化,若利用其就可以自由地变化乐器的形状。因此,就有了声音的操作的自由度。
但是,当使用那样的方法时,虽然可以将操作声音的感觉以视觉和听觉方式进行提示,但是,不能进行利用物理上的反馈的力觉的提示,由于没有人使用力来控制声音的那样的感觉,所以难于操作。
作为将力觉反馈施加于虚拟现实的虚拟物体的技术,有操作金属线和支臂的方法或将装置佩戴在身体上的方法。但是,由于它们与紧固装置有关,故不能自由地活动手,不适合于如同演奏那样地自由地活动手。另外,安全地接住从具有用于表现以交互方式变化的对象的动态活动的对象而来的反馈也是困难的。
发明内容
本发明就是根据上述的观点而实现的,其目的在于提供一种在具有一个或一个以上的喷出口的力觉提示装置中,能够稳定地将力觉提示给持有接受体的操作者的技术。
另外,本发明的进一步的目的在于提供一种把自由创作的虚拟对象当作乐器,操作者可以伴随力觉反馈来演奏该乐器的技术。
上述的目的是通过以下技术方案提供的力觉提示装置来解决的,该力觉提示装置包括:具有喷出口、可控制从该喷出口喷出的气体或液体的喷出量或喷出方向的喷出部件;和
依照接受因从上述喷出部件所喷出的气体或液体引起的压力并对操作者提示力觉的接受体的、由接受体计测部件所计测的位置或朝向,来控制上述气体或液体的喷出量或喷出方向的喷出控制部件,其中
将上述喷出部件的上述喷出口配置为正三角形形状,并且设定上述喷出部件中的上述喷出口的设置间隔,以使得当将上述接受体设为直径D的凹形时,在直径为常数×D的区域内至少存在一个上述喷出口,其中该常数为1以下的正的值。
另外,本发明的技术方案也可以作为以下力觉提示装置来构成,该力觉提示装置包括:
具有喷出口、可控制从该喷出口喷出的气体或液体的喷出量或喷出方向的喷出部件;
依照接受因从上述喷出部件所喷出的气体或液体引起的压力并对操作者提示力觉的接受体的、由接受体计测部件所计测的位置或朝向,来控制上述气体或液体的喷出量或喷出方向的喷出控制部件;
在上述喷出部件上显示包含虚拟对象的虚拟空间的虚拟空间显示部件;
与上述接受体的位置或朝向对应地,计算由上述虚拟空间显示部件显示的虚拟空间内的虚拟对象的状态的虚拟对象计算部件,其中
上述喷出口具有依照气体或液体的喷出进行开闭的喷出口开闭部件,该喷出口开闭部件的开闭支点被设在操作者一侧。
在上述力觉提示装置中,也可以具有依照上述接受体的位置或朝向来计算用虚拟空间显示部件进行显示的虚拟空间内的虚拟对象的状态的虚拟对象计算部件。另外,进而还可以,具有依照上述虚拟对象的状态或者上述接受体的位置或朝向,来控制用发声部件发生的声音的属性的发声控制部件。
根据本发明,由于将上述喷出部件的上述喷出口配置为正三角形形状,并且设定喷出口的设置间隔,以使得对于直径D的凹形的接受体,在直径为常数×D的区域内至少设置一个喷出口。因此,接受体可以持有充分的压力将来自喷出口的喷出接住,能够进行稳定的力觉提示。
另外,根据本发明,在能够根据虚拟对象的状态或接受体的位置或是朝向来控制空气等的喷出量或喷出方向的同时,可以控制用发声部件发生的声音的属性,进而将虚拟对象依据接受空气等的压力的接受体的位置或方向来计算,因此,若根据虚拟对象定义乐器,且操作者将接受体作为演奏的操作棒来使用的话,就可以实现依据该接受体的位置或朝向来使用虚拟对象的演奏。此时,通过接受体就可以使其伴随有基于力觉的物理性反馈。
另外,通过提供使用了喷出空气等的力觉的反馈,就可以体验到与以往的使用力来控制(较强敲击、较弱接触等)声音的乐器同样的操作感。这时,由于操作者不需要佩戴提示力的装置,且不需要持有或安装与用于传递力的紧固装置相关的支臂或金属丝,所以还可以不与使力得以发生的喷出装置以物理方式进行连接。从而,不会妨碍活动。由此,操作者不受到装置在物理上的束缚,可以自由地活动手等的身体来演奏。
进而,由于在力觉提示中使用空气等,故在具有用于表现在人际对话中变化的虚拟对象的动态的活动的对象中,即便为了表示那些物理的活动而快速地控制接受体,也完全不会给利用者施加过渡的负荷,可以安全地进行力觉提示。另外,若使用空气,则由于是透明的不妨碍映像(视频图像)显示。
进而,通过在喷出口设有喷出口开闭部件,在使虚拟空间的映像投影在喷出部件的区域中或者用头部装配显示器来透视时,就可以关闭没有进行喷出的喷出口,防止喷出口进入映像中。而且,通过将该喷出口开闭部件的开闭支点设置在操作者一侧,该喷出口就难以由操作者看见。
附图说明
图1是实施例1的力觉提示装置的结构图。
图2是实施例1的力觉提示装置的接受体和喷出部与操作者的部分的关系的说明图。
图3是实施例1的力觉提示装置的动作的流程图。
图4是实施例1的力觉提示装置的动作说明图。
图5A是利用实施例1的力觉提示装置被显示在虚拟空间的虚拟对象的说明图之一。
图5B是利用实施例1的力觉提示装置被显示在虚拟空间的虚拟对象的说明图之二。
图5C是利用实施例1的力觉提示装置被显示在虚拟空间的虚拟对象的说明图之三。
图5D是利用实施例1的力觉提示装置被显示在虚拟空间的虚拟对象的说明图之四。
图6A是利用实施例1的力觉提示装置被显示在虚拟空间的别的例子的虚拟对象的说明图之一。
图6B是利用实施例1的力觉提示装置被显示在虚拟空间的别的例子的虚拟对象的说明图之二。
图6C是利用实施例1的力觉提示装置被显示在虚拟空间的别的例子的虚拟对象的说明图之三。
图6D是利用实施例1的力觉提示装置被显示在虚拟空间的别的例子的虚拟对象的说明图之四。
图7是使用了实施例1的力觉提示装置的音乐演奏的说明图。
图8A是半球形的接受体的侧面图。
图8B是半球形的接受体的底面图。
图9A是表示用半球形的接受体已经接受到喷出空气的情况下的加重特性的图。
图9B是表示用半球形的接受体接受到喷出空气的情况下的加重特性的图。
图9C是表示用半球形的接受体接受到喷出空气的情况下的加重特性的图。
图10A是直径D的接受体的0.8×D的区域和喷出口配置的模式的说明图之一。
图10B是直径D的接受体的0.8×D的区域和喷出口配置的模式的说明图之二。
图10C是直径D的接受体的0.8×D的区域和喷出口配置的模式的说明图之三。
图10D是直径D的接受体的0.8×D的区域和喷出口配置的模式的说明图之四。
图11是实施例2的力觉提示装置的动作的流程图。
图12是实施例3的力觉提示装置的结构图。
图13是实施例3的力觉提示装置的动作的流程图。
图14是实施例3的力觉提示装置的喷出口开闭部的结构图。
图15是实施例3的力觉提示装置的喷出口开闭部的安装方向的说明图。
附图标记说明
1:接受体;
2:接受体计测部;
3:虚拟对象计算部;
4:虚拟空间显示部;
5:喷出控制部;
6:喷出部、601:喷出空气,602:喷出口
7:发声控制部;
8:发声部
9:操作者
10:喷出口开闭部
11:立体眼镜
12、12A~12H:虚拟对象
13:计算机
14:标记
具体实施方式
以下,参照附图就本发明的实施例进行说明。
实施例1
图1是实施例1的力觉提示装置的结构图。图2是接受体和喷出部与操作者之间的关系的说明图。图3是力觉提示装置的动作的流程图。
如图1所示,本实施例的力觉提示装置具有与接受体计测部2、虚拟空间显示部4、喷出部6、发声部8连接的虚拟对象计算部3、喷出控制部5、发声控制部7。操作者使用接受体1进行针对力觉提示装置的操作。以下,对各部进行详细说明。
接受体1,如图2所示那样,是用于接住从喷出部6的喷出口602喷出的喷出空气601(可以使用其他的气体、液体等,但是在这里对使用空气的例子进行说明)的部件,被把持或者安装于操作者9的手上。作为该接受体1,也可以原封不动利用操作者9所佩戴的部件本身。通过用接受体1接受喷出空气601,喷出空气601的压力就作为力觉传递到操作者9。
接受体计测部2,是被构成为检测接受体1的位置或朝向的装置。作为接受体计测部2,可以使用照相机、磁力传感器、超声波传感器、红外线传感器、利用基于后述的标记的映像分析的检测装置等。
虚拟空间对象计算部3由例如计算机来实现,通过依据接受体1的位置或朝向,来计算被虚拟空间显示部4显示的虚拟对象的状态(位置、形状、颜色等),由此生成虚拟空间对象。例如,生成与检测出的接受体1的位置联动起来活动的虚拟对象。或者,依据检测出的接受体1的位置或朝向或时间变化等来生成状态变化的虚拟对象。或者,在存在多个虚拟对象的情况下,依据其他的虚拟对象的状态而生成状态变化的虚拟对象。
虚拟空间显示部4,根据虚拟对象计算部3的计算结果,来显示包含虚拟对象的虚拟空间。作为虚拟空间显示部4,可以采用一般的显示装置、头部装配显示器(head mounted display)。另外,作为虚拟空间显示部4,也可以采用将虚拟对象投影到喷出部6上的放映机。
这时,能够将操作者的视点位置通过基于光学算式或磁力算式等的位置检测装置来检测,进行依据了操作者的视点的虚拟空间显示。另外,在此基础上,通过操作者安装显示依据操作者的左右眼睛的位置的虚拟空间映像的头部装配显示器或立体眼镜,操作者可以立体地观看虚拟空间。
喷出控制部5,依据由接受体计测部2所计测出的接受体1的位置或朝向,或依据虚拟空间内的虚拟对象的状态,基于喷出部6的喷出口602的位置和方向,来控制从喷出口602喷出的空气的喷出量。例如,依据接受体1的位置和朝向,来决定使其喷出空气的特定的喷出口602,并决定从该喷出口602被喷出的空气的喷出量和喷出方向,以实现对操作者的适当的力觉提示。另外,由于虚拟对象的状态存在与接受体1的位置或朝向无关而由其他的原因而决定的情况,因此,依据该虚拟对象的状态来决定从特定的喷出口602被喷出的空气的喷出量。该喷出控制部5可以由计算机来实现。
喷出部6,如图2所示,是被构成为具有多个喷出口、从各喷出口喷出空气的装置。另外,也可以构成为可以变更空气喷出方向。
发声控制部7,依据由接受体计测部2所计测出的接受体1的位置或朝向,或依据虚拟对象的状态,决定用发声部8发生的声音的属性(音色、音节、音量、强度、高度、发生时刻、发生期间、发生次数等),并控制发声部8以发出该声音。作为该发声控制部7,可以利用计算机。例如,通过从计算机向MIDI声源发送MIDI消息,可以实现控制。
作为发声部8,例如,使用可以由MIDI消息、也就是MIDI标准的信号的数据来进行控制的MIDI声源。另外,可以由电子合成器等的MIDI声源模块和扩音器和扬声器来构成发声部8。另外,也可以将发声部8由通过计算机的CPU用软件来合成声音的声卡和扩音器和扬声器来构成。
在依据了接受体1的位置或朝向的声音的属性的控制中,例如,依据接受体1的2维方向的位置、高度、速度、加速度中的任何一个或它们其中的多个的组合,发声控制部7,决定音色、音节、音量、高度、强度、长度、发生声音的时刻、使单发的声音连续发生时的次数、使单发的声音连续发生时的时间间隔、声音的振动方式、回声的应用方式等中的任何一个或它们中多个的组合,来控制发声部8。另外,喷出控制部5,依据接受体1的2维方向的位置、高度、速度、加速度中的任何一个或它们中的多个的组合,决定使空气喷出的喷出口和喷出空气量或喷出方向,来控制喷出部6。进而,虚拟对象计算部3,将已经分配了这些声音的属性的虚拟对象配置在虚拟空间内,依据接受体1的位置或朝向,来变更虚拟对象的形状、位置、或活动速度等。
本实施例和其他的实施例的力觉提示装置中的虚拟对象计算部3,喷出控制部5和发声控制部7,可以通过将使这些功能部的处理在计算机中实现的程序装载在计算机中而实现。也可以将该程序记录在CD-ROM等的记录媒体中而提供,也可以通过网络而提供。
下面,参考图3,对处理的流程进行说明。首先,接受体计测部2,检测操作者把持住的或已经被操作者安装了的接受体1的位置或朝向(步骤11)。然后,虚拟对象计算部3,依据由接受体计测部2所计测出的接受体的位置或朝向,来计算虚拟空间内的虚拟对象的状态(位置、形状、颜色等)(步骤12)。
接下来,虚拟空间显示部4,基于由虚拟对象计算部3计算的计算结果,来显示包含虚拟对象的虚拟空间(步骤13)。另外,喷出控制部5,依据由接受体计测部2所计测出的接受体的位置或朝向,或者虚拟空间中的虚拟对象的状态,来控制各喷出口的空气的喷出量或者方向(步骤14)。
喷出部6,依据喷出控制5的控制,来从特定的喷出口喷出空气(步骤15)。另外,发声控制部7,依据由接受体计测部2所计测出的接受体的位置或朝向,或者虚拟空间内的虚拟对象的状态,来控制用发声部8发出的声音的属性(音色、音阶、音量、强度、高度、发生时刻、发生期间、发生次数等)(步骤16)。而且,发声部8,发生具有由发声控制部7所指定的属性的声音。然后,当再次执行事件处理时,进行从步骤11开始的处理。
在上述的处理中,步骤13的处理、步骤14~15的处理、和步骤16~17的处理,没有必要一定按照这个顺序进行,也可以并行进行这些的处理。
图4,是表示已经在图2中表示了的结构的具体例子的图。在该例子中,在实际上进行力觉提示的区域中,使用作为虚拟空间显示部4的放映机来投影映像,并使操作者9佩戴上立体眼镜11。该方法,相对操作者9的负荷较少。根据本系统,通过将虚拟对象12在喷出部6中的力觉提示区域(配置多个的喷出口602的区域)中进行立体显示,可以使根据视觉和力觉的提示位置一致,对于操作者来说就可以有比较直觉的体验。另外,在本系统中,由于为了传递力觉而使用空气,所以,具有不妨碍映像显示的特征。
作为在利用该投影的立体显示中使用的映像和立体眼镜11的例子,有红与蓝的映像和红蓝眼镜、使其偏向的投影映像和偏向眼镜、以时间分割方式所切换的左右映像和快门眼镜等。
在本系统中,将根据依据了操作者9的两眼的视点的虚拟空间显示部4的立体映像的虚拟对象12和根据喷出部6的力觉提示统一起来了,因此,在已经嵌入了作为喷出口602的喷嘴的桌子的正上方,安装作为虚拟空间显示部4的放映机、并将在计算机13中已经构建的根据虚拟对象计算部3的虚拟空间的映像投影在该桌子的上方。作为该虚拟空间的映像,采用从操作者9的左右的眼睛的视点位置观看假设存在于桌子的上方和的虚拟对象12的情况下的左右虚拟空间映像。
另外,在操作者9佩戴的立体眼镜11的左右的眼睛的附近部分安装标记14,通过借助于与接受体计测部2不同的光学位置检测方法(照相机等)来检测该标记14,以检测操作者9的视点位置。通过这样做,即使不直接检测操作者9的左右眼睛的位置,也可以将已经依据了操作者9的视点的立体映像进行投影,可以将虚拟对象12浮现在喷出部6的喷出口602的上面的空间中而显示,并进行视觉提示。仍然,在这里使得在接受体1中也安装标记14,并可以通过接受体计测部2来检测其位置或朝向。
将虚拟对象12的具体例子在图5A~图5D中表示。图5A,是生成已经设定了某个音阶的虚拟对象12A、并将其只配置必要的音阶的数量的例子。通过将多个虚拟对象12A与多个喷出口602对应,并用接受体1来按压从特定的喷出口602喷出的喷出空气601,来发生与该特定的喷出口602相对应的特定的虚拟对象12A的音阶的声音。这时,在接受体1中,被施加了基于从被按压的方向而来的空气压力的力觉。可以自由地配置虚拟对象12A,并可以考虑例如将音阶按照音阶的顺序在矩阵上进行排列下去,或也可以将全音阶和半音阶分开象钢琴键盘那样排列,或也可以与音阶无关而配置。
进而,在虚拟对象12A上,可以分配这样的属性以依据接受喷出空气601的压力的接受体1的从喷出口602开始的高度,使发生的声音的属性变化(例如,将“DO”的发音如“DOO...”那样延长)。这时,通过用接受体1来按压喷出空气601,可以使虚拟对象12A,向例如按压的方向进行移动(图5A的例子),使其凹下去或凸起来那样来变化。
作为虚拟对象12的另外的例子,有图5B所示的例子。在这个例子中,将多个圆形的虚拟对象12B上下排列,若移动接受体1以使其碰触上侧的虚拟对象12B,就可以响起单发的声音“DO”。而且,通过将接受体1降低,单发音就会如“DO、DO、DO”那样重复。另外,通过降低接受体1可以使虚拟对象12B向下移动。这时,通过用接受体1来按压喷出空气601虚拟对象12B向下方聚集,与使接受体1降低相应地向下聚集的虚拟对象12B的数量将增加。作为其结果,根据使接受体1降低的程度,单发音的重复次数增加。
作为虚拟对象12的更进一步的另外的例子,有图5C所示的例子。在这个例子中,依据接受体1的从喷出口602开始的高度,可以操作使音程扭曲的音调弯曲(pitchbend)。这时,依据接受体1的按压,使虚拟对象12C的形状压缩变形。
作为虚拟对象12的更进一步的另外的例子,有图5D所示的例子。在这个例子中,依据接受体1的从喷出口602开始的高度,来使音量变化或使声音的振动情况变化。这时,这时,依据接受体1的按压,使虚拟对象12D的形状变化、摇动。
图6A~D是表示其他的虚拟对象12的例子的图。图6A,是使用一个虚拟对象12E、给虚拟对象12E分配多个声音的属性,并依据基于接受体1的事件来表现各个声音的例子。例如,给虚拟对象12E的各区域分配声音的属性。这时,若操作者按压虚拟对象12E的一个地方,就发出根据该部分存在的区域而不同的声音。根据按压虚拟对象12E的地方、按压下去的深度高度等,也可以改变音阶和声音的颤动方式(颤音)。在区域中分配有音阶时,根据已经按压的地方决定开头的声音,响起该声音,但是,通过按原样左右活动接受体1,声音保持连续响起而变化下去。另外,即使从某个已经分配了声音的属性的区域使接受体1离开后,也可以暂时鸣响该声音属性的声音。那种情况下,通过左右活动接受体1就进入声音重复、鸣响多个声音的状态。
另外,如图6B所示,也可以准备已经将音阶分配给一个轴(例如左右方向)、将声音的振动分配给另一个轴(例如前后方向)了的虚拟对象12F。这种情况下,可以通过将接受体1在该虚拟对象12F中在2维方向上移动,来可以改变声音的属性。
另外,如图6C所示,形状自由地变化,或,准备了可以添加新的对象的虚拟对象12G,也可以表现用于表示为了某个曲子的演奏而按压的地方和其顺序的该乐器用的乐谱。作为具体的方法,通过改变、活动虚拟对象12G的形状,改变颜色,添加新的对象来表现乐器用的乐谱。另外,也可以通过展开纹理而在虚拟对象12G的表面描绘图画来表示乐谱。那些,也可以与曲子配合进行动态的变化。仍然,在多个地使用具有声音属性的虚拟对象的情况下(图5)也可以利用这个。
另外,如图6D所示,可以考虑,通过使接受体1同时地接触多个的虚拟对象12H,来发生多个属性的声音、将声音添加下去。例如,在纵向排列多个的声音的虚拟对象12H,通过从上开始将接受体1按压下去,来将发生的声音的数量增加下去。因此,可以表现和弦等。另外,同样地,也可以通过增加乐器的种类等来实现合唱曲。
图7,是利用了上述说明的力觉提示装置的音乐演奏的说明图。在图7表示的例子中,在基于用作为虚拟空间显示部4的放映机生成的映像的虚拟空间中将虚拟对象12显示。而且,若操作者9将作为接受体1的操作棒伸向喷出口602的喷出空气601,虚拟对象12的状态就变化,同时基于喷出空气601的力觉就施加与接受体1。而且,依据该接受体1的往下按压的位置或朝向、接受体1对应的喷出口602的不同等而生成的音乐就从作为发声部8的扬声器被输出。
(关于喷出口设置方法)
在上述的力觉提示装置中,若接受体1的大小具有将喷出口的正上方较大地覆盖的程度的大小,即使接受体的中心不位于正在喷出的喷出口的正上方,通过接受体的中心位于其周围,也可以用该接受体来接到喷出。因此,即使接受体位于喷出口和喷出口之间,也可以接住力,因此,可以用稀疏的间隔来设置多个的喷出口。但是,例如,喷出口设置间隔过大的情况,就有接受体受到的压力也就是力觉提示不充分的情况。
以下,对接受体1能够稳定地接受压力那样的喷出部6的结构进行说明。
在这里,定义与接受体1的大小相对的喷出口602的设置间隔(间距)。说明具体的例子。如在图8A中用侧面图、在图8B中用底面图表示所示,将接受体1设为凹形的半球形且将其直径(内径)设为D时,将喷出口602在0.8×D的圆形区域内,配置成至少存在一个或一个以上。
关于这个0.8的常数,已经基于图9A所示的计测结果。图9A,是表示用半球形的接受体1接受从喷出口喷出的空气,一边相对喷出口挪动接受体1的位置,一边通过接受体计测到的加重的结果的图表。纵轴表示加重,横轴表示接受喷出空气的接受体的中心位置和喷出口的中心之间的距离。作为接受体,使用直径D=10cm的半球,将喷出口设置于该接受体的半球截断面的下方20cm的位置。根据图9A,直径D=10cm的接受体的情况下,接受体的接受加重,在接受体的中心位置和喷出口的距离为4cm的附近暂且为最强,一旦超过于此就急剧地变弱。
以下,基于该结果,对在接受体1在2个喷出口之间移动的情况下的加重的变化进行说明。在这里设定成:排列2个这样的喷出口(A,B),在将接受体1的中心位置从一方的喷出口A的正上方向另一方的喷出口B的正上方移动的情况下,当接受体1的中心位置超过2个喷出口A,B之间的中央的正上方时,喷出的喷出口从喷出口A向喷出口B切换。也就是,这是设定成:停止从喷出口A的空气的喷出,开始从喷出口B的空气的喷出。
图9B表示了对以下的变化进行了类推的结果:将喷出口A和喷出口B用8cm的间隔来配置,当将接受体1从喷出口A的20cm上方开始向喷出口B的20cm的上方移动时,进行喷出的喷出口从喷出口A向喷出口B切换的情况下的接受体1接受的加重的变化。该图,相当于以从图9A的横轴的4cm的部分垂直地延伸的直线作为轴,将0cm~4cm的部分折回到4cm~8cm的一侧。仍然,点线,是相当于图9A的横轴的4cm以上的部分的图表。
在这里设定成:喷出口A和喷出口B之间的距离为8cm,当喷出口A和接受体的中心的距离已经超过4cm时,喷出口从喷出口A向喷出口B切换。如图所示,加重的变化成为一个山的形状。
对于此,若类推用10cm的间隔来配置喷出口A和喷出口B、并将接受体从喷出口A的20cm的上方开始向喷出口B的20cm的上方移动的情况,加重的变化就表示为在图9C表示的那样的2个的山的形状。这种情况下,设定成:当喷出口A和接受体中心的距离已经超过了5cm时,喷出的喷出口从喷出口A向喷出口B切换。因此,相当于以从图9C、图9A的横轴的5cm的部分开始垂直延伸的直线为轴,将0cm~5cm的部分折回到5cm~10cm的一侧。
如图9C所示,加重的变化经过上升下降进行2次的反复,在切换位置的前后接受的加重的值,若与接受体中心位置和喷出口的距离为4cm以下的情况进行比较,变得急剧地变化。
根据以上,可以知道:当使用直径(内径)10cm的接受体1时,为了喷出口切换时的接受体1接受的加重的变化不变得激烈,希望2个喷出口的间隔为小于等于8cm那样来配置。也就是变成,最好在直径8cm(=0.8×D)以内的区域内至少配置1个的喷出口。因此,这种情况下,常数为0.8,如图10A所示,最好,对于直径为D的半球形的接受体1,在0.8×D的直径的圆形区域20内,成为至少配置一个喷出口。
于是,决定喷出口的间隔(间距)来使在0.8×D的直径的圆形区域内至少配置1个的喷出口。例如,将喷出口602排列成格子形状的情况下,如图10B所示,喷出口间隔为0.8×D×21/2/2。另外,排列成3角形形状的情况下,如图10C所示为0.8×D×31/2/2。进而,排列成6角形形状的情况下,如图10D所示为0.8×D/2。
此外,在该接受体1的形状不是半球而是凹形的形状的情况下,变化该常数,例如为0.6等。该常数,与图9A所示的情况相同,也可以通过计测喷出口602的从接受体1的中心的距离和加重的关系来求解,通常为1以下的正数。
实施例2
图11,表示实施例2的力觉提示装置的处理的流程图。在本实施例2中的基本的处理,与上述的实施例1的力觉提示装置的处理相同,图11的步骤21~28与图3的步骤11~18对应。但是,以下的点与实施例1不同。
在实施例2中,在步骤21中,接受体计测部2不仅检测接受体1的位置或朝向,还检测接受体1的形状或颜色。或者,接受体计测部2不仅检测接受体1的位置或朝向,还检测接受体1是否是特定的接受体。另外,在步骤26中,发声控制部7,除了控制接受体1的位置或朝向、或虚拟对象的状态,还依据接受体1的区别或接受体1的形状或颜色来控制用发声部8发生的声音的属性。
例如,当操作某个接受体时,是钢琴音色,但是,通过转变为形状或颜色不同的别的接受体、或接受体的编号不同的别的接受体,可以变化成大鼓的声音。或准备2个接受体,在操作者9用两手分别使用的情况下,即使用每个的接受体来按压了相同虚拟对象,也可以变更已经分配给虚拟对象的声音的属性,以实现依据接受体而使音色不同或使音阶不同等。
实施例3
根据放映机等将虚拟空间映像进行投影的情况下,或者根据头部装配显示器将虚拟空间映像进行显示时,若在被透视的地方存在喷出部6的喷出口602,有时就会产生喷出口602的空穴为黑色且显眼而使映像混乱的问题。
于是,在本实施例3中,通过设置只在正在发生空气喷出时打开喷出口602、当不喷出空气时关闭喷出口602的喷出口开闭部10(盖),使喷出口602的空穴不显眼(不容易被感觉)。
在图12中表示具有该喷出口开闭部10的力觉提示装置的结构。在图13中表示其动作的流程图。在图14中表示该喷出口开闭部10结构。在图15中表示该喷出口开闭部10的安装方向。
如图12所示,本实施例的力觉提示装置,在图1所示的力觉提示装置中具有连接了喷出口开闭部10的结构。
喷出口开闭部10,与空气的喷出联动进行各喷出口602的开闭。也就是,打开已经发生了空气喷出的喷出口602,关闭没有发生空气喷出的喷出口602。因此,当空气没有喷出时,可以将虚拟空间映像投影到该喷出口开闭部10的表面。或者,当将该喷出口开闭部10的表面用头部装配显示器等来透视时,可以使喷出口602不显眼(很难感觉到)。
图13所示的流程图,在步骤39中,喷出口开闭部10依据空气的喷出来开闭喷出口的这一点与图3所示的流程图不同。在开闭喷出口开闭部10的具体的方法中有例如以下的方法。
也就是,利用空气喷出的力,当正在发生喷出时,推上去喷出口开闭部10而打开喷出口602,若喷出结束,就通过喷出口开闭部10返回来关闭喷出口602。
作为喷出口开闭部10,最好是轻且薄的材料。也就是,使用不施加力时平坦、若施加力就简单地翻转的材料。将该喷出口开闭部10如图14所示,在喷出口602附近,以喷出口开闭部10的一方的边为支点来固定安装,以实现将该喷出口602的覆盖。通过这样,若从喷出口602有空气喷出,保持喷出口开闭部10的一方的边连在喷出口602附近不动,而另一方的边由于喷出空气而抬起。
喷出口开闭部10的材料,希望是具有以下特点的材料:是能够用喷出的空气的力推上去的程度那样柔软,但是,具有若没有空气喷出就返回到原来的平坦的形状的程度的弹性。具体地推荐被用于标签纸那样的胶片原料。又作为颜色的配合,可以是隐藏喷出口602的颜色的轻微的白色。总之,可以是即使将映像投影在该喷出口开闭部10的上面也不显眼的颜色。
而且,从操作者9观看喷出口602的方向以某种程度集中的情况下,如图15所示,安装喷出口开闭部10以使成为开闭的支点的边(固定边)为操作者的一侧。通过这样做,即使喷出口开闭部10打开,从操作者9的一侧也难以看到喷出口602。
在上述的各实施例中以图1或图12所示的力觉提示装置为例进行了说明。但是,也可以构成为在力觉提示装置中不具备虚拟对象计算部3、虚拟空间显示部4、发声控制部7、发声部8。这种情况下,例如,可以采用力觉提示装置的外部的装置来生成虚拟空间,并进行显示。另外,在各实施例中说明的结构,也可以适用于其他的实施例。例如,喷出口开闭部10可以适用于实施例1、2。
本发明并不限定于上述的各实施的形态,在权利要求的范围内可以进行各种各样的变更、应用。

Claims (11)

1.一种力觉提示装置,其特征在于包括:
具有喷出口、可控制从该喷出口喷出的气体或液体的喷出量或喷出方向的喷出部件;和
依照接受因从上述喷出部件所喷出的气体或液体引起的压力并对操作者提示力觉的接受体的、由接受体计测部件所计测的位置或朝向,来控制上述气体或液体的喷出量或喷出方向的喷出控制部件,其中
将上述喷出部件的上述喷出口配置为正三角形形状,并且设定上述喷出部件中的上述喷出口的设置间隔,以使得当将上述接受体设为直径D的凹形时,在直径为常数×D的区域内至少存在一个上述喷出口,其中该常数为1以下的正的值。
2.按照权利要求1所述的力觉提示装置,其特征在于:
上述接受体为半球形,上述常数为0.8。
3.按照权利要求1所述的力觉提示装置,其特征在于:
上述喷出口具有依照气体或液体的喷出进行开闭的喷出口开闭部件,该喷出口开闭部件的开闭支点被设在操作者一侧。
4.按照权利要求1所述的力觉提示装置,其特征在于,还包括:
依照上述接受体的位置或朝向,来计算用虚拟空间显示部件进行显示的虚拟空间内的虚拟对象的状态的虚拟对象计算部件。
5.按照权利要求4所述的力觉提示装置,其特征在于,还包括:
依照上述虚拟对象的状态或者上述接受体的位置或朝向,来控制用发声部件发生的声音的属性的发声控制部件。
6.按照权利要求5所述的力觉提示装置,其特征在于:
上述发声控制部件依照上述虚拟对象的状态或者上述接受体的位置或朝向、并且依照由接受体计测部件所计测的上述接受体的每个或者上述接受体的形状或颜色,来控制用发声部件发生的声音的属性。
7.一种力觉提示方法,依照接受因从喷出口所喷出的气体或液体引起的压力并提示力觉的接受体的位置或朝向,来控制上述气体或液体的喷出量或喷出方向,其特征在于:
将上述喷出部件的上述喷出口配置为正三角形形状,并且设定上述喷出口的设置间隔,以使得当将上述接受体设为直径D的凹形时,在直径为常数×D的区域内至少存在一个上述喷出口,其中该常数为1以下的正的值。
8.按照权利要求7所述的力觉提示方法,其特征在于:
上述接受体为半球形,上述常数为0.8。
9.按照权利要求7所述的力觉提示方法,其特征在于,包括:
依照上述接受体的位置或朝向,来计算用虚拟空间显示部件进行显示的虚拟空间内的虚拟对象的状态的虚拟对象计算步骤。
10.按照权利要求9所述的力觉提示方法,其特征在于,还包括:
依照上述虚拟对象的状态或者上述接受体的位置或朝向,来控制用发声部件发生的声音的属性的发声控制步骤。
11.按照权利要求10所述的力觉提示方法,其特征在于:
在上述发声控制步骤中依照上述虚拟对象的状态或者上述接受体的位置或朝向、并且依照上述接受体的每个或者上述接受体的形状或颜色,来控制用发声部件发生的声音的属性。
CNB2005800013424A 2004-07-15 2005-07-14 力觉提示装置以及力觉提示方法 Expired - Fee Related CN100472406C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004208624 2004-07-15
JP208624/2004 2004-07-15
JP228787/2004 2004-08-05

Publications (2)

Publication Number Publication Date
CN1898630A CN1898630A (zh) 2007-01-17
CN100472406C true CN100472406C (zh) 2009-03-25

Family

ID=37610220

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800013424A Expired - Fee Related CN100472406C (zh) 2004-07-15 2005-07-14 力觉提示装置以及力觉提示方法

Country Status (1)

Country Link
CN (1) CN100472406C (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823551B (zh) * 2013-03-17 2017-07-21 浙江大学 一种实现多维度感知虚拟交互的系统和方法
CN103235641B (zh) * 2013-03-17 2016-08-03 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
CN103235642B (zh) * 2013-03-17 2016-08-03 浙江大学 一种6维度感官交互的虚拟乐器系统及其实现方法
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
CN108074555B (zh) * 2016-11-18 2021-05-14 北京酷我科技有限公司 一种钢琴演奏的评价方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256105A (ja) * 2002-03-01 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> 力覚提示装置および力覚提示方法
CN1442844A (zh) * 2003-01-20 2003-09-17 陈义新 一种使用虚拟技术的电子乐器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256105A (ja) * 2002-03-01 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> 力覚提示装置および力覚提示方法
CN1442844A (zh) * 2003-01-20 2003-09-17 陈义新 一种使用虚拟技术的电子乐器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Design of Air Pressure Based Force Display towardUntethered Human Interface. Yuriko,Suzuki.情报处理学会论文志,第43卷第12期. 2002
Design of Air Pressure Based Force Display towardUntethered Human Interface. Yuriko,Suzuki.情报处理学会论文志,第43卷第12期. 2002 *

Also Published As

Publication number Publication date
CN1898630A (zh) 2007-01-17

Similar Documents

Publication Publication Date Title
JP4675324B2 (ja) 力覚提示装置、力覚提示方法および力覚提示プログラム
US10320501B2 (en) Haptic broadcast with select haptic metadata based on haptic playback capability
Blaine et al. Collaborative musical experiences for novices
Smallwood et al. Composing for laptop orchestra
Marrin Toward an understanding of musical gesture: Mapping expressive intention with the digital baton
US8858330B2 (en) Music video game with virtual drums
Tanaka Mapping out instruments, affordances, and mobiles
CN100472406C (zh) 力觉提示装置以及力觉提示方法
CN101345045A (zh) 用于音乐课程的电子辅助系统和装配该系统的乐器
Hunt et al. Multiple media interfaces for music therapy
Goebl Movement and touch in piano performance
Weinberg et al. Robotic musicianship: embodied artificial creativity and mechatronic musical expression
Mandanici et al. Disembodied voices: A kinect virtual choir conductor
Hachisu et al. Virtual chromatic percussions simulated by pseudo-haptic and vibrotactile feedback
US20180032153A1 (en) Hand-held actuator for control over audio and video communication
Overholt Advancements in violin-related human-computer interaction
Gobin et al. Designing musical interfaces with composition in mind
CN214504972U (zh) 一种智能乐器
TWI700003B (zh) 客製化動態影音場景生成系統
Bernard Perception of audio-haptic textures for new touchscreen interactions
Del Piccolo et al. To ‘Sketch-a-Scratch’
Barlow Game Led HCI Improvements
Weinberg et al. Platforms—Georgia Tech’s Robotic Musicians
CN114822454A (zh) 一种智能乐器演奏方法及智能乐器
Jordà Puig Digital Lutherie--Crafting musical computers for new musics performance and improvisation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090325

Termination date: 20150714

EXPY Termination of patent right or utility model