CN113711289B - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN113711289B
CN113711289B CN202080029339.8A CN202080029339A CN113711289B CN 113711289 B CN113711289 B CN 113711289B CN 202080029339 A CN202080029339 A CN 202080029339A CN 113711289 B CN113711289 B CN 113711289B
Authority
CN
China
Prior art keywords
load weight
force
key
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080029339.8A
Other languages
English (en)
Other versions
CN113711289A (zh
Inventor
西冈勇人
古屋晋一
平野雅人
奥贵纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113711289A publication Critical patent/CN113711289A/zh
Application granted granted Critical
Publication of CN113711289B publication Critical patent/CN113711289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/32Constructional details
    • G10H1/34Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G10H1/344Structural association with individual keys
    • G10H1/346Keys with an arrangement for simulating the feeling of a piano key, e.g. using counterweights, springs, cams
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/001Boards or like means for providing an indication of chords
    • G09B15/002Electrically operated systems
    • G09B15/003Electrically operated systems with indication of the keys or strings to be played on instruments
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/08Practice keyboards
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10CPIANOS, HARPSICHORDS, SPINETS OR SIMILAR STRINGED MUSICAL INSTRUMENTS WITH ONE OR MORE KEYBOARDS
    • G10C3/00Details or accessories
    • G10C3/12Keyboards; Keys
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G10H2220/056Hand or finger indicator, e.g. for indicating which hand or which specific finger should be used
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/106Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters using icons, e.g. selecting, moving or linking icons, on-screen symbols, screen regions or segments representing musical elements or parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/265Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/311Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/461Transducers, i.e. details, positioning or use of assemblies to detect and convert mechanical vibrations or mechanical strains into an electrical signal, e.g. audio, trigger or control signal
    • G10H2220/521Hall effect transducers or similar magnetic field sensing semiconductor devices, e.g. for string vibration sensing or key movement sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本公开涉及一种信息处理装置、一种信息处理方法和一种程序,其使得可能进一步提高技能。负载重量控制单元控制负载重量的生成,该负载重量成为当钢琴家按压琴键时相对于运动的负载。击键识别单元识别琴键的运动。然后,负载重量控制单元执行控制,用于在击键识别单元识别出琴键开始被按压的时刻开始预定的负载重量的生成,并且在击键识别单元识别出琴键结束被按压并开始返回到原始状态的时刻结束负载重量的生成。本技术可以应用于例如评估和训练钢琴家的运动知觉的演奏技能提高系统。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及一种信息处理装置、一种信息处理方法和一种程序,更具体地,涉及一种信息处理装置、一种信息处理方法和一种程序,其进一步提高技能。
背景技术
一般来说,演奏乐器的演奏者可以通过演奏乐器的训练来发展触觉能力,例如,指尖。此外,例如,还认为弹奏钢琴的钢琴家可以通过提高区分力所必需的手指的力感(即,在按压钢琴琴键时区分施加到指尖的力的能力)来提高他们的钢琴弹奏技能。
在此处,专利文献1公开了一种用于通过在演奏期间提供演奏音符的准确评估来有效地辅助演奏的装置。
引文列表
专利文献
专利文献1:日本专利申请公开号2009-47861
发明内容
本发明要解决的问题
有人指出,钢琴家之间力感的个体差异与过去的钢琴训练无关。换言之,提高钢琴家力感的知觉训练被认为与弹钢琴的训练无关。因此,在钢琴演奏训练之外,对提高钢琴家的力感进行训练和评估,有望提高钢琴演奏技能。
鉴于这种情况而提出本公开,并且旨在进一步提高技能。
问题的解决方案
根据本公开的一个方面的信息处理装置包括:负载重量控制单元,当用户按压按压目标对象时,所述负载重量控制单元控制成为相对于运动的负载的负载重量的生成;以及识别单元,所述识别单元识别所述按压目标对象的运动,其中,所述负载重量控制单元执行控制,用于在识别单元识别出按压目标对象已经开始被按压的时刻开始预定的负载重量的生成,并且在识别单元识别出按压目标对象结束被按压并开始返回的时刻结束负载重量的生成。
本公开的一个方面的信息处理方法或程序包括:当用户按压按压目标对象时,控制成为相对于运动的负载的负载重量的生成;并且识别所述按压目标对象的运动;并且执行控制,用于在识别出按压目标对象已经开始被按压的时刻开始预定的负载重量的生成,并且在识别出按压目标对象结束被按压并开始返回的时刻结束负载重量的生成。
在本公开的一个方面,控制当用户按压按压目标对象时成为相对于运动的负载的负载重量的生成;并且识别所述按压目标对象的运动。然后,执行控制,用于在识别出按压目标对象已经开始被按压的时刻开始预定的负载重量的生成,并且在识别出按压目标对象结束被按压并开始返回的时刻结束负载重量的生成。
附图说明
图1是示出应用本技术的演奏技能提高系统的第一实施例的配置示例的框图。
图2是解释施加到琴键的力的示图。
图3是解释可以辨别的负载重量的阈值的示图。
图4是解释力感辨别处理的流程图。
图5是解释力感评估处理的流程图。
图6是解释力感训练处理的流程图。
图7是示出应用本技术的演奏技能提高系统的第二实施例的配置示例的示图。
图8是示意性示出力触觉呈现单元的结构的侧视图。
图9是解释力触觉呈现单元的操作的示图。
图10是示出致动器的放置位置的变化的示图。
图11是示出演奏技能提高系统的功能配置示例的框图。
图12是示出主控制屏幕的显示示例的示图。
图13是示出根据深度的控制力的控制曲线的示例的示图。
图14是解释致动器控制处理的流程图。
图15是解释初始化力传感器的输出的初始化处理的流程图。
图16是示出扭矩和力的对应图的示例的示图。
图17是示出力触觉列表的示例的示图。
图18是解释评估力触感的评估处理的流程图。
图19是解释训练力触感的训练处理的流程图。
图20是示出敏捷性测量屏幕的显示示例的示图。
图21是解释第一敏捷性评估处理的流程图。
图22是示出指示手指力量和敏捷性之间的关系的测量结果的示例的示图。
图23是解释第二敏捷性评估处理的流程图。
图24是示出独立性测量屏幕的显示示例的示图。
图25是示出用于选择手指的GUI的示例的示图。
图26是解释独立性评估处理的流程图。
图27是示出以矩阵形式显示指示独立性的分数的显示示例的示图。
图28是示出在雷达图上为每个手指显示指示独立性的分数的显示示例的示图。
图29是示出雷达图的另一显示示例的示图。
图30是示出在条形图中显示指示独立性的分数的显示示例的示图。
图31是示出时刻精度测量屏幕的显示示例的示图。
图32是解释第一次时间精度评估处理的流程图。
图33是示出表示手指力量和时刻精度之间的关系的测量结果的示例的示图。
图34是解释第二时间精度评估处理的流程图。
图35是解释经由网络的力触觉呈现装置的使用示例的示图。
图36是示出由外部终端显示的测量数据的显示示例的示图。
图37是力触觉呈现装置的内部结构的透视图。
图38是力触觉呈现装置的内部结构的右侧视图。
图39是力触觉呈现装置的内部结构的仰视图。
图40是力触觉呈现装置的内部结构的后视图。
图41是示出应用本技术的计算机的一个实施例的配置示例的框图。
具体实施方式
下面将参照附图详细描述应用本技术的具体实施例。
<演奏技能提高系统的第一配置示例>
图1是示出应用本技术的演奏技能提高系统的第一实施例的配置示例的框图。
演奏技能提高系统11是为了支持演奏乐器的演奏者而构建的,以便通过提高他/她的力感来提高他/她的演奏技能。注意,在下文中,作为示例,将描述当钢琴家使用演奏技能提高系统11按压琴键41时的力感,但是演奏技能提高系统11可以应用于除钢琴之外的乐器。
例如,演奏技能提高系统11可以执行力感辨别处理、力感评估处理和力感训练处理。例如,如稍后参考图4的流程图所述,力感辨别处理是钢琴家比较和辨别通过钢琴家在琴键41上的两次击键获得的力感的处理,其中,在第一次击键中按压琴键41所需的力被定义为正常重量,并且在第二次击键中按压琴键41所需的力被定义为比正常重量更大的重量。
此外,如稍后参考图5的流程图所述,力感评估处理是通过随机改变按压琴键41所需的力并检测钢琴家感觉琴键41沉重的阈值来评估力感的处理。此外,如稍后参考图6的流程图所述,力感训练处理是通过随机改变按压琴键41所需的力并对关于钢琴家是否感觉到琴键41沉重的响应提供反馈来训练力感的处理。
如图1所示,演奏技能提高系统11包括力感呈现装置12、信息处理装置13和输出装置14。力感呈现装置12具有检测单元21和驱动单元22,并且信息处理装置13具有击键识别单元31、负载重量控制单元32、响应获取单元33、确定单元34、阈值计算单元35和结果输出单元36。
力感呈现装置12是能够通过生成相对于由用户按压的对象的运动变成负载(以下称为负载重量)的力来向用户呈现期望的力感的装置。例如,力感呈现装置12可以附接到琴键41或包含到琴键41中,并且可以通过相对于按压琴键41的运动生成负载重量来将期望的力触觉呈现给按压琴键41的钢琴家。
信息处理装置13根据预设的负载重量、进行训练的钢琴家输入的响应、从力感呈现装置12输出的检测信号等执行信息处理,并输出控制信号,该控制信号控制在力感呈现装置12中生成的负载重量。
输出装置14包括显示器、扬声器等。例如,在力感训练处理中(见图6),输出装置14显示指示正确或不正确答案的字符,或者输出指示正确或不正确答案的声音,作为关于钢琴家是否感觉到琴键41沉重的响应的正确或不正确结果。此外,输出装置14显示阈值,该阈值由阈值计算单元35在力感评估处理(见图5)中计算,并且用作指示钢琴家能够辨别的负载重量的指标。
检测单元21检测当钢琴家按压琴键41时的运动(向上运动或向下运动),并输出指示该运动的检测信号。例如,检测单元21可以由包含在琴键41中的速度传感器配置,并且可以输出根据琴键41的运动而变化的速度,作为检测信号。
根据从信息处理装置13输出的控制信号,驱动单元22生成负载重量,该负载重量成为相对于按压琴键41的钢琴家的负载。例如,驱动单元22可以通过组合马达、驱动机构等来配置,并且通过由驱动机构将由马达生成的力传递到琴键41,生成具有根据控制信号的大小的负载重量。
在此处,驱动单元22可以被配置为在图2中由白色箭头所示的方向上向琴键41施加力。例如,驱动单元22可以配置有力触觉装置,以便通过将驱动单元22连接到钢琴手用他/她的手指弹奏的琴键41的表面,在琴键41被拉起的方向上施加力。
或者,驱动单元22可以被配置为在琴键41相对于设置在琴键表面的相对侧的绞盘按钮43附近的端部被向下推动的方向上向琴键41的支点42施加力。或者,驱动单元22可以配置有扭矩马达,以便围绕琴键41的支点42在旋转方向上传递扭矩。注意,在扭矩马达用作驱动单元22的情况下,编码器可以用作检测单元21。此外,在压力传感器用作检测单元21的情况下,压力传感器可以如图2所示的检测单元21-1和21-2中那样设置在琴键41的多个位置。
击键识别单元31基于从检测单元21输出的检测信号识别琴键41的运动(基于向下运动的击键或基于向上运动的键释放),并且基于该识别向负载重量控制单元32给出通知。例如,在击键识别单元31在力感辨别处理(参见图4)中识别出已经在琴键41上执行了第二击键的情况下,击键识别单元31向负载重量控制单元32通知已经在琴键41上执行了第二击键。注意,除了从检测单元21输出的检测信号之外,击键识别单元31可以被配置为例如通过对由图像捕捉装置(未示出)捕捉的图像(运动图像或视频)执行图像处理来识别琴键41的运动。
负载重量控制单元32控制由驱动单元22施加到琴键41的负载重量,并输出指示负载重量的控制信号。负载重量控制单元32控制负载重量,使得例如钢琴家按压琴键41所需的力成为从外部设定的负载重量、由阈值计算单元35作为阈值获得的负载重量等。此外,负载重量控制单元32执行控制,以在击键识别单元31识别出琴键41开始被按压的时刻开始生成负载重量,并在击键识别单元31识别出琴键41结束被按压并开始返回的时刻结束生成负载重量。
例如,在力感辨别处理(参见图4)中,当击键识别单元31通知琴键41已经执行了第二次击键时,负载重量控制单元32输出指示0.1[N]至1.4[N]的预定的负载重量的控制信号。此外,在力感评估处理(参见图5)中,负载重量控制单元32从0.1[N]至1.4[N]的范围中随机选择要由驱动单元22施加到琴键41的负载重量,并输出指示所选择的负载重量的控制信号。此外,在力感训练处理中(见图6),负载重量控制单元32随机选择根据设置的负载重量和0[N]中的任何一个,并输出指示所选择的负载重量的控制信号。此外,在力感训练处理(参见图6)中,在负载重量控制单元32能够根据设置(以特定比率或更大比率给出正确答案)来辨别负载重量的情况下,负载重量控制单元32将呈现改变为较小的负载重量。
响应获取单元33例如使用开关(未示出)等获取钢琴家的响应,并将获取的响应提供给确定单元34或阈值计算单元35。例如,在力感评估处理(见图5)和力感训练处理(见图6)中,响应获取单元33获取诸如“我感觉到击键比正常重”和“我没有感觉到击键比正常重”之类的响应。注意,例如,作为钢琴家输入响应的开关,钢琴家可以使用除了其上安装力感呈现装置12的琴键41之外的任何琴键。即,某个音阶的琴键可以用来输入“我感觉到击键更重”的响应,另一音阶的琴键可以用来输入“我没有感觉到击键更重”的响应。
根据负载重量控制单元32对负载重量的控制,确定单元34确定由响应获取单元33获取的响应是否正确,并将响应的正确或不正确结果提供给结果输出单元36。例如,在力感训练处理(参见图6)中,在负载重量控制单元32控制驱动单元22使得根据设置的负载重量被施加到琴键41的情况下,如果响应是“我感觉到击键更重”,则确定单元34确定响应是正确的。此外,在这种情况下,如果响应是“我没有感觉到击键更重”,则确定单元34确定响应是不正确的。另一方面,在负载重量控制单元32控制驱动单元22使得0[N]被施加到琴键41的情况下,如果响应是“我感觉到击键更重”,则确定单元34确定响应是不正确的,并且如果响应是“我没有感觉到击键更重”,则确定响应是正确的。
为了评估钢琴家的力感,阈值计算单元35计算阈值,该阈值是指示钢琴家能够辨别的负载重量的指标。例如,在力感评估处理(参见图5)中,阈值计算单元35基于从响应获取单元33提供的针对每个负载重量的指定次数的响应中的“我感觉到击键更重”的响应与多个负载重量中的每一个的比率来计算阈值。
具体地,如图3所示,阈值计算单元35使用sigmoid函数执行拟合。在图3中,横轴表示负载重量,纵轴表示“我感觉到击键更重”的响应与每个负载重量的比率。然后,阈值计算单元35计算作为拟合曲线中的拐点的负载重量,作为阈值,该阈值是钢琴家能够辨别的负载重量。例如,当钢琴家通过力觉训练处理(见图6)的训练变得能够辨别更小的负载重量时,期望该阈值能够降低。
结果输出单元36向输出装置14输出由确定单元34确定的正确或不正确结果或由阈值计算单元35计算的阈值。此外,结果输出单元36还可以使用如图3所示的sigmoid函数输出拟合曲线,并且在输出装置14的显示器上显示拟合曲线。
如上所述配置的演奏技能提高系统11除了演奏钢琴的训练之外,还可以执行用于提高钢琴家的力感的感知训练。因此,作为提高钢琴家的力感的结果,可以进一步提高钢琴家的演奏技能,并且演奏技能提高系统11可以支持钢琴家进行更熟练的演奏。
<由演奏技能提高系统执行的处理>
将参照图4至图6所示的流程图描述由演奏技能提高系统11执行的处理。注意,例如,以下每个处理都被控制在1kHz。
图4示出了解释由演奏技能提高系统11执行的力感辨别处理的流程图。
例如,当用于执行力感辨别处理的指令被输入到信息处理装置13时,处理开始,并且在步骤S11中,负载重量控制单元32输出用于指示由驱动单元22施加到琴键41的负载重量为0[N]的控制信号。响应于此,在力感呈现装置12中,驱动单元22驱动在第一次击键中施加到琴键41的负载重量变为0[N],并且钢琴家按压琴键41所需的力变为正常重量。注意,例如,在力感呈现装置12的自重施加到琴键41的配置的情况下,负载重量控制单元32驱动该驱动单元22,以抵消力感呈现装置12的自重。
在步骤S12中,击键识别单元31基于从力感呈现装置12的检测单元21输出的检测信号来确定琴键41是否已经开始向下运动(击键)。然后,击键识别单元31等待该处理,直到确定琴键41已经开始向下运动,并且当确定琴键41已经开始向下运动时,处理进行到步骤S13。
在步骤S13中,击键识别单元31基于从力感呈现装置12的检测单元21输出的检测信号来确定琴键41是否已经开始向上移动(键释放)。然后,击键识别单元31等待处理,直到确定琴键41已经开始向上运动,并且当确定琴键41已经开始向上运动时,处理进行到步骤S14。
因此,当在步骤S12中检测到琴键41开始向下运动并且在步骤S13中检测到琴键41开始向上运动时,执行琴键41上的第一次击键。
在步骤S14中,类似于步骤S12,击键识别单元31等待处理,直到确定琴键41已经开始向下运动(击键),并且如果确定琴键41已经开始向下运动,则处理进行到步骤S15。
在步骤S15中,击键识别单元31通知负载重量控制单元32琴键41上的第二次击键已经开始,并且开始呈现负载重量。即,负载重量控制单元32输出控制信号,用于指示由驱动单元22施加到琴键41的负载重量是预先设定的预定负载重量。响应于此,在力感呈现装置12中,驱动单元22在第二次击键中驱动预定的负载重量施加到琴键41,并且钢琴家按压琴键41所需的力变得比正常情况下更大(正常重量和负载重量)。
在步骤S16中,类似于步骤S13,击键识别单元31等待处理,直到确定琴键41已经开始向上移动(键释放),并且如果确定琴键41已经开始向上移动,则处理进行到步骤S17。
在步骤S17中,击键识别单元31通知负载重量控制单元32琴键41上的第二次击键结束,并且负载重量的呈现结束。即,负载重量控制单元32输出用于指示由驱动单元22施加到琴键41的负载重量为0[N]的控制信号。响应于此,在力感呈现装置12中,驱动单元22驱动施加到琴键41的负载重量变为0[N],并且钢琴家按压琴键41所需的力变为正常重量。注意,例如,在力感呈现装置12的自重施加到琴键41的配置的情况下,负载重量控制单元32继续驱动所述驱动单元22,以抵消力感呈现装置12的自重。
然后,在步骤S17中的处理之后,力感辨别处理结束。
如上所述,当演奏技能提高系统11执行力感辨别处理时,钢琴家可以通过比较通过第一击键按压琴键41的力和通过第二击键按压琴键41的力来辨别负载重量。
图5示出了解释由演奏技能提高系统11执行的力感评估处理的流程图。
例如,当用于执行力感评估处理的指令被输入到信息处理装置13时,处理开始,并且在步骤S21中,负载重量控制单元32从例如0.1[N]至1.4[N]的范围中随机选择要由驱动单元22施加到琴键41的负载重量。然后,负载重量控制单元32输出指示负载重量为所选负载重量的控制信号。响应于此,在力感呈现装置12中,驱动单元22驱动由负载重量控制单元32随机选择的负载重量,以施加到琴键41,并且钢琴家按压琴键41所需的力变得比正常情况下更大(正常重量和负载重量)。
在步骤S22中,在钢琴家在琴键41上执行击键之后,当钢琴家通过选择“我感觉到击键比正常重”和“我没有感觉到击键比正常重”中的一个来输入响应时,响应获取单元33获取该响应。
在步骤S23中,响应获取单元33确定在步骤S21中随机控制的呈现每个负载重量的次数是否已经达到预定的指定次数(例如,每个负载重量20次)。
在响应获取单元33在步骤S23中确定呈现每个负载重量的次数没有达到指定次数的情况下,处理返回到步骤S21,并且此后重复类似的处理。另一方面,在响应获取单元33在步骤S23中确定呈现每个负载重量的次数已经达到指定次数的情况下,处理进行到步骤S24。
在步骤S24中,响应获取单元33通过重复指定次数,将在步骤S22中针对每个负载重量获取的所有响应提供给阈值计算单元35。然后,阈值计算单元35通过如上所述的图3所示的sigmoid函数来执行“我感觉到击键更重”的响应与每个负载重量的比率的拟合。
在步骤S25中,阈值计算单元35计算作为在步骤S24中获得的拟合曲线中的拐点的负载重量,作为阈值,并且经由结果输出单元36将阈值输出到输出装置14。
然后,在步骤S25的处理之后,力感评估处理结束。
如上所述,当演奏技能提高系统11执行力感评估处理时,可以获得钢琴家能够辨别的负载重量的阈值,即,准确地评估钢琴家的力感。
图6示出了解释由演奏技能提高系统11执行的力感训练处理的流程图。
例如,当用于执行力感训练处理的指令被输入到信息处理装置13时,该处理开始,并且在步骤S31,负载重量控制单元32设置要训练的负载重量。在此处,负载重量控制单元32可以使用例如由钢琴家使用设定单元(未示出)设定的负载重量来进行训练,并且还可以使用在图5的力感评估处理中作为阈值计算的负载重量来进行训练。
在步骤S32中,负载重量控制单元32随机选择根据步骤S31的设置的负载重量和0[N]中的任何一个,并输出指示负载重量为所选择的负载重量的控制信号。响应于此,在力感呈现装置12中,驱动单元22驱动由负载重量控制单元32随机选择的负载重量,以施加到琴键41。因此,钢琴家按压琴键41所需的力是大于正常重量(正常重量和负载重量)的重量,或者是正常重量。
在步骤S33中,在钢琴家在琴键41上执行击键之后,当钢琴家通过选择“我感觉到击键比正常重”和“我没有感觉到击键比正常重”中的一个来输入响应时,响应获取单元33获取该响应。
在步骤S34中,确定单元34获取在步骤S32中由负载重量控制单元32选择的负载重量(即,根据步骤S31中的设置的负载重量,或者0[N]),并且获取在步骤S33中由响应获取单元33获取的响应。然后,确定单元34确定钢琴家的响应是否正确,并通过结果输出单元36向输出装置14输出正确或不正确的响应结果,以反馈给钢琴家。
在步骤S35中,响应获取单元33确定在步骤S32中随机选择的呈现负载重量的次数是否已经达到预定的指定次数(例如,20次)。
在响应获取单元33在步骤S35中确定呈现负载重量的次数没有达到指定次数的情况下,处理返回到步骤S32,并且此后重复类似的处理。另一方面,在响应获取单元33在步骤S35中确定呈现负载重量的次数已经达到指定次数的情况下,处理进行到步骤S36。
在步骤S36中,对于在步骤S34中通过重复指定次数获得的指定次数,确定单元34确定正确或不正确结果中的正确响应的比率是否等于或大于预定通过比率(例如,80%)。
在确定单元34在步骤S36中确定正确或不正确结果中的正确响应的比率不等于或大于预定通过比率(即,小于预定通过比率)的情况下,处理返回到步骤S32,并且此后重复类似的处理。另一方面,在确定单元34在步骤S36中确定正确或不正确结果中的正确响应的比率等于或大于预定通过比率的情况下,处理进行到步骤S37。
在步骤S37中,负载重量控制单元32将用于训练的负载重量的设置改变为小于当前负载重量(例如,当前设置的负载重量的90%)。注意,负载重量控制单元32可以根据正确或不正确结果中的正确响应的比率来调整负载重量的变化量,例如,在正确或不正确结果中的正确响应的比率高的情况下(例如,在几乎所有响应都正确的情况下),负载重量控制单元32可以将负载重量的变化量调整为变大。
在步骤S38中,负载重量控制单元32确定是否结束训练。例如,在步骤S37中改变负载重量的次数被预先设定的情况下,负载重量控制单元32确定当对负载重量进行与改变次数一样多的改变时结束训练。除此之外,可以基于训练的时刻长度(例如,30分钟)、钢琴家给出响应的次数(对于20种类型的负载重量给出响应的20次)等来结束训练。
在负载重量控制单元32在步骤S38中确定不结束训练的情况下,处理返回到步骤S32,并且此后重复类似的处理。另一方面,在负载重量控制单元32在步骤S38中确定结束训练的情况下,力感训练处理结束。
如上所述,当演奏技能提高系统11执行力感训练处理时,可以降低钢琴家能够辨别负载重量的阈值,即,通过向钢琴家提供对响应的正确或不正确结果的反馈来提高钢琴家的力感。可以更有效地改善力感,特别是通过在力感训练处理中使用在力感评估处理中获得的阈值附近的负载重量。
注意,演奏技能提高系统11用于提高演奏乐器的演奏者的演奏技能,并且还可以应用于提高与用户的力感的提高相关联的各种类型的技能。例如,众所周知,由于力触觉功能的降低、握持物体的能力的降低等,老年人的事故增加。通过演奏技能提高系统11提高老年人的力感,可以防止事故。此外,期望演奏技能改善系统11提高用于阅读盲文的力触觉,并抑制由击键等引起的力触觉功能的降低。或者,在需要高水平力触觉的职业中,例如,陶工,使用演奏技能提高系统11有望提高技能并解决后继者短缺的问题。
此外,演奏技能提高系统11在识别出琴键41开始被按压的时刻执行开始生成负载重量的控制,并且在识别出琴键41结束被按压并开始返回的时刻执行结束生成负载重量的控制。因此,通过改变钢琴家按压琴键41时感觉到的琴键41的重量,可以自由地操纵钢琴家感受到的力触觉(感知体验)。此外,演奏技能提高系统11可以通过在钢琴家击键之后向钢琴家呈现(给出反馈)在琴键41上生成负载重量的信息或在琴键41上停止生成负载重量的信息,来提高钢琴家对力触觉的辨别能力。
在此处,通过改变演奏技能提高系统11的控制算法,用户不仅可以通过他/她的指尖体验力触觉的训练,还可以体验各种力,并且用户可以体验各种重量的琴键41。因此,演奏技能提高系统11可用于训练中,在训练中,钢琴家快速适应新钢琴,以未知的重量琴键41演奏(即,缩短生成具有所需音量的声音所需的适应时间)。这是基于“体验各种重量的琴键,形成与琴键重量和声音的对应关系匹配的脑回路,参照记忆,加速对未知机械特性的新钢琴琴键的适应”这一神经科学知识。
此外,演奏技能提高系统11可以通过检测单元21的单个单元来测量关于琴键41的垂直位置的信息、关于速度的时刻序列信息等,并将这些测量结果反馈给用户。
注意,在上述实施例的描述中,演奏技能提高系统11被配置为在琴键41上生成负载重量,使得钢琴家感觉到它重。然而,它可以被配置为在琴键41上生成负载重量,使得例如钢琴家感觉它轻。在这种情况下,响应获取单元33在力感评估处理(参见图5)和力感训练处理(参见图6)中获取响应“我感觉到击键轻了”或“我没有感觉到击键轻了”。
<演奏技能提高系统的第二配置示例>
图7是示出应用本技术的演奏技能提高系统的第二实施例的配置示例的示图。
例如,演奏技能提高系统111被配置为允许评估或训练多个手指中的力触觉,并且可以通过评估或训练感觉运动整合功能来帮助演奏者提高演奏技能。
如图7所示,演奏技能提高系统111包括力触觉呈现装置112和信息处理装置113。
力触觉呈现装置112包括包含到壳体121中的多个力触觉呈现单元122。例如,图7示出了具有八个力触觉呈现单元122A至122H的力触觉呈现装置112的配置示例。注意,力触觉呈现单元122A至122H具有类似的配置,并且在不需要区分它们的情况下,在下文中被称为力触觉呈现单元122。
壳体121被配置为使得包含并排力触觉呈现单元122A至122H。例如,如稍后描述的图8所示的致动器146、锤机构150等容纳在壳体121中。
力触觉呈现单元122A至122H均被配置为能够改变独立呈现的力触觉。注意,稍后将参考图8描述力触觉呈现单元122的详细配置。
信息处理装置113可以是例如个人计算机,并且包括诸如琴键和触摸板等输入单元131以及诸如液晶面板等显示单元132。
在如上所述配置的演奏技能提高系统111中,例如,可以使用信息处理装置113来设置由力触觉呈现装置112呈现的力触觉。然后,用户可以在用多个手指同时或用多个手指连续按压力触觉呈现单元122A至122H的同时评估或训练力触感。
图8是示意性示出力触觉呈现单元122的结构的侧视图。
例如,力触觉呈现单元122包括框架主体141、止动件142、位置传感器143、琴键支撑构件144、锤支撑构件145、致动器146、琴键147、滑动构件148、扭矩输出构件149、锤机构150、压缩弹簧151和力传感器152。然后,在力触觉呈现单元122中,框架主体141、琴键147、滑动构件148和扭矩输出构件149构成四节点连杆机构。
止动件142、位置传感器143、琴键支撑构件144、锤支撑构件145和致动器146固定到框架主体141,并且用作支撑力触觉呈现单元122的可移动部分的基座。
止挡件142通过插入到设置在琴键147的顶端附近的下表面上的孔中的销部来抑制琴键147中出现水平反冲,并且限定当琴键147通过与琴键147的下表面邻接而被按压时的终端。
位置传感器143测量当按压琴键147时的位置。
琴键支撑构件144以点P1作为耦接轴可旋转地支撑琴键147的中心附近。
锤支撑构件145以点P5作为耦接轴可旋转地支撑锤机构150的后端附近。
致动器146是绕作为旋转轴中心的点P2驱动的马达,并且将旋转力传递到固定到旋转轴的扭矩输出构件149。注意,作为致动器146,可以采用力可控螺线管、音圈马达等。
琴键147被形成为使得用户可以类似于例如钢琴的琴键按压尖端部分的上表面,并且当用户用指尖按压琴键147时,可以向指尖呈现预定的触感。
滑动构件148的下端附近以点P3作为耦接轴耦接到琴键147的后端附近,上端附近以点P4作为耦接轴耦接到扭矩输出构件149的顶端附近,并且根据致动器146的驱动在垂直方向上滑动。
扭矩输出构件149的尖端附近以点P4作为耦接轴耦接到滑动构件148的上端附近,并且传递致动器146的旋转力,作为用于垂直移动滑动构件148的力。
锤机构150的后端附近以点P5作为耦接轴耦接到锤支撑构件145,并且突出部分设置在锤机构150的下表面上,以便邻接琴键147的后端部分的上表面。然后,以点P5为支点,锤机构150通过锤机构150的重量生成向下推动琴键147的后端部的力。
压缩弹簧151在压缩状态下固定在锤支撑构件145和锤机构150之间,并且生成经由锤机构150向下推动琴键147的后端部的力。
力传感器152附接到琴键147的上表面上用户要按压的位置附近,并且测量当琴键147被按压时施加的力。
如此配置的力触觉呈现单元122可以通过由四节点连杆机构传递致动器146的扭矩而向按压琴键147的用户的指尖呈现触感,该四节点连杆机构具有作为固定端的点P1和P2以及作为自由端的点P3和P4。然后,力触觉呈现单元122可以通过位置传感器143和力传感器152测量用户的按压操作。
例如,将参照图9描述当用户按压琴键147的尖端附近时力触觉呈现单元122的操作。
在图9的上侧,力触觉呈现单元122被示为处于没有力被施加到琴键147的状态。注意,在力触觉呈现单元122中,琴键147被止动件(未示出)按压,使得琴键147在该状态下是水平的。
在图9的下侧,力触觉呈现单元122被示出处于施加力使得用户按压琴键147的顶端部分的状态。
此时,力触觉呈现单元122通过锤机构150传递到琴键147的重量和惯性以及经由锤机构150传递到琴键147的压缩弹簧151的弹簧力,将向上推动琴键147的顶端部分的力施加到用户的指尖。此外,力触觉呈现单元122通过输出旋转力的致动器146向用户的指尖施加由四节点连杆机构传递到琴键147的顶端部分的力。
这种操作使得力触觉呈现单元122能够向按压琴键147的顶端附近的用户的指尖呈现触感。
注意,通过调整锤机构150的重量和惯性矩以及压缩弹簧151的弹簧常数这三个参数,力触觉呈现单元122可以被配置为可设置在没有电流被供应到致动器146的状态下按压琴键147所需的默认力。即,默认力与锤机构150的重量和惯性矩以及琴键147被按压的深度成比例。然后,当执行测量或训练时,力触觉呈现单元122可以通过预先将默认力调整为按压琴键147所需的力的设置范围的中心附近来减少致动器146上的负载。注意,通过包括用于调节这三个参数的螺旋机构,力触觉呈现单元122可以通过使用该螺旋机构来容易地调节默认力。例如,可以调节耦接轴和锤机构150的突出部分之间的距离,并且可以调节压缩弹簧151的压缩程度等。
此外,通过采用四节点连杆机构来传递由致动器146生成的力,力触觉呈现单元122可以生成在上下方向上移动琴键147的顶端部分的力。因此,例如,通过提供交流分量,作为用于驱动致动器146的电流,琴键147的顶端部分可以在垂直方向上振动。此外,通过调节构成四节点连杆机构的每个连杆的长度,可以调节按压琴键147所需的力的设定范围。
注意,在力触觉呈现单元122中,为了传递由致动器146生成的力,除了采用四节点连杆机构之外,还可以使用例如线牵引。
将参照图10描述力触觉呈现单元122中的致动器146的设置位置的变化。
例如,诸如图8所示的力触觉呈现单元122等致动器146的设置被设置为第一设置位置。然后,图10的A示出了致动器146被设置在第二设置位置的力触觉呈现单元122a,并且图10的B示出了致动器146被设置在第三设置位置的力触觉呈现单元122b。
如图10的A所示,在力触觉呈现单元122a中,致动器146被设置在琴键147上方的第二设置位置,并且低于图8的力触觉呈现单元122的致动器146的第一设置位置。例如,构成力触觉呈现单元122a的滑动构件148a被设计成长度比图8所示的力触觉呈现单元122的滑动构件148短。
如图10的B所示,在力触觉呈现单元122b中,致动器146被设置在琴键147下方的第三设置位置。例如,构成力触觉呈现单元122b的滑动构件148b被配置为耦接到设置在琴键147下方的致动器146的扭矩输出构件149。
因此,通过设计力触觉呈现单元122中的致动器146的设置位置的三种变化,可以防止致动器146的设置位置在例如相邻的力触觉呈现单元122之间重叠。即,如图7所示,即使在力触觉呈现单元122中,力触觉呈现单元122A至122H连续地设置成彼此相邻,构成力触觉呈现单元122A至122H的每个部分也可以容纳在壳体121中。
图11是示出演奏技能提高系统111的功能配置示例的框图。
例如,在演奏技能提高系统111中,力触觉呈现单元122A至122H被配置为均经由信号线连接到信息处理装置113。
除了如图8所示的位置传感器143、致动器146和力传感器152之外,力触觉呈现单元122还包括压力传感器161、控制电路162、驱动电路163和力触觉呈现机构164。
力传感器152测量当用户按压琴键147时施加到琴键147的力,并将指示该力的力数据提供给控制电路162。
位置传感器143测量当用户按压琴键147时琴键147的位置,并将指示该位置的位置数据提供给控制电路162。
压力传感器161测量当用户按压琴键147时施加到琴键147的压力,并将指示压力的压力数据提供给控制电路162。
控制电路162基于力数据、位置数据和压力数据识别琴键147上的按压操作。此外,控制电路162控制驱动电路163,以便通过使用信息处理装置113呈现与用户输入的设置相对应的触感。
驱动电路163根据控制电路162的控制向致动器146提供电力,以驱动致动器146。
力触觉呈现机构164是这样一种机构,其通过将如上文参考图8所述的四节点连杆机构从致动器146输出的旋转力传递到琴键147的顶端部分(其是用户按压的部分),来向用户呈现触感。
信息处理装置113包括装置控制单元171、初始化处理单元172、通信单元173、显示控制单元174、输入获取单元175和存储介质176。
装置控制单元171包括CPU、ROM、RAM等,并且执行用于执行稍后描述的各种处理的程序。
初始化处理单元172对力触觉呈现单元122A至122H执行初始化处理,以将来自每个致动器146的扭矩输出与由力传感器152测量的力相关联。
通信单元173通过有线通信或无线通信与数据库192和外部终端193通信,如稍后描述的图35所示。
显示控制单元174根据装置控制单元171的控制,执行显示控制,以在图1所示的显示单元132上显示各种屏幕(例如,图12所示的主控制屏幕等)。
输入获取单元175获取例如通过用户利用图1所示的输入单元131的操作输入的各种设定值和信息,并将其提供给装置控制单元171。
存储介质176存储由演奏技能提高系统111执行的处理所需的信息、由演奏技能提高系统111测量的测量结果(分数)等。
如上所述配置的演奏技能提高系统111可以准确地评估例如演奏者或康复患者的手指的力触觉功能,并执行力触觉训练。此外,演奏技能提高系统111可以独立地执行力触觉和运动感觉的评估或训练。
图12示出了在信息处理装置113的显示单元132上显示的主控制屏幕的显示示例。
图12所示的主控制屏幕对于力触觉呈现单元122A至122H中的每一个显示图形用户界面(GUI),用于使用在垂直方向上从上到下依次的开/关设置单元、频率设置单元和力设置单元输入设置。
例如,在主控制屏幕左端显示的键C指示显示用于力触觉呈现单元122C的执行设置的GUI,并且在键C旁边显示的键D指示显示用于力触觉呈现单元122D的执行设置的GUI。类似地,显示为其他力触觉呈现单元122执行设置的GUI。
开/关设置单元是按钮的GUI,用于按照力触觉呈现单元122A至122H中的每一个来设置力触觉呈现的开/关。
频率设置单元是按钮的GUI,用于输入在力触觉呈现单元122A至122H的每一个中按压次数的设定值。
力设置单元是按钮和序列条的GUI,用于输入在每个力触觉呈现单元122A至122H中呈现的力的大小。例如,当提供给致动器146的电流为零时呈现的力被设置为默认力。
注意,当按压琴键147时,力触觉呈现单元122控制致动器146的驱动,使得不管琴键147被按压的深度如何,总是生成恒定的力,或者可以控制致动器146的驱动,使得生成根据例如琴键147被按压的深度而变化的力。
例如,图13示出了根据琴键147被按压的深度来控制由致动器146生成的力的控制曲线的示例。即,当用户调整由图13中的轮廓圆指示的控制点的位置或执行诸如添加或删除控制点等输入时,控制致动器146的驱动,以便根据控制曲线生成力。
将参照图14所示的流程图描述控制演奏技能提高系统111中的致动器146的致动器控制处理。
在步骤S111中,演奏技能提高系统111为各个力触觉呈现单元122A至122H设置力和频率。例如,装置控制单元171控制显示控制单元174在显示单元132上显示主控制屏幕,如图12所示。因此,用户可以通过使用在主控制屏幕上显示的GUI并使用输入单元131来输入力触觉呈现单元122A至122H中的每一个的力和频率。然后,输入获取单元175获取输入到各个力触觉呈现单元122A至122H的力和频率的设定值,并将其提供给装置控制单元171。
在步骤S112中,装置控制单元171将在步骤S111中获取的力和频率的设定值分别提供给相应的力触觉呈现单元122A至122H的控制电路162,以反映力和频率的设定值。因此,在力触觉呈现单元122A至122H中,每个控制电路162控制驱动电路163,以便根据设定值生成力。然后,驱动电路163根据控制电路162的控制开始向致动器146提供电流。
在步骤S113中,装置控制单元171确定自从在步骤S112中开始向致动器146供应电流以来是否已经经过了预定的指定时间。例如,指定时间被设定为能够防止致动器146过热的时间。
在装置控制单元171在步骤S113中确定指定时间尚未过去的情况下,处理进行到步骤S114。
在步骤S114中,力触觉呈现单元122A至122H中的每一个的控制电路162基于从位置传感器143提供的位置数据来检测琴键147的按压。然后,已经检测到琴键147的按压的力触觉呈现单元122A至122H的控制电路162递增琴键147的按压次数。
在步骤S115中,力触觉呈现单元122A至122H中的每一个的控制电路162根据步骤S114中的检测结果确定按压的当前频率是否已经达到在步骤S111中设置的按压频率的设定值。
在力触觉呈现单元122A至122H中的任何一个的控制电路162在步骤S115中确定按压的频率已经达到设定值的情况下,处理进行到步骤S116。
在步骤S116中,已经在步骤S115中确定按压频率已经达到设定值的控制电路162控制驱动电路163,使得提供给致动器146的电流变为零。因此,驱动电路163停止向致动器146提供电流,并且按压琴键147所需的力返回到默认状态。注意,在步骤S115中确定按压频率没有达到设定值的控制电路162中,跳过步骤S116中的处理。
在力触觉呈现单元122A至122H中的任何一个的控制电路162在步骤S116的处理之后或者在步骤S115中确定按压的频率没有达到设定值的情况下,处理返回到步骤S113,并且此后重复类似的处理。
然后,在装置控制单元171在步骤S113中确定指定时间已经过去的情况下,处理进行到步骤S117。
在步骤S117中,装置控制单元171将按压琴键147所需的力返回到所有力触觉呈现单元122A至122H的默认状态。即,装置控制单元171指示在步骤S115中按压频率没有达到设定值的力触觉呈现单元122A至122H中的力触觉呈现单元122的控制电路162将力返回到默认状态。接收到该指令的控制电路162控制驱动电路163,使得提供给致动器146的电流变为零。结果,停止向力触觉呈现单元122A至122H的所有致动器146供应电流,并且致动器控制处理结束。
如上所述,演奏技能提高系统111可以通过执行保护控制来防止致动器146过热,使得当琴键147的按压频率达到频率的设定值时,提供给致动器146的电流为零。类似地,演奏技能提高系统111可以通过执行保护控制来防止致动器146过热,使得在开始向致动器146供应电流之后经过指定时间时,供应给致动器146的电流也为零。
将参照图15的流程图描述用于初始化力传感器152的输出的初始化处理。注意,初始化处理可以在力触觉呈现单元122A至122H中的每一个中单独执行。
在步骤S121中,控制电路162在致动器146的扭矩未输出(扭矩=0)的状态下,将从力传感器152输出的力数据的输出值设定为零点。
在步骤S122中,控制电路162控制驱动电路163,使得从致动器146输出的扭矩增加预定增加宽度,并且驱动电路163增加提供给致动器146的电流。
在步骤S123中,力传感器152测量施加到琴键147的力,并将当前扭矩的力数据提供给控制电路162。
在步骤S124中,控制电路162确定从致动器146输出的扭矩是否已经达到最大值。
在控制电路162在步骤S124中确定扭矩没有达到最大值的情况下,处理返回到步骤S122,以增加扭矩,此后重复类似的处理。另一方面,在控制电路162在步骤S124中确定扭矩已经达到最大值的情况下,处理进行到步骤S125。
在步骤S125中,控制电路162向装置控制单元171提供在从没有输出扭矩的状态到扭矩变为最大值的状态的时间段内从力传感器152提供的每个扭矩中的力数据。然后,装置控制单元171创建示出如图16所示的扭矩和力之间的对应关系的对应图,并将其存储在存储介质176中,然后初始化处理结束。
如上所述,演奏技能提高系统111可以获取提供给致动器146的电流和施加给琴键147的力之间的对应关系。例如,通过针对使用演奏技能提高系统111的每个环境获取这种对应关系,可以以更高的精度呈现触感,而不管例如外部温度、力触觉呈现装置112的状态等。
图17示出了在稍后参考图18描述的评估处理和稍后参考图19描述的训练处理中使用的力触觉列表的示例。
如图所示,在力触觉列表中,针对力触觉呈现单元122A至122H单独记录用于指示针对每个按压频率呈现的力的大小的命令值。此外,在力触觉列表中,命令值被设置为使得由预定数量(一个或多个)的力触觉呈现单元122呈现的力不同于由其他力触觉呈现单元122呈现的力。例如,可以设置命令值,使得由预定数量的力触觉呈现单元122呈现的力变得大于由其他力触觉呈现单元122呈现的力,或者可以设置命令值,使得它变得更小。此外,可以设置命令值,使得由另一力触觉呈现单元122呈现的力可以处于默认状态(提供给致动器146的电流为0),或者变得小于或大于默认状态。
将参照图18所示的流程图描述在演奏技能提高系统111中评估触感的评估处理。
在步骤S131中,装置控制单元171执行参考图15的流程图描述的初始化处理,并且从存储介质176读取如图17所示的力触觉列表。然后,根据力触觉列表,装置控制单元171将为每行按压频率记录的命令值设置到每个对应的力触觉呈现单元122A至122H的控制电路162。
在步骤S132中,控制电路162控制驱动电路163,以便呈现具有与按压的当前频率相关联的命令值的大小的力,并且驱动电路163向致动器146提供对应于控制电路162的控制的电流。因此,各个力触觉呈现单元122A至122H可以呈现触感,使得按压琴键147所需的力具有对应于每个命令值的大小。
在步骤S133中,装置控制单元171指示用户按压琴键147。例如,装置控制单元171控制显示控制单元174指定按压每个琴键147A至147H的用户手指,并且在显示单元132上显示指示按压手指的顺序、节奏和节拍的图像。例如,装置控制单元171可以指示多个手指同时按压琴键147。注意,可以通过从扬声器(未示出)等输出的声音来指示节奏和节拍。
在根据步骤S133中的按压指令用指定的手指按压琴键147之后,用户可以使用输入单元131来输入指示用哪个手指按压哪个琴键147所需的力大于(小于)按压另一琴键147所需的力的响应。即,在力触觉呈现单元122A至122H中,由预定数量的力触觉呈现单元122呈现的力被控制为大于(或小于)由其他力触觉呈现单元122呈现的力。因此,用户只需要响应按压力触觉呈现单元122的琴键147的手指,用户感觉按压琴键147所需的力很大(或很小)。
在步骤S134中,装置控制单元171经由输入获取单元175获取用户输入的响应。
在步骤S135中,装置控制单元171确定评估是否已经重复了与在步骤S131中读取的力触觉列表中的行数一样多的次数。例如,在力已经以与力触觉列表中记录的所有次数相关联的命令值的大小呈现的情况下,装置控制单元171可以确定评估已经重复了与力触觉列表中的行数一样多的次数。
在装置控制单元171在步骤S135中确定评估没有被重复与力触觉列表中的行数一样多的次数的情况下,处理返回到步骤S132,并且此后重复类似的处理,以力触觉列表中记录的下一行的按压频率中记录的触感为目标。另一方面,在装置控制单元171在步骤S135中确定评估已经重复了与力触觉列表中的行数一样多的次数的情况下,处理进行到步骤S136。
在步骤S136中,装置控制单元171基于在步骤S134中获取的响应是否正确,获得用户的每个手指的拟合曲线(见图3)。例如,在用于输入的用户手指已经被指示按压预定数量的被控制为呈现比其他单元更大(或更小)的力的力触觉呈现单元122的琴键147的情况下,响应是正确的。然后,装置控制单元171计算作为拟合曲线中的拐点的负载重量,作为阈值,并将计算的负载重量存储在存储介质176中,然后评估处理结束。
如上所述,演奏技能提高系统111可以根据基于用户的响应是否正确而获得的阈值来评估用户的每个手指按压琴键147所需的力的分类。例如,假设当手指以复杂的方式移动时或者当相邻手指同时移动时,触感降低,并且可以评估触感的这种降低。
将参照图19所示的流程图描述在演奏技能提高系统111中训练触感的训练处理。
在步骤S141至S144中,执行与图18的步骤S131至S134中类似的处理。在步骤S143中,用户在根据按压指令用指定手指按压琴键147之后输入响应,并且在步骤S144中获取该响应。
在步骤S145中,装置控制单元171控制显示控制单元174,以使显示单元132显示此时被控制为大于(或小于)由另一力触觉呈现单元122呈现的力的力触觉呈现单元122,作为对用户响应的正确响应。
在步骤S146中,装置控制单元171确定训练是否已经重复了与在步骤S141中读取的力触觉列表中的行数一样多的次数。
在装置控制单元171在步骤S146中确定训练没有被重复与力触觉列表中的行数一样多的次数的情况下,处理返回到步骤S142,并且对在触觉列表中记录的下一行的按压频率中记录的触感重复类似的处理。另一方面,在装置控制单元171在步骤S146中确定训练已经重复了与力触觉列表中的行数一样多的次数的情况下,训练处理结束。注意,装置控制单元171可以在用户的任意时刻结束训练处理。
如上所述,通过在显示单元132上显示(给出反馈)对用户响应的正确响应,演奏技能提高系统111可以执行对用户的每个手指按压琴键147所需的力进行分类的训练。例如,假设当手指以复杂的方式移动时或者当相邻手指同时移动时,触感降低,并且可以执行训练,以避免触感的这种降低。
图20是示出在参照稍后描述的图21和23解释的敏捷性评估处理的测量期间显示的敏捷性测量屏幕的显示示例的示图。
例如,敏捷性测量屏幕显示用于选择要测量的手指的GUI。图20所示的示例显示右手的中指已经被选择作为由阴影表示的测量目标。此外,敏捷性测量屏幕显示指示在敏捷性评估处理中执行的一系列任务中当前已经执行了多少任务的频率,并且图20所示的示例显示第四次。
此外,敏捷性测量屏幕显示GUI,例如,用于设置按压琴键147所需的负载的滑块、用于设置测量时间的按钮、用于指示测量时刻开始的按钮、用于重置测量结果的按钮以及用于存储测量结果的按钮。
将参照图21所示的流程图描述用于在演奏技能提高系统111中评估敏捷性的第一敏捷性评估处理。注意,在第一敏捷性评估处理中,评估用一个手指按压时的敏捷性或同时用多个手指按压时(例如,和弦)的敏捷性。
在步骤S151中,在演奏技能提高系统111中,设置要测量的手指(在由多个手指同时按压的情况下的多个手指)。例如,装置控制单元171控制显示控制单元174,以使显示单元132显示图20所示的敏捷性测量屏幕。因此,通过使用输入单元131,用户可以将右手或左手的选择输入到敏捷性测量屏幕,并且输入在所选择的手上要测量的手指的选择。然后,输入获取单元175将指示用户选择的手指的信息提供给装置控制单元171,并且装置控制单元171将由该信息指示的手指设置为测量目标。
在步骤S152中,演奏技能提高系统111准备开始用于评估敏捷性的测量。
在步骤S153中,演奏技能提高系统111设置在评估敏捷性时按压琴键147所需的负载。例如,用户可以使用输入单元131通过设置重量的滑块的位置在图20的敏捷性测量屏幕上来设置负载。然后,输入获取单元175获取指示用户设置的负载的信息,经由装置控制单元171将该信息提供给控制电路162,并控制驱动电路163。即,装置控制单元171基于该信息控制控制电路162。因此,从驱动电路163向致动器146提供电流,以便通过用户向琴键147施加负载来生成向下推动琴键147的力。
在步骤S154中,利用演奏技能提高系统111,用户在预设测量时间内(在图20所示的示例中为5秒)尽可能多地按压琴键147。此时,控制电路162基于从位置传感器143提供的位置数据检测琴键147的按压次数,并将检测到的次数提供给装置控制单元171。
在步骤S155中,装置控制单元171计算在步骤S151中被设置为测量目标的手指的每个时间的轻敲次数。
在步骤S156中,装置控制单元171确定是否结束用于评估敏捷性的测量。例如,当用于评估期望负载下的敏捷性的手指的测量完成时,用户可以通过使用输入单元131输入结束测量的指令,并且根据该输入来执行确定。
在装置控制单元171在步骤S156中确定不结束用于评估敏捷性的测量的情况下,处理返回到步骤S153,并且在用户设置一不同的负载之后,此后重复类似的处理。另一方面,在装置控制单元171在步骤S156中确定结束用于评估敏捷性的测量的情况下,处理进行到步骤S157。
在步骤S157中,装置控制单元171获取表示已经按压琴键147的手指的力量和手指的敏捷性之间的关系的曲线,作为测量结果,如图22所示,将针对每个测量的负载计算的敲击次数作为敏捷性。然后,装置控制单元171控制显示控制单元174,使显示单元132显示曲线,作为表示敏捷性的分数,然后第一敏捷性评估处理结束。
将参照图23所示的流程图描述演奏技能提高系统111中用于评估敏捷性的第二敏捷性评估处理。注意,在第二敏捷性评估处理中,评估用多个手指连续按压时的敏捷性。
在步骤S161中,演奏技能提高系统111设置要测量的手指以及手指移动的顺序。例如,手指移动的顺序可以由用户输入,或者预设顺序可以由用户选择。
在步骤S162中,演奏技能提高系统111准备开始用于评估敏捷性的测量。
在步骤S163中,使用图20所示的敏捷性测量屏幕,演奏技能提高系统111设置在评估敏捷性时按压琴键147所需的负载。
在步骤S164中,利用演奏技能提高系统111,用户以设定的顺序移动他/她的手指达已经设定的次数。作为响应,控制电路162记录从琴键147开始下降到琴键147下降到最深处所需的时间,并将该时间提供给装置控制单元171。
在步骤S165中,装置控制单元171从步骤S164中提供的时间计算用户按压琴键147所需的时间段的平均值。
在步骤S166中,装置控制单元171确定是否结束用于评估敏捷性的测量。例如,当用于评估敏捷性的具有期望负载的测量完成时,用户可以使用输入单元131来输入用于结束测量的指令,并且响应于该输入做出确定。
在装置控制单元171在步骤S166中确定不结束用于评估敏捷性的测量的情况下,处理返回到步骤S163,并且在用户设置一不同的负载之后,此后重复类似的处理。另一方面,在装置控制单元171在步骤S166中确定结束用于评估敏捷性的测量的情况下,处理进行到步骤S167。
在步骤S167中,装置控制单元171控制显示控制单元174,使显示单元132显示在步骤S165中计算的时间段的平均值,作为表示敏捷性的分数,然后第二敏捷性评估处理结束。
如上所述,通过在改变按压琴键147所需的负载的同时评估敏捷性,演奏技能提高系统111还可以评估用户的适应性水平。例如,在图22所示的曲线中,如果用户可以显示出敏捷性而不依赖于手指力量,则用户被评估为适应性高。
图24是示出在稍后描述的参照图26解释的独立性评估处理的测量期间显示的独立性测量屏幕的显示示例的示图。
例如,独立性测量屏幕显示用于选择要测量的手指的GUI。图24所示的示例显示右手的食指已经被选择作为由阴影表示的测量目标。注意,作为用于选择要测量的手指的GUI,可以使用如图25所示的表示手指形状的图标,并且改变所选择的手指的颜色(在图25所示的示例中用阴影线表示)。
此外,独立性测量屏幕显示指示放置五个手指的琴键147被按压的深度的条,并且在每个条的上方显示终端位置显示单元。然后,当琴键147被按压到琴键147的终端位置时,琴键147的终端位置显示单元的显示改变(例如,颜色改变),如图24下侧的独立性测量屏幕上的阴影所示。
将参照图26所示的流程图描述在演奏技能提高系统111中评估手指独立性的独立性评估处理。
在步骤S171中,演奏技能提高系统111使用图24的独立性测量屏幕设置要测量的手指。
在步骤S172中,演奏技能提高系统111使用图24所示的独立性测量屏幕来设置当评估手指的独立性时按压琴键147所需的负载。此时,将要测量的手指按压的琴键147的负载被设置为各种大小,并且其他琴键147的负载被设置为尽可能小(轻)。例如,假设需要施加到一个手指的力越大,其他手指就越容易受到影响,并且可以通过计算琴键147的每个负载的分数来更准确地评估独立性。
在步骤S173中,演奏技能提高系统111准备开始测量,以评估手指的独立性。
在步骤S174中,演奏技能提高系统111发出按压指令,以按压琴键147指定次数,并且用户根据指定次数用在步骤S171中设置的手指按压琴键147。此时,在所有手指都放在琴键147上的情况下,用户用要测量的手指按压琴键147到终端位置达特定次数。
然后,控制电路162获取从位置传感器143提供的位置数据(例如,当5个手指放置在琴键147上时的5个位置数据),并将其提供给装置控制单元171。此后,当控制电路162检测到指定次数的按压时,测量结束,并且处理进行到步骤S175。
在步骤S175中,装置控制单元171计算在一系列任务中其他手指受影响和移动的程度。
在步骤S176中,装置控制单元171控制显示控制单元174,使显示单元132显示步骤S175中的计算结果,作为表示独立性的分数。
在步骤S177中,响应于在图24的独立性测量屏幕上显示的存储按钮的操作,装置控制单元171在存储介质176中存储表示在步骤S176中在显示单元132上显示的独立性的分数,然后独立性评估处理结束。
图27示出了在颜色矩阵中显示在独立性评估处理中获得的指示独立性的分数的显示示例。例如,在垂直方向表示要测量的手指而水平方向表示其他手指的矩阵中,手指越容易受到要测量的手指的影响,显示的颜色(细阴影)越深。
图28示出了显示示例,其中,在雷达图中针对每个手指显示表示在独立性评估处理中获得的独立性的分数。例如,在每个雷达图中,在中心显示待测手指,在上下左右四个方向显示其他手指。显示雷达图,使得手指越容易被待测手指影响而移动,就越向外。此外,对于按压琴键147所需的每个负载,显示该雷达图。
此外,如图29所示,例如,表示例如组的平均数据、用户的过去数据等的虚线雷达图被叠加在表示代表独立性的分数的每个手指的雷达图上,由此可以比较。
图30示出了在条形图中显示表示在独立性评估处理中获得的独立性的分数的显示示例。例如,为评估独立性的每个手指获得的平均值可以显示为通过模仿琴键147的形状表示的条形图。此外,可以显示从这些数值获得的总分。
图31是示出在参照稍后描述的图32和34解释的时间精度评估处理的测量期间显示的时间精度测量屏幕的显示示例的示图。
例如,时间精度测量屏幕显示用于选择待测手指的GUI。图31所示的示例显示右手的中指已经被选择作为由阴影表示的测量目标。此外,时间精度测量屏幕显示表示节拍相对于目标值的波动的图形。注意,节拍的波动可以用数字来表示。
此外,时间精度测量屏幕显示GUI,例如,用于设置按压琴键147所需的负载的滑块、用于设置测量时间的按钮、用于指示测量时间开始的按钮、用于重置测量结果的按钮和用于存储测量结果的按钮。
将参照图32所示的流程图描述在演奏技能提高系统111中评估时间精度的第一时间精度评估处理。注意,在第一时间精度评估处理中,评估用一个手指按压的敏捷性或同时用多个手指按压(例如,和弦)的敏捷性。
在步骤S181中,在演奏技能提高系统111中,设置要测量的手指(在由多个手指同时按压的情况下的多个手指)。例如,装置控制单元171控制显示控制单元174,以使显示单元132显示图31所示的时间精度测量屏幕。因此,通过使用输入单元131,用户可以将右手或左手的选择输入到时间精度测量屏幕,并且输入在所选择的手上要测量的手指的选择。然后,输入获取单元175将指示用户选择的手指的信息提供给装置控制单元171,并且装置控制单元171将由该信息指示的手指设置为测量目标。
在步骤S182中,演奏技能提高系统111准备开始用于评估时间精度的测量。
在步骤S183中,演奏技能提高系统111在评估时间精度时设置按压琴键147所需的负载。例如,用户可以使用输入单元131通过设置重量的滑块的位置在图31的时间精度测量屏幕上设置负载。然后,输入获取单元175获取指示用户设置的负载的信息,经由装置控制单元171将该信息提供给控制电路162,并控制驱动电路163。即,装置控制单元171基于该信息控制控制电路162。因此,从驱动电路163向致动器146提供电流,以便通过用户向琴键147施加负载来生成向下推动琴键147的力。
在步骤S184中,利用演奏技能提高系统111,用户在预设测量时间内(在图31所示的示例中为5秒)尽可能多次地按压琴键147。此时,控制电路162基于从位置传感器143提供的位置数据检测琴键147的按压次数,并将检测到的次数提供给装置控制单元171。
在步骤S185中,装置控制单元171计算在步骤S151中被设置为测量目标的手指的每个时间的轻敲次数。
在步骤S186中,装置控制单元171确定是否结束用于评估时间精度的测量。例如,当在期望负载下用于评估时间精度的手指的测量完成时,用户可以通过使用输入单元131输入结束测量的指令,并且根据该输入执行确定。
在装置控制单元171在步骤S186中确定不结束用于评估时间精度的测量的情况下,处理返回到步骤S183,并且在用户设置一不同的负载之后,此后重复类似的处理。另一方面,在装置控制单元171在步骤S186中确定结束用于评估时间精度的测量的情况下,处理进行到步骤S187。
在步骤S187中,装置控制单元171获取表示已经按压琴键147的手指的力量和手指的时间精度之间的关系的曲线,作为测量结果,如图33所示,以针对每个测量的负载计算的敲击次数作为时间精度。然后,装置控制单元171控制显示控制单元174,使显示单元132显示曲线,作为表示时间精度的分数,然后第一时间精度评估处理结束。
将参照图34所示的流程图描述在演奏技能提高系统111中评估时间精度的第二时间精度评估处理。注意,在第二时间精度评估处理中,评估用多个手指连续按压时的敏捷性。
在步骤S191中,演奏技能提高系统111设置要测量的手指以及手指移动的顺序。例如,手指移动的顺序可以由用户输入,或者预设顺序可以由用户选择。
在步骤S192中,演奏技能提高系统111准备开始测量,以评估时间精度。
在步骤S193中,演奏技能提高系统111使用图31所示的时间精度测量屏幕来设置在评估时间精度时按压琴键147所需的负载。
在步骤S194中,利用演奏技能提高系统111,用户以设定的顺序移动他/她的手指达已经设定的次数。作为响应,控制电路162记录从琴键147开始下降到琴键147下降到最深处所需的时间,并将该时间提供给装置控制单元171。
在步骤S195中,装置控制单元171从步骤S194中提供的时间计算用户按压琴键147所需的时间段的平均值。
在步骤S196中,装置控制单元171确定是否结束用于评估时间精度的测量。例如,当完成具有用于评估时间精度的期望负载的测量时,用户可以使用输入单元131来输入用于结束测量的指令,并且响应于该输入做出确定。
在装置控制单元171在步骤S196中确定不结束用于评估时间精度的测量的情况下,处理返回到步骤S193,并且在用户设置一不同的负载之后,此后重复类似的处理。另一方面,在装置控制单元171在步骤S196中确定结束用于评估时间精度的测量的情况下,处理进行到步骤S197。
在步骤S197中,装置控制单元171控制显示控制单元174,使显示单元132显示在步骤S195中计算的时间段的平均值,作为表示时间精度的分数,然后第二时间精度评估处理结束。
如上所述,通过在改变按压琴键147所需的负载的同时评估时间精度,演奏技能提高系统111还可以评估用户的适应水平。例如,在图33所示的曲线中,如果用户可以展现出不依赖于手指力量的时间精度,则用户被评估为适应性高。
将参考图35解释经由网络的力触觉呈现装置112的使用示例。
例如,在力触觉呈现装置112包括通信功能的情况下,可以经由网络191连接到数据库192和外部终端193。分析服务器194也连接到网络191。
力触觉呈现装置112经由网络191执行通信,并且向数据库192和外部终端193发送例如通过力触觉呈现装置112的测量获得的测量数据(例如,在敏捷性的情况下,在测量时间内按钮被按压的次数)。然后,从力触觉呈现装置112发送的测量数据可以由诸如智能手机或平板电脑等外部终端193确认。
例如,如图36所示,外部终端193的显示单元195可以以各种显示格式显示测量数据。图36的A示出了显示手指之间的测量数据以便通过条形图进行比较的显示示例。图36的B示出了以时间序列图显示测量数据日志的显示示例。图36的C示出了以表格形式显示测量数据的数值的显示示例。
此外,力触觉呈现装置112可以执行有线通信或无线通信,并且还可以通过红外通信、近场通信等直接向外部终端193发送测量数据。此外,在力触觉呈现装置112具有用于显示表示测量数据的二维码的显示功能的情况下,力触觉呈现装置112可以具有使外部终端193读取二维码的配置。因此,例如,通过直接从力触觉呈现装置112传输测量数据,可以在不使用个人计算机的情况下实现无缝评估和训练。
此外,通过分析服务器194对记录在数据库192中的测量数据的历史进行数据分析,可以推荐用于提高演奏技能的适当训练。然后,用户可以通过使用外部终端193来预约下一次训练。
注意,通过将力触觉呈现装置112配置为包括具有显示单元的存储介质等,可以将测量数据存储在力触觉呈现装置112中,并显示和确认日志。
因此,通过经由网络191使用力触觉呈现装置112,可以存储每个评估项目的日志,并且在每个手指的时间轴上确认成长、改善等。此外,通过向用户呈现测量数据以及一般数值,可以告知用户每个评估项目的优点和缺点。此外,分析服务器194可以获得并计算大量用户的数据的统计数据,并且因此可以针对在几个评估项目中应该更好地提高的项目做出实践建议。在这种呈现时,可以进行手指之间的比较。
图37至40示出了力触觉呈现装置112的内部结构。
图37是力触觉呈现装置112的内部结构的透视图,图38是力触觉呈现装置112的内部结构的右侧视图。此外,图39是力触觉呈现装置112的内部结构的仰视图,图40是力触觉呈现装置112的内部结构的后视图。
如图37至40所示,类似于普通钢琴,琴键147A至147H彼此相邻设置,并且用于提供触感的致动器146A至146H设置在背面侧。
此外,致动器146A和致动器146H设置在图8所示的第一设置位置,并且致动器146C、致动器146D和致动器146G设置在图10的A所示的第二设置位置。此外,致动器146B、致动器146E和致动器146F设置在图10的B所示的第三设置位置。
这种内部结构使得力触觉呈现装置112能够以类似于普通钢琴的间隔设置琴键147A至147H,同时避免相邻致动器146的重叠。此外,通过将致动器146A至146H设置在如此狭窄的空间中,力触觉呈现装置112可以进一步小型化。
注意,图37至40示出了具有对应于一个八度音阶的八个琴键147A至147H的力触觉呈现装置112的配置示例。然而,力触觉呈现装置112中提供的琴键147的数量不限于八个。即,力触觉呈现装置112可以包括八个或更少的琴键147,并且例如可以包括对应于一只手的五个琴键147。力触觉呈现装置112可以包括八个或更多个琴键147,并且例如可以包括对应于两个八度音阶的16个琴键147。
<计算机的配置示例>
接下来,上述一系列处理(信息处理方法)可以由硬件执行,或者可以由软件执行。在由软件执行一系列处理的情况下,构成软件的程序被安装在通用计算机等中。
图41是示出应用本技术的计算机的一个实施例的配置示例的框图。
该程序可以预先记录在硬盘205或ROM 203上,作为内置在计算机中的记录介质。
或者,程序可以存储(记录)在由驱动器209驱动的可移动记录介质211中。可以提供这种可移动记录介质211,作为所谓的打包软件。在此处,可移动记录介质211包括例如软盘、光盘只读存储器(CD-ROM)、磁光盘(MO)、数字多功能盘(DVD)、磁盘、半导体存储器等。
注意,如上所述,程序可以从可移动记录介质211安装在计算机上,或者可以经由通信网络或广播网络下载到计算机,并安装在内置硬盘205上。即,程序可以经由用于数字卫星广播的人造卫星从下载站点无线传输到计算机,或者可以通过诸如局域网(LAN)或互联网等网络有线传输到计算机。
计算机包括中央处理单元(CPU)202,并且输入/输出接口210经由总线201连接到CPU 202。
当例如操作输入单元207时,根据用户经由输入/输出接口210输入的命令,CPU202执行存储在只读存储器(ROM)203中的程序。或者,CPU202将存储在硬盘205中的程序加载到随机存取存储器(RAM)204中并执行。
因此,CPU 202执行根据上述流程图的处理或者通过上述框图的配置执行的处理。然后,经由输入/输出接口210,在必要时,例如,CPU 202从输出单元206输出处理结果,从通信单元208发送处理结果,将处理结果记录在硬盘205中等。
注意,输入单元207包括琴键、鼠标、麦克风等。另外,输出单元206包括液晶显示器(LCD)、扬声器等。
在此处,在本描述中,由计算机根据程序执行的处理不一定按照流程图中描述的顺序按时间序列执行。即,由计算机根据程序执行的处理包括并行或单独执行的处理(例如,并行处理或对象处理)。
此外,程序可以由一台计算机(处理器)处理,或者可以由多台计算机分发和处理。此外,程序可以被传送到远程计算机并被执行。
此外,在本说明书中,系统意味着一组多个元件(装置、模块(组件)等),并且所有元件是否在同一壳体中并不重要。因此,容纳在单独壳体中并经由网络连接的多个装置和多个模块容纳在单个壳体中的单个装置都是系统。
此外,例如,被描述为一个装置(或处理单元)的配置可以被划分并配置为多个装置(或处理单元)。相反,上述作为多个装置(或处理单元)的配置可以被共同配置为一个装置(或处理单元)。也可以向每个装置(或每个处理单元)的配置添加除上述配置之外的配置。此外,如果作为整个系统的配置和操作基本相同,则一个装置(或处理单元)的配置的一部分可以包括在另一装置(或另一处理单元)的配置中。
此外,例如,本技术可以采取云计算的形式,其中,一个功能由多个装置经由网络共享并协同处理。
此外,例如,上述程序可以在任意装置中执行。在这种情况下,装置只需要具有必要的功能(功能块等)并获得必要的信息。
此外,例如,上述流程图中描述的每个步骤可以由一个装置执行,或者可以由多个装置执行。此外,在单个步骤包括多个处理的情况下,单个步骤中包括的多个处理可以由一个装置执行,或者由多个装置以共享方式执行。换言之,可以执行包括在一个步骤中的多个处理,作为多个步骤的处理。相反,被描述为多个步骤的处理可以作为一个步骤共同执行。
注意,在由计算机执行的程序中,描述程序的步骤的处理可以按照在本说明书中解释的顺序按时间顺序执行,或者可以在必要的时间(例如,当进行调用时)并行或单独执行。即,只要不发生冲突,每个步骤的处理可以以不同于上述顺序的顺序执行。此外,描述该程序的步骤的处理可以与另一程序的处理并行执行,或者可以与另一程序的处理结合执行。
注意,本说明书中描述的多种现有技术可以彼此独立地实现,只要不发生冲突。当然,可以组合实现任意多种现有技术。例如,在任何实施例中描述的本技术的一部分或全部可以与在其他实施例中描述的本技术的一部分或全部相结合。此外,上述任意现有技术的一部分或全部可以与上面未描述的另一现有技术结合实现。
<配置的组合示例>
注意,本技术也可以具有以下配置。
(1)一种信息处理装置,包括:
负载重量控制单元,所述负载重量控制单元控制负载重量的生成,其中,所述负载重量成为对于用户按压按压目标对象时的运动的负载;以及
识别单元,所述识别单元识别所述按压目标对象的运动,其中,
所述负载重量控制单元执行控制,用于在所述识别单元识别出所述按压目标对象已经开始被按压的时刻开始预定的所述负载重量的生成,并且在所述识别单元识别出所述按压目标对象结束被按压并开始返回的时刻结束所述负载重量的生成。
(2)根据上述(1)所述的信息处理装置,其中,
在所述负载重量控制单元具有对所述按压目标对象生成所述负载重量的力感呈现装置的自身重量被施加到所述按压目标对象的配置的情况下,所述负载重量控制单元控制抵消所述力感呈现装置的自身重量的负载重量的生成,并且即使在所述负载重量的生成结束之后,继续控制生成抵消所述力感呈现装置的自身重量的负载重量。
(3)根据上述(1)或(2)所述的信息处理装置,其中,
所述负载重量控制单元当所述识别单元识别出已经对所述按压目标对象执行了第一次按压时控制停止生成所述负载重量,并且所述负载重量控制单元当所述识别单元识别出已经对所述按压目标对象执行了第二次按压时控制生成所述负载重量。
(4)根据上述(1)至(3)中任一项所述的信息处理装置,还包括:
响应获取单元,在用户按压所述按压目标对象之后,所述响应获取单元通过所述用户获取指示是否存在所述负载重量的生成的响应。
(5)根据上述(3)所述的信息处理装置,其中,
重复所述负载重量控制单元执行随机选择和生成多个所述负载重量的控制的处理,以及
重复所述响应获取单元获取对所述负载重量的响应的处理,并且
所述信息处理装置还包括:
阈值计算单元,所述阈值计算单元根据由所述响应获取单元获取的指示对于多个所述负载重量中的每一个所述负载重量的生成的存在的响应的比率,计算用作能够由用户辨别的所述负载重量的指标的阈值。
(6)根据上述(5)所述的信息处理装置,其中,
所述负载重量控制单元随机选择从0.1[N]到1.4[N]范围内的所述负载重量。
(7)根据上述(4)或(5)所述的信息处理装置,还包括:
确定单元,所述确定单元根据由所述负载重量控制单元生成的所述负载重量来确定由所述响应获取单元获取的响应是否正确,并将所述响应的正确结果或不正确结果向用户反馈。
(8)根据上述(7)所述的信息处理装置,其中,
将所述负载重量控制单元执行随机选择和生成根据设置或停止生成所述负载重量中的任何一者的控制的处理重复指定次数,
将所述响应获取单元获取对所述负载重量的响应的处理重复指定次数,以及
将所述确定单元将对所述响应获取单元获取的响应的正确结果或不正确结果向用户反馈的处理重复指定次数,并且
在所述指定次数中的由所述确定单元确定为正确的次数的比率等于或大于预定比率的情况下,所述负载重量控制单元将所述负载重量的设置改变为小于当前时刻的负载重量。
(9)根据上述(1)至(8)中任一项所述的信息处理装置,其中,
所述按压目标对象是钢琴的琴键,并且
所述识别单元识别所述琴键开始被按压的击键和所述琴键结束被按压并开始返回的释放键。
(10)根据上述(4)至(9)中任一项所述的信息处理装置,其中,
所述按压目标对象是钢琴的琴键,并且
所述响应获取单元是除了生成所述负载重量的音阶的琴键以外的任意音阶的琴键。
(11)根据上述(1)所述的信息处理装置,还包括:
致动器,所述致动器输出用于生成所述负载重量的扭矩;以及
四节点连杆机构,所述四节点连杆机构以所述致动器的旋转轴和支撑所述按压目标对象的支撑轴为固定端,以通过滑动将从所述致动器输出的扭矩传递到所述按压目标对象的滑动构件的两端为自由端。
(12)根据上述(11)所述的信息处理装置,还包括:
力触觉呈现单元,所述力触觉呈现单元具有所述致动器和所述四节点连杆机构,并且所述力触觉呈现单元向按压所述按压目标对象的用户呈现力触觉,其中,
彼此相邻排列设置的多个所述力触觉呈现单元中的每一者独立地呈现力触觉。
(13)根据上述(11)或(12)所述的信息处理装置,其中,
根据所述按压目标对象的按压频率或预定的指定时间,停止提供给所述致动器的电流。
(14)根据上述(12)所述的信息处理装置,还包括:
力传感器,所述力传感器检测施加到所述按压目标对象的力,其中,
求提供给所述致动器的电流与所述力传感器检测到的力之间的关系,以执行所述力触觉呈现单元的初始化处理。
(15)根据上述(12)或(14)所述的信息处理装置,其中,
由多个所述力触觉呈现单元中的预定的所述力触觉呈现单元呈现的力触觉被设置为不同于由另一所述力触觉呈现单元呈现的力触觉,并且
在改变力触觉的设置的同时,重复以下处理,以评估或训练用户的力触觉,
当已经按压了所述按压目标对象的用户关于用户感觉到了所述力触觉不同的所述力触觉呈现单元做出响应时,获取响应。
(16)根据上述(12)、(14)或(15)所述的信息处理装置,其中,
在所述力触觉呈现单元中设置预定的力触觉,并且
在改变力触觉的设置的同时,重复如下处理,以评估或训练用户的手指的运动功能:
检测用户对所述按压目标对象的按压。
(17)根据上述(12)、(14)至(16)所述的信息处理装置,其中,
所述力触觉呈现单元被配置为在没有电流供给所述致动器的状态下,能够设置按压所述按压目标对象所需的默认力。
(18)根据上述(17)所述的信息处理装置,其中,
所述力触觉呈现单元的所述按压目标对象的顶端附近被用户向下推动,并且所述力触觉呈现单元具有
锤机构,所述锤机构的一端耦接到预定轴,所述锤机构的另一端设置有用于生成向下推动所述按压目标对象的后端部分的力的重量,以及
弹簧,所述弹簧生成向下推动所述按压目标对象的后端部分的力,并且
通过调整所述锤机构的重量和惯性矩以及所述弹簧的弹簧常数,设置所述默认力。
(19)一种信息处理方法,包括:
由信息处理装置控制负载重量的生成,其中,所述负载重量成为对于用户按压按压目标对象时的运动的负载;并且
由所述信息处理装置识别所述按压目标对象的运动,其中,
所述信息处理装置执行控制,用于在识别出所述按压目标对象已经开始被按压的时刻开始预定的负载重量的生成,并且在识别出所述按压目标对象结束被按压并开始返回的时刻结束所述负载重量的生成。
(20)一种用于使信息处理装置的计算机执行处理的程序,包括:
控制成为相对于用户按压按压目标对象时的运动的负载的负载重量的生成;并且
识别所述按压目标对象的运动,并且
执行控制,用于在识别出所述按压目标对象已经开始被按压的时刻开始预定的负载重量的生成,并且在识别出所述按压目标对象结束被按压并开始返回的时刻结束所述负载重量的生成。
应当注意,本技术的实施例不限于上述实施例,并且在不脱离本技术的精神的情况下,可以在一定范围内进行各种修改。此外,注意,本说明书中描述的效果仅仅是示例,并不限于此,还可以存在其他效果。
附图标记列表
11演奏技能提高系统
12力感呈现装置
13信息处理装置
14输出装置
21检测单元
22驱动单元
31击键识别单元
32负载重量控制单元
33响应获取单元
34确定单元
35阈值计算单元
36结果输出单元
41琴键
42支点
43绞盘按钮。

Claims (18)

1.一种信息处理装置,包括:
负载重量控制单元,所述负载重量控制单元控制负载重量的生成,其中,所述负载重量成为对于用户按压按压目标对象时的运动的负载;以及
识别单元,所述识别单元识别所述按压目标对象的运动,其中,所述负载重量控制单元执行控制,用于在所述识别单元识别出所述按压目标对象已经开始被按压的时刻开始预定的所述负载重量的生成,并且在所述识别单元识别出所述按压目标对象结束被按压并开始返回的时刻结束所述负载重量的生成,
所述信息处理装置还包括:
响应获取单元,在用户按压所述按压目标对象之后,所述响应获取单元通过用户获取指示是否存在所述负载重量的生成的响应,
其中,
重复所述负载重量控制单元执行随机选择和生成多个所述负载重量的控制的处理,以及
重复所述响应获取单元获取对所述负载重量的响应的处理,并且
所述信息处理装置还包括:
阈值计算单元,所述阈值计算单元根据由所述响应获取单元获取的指示对于多个所述负载重量中的每一个所述负载重量的生成的存在的响应的比率,计算用作能够由用户辨别的所述负载重量的指标的阈值。
2.根据权利要求1所述的信息处理装置,其中,
在所述负载重量控制单元具有对所述按压目标对象生成所述负载重量的力感呈现装置的自身重量被施加到所述按压目标对象的配置的情况下,所述负载重量控制单元控制抵消所述力感呈现装置的自身重量的负载重量的生成,并且即使在所述负载重量的生成结束之后,继续控制生成抵消所述力感呈现装置的自身重量的负载重量。
3.根据权利要求1所述的信息处理装置,其中,
所述负载重量控制单元当所述识别单元识别出已经对所述按压目标对象执行了第一次按压时控制停止生成所述负载重量,并且所述负载重量控制单元当所述识别单元识别出已经对所述按压目标对象执行了第二次按压时控制生成所述负载重量。
4.根据权利要求1所述的信息处理装置,其中,
所述负载重量控制单元随机选择从0.1[N]到1.4[N]范围内的所述负载重量。
5.根据权利要求1所述的信息处理装置,还包括:
确定单元,所述确定单元根据由所述负载重量控制单元生成的所述负载重量来确定由所述响应获取单元获取的响应是否正确,并将所述响应的正确结果或不正确结果向用户反馈。
6.根据权利要求5所述的信息处理装置,其中,
将所述负载重量控制单元执行随机选择和生成根据设置或停止生成所述负载重量中的任何一者的控制的处理重复指定次数,
将所述响应获取单元获取对所述负载重量的响应的处理重复指定次数,以及
将所述确定单元将对所述响应获取单元获取的响应的正确结果或不正确结果向用户反馈的处理重复指定次数,并且
在所述指定次数中的由所述确定单元确定为正确的次数的比率等于或大于预定比率的情况下,所述负载重量控制单元将所述负载重量的设置改变为小于当前时刻的负载重量。
7.根据权利要求1所述的信息处理装置,其中,
所述按压目标对象是钢琴的琴键,并且
所述识别单元识别所述琴键开始被按压的击键和所述琴键结束被按压并开始返回的释放键。
8.根据权利要求1所述的信息处理装置,其中,
所述按压目标对象是钢琴的琴键,并且
所述响应获取单元是除了生成所述负载重量的音阶的琴键以外的任意音阶的琴键。
9.根据权利要求1所述的信息处理装置,还包括:
致动器,所述致动器输出用于生成所述负载重量的扭矩;以及
四节点连杆机构,所述四节点连杆机构以所述致动器的旋转轴和支撑所述按压目标对象的支撑轴为固定端,以通过滑动将从所述致动器输出的扭矩传递到所述按压目标对象的滑动构件的两端为自由端。
10.根据权利要求9所述的信息处理装置,还包括:
力触觉呈现单元,所述力触觉呈现单元具有所述致动器和所述四节点连杆机构,并且所述力触觉呈现单元向按压所述按压目标对象的用户呈现力触觉,其中,
彼此相邻排列设置的多个所述力触觉呈现单元中的每一者独立地呈现力触觉。
11.根据权利要求9所述的信息处理装置,其中,
根据所述按压目标对象的按压频率或预定的指定时间,停止提供给所述致动器的电流。
12.根据权利要求10所述的信息处理装置,还包括:
力传感器,所述力传感器检测施加到所述按压目标对象的力,其中,
求提供给所述致动器的电流与所述力传感器检测到的力之间的关系,以执行所述力触觉呈现单元的初始化处理。
13.根据权利要求10所述的信息处理装置,其中,
由多个所述力触觉呈现单元中的预定的所述力触觉呈现单元呈现的力触觉被设置为不同于由另一所述力触觉呈现单元呈现的力触觉,并且
在改变力触觉的设置的同时,重复以下处理,以评估或训练用户的力触觉,
当已经按压了所述按压目标对象的用户关于用户感觉到了所述力触觉不同的所述力触觉呈现单元做出响应时,获取响应。
14.根据权利要求10所述的信息处理装置,其中,
在所述力触觉呈现单元中设置预定的力触觉,并且
在改变力触觉的设置的同时,重复如下处理,以评估或训练用户的手指的运动功能:
检测用户对所述按压目标对象的按压。
15.根据权利要求10所述的信息处理装置,其中,
所述力触觉呈现单元被配置为在没有电流供给所述致动器的状态下,能够设置按压所述按压目标对象所需的默认力。
16.根据权利要求15所述的信息处理装置,其中,
所述力触觉呈现单元的所述按压目标对象的顶端附近被用户向下推动,并且所述力触觉呈现单元具有
锤机构,所述锤机构的一端耦接到预定轴,所述锤机构的另一端设置有用于生成向下推动所述按压目标对象的后端部分的力的重量,以及
弹簧,所述弹簧生成向下推动所述按压目标对象的后端部分的力,并且
通过调整所述锤机构的重量和惯性矩以及所述弹簧的弹簧常数,设置所述默认力。
17.一种信息处理方法,包括:
由信息处理装置控制负载重量的生成,其中,所述负载重量成为对于用户按压按压目标对象时的运动的负载;并且
由所述信息处理装置识别所述按压目标对象的运动,其中,
所述信息处理装置执行控制,用于在识别出所述按压目标对象已经开始被按压的时刻开始预定的负载重量的生成,并且在识别出所述按压目标对象结束被按压并开始返回的时刻结束所述负载重量的生成,
所述信息处理方法还包括:
在用户按压所述按压目标对象之后,由所述信息处理装置通过用户获取指示是否存在所述负载重量的生成的响应,
其中,
重复所述信息处理装置执行随机选择和生成多个所述负载重量的控制的处理,以及
重复所述信息处理装置获取对所述负载重量的响应的处理,并且
所述信息处理装置根据获取的指示对于多个所述负载重量中的每一个所述负载重量的生成的存在的响应的比率,计算用作能够由用户辨别的所述负载重量的指标的阈值。
18.一种用于使信息处理装置的计算机执行处理的程序,所述处理包括:
控制成为相对于用户按压按压目标对象时的运动的负载的负载重量的生成;并且
识别所述按压目标对象的运动,并且
执行控制,用于在识别出所述按压目标对象已经开始被按压的时刻开始预定的负载重量的生成,并且在识别出所述按压目标对象结束被按压并开始返回的时刻结束所述负载重量的生成,
所述处理还包括:
在用户按压所述按压目标对象之后,通过用户获取指示是否存在所述负载重量的生成的响应,
其中,
重复执行随机选择和生成多个所述负载重量的控制的处理,以及
重复获取对所述负载重量的响应的处理,并且
根据获取的指示对于多个所述负载重量中的每一个所述负载重量的生成的存在的响应的比率,计算用作能够由用户辨别的所述负载重量的指标的阈值。
CN202080029339.8A 2019-04-23 2020-04-09 信息处理装置、信息处理方法和程序 Active CN113711289B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019081725 2019-04-23
JP2019-081725 2019-04-23
JP2020020584 2020-02-10
JP2020-020584 2020-02-10
PCT/JP2020/016004 WO2020218017A1 (ja) 2019-04-23 2020-04-09 情報処理装置および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN113711289A CN113711289A (zh) 2021-11-26
CN113711289B true CN113711289B (zh) 2024-03-26

Family

ID=72942658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080029339.8A Active CN113711289B (zh) 2019-04-23 2020-04-09 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US11741925B2 (zh)
EP (1) EP3961605A4 (zh)
JP (1) JP7414065B2 (zh)
CN (1) CN113711289B (zh)
WO (1) WO2020218017A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414065B2 (ja) * 2019-04-23 2024-01-16 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511765A (ja) * 1991-07-02 1993-01-22 Yamaha Corp 操作装置
JPH1026928A (ja) * 1996-02-26 1998-01-27 Toru Abe 鍵盤楽器の押鍵表示装置およびその使用方法
JP2002006848A (ja) * 2000-06-20 2002-01-11 Casio Comput Co Ltd 鍵盤装置
US6365820B1 (en) * 1999-09-24 2002-04-02 Yamaha Corporation Keyboard assembly for electronic musical instruments capable of receiving key touch inputs and generating musical tones that reflect a player's power of expression
CN101320558A (zh) * 2007-06-07 2008-12-10 雅马哈株式会社 电子乐器键盘装置
CN202601009U (zh) * 2012-05-18 2012-12-12 张卯卯 钢琴键盘手型练习器
CN103310778A (zh) * 2012-03-12 2013-09-18 雅马哈株式会社 键盘设备
CN103456288A (zh) * 2012-05-31 2013-12-18 株式会社河合乐器制作所 电子钢琴的琴键压下开关
CN204910639U (zh) * 2015-07-01 2015-12-30 梁志辉 手指训练器
CN207233248U (zh) * 2017-07-11 2018-04-13 四川理工学院 便携式钢琴手指训练器
CN208460238U (zh) * 2018-01-24 2019-02-01 姚溪浏 一种钢琴指法练习按键及钢琴指法练习器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3772491B2 (ja) * 1996-10-18 2006-05-10 ヤマハ株式会社 鍵盤用力覚制御装置、鍵盤用力覚制御方法および記憶媒体
WO2001039169A1 (de) * 1999-11-25 2001-05-31 Ulrich Hermann Einrichtung zur simulation eines druckpunktes in tastaturen für klavierartige tasteninstrumente
JP2009047861A (ja) 2007-08-17 2009-03-05 Sony Corp 演奏支援装置、演奏支援方法及びプログラム
JP5320781B2 (ja) * 2008-03-21 2013-10-23 ヤマハ株式会社 電子楽器用力覚制御装置
JP5223490B2 (ja) * 2008-06-24 2013-06-26 ヤマハ株式会社 電子鍵盤楽器のペダルの力覚制御装置
EP2273487B1 (en) * 2009-06-25 2013-06-05 Yamaha Corporation Keyboard apparatus
JP5568955B2 (ja) 2009-10-29 2014-08-13 ヤマハ株式会社 電子鍵盤楽器
JP2013160933A (ja) * 2012-02-06 2013-08-19 Yamaha Corp 鍵盤装置
JP5987762B2 (ja) * 2013-04-11 2016-09-07 ヤマハ株式会社 鍵盤楽器のハーフペダル領域特定方法及び装置並びにプログラム
JP7414065B2 (ja) * 2019-04-23 2024-01-16 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
JP7436344B2 (ja) * 2020-10-27 2024-02-21 ローランド株式会社 鍵盤装置および荷重の付与方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511765A (ja) * 1991-07-02 1993-01-22 Yamaha Corp 操作装置
JPH1026928A (ja) * 1996-02-26 1998-01-27 Toru Abe 鍵盤楽器の押鍵表示装置およびその使用方法
US6365820B1 (en) * 1999-09-24 2002-04-02 Yamaha Corporation Keyboard assembly for electronic musical instruments capable of receiving key touch inputs and generating musical tones that reflect a player's power of expression
JP2002006848A (ja) * 2000-06-20 2002-01-11 Casio Comput Co Ltd 鍵盤装置
CN101320558A (zh) * 2007-06-07 2008-12-10 雅马哈株式会社 电子乐器键盘装置
CN103310778A (zh) * 2012-03-12 2013-09-18 雅马哈株式会社 键盘设备
CN202601009U (zh) * 2012-05-18 2012-12-12 张卯卯 钢琴键盘手型练习器
CN103456288A (zh) * 2012-05-31 2013-12-18 株式会社河合乐器制作所 电子钢琴的琴键压下开关
CN204910639U (zh) * 2015-07-01 2015-12-30 梁志辉 手指训练器
CN207233248U (zh) * 2017-07-11 2018-04-13 四川理工学院 便携式钢琴手指训练器
CN208460238U (zh) * 2018-01-24 2019-02-01 姚溪浏 一种钢琴指法练习按键及钢琴指法练习器

Also Published As

Publication number Publication date
US20220189443A1 (en) 2022-06-16
US11741925B2 (en) 2023-08-29
EP3961605A1 (en) 2022-03-02
CN113711289A (zh) 2021-11-26
JPWO2020218017A1 (zh) 2020-10-29
WO2020218017A1 (ja) 2020-10-29
JP7414065B2 (ja) 2024-01-16
EP3961605A4 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
CN107978303B (zh) 智能钢琴的智能检测和反馈系统
US8585202B2 (en) Contrast sensitivity testing and/or training using circular contrast zones
EP3147753A1 (en) Haptic captcha
US8059089B2 (en) Input device and method, and character input method
US10423232B2 (en) Automated haptic setting generation
US8169401B2 (en) Haptic interface
US20070038153A1 (en) Providing input associations for a computer system
JP2022513986A (ja) 動的センサ割当
CN104023802A (zh) 使用神经分析的电子装置的控制
CN113711289B (zh) 信息处理装置、信息处理方法和程序
EP3455704A1 (en) Multimodal haptic effects
KR20200133847A (ko) 개인 운동관리 시스템 및 이의 제어방법
CN104516670B (zh) 有力度感的乐器琴键
JP2023144462A (ja) 入力装置
CN118176514A (zh) 信息处理装置以及信息处理方法
CN113268385A (zh) 基于视触觉的多指按压力相位协同能力测量系统及方法
KR20220079738A (ko) 사회성 평가 시스템 및 사회성 평가 방법
Lai The effects of manipulated augmented sensory feedback on error detection when using a touch screen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant