CN112805765A - 信息处理装置 - Google Patents
信息处理装置 Download PDFInfo
- Publication number
- CN112805765A CN112805765A CN201980064221.6A CN201980064221A CN112805765A CN 112805765 A CN112805765 A CN 112805765A CN 201980064221 A CN201980064221 A CN 201980064221A CN 112805765 A CN112805765 A CN 112805765A
- Authority
- CN
- China
- Prior art keywords
- sensor
- data
- information processing
- information
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 128
- 238000006243 chemical reaction Methods 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 93
- 238000011156 evaluation Methods 0.000 claims description 77
- 230000033001 locomotion Effects 0.000 claims description 35
- 230000035945 sensitivity Effects 0.000 claims description 34
- 230000007246 mechanism Effects 0.000 claims description 24
- 238000010801 machine learning Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 21
- 230000009467 reduction Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 6
- 238000005452 bending Methods 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 claims description 5
- 238000005481 NMR spectroscopy Methods 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000003183 myoelectrical effect Effects 0.000 claims description 3
- 230000035900 sweating Effects 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 26
- 238000004458 analytical method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 210000003205 muscle Anatomy 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 238000003672 processing method Methods 0.000 description 10
- 239000000470 constituent Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000007786 learning performance Effects 0.000 description 7
- 230000001953 sensory effect Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000007659 motor function Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 238000000491 multivariate analysis Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008450 motivation Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012314 multivariate regression analysis Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000001087 myotubule Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 229910001369 Brass Inorganic materials 0.000 description 1
- 206010050031 Muscle strain Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 239000010951 brass Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000051 music therapy Methods 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000037152 sensory function Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/06—Devices for exercising or strengthening fingers or arms; Devices for holding fingers or arms in a proper position for playing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
- G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
- G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Entrepreneurship & Innovation (AREA)
- Dentistry (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Physical Education & Sports Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本公开涉及信息处理装置，并且使得可以提供可以以优异的精度同步处理混合格式的感测数据，并且可以用于表演学习辅助的信息处理装置。提供信息处理装置，包括：转换单元，用于转换不同形式的多条感测数据，该多条感测数据是从通过用户操作感测与表演有关的状态的多个传感器获得的；信息处理单元，用于处理已经由转换单元转换的感测数据；以及信息输出单元，用于基于信息处理单元的处理结果向用户输出反馈信息。转换单元具有：模数信号转换单元，用于将来自传感器的模拟形式的感测数据转换为数字形式，并将转换后的感测数据输出至信息处理单元，以及数模信号转换单元，用于将来自传感器的数字形式的感测数据转换为模拟形式，并将转换后的感测数据输出至模数转换单元。
Description
技术领域
本公开涉及信息处理装置。
背景技术
近年来，随着各种类型的运动传感器和生物信息传感器的小型化、简化等的发展，利用这些传感器来获取各种类型的感测数据变得更容易，并且例如已经将感测数据用于辅助用户学习表演(乐器、运动等的表演)。例如，作为用于评估表演(乐器的演奏)以及辅助表演的技术，可以列举以下的专利文献1所公开的技术。在这种学习辅助中，可以通过从多个传感器获取各种感测数据并分析所获取的多条感测数据，来获得可以在学习辅助中使用的数据。
引用列表
[专利文献]
[PTL 1]
日本专利公开第2009-47861号
发明内容
[技术问题]
同时，在打算使用多种不同类型的传感器来获取多条感测数据的情况下，感测数据有时在形式上有所不同。例如，来自生物信息传感器的感测数据通常为模拟形式。在这种情况下，将来自生物信息传感器的感测数据的模拟形式转换为数字形式，以使感测数据的形式类似于来自其他传感器的感测数据，然后将来自生物信息传感器的数字形式的感测数据与来自其他传感器的感测数据一起分析。此外，为了获取有助于辅助用户学习表演的数据，如上所述，即使处于混合形式，也需要准确地同步多条感测数据。
因此，本公开提出了一种新颖且改进的信息处理装置，能够准确地同步和处理处于多种形式的感测数据并且可用于辅助学习表演。
[问题的解决方案]
本公开提供一种信息处理装置，包括：转换部分，转换从多个传感器获得的处于不同形式的多条感测数据，每个传感器通过用户的动作来感测与表演相关的状态；信息处理部分，处理由转换部分转换的感测数据；以及信息输出部分，基于信息处理部分的处理结果向用户输出反馈信息。转换部分包括模数信号转换部分，将来自传感器的模拟形式的感测数据转换成数字形式的感测数据，并将数字形式的感测数据输出到信息处理部分；以及数模信号转换部分，将来自传感器的数字形式的感测数据转换成模拟形式的感测数据，并将模拟形式的感测数据输出到模数信号转换部分。
[本发明的有益效果]
如上所述，根据本公开，可以提供一种信息处理装置，能够准确地同步和处理处于多种形式的感测数据并且可用于辅助学习表演。
注意，效果并不总是限于上述效果，除了上述效果之外或作为上述效果的替代，本公开可以表现出本说明书中描述的任何效果或可以从本说明书中构想的其他效果。
附图说明
图1是根据本公开的实施例的信息处理系统1的配置的示例的说明图。
图2是示出根据本公开的实施例的传感器设备10的配置的框图。
图3是示出根据本公开的实施例的服务器30的配置的框图。
图4是示出根据本公开的实施例的转换设备20和计算设备26的配置的框图。
图5是示出根据本公开的实施例的反馈设备70的配置的框图。
图6是示出根据本公开的实施例的信息处理方法的示例的流程图。
图7是根据本公开的实施例的创建训练数据的流程图。
图8是特征变量的提取的示例的说明图(1)。
图9是特征变量的提取的示例的说明图(2)。
图10是构建数据库的示例的说明图(1)。
图11是构建数据库的示例的说明图(2)。
图12是创建训练数据的示例的说明图(1)。
图13是创建训练数据的示例的说明图(2)。
图14是根据本公开的实施例的创建比较数据的流程图。
图15是根据本公开的实施例的比较的流程图。
图16是比较示例的说明图(1)。
图17是比较示例的说明图(2)。
图18是根据本公开的实施例的学习辅助模式的流程图。
图19是根据本公开的实施例的信息处理设备900的硬件配置的示例的说明图。
具体实施方式
在下文中将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，将通过用相同的附图标记表示具有基本相同的功能配置的组成元件来省略重复的描述。
此外，在本说明书和附图中，有时通过在相同的附图标记之后放置不同的数字，来将具有基本相同或相似的功能配置的多个组成元件彼此区分开。然而，在不需要特别区分具有基本相同或相似功能配置的多个组成元件的情况下，组成元件仅由相同的附图标记表示。此外，有时通过将不同的字母放在相同的附图标记之后，来区分不同实施例中的相似的组成元件。然而，在不需要特别区分相似的组成元件的情况下，这些组成元件仅由相同的附图标记表示。
注意，按以下顺序给出描述。
1.直到本公开的发明人完成根据本公开的实施例的创建为止的经过
2.本公开的实施例
2.1.根据本公开的实施例的信息处理系统1的概述
2.2.根据本公开的实施例的传感器设备10的配置
2.3.根据本公开的实施例的服务器30的配置
2.4.根据本公开的实施例的转换设备20和计算设备26的配置
2.5.根据本公开的实施例的反馈设备70的配置
2.6.根据本公开的实施例的信息处理方法
2.6.1创建训练数据的细节
2.6.2创建比较数据的细节
2.6.3比较的细节
2.7.总结
3.学习辅助模式
4.本公开的实施例的应用示例
5.硬件配置
6.补充说明
<<1.直到本公开的发明人完成根据本公开的实施例的创建为止的经过>>
在开始描述根据本公开的实施例之前，将首先描述直到本公开的发明人完成根据本公开的实施例的创建为止的经过。
如前所述，近年来，随着各种类型的运动传感器和生物信息传感器的小型化、简化等的发展，利用这些传感器来获取各种类型的感测数据变得更加容易，并且例如已经将感测数据用于辅助用户学习表演(乐器的演奏、运动等)。在这种学习辅助中，可以通过从多个传感器同时且实时地获取各种感测数据并分析所获取的多条感测数据，来获得可以在学习辅助中使用的数据。
此外，在执行这种分析的情况下，需要使获取感测数据的定时和多个传感器的感测时间宽度彼此匹配，即，使多条感测数据彼此同步。在以下描述中，假定“使同步/同步”是指使获取感测数据的定时和多条感测数据的感测时间宽度彼此匹配。
同时，来自生物信息传感器的感测数据通常为模拟形式，例如随着时间的流逝而变化的波形数据。另一方面，用户使用的许多传感器或电子乐器等通常以数字形式输出感测数据或数据。为了解决该差异，在如上所述的学习辅助中，为了同时分析这些多条感测数据，在分析之前，通过模数信号转换器等将模拟形式的感测数据转换为数字形式的感测数据。因此，如上所述，需要精确地同步甚至多种形式的多条感测数据，以便获取用于辅助用户学习表演的数据。
然而，由于形式上的差异，如上所述对多条感测数据进行转换；因此，难以准确地同步这些多条感测数据。
因此，鉴于这样的情况，本公开的发明人已经完成了本公开的实施例的创建，该实施例能够准确地同步和处理处于多种形式的感测数据并且可用于辅助学习表演。以下将顺序且详细地描述根据上述本公开实施例的信息处理系统和信息处理方法。
注意，以下将关于将实施例应用于钢琴表演技术的指导(技能学习)的情况来描述本公开的实施例。然而，本公开的实施例的应用不限于钢琴表演技术的指导，并且本公开的实施例适用于其他乐器的表演技术、运动技能的学习和传统手工艺、受损运动功能的康复等。此外，在本公开的实施例中，乐器不限于钢琴，而可以是每种类型的电子乐器或每种类型的原声乐器。
此外，在下面的描述中，用户的示例包括：学习者，接受钢琴表演技术的指导；以及表演者或将要表演的表演者，例如，在构建根据本实施例的数据库时收集关于其各种类型的感测数据的表演者(例如，专业钢琴家)；并且还包括使用根据本实施例的信息处理系统的教员等。
此外，在下面的描述中，假设针对钢琴表演(表演)的评估值(评估信息)是指表演者在表演中的表演速度(步伐、节奏)、表演的准确性(步伐的准确性或每个音调的音量)、由表演产生的声音的音量(声音波形的峰值)、声音振动(声音波形的积分值)、音色(频谱)、和弦中乐音之间的音量差异和时间差异(和弦(一组音符)中的所谓“平衡”)、每个声音参数的最大值和最小值之间的差(范围)、每个声音参数的粒度(分辨率)、表演中的能量效率等。此外，在以下描述中，在上述多个参数之中存在折衷关系的参数(例如，表演速度和精度)；因此，考虑到这种情况，钢琴表演的评估值可以是参数的比例(数值)。通常，由于以下原因，教员在给予指导时将重点放在优先学习表演准确性上，而不是在表演速度上。在学习者在保持高表演速度的同时以许多错误动作和低准确性重复表演的情况下，促使学习者的身体、颅神经等学习错误动作。另一方面，在过于重视学习准确性的指导的情况下，学习者使他自己/她自己劳累，并养成使肌肉变硬的习惯，从而导致表演中的能量效率降低。因此，在本实施例中，如上所述，考虑到折衷关系中的参数的平衡，可以将参数的比例用作评估值。此外，在将本公开的实施例不仅应用于钢琴表演而且还将其应用于其他用户运动的情况下，该表演的评估值可以是由用户做出的运动元素的运动模式、运动速度、运动准确性、运动量(运动功率、脉冲、功量等)、表演中的能量效率、由表演产生的结果的状态等。
此外，在下面的描述中，使多条感测数据同步意味着将多条感测数据的获取和处理的定时彼此匹配，并将多条感测数据的时间宽度彼此匹配。
另外，在下面的描述中，由一个表演者或一个学习者表演一个测试片段(例如，音乐、乐句、音阶、琶音、和弦等)被称为“一次试演”。注意，在本公开的实施例中，可以在一次试演中获取多条感测数据。
<<2.本公开的实施例>>
<2.1.根据本公开的实施例的信息处理系统1的概述>
首先将参考图1描述根据本公开的实施例的信息处理系统(信息处理装置)1的示意性配置。图1是根据本实施例的信息处理系统1的配置示例的说明图。在根据本实施例的信息处理系统1中，服务器(信息处理部分)30分析从多个传感器设备(传感器)10获得的多条感测数据，传感器设备感测与通过用户(学习者或表演者)的动作给出的表演相关的状态。此外，信息处理系统1基于上述分析的结果，经由反馈设备(信息输出部分)70将各种形式的信息反馈给用户。
如图1所示，根据本实施例的信息处理系统1包括传感器设备10、服务器30和反馈设备70，并且这些设备经由网络90可通信地彼此连接。例如，传感器设备10、服务器30和反馈设备70可以经由未示出的基站等(例如，蜂窝电话的基站或无线LAN(局域网)的接入点)等连接到网络90。换句话说，任何方案，无论有线或无线，都可以应用于网络90中使用的通信方案。在下文中将描述根据本实施例的信息处理系统1中包括的每个设备的概况。
(传感器设备10)
传感器设备10可以根据表演者或学习者的动作，来感测与表演有关的状态。更具体地，传感器设备10可以是能够附接到学习者或表演者的身体的一部分的每种类型的生物信息传感器、对学习者或表演者成像的成像设备、设置在学习者或表演者演奏的钢琴中的压力传感器或光反射传感器、收集钢琴声音的声音拾取设备(例如麦克风)等。此外，传感器设备10可以是本身能够输出信号的电子乐器，例如电子钢琴。此外，根据本实施例的信息处理系统1中包括的传感器设备10的数量及其类型不限于特定数量和特定类型。注意，稍后将描述传感器设备10的细节。
(服务器30)
服务器30例如由计算机构成。更具体地，服务器30从传感器设备10收集与表演者或学习者的表演有关的感测数据，分析和处理所收集的感测数据，并且基于分析和处理的结果向学习者等输出用于反馈的信息(反馈信息)。此外，服务器30可以是例如由用户拥有的计算机，或者由服务提供商拥有的计算机，通过本实施例提供服务并且存在于与用户的位置不同的位置。注意，服务器30的细节将在后面描述。
(反馈设备70)
反馈设备70是用于将来自服务器30的反馈信息呈现(输出)给学习者等的设备，并且在学习者的表演期间或之后将反馈信息作为视觉、触觉、听觉或听觉数据通知学习者(将反馈信息输出给学习者)。例如，反馈设备70可以是包括显示设备(显示器)和音频输出设备(扬声器)的设备，例如平板电脑、智能电话、膝上型PC(个人计算机)或笔记本PC。此外，反馈设备70可以是能附接到学习者的身体的一部分的可穿戴设备。更具体地，作为可穿戴设备，包括诸如HMD(头戴式显示器)类型、耳朵设备(耳机)类型、脚镯类型、腕带类型、扼流圈类型、眼镜类型、手套类型、垫类型、徽章类型和服装类型的各种类型的可穿戴设备。注意，稍后将描述反馈设备70的细节。
尽管图1示出了根据本实施例的信息处理系统1包括一个传感器设备10和一个反馈设备70，但是根据本实施例的信息处理系统1的配置不限于图1中所描绘的那些。在本实施例中，信息处理系统1可以包括例如多个传感器设备10和多个反馈设备70。此外，根据实施例的信息处理系统1可以包括例如另一通信设备，诸如在从传感器设备10向服务器30发送感测数据时使用的中继设备。
<2.2.根据本公开的实施例的传感器设备10的配置>
接下来将参考图2描述根据本公开的实施例的传感器设备10的配置。图2是示出根据本实施例的传感器设备10的配置的框图。如图2所示，根据本实施例的传感器设备10主要具有传感器部分100、主控制部分140和通信部分160。下文将描述传感器设备10的功能部分的细节。
(传感器部分100)
当传感器部分100附接到表演者或学习者的身体时，其可以获取指示在表演期间由学习者或表演者的身体的每个部位所做的每个运动元素的状态的感测数据。例如，传感器部分100由包括加速度传感器、角速度传感器、陀螺仪传感器、地磁传感器、位置传感器、振动传感器、压力传感器和弯曲传感器的一个或多个传感器设备实现。上述传感器设备分别检测由运动元素施加的加速度、角速度等的变化，并生成指示检测到的变化的多条感测数据。在传感器部分100是获取模拟形式的感测数据的传感器(第一传感器)的情况下，感测数据由稍后描述的转换设备(转换部分)20转换成数字形式的感测数据，并将数字形式的感测数据输出到服务器30。然而，在本实施例中，上述传感器部分100不限于获取模拟形式的感测数据的传感器，而可以是获取数字形式的感测数据的传感器(第二传感器)。
此外，传感器部分100可以是例如按键触摸检测传感器，其检测由于学习者或表演者的动作(表演)而运动的钢琴(对象)的按键的垂直运动。通过将按键触摸检测传感器安装在例如每个按键的下方，可以检测每个按键的垂直运动。具体地，传感器部分100可以是例如检测由学习者或表演者的运动元素施加到钢琴的每个按键上的压力的压力传感器，或者是包括通过光的反射来检测每个按键的垂直运动的光接收/发射传感器的光反射传感器。注意，在如上所述的传感器部分100是获取模拟形式的感测数据的传感器(第一传感器)的情况下，通过转换设备20将感测数据转换为数字形式的感测数据，并且将数字形式的感测数据输出到服务器30。而且，在本实施例中，被检测的对象不限于钢琴的按键，而可以是另一乐器本身(声学乐器或电子乐器)或其他乐器的一部分。
此外，在本实施例中，传感器部分100可以是对学习者或表演者进行成像的成像设备，并且在这种情况下，通过使高速成像相机(成像设备)捕捉表演者等的运动，可以定量地检测表演者等的关节的位置和运动。此外，在本实施例中，成像设备可以检测学习者或表演者的眼球的运动(眼球运动)或瞳孔的大小(瞳孔直径)。注意，与目前给出的描述类似，在如上所述的传感器部分100是获取模拟形式的感测数据的传感器(第一传感器)的情况下，通过转换设备20将感测数据转换为数字形式的感测数据，并且将数字形式的感测数据输出到服务器30。
此外，在本实施例中，传感器部分100可以是使用核磁共振来检测学习者或表演者的口腔状态或气管内状态、嘴唇或舌头的运动等的核磁共振传感器。具体地，传感器部分100可以通过使学习者等执行MRI(磁共振成像)设备内的表演来检测上述状态、动作等。特别是在将本公开的实施例应用于针对每种类型的铜管乐器(长笛、双簧管、单簧管、小号等)的演奏技术的情况下，MRI是有用的，因为可以检测到嘴唇或舌头的动作，这是其他方法难以检测到的。注意，与目前给出的描述类似，在如上所述的传感器部分100是获取模拟形式的感测数据的传感器(第一传感器)的情况下，通过转换设备20将感测数据转换为数字形式的感测数据，并且将数字形式的感测数据输出到服务器30。
此外，在本实施例中，传感器部分100可以是生物信息传感器，例如肌电传感器、心跳传感器、脉搏传感器、血流传感器、呼吸传感器、脑波传感器、皮肤温度传感器、皮肤电导率(皮肤阻抗)传感器或出汗传感器。在本文中应注意，肌电传感器是感测由构成肌肉的肌肉纤维产生的微弱电场的传感器。更具体地，肌电传感器可以通过电信号测量肌电电势来定量检测肌肉的肌肉活动量，当表演者或学习者的手臂等的肌肉收缩时，肌肉纤维中产生该电信号，并且通过附接到手臂等的多个电极在身体表面传播电信号。此外，心跳传感器是检测心跳(心脏的跳动)的传感器，并且脉搏传感器是通过动脉向全身供血而在动脉内层中发生压力变化时检测作为出现在身体表面等的动脉搏动的脉搏的传感器。血流传感器是向身体发射红外辐射并通过红外辐射的反射来检测血流速度的传感器。呼吸传感器可以是检测呼吸量变化的呼吸流量计。脑电波传感器是通过将多个电极附接到头皮，从电极之间的测量的电势差的波动中去除噪声并提取周期性波，来检测脑电波的传感器。皮肤温度传感器是检测表演者或学习者的体温的传感器，并且皮肤电导率传感器是检测表演者或学习者的皮肤电阻的传感器。此外，汗水传感器是检测表演者或学习者的出汗的传感器。注意，与目前给出的描述类似，在如上所述的传感器部分100是获取模拟形式的感测数据的传感器(第一传感器)的情况下，通过转换设备20将感测数据转换为数字形式的感测数据，并且将数字形式的感测数据输出到服务器30。
此外，传感器部分100可以是拾音设备，其从表演者或学习者演奏的钢琴中收集声音。传感器部分100可以是例如设置在钢琴附近的麦克风。注意，与目前给出的描述类似，在如上所述的传感器部分100是获取模拟形式的感测数据的传感器(第一传感器)的情况下，通过转换设备20将感测数据转换为数字形式的感测数据，并且将数字形式的感测数据输出到服务器30。
此外，来自传感器部分100的感测数据可以是来自由学习者或表演者演奏(即在表演中使用)的电子乐器的输出(声音数据)。换句话说，在本实施例中，传感器部分100可以是电子乐器。在这种情况下，来自传感器部分100的感测数据是符合例如MIDI(乐器数字接口)标准的数字形式的数据。
此外，传感器部分100可以包括诸如GPS(全球定位系统)接收器等的位置信息传感器，该传感器获取关于学习者或表演者的位置信息。另外，传感器部分100可以包括用于获取指示学习者或表演者进行表演的环境的状态的环境信息的其他各种类型的传感器，例如大气压传感器、温度传感器和湿度传感器。
此外，在本实施例中，传感器部分100可以是在每个乐器制造商已经发货的乐器(声学乐器或电子乐器)中已经设置的各种类型的传感器。
(主控制部分140)
主控制部分140设置在传感器设备10中，并且可以对传感器设备10中的模块进行控制。主控制部分140由例如CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)的硬件实现。此外，主控制部分140可以用作数据获取部分142、处理部分144和输出控制部分152。在下文中将描述根据本实施例的主控制部分140的这些功能部分的细节。
-数据获取部分142-
数据获取部分142对传感器部分100进行控制，获取从传感器部分100输出的感测数据，并将所获取的感测数据输出至稍后描述的处理部分144。
-处理部分144-
处理部分144将从上述数据获取部分142输出的感测数据转换成预定形式的感测数据，在该预定形式中可以经由网络90发送感测数据，并且将预定形式的感测数据输出到稍后描述的输出控制部分152。
-输出控制部分152-
输出控制部分152以将从上述处理部分144输出的预定形式的感测数据发送到服务器30的方式，对稍后描述的通信部分160进行控制。
(通信部分160)
通信部分160设置在传感器设备10中，并且可以向诸如服务器30的外部设备发送信息或从其接收信息。换句话说，通信部分160可以被称为具有发送和接收数据功能的通信接口。注意，通信部分160由诸如通信天线、发送-接收电路和端口的通信设备实现。
注意，传感器设备10可以是各种类型的可穿戴设备，包括HMD类型、耳朵设备类型、脚镯类型、腕带类型、扼圈类型、眼镜类型、垫类型、徽章类型、腰带类型和服装类型。具体地，可以将这些可穿戴设备作为运动捕捉设备而设置在学习者或表演者的手指、手臂、腿、身体、头部和脚趾上，以获取各种类型的感测数据。此外，传感器设备10可以是安装在学习者或表演者周围的诸如成像设备或声音拾取设备的设备，或者可以是学习者或表演者本身使用的乐器；因此，传感器设备10不限于特定类型。另外，在本实施例中，传感器设备10不限于图2所示的结构。
<2.3.根据本公开的实施例的服务器30的配置>
接下来将参考图3描述根据本公开的实施例的服务器30的配置。图3是示出根据本公开的实施例的服务器30的配置的框图。如前所述，服务器30配置有例如计算机。如图3所示，服务器30主要具有输入部分300、输出部分310、主控制部分340、通信部分360和存储部分370。在下文中将描述服务器30的功能部分的细节。
(输入部分300)
输入部分300接收待发送到服务器30的数据和命令的输入。更具体地，输入部分300由触摸面板、键盘等实现，并且可以接收关于学习者或表演者的属性信息的输入、针对稍后将描述的表演的主观评估等。
(输出部分310)
输出部分310例如由显示器、扬声器、视频输出端子、音频输出端子等构成，并且通过图像或音频输出各种类型的信息。
(主控制部分340)
主控制部分340设置在服务器30中，并且可以对服务器30中的模块进行控制。主控制部分340由例如CPU、ROM和RAM的硬件实现。此外，主控制部分340可以用作数据获取部分342、分析部分(信息处理部分)346和输出控制部分(信息输出部分)352。以下将描述根据本实施例的主控制部分340的这些功能部分的细节。
-数据获取部分342-
数据获取部分342获取从上述传感器设备10发送的感测数据，并将所获取的感测数据输出至稍后描述的处理部分344。
-处理部分344-
处理部分344分析和处理从上述数据获取部分342输出的感测数据。然后，输出控制部分352基于分析和处理的结果来生成要反馈给用户的反馈信息。此外，处理部分344可以构建包括用于生成反馈信息的各种类型信息的数据库(DB)372(参考图10)。更具体地，为了实现上述这些功能，如图3所示，处理部分344用作分析部分346、学习部分348和比较部分350。在下文中将描述根据本实施例的处理部分344的这些功能部分的细节。
分析部分346对一次试演中可以获取的多条感测数据进行分析等，并提取表征学习者或表演者的表演状态的特征变量。通过由分析部分346对每个感测数据进行统计处理，可以将特征变量提取为每个感测数据的最大值、最小值、平均值、积分值、周期、变化量。更具体地，特征变量可以是肌肉活动的峰值的定时和最大关节角度等。以这种方式提取的特征变量与在试演中获取并存储在存储部分370中(稍后将描述为DB 372)的多条感测数据相关联。此外，分析部分346可以将所提取的特征变量输出至稍后描述的学习部分348、比较部分350等。
此外，分析部分346可以对能够在一次试演中获取的多条感测数据(更具体地，例如，与表演有关的音频数据)执行分析等，并且为学习者或表演者的表现提取评估值。评估值是例如钢琴表演的评估值，并且可以是表演者在表演中的表演速度、表演的准确性、由表演产生的声音音量、和弦中的乐音之间的声音振动、音色、音量差和时间差、每个声音参数的最大值和最小值之间的差、每个声音参数的粒度等。以这种方式提取的评估值与在试演中获取并存储在存储部分370(将在后面描述为DB 372)中的多条感测数据相关联。此外，分析部分346可以将提取的评估值输出到稍后描述的学习部分348、比较部分350等。
学习部分348通过执行多元分析来获取与感测数据、特征变量和评估值之间的关系相关联的信息。更具体地，学习部分348是诸如支持向量回归和深度神经网络的有监督的学习工具，并且例如，可以通过执行诸如多元回归分析的多元分析，来对感测数据和评估值之间的关系执行机器学习。可以将通过学习部分348进行机器学习而获得的关于关系的信息(关系信息)存储在存储部分370(将在后面描述为DB 372)中，并且可用于选择由稍后描述的比较部分350执行的训练数据。
比较部分350从DB 372中选择用作学习者的模型的一条或多条感测数据，并且将所选择的感测数据(训练数据)与关于学习者的多条新获取的感测数据中的相同项的感测数据(比较数据)进行比较。更具体地，比较部分350可以计算例如训练数据和比较数据之间的差异(间隙)，或者计算这些数据的匹配程度。此外，比较部分350可以通过将训练数据叠加在比较数据上来执行比较。
具体地，例如，比较部分350从DB 372中选择用作学习者的模型(旨在准确的表演)的代表性感测数据作为训练数据，并且将所选择的训练数据与关于相同项的学习者的感测数据进行比较。此时，在存在作为模型的多条代表感测数据的情况下，比较部分350计算每个感测数据和关于作为代表性感测数据项的相同项的学习者的感测数据之间的差异。然后，比较部分350选择差异最大的感测数据，作为与具有高校正必要性的元素有关的感测数据，使得学习者的表演变得更加准确。在本实施例中，这样的选择使得可以更加关注学习者学习最慢的技术元素；因此，可以生成对有效地获得准确表演有用的反馈信息。
可替代地，比较部分350可以基于上述学习部分348获得的关于关系的信息，选择被估计与表演精度(评估值)具有更高关系的感测数据，作为训练数据。在本实施例中，这样的选择使得可以更加关注能够有效地获得准确表演的技术元素；因此，可以生成对有效地获得准确表演有用的反馈信息。
在另一替代方案中，在本实施例中，比较部分350可以基于关于学习者的属性信息，将与具有与关于学习者的属性信息(性别、年龄、身体大小、肌力、压痛、腿部等)相同或类似的属性信息的表演者相关的感测数据，选择为训练数据。在本实施例中，这样的选择使得可以执行针对学习者的属性等定制的反馈；因此，学习者可以有效地进行学习。此外，在学习者的表演的过去状态和当前状态之间进行比较的情况下，比较部分350可以选择关于学习者的过去感测数据。
此外，在本实施例中，比较部分350不限于比较感测数据，而是可以比较由上述分析部分346提取的特征变量。即使在这种情况下，在存在用作模型的多个代表性特征变量的情况下，比较部分350也可以进行上述选择。
-输出控制部分352-
输出控制部分352基于比较部分350的比较结果来生成反馈信息，并以将反馈信息发送到反馈设备70的方式，对稍后描述的通信部分360进行控制。所发送的反馈信息经由反馈设备70输出给用户。此外，输出控制部分352可以通过在空间或时间上扩大或缩小差异，来执行用于强调或减小训练数据与比较数据之间的差异(间隙)的处理，并生成反馈信息。具体地，在本实施例中，输出控制部分352将通过减小差异而产生的反馈信息以与训练数据的差异更大的技术水平反馈给学习者，从而避免学习动机的降低。另一方面，在本实施例中，输出控制部分352以学习者能够容易地识别差异的方式，将通过强调小差异而产生的反馈信息反馈给与训练数据的差异较小的技术水平的学习者，以引导学习者达到更高的技术水平。换句话说，在本实施例中，执行如上所述的处理使得学习者可以容易地从训练数据中识别出差异，同时避免学习者的动机的降低；因此，可以实现对表演的有效学习的辅助。
此外，输出控制部分352可以基于用户的状况等来选择适合于反馈信息的感觉方式(例如视觉、听觉或触觉)，并根据所选择的感觉方式，将反馈信息发送到反馈设备70。在本实施例中，可以根据用户的状况等，通过感觉方式将反馈信息提供给用户；因此，可以实现对表演的有效学习的辅助。
(通信部分360)
通信部分360设置在服务器30中，并且可以向诸如传感器设备10或反馈设备70的外部设备收发信息，或从中接收信息。注意，通信部分360由诸如通信天线、收发电路和端口的通信设备实现。
(存储部分370)
存储部分370设置在服务器30中，并且在其中存储用于上述主控制部分340以执行各种类型处理的程序、信息等。此外，存储部分370在其中存储DB 372，DB 372包括与各种类型的属性信息等(元文件)相关的多条感测数据。注意，存储部分370由诸如硬盘(HD)的磁记录介质，诸如闪存的非易失性存储器等实现。
注意，元文件(属性信息)可以包含与学习者或表演者相关的属性信息(姓名、性别、年龄、身高、体重、体格大小、肌力、手掌大小、柔软度、体态、钢琴演奏年限、技能水平、国籍、教员姓名等)，与表演相关的属性信息(表演的日期和时间、音乐的主题、音乐的类别、作曲家的姓名、作曲的时代、作曲家的类别、节奏、音量、单音或复音的信息、给表演者或学习者的教学内容、演奏乐器、演奏地点等)，表征表演的特征变量，用于表演的评估值(评估信息)，与感测相关的属性信息(传感器类型、采样频率、通道数等)，关于表演的敏感度评估信息(表演者要表达的信息，例如图像，音色和振动)等。元文件还可以包含有关每个试演的属性信息(比赛名称，比赛等级，出席人数，粉丝人数，有关出席人数的评估信息，观看次数等)。换句话说，元文件用作在一次试演中获取的多条感测数据(感测数据组)的标签，并且例如可以指示感测数据组是当特定表演者表演特定作品同时旨在以某种方式表达作品时所感测到的信息。
此外，在本实施例中，服务器30不限于图3所示的配置，而是可以包括其他功能模块等。
<2.4.根据本公开的实施例的转换设备20和计算设备26的配置>
同时，如上所述，由包括在根据本实施例的信息处理系统1中的传感器设备10获得的感测数据，是模拟形式的感测数据和数字形式的感测数据的混合。为了获取用于辅助学习者学习表演的数据，即使是以上述形式的混合，也需要准确地同步多条感测数据。
因此，在本实施例中，如图4所示，优选在传感器设备10与服务器30之间设置转换设备(转换部分)20和计算设备26。因此，以下将参考图4描述根据本实施例的转换设备20和计算设备26。图4是示出根据本实施例的转换设备20和计算设备26的配置的框图。更具体地，根据本实施例的信息处理系统1包括在传感器设备10与服务器30之间的如图4所示的转换设备20和计算设备26。在下文中将描述转换设备20和计算设备26的细节。
(转换设备20)
如图4所示，转换设备20是对从多个传感器设备10获得的不同形式的多条感测数据进行转换的设备，并且主要具有数模信号转换部分200和模数信号转换部分210。下文中将描述转换设备20的数模信号转换部分200和模数信号转换部分210的细节。
-数模信号转换部分200-
数模信号转换部分200将从传感器设备(第二传感器)10b接收的感测数据转换为模拟形式的感测数据，传感器设备(第二传感器)10b经由稍后将描述的计算设备26将多个传感器设备10之间的数字形式的感测数据输出。此外，数模信号转换部分200将通过转换获得的模拟形式的感测数据输出到稍后将描述的模数信号转换部分210。
更具体地，数模信号转换部分200具有包括微型计算机板等的多个数模转换器(D/A转换器)202。例如，由一个传感器设备10b获取的一个感测数据被将在后面进行描述的计算设备26提取为多个通道之一中的感测数据。提取的每个通道的感测数据被输入到每个D/A转换器202。具体地，在传感器设备10b是输出MIDI信号(其是以符合MIDI标准的数字形式的感测数据)的电子钢琴的情况下，该MIDI信号中的每个分组都包含与事件有关的信息，例如按键触摸/按键释放(状态)，有关所产生声音的音高的信息(音符)以及有关声音响度(速度)的信息。因此，在本实施例中，如上所述计算设备26将MIDI信号提取为每通道的与状态、音符和速度有关的多条感测数据，并将提取的感测数据输入到D/A转换器202。此外，由每个D/A转换器202将每个提取的感测数据转换成模拟形式的感测数据，并且将模拟形式的感测数据输入到稍后将描述的模数信号转换部分210。在该实施例中，以这种方式将数字形式的感测数据转换为模拟形式的感测数据，使得能够同时处理模拟形式的感测数据与从第一次开始以模拟形式并且从传感器设备10a输出的感测数据。
另外，例如，通过数模信号转换部分200将形式转换为模拟形式的一部分感测数据，包含与事件发生的时间有关的信息，例如以等于或高于某一水平(事件)的力度触摸特定按键的时刻。因此，包含这样的事件的感测数据可以由数模信号转换部分200转换成模拟形式的感测数据，并作为触发信号输入到另一传感器设备10(例如，获取模拟形式的感测数据的传感器设备(第一传感器)10a)。触发信号可以用于传感器设备10a以开始(驱动)获取感测数据。
-模数信号转换部分210-
模数信号转换部分210将来自传感器设备(第一传感器)10a的感测数据转换成数字形式的感测数据，传感器设备(第一传感器)10a输出多个传感器设备10中的模拟形式的感测数据。此外，模数信号转换部分210将模拟形式的感测数据转换成数字形式的感测数据，上述数模信号转换部分200将数字形式的感测数据转换为模拟形式。然后，模数信号转换部分210将通过转换获得的感测数据输出到上述服务器30。更具体地，模数信号转换部分210具有包括微计算机板等的多个模数转换器(A/D转换器)212，并且每个A /D转换器212可以将模拟形式的每个感测数据转换成数字形式的感测数据，并且将数字形式的感测数据输出到服务器30。
此外，模数信号转换部分210具有安装在微计算机板上的时钟(第一时钟机构)214，以使多条感测数据同步。时钟214同时向每个A/D转换器212或每个传感器设备10a输出触发信号，并且使A/D转换器212或传感器设备10a通过触发信号开始获取感测数据，从而使其可以匹配获取感测数据的时间。换句话说，在本实施例中，时钟214使得来自多个感测设备10a的多条感测数据能够彼此准确地同步。注意，时钟214可以将时钟时间信息输出到服务器30。
(计算设备26)
计算设备26从传感器设备10b获取感测数据，传感器设备10b以数字形式获取感测数据，并且将所获取的感测数据提取为每个通道的感测数据(例如，包括状态、音符和速度)。此外，计算设备26将针对多个通道中的每一个提取的感测数据输出至上述转换设备20。更具体地，如图4所示，计算设备26主要具有接收部分260和计算部分270。在下文中将描述计算设备26的接收部分260和计算部分270的细节。
-接收部分260-
接收部分260从获取数字形式的感测数据的传感器设备10b接收感测数据，并且将数字形式的感测数据输出到稍后描述的计算部分270。
-计算部分270-
计算部分270提取从上述接收部分260获取的感测数据，作为每个通道的感测数据。例如，如上所述，计算部分270提取在作为数字形式的感测数据的MIDI信号中的每个分组中包含的状态、音符和速度，作为每个通道的感测数据。此外，计算部分270将所提取的每个通道的感测数据输出至上述的转换设备20。
此外，计算部分270可以具有安装在微计算机板上的时钟(第二时钟机构)272，以使多条感测数据同步。时钟272可以将时钟时间信息与感测数据相关。在本实施例中，由于时钟272将来自传感器设备10b的多个通道中的感测数据与相同的时钟时间信息相关，因此可以使多条感测数据的时钟时间彼此匹配，即，可以同步多条感测数据。注意，时钟272可以将时钟时间信息输出到服务器30。
此外，服务器30可以基于来自时钟214和272的时钟时间信息，来同步来自转换设备20的多条感测数据。更具体地，首先，将来自传感器设备10b(以数字形式获取感测数据)的感测数据预先转换成模拟形式的感测数据，然后将模拟形式的感测数据转换成数字形式的感测数据。另一方面，来自传感器设备10a(以模拟形式获取感测数据)的感测数据被转换为数字形式的感测数据，而无需预先被转换为模拟形式的感测数据。因此，在感测数据到达服务器30的时间点，在来自传感器设备10b的感测数据与来自传感器设备10a的感测数据之间产生微小的时间差。因此，在本实施例中，为了使来自传感器设备10b的感测数据与来自传感器设备10a的感测数据准确地同步，服务器30基于从时钟时间信息获得的时钟214和272之间的时间差，对这些感测数据进行时间移位处理。因此，根据本实施例，可以匹配多种形式的多条感测数据的时基，并且可以准确地同步和处理这些条感测数据。
注意，时钟272不是必须设置在计算设备26中，而是可以设置在传感器设备10b中或数模信号转换部分200的更靠近计算设备26(即更靠近传感器设备10b)的部分中。
注意，在本实施例中，转换设备20和计算设备26的配置不限于图4中所描绘的那些。例如，可以在上述服务器30中提供转换设备20或计算设备26的两者或其中之一。或者，可以将转换设备20设置在传感器设备10a中，或者可以将计算设备26设置在传感器设备10b中；因此，转换设备20和计算设备26的配置不限于特定的配置。然而，在传感器设备10a或10b中设置转换设备20或计算设备26中的任何一个，意味着附着在表演者或学习者的身体上或附着在根据表演者或学习者的运动而运动的对象上的传感器设备10的重量变得更重。另外，估计重量对表演者或学习者的表演有影响。此外，在这种情况下，估计来自传感器设备10a和10b的感测数据倾向于包含噪声。因此，优选将转换设备20和计算设备26设置在除了传感器设备10a和10b之外的位置，以避免对表演的影响和噪声。
如上所述，通过具有上述的转换设备20，即使在模拟形式的感测数据与数字形式的感测数据混合的情况下，根据本实施例的信息处理系统1也可以精确地同步多条感测数据。结果，信息处理系统1可以同时分析彼此精确同步并且包含各种信息的多条感测数据；因此，可以获得用于辅助学习者表演的学习的数据。
<2.5.根据本公开的实施例的反馈设备70的配置>
接下来将参考图5描述根据本公开的实施例的反馈设备70的配置。图5是示出根据本实施例的反馈设备70的配置的框图。如前所述，反馈设备70可以是诸如平板电脑、膝上型PC、笔记本PC或可穿戴设备的设备。此外，如图5所示，反馈设备70主要具有触觉机构710、显示部分714、音频输出部分716、主控制部分740、通信部分760和存储部分770。下文将描述反馈设备70的功能部分的细节。
(触觉机构710)
触觉机构710是传播力感(触感)的设备，例如，基于从服务器30发送的反馈信息，将力施加到学习者的身体的一部分(例如，关节)。例如，触觉机构可以是附接到学习者的手的手套型可穿戴设备(可穿戴设备)。此外，在本实施例中，触觉机构710不限于手套型可穿戴设备，并且例如，可以是向学习者的身体的一部分施加振动的振动设备，或者是使用电肌肉刺激对肌肉进行刺激的刺激设备。换句话说，在本实施例中，只要触觉机构710能够通过对学习者的身体的一部分进行触觉刺激就能够将反馈信息感官地反馈给学习者(进行生物反馈)就足够了。
(显示部分714)
显示部分714是用于向用户显示反馈信息的设备，并且通过例如图像或光向用户输出反馈信息。显示部分714例如由显示器、发光元件(未示出)等实现。此外，显示部分714可以由视频输出端子等实现。
此外，显示部分714可以是投影设备，其可以通过将对象叠加到作为增强现实(AR)的真实空间上而基于反馈信息610来显示对象。这样的投影设备可以是例如附接在学习者的眼前的智能眼镜型可穿戴设备。在智能眼镜型可穿戴设备中设置有透射型显示器，并且该透射型显示器使用例如半透明镜和透明导光板，将包括透明导光部分等的虚像光学系统保持在学习者的眼前，并在虚像光学系统内部显示对象。此外，投影设备可以是附接到学习者头部的HMD。
(音频输出部分716)
音频输出部分716是将反馈信息作为音频输出给用户的设备，并且可以是例如附接到学习者的耳朵上的耳机扬声器或设置在学习者附近的扬声器(未示出)。此外，音频输出部分716可以由音频输出端子等实现。
以这种方式，在本实施例中，根据反馈信息等以及用户的情况等，从触觉机构710、显示部分714和音频输出部分716中选择与适合的感觉方式相对应的设备，并且反馈信息可以反馈给学习者等。此外，在本实施例中，触觉机构710、显示部分714和音频输出部分716可以通过多种感觉方式同时执行反馈，并且反馈的方法不限于特定方法。
(主控制部分740)
主控制部分740设置在反馈设备70中，并且可以对反馈设备70中的模块进行控制。主控制部分740由硬件实现，例如，CPU、ROM和RAM。
(通信部分760)
通信部分760可以向诸如服务器30的外部设备发送信息以及从其接收信息。注意，通信部分760由诸如通信天线、收发电路和端口的通信设备实现。
(存储部分770)
存储部分770设置在反馈设备70中，并且在其中存储用于主控制部分740执行各种类型的处理的程序等以及通过该处理获得的信息。注意，存储部分770由诸如HD的磁记录介质，诸如闪存的非易失性存储器等实现。
此外，反馈设备70可以具有未示出的输入部分。输入部分具有接收发送到反馈设备70的数据和命令的输入的功能。更具体地，输入部分由触摸面板、按钮、开关、按键、键盘、麦克风、图像传感器等实现。
此外，在本实施例中，传感器设备10中的传感器部分100的功能和反馈设备70中的触觉机构710等的功能，可以被集成到一个可穿戴设备中。注意，在本实施例中，反馈设备70不限于图5所示的配置，并且可以具有例如其他功能部分。
<2.6.根据本公开的实施例的信息处理方法>
到目前为止，已经详细描述了根据本实施例的信息处理系统1的配置以及包括在信息处理系统1中的设备的配置。接下来将参考图6描述根据本实施例的信息处理方法。图6是示出根据本实施例的信息处理方法的示例的流程图。
如图6所示，根据本实施例的信息处理方法包括从步骤S100到步骤S500的多个步骤。在下文中将描述根据本实施例的信息处理方法中包括的步骤的细节。
(步骤S100)
首先，传感器设备10预先附接到学习者或表演者的身体的一部分，或者在学习者等的表演之前安装在学习者等周围。然后，当学习者等开始预定的演奏(例如一段音乐、乐句、音阶、琶音或和弦)作为试演时，传感器设备10的传感器部分100感测在表演过程中伴随学习者等的演奏(运动)而产生的身体、乐器等的运动，由乐器产生的声音等，并获取多条感测数据。此外，传感器设备10将获取的感测数据输出到服务器30。
此时，由传感器设备10获取的感测数据由上述转换设备20转换，并且将转换后的感测数据输入到服务器30。因此，在根据本实施例的信息处理系统1中，如前所述，即使在模拟形式的感测数据和数字形式的感测数据混合的情况下，转换设备20也可以准确地同步多条感测数据。结果，服务器30可以在随后执行的步骤中同时分析准确同步的并包含各种类型信息的多条感测数据；因此，可以获取辅助学习者的表演的学习的有用数据。
在本实施例中，优选地，允许许多表演者(例如，大约100个表演者)各自给出预定的表演(例如，一段音乐、乐句、音阶、琶音或和弦)并收集许多条感测数据以获取用于构建DB 372的信息。此外，在那时，服务器30可以获取与每个表演者相关联的属性信息(性别、年龄、身高、体重、体格大小、肌力、手掌大小、柔软度、体态、钢琴演奏经验的年限、技能水平等)以及与表演相关的属性信息(日期和时间、音乐主题、作曲家的姓名、表演的乐器、演出地点等)。
(步骤S200)
服务器30基于在步骤S100中获取的与表演者有关的感测数据，来生成训练数据。生成的训练数据作为DB 372存储(存档)。注意，稍后将描述步骤S200的细节。
(步骤S300)
服务器30基于在步骤S100中获取的关于学习者的感测数据，来生成比较数据。所生成的比较数据可以被存储为DB 372。注意，稍后将描述步骤S300的细节。
(步骤S400)
服务器30从DB 372中选择训练数据，并将所选择的训练数据与在上述步骤S300中生成的比较数据进行比较。然后，服务器30基于比较结果生成反馈信息，以将其反馈给学习者。注意，稍后将描述步骤S400的细节。
(步骤S500)
反馈设备70基于在上述步骤S400中生成的反馈信息，对学习者进行反馈。
在下文中将描述图6中描绘的步骤S200、S300和S400的细节。
(2.6.1训练数据的创建的细节)
首先，将参考图7至图13描述上述图6的步骤S200中的训练数据的创建细节。图7是根据本实施例的创建训练数据的流程图。图8和图9是特征变量506的提取的示例的说明图。此外，图10和图11是数据库372的构造示例的说明图，并且图12和图13是训练数据的创建示例的说明图。
如图7所示，训练数据的创建包括从步骤S201到步骤S213的多个步骤。下文将描述这些多个步骤的细节。
(步骤S201)
服务器30在一次试演中从感测的开始到结束，获取由每个传感器设备10获取的多条感测数据(感测数据组)作为一个文本文件。如前所述，元文件与文本文件相关，并且该元文件可以包含与表演者相关的属性信息，与表演相关的属性信息等。元文件还可以包含有关试演的属性信息(比赛名称、比赛等级、出席人数、粉丝人数、有关出席人数的评估信息、观看次数等)。在本实施例中，以这种方式将元文件与感测数据组相关，使得可以通过参考元文件中包含的各种类型的信息来适当且容易地管理感测数据组并选择训练数据。
注意，包含在元文件中的上述信息可以由用户输入到服务器30，或者如果可以从感测数据分析信息，则可以通过分析感测数据并自动提取信息来生成。例如，可以通过分析感测数据中包含的声音信息，来自动提取所执行的乐曲并估计周围环境中的出席，并且可以通过分析感测数据中包含的位置信息来自动提取表演的位置。
(步骤S203)
服务器30通过执行滤波和统计处理(异常值检测)(预处理)来去除在步骤S201中获取的每个感测数据中包含的噪声等。
(步骤S205)
服务器30对在一次试演中获取并在上述步骤S203中进行预处理的多条感测数据进行分析等，并且提取表征表演状态的特征变量。以这种方式提取的特征变量在稍后描述的步骤S209中被写入元文件。具体地，如图8所示，服务器30的分析部分346分析感测数据500并提取特征变量506。例如，通过分析部分346对感测数据500进行统计处理，可以将特征变量506提取为每个感测数据500的最大值、最小值、平均值、积分值、周期和变化量。更具体地，作为特征变量506，在作为关于图9所示的按键的运动量的时序数据的感测数据500上，提取如白圈、白三角形和白矩形标记所指示的按键位于最上面位置的定时、按键触摸上升速度达到最大值的定时和按键触摸下降速度达到最大值的定时。
如图8中所示，服务器30的分析部分346可以对在一次试演中获取并在如上所述的步骤S203中预处理的多条感测数据(例如，与表演有关的音频数据)500进行分析等，并提取表演的评估值506a。如先前所述，评估值506a可以是表演者在表演中的表演速度，表演的准确性，由表演产生的声音的音量，和弦中的乐音之间的声音振动、音色、音量差和时间差、每个声音参数的最大值和最小值之间的差、每个声音参数的粒度等。与特征变量506类似，以这种方式提取的评估值506a在稍后描述的步骤S209中被写入元文件。
(步骤S207)
此外，服务器30获取关于敏感度评估的信息，该敏感度评估是对于不能由上述特征变量506和评估值506a直接评估的表演的敏感度评估。例如，服务器30通过使表演者在试演结束之后输入针对自己的表演(明亮、流畅、沉重、情境、抒情、柔软、坚硬等)的敏感度，来获取敏感度评估。与特征变量506类似，在稍后描述的步骤S209中将获取的敏感度评估写入元文件。注意，获取关于敏感度评估的信息的方法不限于通过使表演者直接输入敏感度来进行的方法，而是可以在表演期间通过对表演者的杂音等进行音频分析，来自动获取关于敏感度评估的信息。在本实施例中，以这种方式通过音频分析自动获取关于敏感度评估的信息，使得可以在不影响表演者的情况下获取关于敏感度评估的信息。
此外，在本实施例中，可以通过其他方法获取关于敏感度评估的信息。例如，许多人(例如，诸如钢琴家和除了专业人士以外的非专业人士的专业人士)被要求预先听各种类型的音乐(例如，表演者的表演和非专业人士的表演，不限于特定表演)，并对每首音乐进行敏感度评估。接下来，服务器30将敏感度评估作为训练信号输入到学习部分348，将音乐作为输入信号输入到学习部分348，并且使学习部分348对音乐和敏感度评估之间的关系执行机器学习。通过参考由学习部分348进行的机器学习而获得的关系，服务器30能够基于由试演中的表演产生的音乐(振动等)，自动获取关于试演中的表演的敏感度评估的信息。注意，在本实施例中，可以以专业人员的敏感度评估比非专业人员的敏感度评估更强地反映在通过机器学习获得的关系中的方式，进行加权使，或者，也可以以相反的非专业人员的敏感度评估比专业人员的敏感度评估更强地反映在通过机器学习获得的关系中的方式，进行加权。此外，在本实施例中，服务器30可以将机器人等在钢琴上的按键触摸的参数(按键触摸力、按键触摸时间、按键触摸长度等)以及将机器人等对按键的声音、音乐等的敏感度评估输入到学习部分348，使学习部分348对机器人等的按键触摸的声音等和机器人等的敏感度评估之间的关系进行机器学习，并获取该关系。在本实施例中，以这种方式参考机器学习，使得可以在不干扰表演者的情况下获取关于敏感度评估的信息。
(步骤S209)
服务器30将特征变量506、评估值506a以及在步骤S205和S207中获取的关于敏感度评估的信息写入上述元文件。在本实施例中，将特征变量506、评估值506a以及关于敏感度评估的信息与感测数据组相关，使得可以适当且容易地管理感测数据组并选择训练数据。
(步骤S211)
如图10所示，服务器30重复上述步骤S201至S209，收集多个感测数据组(文本文件)502和与各个感测数据组502相关的元文件504，并构造DB 372。如前所述，可以基于元文件504中包含的信息，来管理DB372中的每个感测数据组502。如例如在图11中所描绘的，每个感测数据组502可以基于元文件504中包含的信息按演奏时间顺序按表演者(例如钢琴演奏者A或钢琴演奏者B)进行管理。注意，在本实施例中，管理方法不限于每个表演者管理每个感测数据组502，并且可以在诸如音乐的主题或按年龄的各种条件下管理每个感测数据组502。
(步骤S213)
服务器30基于在上述步骤S211中构建的数据库372来产生训练数据。在本实施例中，可以主要从两种方法产生训练数据。
在第一方法中，在一次试演中获得的感测数据500或特征变量506被原样或原封不动用作训练数据。
在第二种方法中，使用关于多个表演者或多个试演的多条感测数据500来执行机器学习，从而将通过机器学习获得的结果用作训练数据。
如在图12中所描绘的，例如，服务器30将均包含评估值506a的感测数据组502和元文件504输入到学习部分348分别作为输入信号和训练信号。学习部分348通过在其上执行诸如多元回归分析的多元分析，来对多条感测数据500和多个评估值506a之间的关系执行机器学习。然后，学习部分348可以输出与通过执行机器学习而获得的关于关系的信息(关系信息)608，作为训练数据。
如前所述，此时由学习部分348处理的多条感测数据500通过转换设备20彼此准确地同步。因此，使用多条准确同步的感测数据500执行多元分析，使得学习部分348能够提取与评估值506a高度相关的感测数据500，并获得高度准确的关系信息608。
此外，在本实施例中，表示感测数据500与评估值506a之间的关系的关系信息608的使用不限于用作训练数据。例如，服务器30将特征变量506和评估值506a输入到学习部分348，分别作为输入信号和训练信号。如图13所示，学习部分348通过对特征变量506与评估值506a进行诸如多元回归分析的多元分析，对特征变量506与评估值506a之间的关系进行机器学习。然后，学习部分348可以将与通过上述机器学习获得的关于关系的信息(关系信息)608作为训练数据输出。
以此方式，在本实施例中，使用关于多个表演者或多个试演的感测数据的集体智能作为训练数据，使得可以提取指示在高表演水平上的表演者和低表演水平上的表演者的特征趋势的感测数据500或特征变量506的项目。注意，上述关系信息608不仅可以用作在后续步骤中执行比较时的训练数据，而且还可以在从多条训练数据中选择一条或多条训练数据进行比较时被参考。
注意，在进行机器学习时，试演中的感测时间宽度并不总是相互匹配；因此，服务器30优选基于例如触摸按键的时刻使试演中的感测数据的时间宽度相互匹配。
(2.6.2比较数据的创建的细节)
接下来，图14描绘了在上述图6的步骤S300中创建比较数据的细节。图14是根据本实施例的创建比较数据的流程图。如图14所示，比较数据的创建包括从步骤S301到步骤S309的多个步骤。注意，图14的步骤S301至S309对应于图7的步骤S201、S203、S207、S209和S213；因此，本文省略其详细描述。
(2.6.3比较的细节)
接下来将参考图15至图17描述上述图6的步骤S400中的比较的细节。图15是根据本实施例的比较的流程图，并且图16和图17是比较的示例的说明图。如图15所示，根据本实施例的比较包括从步骤S401到步骤S411的多个步骤。下文将描述步骤的细节。
(步骤S401)
首先，服务器30从DB 372中选择包含由学习者执行的测试片段(一段音乐、乐句、音阶、琶音、和弦等)或部分测试片段的感测数据组502作为训练数据的选择。此时，服务器30可以基于与包含在元文件504中的表演相关联的属性信息来选择感测数据组502。此时，在DB 372中存在多个感测数据组502的情况下，优选的是服务器30创建这些多个感测数据组502的列表并将该列表显示给用户。然后，用户从列表中选择期望用于比较的感测数据组502。此时，用户可以选择与学习者以外的表演者的表演有关的感测数据组502，或者可以选择与学习者的过去表演有关的感测数据组502。
此外，在DB 372中存在多个感测数据组502的情况下，服务器30可以根据关于学习者的属性信息等，来提取具有与关于学习者的属性信息(性别、年龄、体格大小、肌力、柔软度、肥胖等)相似的关于表演者的属性信息的感测数据组502，并且将提取的感测数据组502推荐给用户。可选地，服务器30可以根据学习者的试演等中的属性信息，提取感测数据组502，该感测数据组具有与该感测相关联的属性信息并且与学习者的试演中与该感测(传感器类型、采样频率、通道数等)相关联的属性信息相似，并将提取的感测数据组502推荐给用户。在另一替代方案中，服务器30可以根据这些属性信息，提取感测数据组502，该感测数据组具有与关于学习者的试演(比赛名称、比赛等级等)的属性信息类似的关于试演的属性信息、和关于用户期望的试演(出席人数、粉丝数量、有关出席人数的评估信息、观看次数等)的属性信息，并将提取的感测数据组502推荐给用户。在又一替代方案中，服务器30可以根据用户期望的敏感度评估和针对表演的评估值506a来提取感测数据组502，并且将提取的感测数据组502推荐给用户。在本实施例中，通过这样做，可以减少用户的选择次数，并且用户可以容易地选择感测数据组502。
(步骤S403)
接下来，用户对特征变量506进行选择，关于在身体运动中使用什么部位和什么运动(例如，如何使用肌肉、身体的运动等)来进行比较以达到理想的表演状态(例如，像著名钢琴家那样快速弹奏钢琴)。换句话说，用户从上述步骤S401中选择的感测数据组502中选择一条或多条感测数据500、特征变量506或关系信息608用作训练数据。此时，可能存在大量数据，这些数据可能是感测数据组502中的训练数据的候选；因此，服务器30可以提取合适的训练数据并向用户推荐合适的训练数据，或者自动选择合适的训练数据。
例如，服务器30计算在步骤S401中选择的感测数据组502中的每个感测数据500与关于与之前的感测数据500具有相同项的学习者的感测数据500之间的差异。然后，服务器30向用户推荐差异最大的感测数据500作为训练数据。可替换地，例如，服务器30可以通过将关系信息608作为训练数据，来自动选择被估计与用户期望的表演状态高度相关的感测数据500(评估值506a)。在本实施例中，通过这样做，可以减少用户的选择次数并且使用户容易地选择训练数据。
(步骤S405)
接下来，用户选择适合于将在后面描述的步骤S411中生成的反馈信息向用户反馈的感觉方式(视觉、听觉、触觉等)。在本实施例中，反馈信息可以例如通过经由显示设备的视觉感觉、经由音频输出设备的听觉感觉或经由附接到学习者身体的可穿戴设备(触觉机构)的触觉感觉来反馈。此外，在本实施例中，用户可以选择多种感觉方式。
(步骤S407)
接下来，服务器30通过计算在步骤S403中选择的训练数据与关于与该训练数据相同的项的学习者的感测数据500(比较数据)之间的差异，或者通过将训练数据叠加在比较数据上面，来进行比较。如例如图16所示，服务器30的比较部分350将训练数据600与比较数据602进行比较。在随后的步骤S411中，然后基于比较结果生成反馈信息610。注意，在步骤S407中，服务器30可以如先前描述的那样计算所选择的训练数据600和比较数据602之间的差异，或者如图17所示将训练数据600叠加在比较数据602上。
(步骤S409)
接下来，服务器30可以通过在空间或时间上扩大或缩小差异，来强调或减小在上述步骤S407中获得的训练数据和比较数据之间的差异。具体地，在本实施例中，针对与训练数据600相比具有更大差异的技能水平的学习者，将差异减小预定收缩率，以避免学习动机的降低。例如，假设训练数据600中的按键接触力为1，在学习者的按键接触力(比较数据)比训练数据中的按键接触力低约80％的情况下，服务器30提供收缩(减小)到20％的按键接触力差异，而不提供保持在80％的差异。另一方面，在本实施例中，针对与训练数据600相比具有较小差异的技能水平的学习者上，通过预定放大率来扩大该小的差异，以学习者能够容易地识别该差异的方式，引导学习者达到更高的技能水平。例如，在学习者的按键接触定时(比较数据)比训练数据600中的按键接触定时快0.01秒的情况下，服务器30以学习者能够容易地识别差异的方式提供扩展(强调)到0.1秒的差异，而不提供保持在0.01秒的差异。换句话说，在本实施例中，对上述差异进行处理使得学习者能够容易地从训练数据600中识别出差异，同时避免了学习者的动机的降低；因此，可以实现对表演的有效学习的辅助。注意，在本实施例中，可以根据学习者的技能水平的变化，来逐步调节差异的放大率或收缩率。此外，时间上的扩张或收缩意味着减慢或加快与提供反馈信息相关的时间。
(步骤S411)
服务器30根据上述从步骤S401到S409的处理来生成要反馈给用户的反馈信息610。
<2.7.总结>
如上所述，根据上述本公开的实施例，可以提供能够准确地同步和处理处于多种形式的感测数据并且可用于辅助学习表演的信息处理系统1。
<<3.学习辅助模式>>
同时，在上述本公开的实施例中，优选地提供以下将描述的学习辅助模式，使得可以进一步增强基于由上述信息处理系统1提供的反馈的学习辅助的有效性。因此，以下将参考图18描述根据本公开的实施例的学习辅助模式。图18是根据本实施例的学习辅助模式的流程图。假定用户可以预先选择是否执行学习辅助模式。
同时，作为与影响学习者的学习的反馈的元素中与反馈信息610的内容相关联的元素，可以列举在比较中使用的训练数据600的各项(要选择什么样的感测数据500和什么样的特征变量506)、比较的方法(是计算训练数据600和比较数据602之间的差异还是叠加这些数据)等。此外，作为与反馈信息610的输出相关联的元素，可以列举差异的强调程度或减少程度、反馈信息被反馈所通过的感觉方式等。这些元素中的哪一个以哪种方式对学习辅助更有效，取决于要学习的表现以及学习者的特征和环境。因此，在根据本实施例的获取辅助模式中，哪种元素对于实时搜索哪种方式的学习辅助更有效，并提供了更高的有效反馈。
例如，在学习者等无法实现期望的表现的情况下，经常存在多个元素(特征变量)作为原因。例如，在表演过程中按键触摸失误的情况下，会存在导致按键触摸失误的多种因素，包括学习者手臂的错误形状、肌肉拉紧以及延迟看向要触摸的按键的时间。因此，可以通过学习辅助模式获得的算法，使得可以选择这样的元素：“如果纠正该元素，则学习者将能够最早避免按键触摸中的失误”。例如，该算法在多个因素(特征变量)中选择比较数据与训练数据之间的差异最大的元素，或者根据许多表演者的经验选择被认为重要的特征变量。使用这样的算法，使得能够更有效地执行学习辅助。
例如，在学习辅助模式下，使学习者重复相同测试片段的试演大约几次(例如，三到五次)，并且服务器30重复感测数据组502的获取和分析，以及反馈信息610的呈现。
此时，服务器30从感测数据500提取针对学习者的表演的评估值506a(表演状态)，并且根据先前试演中的评估值计算评估值506a的变化。此时，在未确认评估值506a已经改进的情况下，服务器30改变在比较中使用的训练数据600的项目、比较方法、差异的强调程度或减少程度、感觉方式等，并在下一次试演之前反馈更改。另一方面，在确认评估值506a已经改进的情况下，服务器30在不改变比较中使用的训练数据600、比较方法、差异的强调或减小程度、感觉方式等的情况下，在下次试演之前反馈反馈信息。
此外，重复执行这样的试演和反馈使得服务器30的学习部分348能够对评估值506a与训练数据600的项目、比较方法、差异的强调程度或减少程度以及感觉方式的关系，执行机器学习。换句话说，学习部分348可以通过机器学习使在比较中使用的训练数据600的项目、比较的方法、差异的强调程度或减少程度、适合于改善学习者特定表演的状态的感觉方式等清楚。此外，服务器30可以基于通过这种机器学习获得的关系使用算法，来选择训练数据600的适合项、适合的比较方法、适合的差异的强调程度或减小程度以及适合的感觉方式，并向用户推荐选择结果。此外，服务器30可以将以这种方式获得的算法应用于另一学习者。例如，如果属性信息(姓名、性别、年龄、身高、体重、体格大小、肌力、手掌大小等)相似，则估计学习者倾向于具有在比较中使用的训练数据600的相似项、相似的比较方法、相似的差异的强调程度或减小程度以及相似的适于改进具体表现状态的感觉方式；因此，服务器30可以基于关于另一学习者的属性信息，来确定是否将该算法应用于另一学习者。
此外，在学习辅助模式中，在学习者的运动功能(肌肉力量、关节活动范围、敏捷性和感觉功能)的改善与具体表演的改善之间存在相关性的情况下，服务器30优选不仅执行反馈，而且推荐用于改善运动功能的训练。例如，众所周知，在表演期间表演者的节奏不一致和节奏不正确，表演者在指尖的触觉功能上较低，并且在独立移动手指的功能上较低。因此，在学习者旨在提高表演的情况下(即“提高严格性”)，服务器30向学习者推荐作为改善运动功能的训练，手指独立运动训练和触觉功能训练(感官学习训练)。
更具体地，如图18所示，根据本实施例的学习辅助模式包括从步骤S601到步骤S609的多个步骤。这些步骤的细节将在下文中描述。
(步骤S601)
类似于以上描述，反馈设备70基于从服务器30接收的反馈信息610向学习者执行反馈。
(步骤S603)
学习者在参考反馈的同时，执行与先前试演相同测试片段的试演。服务器30获取与所执行的试演有关的感测数据组502。
(步骤S605)
服务器30基于在上述步骤S603中获取的感测数据组502，提取针对学习者的表演的评估值506a。此外，服务器30从先前的试演中计算出评估值506a的变化。
(步骤S607)
在未确认评估值506a已经改善的情况下，服务器30选择改变比较中使用的训练数据600的项目、比较的方法、差异的强调程度或减小程度、感觉方式等。另一方面，在确认评估值506a已经改善的情况下，服务器30选择不改变比较中使用的训练数据600的项目、比较的方法、差异的强调程度或减小程度、感觉方式等。
在上述步骤S605和S607时，服务器30对评估值506a与训练数据600的项目、比较方法、差异的强调程度或减小程度以及感觉方式的关系，进行机器学习。如前所述，服务器30可以基于通过机器学习获得的关系，使用算法来执行下一次反馈。
(步骤S609)
接下来，服务器30基于上述步骤S607中的选择来生成反馈信息610。此外，服务器30选择用于改善运动功能的训练，以推荐给学习者。
<<4.本公开的实施例的应用示例>>
至此已经描述了本公开的实施例。接下来将更具体地描述本公开的实施例的应用示例。注意，以下应用示例仅作为本公开的实施例的示例给出，并且本公开的实施例不限于以下应用示例。
作为本公开的实施例的应用的一个示例，除了学习乐器演奏技术外，还可以列举体育、艺术(绘画、书法等)、表演艺术和传统艺术、各种操作模拟器(用于机动车辆、飞机等)和游戏的技能获取辅助。例如，通过将上述的传感器设备10安装在网球拍等上，能够识别提高用户的网球表现所必需的技能元素，并且能够对用户进行自动教学等。
此外，作为本公开的实施例的应用示例，可以列举出患有受损运动功能的患者的诊断、治疗效果的评估以及对未来受损运动功能的预测的辅助。例如，虽然已知在音乐疗法的工作现场乐器演奏有助于脑卒中后的运动功能或认知功能的恢复，但是恢复的大多数机制尚未掌握。因此，在本实施例中，也可以使与患者的脑部活动有关的数据与乐器表演等动作相关的数据准确地同步，并获取这些数据；因此，期望获得有益于使机制清楚的信息。
此外，在本实施例中构造的DB 372也有利于开发用于技能学习的各种类型的指导方法；因此，DB 372可以是单独交易的产品。
<<5.硬件配置>>
图19是示出根据本实施例的信息处理设备900的硬件配置的示例的说明图。在图19中，信息处理设备900指示上述服务器30的硬件配置的示例。
信息处理设备900具有例如CPU 950、ROM 952、RAM 954、记录介质956和输入/输出接口958。信息处理设备900还具有触觉设备960、显示设备962、音频输出设备964、通信接口968和传感器980。此外，信息处理设备900通过例如用作数据传输通道的总线970将构成元件彼此连接。
(CPU 950)
CPU 950配置有例如一个或两个以上处理器，每个处理器包括诸如CPU的计算电路、每种类型的处理电路等，并且用作对整个信息处理设备900进行控制的主控制部分340。
(ROM 952和RAM 954)
ROM 952在其中存储由CPU 950使用的程序、诸如计算参数的控制数据等。RAM 954在其中临时存储由CPU 950执行的程序等。ROM 952和RAM 954用作例如上述信息处理设备900中的存储部分370。
(记录介质956)
记录介质956用作上述存储部分370，并且例如存储与根据本实施例的信息处理方法有关的数据以及诸如各种应用程序的各种类型的数据。记录介质956的示例在此包括诸如硬盘的磁记录介质和诸如闪存的非易失性存储器。此外，记录介质956可以与信息处理设备900分离。
(输入/输出接口958、触觉设备960、显示设备962和音频输出设备964)
输入/输出接口958连接例如触觉设备960、显示设备962、音频输出设备964等。输入/输出接口958的示例包括USB(通用串行总线)端子、DVI(数字视觉接口)端子、HDMI(高清晰度多媒体接口)(注册商标)端子以及各种类型的处理电路。
触觉设备960用作上述触觉机构710，显示设备962用作上述显示部分714，并且音频输出设备964用作上述音频输出部分716。作为触觉设备960，可以列举附接到学习者的身体的可穿戴设备。作为音频输出设备964，可以列举扬声器、头戴式耳机扬声器等。此外，作为显示设备962，可以列举液晶显示器、有机EL显示器(有机电致发光显示器)等。
不用说，输入/输出接口958可以连接到信息处理设备900外部的外部设备(诸如操作输入设备(例如，键盘和鼠标))和外部显示设备。
(通信接口968)
通信接口968是通信设备，其用作通信部分360并且被设置在信息处理设备900中，并且用作用于通过网络90(或直接)保持与外部设备的无线或有线通信的通信部分(未示出)。通信接口968的示例包括通信天线、RF(射频)电路(用于无线通信)、IEEE802.15.1端口和发送接收电路(用于无线通信)、IEEE802.11端口和发送接收电路(用于无线通信)、以及LAN(局域网)终端和发送接收电路(用于有线通信)。
到目前为止，已经示出了信息处理设备900的硬件配置的示例。注意，信息处理设备900的硬件配置不限于图19所示的配置。更具体地，可以使用通用构件来配置上述构成元件，或者可以通过专用于组成元件的功能的硬件来配置上述构成元件。这样的配置可以在执行本公开的不同时间根据技术水平适当地改变。
例如，在经由连接到信息处理设备900的外部通信设备与外部设备等进行通信的情况下，或者在被配置为以独立方式执行处理的情况下，信息处理设备900不一定配置有通信接口968。此外，通信接口968可以被配置为能够通过多种通信方案与一个或两个以上外部设备进行通信。
此外，根据本实施例的信息处理装置可以在连接到诸如云计算的网络(或设备之间的通信)的前提下，应用于由多个设备配置的系统。换句话说，上述根据本实施例的信息处理装置可以被实现为例如使用多个设备来执行与根据本实施例的信息处理方法有关的处理的信息处理系统。
<<6.补充说明>>
注意，先前描述的本公开的实施例可以包括例如用于使计算机用作根据本实施例的信息处理装置(例如服务器30)的程序，以及在其中记录程序的非暂时性有形介质。此外，可以经由诸如互联网的通信线路(包括用于无线通信的线路)来分发程序。
此外，上述本公开的实施例中的每个处理中的步骤不必以所描述的顺序进行处理。例如，可以通过适当地改变顺序来处理步骤。此外，步骤可以并行地或单独地部分处理，以替代按时间顺序地处理。此外，对于处理步骤的方法，步骤不一定根据所描述的方法来处理。例如，这些步骤可以由其他功能部分通过其他方法来处理。
尽管已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这种示例。显然，本领域技术人员能够在权利要求书所述的技术概念的范围内做出各种类型的修改或校正示例，并且应当理解，这些方面自然也属于本公开的技术范围。
注意，以下配置落入本公开的技术范围内。
(1)一种信息处理装置，包括：
转换部分，转换从多个传感器获得的不同形式的多条感测数据，每个传感器通过用户的运动来感测与表演相关的状态；
信息处理部分，处理由转换部分转换的感测数据；以及
信息输出部分，基于信息处理部分的处理结果向用户输出反馈信息，其中
转换部分包括
模数信号转换部分，将来自传感器的模拟形式的感测数据转换成数字形式的感测数据，并将数字形式的感测数据输出到信息处理部分，以及
数模信号转换部分，将来自传感器的数字形式的感测数据转换成模拟形式的感测数据，并将模拟形式的感测数据输出到模数信号转换部分。
(2)根据(1)的信息处理装置，其中
模数信号转换部分具有第一时钟机构，用于同步来自输出多条感测数据的第一传感器的模拟形式的多条感测数据。
(3)根据(2)的信息处理装置，还包括：
第二时钟机构，其被设置成更靠近以数字形式输出感测数据的第二传感器，以使来自第二传感器的多条感测数据同步。
(4)根据(3)的信息处理装置，其中
信息处理部分基于第一时钟机构和第二时钟机构之间的时间差，使来自第一传感器的多条感测数据与来自第二传感器的多条感测数据同步。
(5)根据(3)或(4)的信息处理装置，其中
数模信号转换部分将来自第二传感器的感测数据转换成模拟形式的感测数据，并将模拟形式的感测数据作为驱动第一传感器的触发信号输出到第一传感器。
(6)根据(3)至(5)中任一项的信息处理装置，其中
第一传感器包括以下至少一项：
附接在用户身体上的加速度传感器、陀螺仪传感器、角速度传感器、振动传感器、压力传感器、生物信息传感器、弯曲传感器和位置传感器、
安装在通过用户的运动而运动的物体上并感测物体的运动的压力传感器或光反射传感器、
对用户成像的成像设备、以及
感测由表演产生的声音的拾音设备。
(7)根据(6)的信息处理装置，其中
生物信息传感器感测用户的心跳、脉搏、脑电波、呼吸、出汗、肌电电位、皮肤温度、皮肤电阻、眼球运动、瞳孔直径荷核磁共振中的至少一项。
(8)根据(6)的信息处理装置，其中
物体包括声学乐器或电子乐器。
(9)根据(3)至(8)中任一项的信息处理装置，其中
第二传感器包括以下至少一项：
附接在用户身体上的加速度传感器、陀螺仪传感器、角速度传感器、振动传感器、压力传感器、弯曲传感器和位置传感器、以及
用户使用的电子乐器。
(10)根据(1)至(9)中的任一项的信息处理装置，还包括：
存储部分，存储从数模信号转换部分输出的多条感测数据，同时将多条感测数据与和多条感测数据有关的多个属性信息相关联。
(11)根据(10)的信息处理装置，其中
属性信息包含以下至少一项：与用户相关联的属性信息、与表演相关联的属性信息、表征表演的特征变量、用于表演的评估信息、与感测相关联的属性信息、和关于表演的敏感度评估信息。
(12)根据(11)的信息处理装置，其中
信息处理部分具有分析部分，分析部分分析从数模信号转换部分输出的感测数据，并提取表征表演状态的特征变量。
(13)根据(11)的信息处理装置，其中
每当给出表演时，由用户输入表演的敏感度评估信息。
(14)根据(11)的信息处理装置，其中
通过参考预先通过机器学习获得的、与表演相关的状态与敏感度评估之间的关系，基于与表演相关的状态来获取针对表演的敏感度评估信息。
(15)根据(11)的信息处理装置，其中
用于表演的评估信息包括处于折衷关系的、与用于表演的不同类型的评估信息有关的数值的比例。
(16)根据(10)至(15)中的任一项的信息处理装置，其中
信息处理部分具有比较部分，比较部分从存储在存储部分中的多条感测数据中选择一条或多条感测数据作为训练数据，并且将选择的训练数据与比较数据进行比较，该比较数据是与用户的表演有关并且是新感测的感测数据。
(17)根据(16)的信息处理装置，其中
比较部分通过计算训练数据与比较数据之间的差异或通过将训练数据叠加在比较数据上，来将训练数据与比较数据进行比较。
(18)根据(17)的信息处理装置，其中
信息输出部分将进行了强调处理或减小处理的差异作为反馈信息输出。
(19)根据(18)的信息处理装置，其中
信息输出部分经由显示设备、附接在用户身体上的可穿戴设备和音频输出设备中的至少一项来输出反馈信息。
(20)根据(19)的信息处理装置，其中
信息处理部分基于用户的表演状态的改变，改变用作训练数据的感测数据、由比较部分进行的比较方法、对差异进行的处理和输出反馈信息的设备的至少一项。
[参考标记列表]
1：信息处理系统
10：传感器设备
20：转换设备
26：计算设备
30：服务器
70：反馈设备
90：网络
100：传感器部分
140、340、740：主控制部分
142、342：数据获取部分
144、344：处理部分
152、352：输出控制部分
160、360、760：通信部分
200：D/A信号转换部分
202：D/A转换器
210：A/D信号转换部分
212：A/D转换器
214、272：时钟
260：接收部分
270：计算部分
300：输入部分
310：输出部分
346：分析部分
348：学习部分
350：比较部分
370、770：存储部分
372：DB
500：感测数据
502：感测数据组
504：元文件
506：特征变量
506a：评估值
600：训练数据
602：比较数据
608：关系信息
610：反馈信息
710：触觉机构
714：显示部分
716：音频输出部分
900：信息处理设备
950：CPU
952：ROM
954：RAM
956：记录介质
958：输入/输出接口
960：触觉设备
962：显示设备
964：音频输出设备
968：通信接口
970：总线
980：传感器。
Claims (20)
1.一种信息处理装置，包括：
转换部分，转换从多个传感器获得的不同形式的多条感测数据，每个传感器感测与通过用户的动作进行的表演相关的状态；
信息处理部分，处理由所述转换部分转换的所述感测数据；以及
信息输出部分，基于所述信息处理部分的处理结果向所述用户输出反馈信息，其中
所述转换部分包括：
模数信号转换部分，将来自所述传感器的模拟形式的感测数据转换成数字形式的感测数据并输出到所述信息处理部分，以及
数模信号转换部分，将来自所述传感器的所述数字形式的感测数据转换成所述模拟形式的感测数据并输出到所述模数信号转换部分。
2.根据权利要求1所述的信息处理装置，其中，
所述模数信号转换部分具有第一时钟机构，所述第一时钟机构用于同步来自输出所述模拟形式的感测数据的第一传感器的所述感测数据。
3.根据权利要求2所述的信息处理装置，还包括：
第二时钟机构，被设置在输出所述数字形式的感测数据的第二传感器侧，并使来自所述第二传感器的所述感测数据同步。
4.根据权利要求3所述的信息处理装置，其中，
所述信息处理部分基于所述第一时钟机构和所述第二时钟机构之间的时间差，使来自所述第一传感器的感测数据与来自所述第二传感器的感测数据同步。
5.根据权利要求3所述的信息处理装置，其中，
所述数模信号转换部分将来自所述第二传感器的感测数据转换成所述模拟形式的感测数据，并将所述模拟形式的感测数据作为驱动所述第一传感器的触发信号输出到所述第一传感器。
6.根据权利要求3所述的信息处理装置，其中，
所述第一传感器包括以下至少一项：
附接在所述用户的身体上的加速度传感器、陀螺仪传感器、角速度传感器、振动传感器、压力传感器、生物信息传感器、弯曲传感器和位置传感器、
附接在通过所述用户的动作而动作的物体上并感测所述物体的运动的压力传感器或光反射传感器、
对所述用户成像的成像设备、以及
感测由所述表演产生的声音的拾音设备。
7.根据权利要求6所述的信息处理装置，其中，
所述生物信息传感器感测所述用户的心跳、脉搏、脑波、呼吸、出汗、肌电电位、皮肤温度、皮肤电阻、眼球运动、瞳孔直径和核磁共振中的至少一项。
8.根据权利要求6所述的信息处理装置，其中，
所述物体包括声学乐器或电子乐器。
9.根据权利要求3所述的信息处理装置，其中，
所述第二传感器包括以下至少一项：
附接在所述用户身体上的加速度传感器、陀螺仪传感器、角速度传感器、振动传感器、压力传感器、弯曲传感器和位置传感器、以及
所述用户使用的电子乐器。
10.根据权利要求1所述的信息处理装置，还包括：
存储部分，将从所述数模信号转换部分输出的所述感测数据，与所述感测数据的属性信息相关联以进行存储。
11.根据权利要求10所述的信息处理装置，其中，
所述属性信息包含以下至少一项：与所述用户相关联的属性信息、与所述表演相关联的属性信息、表征所述表演的特征变量、用于所述表演的评估信息、与感测相关联的属性信息、和关于所述表演的敏感度评估信息。
12.根据权利要求11所述的信息处理装置，其中，
所述信息处理部分具有分析部分，所述分析部分分析从所述数模信号转换部分输出的所述感测数据并提取表征所述表演的状态的特征变量。
13.根据权利要求11所述的信息处理装置，其中，
每当给出所述表演时，由所述用户输入所述表演的所述敏感度评估信息。
14.根据权利要求11所述的信息处理装置，其中，
通过参考预先通过机器学习获得的、与所述表演相关的状态和敏感度评估之间的关系，基于与所述表演相关的所述状态来获取针对所述表演的所述敏感度评估信息。
15.根据权利要求11所述的信息处理装置，其中，
用于所述表演的所述评估信息包括处于折衷关系的、与不同类型的用于所述表演的所述评估信息有关的数值的比例。
16.根据权利要求10所述的信息处理装置，其中，
所述信息处理部分具有比较部分，所述比较部分从存储在所述存储部分中的多条所述感测数据中选择一条或多条所述感测数据作为训练数据，并且将选择的所述训练数据与比较数据进行比较，所述比较数据是与所述用户的所述表演有关并且是新感测的感测数据。
17.根据权利要求16所述的信息处理装置，其中，
所述比较部分通过计算所述训练数据与所述比较数据之间的差异或通过将所述训练数据叠加在所述比较数据上，来将所述训练数据与所述比较数据进行比较。
18.根据权利要求17所述的信息处理装置，其中，
所述信息输出部分将进行了强调处理或缩小处理的所述差异作为所述反馈信息输出。
19.根据权利要求18所述的信息处理装置，其中，
所述信息输出部分经由显示设备、附接在所述用户的身体上的可穿戴设备和音频输出设备中的至少一项来输出所述反馈信息。
20.根据权利要求19所述的信息处理装置，其中，
所述信息处理部分基于所述用户的所述表演的状态的改变，改变用作所述训练数据的所述感测数据、由所述比较部分进行的比较方法、对所述差异进行的处理和输出所述反馈信息的设备中的至少一项。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018190061 | 2018-10-05 | ||
| JP2018-190061 | 2018-10-05 | ||
| PCT/JP2019/036945 WO2020071149A1 (ja) | 2018-10-05 | 2019-09-20 | 情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112805765A true CN112805765A (zh) | 2021-05-14 |
| CN112805765B CN112805765B (zh) | 2023-11-07 |
Family
ID=70054851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980064221.6A Active CN112805765B (zh) | 2018-10-05 | 2019-09-20 | 信息处理装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210350773A1 (zh) |
| EP (1) | EP3863001A4 (zh) |
| JP (1) | JP7367690B2 (zh) |
| KR (1) | KR20210070270A (zh) |
| CN (1) | CN112805765B (zh) |
| DE (1) | DE112019004986T5 (zh) |
| WO (1) | WO2020071149A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114683274A (zh) * | 2020-12-25 | 2022-07-01 | 丰田自动车株式会社 | 控制装置、任务系统、控制方法和非暂时性计算机可读介质 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111433831B (zh) * | 2017-12-27 | 2022-05-17 | 索尼公司 | 信息处理装置、信息处理方法和计算机可读存储介质 |
| EP3881910A4 (en) * | 2018-11-15 | 2022-01-12 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
| US20210248515A1 (en) * | 2020-02-12 | 2021-08-12 | Regents Of The University Of Minnesota | Assisted learning with module privacy |
| KR20230010190A (ko) * | 2020-03-31 | 2023-01-18 | 에이티에스 오토메이션 툴링 시스템즈 인코포레이티드 | 핵 해체 장치 및 방법 |
| WO2023032319A1 (ja) * | 2021-08-31 | 2023-03-09 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
| JP2024139528A (ja) * | 2023-03-27 | 2024-10-09 | ヤマハ株式会社 | 教習装置、教習方法および教習プログラム |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101022007A (zh) * | 2006-02-14 | 2007-08-22 | 精工电子有限公司 | 音乐练习支持用具 |
| CN101198277A (zh) * | 2005-02-22 | 2008-06-11 | 海尔思-斯玛特有限公司 | 用于生理学和心理生理学监控的方法和系统及其应用 |
| CN103076045A (zh) * | 2011-10-25 | 2013-05-01 | 上海新世纪机器人有限公司 | 头部姿态感应装置和方法 |
| CN103957777A (zh) * | 2011-12-07 | 2014-07-30 | 捷通国际有限公司 | 行为跟踪和修正系统 |
| CN104182607A (zh) * | 2013-05-23 | 2014-12-03 | 索尼公司 | 信息处理设备和存储介质 |
| CN104658358A (zh) * | 2015-03-12 | 2015-05-27 | 广州东呈电子有限公司 | 音乐教学系统 |
| CN105575219A (zh) * | 2016-03-07 | 2016-05-11 | 钦赛勇 | 智能手套 |
| CN106371611A (zh) * | 2016-09-30 | 2017-02-01 | 无锡吾成互联科技有限公司 | 一种钢琴弹奏教学辅助装置 |
| CN206194191U (zh) * | 2016-08-08 | 2017-05-24 | 郭颜军 | 一种乐器演奏评判和反馈装置 |
| JP2017173589A (ja) * | 2016-03-24 | 2017-09-28 | ヤマハ株式会社 | 信号処理装置 |
| CN107302548A (zh) * | 2016-04-14 | 2017-10-27 | 中国电信股份有限公司 | 辅助乐器演奏练习的方法、终端设备、服务器和系统 |
| CN107636752A (zh) * | 2015-02-02 | 2018-01-26 | Gn 股份有限公司 | 被配置为基于对表演传感器数据的分析来提供交互式技能训练内容、包括传送自适应训练程序的框架、设备和方法 |
| CN108320613A (zh) * | 2018-01-22 | 2018-07-24 | 佛山杰致信息科技有限公司 | 一种交互式音乐教学系统 |
| CN207732965U (zh) * | 2017-11-28 | 2018-08-14 | 江西创成微电子有限公司 | 一种音频处理装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07129880A (ja) * | 1993-10-29 | 1995-05-19 | Sankyo Seiki Mfg Co Ltd | センサー認識装置 |
| JP4278068B2 (ja) * | 1998-06-04 | 2009-06-10 | 株式会社バンダイナムコゲームス | ネットワークシステムおよび画像再生成方法 |
| JP2003217064A (ja) * | 2002-01-21 | 2003-07-31 | Toyota Motor Corp | センサ信号処理装置およびセンサ信号処理方法 |
| WO2007103835A2 (en) * | 2006-03-03 | 2007-09-13 | Physiowave Inc. | Physiologic monitoring systems and methods |
| US7446694B1 (en) * | 2007-05-30 | 2008-11-04 | Motorola, Inc. | System for synchronization of multi-sensor data |
| JP2009047861A (ja) | 2007-08-17 | 2009-03-05 | Sony Corp | 演奏支援装置、演奏支援方法及びプログラム |
| US8310380B2 (en) * | 2010-03-02 | 2012-11-13 | Invensense Inc. | Selectable communication interface configurations for motion sensing device |
| US10606353B2 (en) * | 2012-09-14 | 2020-03-31 | Interaxon Inc. | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data |
| WO2016179533A1 (en) * | 2015-05-06 | 2016-11-10 | Indiana University Research And Technology Corporation | Sensor signal processing using an analog neural network |
| CN111433831B (zh) * | 2017-12-27 | 2022-05-17 | 索尼公司 | 信息处理装置、信息处理方法和计算机可读存储介质 |
-
2019
- 2019-09-20 KR KR1020217007102A patent/KR20210070270A/ko unknown
- 2019-09-20 US US17/281,033 patent/US20210350773A1/en active Pending
- 2019-09-20 JP JP2020550296A patent/JP7367690B2/ja active Active
- 2019-09-20 DE DE112019004986.0T patent/DE112019004986T5/de active Pending
- 2019-09-20 EP EP19868300.5A patent/EP3863001A4/en active Pending
- 2019-09-20 CN CN201980064221.6A patent/CN112805765B/zh active Active
- 2019-09-20 WO PCT/JP2019/036945 patent/WO2020071149A1/ja active Application Filing
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101198277A (zh) * | 2005-02-22 | 2008-06-11 | 海尔思-斯玛特有限公司 | 用于生理学和心理生理学监控的方法和系统及其应用 |
| CN101022007A (zh) * | 2006-02-14 | 2007-08-22 | 精工电子有限公司 | 音乐练习支持用具 |
| CN103076045A (zh) * | 2011-10-25 | 2013-05-01 | 上海新世纪机器人有限公司 | 头部姿态感应装置和方法 |
| CN103957777A (zh) * | 2011-12-07 | 2014-07-30 | 捷通国际有限公司 | 行为跟踪和修正系统 |
| CN104182607A (zh) * | 2013-05-23 | 2014-12-03 | 索尼公司 | 信息处理设备和存储介质 |
| CN107636752A (zh) * | 2015-02-02 | 2018-01-26 | Gn 股份有限公司 | 被配置为基于对表演传感器数据的分析来提供交互式技能训练内容、包括传送自适应训练程序的框架、设备和方法 |
| CN104658358A (zh) * | 2015-03-12 | 2015-05-27 | 广州东呈电子有限公司 | 音乐教学系统 |
| CN105575219A (zh) * | 2016-03-07 | 2016-05-11 | 钦赛勇 | 智能手套 |
| JP2017173589A (ja) * | 2016-03-24 | 2017-09-28 | ヤマハ株式会社 | 信号処理装置 |
| CN107302548A (zh) * | 2016-04-14 | 2017-10-27 | 中国电信股份有限公司 | 辅助乐器演奏练习的方法、终端设备、服务器和系统 |
| CN206194191U (zh) * | 2016-08-08 | 2017-05-24 | 郭颜军 | 一种乐器演奏评判和反馈装置 |
| CN106371611A (zh) * | 2016-09-30 | 2017-02-01 | 无锡吾成互联科技有限公司 | 一种钢琴弹奏教学辅助装置 |
| CN207732965U (zh) * | 2017-11-28 | 2018-08-14 | 江西创成微电子有限公司 | 一种音频处理装置 |
| CN108320613A (zh) * | 2018-01-22 | 2018-07-24 | 佛山杰致信息科技有限公司 | 一种交互式音乐教学系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114683274A (zh) * | 2020-12-25 | 2022-07-01 | 丰田自动车株式会社 | 控制装置、任务系统、控制方法和非暂时性计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112019004986T5 (de) | 2021-07-01 |
| JPWO2020071149A1 (ja) | 2021-10-07 |
| US20210350773A1 (en) | 2021-11-11 |
| CN112805765B (zh) | 2023-11-07 |
| EP3863001A1 (en) | 2021-08-11 |
| KR20210070270A (ko) | 2021-06-14 |
| EP3863001A4 (en) | 2021-12-15 |
| JP7367690B2 (ja) | 2023-10-24 |
| WO2020071149A1 (ja) | 2020-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7238794B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN112805765B (zh) | 信息处理装置 | |
| US12067891B2 (en) | Information processing device, information processing method, and program | |
| US20220398937A1 (en) | Information processing device, information processing method, and program | |
| Miranda et al. | New digital musical instruments: control and interaction beyond the keyboard | |
| JP2019513527A (ja) | 神経学的リハビリテーションのためのシステムおよび方法 | |
| Gonzalez-Sanchez et al. | Characterizing movement fluency in musical performance: Toward a generic measure for technology enhanced learning | |
| Colley et al. | The influence of visual cues on temporal anticipation and movement synchronization with musical sequences | |
| Allingham et al. | Motor performance in violin bowing: Effects of attentional focus on acoustical, physiological and physical parameters of a sound-producing action | |
| JP2018503413A (ja) | 心肺適応能評価 | |
| Mainsbridge | Body as instrument: performing with gestural systems in live electronic music | |
| Platte | The Maestro myth: exploring the impact of conducting gestures on the musician's body and the sounding result | |
| JP4022229B2 (ja) | あん摩マッサージ指圧の術法の伝達システム | |
| Costalonga et al. | Understanding biomechanical constraints for modelling expressive performance: A guitar case study | |
| US20230386155A1 (en) | Virtual, augmented or mixed reality instrument teaching system and method | |
| EP4332957A2 (en) | Virtual, augmented or mixed reality instrument teaching system and method | |
| Ward | Effortful Interaction: A New Paradigm for the Design of Digital Musical Instruments | |
| Karolus | Proficiency-aware systems: designing for user skill and expertise | |
| Cosentino et al. | Music conductor gesture recognition by using inertial measurement system for human-robot musical interaction | |
| Nown | Creating a real-time movement sonification system for hemiparetic upper limb rehabilitation for survivors of stroke | |
| Fender et al. | PressurePick: Muscle Tension Estimation for Guitar Players Using Unobtrusive Pressure Sensing | |
| Holzinger et al. | A Machine Learning-Driven Interactive Training System for Extreme Vocal Techniques | |
| Rossi | SCHuBERT: a real-time end-to-end model for piano music emotion recognition | |
| JP2023037162A (ja) | 処理方法、プログラムおよび処理装置 | |
| Siwiak | MetaFlute: Developing Tools to Observe Micro-Timing and Physical Movements in Flute Playing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |