DE112019004986T5 - Informationsverarbeitungsvorrichtung - Google Patents

Informationsverarbeitungsvorrichtung Download PDF

Info

Publication number
DE112019004986T5
DE112019004986T5 DE112019004986.0T DE112019004986T DE112019004986T5 DE 112019004986 T5 DE112019004986 T5 DE 112019004986T5 DE 112019004986 T DE112019004986 T DE 112019004986T DE 112019004986 T5 DE112019004986 T5 DE 112019004986T5
Authority
DE
Germany
Prior art keywords
sensor
detection data
section
information processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019004986.0T
Other languages
English (en)
Inventor
Shinichi Furuya
Takanori Oku
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of DE112019004986T5 publication Critical patent/DE112019004986T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/06—Devices for exercising or strengthening fingers or arms; Devices for holding fingers or arms in a proper position for playing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Dentistry (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung und ermöglicht eine Bereitstellung einer Informationsverarbeitungsvorrichtung, die Erfassungsdaten in gemischten Formaten mit ausgezeichneter Genauigkeit synchron bearbeiten kann und zur Unterstützung des Erlernens einer Darbietung verwendet werden kann. Es wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die Folgendes umfasst: eine Umsetzungseinheit zum Umsetzen mehrerer Erfassungsdaten in verschiedenen Formaten, wobei die mehreren Erfassungsdaten von mehreren Sensoren erhalten werden, die Zustände erfassen, die sich auf eine Darbietung durch Benutzeroperationen beziehen; eine Informationsverarbeitungseinheit zum Verarbeiten der Erfassungsdaten, die durch die Umsetzungseinheit umgesetzt wurden; und eine Informationsausgabeeinheit zum Ausgeben von Rückmeldungsinformationen an den Benutzer auf der Grundlage von Verarbeitungsergebnissen der Informationsverarbeitungseinheit. Die Umsetzungseinheit weist Folgendes auf: eine Analog/Digital-Signalumsetzungseinheit zum Umsetzen der Erfassungsdaten in einem analogen Format von den Sensoren in ein digitales Format und zum Ausgeben der umgesetzten Erfassungsdaten an die Informationsverarbeitungseinheit

Description

  • [Technisches Gebiet]
  • Die vorliegende Offenbarung betrifft eine Informationsverarbeitungseinrichtung.
  • [Stand der Technik]
  • In den vergangenen Jahren ist es mit der Entwicklung der Miniaturisierung, Vereinfachung und dergleichen verschiedener Arten von Bewegungssensoren und Bioinformationssensoren einfacher geworden, verschiedene Arten von Erfassungsdaten mit diesen Sensoren zu erwerben, und die Erfassungsdaten wurden beispielsweise zur Unterstützung eines Benutzers beim Erlernen einer Darbietung (Spielen eines Musikinstruments, eines Sports und dergleichen) verwendet. Als eine Technologie zum Beurteilen einer Darbietung (Spielen eines Musikinstruments) und zum Unterstützen der Darbietung kann beispielsweise eine in der nachstehend genannten PTL 1 offenbarte Technologie angeführt werden. Bei einer solchen Lernunterstützung werden Daten, die bei der Lernunterstützung verwendet werden können, erhalten, indem verschiedene Erfassungsdatenelemente von mehreren Sensoren erworben und die mehreren erworbenen Erfassungsdaten analysiert werden.
  • [Liste bekannter Schriften]
  • [Patentliteratur]
  • [PTL 1] Japanisches Patent Offenlegungs-Nr. 2009-47861 .
  • [Kurzdarstellung]
  • [Technisches Problem]
  • Wird unterdessen beabsichtigt, mehrere Erfassungsdatenelemente unter Verwendung mehrerer verschiedener Arten von Sensoren zu erwerben, unterscheiden sich die Erfassungsdaten mitunter in der Form. Beispielsweise liegen Erfassungsdaten von einem Bioinformationssensor in der Regel in analoger Form vor. In einem solchen Fall wird die analoge Form der Erfassungsdaten von dem Bioinformationssensor in eine digitale Form umgesetzt, um die Form der Erfassungsdaten der von Erfassungsdaten von anderen Sensoren anzugleichen, und die Erfassungsdaten von dem Bioinformationssensor in der digitalen Form werden dann zusammen mit den Erfassungsdaten von den anderen Sensoren analysiert. Um Daten zu erwerben, die zur Unterstützung eines Benutzers beim Erlernen der Darbietung nützlich sind, ist es außerdem erforderlich, selbst bei einer Mischung von Formen, wie oben beschrieben, mehrere Erfassungsdatenelemente genau zu synchronisieren.
  • Daher schlägt die vorliegende Offenbarung eine neuartige und verbesserte Informationsverarbeitungseinrichtung vor, die in der Lage ist, Erfassungsdaten in einer Mischung von Formen genau zu synchronisieren und zu bearbeiten, und die zur Unterstützung beim Erlernen einer Darbietung verfügbar ist.
  • [Lösung des Problems]
  • Die vorliegende Offenbarung stellt eine Informationsverarbeitungseinrichtung bereit, die Folgendes beinhaltet: einen Umsetzungsabschnitt, der mehrere Erfassungsdatenelemente in verschiedenen Formen umsetzt, die von mehreren Sensoren erhalten werden, die jeweils einen Zustand bezüglich einer Darbietung durch eine Bewegung eines Benutzers erfassen, einen Informationsverarbeitungsabschnitt, der die durch den Umsetzungsabschnitt umgesetzten Erfassungsdaten verarbeitet, und einen Informationsausgabeabschnitt, der auf der Grundlage eines Verarbeitungsergebnisses des Informationsverarbeitungsabschnitts Rückmeldungsinformationen an den Benutzer ausgibt. Der Umsetzungsabschnitt beinhaltet einen Analog/Digital-Signalumsetzungsabschnitt, der die Erfassungsdaten in einer analogen Form von den Sensoren in Erfassungsdaten in einer digitalen Form umsetzt und die Erfassungsdaten in der digitalen Form an den Informationsverarbeitungsabschnitt ausgibt, und einen Digital/Analog- Signalumsetzungsabschnitt, der die Erfassungsdaten in der digitalen Form von den Sensoren in Erfassungsdaten in der analogen Form umsetzt und die Erfassungsdaten in der analogen Form an den Analog/Digital-Signalumsetzungsabschnitt ausgibt.
  • [Vorteilhafter Effekt der Erfindung]
  • Wie bisher beschrieben, ist es gemäß der vorliegenden Offenbarung möglich, eine Informationsverarbeitungseinrichtung bereitzustellen, die in der Lage ist, Erfassungsdaten in einer Mischung von Formen genau zu synchronisieren und zu bearbeiten, und die zur Unterstützung beim Erlernen einer Darbietung verfügbar ist.
  • Es wird angemerkt, dass die Effekte nicht immer auf den obigen Effekt beschränkt sind, die vorliegende Offenbarung beliebige der in der vorliegenden Beschreibung beschriebenen Effekte oder andere Effekte, die aus der vorliegenden Beschreibung hervorgehen, zusätzlich zu oder als Alternative zu dem obigen Effekt zeigen kann.
  • Figurenliste
    • [1] 1 ist ein erläuterndes Diagramm eines Beispiels einer Konfiguration eines Informationsverarbeitungssystems 1 gemäß einer Ausführungsform der vorliegenden Offenbarung.
    • [2] 2 ist ein Blockdiagramm, das eine Konfiguration einer Sensoreinrichtung 10 gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
    • [3] 3 ist ein Blockdiagramm, das eine Konfiguration eines Servers 30 gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
    • [4] 4 ist ein Blockdiagramm, das Konfigurationen einer Umsetzungseinrichtung 20 und einer Recheneinrichtung 26 gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
    • [5] 5 ist ein Blockdiagramm, das eine Konfiguration einer Rückmeldungseinrichtung 70 gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
    • [6] 6 ist ein Flussdiagramm, das ein Beispiel eines Informationsverarbeitungsverfahrens gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
    • [7] 7 ist ein Flussdiagramm einer Erzeugung von Trainingsdaten gemäß der Ausführungsform der vorliegenden Offenbarung.
    • [8] 8 ist ein erläuterndes Diagramm (1) eines Beispiels einer Extraktion von Merkmalsvariablen.
    • [9] 9 ist ein erläuterndes Diagramm (2) des Beispiels einer Extraktion von Merkmalsvariablen.
    • [10] 10 ist ein erläuterndes Diagramm (1) eines Beispiels einer Erstellung einer Datenbank.
    • [11] 11 ist ein erläuterndes Diagramm (2) des Beispiels einer Erstellung einer Datenbank.
    • [12] 12 ist ein erläuterndes Diagramm (1) eines Beispiels einer Erzeugung von Trainingsdaten.
    • [13] 13 ist ein erläuterndes Diagramm (2) des Beispiels einer Erzeugung von Trainingsdaten.
    • [14] 14 ist ein Flussdiagramm einer Erzeugung von Vergleichsdaten gemäß der Ausführungsform der vorliegenden Offenbarung.
    • [15] 15 ist ein Flussdiagramm eines Vergleichs gemäß der Ausführungsform der vorliegenden Offenbarung.
    • [16] 16 ist ein erläuterndes Diagramm (1) eines Beispiels eines Vergleichs.
    • [17] 17 ist ein erläuterndes Diagramm (2) des Beispiels eines Vergleichs.
    • [18] 18 ist ein Flussdiagramm eines Lernunterstützungsmodus gemäß der Ausführungsform der vorliegenden Offenbarung.
    • [19] 19 ist ein erläuterndes Diagramm eines Beispiels einer Hardwarekonfiguration einer Informationsverarbeitungseinrichtung 900 gemäß der Ausführungsform der vorliegenden Offenbarung.
  • [Beschreibung der Ausführungsformen]
  • Nachfolgend wird eine bevorzugte Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben. Es wird angemerkt, dass in der vorliegenden Beschreibung und den Zeichnungen eine sich wiederholende Beschreibung vermieden wird, indem Bestandselemente mit im Wesentlichen identischen Funktionskonfigurationen durch das gleiche Bezugszeichen bezeichnet werden.
  • Des Weiteren werden in der vorliegenden Beschreibung und den Zeichnungen mehrere Bestandselemente mit im Wesentlichen den gleichen oder ähnlichen Funktionskonfigurationen mitunter voneinander unterschieden, indem unterschiedliche Ziffern an die gleichen Bezugszeichen angehängt werden. Besteht jedoch keine Notwendigkeit, die mehreren Bestandselemente mit im Wesentlichen den gleichen oder ähnlichen Funktionskonfigurationen speziell zu unterscheiden, werden die Bestandselemente nur durch das gleiche Bezugszeichen bezeichnet. Zudem werden ähnliche Bestandselemente in verschiedenen Ausführungsformen mitunter voneinander unterschieden, indem unterschiedliche Buchstabenfolgen an das gleiche Bezugszeichen angehängt werden. Besteht jedoch keine Notwendigkeit, die ähnlichen Bestandselemente speziell zu unterscheiden, werden die Bestandselemente nur durch das gleiche Bezugszeichen bezeichnet.
  • Es wird angemerkt, dass die Beschreibung in der folgenden Reihenfolge erfolgt.
    1. 1. Umstände, bis die Erfinder der vorliegenden Offenbarung zur Schaffung einer Ausführungsform gemäß der vorliegenden Offenbarung gelangten
    2. 2. Ausführungsform der vorliegenden Offenbarung
      • 2.1. Übersicht eines Informationsverarbeitungssystems 1 gemäß einer Ausführungsform der vorliegenden Offenbarung
      • 2.2. Konfiguration einer Sensoreinrichtung 10 gemäß einer Ausführungsform der vorliegenden Offenbarung
      • 2.3. Konfiguration eines Servers 30 gemäß einer Ausführungsform der vorliegenden Offenbarung
      • 2.4. Konfigurationen einer Umsetzungseinrichtung 20 und einer Recheneinrichtung 26 gemäß einer Ausführungsform der vorliegenden Offenbarung
      • 2.5. Konfiguration einer Rückmeldungseinrichtung 70 gemäß einer Ausführungsform der vorliegenden Offenbarung
      • 2.6. Informationsverarbeitungsverfahren gemäß einer Ausführungsform der vorliegenden Offenbarung
      • 2.6.1 Einzelheiten zur Erzeugung von Trainingsdaten
      • 2.6.2 Einzelheiten zur Erzeugung von Vergleichsdaten
      • 2.6.3 Einzelheiten zum Vergleich
      • 2.7. Kurzdarstellung
    3. 3. Lernunterstützungsmodus
    4. 4. Anwendungsbeispiele der Ausführungsform der vorliegenden Offenbarung
    5. 5. Hardwarekonfiguration
    6. 6. Ergänzende Anmerkungen
  • «1. Umstände, bis die Erfinder der vorliegenden Offenbarung zur Schaffung einer Ausführungsform gemäß der vorliegenden Offenbarung gelangten»
  • Vor Beginn einer Beschreibung einer Ausführungsform gemäß der vorliegenden Offenbarung werden zunächst die Umstände beschrieben, bis die Erfinder der vorliegenden Offenbarung zur Schaffung der Ausführungsform gemäß der vorliegenden Offenbarung gelangten.
  • Wie zuvor beschrieben ist es in den vergangenen Jahren mit der Entwicklung der Miniaturisierung, Vereinfachung und dergleichen verschiedener Arten von Bewegungssensoren und Bioinformationssensoren einfacher geworden, verschiedene Arten von Erfassungsdaten mit diesen Sensoren zu erwerben, und die Erfassungsdaten wurden beispielsweise zur Unterstützung eines Benutzers beim Erlernen einer Darbietung (Spielen eines Musikinstruments, eines Sports und dergleichen) verwendet. Bei einer solchen Lernunterstützung werden Daten, die bei der Lernunterstützung verwendet werden können, erhalten, indem verschiedene Erfassungsdatenelemente von mehreren Sensoren gleichzeitig in Echtzeit erworben und die mehreren erworbenen Erfassungsdaten analysiert werden.
  • Des Weiteren ist es beim Durchführen einer solchen Analyse erforderlich, Zeitabläufe des Erwerbens der Erfassungsdaten und Erfassungszeitspannen der mehreren Sensoren miteinander abzugleichen, also die mehreren Erfassungsdatenelemente miteinander zu synchronisieren. In der folgenden Beschreibung wird angenommen, dass „Synchronisieren/Synchronisation“ bedeutet, die Zeitabläufe des Erwerbens von Erfassungsdaten und die Erfassungszeitspannen der mehreren Erfassungsdaten miteinander abzugleichen.
  • Unterdessen liegen die Erfassungsdaten von den Bioinformationssensoren in der Regel in analoger Form vor, wie etwa Wellenformdaten, die sich im Laufe der Zeit ändern. Dagegen geben viele Sensoren oder elektronische Musikinstrumente und dergleichen, die durch einen Benutzer verwendet werden, Erfassungsdaten oder Daten in der Regel in digitaler Form aus. Um dem Unterschied beizukommen, werden bei der oben beschriebenen Lernunterstützung zum gleichzeitigen Analysieren dieser mehreren Erfassungsdatenelemente die Erfassungsdaten in der analogen Form vor einer Analyse durch einen Analog/Digital-Signalumsetzer oder dergleichen in Erfassungsdaten in der digitalen Form umgesetzt. Daher ist es erforderlich, selbst die mehreren Sensordatenelemente in einer Mischung von Formen, wie oben beschrieben, genau zu synchronisieren, um Daten zu erwerben, die zur Unterstützung eines Benutzers beim Erlernen der Darbietung nützlich sind.
  • Allerdings werden die mehreren Erfassungsdatenelemente aufgrund des Unterschieds der Form einer Umsetzung unterzogen, wie oben beschrieben; daher ist es schwierig, diese mehreren Erfassungsdatenelemente genau zu synchronisieren.
  • Vor diesem Hintergrund sind die Erfinder der vorliegenden Offenbarung daher zur Schaffung der Ausführungsform der vorliegenden Offenbarung gelangt, die in der Lage ist, Erfassungsdaten in einer Mischung von Formen genau zu synchronisieren und zu bearbeiten, und die zur Unterstützung des Erlernens einer Darbietung verfügbar ist. Ein Informationsverarbeitungssystem und ein Informationsverarbeitungsverfahren gemäß der oben beschriebenen Ausführungsform der vorliegenden Offenbarung werden im Folgenden nacheinander und ausführlich beschrieben.
  • Es wird angemerkt, dass die Ausführungsform der vorliegenden Offenbarung im Folgenden in Bezug auf den Fall einer Anwendung der Ausführungsform auf eine Anleitung (Erlernen einer Fähigkeit) einer Klavierspieltechnik beschrieben wird. Die Anwendung der Ausführungsform der vorliegenden Offenbarung ist jedoch nicht auf die Anleitung der Klavierspieltechnik beschränkt, und die Ausführungsform der vorliegenden Offenbarung lässt sich auf Spieltechniken anderer Musikinstrumente, das Erlernen von Fähigkeiten eines Sports und des traditionellen Kunsthandwerks, die Rehabilitation einer beeinträchtigten Motilitätsfunktion und dergleichen anwenden. Des Weiteren ist das Musikinstrument in der Ausführungsform der vorliegenden Offenbarung nicht auf das Klavier beschränkt, sondern kann jede Art von elektronischem Musikinstrument oder jede Art von akustischem Musikinstrument sein.
  • Des Weiteren beinhalten Beispiele eines Benutzers in der folgenden Beschreibung einen Lernenden, der eine Anleitung der Klavierspieltechnik erhält, und einen Darbietenden, der eine Darbietung gibt oder geben soll, wie etwa einen Darbietenden (zum Beispiel einen professionellen Pianisten), über den verschiedene Arten von Erfassungsdaten mittels Erstellung einer Datenbank gemäß der vorliegenden Ausführungsform gesammelt werden, und beinhalten auch einen Lehrer oder dergleichen, der das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform verwendet.
  • Zudem wird in der folgenden Beschreibung angenommen, dass Beurteilungswerte (Beurteilungsinformationen) für eine Klavierdarbietung (Darbietung) eine Darbietungsgeschwindigkeit (ein Tempo, einen Rhythmus) des Darbietenden in der Darbietung, eine Genauigkeit der Darbietung (eine Genauigkeit des Rhythmus oder einer Lautstärke jedes Tons), eine Lautstärke eines durch die Darbietung erzeugten Klangs (eine Spitze einer Klangwellenform), eine Klangvibration (einen Integralwert der Klangwellenform), eine Klangfarbe (ein Spektrum), eine Lautstärkedifferenz und eine zeitliche Differenz (eine sogenannte „Balance“ in einem Akkord (eine Gruppe musikalischer Noten)) zwischen musikalischen Tönen in dem Akkord, eine Differenz (einen Bereich) zwischen einem Maximalwert und einem Minimalwert jedes Klangparameters, eine Granularität (eine Auflösung) jedes Klangparameters, eine Energieeffizienz in der Darbietung und dergleichen bedeuten. Des Weiteren liegen in der folgenden Beschreibung unter den mehreren oben beschriebenen Parametern Parameter in einer Kompromissbeziehung (zum Beispiel die Darbietungsgeschwindigkeit und die Genauigkeit) vor; in Anbetracht eines solchen Falls können die Beurteilungswerte der Klavierdarbietung somit Anteile der Parameter (numerische Werte) sein. Aus den folgenden Gründen gibt ein Lehrer eine Anleitung im Allgemeinen unter größerer Wertlegung darauf, bevorzugt die Darbietungsgenauigkeit zu erlernen, als auf die Darbietungsgeschwindigkeit. Wiederholt der Lernende Darbietungen mit vielen falschen Bewegungen und geringer Genauigkeit unter Beibehaltung einer hohen Darbietungsgeschwindigkeit, werden der Körper, die Hirnnerven und dergleichen des Lernenden veranlasst, die falschen Bewegungen zu erlernen. Bei einer Anleitung mit übermäßiger Wertlegung auf das Erlernen der Genauigkeit andererseits kommt es zur Überanstrengung des Lernenden und zu einer gewohnheitsmäßigen Härtung der Muskeln, was zu einer Verringerung der Energieeffizienz in der Darbietung führt. Bei der vorliegenden Ausführungsform können daher die Anteile der Parameter als die Beurteilungswerte unter Berücksichtigung der Ausgewogenheit der Parameter in der Kompromissbeziehung wie oben beschrieben verwendet werden. Bei Anwendung der Ausführungsform der vorliegenden Offenbarung nicht nur auf die Klavierdarbietung, sondern auch auf andere Benutzerbewegungen, können zudem die Beurteilungswerte der Darbietung ein Bewegungsmuster eines durch den Benutzer gemachten Bewegungselements, eine Bewegungsgeschwindigkeit, eine Bewegungsgenauigkeit, eine Bewegungsmenge (eine Bewegungsleistung, ein Impuls, ein Arbeitsbetrag und dergleichen), eine Energieeffizienz in der Darbietung, ein Zustand eines durch die Darbietung erzeugten Ergebnisses und dergleichen sein.
  • Des Weiteren bedeutet Synchronisieren mehrerer Erfassungsdatenelemente in der folgenden Beschreibung, dass Zeitabläufe des Erwerbs und der Verarbeitung der mehreren Erfassungsdatenelemente miteinander abgeglichen werden und Zeitspannen der mehreren Erfassungsdatenelemente miteinander abgeglichen werden.
  • Darüber hinaus wird in der folgenden Beschreibung ein Darbieten eines Teststücks (z. B. eines Musikstücks, einer Phrase, einer Tonleiter, eines Arpeggios, eines Akkords oder dergleichen) durch einen Darbietenden oder einen Lernenden als „ein Versuch“ bezeichnet. Es wird angemerkt, dass es in der Ausführungsform der vorliegenden Offenbarung möglich ist, mehrere Erfassungsdatenelemente in einem Versuch zu erwerben.
  • «2. Ausführungsform der vorliegenden Offenbarung»
  • <Übersicht eines Informationsverarbeitungssystems 1 gemäß einer Ausführungsform der vorliegenden Offenbarung>
  • Zunächst wird eine schematische Konfiguration eines Informationsverarbeitungssystems (einer Informationsverarbeitungseinrichtung) 1 gemäß der Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 1 beschrieben. 1 ist ein erläuterndes Diagramm eines Beispiels einer Konfiguration des Informationsverarbeitungssystems 1 gemäß der vorliegenden Ausführungsform. In dem Informationsverarbeitungssystem 1 gemäß der vorliegenden Ausführungsform analysiert ein Server (Informationsverarbeitungsabschnitt) 30 mehrere Erfassungsdatenelemente, die von mehreren Sensoreinrichtungen (Sensoren) 10 erhalten wurden, die einen Zustand bezüglich einer durch Bewegen eines Benutzers (Lernender oder Darbietender) gegebenen Darbietung erfassen. Des Weiteren meldet das Informationsverarbeitungssystem 1 Informationen in verschiedenen Formen über eine Rückmeldungseinrichtung (einen Informationsausgabeabschnitt) 70 auf der Grundlage eines Ergebnisses der oben beschriebenen Analyse an den Benutzer zurück.
  • Gemäß Darstellung in 1 beinhaltet das Informationsverarbeitungssystem 1 gemäß der vorliegenden Ausführungsform die Sensoreinrichtung 10, den Server 30 und die Rückmeldungseinrichtung 70, und diese Einrichtungen sind über ein Netzwerk 90 kommunikativ miteinander verbunden. Beispielsweise können die Sensoreinrichtung 10, der Server 30 und die Rückmeldungseinrichtung 70 über nicht dargestellte Basisstationen oder dergleichen (zum Beispiel Basisstationen von Mobiltelefonen oder Zugangspunkte eines drahtlosen LAN (Local Area Network)) mit dem Netzwerk 90 verbunden sein. Anders ausgedrückt lässt sich ein beliebiges Schema, ob drahtgebunden oder drahtlos, auf ein in dem Netzwerk 90 verwendetes Kommunikationsschema anwenden. Im Folgenden wird ein Überblick über jede in dem Informationsverarbeitungssystem 1 gemäß der vorliegenden Ausführungsform enthaltene Einrichtung beschrieben.
  • (Sensoreinrichtung 10)
  • Die Sensoreinrichtung 10 kann einen Zustand bezüglich einer Darbietung gemäß einer Bewegung des Darbietenden oder des Lernenden erfassen. Insbesondere kann die Sensoreinrichtung 10 jede Art von Bioinformationssensor, der sich an einem Körperteil des Lernenden oder des Darbietenden befestigen lässt, eine Bildgebungseinrichtung, die den Lernenden oder den Ausführenden abbildet, ein Drucksensor oder ein Fotoreflektorsensor, der in dem durch den Lernenden oder den Darbietenden gespielten Klavier vorgesehen ist, eine Tonaufnahmeeinrichtung (zum Beispiel ein Mikrofon), die die Töne des Klaviers aufnimmt, oder dergleichen sein. Des Weiteren kann die Sensoreinrichtung 10 ein elektronisches Musikinstrument wie etwa ein elektronisches Klavier sein, das an sich Signale ausgeben kann. Zudem sind die Anzahl der Sensoreinrichtungen 10 und deren Art, die in dem Informationsverarbeitungssystem 1 gemäß der vorliegenden Ausführungsform enthalten sind, nicht auf eine bestimmte Anzahl und eine bestimmte Art beschränkt. Es wird angemerkt, dass Einzelheiten der Sensoreinrichtung 10 später beschrieben werden.
  • (Server 30)
  • Der Server 30 ist beispielsweise mit einem Computer konfiguriert. Insbesondere sammelt der Server 30 die Erfassungsdaten bezüglich der Darbietung des Darbietenden oder des Lernenden von der Sensoreinrichtung 10, analysiert und verarbeitet die gesammelten Erfassungsdaten und gibt auf der Grundlage von Analyse- und Verarbeitungsergebnissen Informationen zur Rückmeldung (Rückmeldungsinformationen) an den Lernenden aus oder dergleichen. Ferner kann der Server 30 beispielsweise ein Computer, der dem Benutzer gehört, oder ein Computer, der einem Dienstanbieter gehört, der Dienste mittels der vorliegenden Ausführungsform bereitstellt und der sich an einem anderen Ort als der Benutzer befindet, sein. Es wird angemerkt, dass Einzelheiten des Servers 30 später beschrieben werden.
  • (Rückmeldungseinrichtung 70)
  • Die Rückmeldungseinrichtung 70 ist eine Einrichtung zum Präsentieren (Ausgeben) der Rückmeldungsinformationen von dem Server 30 an den Lernenden oder dergleichen, und benachrichtigt den Lernenden über die Rückmeldungsinformationen als sichtbare, haptische, akustische oder hörbare Daten während oder nach der Darbietung des Lernenden (gibt die Rückmeldungsinformationen an den Lernenden aus). Beispielsweise kann die Rückmeldungseinrichtung 70 eine Vorrichtung sein, die eine Anzeigevorrichtung (Anzeige) und eine Audioausgabevorrichtung (einen Lautsprecher) beinhaltet, wie etwa ein Tablet, ein Smartphone, ein Laptop-PC (Personal Computer) oder ein Notebook-PC. Des Weiteren kann die Rückmeldungseinrichtung 70 eine Wearable-Vorrichtung sein, die an einem Körperteil des Lernenden befestigt werden kann. Insbesondere kann die Wearable-Vorrichtung jede Art von Wearable-Vorrichtung sein, wie etwa die folgenden Arten: HMD (Head Mounted Display), Ohrvorrichtung (Kopfhörer), Fußreif, Armband, Choker-Ring, Brille, Handschuh, Pad, Badge und Kleidungsstück. Es wird angemerkt, dass Einzelheiten der Rückmeldungseinrichtung 70 später beschrieben werden.
  • Während in 1 dargestellt ist, dass das Informationsverarbeitungssystem 1 gemäß der vorliegenden Ausführungsform eine Sensoreinrichtung 10 und eine Rückmeldungseinrichtung 70 beinhaltet, ist die Konfiguration des Informationsverarbeitungssystems 1 gemäß der vorliegenden Ausführungsform nicht auf die in 1 dargestellte beschränkt. Bei der vorliegenden Ausführungsform kann das Informationsverarbeitungssystem 1 beispielsweise mehrere Sensoreinrichtungen 10 und mehrere Rückmeldungseinrichtungen 70 beinhalten. Des Weiteren kann das Informationsverarbeitungssystem 1 gemäß der Ausführungsform beispielsweise eine andere Kommunikationseinrichtung beinhalten, wie etwa eine Relaiseinrichtung, die zum Zeitpunkt einer Übertragung der Erfassungsdaten von der Sensoreinrichtung 10 zum Server 30 verwendet wird.
  • <Konfiguration einer Sensoreinrichtung 10 gemäß einer Ausführungsform der vorliegenden Offenbarung>
  • Als Nächstes wird eine Konfiguration der Sensoreinrichtung 10 gemäß der Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 2 beschrieben. 2 ist ein Blockdiagramm, das die Konfiguration der Sensoreinrichtung 10 gemäß der vorliegenden Ausführungsform zeigt. Gemäß Darstellung in 2 weist die Sensoreinrichtung 10 gemäß der vorliegenden Ausführungsform hauptsächlich einen Sensorabschnitt 100, einen Hauptsteuerabschnitt 140 und einen Kommunikationsabschnitt 160 auf. Einzelheiten der Funktionsabschnitte der Sensoreinrichtung 10 werden im Folgenden beschrieben.
  • (Sensorabschnitt 100)
  • Der Sensorabschnitt 100 kann, wenn er am Körper des Darbietenden oder des Lernenden befestigt ist, die Erfassungsdaten erwerben, die einen Zustand jedes Bewegungselements angeben, der durch jeden Körperteil des Lernenden oder des Darbietenden während der Darbietung gemacht wird. Beispielsweise wird der Sensorabschnitt 100 durch eine oder mehrere Sensorvorrichtungen realisiert, darunter ein Beschleunigungssensor, ein Winkelgeschwindigkeitssensor, ein Gyrosensor, ein geomagnetischer Sensor, ein Positionssensor, ein Vibrationssensor, ein Drucksensor und ein Biegesensor. Die oben beschriebenen Sensorvorrichtungen detektieren jeweils Änderungen einer Beschleunigung, einer Winkelgeschwindigkeit oder dergleichen, die durch die Bewegungselemente aufgebracht werden, und erzeugen mehrere Erfassungsdatenelemente, die die detektierten Änderungen angeben. Ist der Sensorabschnitt 100 ein Sensor (erster Sensor), der Erfassungsdaten in einer analogen Form erwirbt, werden die Erfassungsdaten durch eine später beschriebene Umsetzungseinrichtung (einen Umsetzungsabschnitt) 20 in Erfassungsdaten in digitaler Form umgesetzt, und die Erfassungsdaten in der digitalen Form werden an den Server 30 ausgegeben. In der vorliegenden Ausführungsform ist der oben beschriebene Sensorabschnitt 100 jedoch nicht auf einen Sensor beschränkt, der Erfassungsdaten in der analogen Form erwirbt, sondern kann ein Sensor (zweiter Sensor) sein, der Erfassungsdaten in der digitalen Form erwirbt.
  • Zudem kann der Sensorabschnitt 100 beispielsweise ein Tastenberührungsdetektionssensor sein, der vertikale Bewegungen von Tasten des Klaviers (eines Subjekts) detektiert, die sich durch eine Bewegung (Darbietung) des Lernenden oder des Darbietenden bewegen. Die vertikale Bewegung jeder Taste lässt sich beispielsweise durch Installieren des Tastenberührungsdetektionssensors unter jeder Taste detektieren. Insbesondere kann der Sensorabschnitt 100 beispielsweise ein Drucksensor, der einen Druck detektiert, der durch das Bewegungselement des Lernenden oder des Darbietenden auf jede Taste des Klaviers ausgeübt wird, oder ein Fotoreflektorsensor, der einen Lichtempfangs-/Emissionssensor beinhaltet, der die vertikale Bewegung jeder Taste durch Lichtreflexion detektiert, sein. Es wird angemerkt, dass, wenn der oben beschriebene Sensorabschnitt 100 der Sensor (erste Sensor) ist, der die Erfassungsdaten in der analogen Form erwirbt, die Erfassungsdaten durch die Umsetzungseinrichtung 20 in die Erfassungsdaten in der digitalen Form umgesetzt werden, und die Erfassungsdaten in der digitalen Form an den Server 30 ausgegeben werden. Zudem ist bei der vorliegenden Ausführungsform das Subjekt, für das eine Detektion durchgeführt wird, nicht auf die Tasten des Klaviers beschränkt, sondern kann ein anderes Musikinstrument (akustisches Musikinstrument oder elektronisches Musikinstrument) an sich oder ein Teil des anderen Musikinstruments sein.
  • Des Weiteren kann der Sensorabschnitt 100 bei der vorliegenden Ausführungsform eine Bildgebungseinrichtung sein, die den Lernenden oder den Darbietenden abbildet, und in diesem Fall ist es möglich, Positionen und Bewegungen von Gelenken des Darbietenden oder dergleichen quantitativ zu detektieren, indem bewirkt wird, dass eine Hochgeschwindigkeitsbildgebungskamera (Bildgebungseinrichtung) Bewegungen des Darbietenden aufnimmt oder dergleichen. Zudem kann die Bildgebungseinrichtung bei der vorliegenden Ausführungsform eine Bewegung eines Augapfels (Augapfelbewegung) oder eine Größe einer Pupille (einen Pupillendurchmesser) des Lernenden oder des Darbietenden detektieren. Es wird angemerkt, dass, wenn der oben beschriebene Sensorabschnitt 100 der Sensor (erste Sensor) ist, der die Erfassungsdaten in der analogen Form erwirbt, die Erfassungsdaten durch die Umsetzungseinrichtung 20 in die Erfassungsdaten in der digitalen Form umgesetzt werden, und die Erfassungsdaten in der digitalen Form an den Server 30 ausgegeben werden, ähnlich der bisherigen Beschreibung.
  • Zudem kann der Sensorabschnitt 100 bei der vorliegenden Ausführungsform ein Kernspinresonanzsensor sein, der einen Mundhöhlenzustand oder einen intratrachealen Zustand, eine Bewegung einer Lippe oder einer Zunge und dergleichen des Lernenden oder des Darbietenden unter Verwendung von Kernspinresonanz detektiert. Insbesondere kann der Sensorabschnitt 100 den Zustand, die Bewegung und dergleichen, die oben beschrieben werden, detektieren, indem veranlasst wird, dass der Lernende oder dergleichen eine Darbietung in einem MRT(Magnetresonanztomographie)-Gerät ausführt. Die MRT ist besonders bei einer Anwendung der Ausführungsform der vorliegenden Offenbarung auf eine Spieltechnik für jede Art von Blechblasinstrument (eine Flöte, eine Oboe, eine Klarinette, eine Trompete oder dergleichen) nützlich, da eine Detektion der Bewegung der Lippe oder der Zunge möglich ist, die mit anderen Methoden nur schwer zu detektieren ist. Es wird angemerkt, dass, wenn der oben beschriebene Sensorabschnitt 100 der Sensor (erste Sensor) ist, der die Erfassungsdaten in der analogen Form erwirbt, die Erfassungsdaten durch die Umsetzungseinrichtung 20 in die Erfassungsdaten in der digitalen Form umgesetzt werden, und die Erfassungsdaten in der digitalen Form an den Server 30 ausgegeben werden, ähnlich der bisherigen Beschreibung.
  • Des Weiteren kann der Sensorabschnitt 100 bei der vorliegenden Ausführungsform ein Bioinformationssensor sein, wie etwa ein myoelektrischer Sensor, ein Herzschlagsensor, ein Pulssensor, ein Blutflusssensor, ein Atmungssensor, ein Gehirnwellensensor, ein Hauttemperatursensor, ein Sensor für die elektrische Leitfähigkeit der Haut (Hautwiderstand) oder ein Schweißsensor. Es wird hierin angemerkt, dass der myoelektrische Sensor ein Sensor ist, der ein schwaches elektrisches Feld erfasst, das von Muskelfasern erzeugt wird, die Muskeln konfigurieren. Insbesondere kann der myoelektrische Sensor aktive Muskelmassen der Muskeln quantitativ detektieren, indem er myoelektrische Potenziale mittels elektrischer Signale misst, die bei Kontraktion der Muskeln eines Arms und dergleichen des Darbietenden oder des Lernenden in Muskelfasern erzeugt werden und die sich mittels mehrerer an dem Arm und dergleichen befestigter Elektroden durch eine Oberfläche des Körpers ausbreiten. Des Weiteren ist der Herzschlagsensor ein Sensor, der einen Herzschlag detektiert, der ein Schlag eines Herzens ist, und der Pulssensor ist ein Sensor, der einen Puls detektiert, der eine arterielle Pulsation ist, die auf der Oberfläche des Körpers oder dergleichen auftritt, wenn es durch Blutzufuhr zum gesamten Körper über Arterien zu Druckänderungen an Arterienwänden kommt. Der Blutflusssensor ist ein Sensor, der eine Infrarotstrahlung an den Körper abgibt und eine Blutflussrate durch Reflexion der Infrarotstrahlung detektiert. Der Atmungssensor kann ein Atemströmungsmesser sein, der eine Änderung eines Atemvolumens detektiert. Der Gehirnwellensensor ist ein Sensor, der eine Gehirnwelle detektiert, indem mehrere Elektroden an einer Kopfhaut befestigt werden, Rauschen aus einer Fluktuation einer gemessenen Potenzialdifferenz zwischen den Elektroden entfernt wird und eine periodische Welle extrahiert wird. Der Hauttemperatursensor ist ein Sensor, der eine Körpertemperatur des Darbietenden oder des Lernenden detektiert, und der Sensor für die elektrische Leitfähigkeit der Haut ist ein Sensor, der einen elektrischen Hautwiderstand des Darbietenden oder des Lernenden detektiert. Zudem ist der Schweißsensor ein Sensor, der einen Schweißfluss des Darbietenden oder des Lernenden detektiert. Es wird angemerkt, dass, wenn der oben beschriebene Sensorabschnitt 100 der Sensor (erste Sensor) ist, der die Erfassungsdaten in der analogen Form erwirbt, die Erfassungsdaten durch die Umsetzungseinrichtung 20 in die Erfassungsdaten in der digitalen Form umgesetzt werden, und die Erfassungsdaten in der digitalen Form an den Server 30 ausgegeben werden, ähnlich der bisherigen Beschreibung.
  • Des Weiteren kann der Sensorabschnitt 100 eine Tonaufnahmeeinrichtung sein, die Töne von dem durch den Darbietenden oder den Lernenden gespielten Klavier aufnimmt. Der Sensorabschnitt 100 kann beispielsweise ein Mikrofon sein, das in der Nähe des Klaviers vorgesehen ist. Es wird angemerkt, dass, wenn der oben beschriebene Sensorabschnitt 100 der Sensor (erste Sensor) ist, der die Erfassungsdaten in der analogen Form erwirbt, die Erfassungsdaten durch die Umsetzungseinrichtung 20 in die Erfassungsdaten in der digitalen Form umgesetzt werden, und die Erfassungsdaten in der digitalen Form an den Server 30 ausgegeben werden, ähnlich der bisherigen Beschreibung.
  • Zudem können die Erfassungsdaten von dem Sensorabschnitt 100 eine Ausgabe (Klangdaten) von einem elektronischen Musikinstrument sein, das durch den Lernenden oder den Darbietenden gespielt wird, also bei der Darbietung verwendet wird. Anders ausgedrückt kann der Sensorabschnitt 100 bei der vorliegenden Ausführungsform ein elektronisches Musikinstrument sein. In diesem Fall sind die Erfassungsdaten von dem Sensorabschnitt 100 Daten in der digitalen Form, die beispielsweise einem MIDI-Standard (MIDI: Musical Instrument Digital Interface) entsprechen.
  • Des Weiteren kann der Sensorabschnitt 100 einen Positionsinformationssensor wie etwa einen GPS-Empfänger (GPS: Global Positioning System) oder dergleichen beinhalten, der Positionsinformationen bezüglich des Lernenden oder des Darbietenden erwirbt. Darüber hinaus kann der Sensorabschnitt 100 verschiedene andere Arten von Sensoren beinhalten, wie etwa einen Luftdrucksensor, einen Temperatursensor und einen Feuchtigkeitssensor zum Erwerben von Umgebungsinformationen, die einen Zustand einer Umgebung angeben, in der der Lernende oder der Darbietende die Darbietung gibt.
  • Zudem kann der Sensorabschnitt 100 bei der vorliegenden Ausführungsform jede Art von Sensor sein, der bereits in einem Musikinstrument (einem akustischen Musikinstrument oder einem elektronischen Musikinstrument) vorgesehen ist, das bereits durch jeden Musikinstrumentenhersteller geliefert wurde.
  • (Hauptsteuerabschnitt 140)
  • Der Hauptsteuerabschnitt 140 ist in der Sensoreinrichtung 10 vorgesehen und kann eine Steuerung über die Blöcke in der Sensoreinrichtung 10 ausüben. Der Hauptsteuerabschnitt 140 wird durch Hardware realisiert, die beispielsweise eine CPU (Central Processing Unit - Zentrale Verarbeitungseinheit), ein ROM (Read Only Memory - Nur-Lese-Speicher) und ein RAM (Random Access Memory - Direktzugriffsspeicher) ist. Des Weiteren kann der Hauptsteuerabschnitt 140 als ein Datenerwerbsabschnitt 142, eine Verarbeitungsabschnitt 144 und ein Ausgabesteuerabschnitt 152 fungieren. Einzelheiten dieser Funktionsabschnitte des Hauptsteuerabschnitts 140 gemäß der vorliegenden Ausführungsform werden im Folgenden beschrieben.
  • -Datenerwerbsabschnitt 142-
  • Der Datenerwerbsabschnitt 142 übt eine Steuerung über den Sensorabschnitt 100 aus, erwirbt die von dem Sensorabschnitt 100 ausgegebenen Erfassungsdaten und gibt die erworbenen Erfassungsdaten an den Verarbeitungsabschnitt 144 aus, der später beschrieben wird.
  • -Verarbeitungsabschnitt 144-
  • Der Verarbeitungsabschnitt 144 setzt die von dem oben beschriebenen Datenerwerbsabschnitt 142 ausgegebenen Erfassungsdaten in Erfassungsdaten in einer vorbestimmten Form um, in der die Erfassungsdaten über das Netzwerk 90 übertragen werden können, und gibt die Erfassungsdaten in der vorbestimmten Form an den Ausgabesteuerabschnitt 152 aus, der später beschrieben wird.
  • -Ausgabesteuerabschnitt 152-
  • Der Ausgabesteuerabschnitt 152 übt eine Steuerung über den Kommunikationsabschnitt 160, der später beschrieben wird, so aus, dass die von dem oben beschriebenen Verarbeitungsabschnitt 144 ausgegebenen Erfassungsdaten in der vorbestimmten Form an den Server 30 übertragen werden.
  • (Kommunikationsabschnitt 160)
  • Der Kommunikationsabschnitt 160 ist in der Sensoreinrichtung 10 vorgesehen und kann Informationen an eine externe Einrichtung wie etwa den Server 30 übertragen und von dieser empfangen. Anders ausgedrückt kann der Kommunikationsabschnitt 160 als eine Kommunikationsschnittstelle mit Funktionen zum Senden und Empfangen von Daten bezeichnet werden. Es wird angemerkt, dass der Kommunikationsabschnitt 160 durch Kommunikationsvorrichtungen wie etwa eine Kommunikationsantenne, eine Sendeempfangsschaltung und einen Port realisiert wird.
  • Es wird angemerkt, dass die Sensoreinrichtung 10 eine Wearable-Vorrichtung jeder Art sein kann, darunter die folgenden Arten: HMD, Ohrvorrichtung, Fußreif, Armband, Choker-Ring, Brille, Pad, Badge, Gürtel und Kleidungsstück. Insbesondere können diese Wearable-Vorrichtungen als Motion-Capture-Vorrichtungen an einem Finger, einem Arm, einem Bein, dem Körper, einem Kopf und einem Zeh des Lernenden oder des Darbietenden vorgesehen sein, um verschiedene Arten von Erfassungsdaten zu erwerben. Des Weiteren kann die Sensoreinrichtung 10 eine Einrichtung sein, wie die Bildgebungseinrichtung oder die Tonaufnahmeeinrichtung, die in der Umgebung des Lernenden oder des Darbietenden installiert ist, oder kann das Musikinstrument an sich sein, das durch den Lernenden oder den Darbietenden verwendet wird; die Sensoreinrichtung 10 ist also nicht auf eine bestimmte Art beschränkt. Zudem ist die Sensoreinrichtung 10 bei der vorliegenden Ausführungsform nicht auf die in 2 dargestellte Konfiguration beschränkt.
  • <Konfiguration eines Servers 30 gemäß einer Ausführungsform der vorliegenden Offenbarung>
  • Als Nächstes wird eine Konfiguration des Servers 30 gemäß der Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 3 beschrieben. 3 ist ein Blockdiagramm, das die Konfiguration des Servers 30 gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. Wie zuvor beschrieben, ist der Server 30 beispielsweise mit einem Computer konfiguriert. Gemäß Darstellung in 3 weist der Server 30 hauptsächlich einen Eingabeabschnitt 300, einen Ausgabeabschnitt 310, einen Hauptsteuerabschnitt 340, einen Kommunikationsabschnitt 360 und einen Speicherungsabschnitt 370 auf. Einzelheiten der Funktionsabschnitte des Servers 30 werden im Folgenden beschrieben.
  • (Eingabeabschnitt 300)
  • Der Eingabeabschnitt 300 empfängt Eingaben von Daten und Befehlen, die an den Server 30 übertragen werden. Insbesondere wird der Eingabeabschnitt 300 durch ein Touchpanel, eine Tastatur und dergleichen realisiert und kann Eingaben von Attributinformationen bezüglich des Lernenden oder des Darbietenden, subjektive Beurteilungen für die Darbietung, die später beschrieben wird, und dergleichen empfangen.
  • (Ausgabeabschnitt 310)
  • Der Ausgabeabschnitt 310 ist beispielsweise mit einer Anzeige, einem Lautsprecher, einem Videoausgabeanschluss, einem Audioausgabeanschluss und dergleichen konfiguriert und gibt verschiedene Arten von Informationen durch Bilder oder Audio aus.
  • (Hauptsteuerabschnitt 340)
  • Der Hauptsteuerabschnitt 340 ist in dem Server 30 vorgesehen und kann eine Steuerung über die Blöcke in dem Server 30 ausüben. Der Hauptsteuerabschnitt 340 wird durch Hardware realisiert, die beispielsweise eine CPU, ein ROM und ein RAM ist. Des Weiteren kann der Hauptsteuerabschnitt 340 als ein Datenerwerbsabschnitt 342, ein Analyseabschnitt (Informationsverarbeitungsabschnitt) 346 und ein Ausgabesteuerabschnitt (Informationsausgabeabschnitt) 352 fungieren. Einzelheiten dieser Funktionsabschnitte des Hauptsteuerabschnitts 340 gemäß der vorliegenden Ausführungsform werden im Folgenden beschrieben.
  • -Datenerwerbsabschnitt 342-
  • Der Datenerwerbsabschnitt 342 erwirbt die von der oben beschriebenen Sensoreinrichtung 10 übertragenen Erfassungsdaten und gibt die erworbenen Erfassungsdaten an den Verarbeitungsabschnitt 344 aus, der später beschrieben wird.
  • -Verarbeitungsabschnitt 344-
  • Der Verarbeitungsabschnitt 344 analysiert und verarbeitet die Erfassungsdaten, die von dem oben beschriebenen Datenerwerbsabschnitt 342 ausgegeben werden. Der Ausgabesteuerabschnitt 352 erzeugt dann Rückmeldungsinformationen, die auf der Grundlage von Analyse- und Verarbeitungsergebnissen an den Benutzer zurückzumelden sind. Des Weiteren kann der Verarbeitungsabschnitt 344 eine Datenbank (DB) 372 (siehe 10) erstellen, die verschiedene Arten von Informationen zum Erzeugen der Rückmeldungsinformationen beinhaltet. Um diese oben beschriebenen Funktionen zu realisieren, fungiert der Verarbeitungsabschnitt 344 insbesondere als ein Analyseabschnitt 346, ein Lernabschnitt 348 und ein Vergleichsabschnitt 350, wie in 3 dargestellt. Einzelheiten dieser Funktionsabschnitte des Verarbeitungsabschnitts 344 gemäß der vorliegenden Ausführungsform werden im Folgenden beschrieben.
  • Der Analyseabschnitt 346 führt eine Analyse und dergleichen an mehreren Sensordatenelementen durch, die sich in einem Versuch erwerben lassen, und extrahiert Merkmalsvariablen, die einen Zustand der Darbietung des Lernenden oder des Darbietenden charakterisieren. Die Merkmalsvariablen können als ein Maximalwert, ein Minimalwert, ein Mittelwert, ein Integralwert, eine Periode, ein Änderungsbetrag jedes Erfassungsdatenelements extrahiert werden, indem jedes Erfassungsdatenelement durch den Analyseabschnitt 346 statistisch verarbeitet wird. Insbesondere können die Merkmalsvariablen Zeitpunkte von Spitzen der Muskelaktivitäten und maximale Gelenkwinkel und dergleichen sein. Die so extrahierten Merkmalsvariablen werden mit den mehreren in dem Versuch erworbenen Sensordatenelementen verknüpft und in dem Speicherungsabschnitt 370, der später als die DB 372 beschrieben wird, gespeichert. Des Weiteren kann der Analyseabschnitt 346 die extrahierten Merkmalsvariablen an den Lernabschnitt 348, den Vergleichsabschnitt 350 und dergleichen ausgeben, die später beschrieben werden.
  • Zudem kann der Analyseabschnitt 346 eine Analyse und dergleichen an den mehreren Erfassungsdatenelementen (insbesondere beispielsweise Audiodaten bezüglich der Darbietung), die in einem Versuch erworben werden können, durchführen und Beurteilungswerte für die Darbietung des Lernenden oder des Darbietenden extrahieren. Die Beurteilungswerte sind beispielsweise Beurteilungswerte für eine Klavierdarbietung und können die Darbietungsgeschwindigkeit des Darbietenden in der Darbietung, die Genauigkeit der Darbietung, die Lautstärke des durch die Darbietung erzeugten Klangs, die Klangvibration, die Klangfarbe, die Lautstärkedifferenz und die zeitliche Differenz zwischen den musikalischen Tönen in dem Akkord, die Differenz zwischen dem Maximalwert und dem Minimalwert jedes Klangparameters, die Granularität jedes Klangparameters und dergleichen sein. Die so extrahierten Beurteilungswerte werden mit den mehreren in dem Versuch erworbenen Sensordatenelementen verknüpft und in dem Speicherungsabschnitt 370, der später als die DB 372 beschrieben wird, gespeichert. Des Weiteren kann der Analyseabschnitt 346 die extrahierten Beurteilungswerte an den Lernabschnitt 348, den Vergleichsabschnitt 350 und dergleichen ausgeben, die später beschrieben werden.
  • Der Lernabschnitt 348 erwirbt Informationen, die mit einer Beziehung zwischen den Erfassungsdaten, den Merkmalsvariablen und den Beurteilungswerten assoziiert sind, indem eine multivariate Analyse daran durchgeführt wird. Insbesondere ist der Lernabschnitt 348 ein überwachtes Lerninstrument wie etwa eine Stützvektorregression und ein tiefes neuronales Netz und kann maschinelles Lernen an der Beziehung zwischen den Erfassungsdaten und den Beurteilungswerten durchführen, indem beispielsweise die multivariate Analyse wie etwa eine Mehrfachregressionsanalyse daran durchgeführt wird. Informationen bezüglich der Beziehung (Beziehungsinformation), die durch Durchführen des maschinellen Lernens durch den Lernabschnitt 348 erhalten werden, können in dem Speicherungsabschnitt 370, der später als die DB 372 beschrieben wird, gespeichert werden und können bei einer Auswahl von Trainingsdaten verwendet werden, die durch den Vergleichsabschnitt 350, der später beschrieben wird, durchgeführt wird.
  • Der Vergleichsabschnitt 350 wählt ein oder mehrere Erfassungsdatenelemente, die als ein Modell des Lernenden dienen, aus der DB 372 aus und vergleicht die ausgewählten Erfassungsdaten (Trainingsdaten) mit Erfassungsdaten (Vergleichsdaten) desselben Gegenstands aus mehreren neu erworbenen Erfassungsdatenelementen bezüglich des Lernenden. Insbesondere kann der Vergleichsabschnitt 350 beispielsweise eine Differenz (Diskrepanz) zwischen den Trainingsdaten und den Vergleichsdaten berechnen oder einen Übereinstimmungsgrad dieser Datenelemente berechnen. Des Weiteren kann der Vergleichsabschnitt 350 einen Vergleich durchführen, indem die Trainingsdaten den Vergleichsdaten überlagert werden.
  • Insbesondere wählt der Vergleichsabschnitt 350 als die Trainingsdaten beispielsweise repräsentative Erfassungsdaten, die als das Modell des Lernenden mit dem Ziel einer genauen Darbietung dienen, aus der DB 372 aus und vergleicht die ausgewählten Trainingsdaten mit den Erfassungsdaten bezüglich des Lernenden des gleichen Teils. Liegen mehrere als Modelle dienende repräsentative Erfassungsdatenelemente vor, berechnet der Vergleichsabschnitt 350 zu diesem Zeitpunkt eine Differenz zwischen jedem Erfassungsdatenelement und den Erfassungsdaten bezüglich des Lernenden desselben Teils als ein Teil der repräsentativen Erfassungsdaten. Der Vergleichsabschnitt 350 wählt dann die Erfassungsdaten mit der größten Differenz als die Erfassungsdaten bezüglich eines Elements mit hohem Korrekturbedarf aus, sodass die Darbietung des Lernenden genauer wird. Bei der vorliegenden Ausführungsform kann durch eine solche Auswahl einem technischen Element, das der Lernende am langsamsten erlernt, mehr Aufmerksamkeit geschenkt werden; somit ist es möglich, die Rückmeldungsinformationen zu erzeugen, die nützlich sind, um die genaue Darbietung effizient zu erreichen.
  • Alternativ kann der Vergleichsabschnitt 350 als die Trainingsdaten die Erfassungsdaten, die schätzungsgemäß eine stärkere Beziehung zur Genauigkeit (Beurteilungswert) der Darbietung haben, auf der Grundlage der Informationen bezüglich der durch den oben beschriebenen Lernabschnitt 348 erhaltenen Beziehung auswählen. Bei der vorliegenden Ausführungsform kann durch eine solche Auswahl einem technischen Element, das ein effizientes Erreichen der genauen Darbietung ermöglicht, mehr Aufmerksamkeit geschenkt werden; somit ist es möglich, die Rückmeldungsinformationen zu erzeugen, die nützlich sind, um die genaue Darbietung effizient zu erreichen.
  • Bei einer weiteren Alternative kann der Vergleichsabschnitt 350 bei der vorliegenden Ausführungsform als die Trainingsdaten die Erfassungsdaten bezüglich eines Darbietenden, der die gleichen oder ähnliche Attributinformationen wie Attributinformationen (Geschlecht, Alter, Körpermaße, Muskelkraft, Empfindlichkeit, Behändigkeit und dergleichen) bezüglich des Lernenden aufweist, auf der Grundlage der Attributinformationen bezüglich des Lernenden auswählen. Bei der vorliegenden Ausführungsform kann durch eine solche Auswahl eine auf Attribute und dergleichen des Lernenden zugeschnittene Rückmeldung durchgeführt werden; somit kann der Lernende effizient lernen. Zudem kann der Vergleichsabschnitt 350 bei einem Vergleich zwischen einem vergangenen Zustand und einem aktuellen Zustand der Darbietung des Lernenden vergangene Erfassungsdaten bezüglich des Lernenden auswählen.
  • Zudem ist der Vergleichsabschnitt 350 bei der vorliegenden Ausführungsform nicht auf das Vergleichen der Erfassungsdaten beschränkt, sondern kann die durch den oben beschriebenen Analyseabschnitt 346 extrahierten Merkmalsvariablen vergleichen. Selbst in einem solchen Fall kann der Vergleichsabschnitt 350 die oben beschriebene Auswahl durchführen, falls mehrere als Modelle dienende repräsentative Merkmalsvariablen vorliegen.
  • -Ausgabesteuerabschnitt 352-
  • Der Ausgabesteuerabschnitt 352 erzeugt die Rückmeldungsinformationen auf der Grundlage eines Vergleichsergebnisses durch den Vergleichsabschnitt 350 und übt eine derartige Steuerung über den Kommunikationsabschnitt 360, der später beschrieben wird, aus, dass die Rückmeldungsinformationen an die Rückmeldungseinrichtung 70 übertragen werden. Die übertragenen Rückmeldungsinformationen werden über die Rückmeldungseinrichtung 70 an den Benutzer ausgegeben. Des Weiteren kann der Ausgabesteuerabschnitt 352 eine Verarbeitung zum Hervorheben oder Verringern der Differenz (Diskrepanz) zwischen den Trainingsdaten und den Vergleichsdaten durchführen, indem die Differenz entweder räumlich oder zeitlich erweitert oder verkleinert wird, und die Rückmeldungsinformationen erzeugen. Insbesondere meldet der Ausgabesteuerungsabschnitt 352 bei der vorliegenden Ausführungsform die durch Verringern der Differenz erzeugten Rückmeldungsinformationen auf einem technischen Niveau mit größerer Differenz zu den Trainingsdaten an den Lernenden zurück, um einen Rückgang der Lernmotivation zu vermeiden. Andererseits meldet der Ausgabesteuerabschnitt 352 bei der vorliegenden Ausführungsform die Rückmeldungsinformationen, die durch Hervorheben der kleinen Differenz erzeugt werden, um den Lernenden auf ein höheres technisches Niveau zu führen, indem die Differenz für den Lernenden leicht zu erkennen ist, auf dem technischen Niveau mit kleinerer Differenz zu dem der Trainingsdaten an den Lernenden zurück. Anders ausgedrückt ermöglicht das Durchführen der oben beschriebenen Verarbeitung bei der vorliegenden Ausführungsform, dass der Lernende die Differenz zu den Trainingsdaten leicht erkennt, während der Rückgang der Motivation des Lernenden vermieden wird; somit ist es möglich, eine Unterstützung eines effizienten Erlernens der Darbietung zu realisieren.
  • Zudem kann der Ausgabesteuerabschnitt 352 eine für die Rückmeldungsinformationen geeignete Wahrnehmungsmodalität (wie etwa eine visuelle Wahrnehmung, eine akustische Wahrnehmung oder eine taktile Wahrnehmung) auf der Grundlage von Situationen des Benutzers und dergleichen auswählen und die Rückmeldungsinformationen gemäß der ausgewählten Wahrnehmungsmodalität an die Rückmeldungseinrichtung 70 übertragen. Bei der vorliegenden Ausführungsform können die Rückmeldungsinformationen dem Benutzer durch die Wahrnehmungsmodalität gemäß den Situationen des Benutzers und dergleichen bereitgestellt werden; somit ist es möglich, die Unterstützung eines effizienten Erlernens der Darbietung zu realisieren.
  • (Kommunikationsabschnitt 360)
  • Der Kommunikationsabschnitt 360 ist in dem Server 30 vorgesehen und kann Informationen an eine externe Einrichtung wie etwa die Sensoreinrichtung 10 oder die Rückmeldungseinrichtung 70 übertragen und von dieser empfangen. Es wird angemerkt, dass der Kommunikationsabschnitt 360 durch Kommunikationsvorrichtungen wie etwa eine Kommunikationsantenne, eine Sendeempfangsschaltung und einen Port realisiert wird.
  • (Speicherungsabschnitt 370)
  • Der Speicherungsabschnitt 370 ist in dem Server 30 vorgesehen und speichert darin Programme, Informationen und dergleichen, mittels derer der oben beschriebene Hauptsteuerabschnitt 340 verschiedene Arten von Verarbeitung ausführen kann. Des Weiteren speichert der Speicherungsabschnitt 370 darin die DB 372, einschließlich der mit verschiedenen Arten von Attributinformationen und dergleichen verknüpften mehreren Erfassungsdatenelemente (einer Metadatei). Es wird angemerkt, dass der Speicherungsabschnitt 370 durch ein magnetisches Aufzeichnungsmedium wie etwa eine Festplatte (HD), einen nichtflüchtigen Speicher wie etwa einen Flash-Speicher oder dergleichen realisiert wird.
  • Es wird angemerkt, dass die Metadatei (Attributinformationen) Attributinformationen, die mit dem Lernenden oder dem Darbietenden assoziiert sind (Name, Geschlecht, Alter, Körpergröße, Körpergewicht, Körpermaße, Muskelkraft, Handflächengröße, Empfindlichkeit, Behändigkeit, Anzahl der Jahre der Klavierspielerfahrung, Fertigkeitsniveau, Nationalität, Name des Lehrers und dergleichen), Attributinformationen, die mit der Darbietung verbunden sind (Datum und Uhrzeit der Darbietung, Titel eines Musikstücks, Kategorie des Musikstücks, Name eines Komponisten, Epoche einer Komposition, Kategorie des Komponisten, Tempo, Lautstärke, Informationen darüber, ob es sich um einen einzelnen Ton oder komplexe Töne handelt, Inhalte eines Unterrichts, den der Darbietende oder der Lernende erhalten hat, das Musikinstrument für die Darbietung, Ort der Darbietung und dergleichen), Merkmalsvariablen, die die Darbietung charakterisieren, Beurteilungswerte (Beurteilungsinformationen) für die Darbietung, Attributinformationen, die mit der Erfassung verbunden sind (Sensortyp, Abtastfrequenz, Anzahl von Kanälen und dergleichen), Sensitivitätsbeurteilungsinformationen bezüglich der Darbietung (Informationen wie etwa ein Bild, eine Klangfarbe und eine Vibration, die der Darbietende ausdrücken soll) und dergleichen enthalten kann. Die Metadatei kann auch Attributinformationen bezüglich jedes Versuchs (Wettbewerbsname, Wettbewerbsstufe, Teilnehmerzahl, Anzahl von Fans, Beurteilungsinformationen bezüglich einer Teilnehmerzahl, Anzahl der Aufrufe und dergleichen) enthalten. Anders ausgedrückt fungiert die Metadatei als Kennzeichnung für die mehreren in einem Versuch erworbenen Erfassungsdatenelemente (Erfassungsdatengruppe) und kann beispielsweise angeben, dass es sich bei der Erfassungsdatengruppe um Informationen handelt, die erfasst werden, wenn ein bestimmter Darbietender ein bestimmtes Stück mit dem Ziel, das Stück auf eine bestimmte Weise auszudrücken, darbietet.
  • Des Weiteren ist der Server 30 bei der vorliegenden Ausführungsform nicht auf die in 3 dargestellte Konfiguration beschränkt, sondern kann andere Funktionsblöcke und dergleichen beinhalten.
  • <Konfigurationen einer Umsetzungseinrichtung 20 und einer Recheneinrichtung 26 gemäß einer Ausführungsform der vorliegenden Offenbarung>
  • Unterdessen sind, wie zuvor beschrieben, die Erfassungsdaten, die durch die in dem Informationsverarbeitungssystem 1 gemäß der vorliegenden Ausführungsform enthaltenen Sensoreinrichtung 10 erhalten werden, eine Mischung aus den Erfassungsdaten in der analogen Form und den Erfassungsdaten in der digitalen Form. Um Daten zu erwerben, die zur Unterstützung des Erlernens der Darbietung des Lernenden nützlich sind, ist es erforderlich, selbst bei einer oben beschriebenen Mischung von Formen mehrere Erfassungsdatenelemente genau zu synchronisieren.
  • Bei der vorliegenden Ausführungsform ist es daher bevorzugt, die Umsetzungseinrichtung (den Umsetzungsabschnitt) 20 und eine Recheneinrichtung 26 zwischen der Sensoreinrichtung 10 und dem Server 30 vorzusehen, wie in 4 dargestellt. Daher werden die Umsetzungseinrichtung 20 und die Recheneinrichtung 26 gemäß der vorliegenden Ausführungsform im Folgenden unter Bezugnahme auf 4 beschrieben. 4 ist ein Blockdiagramm, das Konfigurationen der Umsetzungseinrichtung 20 und der Recheneinrichtung 26 gemäß der vorliegenden Ausführungsform darstellt. Insbesondere beinhaltet das Informationsverarbeitungssystem 1 gemäß der vorliegenden Ausführungsform die Umsetzungseinrichtung 20 und die Recheneinrichtung 26 wie in 4 dargestellt zwischen der Sensoreinrichtung 10 und dem Server 30. Einzelheiten der Umsetzungseinrichtung 20 und der Recheneinrichtung 26 werden im Folgenden beschrieben.
  • (Umsetzungseinrichtung 20)
  • Gemäß Darstellung in 4 ist die Umsetzungseinrichtung 20 eine Einrichtung, die mehrere von mehreren Sensorvorrichtungen 10 erhaltene Erfassungsdatenelemente in verschiedenen Formen umsetzt und hauptsächlich einen Digital/Analog-Signalumsetzungsabschnitt 200 und einen Analog/Digital-Signalumsetzungsabschnitt 210 aufweist. Einzelheiten des Digital/Analog-Signalumsetzungsabschnitts 200 und des Analog/Digital-Signalumsetzungsabschnitts 210 der Umsetzungseinrichtung 20 werden im Folgenden beschrieben.
  • -Digital/Analog-Signalumsetzungsabschnitt 200-
  • Der Digital/Analog-Signalumsetzungsabschnitt 200 setzt Erfassungsdaten, die von einer Sensoreinrichtung (einem zweiten Sensor) 10b, die Erfassungsdaten in der digitalen Form ausgibt, unter den mehreren Sensoreinrichtungen 10 über die später beschriebene Recheneinrichtung 26 empfangen werden, in Erfassungsdaten in der analogen Form um. Des Weiteren gibt der Digital/Analog-Signalumsetzungsabschnitt 200 die durch Umsetzung erhaltenen Erfassungsdaten in der analogen Form an den später beschriebenen Analog/Digital-Signalumsetzungsabschnitt 210 aus.
  • Insbesondere weist der Digital/Analog-Signalumsetzungsabschnitt 200 mehrere Digital/Analog-Umsetzer (D/A-Umsetzer) 202 auf, die eine Mikrocomputerplatine und dergleichen beinhalten. Beispielsweise wird ein durch eine Sensoreinrichtung 10b erworbenes Erfassungsdatenelement durch die später beschriebene Recheneinrichtung 26 als Erfassungsdaten in einem von mehreren Kanälen extrahiert. Die extrahierten Erfassungsdaten je Kanal werden in jeden der D/A-Umsetzer 202 eingegeben. Insbesondere wenn die Sensoreinrichtung 10b ein elektronisches Klavier ist, das ein MIDI-Signal ausgibt, bei dem es sich um dem MIDI-Standard entsprechende Erfassungsdaten in der digitalen Form handelt, enthält jedes Paket in dem MIDI-Signal Informationen bezüglich eines Ereignisses wie etwa Tastenberührung/Tastenfreigabe (ein Status), Informationen bezüglich einer Tonhöhe eines erzeugten Klangs (eine Note) und Informationen bezüglich einer Lautstärke des Klangs (eine Anschlagsstärke). Bei der vorliegenden Ausführungsform extrahiert die Recheneinrichtung 26 daher das MIDI-Signal als Erfassungsdatenelemente bezüglich des Status, der Note und der Anschlagsstärke, wie oben beschrieben, je Kanal und gibt die extrahierten Erfassungsdaten in die D/A-Umsetzer 202 ein. Zudem wird jedes extrahierte Erfassungsdatenelement durch jeden D/A-Umsetzer 202 in Erfassungsdaten in der analogen Form umgesetzt, und die Erfassungsdaten in der analogen Form werden in den später beschriebenen Analog/Digital-Signalumsetzungsabschnitt 210 eingegeben. Bei der Ausführungsform lassen sich durch derartiges Umsetzen der Erfassungsdaten in der digitalen Form in die Erfassungsdaten in der analogen Form die Erfassungsdaten in der analogen Form gleichzeitig mit den Erfassungsdaten bearbeiten, die vom ersten Beginn an in der analogen Form vorliegen und die von einer Sensoreinrichtung 10a ausgegeben werden.
  • Zudem enthält ein Teil der Erfassungsdaten, deren Form durch den Digital/Analog-Signalumsetzungsabschnitt 200 in die analoge Form umgesetzt wird, beispielsweise Informationen bezüglich eines Zeitpunkts des Auftretens eines Ereignisses wie etwa eines Moments des Berührens bestimmter Tasten mit einer Stärke, die größer oder gleich einem bestimmten Ausmaß ist (Ereignis). Daher können Erfassungsdaten, die ein solches Ereignis enthalten, durch den Digital/Analog-Signalumsetzungsabschnitt 200 in Erfassungsdaten in der analogen Form umgesetzt werden und als ein Triggersignal in die andere Sensoreinrichtung 10 (zum Beispiel die Sensoreinrichtung (den ersten Sensor) 10a, die die Erfassungsdaten in der analogen Form erwirbt) eingegeben werden. Das Triggersignal kann für die Sensoreinrichtung 10a verwendet werden, um das Erwerben der Erfassungsdaten zu starten (anzusteuern).
  • -Analog/Digital-Signalumsetzungsabschnitt 210-
  • Der Analog/Digital-Signalumsetzungsabschnitt 210 setzt Erfassungsdaten von der Sensoreinrichtung (dem ersten Sensor) 10a, die Erfassungsdaten in der analogen Form ausgibt, unter den mehreren Sensoreinrichtungen 10 in Erfassungsdaten in der digitalen Form um. Des Weiteren setzt der Analog/Digital-Signalumsetzungsabschnitt 210 die Erfassungsdaten in der analogen Form, in die der oben beschriebene Digital/Analog-Signalumsetzungsabschnitt 200 die Erfassungsdaten in der digitalen Form umsetzt, in Erfassungsdaten in der digitalen Form um. Der Analog/Digital-Signalumsetzungsabschnitt 210 gibt dann die durch Umsetzung erhaltenen Erfassungsdaten an den oben beschriebenen Server 30 aus. Insbesondere weist der Analog/Digital-Signalumsetzungsabschnitt 210 mehrere Analog/Digital-Umsetzer (A/D-Umsetzer) 212 auf, die eine Mikrocomputerplatine und dergleichen beinhalten, und jeder A/D-Umsetzer 212 kann jedes Erfassungsdatenelement in der analogen Form in die Erfassungsdaten in der digitalen Form umsetzen und die Erfassungsdaten in der digitalen Form an den Server 30 ausgeben.
  • Des Weiteren weist der Analog/Digital-Signalumsetzungsabschnitt 210 einen Takt (ersten Taktmechanismus) 214 auf, der auf der Mikrocomputerplatine angebracht ist, um mehrere Erfassungsdatenelemente zu synchronisieren. Der Takt 214 gibt gleichzeitig ein Triggersignal an jeden der A/D-Umsetzer 212 oder jede Sensoreinrichtung 10a aus und bewirkt mittels des Triggersignals, dass der A/D-Umsetzer 212 oder die Sensoreinrichtung 10a das Erwerben der Erfassungsdaten beginnt, sodass Zeitabläufe des Erwerbens der Erfassungsdaten abgeglichen werden können. Anders ausgedrückt ermöglicht der Takt 214 bei der vorliegenden Ausführungsform, dass die Erfassungsdatenelemente von den mehreren Erfassungseinrichtungen 10a genau miteinander synchronisiert werden. Es wird angemerkt, dass der Takt 214 Taktzeitinformationen an den Server 30 ausgeben kann.
  • (Recheneinrichtung 26)
  • Die Recheneinrichtung 26 erwirbt die Erfassungsdaten von der Sensoreinrichtung 10b, die die Erfassungsdaten in der digitalen Form erwirbt, und extrahiert die erworbenen Erfassungsdaten als Erfassungsdaten je Kanal (beispielsweise den Status, die Note und die Anschlagsstärke enthaltend). Des Weiteren gibt die Recheneinrichtung 26 die für jeden von mehreren Kanälen extrahierten Erfassungsdaten an die oben beschriebene Umsetzungseinrichtung 20 aus. Insbesondere weist die Recheneinrichtung 26 hauptsächlich einen Empfangsabschnitt 260 und einen Rechenabschnitt 270 auf, wie in 4 dargestellt. Einzelheiten des Empfangsabschnitts 260 und des Rechenabschnitts 270 der Recheneinrichtung 26 werden im Folgenden beschrieben.
  • -Empfangsabschnitt 260-
  • Der Empfangsabschnitt 260 empfängt die Erfassungsdaten von der Sensoreinrichtung 10b, die die Erfassungsdaten in der digitalen Form erwirbt, und gibt die Erfassungsdaten in der digitalen Form an den später beschriebenen Rechenabschnitt 270 aus.
  • -Rechenabschnitt 270-
  • Der Rechenabschnitt 270 extrahiert die von dem oben beschriebenen Empfangsabschnitt 260 erworbenen Erfassungsdaten als die Erfassungsdaten je Kanal. Beispielsweise extrahiert der Rechenabschnitt 270, wie oben beschrieben, den Status, die Note und die Anschlagsstärke, die in jedem Paket in dem MIDI-Signal enthalten sind, wobei es sich um die Erfassungsdaten in der digitalen Form handelt, als Erfassungsdaten je Kanal. Des Weiteren gibt der Rechenabschnitt 270 die extrahierten Erfassungsdaten je Kanal an die oben beschriebene Umsetzungseinrichtung 20 aus.
  • Des Weiteren kann der Rechenabschnitt 270 einen Takt (zweiten Taktmechanismus) 272 aufweisen, der auf einer Mikrocomputerplatine angebracht ist, um die mehreren Erfassungsdatenelemente zu synchronisieren. Der Takt 272 kann Taktzeitinformationen mit den Erfassungsdaten verknüpfen. Bei der vorliegenden Ausführungsform ist es möglich, da der Takt 272 die Erfassungsdaten in den mehreren Kanälen von der Sensoreinrichtung 10b mit denselben Taktzeitinformationen verknüpft, Taktzeiten der Erfassungsdatenelemente miteinander abzugleichen, das heißt es ist möglich, die Erfassungsdatenelemente zu synchronisieren. Es wird angemerkt, dass der Takt 272 die Taktzeitinformationen an den Server 30 ausgeben kann.
  • Des Weiteren kann der Server 30 die mehreren Erfassungsdatenelemente von der Umsetzungseinrichtung 20 auf der Grundlage der Taktzeitinformationen von den Takten 214 und 272 synchronisieren. Insbesondere werden die Erfassungsdaten von der Sensoreinrichtung 10b, die die Erfassungsdaten in der digitalen Form erwirbt, vorab in die Erfassungsdaten in der analogen Form umgesetzt, und dann die Erfassungsdaten in der analogen Form in die Erfassungsdaten in der digitalen Form umgesetzt. Andererseits werden die Erfassungsdaten von der Sensoreinrichtung 10a, die die Erfassungsdaten in der analogen Form erwirbt, in die Erfassungsdaten in der digitalen Form umgesetzt, ohne vorab in die Erfassungsdaten in der analogen Form umgesetzt zu werden. Daher wird zu einem Zeitpunkt des Eintreffens der Erfassungsdaten an dem Server 30 eine geringfügige zeitliche Differenz zwischen den Erfassungsdaten von der Sensoreinrichtung 10b und den Erfassungsdaten von der Sensoreinrichtung 10a erzeugt. Bei der vorliegenden Ausführungsform führt daher der Server 30, um die Erfassungsdaten von der Sensoreinrichtung 10b genau mit den Erfassungsdaten von der Sensoreinrichtung 10a zu synchronisieren, eine Zeitverschiebungsverarbeitung an diesen Erfassungsdatenelementen auf der Grundlage einer aus den Taktzeitinformationen erhaltenen zeitlichen Differenz zwischen den Takten 214 und 272 durch. Gemäß der vorliegenden Ausführungsform ist es daher möglich, Zeitbasen für die mehreren Erfassungsdatenelemente in einer Mischung von Formen abzugleichen und diese Erfassungsdatenelemente genau zu synchronisieren und zu bearbeiten.
  • Es wird angemerkt, dass der Takt 272 nicht zwangsweise in der Recheneinrichtung 26 vorgesehen ist und in der Sensoreinrichtung 10b oder in einem Abschnitt des Digital/Analog-Signalumsetzungsabschnitts 200 näher an der Recheneinrichtung 26, das heißt näher an der Sensoreinrichtung 10b, vorgesehen sein kann.
  • Es wird angemerkt, dass die Konfigurationen der Umsetzungseinrichtung 20 und der Recheneinrichtung 26 bei der vorliegenden Ausführungsform nicht auf die in 4 dargestellten beschränkt sind. Beispielsweise können die Umsetzungseinrichtung 20 und/oder die Recheneinrichtung 26 in dem oben beschriebenen Server 30 vorgesehen sein. Alternativ kann die Umsetzungseinrichtung 20 in der Sensoreinrichtung 10a vorgesehen sein, oder die Recheneinrichtung 26 kann in der Sensoreinrichtung 10b vorgesehen sein; die Konfigurationen der Umsetzungseinrichtung 20 und der Recheneinrichtung 26 sind also nicht auf bestimmte beschränkt. Das Vorsehen einer beliebigen der Umsetzungseinrichtung 20 oder der Recheneinrichtung 26 in der Sensoreinrichtung 10a oder 10b bedeutet jedoch, dass ein Gewicht der Sensoreinrichtung 10, die am Körper des Darbietenden oder des Lernenden befestigt ist oder an dem Subjekt befestigt ist, das sich gemäß der Bewegung des Darbietenden oder des Lernenden bewegt, schwerer wird. Darüber hinaus wird erwartet, dass das Gewicht einen Einfluss auf die Darbietung des Darbietenden oder des Lernenden hat. Zudem wird in einem solchen Fall erwartet, dass die Erfassungsdaten von den Sensoreinrichtungen 10a und 10b dazu neigen, Rauschen zu enthalten. Es ist daher bevorzugt, dass die Umsetzungseinrichtung 20 und die Recheneinrichtung 26 an anderen Orten als den Sensorvorrichtungen 10a und 10b vorgesehen sind, um den Einfluss auf die Darbietung und das Rauschen zu vermeiden.
  • Wie bisher beschrieben, kann das Informationsverarbeitungssystem 1 gemäß der vorliegenden Ausführungsform dadurch, dass es die oben beschriebene Umsetzungseinrichtung 20 aufweist, die Erfassungsdatenelemente selbst im Fall einer Mischung der Erfassungsdaten in der analogen Form und der Erfassungsdaten in der digitalen Form genau synchronisieren. Infolgedessen kann das Informationsverarbeitungssystem 1 gleichzeitig die mehreren Erfassungsdatenelemente analysieren, die genau miteinander synchronisiert sind und verschiedene Informationen enthalten; es ist also möglich, Daten zu erwerben, die zur Unterstützung des Erlernens der Darbietung des Lernenden nützlich sind.
  • <Konfiguration einer Rückmeldungseinrichtung 70 gemäß einer Ausführungsform der vorliegenden Offenbarung>
  • Als Nächstes wird eine Konfiguration der Rückmeldungseinrichtung 70 gemäß der Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 5 beschrieben. 5 ist ein Blockdiagramm, das die Konfiguration der Rückmeldungseinrichtung 70 gemäß der vorliegenden Ausführungsform zeigt. Wie zuvor beschrieben, kann die Rückmeldungseinrichtung 70 eine Vorrichtung wie das Tablet, der Laptop-PC, der Notebook-PC oder die Wearable-Vorrichtung sein. Des Weiteren weist die Rückmeldungseinrichtung 70 gemäß Darstellung in 5 hauptsächlich einen haptischen Mechanismus 710, einen Anzeigeabschnitt 714, einen Audioausgabeabschnitt 716, einen Hauptsteuerabschnitt 740, einen Kommunikationsabschnitt 760 und einen Speicherungsabschnitt 770 auf. Einzelheiten der Funktionsabschnitte der Rückmeldungseinrichtung 70 werden im Folgenden beschrieben.
  • (Haptischer Mechanismus 710)
  • Der haptische Mechanismus 710 ist eine Einrichtung, die ein Kraftgefühl (taktile Wahrnehmung) verbreitet, beispielsweise eine Kraft auf einen Teil (zum Beispiel ein Gelenk) des Körpers des Lernenden auf der Grundlage der von dem Server 30 übertragenen Rückmeldungsinformationen ausübt. Beispielsweise kann der haptische Mechanismus eine handschuhartige Wearable-Vorrichtung (Wearable-Einrichtung) sein, die an einer Hand des Lernenden befestigt ist. Des Weiteren ist der haptische Mechanismus 710 bei der vorliegenden Ausführungsform nicht auf die handschuhartige Wearable-Vorrichtung beschränkt und kann beispielsweise eine Vibrationseinrichtung sein, die eine Vibration auf einen Körperteil des Lernenden ausübt, oder eine Stimulationseinrichtung, die eine elektrische Muskelstimulation verwendet, um Muskeln einen Reiz zu geben. Anders ausgedrückt genügt es bei der vorliegenden Ausführungsform, wenn der haptische Mechanismus 710 in der Lage ist, die Rückmeldungsinformationen sensorisch an den Lernenden zurückzumelden (Biofeedback durchzuführen), indem einem Körperteil des Lernenden ein taktiler Reiz gegeben wird.
  • (Anzeigeabschnitt 714)
  • Der Anzeigeabschnitt 714 ist eine Vorrichtung zum Anzeigen der Rückmeldungsinformationen für den Benutzer und gibt die Rückmeldungsinformationen zum Benutzer beispielsweise mittels Bildern oder Licht aus. Der Anzeigeabschnitt 714 wird beispielsweise durch eine Anzeige, ein lichtemittierendes Element (nicht dargestellt) und dergleichen realisiert. Des Weiteren kann der Anzeigeabschnitt 714 durch einen Videoausgabeanschluss und dergleichen realisiert werden.
  • Zudem kann der Anzeigeabschnitt 714 eine Projektionseinrichtung sein, die ein Objekt basierend auf Rückmeldungsinformationen 610 anzeigen kann, indem das Objekt einem realen Raum als Augmented Reality (AR) überlagert wird. Eine solche Projektionseinrichtung kann beispielsweise eine datenbrillenartige Wearable-Vorrichtung sein, die vor den Augen des Lernenden befestigt ist. Eine transmissive Anzeige ist in der datenbrillenartigen Wearable-Vorrichtung vorgesehen, und die transmissive Anzeige besitzt ein optisches Virtuelles-Bild-System mit einem transparenten Lichtleiterabschnitt und dergleichen vor den Augen des Lernenden, wobei beispielsweise ein Halbspiegel und eine transparente Lichtleiterplatte verwendet werden, und zeigt das Objekt in dem optischen Virtuelles-Bild-System an. Des Weiteren kann die Projektionseinrichtung ein am Kopf des Lernenden befestigtes HMD sein.
  • (Audioausgabeabschnitt 716)
  • Der Audioausgabeabschnitt 716 ist eine Vorrichtung, die die Rückmeldungsinformationen als Audio an den Benutzer ausgibt, und kann beispielsweise ein Kopfhörerlautsprecher, der an dem Ohr eines Lernenden befestigt ist, oder ein in der Nähe des Lernenden vorgesehener Lautsprecher (nicht dargestellt) sein. Des Weiteren kann der Audioausgabeabschnitt 716 durch einen Audioausgabeanschluss und dergleichen realisiert werden.
  • Auf diese Weise werden bei der vorliegenden Ausführungsform Mittel, die einer geeigneten Wahrnehmungsmodalität entsprechen, aus dem haptischen Mechanismus 710, dem Anzeigeabschnitt 714 und dem Audioausgabeabschnitt 716 gemäß den Rückmeldungsinformationen und dergleichen und den Situationen des Benutzers und dergleichen ausgewählt, und die Rückmeldungsinformationen können an den Lernenden oder dergleichen zurückgemeldet werden. Zudem können der haptische Mechanismus 710, der Anzeigeabschnitt 714 und der Audioausgabeabschnitt 716 bei der vorliegenden Ausführungsform gleichzeitig eine Rückmeldung mittels mehrerer Wahrnehmungsmodalitäten durchführen, und ein Verfahren der Rückmeldung ist nicht auf ein bestimmtes Verfahren beschränkt.
  • (Hauptsteuerabschnitt 740)
  • Der Hauptsteuerabschnitt 740 ist in der Rückmeldungseinrichtung 70 vorgesehen und kann eine Steuerung über die Blöcke in der Rückmeldungseinrichtung 70 ausüben. Der Hauptsteuerabschnitt 740 wird durch Hardware realisiert, die beispielsweise eine CPU, ein ROM und ein RAM ist.
  • (Kommunikationsabschnitt 760)
  • Der Kommunikationsabschnitt 760 kann Informationen an eine externe Einrichtung wie etwa den Server 30 übertragen und von dieser empfangen. Es wird angemerkt, dass der Kommunikationsabschnitt 760 durch Kommunikationsvorrichtungen wie etwa eine Kommunikationsantenne, eine Sendeempfangsschaltung und einen Port realisiert wird.
  • (Speicherungsabschnitt 770)
  • Der Speicherungsabschnitt 770 ist in der Rückmeldungseinrichtung 70 vorgesehen und speichert darin Programme und dergleichen, mittels derer der Hauptsteuerabschnitt 740 verschiedene Arten von Verarbeitung ausführen kann, und durch die Verarbeitung erhaltene Informationen. Es wird angemerkt, dass der Speicherungsabschnitt 770 durch ein magnetisches Aufzeichnungsmedium wie etwa eine HD, einen nichtflüchtigen Speicher wie etwa einen Flash-Speicher oder dergleichen realisiert wird.
  • Zudem kann die Rückmeldungseinrichtung 70 einen Eingabeabschnitt aufweisen, der nicht dargestellt ist. Der Eingabeabschnitt hat eine Funktion zum Empfangen einer Eingabe von an die Rückmeldungseinrichtung 70 übertragenen Daten und Befehlen. Insbesondere wird der Eingabeabschnitt durch ein Touchpanel, Schaltflächen, Schalter, Tasten, eine Tastatur, ein Mikrofon, einen Bildsensor und dergleichen realisiert.
  • Des Weiteren können bei der vorliegenden Ausführungsform eine Funktion des Sensorabschnitts 100 in der Sensoreinrichtung 10 und der haptische Mechanismus 710 und dergleichen in der Rückmeldungseinrichtung 70 in einer Wearable-Vorrichtung integriert sein. Es wird angemerkt, dass die Rückmeldungseinrichtung 70 bei der vorliegenden Ausführungsform nicht auf die in 5 dargestellte Konfiguration beschränkt ist und beispielsweise andere Funktionsabschnitte aufweisen kann.
  • <Informationsverarbeitungsverfahren gemäß einer Ausführungsform der vorliegenden Offenbarung>
  • Bisher wurden die Konfiguration des Informationsverarbeitungssystems 1 gemäß der vorliegenden Ausführungsform und die der in dem Informationsverarbeitungssystem 1 enthaltenen Einrichtungen ausführlich beschrieben. Als Nächstes wird ein Informationsverarbeitungsverfahren gemäß der vorliegenden Ausführungsform unter Bezugnahme auf 6 beschrieben. 6 ist ein Flussdiagramm, das ein Beispiel des Informationsverarbeitungsverfahrens gemäß der vorliegenden Ausführungsform veranschaulicht.
  • Gemäß Darstellung in 6 beinhaltet das Informationsverarbeitungsverfahren gemäß der vorliegenden Ausführungsform mehrere Schritte von Schritt S100 bis Schritt S500. Einzelheiten der Schritte, die in dem Informationsverarbeitungsverfahren gemäß der vorliegenden Ausführungsform enthalten sind, werden im Folgenden beschrieben.
  • (Schritt S100)
  • Zunächst wird die Sensoreinrichtung 10 vorab vor der Darbietung des Lernenden oder dergleichen an einem Körperteil des Lernenden oder des Darbietenden befestigt oder in der Umgebung des Lernenden oder dergleichen installiert. Beginnt der Lernende oder dergleichen dann eine vorbestimmte Darbietung (etwa ein Musikstück, eine Phrase, eine Tonleiter, ein Arpeggio oder einen Akkord) als einen Versuch, erfasst der Sensorabschnitt 100 der Sensoreinrichtung 10 Bewegungen des Körpers, des Musikinstruments und dergleichen, die zur Begleitung der Darbietung (Bewegung) des Lernenden oder dergleichen während der Darbietung erzeugt werden, einen durch das Musikinstrument erzeugten Klang und dergleichen, und erwirbt mehrere Erfassungsdatenelemente. Des Weiteren gibt die Sensoreinrichtung 10 die erworbenen Erfassungsdaten an den Server 30 aus.
  • Zu diesem Zeitpunkt werden die durch die Sensoreinrichtung 10 erworbenen Erfassungsdaten durch die oben beschriebene Umsetzungseinrichtung 20 umgesetzt und die umgesetzten Erfassungsdaten werden in den Server 30 eingegeben. In dem Informationsverarbeitungssystem 1 gemäß der vorliegenden Ausführungsform kann daher die Umsetzungseinrichtung 20 die Erfassungsdatenelemente selbst im Fall der Mischung der Erfassungsdaten in der analogen Form und der Erfassungsdaten in der digitalen Form genau synchronisieren, wie zuvor beschrieben. Infolgedessen kann der Server 30 in einem nachfolgend ausgeführten Schritt gleichzeitig die mehreren Erfassungsdatenelemente analysieren, die genau synchronisiert sind und verschiedene Arten von Informationen beinhalten; es ist also möglich, Daten zu erwerben, die zur Unterstützung des Erlernens der Darbietung des Lernenden nützlich sind.
  • Bei der vorliegenden Ausführungsform ist es bevorzugt, dass vielen Darbietenden (zum Beispiel ungefähr 100 Darbietenden) gestattet wird, jeweils eine vorbestimmte Darbietung (etwa ein Musikstück, eine Phrase, eine Tonleiter, ein Arpeggio oder einen Akkord) zu geben, und viele Erfassungsdatenelemente zu sammeln, um Informationen zum Erstellen der DB 372 zu erwerben. Des Weiteren kann der Server 30 zu diesem Zeitpunkt die mit jedem Darbietenden assoziierten Attributinformationen (Geschlecht, Alter, Körpergröße, Körpergewicht, Körpermaße, Muskelkraft, Handflächengröße, Empfindlichkeit, Behändigkeit, Anzahl der Jahre der Klavierspielerfahrung, Fertigkeitsniveau und dergleichen) und die mit der Darbietung assoziierten Attributinformationen (Datum und Uhrzeit, Titel eines Musikstücks, Name eines Komponisten, Musikinstrument für die Darbietung, Ort der Darbietung und dergleichen) erwerben.
  • (Schritt S200)
  • Der Server 30 erzeugt Trainingsdaten auf der Grundlage der in Schritt S100 erfassten Erfassungsdaten bezüglich des Darbietenden. Die erzeugten Trainingsdaten werden als die DB 372 gespeichert (archiviert). Es wird angemerkt, dass Einzelheiten von Schritt S200 später beschrieben werden.
  • (Schritt S300)
  • Der Server 30 erzeugt Vergleichsdaten auf der Grundlage der in Schritt S100 erfassten Erfassungsdaten bezüglich des Darbietenden. Die erzeugten Vergleichsdaten können als die DB 372 gespeichert werden. Es wird angemerkt, dass Einzelheiten von Schritt S300 später beschrieben werden.
  • (Schritt S400)
  • Der Server 30 wählt die Trainingsdaten aus der DB 372 aus und vergleicht die ausgewählten Trainingsdaten mit den in dem oben beschriebenen Schritt S300 erzeugten Vergleichsdaten. Der Server 30 erzeugt dann Rückmeldungsinformationen, die auf der Grundlage eines Vergleichsergebnisses an den Lernenden zurückzumelden sind. Es wird angemerkt, dass Einzelheiten von Schritt S400 später beschrieben werden.
  • (Schritt S500)
  • Die Rückmeldungseinrichtung 70 führt eine Rückmeldung an den Lernenden auf der Grundlage der in dem oben beschriebenen Schritt S400 erzeugten Rückmeldungsinformationen durch.
  • Die Einzelheiten der in 6 dargestellten Schritte S200, S300 und S400 werden im Folgenden beschrieben.
  • (Einzelheiten zur Erzeugung von Trainingsdaten)
  • Zunächst werden Einzelheiten einer Erzeugung der Trainingsdaten in dem oben beschriebenen Schritt S200 von 6 unter Bezugnahme auf 7 bis 13 beschrieben. 7 ist ein Flussdiagramm einer Erzeugung der Trainingsdaten gemäß der vorliegenden Ausführungsform. 8 und 9 sind erläuternde Diagramme eines Beispiels einer Extraktion von Merkmalsvariablen 506. Des Weiteren sind 10 und 11 erläuternde Diagramme eines Beispiels einer Erstellung der Datenbank 372, und 12 und 13 sind erläuternde Diagramme eines Beispiels einer Erzeugung der Trainingsdaten.
  • Gemäß Darstellung in 7 beinhaltet die Erzeugung der Trainingsdaten mehrere Schritte von Schritt S201 bis Schritt S213. Einzelheiten dieser mehreren Schritte werden im Folgenden beschrieben.
  • (Schritt S201)
  • Der Server 30 erwirbt die durch jede Sensoreinrichtung 10 erworbenen mehreren Erfassungsdatenelemente (eine Erfassungsdatengruppe) als eine Textdatei vom Beginn bis zum Ende einer Erfassung in einem Versuch. Eine Metadatei ist mit der Textdatei verknüpft, und die Metadatei kann die mit dem Darbietenden assoziierten Attributinformationen, die mit der Darbietung assoziierten Attributinformationen und dergleichen enthalten, wie zuvor beschrieben. Die Metadatei kann auch die Attributinformationen bezüglich des Versuchs (Wettbewerbsname, Wettbewerbsstufe, Teilnehmerzahl, Anzahl von Fans, Beurteilungsinformationen bezüglich einer Teilnehmerzahl, Anzahl der Aufrufe und dergleichen) enthalten. Bei der vorliegenden Ausführungsform ermöglicht das derartige Verknüpfen der Metadatei mit der Erfassungsdatengruppe ein geeignetes und einfaches Verwalten der Erfassungsdatengruppe und ein Auswählen der Trainingsdaten mittels Bezugnahme auf verschiedene Arten von in der Metadatei enthaltenen Informationen.
  • Es wird angemerkt, dass die in der Metadatei enthaltenen obigen Informationen durch den Benutzer in den Server 30 eingegeben werden können oder durch Analysieren der Erfassungsdaten und automatisches Extrahieren der Informationen erzeugt werden können, wenn die Informationen aus den Erfassungsdaten analysiert werden können. Beispielsweise kann ein dargebotenes Stück automatisch extrahiert werden und die Zahl der in der Umgebung anwesenden Teilnehmer durch Analysieren der in den Erfassungsdaten enthaltenen Klanginformationen geschätzt werden, und der Ort der Darbietung kann durch Analysieren der in den Erfassungsdaten enthaltenen Positionsinformationen automatisch extrahiert werden.
  • (Schritt S203)
  • Der Server 30 entfernt Rauschen und dergleichen, das in jedem in Schritt S201 erworbenen Erfassungsdatenelement enthalten ist, indem eine Filterung und eine statistische Verarbeitung (Erkennung anormaler Werte) (Vorverarbeitung) durchgeführt werden.
  • (Schritt S205)
  • Der Server 30 führt eine Analyse und dergleichen an den mehreren in einem Versuch erworbenen und in dem oben beschriebenen Schritt S203 vorverarbeiteten Sensordatenelementen durch und extrahiert Merkmalsvariablen, die den Zustand der Darbietung charakterisieren. Die so extrahierten Merkmalsvariablen werden in dem später beschriebenen Schritt S209 in die Metadatei geschrieben. Insbesondere analysiert der Analyseabschnitt 346 des Servers 30 Erfassungsdaten 500 und extrahiert Merkmalsvariablen 506, wie in 8 dargestellt. Die Merkmalsvariablen 506 können beispielsweise als der Maximalwert, der Minimalwert, der Mittelwert, der Integralwert, die Periode und der Änderungsbetrag jedes der Erfassungsdatenelemente 500 extrahiert werden, indem jedes Erfassungsdatenelement 500 durch den Analyseabschnitt 346 statistisch verarbeitet wird. Insbesondere werden, als die Merkmalsvariablen 506, Zeitpunkte, zu denen sich die Tasten an obersten Positionen befinden, Zeitpunkte, zu denen eine Tastenberührungsanstiegsgeschwindigkeit maximal wird, und Zeitpunkte, zu denen eine Tastenberührungsgefällegeschwindigkeit maximal wird, wie durch weiße Kreis-, weiße Dreiecks- und weiße Rechteckmarkierungen angegeben, anhand der Erfassungsdaten 500 extrahiert, die in 9 dargestellte Zeitreihendaten bezüglich Bewegungsbeträgen der Tasten sind.
  • Gemäß Darstellung in 8 kann der Analyseabschnitt 346 des Servers 30 eine Analyse und dergleichen an den mehreren wie oben beschrieben in einem Versuch erworbenen und in Schritt S203 vorverarbeiteten Erfassungsdatenelementen (zum Beispiel Audiodaten bezüglich der Darbietung) 500 durchführen und Beurteilungswerte 506a für die Darbietung extrahieren. Die Beurteilungswerte 506a können die Darbietungsgeschwindigkeit des Darbietenden in der Darbietung, die Genauigkeit der Darbietung, die Lautstärke des durch die Darbietung erzeugten Klangs, die Klangvibration, die Klangfarbe, die Lautstärkedifferenz und die zeitliche Differenz zwischen den musikalischen Tönen in dem Akkord, die Differenz zwischen dem Maximalwert und dem Minimalwert jedes Klangparameters, die Granularität jedes Klangparameters und dergleichen sein, wie zuvor beschrieben. Die so extrahierten Beurteilungswerte 506a werden in dem später beschriebenen Schritt S209 ähnlich wie die Merkmalsvariablen 506 in die Metadatei geschrieben.
  • (Schritt S207)
  • Des Weiteren erwirbt der Server 30 Informationen bezüglich einer Sensitivitätsbeurteilung, die eine Beurteilung einer Sensitivität für die Darbietung ist, die sich nicht direkt mittels der oben beschriebenen Merkmalsvariablen 506 und Beurteilungswerte 506a beurteilen lässt. Beispielsweise erwirbt der Server 30 die Sensitivitätsbeurteilung, indem er veranlasst, dass der Darbietende die Sensitivität für die eigene Darbietung (hervorragend, fließend, schwer, umgebend, gefühlvoll, sanft, hart oder dergleichen) nach dem Ende des Versuchs eingibt. Die erworbene Sensitivitätsbeurteilung wird in dem später beschriebenen Schritt S209 ähnlich wie die Merkmalsvariablen 506 in die Metadatei geschrieben. Es wird angemerkt, dass ein Verfahren zum Erwerben der Informationen bezüglich der Sensitivitätsbeurteilung nicht auf das Verfahren zum Veranlassen, dass der Darbietende die Sensitivität direkt eingibt, beschränkt ist, sondern die Informationen bezüglich der Sensitivitätsbeurteilung mittels Audioanalyse von Geräuschen oder dergleichen des Darbietenden während der Darbietung automatisch erworben werden können. Bei der vorliegenden Ausführungsform ermöglicht das derartige automatische Erwerben der Informationen bezüglich der Sensitivitätsbeurteilung mittels der Audioanalyse ein Erwerben der Informationen bezüglich der Sensitivitätsbeurteilung ohne Störung des Darbietenden.
  • Zudem können bei der vorliegenden Ausführungsform die Informationen bezüglich der Sensitivitätsbeurteilung durch andere Verfahren erworben werden. Beispielsweise werden viele Leute (zum Beispiel Fachpersonen wie etwa Pianisten und Laien, die keine Fachpersonen sind) gebeten, sich vorab verschiedene Arten von Musik (zum Beispiel Darbietungen von Darbietenden und Darbietungen von Laien ohne Beschränkung auf bestimmte Darbietungen) anzuhören, um die Sensitivitätsbeurteilung für jedes Musikstück durchzuführen. Als Nächstes gibt der Server 30 die Sensitivitätsbeurteilung als ein Trainingssignal in den Lernabschnitt 348 ein, gibt die Musik als ein Eingangssignal in den Lernabschnitt 348 ein und bewirkt, dass der Lernabschnitt 348 maschinelles Lernen an einer Beziehung zwischen der Musik und der Sensitivitätsbeurteilung durchführt. Mittels Bezugnahme auf die anhand des maschinellen Lernens durch den Lernabschnitt 348 erhaltene Beziehung kann der Server 30 automatisch die Informationen bezüglich der Sensitivitätsbeurteilung für die Darbietung in dem Versuch auf der Grundlage der Musik (Vibration und dergleichen) durch die Darbietung in dem Versuch erwerben. Es wird angemerkt, dass bei der vorliegenden Ausführungsform eine Gewichtung derart durchgeführt werden kann, dass sich die Sensitivitätsbeurteilung der Fachpersonen in der anhand des maschinellen Lernens erhaltenen Beziehung stärker widerspiegelt als die der Laien, oder es kann umgekehrt eine Gewichtung derart durchgeführt werden, dass sich die Sensitivitätsbeurteilung der Laien in der anhand des maschinelles Lernens erhaltenen Beziehung stärker widerspiegelt als die der Fachpersonen. Zudem kann der Server 30 bei der vorliegenden Ausführungsform Parameter (eine Tastenberührungskraft, einen Tastenberührungszeitpunkt, eine Tastenberührungslänge und dergleichen) der Tastenberührung auf dem Klavier durch einen Roboter oder dergleichen und eine Sensitivitätsbeurteilung durch den Roboter oder dergleichen für den Klang, die Musik und dergleichen durch die Tastenberührung in den Lernabschnitt 348 eingeben, bewirken, dass der Lernabschnitt 348 maschinelles Lernen an einer Beziehung zwischen dem Klang und dergleichen durch die Tastenberührung durch den Roboter oder dergleichen und der Sensitivitätsbeurteilung durch den Roboter oder dergleichen durchführt, und die Beziehung erwerben. Bei der vorliegenden Ausführungsform ermöglicht die derartige Bezugnahme auf das maschinelle Lernen ein Erwerben der Informationen bezüglich der Sensitivitätsbeurteilung ohne Störung des Darbietenden.
  • (Schritt S209)
  • Der Server 30 schreibt die Merkmalsvariablen 506, die Beurteilungswerte 506a und die Informationen bezüglich der Sensitivitätsbeurteilung, die in den Schritten S205 und S207 erworben wurden, in die oben beschriebene Metadatei. Bei der vorliegenden Ausführungsform ermöglicht das Verknüpfen der Merkmalsvariablen 506, der Beurteilungswerte 506a und der Informationen bezüglich der Sensitivitätsbeurteilung mit der Erfassungsdatengruppe ein geeignetes und einfaches Verwalten der Erfassungsdatengruppe und ein Auswählen der Trainingsdaten.
  • (Schritt S211)
  • Gemäß Darstellung in 10 wiederholt der Server 30 die oben beschriebenen Schritte S201 bis S209, sammelt mehrere Erfassungsdatengruppen (Textdateien) 502 und mit den jeweiligen Erfassungsdatengruppen 502 verknüpfte Metadateien 504 und erstellt die DB 372. Wie zuvor beschrieben, kann jede Erfassungsdatengruppe 502 in der DB 372 auf der Grundlage der in der Metadatei 504 enthaltenen Informationen verwaltet werden. Gemäß Darstellung in 11 beispielsweise kann jede Erfassungsdatengruppe 502 je Darbietendem (etwa ein Pianist A oder ein Pianist B) in einer chronologischen Darbietungsreihenfolge auf der Grundlage der in der Metadatei 504 enthaltenen Informationen verwaltet werden. Es wird angemerkt, dass bei der vorliegenden Ausführungsform ein Verwaltungsverfahren nicht auf das Verwalten jeder Erfassungsdatengruppe 502 je Darbietendem beschränkt ist und dass jede Erfassungsdatengruppe 502 unter verschiedenen Bedingungen verwaltet werden kann, wie etwa je Musiktitel oder je Alter.
  • (Schritt S213)
  • Der Server 30 erzeugt die Trainingsdaten auf der Grundlage der in dem oben beschriebenen Schritt S211 erstellten Datenbank 372. Bei der vorliegenden Ausführungsform können die Trainingsdaten hauptsächlich anhand zweier Verfahren erzeugt werden.
  • In einem ersten Verfahren werden die Erfassungsdaten 500 oder die Merkmalsvariablen 506, die in einem Versuch erhalten werden, so wie sie sind als die Trainingsdaten verwendet.
  • In einem zweiten Verfahren wird maschinelles Lernen unter Verwendung mehrerer Erfassungsdatenelemente 500 bezüglich mehrerer Darbietenden oder mehrerer Versuche durchgeführt, wobei ein anhand des maschinellen Lernens erhaltenes Ergebnis als die Trainingsdaten verwendet wird.
  • Gemäß Darstellung in 12 beispielsweise gibt der Server 30 die Erfassungsdatengruppen 502 und die Metadateien 504, die jeweils die Beurteilungswerte 506a enthalten, als Eingangssignale bzw. Trainingssignale in den Lernabschnitt 348 ein. Der Lernabschnitt 348 führt maschinelles Lernen an der Beziehung zwischen den mehreren Erfassungsdatenelementen 500 und den mehreren Reihen von Beurteilungswerten 506a durch, indem eine multivariate Analyse wie etwa eine Mehrfachregressionsanalyse daran durchgeführt wird. Der Lernabschnitt 348 kann dann Informationen bezüglich der Beziehung (Beziehungsinformationen) 608, die durch Durchführen des maschinellen Lernens erhalten werden, als die Trainingsdaten ausgeben.
  • Die mehreren Erfassungsdatenelemente 500, die zu diesem Zeitpunkt durch den Lernabschnitt 348 bearbeitet werden, werden durch die Umsetzungseinrichtung 20 wie zuvor beschrieben genau miteinander synchronisiert. Daher ermöglicht das Durchführen der multivariaten Analyse unter Verwendung der mehreren genau synchronisierten Erfassungsdatenelemente 500, dass der Lernabschnitt 348 die Erfassungsdaten 500, die in hohem Maße mit den Beurteilungswerten 506a assoziiert sind, extrahiert und die in hohem Maße genauen Beziehungsinformationen 608 erhält.
  • Des Weiteren ist bei der vorliegenden Ausführungsform die Verwendung der Beziehungsinformationen 608, die die Beziehung zwischen den Erfassungsdaten 500 und den Beurteilungswerten 506a angeben, nicht auf eine Verwendung als Trainingsdaten beschränkt. Beispielsweise gibt der Server 30 die Merkmalsvariablen 506 und die Beurteilungswerte 506a als Eingangssignale bzw. Trainingssignale in den Lernabschnitt 348 ein. Gemäß Darstellung in 13 führt der Lernabschnitt 348 maschinelles Lernen an der Beziehung zwischen den Merkmalsvariablen 506 und den Beurteilungswerten 506a durch, indem die multivariate Analyse wie etwa eine Mehrfachregressionsanalyse daran durchgeführt wird. Der Lernabschnitt 348 kann dann Informationen bezüglich der Beziehung (Beziehungsinformationen) 608, die anhand des oben beschriebenen maschinellen Lernens erhalten wurden, als die Trainingsdaten ausgeben.
  • Auf diese Weise ermöglicht bei der vorliegenden Ausführungsform das Verwenden einer kollektiven Intelligenz der Erfassungsdaten bezüglich der mehreren Darbietenden oder der mehreren Versuche als die Trainingsdaten ein Extrahieren von Teilen der Erfassungsdaten 500 oder der Merkmalsvariablen 506, die eine charakteristische Tendenz bei Darbietenden auf dem hohen Darbietungsniveau und bei Darbietenden auf dem niedrigen Darbietungsniveau angeben. Es wird angemerkt, dass die oben beschriebenen Beziehungsinformationen 608 nicht nur als die Trainingsdaten zum Zeitpunkt der Durchführung eines Vergleichs in einem nachfolgenden Schritt verwendet werden können, sondern dass auf sie auch zum Zeitpunkt der Auswahl eines oder mehrerer Trainingsdatenelemente aus mehreren Trainingsdatenelementen für den Vergleich Bezug genommen werden kann.
  • Es wird angemerkt, dass zum Zeitpunkt des Durchführens des maschinellen Lernens die Erfassungszeitspannen in den Versuchen nicht immer miteinander übereinstimmen; daher ist es bevorzugt, dass der Server 30 die Zeitspannen der Erfassungsdaten in den Versuchen beispielsweise auf der Grundlage des Zeitpunkts des Berührens der Tasten miteinander abgleicht.
  • (Einzelheiten zur Erzeugung von Vergleichsdaten)
  • Als Nächstes stellt 14 Einzelheiten zur Erzeugung der Vergleichsdaten in dem oben beschriebenen Schritt S300 von 6 dar. 14 ist ein Flussdiagramm einer Erzeugung der Vergleichsdaten gemäß der vorliegenden Ausführungsform. Gemäß Darstellung in 14 beinhaltet die Erzeugung der Vergleichsdaten mehrere Schritte von Schritt S301 bis Schritt S309. Es wird angemerkt, dass die Schritte S301 bis S309 von 14 den Schritten S201, S203, S207, S209 und S213 von 7 entsprechen; daher wird hier keine ausführliche Beschreibung davon vorgenommen.
  • (Einzelheiten zum Vergleich)
  • Als Nächstes werden unter Bezugnahme auf die 15 bis 17 Einzelheiten des Vergleichs in dem oben beschriebenen Schritt S400 von 6 beschrieben. 15 ist ein Flussdiagramm des Vergleichs gemäß der vorliegenden Ausführungsform und 16 und 17 sind erläuternde Diagramme eines Beispiels des Vergleichs. Gemäß Darstellung in 15 beinhaltet der Vergleich gemäß der vorliegenden Ausführungsform mehrere Schritte von Schritt S401 bis Schritt S411. Einzelheiten der Schritte werden im Folgenden beschrieben.
  • (Schritt S401)
  • Zunächst wählt der Server 30 die Erfassungsdatengruppe 502, die das durch den Lernenden dargebotene Teststück (das Musikstück, die Phrase, die Tonleiter, das Arpeggio, den Akkord oder dergleichen) oder einen Teil des Teststücks enthält, als Auswahl der Trainingsdaten aus der DB 372 aus. Zu diesem Zeitpunkt kann der Server 30 die Erfassungsdatengruppe 502 auf der Grundlage der mit der Darbietung assoziierten Attributinformationen auswählen, die in der Metadatei 504 enthalten sind. Liegen mehrere Erfassungsdatenelementgruppen 502 in der DB 372 vor, ist es zu diesem Zeitpunkt bevorzugt, dass der Server 30 eine Liste dieser mehreren Erfassungsdatengruppen 502 erstellt und die Liste für den Benutzer anzeigt. Der Benutzer wählt dann die Erfassungsdatengruppe 502, die zum Vergleich verwendet werden soll, aus der Liste aus. Zu diesem Zeitpunkt kann der Benutzer die Erfassungsdatengruppe 502 bezüglich einer Darbietung eines Darbietenden, bei dem es sich nicht um den Lernenden handelt, auswählen oder er kann die Erfassungsdatengruppe 502 bezüglich einer früheren Darbietung des Lernenden auswählen.
  • Liegen die mehreren Erfassungsdatengruppen 502 in der DB 372 vor, kann der Server 30 des Weiteren die Erfassungsdatengruppe 502 mit Attributinformationen bezüglich eines Darbietenden ähnlich den Attributinformationen (Geschlecht, Alter, Körpermaße, Muskelkraft, Empfindlichkeit, Behändigkeit und dergleichen) bezüglich des Lernenden gemäß den Attributinformationen bezüglich des Lernenden und dergleichen extrahieren und dem Benutzer die extrahierte Erfassungsdatengruppe 502 empfehlen. Alternativ kann der Server 30 die Erfassungsdatengruppe 502 mit Attributinformationen, assoziiert mit der Erfassung und ähnlich den Attributinformationen, assoziiert mit der Erfassung (Sensortyp, Abtastfrequenz, Anzahl von Kanälen und dergleichen) in dem Versuch des Lernenden gemäß den Attributinformationen in dem Versuch des Lernenden und dergleichen extrahieren und dem Benutzer die extrahierte Erfassungsdatengruppe 502 empfehlen. Bei einer anderen Alternative kann der Server 30 die Erfassungsdatengruppe 502 mit Attributinformationen bezüglich eines Versuchs ähnlich den Attributinformationen bezüglich des Versuchs (Wettbewerbsname, Wettbewerbsniveau und dergleichen) des Lernenden und Attributinformationen bezüglich eines gewünschten Versuchs des Benutzers (Teilnehmerzahl, Anzahl von Fans, Beurteilungsinformationen bezüglich der Teilnehmerzahl, Anzahl der Aufrufe und dergleichen) gemäß diesen Attributinformationselementen extrahieren und dem Benutzer die extrahierte Erfassungsdatengruppe 502 empfehlen. Bei noch einer anderen Alternative kann der Server 30 die Erfassungsdatengruppe 502 gemäß der gewünschten Sensitivitätsbeurteilung des Benutzers und den Beurteilungswerten 506a für die Darbietung extrahieren und dem Benutzer die extrahierte Erfassungsdatengruppe 502 empfehlen. Bei der vorliegenden Ausführungsform kann dadurch die Anzahl von Optionen für den Benutzer reduziert werden und der Benutzer kann die Erfassungsdatengruppe 502 leicht auswählen.
  • (Schritt S403)
  • Als Nächstes trifft der Benutzer eine Auswahl hinsichtlich der Merkmalsvariablen 506 in Bezug darauf, welcher Teil und welche Bewegung (zum Beispiel Verwendungsweise von Muskeln, Bewegung des Körpers und dergleichen) einer Körperbewegung für den Vergleich verwendet werden, um einen gewünschten Zustand der Darbietung zu realisieren (zum Beispiel schnelles Klavierspielen wie ein berühmter Pianist). Anders ausgedrückt wählt der Benutzer ein oder mehrere Elemente der Erfassungsdaten 500, der Merkmalsvariablen 506 oder der Beziehungsinformationen 608 zur Verwendung als die Trainingsdaten aus der in dem oben beschriebenen Schritt S401 ausgewählten Erfassungsdatengruppe 502 aus. Zu diesem Zeitpunkt liegen wahrscheinlich große Datenmengen, die Kandidaten für die Trainingsdaten sein können, in der Erfassungsdatengruppe 502 vor; daher kann der Server 30 geeignete Trainingsdaten extrahieren und dem Benutzer die geeigneten Trainingsdaten empfehlen oder die geeigneten Trainingsdaten automatisch auswählen.
  • Beispielsweise berechnet der Server 30 eine Differenz zwischen jedem Erfassungsdatenelement 500 in der in Schritt S401 ausgewählten Erfassungsdatengruppe 502 und den Erfassungsdaten 500 bezüglich des Lernenden des Teils, der dem der früheren Erfassungsdaten 500 entspricht. Der Server 30 empfiehlt dem Benutzer dann die Erfassungsdaten 500 mit der größten Differenz als die Trainingsdaten. Alternativ kann der Server 30 beispielsweise automatisch die Erfassungsdaten 500, die schätzungsgemäß in hohem Maße mit dem gewünschten Zustand der Darbietung des Benutzers zusammenhängen (Beurteilungswerte 506a), als die Trainingsdaten auswählen, indem er auf die Beziehungsinformationen 608 Bezug nimmt. Bei der vorliegenden Ausführungsform kann dadurch die Anzahl von Optionen für den Benutzer reduziert werden und der Benutzer kann die Trainingsdaten leicht auswählen.
  • (Schritt S405)
  • Als Nächstes wählt der Benutzer die Wahrnehmungsmodalität (visuelle Wahrnehmung, akustische Wahrnehmung, taktile Wahrnehmung oder dergleichen) aus, die geeignet ist zum Rückmelden der in dem später beschriebenen Schritt S411 erzeugten Rückmeldungsinformationen zu dem Benutzer. Bei der vorliegenden Ausführungsform können die Rückmeldungsinformationen beispielsweise mittels der visuellen Wahrnehmung über die Anzeigeeinrichtung, mittels der akustischen Wahrnehmung über die Audioausgabeeinrichtung oder mittels der taktilen Wahrnehmung über die am Körper des Lernenden befestigte Wearable-Einrichtung (den haptischen Mechanismus) rückgemeldet werden. Des Weiteren kann der Benutzer bei der vorliegenden Ausführungsform mehrere Wahrnehmungsmodalitäten auswählen.
  • (Schritt S407)
  • Als Nächstes führt der Server 30 einen Vergleich durch, indem er entweder die Differenz zwischen den in Schritt S403 ausgewählten Trainingsdaten und den Erfassungsdaten 500 (Vergleichsdaten) bezüglich des Lernenden des Teils, der dem der Trainingsdaten entspricht, berechnet oder die Trainingsdaten den Vergleichsdaten überlagert. Gemäß Darstellung in 16 beispielsweise vergleicht der Vergleichsabschnitt 350 des Servers 30 die Trainingsdaten 600 mit den Vergleichsdaten 602. In dem nachfolgenden Schritt S411 werden dann Rückmeldungsinformationen 610 auf der Grundlage eines Vergleichsergebnisses erzeugt. Es wird angemerkt, dass der Server 30 in Schritt S407 die Differenz zwischen den ausgewählten Trainingsdaten 600 und den Vergleichsdaten 602 wie zuvor beschrieben berechnen oder die Trainingsdaten 600 den Vergleichsdaten 602 überlagern kann, wie in 17 dargestellt.
  • (Schritt S409)
  • Als Nächstes kann der Server 30 die in dem oben beschriebenen Schritt S407 erhaltene Differenz zwischen den Trainingsdaten und den Vergleichsdaten hervorheben oder verringern, indem die Differenz entweder räumlich oder zeitlich erweitert oder verkleinert wird. Insbesondere wird die Differenz bei der vorliegenden Ausführungsform um ein vorbestimmtes Verkleinerungsverhältnis für den Lernenden auf dem Fertigkeitsniveau mit größerer Differenz zu dem in den Trainingsdaten 600 verringert, um den Rückgang der Lernmotivation zu vermeiden. Angenommen, die Tastenberührungskraft in den Trainingsdaten 600 beträgt beispielsweise 1, und die Tastenberührungskraft des Lernenden (Vergleichsdaten) ist ungefähr 80 % niedriger als die in den Trainingsdaten, so stellt der Server 30 die Tastenberührungskraftdifferenz verkleinert (verringert) auf 20 % bereit, ohne die bei 80 % gehaltene Differenz bereitzustellen. Andererseits wird bei der vorliegenden Ausführungsform die kleine Differenz um ein vorbestimmtes Vergrößerungsmaß für den Lernenden auf dem Fertigkeitsniveau mit kleinerer Differenz zu dem in den Trainingsdaten 600 erweitert, um den Lernenden auf ein höheres Fertigkeitsniveau zu führen, sodass der Lernende die Differenz leicht erkennen kann. Ist beispielsweise das Tastenberührungs-Timing des Lernenden (Vergleichsdaten) 0,01 Sekunden schneller als das in den Trainingsdaten 600, stellt der Server 30 die Differenz erweitert (hervorgehoben) auf 0,1 Sekunden bereit, ohne die bei 0,01 Sekunden gehaltene Differenz bereitzustellen, sodass der Lernende die Differenz leicht erkennen kann. Anders ausgedrückt ermöglicht das Durchführen der oben beschriebenen Verarbeitung an der Differenz bei der vorliegenden Ausführungsform, dass der Lernende die Differenz zu den Trainingsdaten 600 leicht erkennt, während der Rückgang der Motivation des Lernenden vermieden wird; somit ist es möglich, eine Unterstützung eines effizienten Erlernens der Darbietung zu realisieren. Es wird angemerkt, dass das Vergrößerungsmaß oder das Verkleinerungsverhältnis für die Differenz bei der vorliegenden Ausführungsform Schritt für Schritt gemäß der Änderung des Fertigkeitsniveaus des Lernenden angepasst werden kann. Des Weiteren bedeutet zeitliche Erweiterung oder Verkleinerung, dass die mit einem Bereitstellen der Rückmeldungsinformationen assoziierte Zeit verlangsamt oder beschleunigt wird.
  • (Schritt S411)
  • Der Server 30 erzeugt die Rückmeldungsinformationen 610, die gemäß der oben beschriebenen Verarbeitung von Schritt S401 bis S409 an den Benutzer zurückzumelden sind.
  • <Schlussbemerkung>
  • Wie bisher beschrieben, ist es gemäß der oben beschriebenen Ausführungsform der vorliegenden Offenbarung möglich, ein Informationsverarbeitungssystem 1 bereitzustellen, das in der Lage ist, die Erfassungsdaten in einer Mischung von Formen genau zu synchronisieren und zu bearbeiten, und das zur Unterstützung beim Erlernen der Darbietung verfügbar ist.
  • «3. Lernunterstützungsmodus»
  • Unterdessen ist es bei der oben beschriebenen Ausführungsform der vorliegenden Offenbarung bevorzugt, einen Lernunterstützungsmodus bereitzustellen, der im Folgenden beschrieben wird, sodass eine Wirksamkeit der Lernunterstützung basierend auf der durch das oben beschriebene Informationsverarbeitungssystem 1 bereitgestellten Rückmeldung weiter verbessert werden kann. Daher wird der Lernunterstützungsmodus gemäß der Ausführungsform der vorliegenden Offenbarung im Folgenden unter Bezugnahme auf 18 beschrieben. 18 ist ein Flussdiagramm des Lernunterstützungsmodus gemäß der vorliegenden Ausführungsform. Es wird angenommen, dass der Benutzer vorab auswählen kann, ob der Lernunterstützungsmodus ausgeführt werden soll.
  • Unterdessen können als mit den Inhalten der Rückmeldungsinformationen 610 assoziierte Elemente unter Elementen der Rückmeldung, die einen Einfluss auf das Lernen des Lernenden haben, Teile der Trainingsdaten 600, die bei dem Vergleich verwendet werden (welche Erfassungsdaten 500 und welche Merkmalsvariablen 506 sind auszuwählen), ein Verfahren des Vergleichs (ob die Differenz zwischen den Trainingsdaten 600 und den Vergleichsdaten 602 berechnet wird oder diese Datenelemente überlagert sind) und dergleichen angeführt werden. Ferner können als mit der Ausgabe der Rückmeldungsinformationen 610 assoziierte Elemente ein Hervorhebungs- oder Verringerungsgrad der Differenz, die Wahrnehmungsmodalität, mittels der die Rückmeldungsinformationen zurückgemeldet werden und dergleichen angeführt werden. Welches dieser Elemente für die Lernunterstützung in welcher Weise wirksamer ist, hängt von der zu erlernenden Darbietung sowie Merkmalen und Umständen des Lernenden ab. In dem Erwerbsunterstützungsmodus gemäß der vorliegenden Ausführungsform wird daher in Echtzeit untersucht, welches der Elemente für die Lernunterstützung auf welche Weise wirksamer ist, und es wird eine wirksamere Rückmeldung bereitgestellt.
  • Ist beispielsweise der Lernende oder dergleichen nicht in der Lage, eine gewünschte Darbietung zu realisieren, liegen oftmals mehrere Elemente (Merkmalsvariablen) als Ursachen vor. So liegen beispielsweise bei einem Tastenberührungsfehler während einer Darbietung mehrere Elemente, die den Tastenberührungsfehler verursachen, vor, darunter eine falsche Armhaltung des Lernenden, Muskelanspannung und Zeitverzögerungen beim Blicken auf die zu berührenden Tasten. Ein Algorithmus, der durch den Lernunterstützungsmodus erhalten werden kann, ermöglicht es daher, ein solches Element auszuwählen, dass „der Lernende Tastenberührungsfehler frühestens vermeiden kann, wenn er dieses Element korrigiert“. Beispielsweise wählt der Algorithmus das Element aus, für das die Differenz zwischen den Vergleichsdaten und den Trainingsdaten unter den mehreren Faktoren (Merkmalsvariablen) am größten ist, oder wählt die Merkmalsvariablen aus, die gemäß Erfahrungen vieler Darbietenden als wichtig angesehen werden. Das Verwenden eines solchen Algorithmus ermöglicht eine wirksamere Durchführung der Lernunterstützung.
  • Beispielsweise wird der Lernende in dem Lernunterstützungsmodus dazu gebracht, Versuche desselben Teststücks ungefähr einige Male (zum Beispiel drei- bis fünfmal) zu wiederholen, und der Server 30 wiederholt ein Erwerben und eine Analyse der Erfassungsdatengruppe 502 und eine Präsentation der Rückmeldungsinformationen 610.
  • Zu diesem Zeitpunkt extrahiert der Server 30 die Beurteilungswerte 506a (den Darbietungszustand) für die Darbietung des Lernenden aus den Erfassungsdaten 500 und berechnet Änderungen der Beurteilungswerte 506a gegenüber denen in dem vorherigen Versuch. Wird nicht bestätigt, dass sich die Beurteilungswerte 506a verbessert haben, ändert der Server 30 zu diesem Zeitpunkt die Teile der Trainingsdaten 600, die in dem Vergleich verwendet werden, das Verfahren des Vergleichs, den Hervorhebungs- oder Verringerungsgrad der Differenz, die Wahrnehmungsmodalität und dergleichen und meldet die Änderungen vor einem nächsten Versuch zurück. Wird dagegen bestätigt, dass sich die Beurteilungswerte 506a verbessert haben, meldet der Server 30 die Rückmeldungsinformationen vor dem nächsten Versuch zurück, ohne die in dem Vergleich verwendeten Trainingsdaten 600, das Verfahren des Vergleichs, den Hervorhebungs- oder Verringerungsgrad der Differenz, die Wahrnehmungsmodalität und dergleichen zu ändern.
  • Des Weiteren ermöglicht das wiederholte Ausführen solcher Versuche und Rückmeldungen, dass der Lernabschnitt 348 des Servers 30 das maschinelle Lernen an einer Beziehung der Beurteilungswerte 506a zu den Teilen der Trainingsdaten 600, dem Verfahren des Vergleichs, dem Hervorhebungs- oder Verringerungsgrad der Differenz und der Wahrnehmungsmodalität durchführt. Anders ausgedrückt kann der Lernabschnitt 348 durch das maschinelle Lernen die Teile der Trainingsdaten 600, die in dem Vergleich verwendet werden, das Verfahren des Vergleichs, den Hervorhebungs- oder Verringerungsgrad der Differenz und die Wahrnehmungsmodalität und dergleichen, die zur Verbesserung eines Zustands einer bestimmten Darbietung des Lernenden geeignet sind, herausstellen. Des Weiteren kann der Server 30 die geeigneten Teile der Trainingsdaten 600, das geeignete Verfahren des Vergleichs, den geeigneten Hervorhebungs- oder Verringerungsgrad der Differenz und die geeignete Wahrnehmungsmodalität unter Verwendung des Algorithmus basierend auf der durch ein solches maschinelles Lernen erhaltenen Beziehung auswählen und dem Benutzer ein Auswahlergebnis empfehlen. Zudem kann der Server 30 den so erhaltenen Algorithmus auf einen anderen Lernenden anwenden. Zum Beispiel wird erwartet, dass sich bei einem Lernenden mit ähnlichen Attributinformationen (Name, Geschlecht, Alter, Körpergröße, Körpergewicht, Körpermaße, Muskelkraft, Handflächengröße und dergleichen) tendenziell ähnliche Teile der Trainingsdaten 600, die in dem Vergleich verwendet werden, ein ähnliches Verfahren des Vergleichs, ein ähnlicher Hervorhebungs- oder Verringerungsgrad der Differenz und eine ähnliche Wahrnehmungsmodalität zur Verbesserung des Zustands der bestimmten Darbietung eignen; somit kann der Server 30 auf der Grundlage der Attributinformationen bezüglich des anderen Lernenden bestimmen, ob der Algorithmus auf den anderen Lernenden angewendet werden soll.
  • Liegt scheinbar eine Korrelation zwischen einer Verbesserung einer Motilitätsfunktion (Muskelkraft, Gelenkbewegungsbereiche, Schnelligkeit und sensorische Funktionen) des Lernenden und der Verbesserung des Zustands der bestimmten Darbietung vor, führt der Server 30 in dem Lernunterstützungsmodus des Weiteren vorzugsweise nicht nur die Rückmeldung durch, sondern empfiehlt auch ein Training zur Verbesserung der Motilitätsfunktion. Beispielsweise ist bekannt, dass ein Darbietender, der während der Darbietung rhythmisch ungleichmäßig und rhythmisch falsch ist, eine geringere taktile Funktion der Fingerspitzen und eine geringere Funktion zum unabhängigen Bewegen der Finger aufweist. Der Server 30 empfiehlt dem Lernenden daher als das Training zur Verbesserung der Motilitätsfunktion eine Übung zur unabhängigen Bewegung der Finger und ein Training der taktilen Funktion (sensorisches Lerntraining), falls der Lernende eine Verbesserung einer Darbietung, das heißt „eine Verbesserung der Genauigkeit“, anstrebt.
  • Insbesondere beinhaltet der Lernunterstützungsmodus, wie in 18 dargestellt, gemäß der vorliegenden Ausführungsform mehrere Schritte von Schritt S601 bis Schritt S609. Einzelheiten dieser Schritte werden im Folgenden beschrieben.
  • (Schritt S601)
  • Die Rückmeldungseinrichtung 70 führt eine Rückmeldung zu dem Lernenden auf der Grundlage der von dem Server 30 empfangenen Rückmeldungsinformationen 610 durch, ähnlich der obigen Beschreibung.
  • (Schritt S603)
  • Der Lernende führt einen Versuch desselben Teststücks wie in einem vorherigen Versuch unter Bezugnahme auf die Rückmeldung durch. Der Server 30 erwirbt die Erfassungsdatengruppe 502 bezüglich des ausgeführten Versuchs.
  • (Schritt S605)
  • Der Server 30 extrahiert die Beurteilungswerte 506a für die Darbietung des Lernenden auf der Grundlage der in dem oben beschriebenen Schritt S603 erworbenen Erfassungsdatengruppe 502. Des Weiteren berechnet der Server 30 Änderungen der Beurteilungswerte 506a gegenüber denen in dem vorherigen Versuch.
  • (Schritt S607)
  • Wird nicht bestätigt, dass sich die Beurteilungswerte 506a verbessert haben, wählt der Server 30 aus, die Teile der Trainingsdaten 600, die in dem Vergleich verwendet werden, das Verfahren des Vergleichs, den Hervorhebungs- oder Verringerungsgrad der Differenz, die Wahrnehmungsmodalität und dergleichen zu ändern. Wird dagegen bestätigt, dass sich die Beurteilungswerte 506a verbessert haben, wählt der Server 30 aus, die Teile der Trainingsdaten 600, die in dem Vergleich verwendet werden, das Verfahren des Vergleichs, den Hervorhebungs- oder Verringerungsgrad der Differenz, die Wahrnehmungsmodalität und dergleichen nicht zu ändern.
  • Zum Zeitpunkt der oben beschriebenen Schritte S605 und S607 führt der Server 30 das maschinelle Lernen an der Beziehung der Beurteilungswerte 506a zu den Teilen der Trainingsdaten 600, dem Verfahren des Vergleichs, dem Hervorhebungs- oder Verringerungsgrad der Differenz und der Wahrnehmungsmodalität durch. Wie zuvor beschrieben, kann der Server 30 eine nächste Rückmeldung unter Verwendung des Algorithmus basierend auf der durch das maschinelle Lernen erhaltenen Beziehung durchführen.
  • (Schritt S609)
  • Als Nächstes erzeugt der Server 30 die Rückmeldungsinformationen 610 auf der Grundlage einer Auswahl in dem oben beschriebenen Schritt S607. Des Weiteren wählt der Server 30 ein dem Lernenden zu empfehlendes Training zur Verbesserung der Motilitätsfunktion aus.
  • «4. Anwendungsbeispiele der Ausführungsform der vorliegenden Offenbarung»
  • Bisher ist die Ausführungsform der vorliegenden Offenbarung beschrieben worden. Als Nächstes werden Anwendungsbeispiele der Ausführungsform der vorliegenden Offenbarung genauer beschrieben. Es wird angemerkt, dass die folgenden Anwendungsbeispiele lediglich als Beispiel der Ausführungsform der vorliegenden Offenbarung angegeben sind und die Ausführungsform der vorliegenden Offenbarung nicht auf die folgenden Anwendungsbeispiele beschränkt ist.
  • Als ein Anwendungsbeispiel der Ausführungsform der vorliegenden Offenbarung können Fertigkeitserwerbsunterstützung beim Sport, Kunst (Malerei, Kalligraphie und dergleichen), darstellende Kunst und traditionelle Kunst, verschiedene Betriebssimulatoren (für Kraftfahrzeuge, Flugzeuge und dergleichen) und Spiele neben dem Erlernen von Spieltechniken für Musikinstrumente angeführt werden. So ermöglicht beispielsweise das Befestigen der oben beschriebenen Sensoreinrichtung 10 an einem Tennisschläger oder dergleichen eine Identifizierung eines zur Verbesserung einer Tennisleistung des Benutzers erforderlichen Fertigkeitselements und ein automatisches Coaching des Benutzers und dergleichen.
  • Als Anwendungsbeispiele der Ausführungsform der vorliegenden Offenbarung können außerdem eine Unterstützung bei einer Diagnose eines Patienten mit einer beeinträchtigten Motilitätsfunktion, eine Beurteilung der Wirksamkeit einer Behandlung und eine Vorhersageunterstützung einer zukünftigen beeinträchtigten Motilitätsfunktion angeführt werden. Während es beispielsweise im Feld der Musiktherapie bekannt ist, dass das Erlernen eines Musikinstruments zu einer Genesung von einer Motilitätsfunktion oder einer kognitiven Funktion nach einem Schlaganfall beiträgt, ist der größte Teil eines Mechanismus der Genesung noch nicht erschlossen. Bei der vorliegenden Ausführungsform ist es daher auch möglich, Daten, die mit einer Gehirnaktivität eines Patienten assoziiert sind, mit Daten, die mit einer Bewegung, wie etwa dem Spielen eines Musikinstruments, assoziiert sind, genau zu synchronisieren und diese Datenelemente zu erwerben; es wird daher erwartet, dass zur Verdeutlichung des Mechanismus nützliche Informationen erworben werden.
  • Zudem dient die bei der vorliegenden Ausführungsform erstellte DB 372 auch einer Entwicklung verschiedener Arten von Coaching-Verfahren zum Erlernen von Fertigkeiten; die DB 372 könnte somit ein allein vertriebenes Produkt sein.
  • «5. Hardwarekonfigurationen»
  • 19 ist ein erläuterndes Diagramm, das ein Beispiel einer Hardwarekonfiguration einer Informationsverarbeitungseinrichtung 900 gemäß der vorliegenden Ausführungsform veranschaulicht. In 19 zeigt die Informationsverarbeitungseinrichtung 900 ein Beispiel der Hardwarekonfiguration des oben beschriebenen Servers 30.
  • Die Informationsverarbeitungseinrichtung 900 weist beispielsweise eine CPU 950, einen ROM 952, einen RAM 954, ein Aufzeichnungsmedium 956 und eine Eingabe/Ausgabe-Schnittstelle 958 auf. Die Informationsverarbeitungseinrichtung 900 weist ferner eine haptische Vorrichtung 960, eine Anzeigevorrichtung 962, eine Audioausgabevorrichtung 964, eine Kommunikationsschnittstelle 968 und einen Sensor 980 auf. Zudem verbindet die Informationsverarbeitungseinrichtung 900 die Bestandselemente beispielsweise über einen Bus 970, der als Datenübertragungsweg dient, miteinander.
  • (CPU 950)
  • Die CPU 950 ist beispielsweise mit einem oder zwei oder mehr Prozessoren konfiguriert, die jeweils eine Rechenschaltung wie etwa eine CPU, jede Art von Verarbeitungsschaltung und dergleichen beinhalten, und fungiert als der Hauptsteuerabschnitt 340, der eine Steuerung über die gesamte Informationsverarbeitungseinrichtung 900 ausübt.
  • (ROM 952 und RAM 954)
  • In dem ROM 952 werden durch die CPU 950 verwendete Programme, Steuerdaten wie etwa Rechenparameter und dergleichen gespeichert. In dem RAM 954 werden die durch die CPU 950 ausgeführten Programme und dergleichen temporär gespeichert. Der ROM 952 und der RAM 954 fungieren beispielsweise als der oben beschriebene Speicherungsabschnitt 370 in der Informationsverarbeitungseinrichtung 900.
  • (Aufzeichnungsmedium 956)
  • Das Aufzeichnungsmedium 956 fungiert als der oben beschriebene Speicherungsabschnitt 370 und speichert beispielsweise Daten bezüglich des Informationsverarbeitungsverfahrens gemäß der vorliegenden Ausführungsform und verschiedene Arten von Daten wie etwa verschiedene Anwendungen. Beispiele des Aufzeichnungsmediums 956 beinhalten hierin ein magnetisches Aufzeichnungsmedium wie etwa eine Festplatte und einen nichtflüchtigen Speicher wie etwa einen Flash-Speicher. Des Weiteren kann das Aufzeichnungsmedium 956 von der Informationsverarbeitungseinrichtung 900 abnehmbar sein.
  • (Eingabe/Ausgabe-Schnittstelle 958, haptische Vorrichtung 960, Anzeigevorrichtung 962 und Audioausgabevorrichtung 964)
  • Die Eingabe/Ausgabe-Schnittstelle 958 verbindet beispielsweise die haptische Vorrichtung 960, die Anzeigevorrichtung 962, die Audioausgabevorrichtung 964 und dergleichen. Beispiele für die Eingabe/Ausgabe-Schnittstelle 958 beinhalten einen USB-Anschluss (Universal Serial Bus), einen DVI-Anschluss (Digital Visual Interface), einen HDMI-Anschluss (High-Definition Multimedia Interface) (eingetragenes Warenzeichen) und verschiedene Arten von Verarbeitungsschaltungen.
  • Die haptische Vorrichtung 960 fungiert als der oben beschriebene haptische Mechanismus 710, die Anzeigevorrichtung 962 fungiert als der oben beschriebene Anzeigeabschnitt 714 und die Audioausgabevorrichtung 964 fungiert als der oben beschriebene Audioausgabeabschnitt 716. Als die haptische Vorrichtung 960 kann eine am Körper des Lernenden befestigte Wearable-Vorrichtung angeführt werden. Als die Audioausgabevorrichtung 964 können ein Lautsprecher, ein Kopfhörerlautsprecher und dergleichen angeführt werden. Des Weiteren können als die Anzeigevorrichtung 962 eine Flüssigkristallanzeige, eine organische EL-Anzeige (Organic Electro-Luminescence Display) und dergleichen angeführt werden.
  • Selbstverständlich kann die Eingabe/Ausgabe-Schnittstelle 958 mit einer externen Vorrichtung wie etwa einer Bedienungseingabevorrichtung (zum Beispiel einer Tastatur und einer Maus) außerhalb der Informationsverarbeitungseinrichtung 900 und einer externen Anzeigevorrichtung verbunden sein.
  • (Kommunikationsschnittstelle 968)
  • Die Kommunikationsschnittstelle 968 ist ein Kommunikationsmittel, das als der Kommunikationsabschnitt 360 fungiert und in der Informationsverarbeitungseinrichtung 900 vorgesehen ist, und fungiert als Kommunikationsabschnitt (nicht dargestellt) zum Führen entweder einer drahtlosen oder einer drahtgebundenen Kommunikation mit einer externen Einrichtung über das Netzwerk 90 (oder direkt). Beispiele für die Kommunikationsschnittstelle 968 beinhalten eine Kommunikationsantenne, eine Hochfrequenz(HF)-Schaltung (für Drahtloskommunikation), einen IEEE802.15.1-Port und eine Übertragungs-/Empfangsschaltung (für Drahtloskommunikation), einen IEEE802.11-Port und eine Übertragungs-/Empfangsschaltung (für Drahtloskommunikation) und einen LAN-Anschluss (Local Area Network) und eine Übertragungs-/Empfangsschaltung (für verdrahtete Kommunikation).
  • Bisher wurde das Beispiel der Hardwarekonfiguration der Informationsverarbeitungseinrichtung 900 veranschaulicht. Es wird angemerkt, dass die Hardwarekonfiguration der Informationsverarbeitungseinrichtung 900 nicht auf die in 19 dargestellte Konfiguration beschränkt ist. Insbesondere können die obigen Bestandselemente unter Verwendung von Allzweckgliedern oder durch Hardware, die Funktionen der Bestandselemente gewidmet ist, konfiguriert werden. Eine solche Konfiguration könnte gegebenenfalls gemäß Technologiestufen zu unterschiedlichen Zeitpunkten der Ausführung der vorliegenden Offenbarung geändert werden.
  • Beispielsweise ist die Informationsverarbeitungseinrichtung 900 bei einer Kommunikation mit einer externen Einrichtung oder dergleichen über eine externe Kommunikationsvorrichtung, die mit der Informationsverarbeitungseinrichtung 900 verbunden ist, oder wenn sie zur eigenständigen Durchführung einer Verarbeitung konfiguriert ist, nicht zwangsweise mit der Kommunikationsschnittstelle 968 konfiguriert. Des Weiteren kann die Kommunikationsschnittstelle 968 derart konfiguriert sein, dass sie zur Kommunikation mit einer oder zwei oder mehr externen Einrichtungen mittels mehrerer Kommunikationsschemata fähig ist.
  • Zudem kann die Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform auf ein System angewendet werden, das aus mehreren Einrichtungen unter der Voraussetzung einer Verbindung mit einem Netzwerk wie Cloud Computing (oder einer Kommunikation zwischen den Einrichtungen) konfiguriert ist. Anders ausgedrückt kann die Informationsverarbeitungseinrichtung gemäß der oben beschriebenen vorliegenden Ausführungsform beispielsweise als ein Informationsverarbeitungssystem realisiert werden, das eine Verarbeitung bezüglich des Informationsverarbeitungsverfahrens gemäß der vorliegenden Ausführungsform unter Verwendung der mehreren Einrichtungen durchführt.
  • «6. Ergänzende Anmerkungen»
  • Es wird angemerkt, dass die zuvor beschriebene Ausführungsform der vorliegenden Offenbarung beispielsweise ein Programm zum Bewirken, dass ein Computer als die Informationsverarbeitungseinrichtung (zum Beispiel der Server 30) gemäß der vorliegenden Ausführungsform fungiert, und ein nichtflüchtiges materielles Medium, in dem ein Programm aufgezeichnet ist, beinhalten könnte. Des Weiteren kann das Programm über eine Kommunikationsleitung (einschließlich einer Leitung zur drahtlosen Kommunikation) wie etwa das Internet verteilt werden.
  • Des Weiteren werden die Schritte in jeder Verarbeitung in der oben beschriebenen Ausführungsform der vorliegenden Offenbarung nicht zwangsweise in einer beschriebenen Reihenfolge verarbeitet. Beispielsweise können die Schritte verarbeitet werden, indem die Reihenfolge zweckmäßig geändert wird. Zudem können die Schritte als Alternative zur Verarbeitung in zeitlicher Abfolge teilweise entweder parallel oder einzeln verarbeitet werden. Des Weiteren werden die Schritte bei einem Verfahren zum Verarbeiten der Schritte nicht zwangsweise gemäß dem beschriebenen Verfahren verarbeitet. Beispielsweise können die Schritte durch andere Verfahren durch andere Funktionsabschnitte verarbeitet werden.
  • Obwohl die bevorzugte Ausführungsform der vorliegenden Offenbarung ausführlich unter Bezugnahme auf die begleitenden Zeichnungen beschrieben wurde, ist ein technischer Umfang der vorliegenden Offenbarung nicht auf ein solches Beispiel beschränkt. Es ist offensichtlich, dass ein Fachmann verschiedene Arten von Modifikationen oder Korrekturbeispielen im Schutzumfang eines in Ansprüchen beschriebenen technischen Konzepts erkennen kann, und es versteht sich, dass diese Aspekte natürlich auch zum technischen Schutzumfang der vorliegenden Offenbarung gehören.
  • Es wird angemerkt, dass die folgenden Konfigurationen in einen technischen Bereich der vorliegenden Offenbarung fallen.
    • (1) Eine Informationsverarbeitungseinrichtung, die Folgendes beinhaltet:
      • einen Umsetzungsabschnitt, der mehrere Erfassungsdatenelemente in verschiedenen Formen umsetzt, die von mehreren Sensoren erhalten werden, die jeweils einen Zustand bezüglich einer Darbietung durch eine Bewegung eines Benutzers erfassen;
      • einen Informationsverarbeitungsabschnitt, der die durch den Umsetzungsabschnitt umgesetzten Erfassungsdaten verarbeitet; und
      • einen Informationsausgabeabschnitt, der auf der Grundlage eines Verarbeitungsergebnisses des Informationsverarbeitungsabschnitts Rückmeldungsinformationen an den Benutzer ausgibt, wobei der Umsetzungsabschnitt Folgendes beinhaltet:
      • einen Analog/Digital-Signalumsetzungsabschnitt, der die Erfassungsdaten in einer analogen Form von den Sensoren in Erfassungsdaten in einer digitalen Form umsetzt und die Erfassungsdaten in der digitalen Form an den Informationsverarbeitungsabschnitt ausgibt, und
      • einen Digital/Analog-Signalumsetzungsabschnitt, der die Erfassungsdaten in der digitalen Form von den Sensoren in Erfassungsdaten in der analogen Form umsetzt und die Erfassungsdaten in der analogen Form an den Analog/Digital-Signalumsetzungsabschnitt ausgibt.
    • (2) Die Informationsverarbeitungseinrichtung nach (1), wobei der Analog/Digital-Signalumsetzungsabschnitt einen ersten Taktmechanismus zum Synchronisieren von Erfassungsdatenelementen in der analogen Form von einem ersten Sensor, der die Erfassungsdatenelemente ausgibt, aufweist.
    • (3) Die Informationsverarbeitungseinrichtung nach (2), die ferner Folgendes beinhaltet:
      • einen zweiten Taktmechanismus, der näher an einem zweiten Sensor vorgesehen ist, der Erfassungsdatenelemente in der digitalen Form ausgibt, zum Synchronisieren der Erfassungsdatenelemente von dem zweiten Sensor.
    • (4) Die Informationsverarbeitungseinrichtung nach (3), wobei der Informationsverarbeitungsabschnitt die Erfassungsdatenelemente von dem ersten Sensor mit den Erfassungsdatenelementen von dem zweiten Sensor auf der Grundlage einer zeitlichen Differenz zwischen dem ersten Taktmechanismus und dem zweiten Taktmechanismus synchronisiert.
    • (5) Die Informationsverarbeitungseinrichtung nach (3) oder (4), wobei der Digital/Analog-Signalumsetzungsabschnitt die Erfassungsdaten von dem zweiten Sensor in Erfassungsdaten in der analogen Form umsetzt und die Erfassungsdaten in der analogen Form als Triggersignal zum Ansteuern des ersten Sensors an den ersten Sensor ausgibt.
    • (6) Die Informationsverarbeitungseinrichtung nach einem von (3) bis (5), wobei der erste Sensor mindestens eines der Folgenden beinhaltet:
      • einen Beschleunigungssensor, einen Gyrosensor, einen Winkelgeschwindigkeitssensor, einen Vibrationssensor, einen Drucksensor, einen Bioinformationssensor, einen Biegesensor oder einen Positionssensor, der am Körper des Benutzers befestigt ist,
      • einen Drucksensor oder einen Fotoreflektorsensor, der an einem Objekt angebracht ist, das sich durch eine Bewegung des Benutzers bewegt, und der eine Bewegung des Objekts erfasst,
      • eine Bildgebungseinrichtung, die den Benutzer abbildet, oder
      • eine Tonaufnahmeeinrichtung, die durch die Darbietung erzeugte Töne erfasst.
    • (7) Die Informationsverarbeitungseinrichtung nach (6), wobei der Bioinformationssensor mindestens eines der Folgenden erfasst: einen Herzschlag, einen Puls, eine Gehirnwelle, eine Atmung, einen Schweißfluss, ein myoelektrisches Potenzial, eine Hauttemperatur, einen elektrischen Hautwiderstand, eine Augapfelbewegung, einen Pupillendurchmesser oder eine Kernspinresonanz des Benutzers.
    • (8) Die Informationsverarbeitungseinrichtung nach (6), wobei das Objekt ein akustisches Musikinstrument oder ein elektronisches Musikinstrument beinhaltet.
    • (9) Die Informationsverarbeitungseinrichtung nach einem von (3) bis (8), wobei der zweite Sensor mindestens eines der Folgenden beinhaltet:
      • einen Beschleunigungssensor, einen Gyrosensor, einen Winkelgeschwindigkeitssensor, einen Vibrationssensor, einen Drucksensor, einen Biegesensor oder einen Positionssensor, der am Körper des Benutzers befestigt ist, oder
      • ein elektronisches Musikinstrument, das durch den Benutzer verwendet wird.
    • (10) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (9), die ferner Folgendes beinhaltet:
      • einen Speicherungsabschnitt, der Elemente der Erfassungsdaten speichert, die von dem Digital/Analog-Signalumsetzungsabschnitt ausgegeben werden, während die Elemente der Erfassungsdaten mit Attributinformationselementen bezüglich der Elemente der Erfassungsdaten verknüpft werden.
    • (11) Die Informationsverarbeitungseinrichtung nach (10), wobei die Attributinformationen mindestens eines der Folgenden enthalten: mit dem Benutzer assoziierte Attributinformationen, mit der Darbietung assoziierte Attributinformationen, die Darbietung charakterisierende Merkmalsvariablen, Beurteilungsinformationen für die Darbietung, mit der Erfassung verknüpfte Attributinformationen oder Sensitivitätsbeurteilungsinformationen für die Darbietung.
    • (12) Die Informationsverarbeitungseinrichtung nach (11), wobei der Informationsverarbeitungsabschnitt einen Analyseabschnitt aufweist, der die von dem Digital/Analog-Signalumsetzungsabschnitt ausgegebenen Erfassungsdaten analysiert und Merkmalsvariablen, die einen Zustand der Darbietung charakterisieren, extrahiert.
    • (13) Die Informationsverarbeitungseinrichtung nach (11), wobei die Sensitivitätsbeurteilungsinformationen für die Darbietung durch den Benutzer jedes Mal eingegeben werden, wenn die Darbietung gegeben wird.
    • (14) Die Informationsverarbeitungseinrichtung nach (11), wobei die Sensitivitätsbeurteilungsinformationen für die Darbietung auf der Grundlage des Zustands bezüglich der Darbietung erworben werden, indem auf eine Beziehung zwischen dem Zustand bezüglich der Darbietung und einer Sensitivitätsbeurteilung, die vorab durch maschinelles Lernen erhalten wurde, Bezug genommen wird.
    • (15) Die Informationsverarbeitungseinrichtung nach (11), wobei die Beurteilungsinformationen für die Darbietung Anteile von numerischen Werten bezüglich verschiedener Arten der Beurteilungsinformationen für die Darbietung beinhalten, wobei die verschiedenen Arten der Beurteilungsinformationen in einer Kompromissbeziehung stehen.
    • (16) Die Informationsverarbeitungseinrichtung nach einem von (10) bis (15), wobei der Informationsverarbeitungsabschnitt einen Vergleichsabschnitt aufweist, der als Trainingsdaten ein oder mehrere Elemente der Erfassungsdaten aus den mehreren in dem Speicherungsabschnitt gespeicherten Elementen der Erfassungsdaten auswählt und die ausgewählten Trainingsdaten mit Vergleichsdaten vergleicht, die die Erfassungsdaten bezüglich der Darbietung des Benutzers sind und die neu erfasst sind.
    • (17) Die Informationsverarbeitungseinrichtung nach (16), wobei der Vergleichsabschnitt die Trainingsdaten mit den Vergleichsdaten vergleicht, indem er eine Differenz zwischen den Trainingsdaten und den Vergleichsdaten berechnet oder die Trainingsdaten den Vergleichsdaten überlagert.
    • (18) Die Informationsverarbeitungseinrichtung nach (17), wobei der Informationsausgabeabschnitt die Differenz, an der eine Hervorhebungs- oder Verringerungsverarbeitung durchgeführt wurde, als die Rückmeldungsinformationen ausgibt.
    • (19) Die Informationsverarbeitungseinrichtung nach (18), wobei der Informationsausgabeabschnitt die Rückmeldungsinformationen über eine Anzeigeeinrichtung und/oder eine am Körper des Benutzers befestigte Wearable-Einrichtung und/oder eine Audioausgabeeinrichtung ausgibt.
    • (20) Die Informationsverarbeitungseinrichtung nach (19), wobei der Informationsverarbeitungsabschnitt die als die Trainingsdaten verwendeten Erfassungsdaten und/oder ein Vergleichsverfahren durch den Vergleichsabschnitt und/oder die an der Differenz durchgeführte Verarbeitung und/oder die Einrichtung, die die Rückmeldungsinformationen ausgibt, auf der Grundlage einer Änderung eines Zustands der Darbietung des Benutzers ändert.
  • Bezugszeichenliste
    • 1:
    Informationsverarbeitungssystem
    10:
    Sensoreinrichtung
    20:
    Umsetzungseinrichtung
    26:
    Recheneinrichtung
    30:
    Server
    70:
    Rückmeldungseinrichtung
    90:
    Netzwerk
    100:
    Sensorabschnitt
    140, 340, 740:
    Hauptsteuerabschnitt
    142, 342:
    Datenerwerbsabschnitt
    144, 344:
    Verarbeitungsabschnitt
    152, 352:
    Ausgabesteuerabschnitt
    160, 360, 760:
    Kommunikationsabschnitt
    200:
    D/A-Signalumsetzungsabschnitt
    202:
    D/A-Umsetzer
    210:
    A/D-Signalumsetzungsabschnitt
    212:
    A/D-Umsetzer
    214, 272:
    Takt
    260:
    Empfangsabschnitt
    270:
    Rechenabschnitt
    300:
    Eingabeabschnitt
    310:
    Ausgabeabschnitt
    346:
    Analyseabschnitt
    348:
    Lernabschnitt
    350:
    Vergleichsabschnitt
    370,
    770: Speicherungsabschnitt
    372:
    DB
    500:
    Erfassungsdaten
    502:
    Erfassungsdatengruppe
    504:
    Metadatei
    506:
    Merkmalsvariable
    506a:
    Beurteilungswert
    600:
    Trainingsdaten
    602:
    Vergleichsdaten
    608:
    Beziehungsinformationen
    610:
    Rückmeldungsinformationen
    710:
    Haptischer Mechanismus
    714:
    Anzeigeabschnitt
    716:
    Audioausgabeabschnitt
    900:
    Informationsverarbeitungseinrichtung
    950:
    CPU
    952:
    ROM
    954:
    RAM
    956:
    Aufzeichnungsmedium
    958:
    Eingabe/Ausgabe-Schnittstelle
    960:
    Haptische Vorrichtung
    962:
    Anzeigeeinrichtung
    964:
    Audioausgabevorrichtung
    968:
    Kommunikationsschnittstelle
    970:
    Bus
    980:
    Sensor
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 200947861 [0003]

Claims (20)

  1. Informationsverarbeitungseinrichtung, die Folgendes umfasst: einen Umsetzungsabschnitt, der mehrere Erfassungsdatenelemente in verschiedenen Formen umsetzt, die von mehreren Sensoren erhalten werden, die jeweils einen Zustand bezüglich einer Darbietung durch eine Bewegung eines Benutzers erfassen; einen Informationsverarbeitungsabschnitt, der die durch den Umsetzungsabschnitt umgesetzten Erfassungsdaten verarbeitet; und einen Informationsausgabeabschnitt, der auf einer Grundlage eines Verarbeitungsergebnisses des Informationsverarbeitungsabschnitts Rückmeldungsinformationen an den Benutzer ausgibt, wobei der Umsetzungsabschnitt Folgendes beinhaltet: einen Analog/Digital-Signalumsetzungsabschnitt, der die Erfassungsdaten in einer analogen Form von den Sensoren in Erfassungsdaten in einer digitalen Form umsetzt und die Erfassungsdaten in der digitalen Form an den Informationsverarbeitungsabschnitt ausgibt, und einen Digital/Analog-Signalumsetzungsabschnitt, der die Erfassungsdaten in der digitalen Form von den Sensoren in Erfassungsdaten in der analogen Form umsetzt und die Erfassungsdaten in der analogen Form an den Analog/Digital-Signalumsetzungsabschnitt ausgibt.
  2. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Analog/Digital-Signalumsetzungsabschnitt einen ersten Taktmechanismus zum Synchronisieren von Erfassungsdatenelementen in der analogen Form von einem ersten Sensor, der die Erfassungsdatenelemente ausgibt, aufweist.
  3. Informationsverarbeitungseinrichtung nach Anspruch 2, die ferner Folgendes umfasst: einen zweiten Taktmechanismus, der näher an einem zweiten Sensor vorgesehen ist, der Erfassungsdatenelemente in der digitalen Form ausgibt, zum Synchronisieren der Erfassungsdatenelemente von dem zweiten Sensor.
  4. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei der Informationsverarbeitungsabschnitt die Erfassungsdatenelemente von dem ersten Sensor mit den Erfassungsdatenelementen von dem zweiten Sensor auf einer Grundlage einer zeitlichen Differenz zwischen dem ersten Taktmechanismus und dem zweiten Taktmechanismus synchronisiert.
  5. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei der Digital/Analog-Signalumsetzungsabschnitt die Erfassungsdaten von dem zweiten Sensor in Erfassungsdaten in der analogen Form umsetzt und die Erfassungsdaten in der analogen Form als Triggersignal zum Ansteuern des ersten Sensors an den ersten Sensor ausgibt.
  6. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei der erste Sensor mindestens eines der Folgenden beinhaltet: einen Beschleunigungssensor, einen Gyrosensor, einen Winkelgeschwindigkeitssensor, einen Vibrationssensor, einen Drucksensor, einen Bioinformationssensor, einen Biegesensor oder einen Positionssensor, der am Körper des Benutzers befestigt ist, einen Drucksensor oder einen Fotoreflektorsensor, der an einem Objekt angebracht ist, das sich durch eine Bewegung des Benutzers bewegt, und der eine Bewegung des Objekts erfasst, eine Bildgebungseinrichtung, die den Benutzer abbildet, oder eine Tonaufnahmeeinrichtung, die durch die Darbietung erzeugte Töne erfasst.
  7. Informationsverarbeitungseinrichtung nach Anspruch 6, wobei der Bioinformationssensor mindestens eines der Folgenden erfasst: einen Herzschlag, einen Puls, eine Gehirnwelle, eine Atmung, einen Schweißfluss, ein myoelektrisches Potenzial, eine Hauttemperatur, einen elektrischen Hautwiderstand, eine Augapfelbewegung, einen Pupillendurchmesser oder eine Kernspinresonanz des Benutzers.
  8. Informationsverarbeitungseinrichtung nach Anspruch 6, wobei das Objekt ein akustisches Musikinstrument oder ein elektronisches Musikinstrument beinhaltet.
  9. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei der zweite Sensor mindestens eines der Folgenden beinhaltet: einen Beschleunigungssensor, einen Gyrosensor, einen Winkelgeschwindigkeitssensor, einen Vibrationssensor, einen Drucksensor, einen Biegesensor oder einen Positionssensor, der am Körper des Benutzers befestigt ist, oder ein elektronisches Musikinstrument, das durch den Benutzer verwendet wird.
  10. Informationsverarbeitungseinrichtung nach Anspruch 1, die ferner Folgendes umfasst: einen Speicherungsabschnitt, der Elemente der Erfassungsdaten speichert, die von dem Digital/Analog-Signalumsetzungsabschnitt ausgegeben werden, während die Elemente der Erfassungsdaten mit Attributinformationselementen bezüglich der Elemente der Erfassungsdaten verknüpft werden.
  11. Informationsverarbeitungseinrichtung nach Anspruch 10, wobei die Attributinformationen mindestens eines der Folgenden enthalten: mit dem Benutzer assoziierte Attributinformationen, mit der Darbietung assoziierte Attributinformationen, die Darbietung charakterisierende Merkmalsvariablen, Beurteilungsinformationen für die Darbietung, mit der Erfassung verknüpfte Attributinformationen oder Sensitivitätsbeurteilungsinformationen für die Darbietung.
  12. Informationsverarbeitungseinrichtung nach Anspruch 11, wobei der Informationsverarbeitungsabschnitt einen Analyseabschnitt aufweist, der die von dem Digital/Analog-Signalumsetzungsabschnitt ausgegebenen Erfassungsdaten analysiert und Merkmalsvariablen, die einen Zustand der Darbietung charakterisieren, extrahiert.
  13. Informationsverarbeitungseinrichtung nach Anspruch 11, wobei die Sensitivitätsbeurteilungsinformationen für die Darbietung durch den Benutzer jedes Mal eingegeben werden, wenn die Darbietung gegeben wird.
  14. Informationsverarbeitungseinrichtung nach Anspruch 11, wobei die Sensitivitätsbeurteilungsinformationen für die Darbietung auf einer Grundlage des Zustands bezüglich der Darbietung erworben werden, indem auf eine Beziehung zwischen dem Zustand bezüglich der Darbietung und einer Sensitivitätsbeurteilung, die vorab durch maschinelles Lernen erhalten wurde, Bezug genommen wird.
  15. Informationsverarbeitungseinrichtung nach Anspruch 11, wobei die Beurteilungsinformationen für die Darbietung Anteile von numerischen Werten bezüglich verschiedener Arten der Beurteilungsinformationen für die Darbietung beinhalten, wobei die verschiedenen Arten der Beurteilungsinformationen in einer Kompromissbeziehung stehen.
  16. Informationsverarbeitungseinrichtung nach Anspruch 10, wobei der Informationsverarbeitungsabschnitt einen Vergleichsabschnitt aufweist, der als Trainingsdaten ein oder mehrere Elemente der Erfassungsdaten aus den mehreren in dem Speicherungsabschnitt gespeicherten Elementen der Erfassungsdaten auswählt und die ausgewählten Trainingsdaten mit Vergleichsdaten vergleicht, die die Erfassungsdaten bezüglich der Darbietung des Benutzers sind und die neu erfasst sind.
  17. Informationsverarbeitungseinrichtung nach Anspruch 16, wobei der Vergleichsabschnitt die Trainingsdaten mit den Vergleichsdaten vergleicht, indem er eine Differenz zwischen den Trainingsdaten und den Vergleichsdaten berechnet oder die Trainingsdaten den Vergleichsdaten überlagert.
  18. Informationsverarbeitungseinrichtung nach Anspruch 17, wobei der Informationsausgabeabschnitt die Differenz, an der eine Hervorhebungs- oder Verringerungsverarbeitung durchgeführt wurde, als die Rückmeldungsinformationen ausgibt.
  19. Informationsverarbeitungseinrichtung nach Anspruch 18, wobei der Informationsausgabeabschnitt die Rückmeldungsinformationen über eine Anzeigeeinrichtung und/oder eine am Körper des Benutzers befestigte Wearable-Einrichtung und/oder eine Audioausgabeeinrichtung ausgibt.
  20. Informationsverarbeitungseinrichtung nach Anspruch 19, wobei der Informationsverarbeitungsabschnitt die als die Trainingsdaten verwendeten Erfassungsdaten und/oder ein Vergleichsverfahren durch den Vergleichsabschnitt und/oder die an der Differenz durchgeführte Verarbeitung und/oder die Einrichtung, die die Rückmeldungsinformationen ausgibt, auf einer Grundlage einer Änderung eines Zustands der Darbietung des Benutzers ändert.
DE112019004986.0T 2018-10-05 2019-09-20 Informationsverarbeitungsvorrichtung Pending DE112019004986T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-190061 2018-10-05
JP2018190061 2018-10-05
PCT/JP2019/036945 WO2020071149A1 (ja) 2018-10-05 2019-09-20 情報処理装置

Publications (1)

Publication Number Publication Date
DE112019004986T5 true DE112019004986T5 (de) 2021-07-01

Family

ID=70054851

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019004986.0T Pending DE112019004986T5 (de) 2018-10-05 2019-09-20 Informationsverarbeitungsvorrichtung

Country Status (7)

Country Link
US (1) US20210350773A1 (de)
EP (1) EP3863001A4 (de)
JP (1) JP7367690B2 (de)
KR (1) KR20210070270A (de)
CN (1) CN112805765B (de)
DE (1) DE112019004986T5 (de)
WO (1) WO2020071149A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111433831B (zh) * 2017-12-27 2022-05-17 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
JP7468356B2 (ja) * 2018-11-15 2024-04-16 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US20210343436A1 (en) * 2020-03-31 2021-11-04 Ats Automation Tooling Systems Inc. Nuclear dismantling apparatus and method
JP7452409B2 (ja) * 2020-12-25 2024-03-19 トヨタ自動車株式会社 タスクシステム、制御方法及び制御プログラム
JPWO2023032319A1 (de) * 2021-08-31 2023-03-09

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129880A (ja) * 1993-10-29 1995-05-19 Sankyo Seiki Mfg Co Ltd センサー認識装置
JP4278068B2 (ja) * 1998-06-04 2009-06-10 株式会社バンダイナムコゲームス ネットワークシステムおよび画像再生成方法
JP2003217064A (ja) * 2002-01-21 2003-07-31 Toyota Motor Corp センサ信号処理装置およびセンサ信号処理方法
JP2008532587A (ja) * 2005-02-22 2008-08-21 ヘルス−スマート リミテッド 生理学的及び心理学的／生理学的モニタリングのための方法及びシステム並びにその使用
JP4520952B2 (ja) * 2006-02-14 2010-08-11 セイコーインスツル株式会社 音楽練習支援機器
EP2540215B1 (de) 2006-03-03 2015-11-25 Physiowave Inc. Physiologische Überwachungssysteme und -verfahren
US7446694B1 (en) 2007-05-30 2008-11-04 Motorola, Inc. System for synchronization of multi-sensor data
JP2009047861A (ja) 2007-08-17 2009-03-05 Sony Corp 演奏支援装置、演奏支援方法及びプログラム
US8310380B2 (en) * 2010-03-02 2012-11-13 Invensense Inc. Selectable communication interface configurations for motion sensing device
CN103076045B (zh) * 2011-10-25 2016-04-13 上海新世纪机器人有限公司 头部姿态感应装置和方法
KR20140099539A (ko) * 2011-12-07 2014-08-12 액세스 비지니스 그룹 인터내셔날 엘엘씨 행동 추적 및 수정 시스템
US10606353B2 (en) * 2012-09-14 2020-03-31 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
JP6197366B2 (ja) * 2013-05-23 2017-09-20 ソニー株式会社 情報処理装置及び記憶媒体
JP2018512980A (ja) * 2015-02-02 2018-05-24 ガイディド ナレッジ アイピー ピーティーワイ リミテッド 複数のエキスパート知識のバリエーションを持つコンテンツを含む、インタラクティブスキルトレーニングコンテンツの配信を可能にするように構成されるフレームワーク、デバイスおよび方法
CN104658358A (zh) * 2015-03-12 2015-05-27 广州东呈电子有限公司 音乐教学系统
WO2016179533A1 (en) 2015-05-06 2016-11-10 Indiana University Research And Technology Corporation Sensor signal processing using an analog neural network
CN105575219A (zh) * 2016-03-07 2016-05-11 钦赛勇 智能手套
JP2017173589A (ja) * 2016-03-24 2017-09-28 ヤマハ株式会社 信号処理装置
CN107302548A (zh) * 2016-04-14 2017-10-27 中国电信股份有限公司 辅助乐器演奏练习的方法、终端设备、服务器和系统
CN206194191U (zh) * 2016-08-08 2017-05-24 郭颜军 一种乐器演奏评判和反馈装置
CN106371611A (zh) * 2016-09-30 2017-02-01 无锡吾成互联科技有限公司 一种钢琴弹奏教学辅助装置
CN207732965U (zh) * 2017-11-28 2018-08-14 江西创成微电子有限公司 一种音频处理装置
CN111433831B (zh) * 2017-12-27 2022-05-17 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
CN108320613A (zh) * 2018-01-22 2018-07-24 佛山杰致信息科技有限公司 一种交互式音乐教学系统

Also Published As

Publication number Publication date
EP3863001A4 (de) 2021-12-15
JPWO2020071149A1 (ja) 2021-10-07
CN112805765A (zh) 2021-05-14
KR20210070270A (ko) 2021-06-14
CN112805765B (zh) 2023-11-07
JP7367690B2 (ja) 2023-10-24
EP3863001A1 (de) 2021-08-11
WO2020071149A1 (ja) 2020-04-09
US20210350773A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
DE112019004986T5 (de) Informationsverarbeitungsvorrichtung
US11508344B2 (en) Information processing device, information processing method and program
Baader et al. Coordination of bowing and fingering in violin playing
CN105069294B (zh) 一种用于认知能力值测试的计算和分析方法
JP7468356B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20220398937A1 (en) Information processing device, information processing method, and program
Mangaroska et al. Multimodal Learning Analytics to Inform Learning Design: Lessons Learned from Computing Education.
Albrecht et al. Individuality of movements in music–finger and body movements during playing of the flute
Maidhof et al. Combining EEG, MIDI, and motion capture techniques for investigating musical performance
US20090138270A1 (en) Providing speech therapy by quantifying pronunciation accuracy of speech signals
Su et al. Your move or mine? Music training and kinematic compatibility modulate synchronization with self-versus other-generated dance movement
Timmers et al. Training expressive performance by means of visual feedback: existing and potential applications of performance measurement techniques
WO2020139108A1 (ru) Способ проведения когнитивных исследований с использованием системы нейровизуализации и механизма обратной связи
Grecheneva et al. The algorithm for express-analysis of human functional systems considering of the goniometric control data
Gold et al. A new way to quantify the fidelity of imitation: preliminary results with gesture sequences
Afdideh et al. Development of a MATLAB-based toolbox for brain computer interface applications in virtual reality
Karolus Proficiency-aware systems: designing for user skill and expertise
US20230386155A1 (en) Virtual, augmented or mixed reality instrument teaching system and method
US20220167895A1 (en) Method and system for testing cognition by processing the reaction of a subject to stimuli
Desbois et al. HappyFeat—An interactive and efficient BCI framework for clinical applications
Sun Real-time Sonification of muscle tension for piano players
Namasivayam et al. Measuring and Training Speech-Language Pathologists’ Orofacial Cueing: A Pilot Demonstration
Hos’ovecký Serious games: The Possibilities of Data Mining and Data Analysis through Neuro and Biofeedback
Lee¹ et al. Check for updates Role of Multimodal Learning Systems in Technology-Enhanced Learning (TEL): A Scoping Review
Cassenti ACT-R Model of EEG Latency Data