JP2019124907A - 学習支援システム - Google Patents

学習支援システム Download PDF

Info

Publication number
JP2019124907A
JP2019124907A JP2018174882A JP2018174882A JP2019124907A JP 2019124907 A JP2019124907 A JP 2019124907A JP 2018174882 A JP2018174882 A JP 2018174882A JP 2018174882 A JP2018174882 A JP 2018174882A JP 2019124907 A JP2019124907 A JP 2019124907A
Authority
JP
Japan
Prior art keywords
support system
learning support
note
wearable device
electronic signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018174882A
Other languages
English (en)
Inventor
景容 王
Jing Rong Wang
景容 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pegatron Corp
Original Assignee
Pegatron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pegatron Corp filed Critical Pegatron Corp
Publication of JP2019124907A publication Critical patent/JP2019124907A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/001—Boards or like means for providing an indication of chords
    • G09B15/002—Electrically operated systems
    • G09B15/003—Electrically operated systems with indication of the keys or strings to be played on instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】使用者が楽器の演奏法を学習する際に、本物に近い打鍵感覚で楽曲を演奏可能にする学習支援システム１００を提供する。【解決手段】上記課題を解決するために、本発明の学習支援システム１００を、複数の音符情報を含む楽曲データが保存されているストレージユニット１４０と、複数の音符情報に基づいて複数の第一電子信号ＳＩＧＡ及び複数の第二電子信号ＳＩＧＢを順に、各音符情報に対応させて、その内の１つの第一電子信号ＳＩＧＡ及びその内の１つの第二電子信号ＳＩＧＢを同時に出力する制御ユニット１１０と、物理鍵盤を被覆し、且つ各第一電子信号ＳＩＧＡに基づいて物理鍵盤の中の対応する物理鍵の上に鍵指示画像を表示させる補助インタフェース１２０と、複数のフィンガースリーブを有し、且つ各第二電子信号ＳＩＧＢに基づいて複数のフィンガースリーブの中の対応するフィンガースリーブに指示信号を発信させるウェアラブル装置１３０と、で構成した。【選択図】図１

Description

本発明は、学習支援システム（ｌｅａｒｎｉｎｇ ａｓｓｉｓｔａｎｔ ｓｙｓｔｅｍ）に関し、より詳しくは、打鍵を指示するピアノ学習支援システムに関する。
音楽は、人類の共通言語であるとよく言われる。しかし、楽器の演奏は、学習する必要があり、誰にでも簡単にできるものではない。その学習方法は、自分一人で練習する以外に、教師や先輩からの親身な指導に頼ることで、更に上達できる。
しかしながら、忙しい生活を送っている現代人にとっては、楽器の学習時間を確保するのは難しい上に、楽器の学習前に楽譜を読めるようにならなければならず、楽譜の音符を読み取り、これに合わせるようにリズム及び力加減を調整して楽器を演奏することは簡単なことではなかった。特に、成人した者にとっては、正確に楽譜の一段のフレーズを演奏するためには、より多くの時間を割いて反復練習する必要がある。そのため、短時間の学習だけで楽器の演奏を楽しみ、達成感を得ることは難しく、これが多くの人が楽器の学習を放棄する要因となっている。
そのため、従来から、アプリケーションによる学習の補助が提案されている。しかし、これらアプリケーションの多くは、タッチパネルを有するタブレット端末や携帯電話でのみ使用可能であり、本物に近い打鍵感覚をシミュレーションすることは難しいことから、正確な打鍵方法を学ぶことはできず、演奏法がなかなか身に付かなかった。
しかしながら、本発明者は上記の問題点が改善可能と考え、鋭意検討を重ねた結果、合理的設計で上記の問題点を効果的に改善する本発明の提案に到った。
本発明は、以上の従来技術の課題を解決する為になされたものである。即ち、本発明は、ピアノ学習支援システムを提供することを主目的とする。簡単に言えば、使用者が楽器の演奏を学習する際に、補助インタフェース及び手袋型等のウェアラブル装置による補助を提供し、本物に近い打鍵感覚で楽曲を演奏可能にすることを主目的とする。
上記課題を解決するために、本発明の実施形態に係る学習支援システムは、ストレージユニットと、制御ユニットと、補助インタフェースと、ウェアラブル装置とを備える。ストレージユニットには楽曲データが保存され、楽曲データは複数の音符情報を含み、各音符情報は各音符の相対音感と、各音符の相対順序と、各音符の相対持続時間とを含む。制御ユニットは、複数の音符情報に基づいて複数の第一電子信号及び複数の第二電子信号を順に出力するものであり、同じ音符に対応させ、制御ユニットは複数の第一電子信号の内の１つの第一電子信号及び複数の第二電子信号の内の１つの第二電子信号を同時に出力する。補助インタフェースは物理鍵盤を被覆し、且つ各第一電子信号に基づいて物理鍵盤の対応する物理鍵上に鍵指示画像を表示させる。ウェアラブル装置は複数のフィンガースリーブを有し、且つ各第二電子信号に基づいて複数のフィンガースリーブ中の対応するフィンガースリーブに指示信号を発信させ、同時に出力される各第一電子信号及び各第二電子信号が楽曲データ中の同じ音符情報に対応させる。
本発明の一実施形態では、補助インタフェースは、使用者の物理鍵盤上で行う打鍵動作に基づいて検出信号を発信させる圧力検出モジュールを備えることができる。圧力検出モジュールはタッチ制御モジュールまたは画像監視モジュールである。この場合、制御ユニットは検出信号に基づいて打鍵動作と音符との対応程度の判断を下し、使用者に点数を与える。
本発明の一実施形態では、ウェアラブル装置は、使用者が物理鍵盤上で行う打鍵動作に基づいて検出信号を発信させる圧力検出モジュールを更に備えることができる。圧力検出モジュールは圧電モジュールである。この場合、制御ユニットは検出信号に基づいて打鍵動作と音符との対応程度の判断を下し、使用者に点数を与える。
本発明の一実施形態では、補助インタフェースは、鍵指示画像を表示させるための透明フレキシブル発光ダイオードモジュールを備える。
本発明の一実施形態では、ウェアラブル装置から発信される指示信号は指指示画像であり、且つ指指示画像に表示される色は鍵指示画像の色と同じである。
本発明の一実施形態では、ウェアラブル装置は各第二電子信号に基づいて対応するフィンガースリーブに振動指示信号を発信させる。
本発明の一実施形態では、鍵指示画像の大きさは音符が対応する時間の長さと正の相関を呈する。
本発明の一実施形態では、制御ユニットは更に楽譜を解析して楽曲データを生成させる。
本発明の一実施形態では、制御ユニットとウェアラブル装置との間では無線伝送プロトコルにより信号の送受信が行われる。
本発明の一実施形態では、楽曲データは楽譜の奏法及び楽譜中の複数の小節の拍子データを更に含み、各小節の拍子データが一定速度で組み合わせられることでリズムを構成され、リズムが複数の音符情報を結合されることで旋律が構成される。
本発明は、補助インタフェース及び手袋型等のウェアラブル装置の補助により、フィンガースリーブに表示される指指示画像に対応する鍵指示画像が物理鍵上に表示され、使用者がどの指でどの鍵を押すかを明確に理解できるようになり、学習補助効果を達成させる。
本発明の一実施形態に係る学習支援システムを示す機能ブロック図である。 図１に示す本発明の一実施形態に係る学習支援システムの使用状況図である。 本発明の他の実施形態に係る学習支援システムを示す機能ブロック図である。
以下、本発明の実施形態を、添付した図面に基づいて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を限定するものではない。また、以下に説明される構成の全てが、本発明の必須要件であるとは限らない。
図１は、本発明の一実施形態に係る学習支援システム１００を示す機能ブロック図であり、図２は、本発明の一実施形態に係る学習支援システム１００の使用状況図である。学習支援システム１００は、制御ユニット１１０と、補助インタフェース１２０と、ウェアラブル装置１３０と、ストレージユニット１４０とを備える。
図２に示す実施形態では、学習支援システム１００は、使用者のピアノ学習の補助に用いられる。補助インタフェース１２０は、ピアノの物理鍵盤ＫＢを被覆している。補助インタフェース１２０は、制御ユニット１１０から伝送される電子信号に基づいて、物理鍵盤ＫＢ上のうち、対応する物理鍵上に、鍵指示画像を表示させ、使用者に押すべき鍵を指示する。
また、本発明の幾つかの実施形態では、ウェアラブル装置１３０は、使用者が着用しやすい手袋型に設計されることができる。例えば、図２では、ウェアラブル装置１３０は、フィンガースリーブＦ１乃至Ｆ１０を有する。ウェアラブル装置１３０は、制御ユニット１１０から伝送される電子信号に基づいて、ウェアラブル装置１３０のフィンガースリーブＦ１乃至Ｆ１０のうち、対応するフィンガースリーブ上に指示信号を発信させることができる。これにより、使用者に、対応する指を使って、鍵指示画像が表示された物理鍵を押すように指示することができる。例えば、図２において、補助インタフェース１２０が物理鍵Ｋ１の上に鍵指示画像Ｉ１を表示させ、且つ、ウェアラブル装置１３０がフィンガースリーブＦ６の上に指示信号を発信させる。それにより、使用者は、フィンガースリーブＦ６を装着した右手の親指を使って、鍵指示画像Ｉ１が表示された物理鍵Ｋ１を押すべきだと知ることができる。
図１によると、制御ユニット１１０は、楽曲データに基づいて対応する電子信号を出力させ、使用者が物理鍵をどう演奏するべきかを指示することができる。楽曲データ中には、複数の音符情報集を含み、各音符情報は各音符の相対音感、各音符の相対順序、及び各音符の相対持続時間（音価）を含む。相対持続時間は、例えば、四分音符や八分音符等である。また、本発明の幾つかの実施形態では、楽曲データは複数の小節を更に含むことができる。各小節は、拍子データを有している。例えば、各小節の先頭には、「２／４」や、「３／４」等の拍子記号を有している。この拍子記号の分子は、各小節が幾つの拍子を有するかを示し、分母は、どの音符が一拍を表すかを示す。例えば、「２／４」の場合には、四分音符を一拍とし、各小節が二拍を有することを意味する。各小節の拍子データが一定速度で組み合わせられることで、楽曲のリズムが構成され、そのリズムが複数の音符情報（各音符の相対音感、各音符の相対順序、及び各音符の相対持続時間）を結合されることで、楽曲の旋律が構成される。すなわち、本発明の実施形態では、補助を得た使用者が、楽曲データに基づいて、対応する豊富なリズムの旋律を演奏可能になる。
なお、制御ユニット１１０は、楽曲データ中に記録されている複数の音符情報集に基づいて、補助インタフェース１２０に複数の第一電子信号を順に出力させることができる。補助インタフェース１２０は、通信モジュール１２２に第一電子信号を受信させ、各第一電子信号に基づいて、対応する物理鍵上に鍵指示画像を表示させることができる。本発明の幾つかの実施形態では、補助インタフェース１２０は、物理鍵盤ＫＢを被覆するための透明フレキシブル発光ダイオードモジュール１２４を備えることができる。且つ、補助インタフェース１２０は、物理鍵を見る視線が遮蔽されない状態で各物理鍵上に対応する鍵指示画像が表示されることができる。
同時に、制御ユニット１１０は、更に楽曲データ中に記録されている複数の音符情報集に基づいて、ウェアラブル装置１３０に複数の第二電子信号を順に出力させることができる。ウェアラブル装置１３０の通信モジュール１３２に、第二電子信号を受信させ、ウェアラブル装置１３０に、各第二電子信号に基づいて、対応するフィンガースリーブ上に指示信号を発信させることができる。本発明の一実施形態では、制御ユニット１１０は、楽曲データ中の各音符情報に基づいて、第一電子信号（例えば、第一電子信号ＳＩＧＡ）及び第二電子信号（例えば、第二電子信号ＳＩＧＢ）を補助インタフェース１２０及びウェアラブル装置１３０に同時に出力させる。制御ユニット１１０が同時に出力させる第一電子信号ＳＩＧＡ及び第二電子信号ＳＩＧＢは、共に楽曲データ中の同じ音符情報に対応させている。従って、補助インタフェース１２０及びウェアラブル装置１３０が組み合わせられることで、使用者が直感的且つ正確に指で正しい物理鍵を押して、現時点で演奏すべき楽曲データの音を演奏可能になり、適切なリズムで完璧な旋律を奏でることができるようになる。学習支援システム１００は、即時に直感的な指示を使用者に与えるため、学習支援システム１００が使用者の学習を補助するのみならず、使用者に短時間で楽器を演奏する楽しさ及び達成感を提供し、学習意欲を高めることができる。
例えば、第一電子信号ＳＩＧＡ及び第二電子信号ＳＩＧＢは、科学的ピッチ表記法（Ｓｃｉｅｎｔｉｆｉｃ ｐｉｔｃｈ ｎｏｔａｔｉｏｎ）のＣ４に対応する。その場合に、図２においては、補助インタフェース１２０が物理鍵盤ＫＢ上の対応する物理鍵Ｋ１上に鍵指示画像Ｉ１を表示させることができる。本発明の幾つかの実施形態では、使用者がその音符の持続時間を直感的に理解可能にするために、鍵指示画像Ｉ１の画像の大きさによって指示する。すなわち、鍵指示画像Ｉ１の画像の大きさが、音符に対応する時間の長さと正の相関を示す。そのため、画像が大きいほど、音符の持続時間が長いことを表し、画像が小さいほど、音符の持続時間が短いことを表す。例えば、図２では、物理鍵Ｋ１上の鍵指示画像Ｉ１の長さが、物理鍵Ｋ２上の鍵指示画像Ｉ２の長さより短く、物理鍵Ｋ２が対応する音符の持続時間がより長いことを表す。このように、使用者は、即時理解して演奏速度及び力加減を制御可能になる。
また、ウェアラブル装置１３０は、表示モジュール１３４を備えることができる。ウェアラブル装置１３０の表示モジュール１３４は、フィンガースリーブＦ１乃至Ｆ１０に設置される表示ユニットを備えることができる。このため、図２では、ウェアラブル装置１３０が対応するフィンガースリーブＦ６の上に、指指示画像ＦＩ１を生成させて指示信号とし、且つ、指指示画像ＦＩ１は鍵指示画像Ｉ１と同じ色で表示される。これにより、使用者は、フィンガースリーブＦ６を装着した親指で物理鍵Ｋ１を押さねばならないことを、明確に理解可能になる。本発明のある実施形態では、表示モジュール１３４の表示ユニットは、可撓性の表示パネルで実施され、使用者の打鍵に邪魔にならないようにすることができる。
異なる物理鍵を同時に押さねばならない場合には、学習支援システム１００が異なる鍵上に異なる色で鍵指示画像を表示させ、且つ、ウェアラブル装置１３０が対応するフィンガースリーブ上に対応する色で指指示画像を表示させる。これにより、使用者は、配色に従って、どの指でどの物理鍵を押すべきか迅速に判断可能になる。例えば、図２では、鍵指示画像Ｉ１及び指指示画像ＦＩ１に表示される色が共に青色であり、鍵指示画像Ｉ２及び指指示画像ＦＩ２に表示される色が共に赤色である。そのため、使用者は、フィンガースリーブＦ６を装着した右手親指で物理鍵Ｋ１を押し、フィンガースリーブＦ８を装着した右手の中指で物理鍵Ｋ２を押さねばならないことを、明確に理解可能になる。
図１に示す実施形態では、ウェアラブル装置１３０は、振動素子１３６を更に備えることができる。ウェアラブル装置１３０は、第二電子信号ＳＩＧＢに基づいて、対応するフィンガースリーブＦ６の上に、指指示画像ＦＩ１を生成させると同時に、第二電子信号ＳＩＧＢに基づいて、対応するフィンガースリーブＦ６に、振動指示信号を発信させ、使用者が即時に反応できるようにする。
図１に示す実施形態では、ウェアラブル装置１３０は、圧力検出モジュール１３８を更に備えることができる。圧力検出モジュール１３８は、使用者が物理鍵盤ＫＢの上で行う打鍵動作に基づいて、検出信号を発信させる。例えば、圧力検出モジュール１３８は、指関節の箇所に設置される圧電モジュールにすることができる。使用者の打鍵時に関節が動くと、圧力検出モジュール１３８により打鍵動作が検出される。これにより、制御ユニット１１０は、圧力検出モジュール１３８により発信された検出信号に基づいて、打鍵動作と音符との対応程度を更に判断し、例えば、押した時刻が精確であるか、押した時間の長さ及び力加減が音符の要求に合致しているか等の判断を下す。
打鍵動作と音符との対応程度に基づいて、制御ユニット１１０が使用者に点数を与え、これをフィードバックとすることができる。図２の実施形態では、使用者が即時フィードバックを得られるようにするため、ウェアラブル装置１３０の表示モジュール１３４が、手の甲の箇所に異なる色または形状を呈する得点パターンＦＩ０を表示させる。これにより、使用者に点数を告知することができる。
本発明の幾つかの実施形態では、制御ユニット１１０、補助インタフェース１２０、及びウェアラブル装置１３０の間では、無線伝送プロトコルにより信号の送受信が行われることができる。例えば、ブルートゥース通信（ブルートゥースは登録商標）により信号が送受信され、使用者が制御ユニット１１０、補助インタフェース１２０、及びウェアラブル装置１３０をそれぞれ配設させても、演奏中に伝送ケーブルが邪魔にならないようにする。然しながら、本発明はこれに限られず、本発明の他の実施形態では、学習支援システム１００が、有線伝送方式により制御ユニット１１０、補助インタフェース１２０、及びウェアラブル装置１３０の間で信号を伝送させてもよく、一部の装置の間で有線伝送方式を利用して、他の装置の間では無線伝送方式を利用してもよい。例えば、制御ユニット１１０及び補助インタフェース１２０は、使用中に移動されることが多くないため、この両者の間を有線伝送方式で信号を伝送させて、ウェアラブル装置１３０は、使用者の手の動きに合わせて動くため、無線伝送方式で制御ユニット１１０との信号の伝送を行ってもよい。
また、本発明の幾つかの実施形態では、ストレージユニット１４０には、複数曲の楽曲データが予め保存されていることが可能である。そして、各楽曲データは、全て複数の音符情報を有し、さらに、各音符が対応する物理鍵及び各音符が対応する指などに関する情報が含まれるものである。このため、学習支援システム１００は、使用者により特定の楽曲が選択された後に、制御ユニット１１０がストレージユニット１４０の中から対応する楽曲データを取得し、且つ、楽曲データに記録されている音符情報に基づいて、複数の第一電子信号及び複数の第二電子信号を、補助インタフェース１２０及びウェアラブル装置１３０に順に出力させることができる。また、制御ユニット１１０は、外付けスクリーンにメニュー画面を提供することで、使用者が演奏したい曲目を選択可能にし、且つ、使用者の選択に基づいて電子信号の出力速度が変化することで、使用者の学習状況に合わせるようにすることができる。
また、制御ユニット１１０には、楽曲データが予め保存されていることができるほか、画像キャプチャ装置により楽譜のスキャンを行い、且つ、画像識別技術により楽譜の音符内容を読み取って、対応する楽曲データに変換することもできる。一般的には、楽譜には必ずしも演奏時の奏法が記載されるとは限らない。しかし、実際には音符と奏法とには常に一定の対応関係が存在するため、制御ユニット１１０には、予め設定された演算法により音符に対応する指が設定され、第二電子信号を発信させる。しかし、本発明はこの限りではなく、本発明の幾つかの実施形態では、制御ユニット１１０がメニュー画面から使用者の入力データを受け付けてもよく、さらに、使用者の演奏中に、ウェアラブル装置１３０の圧力検出モジュール１３８を利用して、対応する音符の奏法を直接記録し、且つ、楽曲データの音符に対応する奏法を設定してもよい。
図１の実施形態では、圧力検出モジュール１３８がウェアラブル装置１３０に設置されるが、本発明はこの限りではなく、本発明の他の実施形態では、圧力検出モジュールが補助インタフェースに設置されてもよい。図３は、本発明の他の実施形態に係る学習支援システム２００を示す機能ブロック図である。
学習支援システム２００及び学習支援システム１００は、相似する構造及び操作原理を有する。両者の主な違いは、学習支援システム２００のウェアラブル装置２３０が圧力検出モジュールを備えなくてもよく、補助インタフェース２２０が圧力検出モジュール２２６を備えることができる点である。圧力検出モジュール２２６は、使用者が物理鍵盤ＫＢの上で行う打鍵動作に基づいて検出信号を発信し、制御ユニット２１０は、圧力検出モジュール２２６が発信させる検出信号に基づいて、打鍵動作と音符との対応程度の判断を下し、使用者に点数を与え、これをフィードバックとすることができる。
本発明の幾つかの実施形態では、圧力検出モジュール２２６は、タッチ制御モジュールでもよく、例えば、容量式、抵抗式、または音波式のタッチ制御モジュールでもよい。また、画像監視モジュールでもよく、画像監視方式で使用者の指が物理鍵盤ＫＢを押して対応する検出信号を発信させたか否かを監視させてもよい。
結論として、本発明の実施形態に係る学習支援システムは、学習支援システムが装設された楽器を新しく購入せずとも、楽器に直接配設して設定でき、且つ、補助インタフェース及びウェアラブル装置により使用者が直感的で即時性の鍵指示画像及びフィードバック機制を得られるようになり、使用者の学習速度が速まり、且つ、使用者の達成感が高まり、学習意欲も高まることが可能である。なお、本発明は、前述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変更が可能であることは勿論である。
本発明の学習支援システムは、補助インタフェース及びウェアラブル装置に鍵指示画像及び指指示画像の表示を組み合わせることにより、使用者がピアノ演奏を学ぶ際に、直感的に正確な指使いで正確に打鍵できるように使用者を補助する。
１００ 学習支援システム
２００ 学習支援システム
１１０ 制御ユニット
２１０ 制御ユニット
１２０ 補助インタフェース
２２０ 補助インタフェース
１３０ ウェアラブル装置
２３０ ウェアラブル装置
１２２ 通信モジュール
１３２ 通信モジュール
１２４ 透明フレキシブル発光ダイオードモジュール
１３４ 表示モジュール
１３６ 振動素子
１３８ 圧力検出モジュール
２２６ 圧力検出モジュール
１４０ ストレージユニット
ＳＩＧＡ 第一電子信号
ＳＩＧＢ 第二電子信号
ＫＢ 物理鍵盤
Ｋ１ 物理鍵
Ｋ２ 物理鍵
Ｉ１ 鍵指示画像
Ｉ２ 鍵指示画像
ＦＩ１ 指指示画像
ＦＩ２ 指指示画像
ＦＩ０ 得点パターン
Ｆ１ フィンガースリーブ
Ｆ２ フィンガースリーブ
Ｆ３ フィンガースリーブ
Ｆ４ フィンガースリーブ
Ｆ５ フィンガースリーブ
Ｆ６ フィンガースリーブ
Ｆ７ フィンガースリーブ
Ｆ８ フィンガースリーブ
Ｆ９ フィンガースリーブ
Ｆ１０ フィンガースリーブ

Claims (13)

  1. 複数の音符情報を含む楽曲データの保存に用いられ、前記各音符情報は前記各音符の相対音感と、前記各音符の相対順序と、前記各音符の相対持続時間とを含むストレージユニットと、
    前記複数の音符情報に基づいて複数の第一電子信号及び複数の第二電子信号が順に出力するものであり、各音符情報に対応させて、これら前記第一電子信号の内の１つの第一電子信号及びこれら前記第二電子信号の内の１つの第二電子信号を同時に出力する制御ユニットと、
    物理鍵盤を被覆し、且つ前記各第一電子信号に基づいて前記物理鍵盤の対応する物理鍵上に鍵指示画像を表示させる補助インタフェースと、
    複数のフィンガースリーブを有し、且つ前記各第二電子信号に基づいてこれら前記複数のフィンガースリーブ中の対応するフィンガースリーブに指示信号を発信させるウェアラブル装置とを備えることを特徴とする学習支援システム。
  2. 前記補助インタフェースは、使用者が前記物理鍵盤上で行う打鍵動作に基づいて検出信号を発信させる圧力検出モジュールを備えることを特徴とする請求項１に記載の学習支援システム。
  3. 前記圧力検出モジュールは、タッチ制御モジュールまたは画像監視モジュールであることを特徴とする請求項２に記載の学習支援システム。
  4. 前記ウェアラブル装置は、使用者が前記物理鍵盤上で行う打鍵動作に基づいて検出信号を発信させる圧力検出モジュールを更に備えることを特徴とする請求項１に記載の学習支援システム。
  5. 前記圧力検出モジュールは、圧電モジュールであることを特徴とする請求項４に記載の学習支援システム。
  6. 前記制御ユニットは、前記検出信号に基づいて前記打鍵動作と前記音符との対応程度の判断を下し、前記使用者に点数を与えることを特徴とする請求項２乃至５の何れか１項に記載の学習支援システム。
  7. 前記補助インタフェースは、前記鍵指示画像を表示させるための透明フレキシブル発光ダイオードモジュールを備えることを特徴とする請求項１に記載の学習支援システム。
  8. 前記ウェアラブル装置が発信させる前記指示信号は、指指示画像であり、且つ前記指指示画像に表示される色は、前記鍵指示画像の色と同じであることを特徴とする請求項１に記載の学習支援システム。
  9. 前記ウェアラブル装置は、前記各第二電子信号に基づいてこれら前記フィンガースリーブ中の対応する前記フィンガースリーブに振動指示信号を発信させることを特徴とする請求項１に記載の学習支援システム。
  10. 前記鍵指示画像の大きさは、前記音符が対応する時間の長さと正の相関関係を有することを特徴とする請求項１に記載の学習支援システム。
  11. 前記制御ユニットにより楽譜が解析され、前記楽曲データが生成されることを特徴とする請求項１に記載の学習支援システム。
  12. 前記制御ユニットと前記ウェアラブル装置との間では、無線伝送プロトコルにより信号の送受信が行われることを特徴とする請求項１に記載の学習支援システム。
  13. 前記楽曲データは、楽譜の奏法及び前記楽譜中の複数の小節の拍子データを更に含み、前記各小節の拍子データは一定速度で組み合わせられることでリズムを構成させ、前記リズムが複数の音符情報を結合されることで旋律が構成されることを特徴とする請求項１に記載の学習支援システム。
JP2018174882A 2018-01-11 2018-09-19 学習支援システム Pending JP2019124907A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107101066A TWI632533B (zh) 2018-01-11 2018-01-11 學習輔助系統
TW107101066 2018-01-11

Publications (1)

Publication Number Publication Date
JP2019124907A true JP2019124907A (ja) 2019-07-25

Family

ID=63959945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018174882A Pending JP2019124907A (ja) 2018-01-11 2018-09-19 学習支援システム

Country Status (4)

Country Link
US (1) US10446048B2 (ja)
JP (1) JP2019124907A (ja)
CN (1) CN110033669A (ja)
TW (1) TWI632533B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171933A1 (ja) * 2020-02-28 2021-09-02 株式会社neumo 音出力装置及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018146718A (ja) 2017-03-03 2018-09-20 ヤマハ株式会社 教習装置、教習プログラムおよび教習方法
JP6638674B2 (ja) * 2017-03-03 2020-01-29 ヤマハ株式会社 教習装置、教習プログラムおよび教習方法
US11508344B2 (en) * 2017-12-27 2022-11-22 Sony Corporation Information processing device, information processing method and program
TWI632533B (zh) * 2018-01-11 2018-08-11 和碩聯合科技股份有限公司 學習輔助系統
USD914082S1 (en) * 2019-07-11 2021-03-23 Se Mi Kwon Sticker
CN110782744A (zh) * 2019-11-20 2020-02-11 柴德建 一种乐器指法练习辅助装置及其控制系统
CN111260995B (zh) * 2020-03-05 2021-08-10 电子科技大学 一种古筝训练器及古筝训练系统
CN115346553A (zh) * 2021-05-14 2022-11-15 华为技术有限公司 基于音乐节拍检测用户动作的方法和设备
CN117930989A (zh) * 2024-03-25 2024-04-26 荣耀终端有限公司 一种手势交互方法和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089655A (ja) * 1998-09-09 2000-03-31 Casio Comput Co Ltd 操作案内装置および操作案内方法
JP2000089754A (ja) * 1998-07-16 2000-03-31 Yamaha Corp 演奏支援装置
JP2000122647A (ja) * 1998-10-20 2000-04-28 Casio Comput Co Ltd 演奏指示装置、演奏指示方法、及び演奏指示のプログラムを記録した記録媒体
JP2000298426A (ja) * 1999-04-15 2000-10-24 Casio Comput Co Ltd 演奏案内装置及び演奏案内方法
JP2006039508A (ja) * 2004-06-25 2006-02-09 Aruze Corp タイピング練習装置、タイピング練習方法、及び、タイピング練習プログラム
US20150233779A1 (en) * 2014-02-18 2015-08-20 Waltop International Corporation Gloves with pressure sensors

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5184319A (en) * 1990-02-02 1993-02-02 Kramer James F Force feedback and textures simulating interface device
US5631861A (en) * 1990-02-02 1997-05-20 Virtual Technologies, Inc. Force feedback and texture simulating interface device
US5392682A (en) * 1993-03-24 1995-02-28 Mccartney-Hoy; Peter J. Computerized training device for learning to play a piano
US5581484A (en) * 1994-06-27 1996-12-03 Prince; Kevin R. Finger mounted computer input device
US6042555A (en) * 1997-05-12 2000-03-28 Virtual Technologies, Inc. Force-feedback interface device for the hand
US6304840B1 (en) * 1998-06-30 2001-10-16 U.S. Philips Corporation Fingerless glove for interacting with data processing system
US7366990B2 (en) * 2001-01-19 2008-04-29 C-Sam, Inc. Method and system for managing user activities and information using a customized computer interface
US7161579B2 (en) * 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US6982375B2 (en) * 2003-06-06 2006-01-03 Mcgregor Rob Musical teaching device and method
TWI328768B (en) * 2006-10-05 2010-08-11 Ind Tech Res Inst System and method for recording and executing the operation process of a cursor device
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
CN101388149B (zh) * 2007-09-12 2010-09-08 财团法人工业技术研究院 键盘乐器学习装置及学习方法
AU2010310891A1 (en) * 2009-10-22 2012-04-19 Joshua Michael Young Human machine interface device
US8670023B2 (en) * 2011-01-17 2014-03-11 Mediatek Inc. Apparatuses and methods for providing a 3D man-machine interface (MMI)
US9104271B1 (en) * 2011-06-03 2015-08-11 Richard Adams Gloved human-machine interface
US20130068086A1 (en) * 2011-09-19 2013-03-21 ION Audio, LLC Piano learning system for tablet and touchscreen devices
KR20130090585A (ko) * 2012-02-06 2013-08-14 삼성전자주식회사 착용형 로봇과 이를 이용한 모션 학습 방법
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
CN203276824U (zh) * 2013-05-21 2013-11-06 浙江理工大学 一种新型光导音乐装置
GB2516634A (en) * 2013-07-26 2015-02-04 Sony Corp A Method, Device and Software
US20150035743A1 (en) * 2013-07-31 2015-02-05 Plantronics, Inc. Wrist Worn Platform for Sensors
CN103778821B (zh) * 2014-03-03 2017-02-08 罗淑文 乐谱、指法电子灯光模拟显示方法及键盘类乐器辅助教学器
US20150332601A1 (en) * 2014-05-01 2015-11-19 Walid Tamari Piano Learning System
US10037088B2 (en) * 2014-05-19 2018-07-31 Bengler AS Method of creating a chording keyboard mapping table
WO2015178888A1 (en) * 2014-05-19 2015-11-26 RUBIN, Kim Method of generating chording keyboard symbols
CN107077207B (zh) * 2014-10-17 2020-10-27 雅马哈株式会社 数据手套
EP3262486A4 (en) * 2015-02-27 2018-10-24 Hewlett-Packard Development Company, L.P. Detecting finger movements
US9947238B2 (en) * 2016-02-15 2018-04-17 Zachary Ray Tolan Music notation system
CN105957424A (zh) * 2016-07-15 2016-09-21 邵松 一种投影式钢琴指引系统及控制方法
CN106935226A (zh) * 2017-02-14 2017-07-07 捷开通讯(深圳)有限公司 具有评分功能的钢琴及其进行评分的方法
CN107067879A (zh) * 2017-04-07 2017-08-18 济宁学院 一种智能钢琴教学系统
US10482862B2 (en) * 2017-05-17 2019-11-19 Yousician Oy Computer implemented method for providing augmented reality (AR) function regarding music track
TWI632533B (zh) * 2018-01-11 2018-08-11 和碩聯合科技股份有限公司 學習輔助系統

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089754A (ja) * 1998-07-16 2000-03-31 Yamaha Corp 演奏支援装置
JP2000089655A (ja) * 1998-09-09 2000-03-31 Casio Comput Co Ltd 操作案内装置および操作案内方法
JP2000122647A (ja) * 1998-10-20 2000-04-28 Casio Comput Co Ltd 演奏指示装置、演奏指示方法、及び演奏指示のプログラムを記録した記録媒体
JP2000298426A (ja) * 1999-04-15 2000-10-24 Casio Comput Co Ltd 演奏案内装置及び演奏案内方法
JP2006039508A (ja) * 2004-06-25 2006-02-09 Aruze Corp タイピング練習装置、タイピング練習方法、及び、タイピング練習プログラム
US20150233779A1 (en) * 2014-02-18 2015-08-20 Waltop International Corporation Gloves with pressure sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171933A1 (ja) * 2020-02-28 2021-09-02 株式会社neumo 音出力装置及びプログラム
JP7437742B2 (ja) 2020-02-28 2024-02-26 株式会社neumo 音出力装置及びプログラム

Also Published As

Publication number Publication date
US10446048B2 (en) 2019-10-15
TWI632533B (zh) 2018-08-11
TW201931335A (zh) 2019-08-01
CN110033669A (zh) 2019-07-19
US20190213904A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
JP2019124907A (ja) 学習支援システム
CN107978303B (zh) 智能钢琴的智能检测和反馈系统
US7582825B2 (en) Method and apparatus for keyboard instrument learning
US20150332601A1 (en) Piano Learning System
JP6493543B2 (ja) 演奏補助装置及び方法
JP2013515288A (ja) 教育用弦楽器タッチスクリーンシミュレーション
KR101937099B1 (ko) 피아노 학습 서비스 제공 시스템
KR20170138135A (ko) 증강 현실 기반 피아노 연주 보조 방법 및 이를 실행하는 장치
US20190325776A1 (en) Lights-guided piano learning and teaching apparatus, and method
KR101636047B1 (ko) 피아노 연주 연습 시스템
EP4328901A1 (en) Musical instrument teaching system and method, and readable storage medium
JP4692189B2 (ja) 合奏システム
CN109416905A (zh) 演奏辅助装置及方法
JP2001282239A (ja) 携帯電話
KR20110082718A (ko) 구구단 학습장치 및 방법
JP3043281B2 (ja) 鍵盤楽器の押鍵表示装置およびその使用方法
JP6782491B2 (ja) 楽音発生装置、楽音発生方法およびプログラム
WO2009128028A1 (en) Musical keyboard instrument with training capabilities
JP2011039248A (ja) 携帯型音出力装置、コンピュータプログラムおよび記録媒体
KR20130005291U (ko) 건반악기장치
JPH09274427A (ja) 楽音発生装置
JP2009222763A (ja) 電子音楽装置及び演奏ガイド処理プログラム
TW201543466A (zh) 作曲方法、作曲程式產品及作曲系統
CN105096922A (zh) 作曲方法、作曲程序产品及作曲系统
KR100612928B1 (ko) 음향기기의 보조 입출력 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200707