JP2018049052A - 仮想楽器演奏プログラム、仮想楽器演奏装置および仮想楽器演奏方法 - Google Patents
仮想楽器演奏プログラム、仮想楽器演奏装置および仮想楽器演奏方法 Download PDFInfo
- Publication number
- JP2018049052A JP2018049052A JP2016182847A JP2016182847A JP2018049052A JP 2018049052 A JP2018049052 A JP 2018049052A JP 2016182847 A JP2016182847 A JP 2016182847A JP 2016182847 A JP2016182847 A JP 2016182847A JP 2018049052 A JP2018049052 A JP 2018049052A
- Authority
- JP
- Japan
- Prior art keywords
- instrument
- musical instrument
- user
- procedure
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000003287 optical effect Effects 0.000 claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims abstract description 48
- 238000010801 machine learning Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 abstract description 33
- 239000000284 extract Substances 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 12
- 230000008921 facial expression Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、実施形態に係る仮想楽器演奏装置10の概要について説明する。図1は、実施形態に係る仮想楽器演奏装置10の概要説明図である。
仮想楽器演奏システム1の構成について具体的に説明する。図2は、実施形態に係る仮想楽器演奏システム1の構成の一例を示すブロック図である。
サーバ装置20は、携帯情報端末などを仮想楽器演奏装置10として機能させるための配信サーバであり、通信部21と、制御部22と、記憶部23とを備える。記憶部23は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図2の例では、判別モデル23aと、アプリ23bと、音源データ23cとを記憶する。
通信部21は、たとえばNIC(Network Interface Card)などのインターフェイスである。制御部22は、通信部21および通信ネットワークNを介して、仮想楽器演奏装置10との間で各種の情報を送受信可能である。
制御部22は、サーバ装置20が配信サーバとして機能するうえでの全体制御を行う。具体的に、制御部22は、たとえばCPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって、サーバ装置20内部の記憶装置に記憶されている各種プログラムがRAM(Random Access Memory)を作業領域として実行されることにより実現される。また、制御部22は、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
学習部22aは、たとえば学習用の撮像画像中の肌色部分のデータセットを用いた機械学習により、入力される肌色部分に対応する楽器の種類を判別する学習モデルである判別モデル23aを生成し、配信用として記憶部23へ記憶させる。
ここで、学習部22aが実行する学習処理について、図3を用いて説明する。図3は、実施形態に係る学習処理の説明図である。本実施形態では、学習部22aは、演奏姿勢(仮想の場合を含む)の撮像画像中で手や腕に対応する画素部分の特徴量をクラス分類して楽器の種類(すなわち楽器音)を判別するための機械学習を実行する。
ところで、同じ楽器であっても、たとえば奏法に応じ、出力される音には違いが出る場合がある。そこで、同じ楽器につき、分類されるクラスを細分化して、出力される楽器音がより演奏姿勢に応じたものとなるように機械学習が行われてもよい。
図2の説明に戻り、配信部22bについて説明する。配信部22bは、記憶部23に記憶された判別モデル23a、アプリ23bおよび音源データ23cを、通信部21および通信ネットワークNを介して仮想楽器演奏装置10へ必要に応じ配信する。
次に、仮想楽器演奏装置10の構成について説明する。仮想楽器演奏装置10は、通信部11と、制御部12と、記憶部13とを備える。記憶部13は、記憶部23と同様に、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
通信部11は、通信部21と同様に、たとえばNIC(Network Interface Card)などのインターフェイスである。制御部12は、通信部11および通信ネットワークNを介して、サーバ装置20との間で各種の情報を送受信可能である。サーバ装置20から配信された判別モデル23a、アプリ23bおよび音源データ23cは、それぞれ判別モデル13a、アプリ13bおよび音源データ13cとして記憶部13へ記憶される。
制御部12は、図1を用いて説明した仮想楽器演奏処理の実行についての全体制御を行う。具体的に、制御部12は、制御部22と同様に、たとえばCPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって、仮想楽器演奏装置10内部の記憶装置に記憶されている各種プログラム(たとえばアプリ13b)がRAM(Random Access Memory)を作業領域として実行されることにより実現される。また、制御部12は、制御部22と同様に、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
取得部12bは、カメラ14によって撮像された、仮想の楽器を演奏する身振りをするユーザUの撮像画像を取得する。
顔検出部12cは、取得部12bによって取得された撮像画像中のユーザUの顔を検出する。顔検出には、公知の顔検出アルゴリズムを用いることができる。顔検出部12cによるユーザUの顔検出は、仮想楽器演奏装置10の演奏状態制御に利用することができる。
図5A〜図5Cは、演奏状態制御の説明図(その1)〜(その3)である。図5Aに示すように、たとえば顔検出部12cによりユーザUの顔が検出されている場合に、制御部12は、仮想楽器演奏装置10を演奏状態とする制御を行う。また、顔検出部12cによりユーザUの顔が検出されていない場合に、制御部12は、仮想楽器演奏装置10を非演奏状態とする制御を行う。
図2の説明に戻り、判別部12dについて説明する。判別部12dは、取得部12bによって取得された撮像画像中の肌色部分を抽出し、かかる肌色部分に基づき、判別モデル13aを用いて肌色部分に対応する楽器の種類を判別する。このとき、具体的には、入力される肌色部分に対し、判別モデル13aからは対応するクラスIDが返され、判別部12dはかかるクラスIDによって楽器の種類およびその音の種別を判別する。
解析部12eは、肌色部分のオプティカルフローを解析する。
出力制御部12fは、判別部12dによって判別された楽器音を解析部12eの解析結果に応じて出力部15に出力させる。具体的には、出力制御部12fは、解析部12eの解析結果に含まれるオプティカルフローの大きさに基づいて楽器音の大きさを決定する。たとえば、出力制御部12fは、オプティカルフローの大きさが大きいほど楽器音が大きくなるように楽器音の大きさを決定する。
ここで、音高の決定方法の具体例について、図6A〜図6Dを用いて説明する。図6A〜図6Dは、音高の決定方法の具体例を示す図(その1)〜(その4)である。
ところで、これまでは、肌色部分がユーザUの手や腕を示すものとして説明してきたが、肌色部分にはたとえばユーザUの顔を含んでもよい。かかる場合、たとえば顔に相当する肌色部分のオプティカルフローに基づいて、ユーザUの表情を解析することができる。
次に、実施形態に係る仮想楽器演奏装置10が実行する仮想楽器演奏処理の処理手順について説明する。図8は、実施形態に係る仮想楽器演奏装置10が実行する仮想楽器演奏処理の処理手順を示すフローチャートである。なお、図8に示す処理手順では、判別モデル13aは予め生成され、記憶部13に記憶されているものとする。
ところで、これまでは、1人のユーザUを想定した場合について説明してきたが、実施形態に係る仮想楽器演奏装置10は、複数のユーザUについての仮想楽器演奏処理を行うことが可能である。
なお、実施形態に係る仮想楽器演奏装置10は、たとえば図10に示すような構成のコンピュータ60によって実現される。図10は、仮想楽器演奏装置10の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ60は、CPU(Central Processing Unit)61、RAM(Random Access Memory)62、ROM(Read Only Memory)63、HDD(Hard Disk Drive)64、通信インターフェイス(I/F)65、入出力インターフェイス(I/F)66、およびメディアインターフェイス(I/F)67を備える。
実施形態に係る仮想楽器演奏システム1の仮想楽器演奏装置10は、取得部12bと、判別部12dと、解析部12eと、出力制御部12fとを備える。取得部12bは、ユーザUを撮像した撮像画像を取得する。判別部12dは、取得部12bによって取得された撮像画像中のユーザUの姿勢に対応する画素部分を抽出し、かかる画素部分に基づき、機械学習により生成された演奏姿勢の判別モデル13aを用いて上記姿勢に対応する楽器の種類を判別する。解析部12eは、上記画素部分のオプティカルフローを解析する。出力制御部12fは、判別された楽器の楽器音を解析部12eの解析結果に応じて出力する。
以上、本願の実施形態の一態様を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
10 仮想楽器演奏装置
11 通信部
12 制御部
12a 学習部
12b 取得部
12c 顔検出部
12d 判別部
12e 解析部
12f 出力制御部
13 記憶部
13a 判別モデル
14 カメラ
15 出力部
20 サーバ装置
22 制御部
22a 学習部
22b 配信部
23 記憶部
23a 判別モデル
Claims (12)
- ユーザを撮像した撮像画像を取得する取得手順と、
前記取得手順によって取得された前記撮像画像中の前記ユーザの姿勢に対応する画素部分を抽出し、該画素部分に基づき、機械学習により生成された演奏姿勢の判別モデルを用いて前記姿勢に対応する楽器の種類を判別する判別手順と、
前記画素部分のオプティカルフローを解析する解析手順と、
前記解析手順の解析結果に応じて前記楽器の楽器音を出力する出力制御手順と
をコンピュータに実行させることを特徴とする仮想楽器演奏プログラム。 - 前記画素部分は、
前記撮像画像中の肌色部分であること
を特徴とする請求項1に記載の仮想楽器演奏プログラム。 - 前記出力制御手順は、
前記解析結果に含まれる前記オプティカルフローの大きさに基づいて前記楽器音の大きさを決定すること
を特徴とする請求項1または2に記載の仮想楽器演奏プログラム。 - 前記出力制御手順は、
前記オプティカルフローの大きさが大きいほど前記楽器音が大きくなるように該楽器音の大きさを決定すること
を特徴とする請求項3に記載の仮想楽器演奏プログラム。 - 前記出力制御手順は、
前記解析結果に含まれる前記オプティカルフローの向きに基づいて前記楽器音の音高を決定すること
を特徴とする請求項1〜4のいずれか一つに記載の仮想楽器演奏プログラム。 - 前記出力制御手順は、
前記オプティカルフローが、前記判別手順によって判別された前記楽器の高音域に対応する位置へ移動する向きを示すならば、前記楽器音が高くなるように該楽器音の音高を決定すること
を特徴とする請求項5に記載の仮想楽器演奏プログラム。 - 前記出力制御手順は、
前記判別手順によって判別された前記楽器の種類が弦楽器である場合に、前記オプティカルフローが前記画素部分の存在範囲を小さくする向きを示すならば、前記楽器音が高くなるように該楽器音の音高を決定すること
を特徴とする請求項5または6に記載の仮想楽器演奏プログラム。 - 前記撮像画像中の前記ユーザの顔を検出する顔検出手順、
を前記コンピュータにさらに実行させ、
前記出力制御手順は、
前記顔検出手順によって前記ユーザの顔が検出されている間、前記楽器音を出力すること
を特徴とする請求項1〜7のいずれか一つに記載の仮想楽器演奏プログラム。 - 前記撮像画像中の前記ユーザの胴体を検出する胴体検出手順、
を前記コンピュータにさらに実行させ、
前記出力制御手順は、
前記胴体検出手順によって前記ユーザの胴体が検出されている間、前記楽器音を出力すること
を特徴とする請求項1〜7のいずれか一つに記載の仮想楽器演奏プログラム。 - 前記撮像画像中の前記画素部分に基づいて機械学習を実行することで前記判別モデルを生成する学習手順
を前記コンピュータにさらに実行させること
を特徴とする請求項1〜9のいずれか一つに記載の仮想楽器演奏プログラム。 - ユーザを撮像した撮像画像を取得する取得部と、
前記取得部によって取得された前記撮像画像中の前記ユーザの姿勢に対応する画素部分を抽出し、該画素部分に基づき、機械学習により生成された演奏姿勢の判別モデルを用いて前記姿勢に対応する楽器の種類を判別する判別部と、
前記画素部分のオプティカルフローを解析する解析部と、
前記解析部の解析結果に応じて前記楽器の楽器音を出力する出力制御部と
を備えることを特徴とする仮想楽器演奏装置。 - ユーザを撮像した撮像画像を取得する取得工程と、
前記取得工程によって取得された前記撮像画像中の前記ユーザの姿勢に対応する画素部分を抽出し、該画素部分に基づき、機械学習により生成された演奏姿勢の判別モデルを用いて前記姿勢に対応する楽器の種類を判別する判別工程と、
前記画素部分のオプティカルフローを解析する解析工程と、
前記解析工程の解析結果に応じて前記楽器の楽器音を出力する出力制御工程と
を含むことを特徴とする仮想楽器演奏方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016182847A JP6728004B2 (ja) | 2016-09-20 | 2016-09-20 | 仮想楽器演奏プログラム、仮想楽器演奏装置および仮想楽器演奏方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016182847A JP6728004B2 (ja) | 2016-09-20 | 2016-09-20 | 仮想楽器演奏プログラム、仮想楽器演奏装置および仮想楽器演奏方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018049052A true JP2018049052A (ja) | 2018-03-29 |
JP6728004B2 JP6728004B2 (ja) | 2020-07-22 |
Family
ID=61767450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016182847A Active JP6728004B2 (ja) | 2016-09-20 | 2016-09-20 | 仮想楽器演奏プログラム、仮想楽器演奏装置および仮想楽器演奏方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6728004B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021033063A (ja) * | 2019-08-23 | 2021-03-01 | 富士通株式会社 | 演算処理装置及び方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006053167A (ja) * | 2004-07-14 | 2006-02-23 | Rarugo:Kk | 電子楽器装置および仮想楽器の演奏方法並びに仮想楽器の演奏処理のプログラムおよびそのプログラムを記録した記録媒体 |
JP2008076765A (ja) * | 2006-09-21 | 2008-04-03 | Xing Inc | 演奏システム |
JP2013013479A (ja) * | 2011-07-01 | 2013-01-24 | Konami Digital Entertainment Co Ltd | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム |
JP2013037675A (ja) * | 2011-06-23 | 2013-02-21 | Omek Interactive Ltd | 近距離動作のトラッキングのシステムおよび方法 |
JP2015079339A (ja) * | 2013-10-16 | 2015-04-23 | セコム株式会社 | 姿勢推定装置 |
-
2016
- 2016-09-20 JP JP2016182847A patent/JP6728004B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006053167A (ja) * | 2004-07-14 | 2006-02-23 | Rarugo:Kk | 電子楽器装置および仮想楽器の演奏方法並びに仮想楽器の演奏処理のプログラムおよびそのプログラムを記録した記録媒体 |
JP2008076765A (ja) * | 2006-09-21 | 2008-04-03 | Xing Inc | 演奏システム |
JP2013037675A (ja) * | 2011-06-23 | 2013-02-21 | Omek Interactive Ltd | 近距離動作のトラッキングのシステムおよび方法 |
JP2013013479A (ja) * | 2011-07-01 | 2013-01-24 | Konami Digital Entertainment Co Ltd | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム |
JP2015079339A (ja) * | 2013-10-16 | 2015-04-23 | セコム株式会社 | 姿勢推定装置 |
Non-Patent Citations (1)
Title |
---|
岩谷 亮明, 外1名: "VRエンタテイメントに向けたエア楽器演奏システム", インタラクション2014論文集 [ONLINE], JPN6020010933, 20 February 2014 (2014-02-20), pages 587 - 592, ISSN: 0004238859 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021033063A (ja) * | 2019-08-23 | 2021-03-01 | 富士通株式会社 | 演算処理装置及び方法 |
US11532088B2 (en) | 2019-08-23 | 2022-12-20 | Fujitsu Limited | Arithmetic processing apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
JP6728004B2 (ja) | 2020-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104423594B (zh) | 用于生成与音频信号相关联的触觉效果的系统和方法 | |
US11670188B2 (en) | Method and apparatus for an adaptive and interactive teaching of playing a musical instrument | |
JP4655047B2 (ja) | 音声評価装置及びカラオケ装置 | |
US11972693B2 (en) | Method, device, system and apparatus for creating and/or selecting exercises for learning playing a music instrument | |
US20220180767A1 (en) | Crowd-based device configuration selection of a music teaching system | |
CN105706161B (zh) | 基于音高分布的自动音频协调 | |
JP6699677B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
CN110222789A (zh) | 图像识别方法及存储介质 | |
US20230252908A2 (en) | Method and apparatus for an adaptive and interactive teaching of playing a musical instrument | |
WO2020059245A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
US20200365123A1 (en) | Information processing method | |
WO2022111260A1 (zh) | 音乐筛选方法、装置、设备及介质 | |
JP6728004B2 (ja) | 仮想楽器演奏プログラム、仮想楽器演奏装置および仮想楽器演奏方法 | |
JP2011078508A (ja) | プログラムおよび情報記憶媒体 | |
US20130106689A1 (en) | Methods of operating systems having optical input devices | |
JP7476598B2 (ja) | 情報出力装置、情報出力方法及び情報出力プログラム | |
JP2017146584A (ja) | 吹奏楽器の練習支援装置及び練習支援方法 | |
JP6115932B2 (ja) | 音発生装置及び音発生用プログラム | |
Merrill | FlexiGesture: A sensor-rich real-time adaptive gesture and affordance learning platform for electronic music control | |
JP6409656B2 (ja) | カラオケ装置、プログラム | |
US11900825B2 (en) | Method and apparatus for an adaptive and interactive teaching of playing a musical instrument | |
US11276282B2 (en) | Information processing apparatus, information processing method, and recording medium | |
WO2023188804A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Shang et al. | A music performance method based on visual gesture recognition | |
WO2023105601A1 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190325 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6728004 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |