JP2021099461A - 電子楽器、方法及びプログラム - Google Patents
電子楽器、方法及びプログラム Download PDFInfo
- Publication number
- JP2021099461A JP2021099461A JP2019231927A JP2019231927A JP2021099461A JP 2021099461 A JP2021099461 A JP 2021099461A JP 2019231927 A JP2019231927 A JP 2019231927A JP 2019231927 A JP2019231927 A JP 2019231927A JP 2021099461 A JP2021099461 A JP 2021099461A
- Authority
- JP
- Japan
- Prior art keywords
- lyrics
- singing voice
- data
- specified
- chord
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 59
- 230000004044 response Effects 0.000 claims abstract description 9
- 239000011295 pitch Substances 0.000 claims description 72
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 34
- 238000012545 processing Methods 0.000 description 29
- 230000015572 biosynthetic process Effects 0.000 description 27
- 238000003786 synthesis reaction Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 19
- 238000003825 pressing Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 12
- 210000001260 vocal cord Anatomy 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000001308 synthesis method Methods 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 5
- 230000002250 progressing effect Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000001755 vocal effect Effects 0.000 description 5
- 241001342895 Chorus Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- WURBVZBTWMNKQT-UHFFFAOYSA-N 1-(4-chlorophenoxy)-3,3-dimethyl-1-(1,2,4-triazol-1-yl)butan-2-one Chemical compound C1=NC=NN1C(C(=O)C(C)(C)C)OC1=CC=C(Cl)C=C1 WURBVZBTWMNKQT-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 229910001369 Brass Inorganic materials 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000010951 brass Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/32—Constructional details
- G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
- G10H1/344—Structural association with individual keys
- G10H1/348—Switches actuated by parts of the body other than fingers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/32—Constructional details
- G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/38—Chord
- G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
- G10H2220/011—Lyrics displays, e.g. for karaoke applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
- G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/056—MIDI or other note-oriented file format
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
- G10H2250/015—Markov chains, e.g. hidden Markov models [HMM], for musical processing, e.g. musical analysis or musical composition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
- G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
図1は、一実施形態にかかる電子楽器10の外観の一例を示す図である。電子楽器10は、スイッチ(ボタン)パネル140b、鍵盤140k、ペダル140p、ディスプレイ150d、スピーカー150sなどを搭載してもよい。
図3は、一実施形態にかかる音声学習部301の構成の一例を示す図である。音声学習部301は、図1の電子楽器10とは別に外部に存在するサーバコンピュータ300が実行する一機能として実装されてもよい。なお、音声学習部301は、CPU201、音声合成LSI205などが実行する一機能として電子楽器10に内蔵されてもよい。
図4は、一実施形態にかかる波形データ出力部302の一例を示す図である。
本開示の一実施形態に係る歌詞進行制御方法について、以下で説明する。各歌詞進行制御方法は、上述の電子楽器10の処理部307などによって利用されてもよい。
ステップS102の歌詞進行判定処理について、以下で詳細に説明する。
同期処理は、歌詞の位置を、現在のソングデータ(伴奏)の再生位置と合わせる処理であってもよい。この処理によれば、押鍵し過ぎにより歌詞の位置が超過したり、押鍵が不足して歌詞の位置が想定より進まなかったりした場合に、歌詞の位置を適切に移動させることができる。
図4、図5などで示した音声合成処理のオン/オフは、ユーザのスイッチパネル140bの操作に基づいて切り替えられてもよい。オフの場合、波形データ出力部211は、押鍵に対応する音高の楽器音データの音源信号を生成して、出力するように制御してもよい。
(付記1)
互いに異なる音高データ(例えば、ノート番号)がそれぞれ対応付けられている複数の演奏操作子(例えば、鍵)と、
プロセッサ(例えば、CPU201)と、を備え、前記プロセッサは、
前記複数の演奏操作子へのユーザ操作に応じて、和音が指定されたか否かを判定し(例えば、和音判別時間内(数ミリ秒内でもよいし、ほぼ同時でもよい)に、前記ユーザ操作に応じて指定されたそれぞれの音高に対応する複数の音高データ(言い換えると、ノートオンデータに含まれるノート番号のデータ)が取得されたかを判定し)、
前記和音が指定されたと判定された場合に、ユーザ操作に応じて指定されたそれぞれの音高で、いずれも第1歌詞(例えば、図8だと“Sle”)に応じた歌声の発音を指示し、
前記和音が指定されたと判定されない場合に、ユーザ操作に応じて指定された1つの音高で、前記第1歌詞に応じた歌声の発音を指示するとともに、ユーザ操作に応じて指定された残りの1つの音高で、前記第1歌詞の次の第2歌詞(例えば、図8だと“e”)に応じた歌声の発音を指示する、
電子楽器。
前記プロセッサは、
前記和音が指定されたと判定された後、前記和音の指定が解除されたと判定される前にユーザ操作に応じて取得された音高データが、指定されている音高のなかの最低音か否かを判定し、
最低音と判定された場合に、前記第2歌詞に応じた歌声の発音を指示せずに、判定された前記最低音の音高で前記第1歌詞に応じた歌声の発音を指示し(言い換えると、最低音である場合は、歌詞進行せず)、
最低音と判定されない場合に、前記第1歌詞に応じた歌声の発音を指示せずに、前記第2歌詞に応じた歌声の発音を指示する(言い換えると、最低音でない場合は、歌詞進行する)、
付記1に記載の電子楽器。
前記プロセッサは、
伴奏データ(ソングデータ)の再生を指示し、
ユーザ操作に応じて全ての音高の指定が解除された(言い換えると、全鍵がオフ)か否かを判定し、
全ての音高の指定が解除されたと判定された場合に、前記第1歌詞のデータ及び前記第2歌詞のデータを含む歌声テキストデータにおける第1再生位置であって、次のユーザ操作に応じて歌わせる歌詞の第1再生位置を、前記伴奏データにおける再生位置に応じた第2再生位置に変更する(言い換えると、同期処理を行う)、
付記1または2に記載の電子楽器。
前記プロセッサは、
取得された前記複数の音高データに対応する複数の楽器音データ(例えば、ブラス音等の楽器音のデータ)を取得し、
前記和音が指定されたと判定された場合に、ユーザ操作に応じて指定されたそれぞれの音高に対応する前記複数の楽器音データそれぞれに、前記第1歌詞に応じたフォルマント情報を付与(言い換えると、音声合成)することで、ユーザ操作に応じて指定されたそれぞれの音高で、前記第1歌詞に応じた歌声の発音を、ユーザが歌わなくても指示し、
前記和音が指定されたと判定されない場合に、ユーザ操作に応じて指定されたそれぞれの音高に対応する前記複数の楽器音データそれぞれに、前記第1歌詞に応じたフォルマント情報及び、前記第2歌詞に応じたフォルマント情報を付与することで、前記第1歌詞及び前記第2歌詞に応じた歌声の発音を、ユーザが歌わなくても指示する、
付記1乃至3のいずれかに記載の電子楽器。
前記プロセッサは、
前記和音が指定されたと判定された場合に、前記第1歌詞のデータを学習済みモデルに入力することにより、前記学習済みモデルが出力したフォルマント情報を前記複数の楽器音データそれぞれに付与し、
前記和音が指定されたと判定されない場合に、前記第1歌詞のデータを学習済みモデルに入力することにより、前記学習済みモデルが出力したフォルマント情報及び、前記第2歌詞のデータを前記学習済みモデルに入力することにより、前記学習済みモデルが出力したフォルマント情報を前記複数の楽器音データそれぞれに付与する、
付記4に記載の電子楽器。
前記学習済みモデルは、或る歌い手の歌声データを教師データとして機械学習することにより生成されており、歌詞のデータ入力に応じて、前記或る歌い手の歌声の音響特徴量を示すフォルマント情報を出力する、
付記5に記載の電子楽器。
電子楽器のコンピュータに、
複数の演奏操作子へのユーザ操作に応じて、和音が指定されたか否かを判定させ、
前記和音が指定されたと判定された場合に、ユーザ操作に応じて指定されたそれぞれの音高で、いずれも第1歌詞に応じた歌声の発音を指示させ、
前記和音が指定されたと判定されない場合に、ユーザ操作に応じて指定された1つの音高で、前記第1歌詞に応じた歌声の発音を指示させるとともに、ユーザ操作に応じて指定された残りの1つの音高で、前記第1歌詞の次の第2歌詞に応じた歌声の発音を指示させる、
方法。
電子楽器のコンピュータに、
複数の演奏操作子へのユーザ操作に応じて、和音が指定されたか否かを判定させ、
前記和音が指定されたと判定された場合に、ユーザ操作に応じて指定されたそれぞれの音高で、いずれも第1歌詞に応じた歌声の発音を指示させ、
前記和音が指定されたと判定されない場合に、ユーザ操作に応じて指定された1つの音高で、前記第1歌詞に応じた歌声の発音を指示させるとともに、ユーザ操作に応じて指定された残りの1つの音高で、前記第1歌詞の次の第2歌詞に応じた歌声の発音を指示させる、
プログラム。
Claims (8)
- 互いに異なる音高データがそれぞれ対応付けられている複数の演奏操作子と、
プロセッサと、を備え、前記プロセッサは、
前記複数の演奏操作子へのユーザ操作に応じて、和音が指定されたか否かを判定し、
前記和音が指定されたと判定された場合に、ユーザ操作に応じて指定されたそれぞれの音高で、いずれも第1歌詞に応じた歌声の発音を指示し、
前記和音が指定されたと判定されない場合に、ユーザ操作に応じて指定された1つの音高で、前記第1歌詞に応じた歌声の発音を指示するとともに、ユーザ操作に応じて指定された残りの1つの音高で、前記第1歌詞の次の第2歌詞に応じた歌声の発音を指示する、
電子楽器。 - 前記プロセッサは、
前記和音が指定されたと判定された後、前記和音の指定が解除されたと判定される前にユーザ操作に応じて取得された音高データが、指定されている音高のなかの最低音か否かを判定し、
最低音と判定された場合に、前記第2歌詞に応じた歌声の発音を指示せずに、判定された前記最低音の音高で前記第1歌詞に応じた歌声の発音を指示し、
最低音と判定されない場合に、前記第1歌詞に応じた歌声の発音を指示せずに、前記第2歌詞に応じた歌声の発音を指示する、
請求項1に記載の電子楽器。 - 前記プロセッサは、
伴奏データの再生を指示し、
ユーザ操作に応じて全ての音高の指定が解除されたか否かを判定し、
全ての音高の指定が解除されたと判定された場合に、前記第1歌詞のデータ及び前記第2歌詞のデータを含む歌声テキストデータにおける第1再生位置であって、次のユーザ操作に応じて歌わせる歌詞の第1再生位置を、前記伴奏データにおける再生位置に応じた第2再生位置に変更する、
請求項1または2に記載の電子楽器。 - 前記プロセッサは、
取得された前記複数の音高データに対応する複数の楽器音データを取得し、
前記和音が指定されたと判定された場合に、ユーザ操作に応じて指定されたそれぞれの音高に対応する前記複数の楽器音データそれぞれに、前記第1歌詞に応じたフォルマント情報を付与することで、ユーザ操作に応じて指定されたそれぞれの音高で、前記第1歌詞に応じた歌声の発音を、ユーザが歌わなくても指示し、
前記和音が指定されたと判定されない場合に、ユーザ操作に応じて指定されたそれぞれの音高に対応する前記複数の楽器音データそれぞれに、前記第1歌詞に応じたフォルマント情報及び、前記第2歌詞に応じたフォルマント情報を付与することで、前記第1歌詞及び前記第2歌詞に応じた歌声の発音を、ユーザが歌わなくても指示する、
請求項1乃至3のいずれかに記載の電子楽器。 - 前記プロセッサは、
前記和音が指定されたと判定された場合に、前記第1歌詞のデータを学習済みモデルに入力することにより、前記学習済みモデルが出力したフォルマント情報を前記複数の楽器音データそれぞれに付与し、
前記和音が指定されたと判定されない場合に、前記第1歌詞のデータを学習済みモデルに入力することにより、前記学習済みモデルが出力したフォルマント情報及び、前記第2歌詞のデータを前記学習済みモデルに入力することにより、前記学習済みモデルが出力したフォルマント情報を前記複数の楽器音データそれぞれに付与する、
請求項4に記載の電子楽器。 - 前記学習済みモデルは、或る歌い手の歌声データを教師データとして機械学習することにより生成されており、歌詞のデータ入力に応じて、前記或る歌い手の歌声の音響特徴量を示すフォルマント情報を出力する、
請求項5に記載の電子楽器。 - 電子楽器のコンピュータに、
複数の演奏操作子へのユーザ操作に応じて、和音が指定されたか否かを判定させ、
前記和音が指定されたと判定された場合に、ユーザ操作に応じて指定されたそれぞれの音高で、いずれも第1歌詞に応じた歌声の発音を指示させ、
前記和音が指定されたと判定されない場合に、ユーザ操作に応じて指定された1つの音高で、前記第1歌詞に応じた歌声の発音を指示させるとともに、ユーザ操作に応じて指定された残りの1つの音高で、前記第1歌詞の次の第2歌詞に応じた歌声の発音を指示させる、
方法。 - 電子楽器のコンピュータに、
複数の演奏操作子へのユーザ操作に応じて、和音が指定されたか否かを判定させ、
前記和音が指定されたと判定された場合に、ユーザ操作に応じて指定されたそれぞれの音高で、いずれも第1歌詞に応じた歌声の発音を指示させ、
前記和音が指定されたと判定されない場合に、ユーザ操作に応じて指定された1つの音高で、前記第1歌詞に応じた歌声の発音を指示させるとともに、ユーザ操作に応じて指定された残りの1つの音高で、前記第1歌詞の次の第2歌詞に応じた歌声の発音を指示させる、
プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019231927A JP7088159B2 (ja) | 2019-12-23 | 2019-12-23 | 電子楽器、方法及びプログラム |
US17/129,653 US11996082B2 (en) | 2019-12-23 | 2020-12-21 | Electronic musical instruments, method and storage media |
CN202011514746.6A CN113160779A (zh) | 2019-12-23 | 2020-12-21 | 电子乐器、方法及存储介质 |
JP2022092637A JP7456460B2 (ja) | 2019-12-23 | 2022-06-08 | 電子楽器、方法及びプログラム |
JP2023214342A JP2024019631A (ja) | 2019-12-23 | 2023-12-20 | 電子楽器、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019231927A JP7088159B2 (ja) | 2019-12-23 | 2019-12-23 | 電子楽器、方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022092637A Division JP7456460B2 (ja) | 2019-12-23 | 2022-06-08 | 電子楽器、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021099461A true JP2021099461A (ja) | 2021-07-01 |
JP7088159B2 JP7088159B2 (ja) | 2022-06-21 |
Family
ID=76437521
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019231927A Active JP7088159B2 (ja) | 2019-12-23 | 2019-12-23 | 電子楽器、方法及びプログラム |
JP2022092637A Active JP7456460B2 (ja) | 2019-12-23 | 2022-06-08 | 電子楽器、方法及びプログラム |
JP2023214342A Pending JP2024019631A (ja) | 2019-12-23 | 2023-12-20 | 電子楽器、方法及びプログラム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022092637A Active JP7456460B2 (ja) | 2019-12-23 | 2022-06-08 | 電子楽器、方法及びプログラム |
JP2023214342A Pending JP2024019631A (ja) | 2019-12-23 | 2023-12-20 | 電子楽器、方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11996082B2 (ja) |
JP (3) | JP7088159B2 (ja) |
CN (1) | CN113160779A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022116335A (ja) * | 2019-12-23 | 2022-08-09 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
WO2023120288A1 (ja) * | 2021-12-22 | 2023-06-29 | カシオ計算機株式会社 | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム |
WO2023120289A1 (ja) * | 2021-12-22 | 2023-06-29 | カシオ計算機株式会社 | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム |
US11854521B2 (en) | 2019-12-23 | 2023-12-26 | Casio Computer Co., Ltd. | Electronic musical instruments, method and storage media |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6610714B1 (ja) * | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610715B1 (ja) | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP7059972B2 (ja) | 2019-03-14 | 2022-04-26 | カシオ計算機株式会社 | 電子楽器、鍵盤楽器、方法、プログラム |
JP7036141B2 (ja) * | 2020-03-23 | 2022-03-15 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP7324957B1 (ja) | 2023-04-27 | 2023-08-10 | 真太郎 上田 | 音響装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04349497A (ja) * | 1991-05-27 | 1992-12-03 | Yamaha Corp | 電子楽器 |
JP2004287171A (ja) * | 2003-03-24 | 2004-10-14 | Roland Corp | ボコーダ装置 |
JP2008170592A (ja) * | 2007-01-10 | 2008-07-24 | Yamaha Corp | 歌唱合成のための装置およびプログラム |
JP2010139592A (ja) * | 2008-12-10 | 2010-06-24 | Casio Computer Co Ltd | 楽音発生装置および楽音発生プログラム |
JP2019184936A (ja) * | 2018-04-16 | 2019-10-24 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610715B1 (ja) * | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2513340B2 (ja) | 1990-03-22 | 1996-07-03 | ヤマハ株式会社 | 電子楽器 |
JP3235160B2 (ja) | 1992-01-08 | 2001-12-04 | ヤマハ株式会社 | 楽音制御装置 |
JP3309687B2 (ja) | 1995-12-07 | 2002-07-29 | ヤマハ株式会社 | 電子楽器 |
JP2000276147A (ja) | 1999-03-25 | 2000-10-06 | Casio Comput Co Ltd | 演奏教習装置及び演奏教習処理プログラムを記録した記録媒体 |
US6245983B1 (en) | 1999-03-19 | 2001-06-12 | Casio Computer Co., Ltd. | Performance training apparatus, and recording mediums which prestore a performance training program |
JP3840938B2 (ja) | 2001-09-25 | 2006-11-01 | ヤマハ株式会社 | 電子楽器 |
JP2003295873A (ja) | 2002-04-05 | 2003-10-15 | Takara Co Ltd | カラオケ装置 |
JP2004086067A (ja) | 2002-08-28 | 2004-03-18 | Nintendo Co Ltd | 音声発生装置および音声発生プログラム |
JP5515986B2 (ja) | 2010-04-05 | 2014-06-11 | ヤマハ株式会社 | 情報編集装置およびプログラム |
JP5988540B2 (ja) | 2010-10-12 | 2016-09-07 | ヤマハ株式会社 | 歌唱合成制御装置および歌唱合成装置 |
JP5895740B2 (ja) | 2012-06-27 | 2016-03-30 | ヤマハ株式会社 | 歌唱合成を行うための装置およびプログラム |
JP6056394B2 (ja) | 2012-11-12 | 2017-01-11 | ヤマハ株式会社 | 音声処理装置 |
JP5821824B2 (ja) | 2012-11-14 | 2015-11-24 | ヤマハ株式会社 | 音声合成装置 |
JP6728755B2 (ja) | 2015-03-25 | 2020-07-22 | ヤマハ株式会社 | 歌唱音発音装置 |
JP6492933B2 (ja) | 2015-04-24 | 2019-04-03 | ヤマハ株式会社 | 制御装置、合成歌唱音生成装置およびプログラム |
US9818396B2 (en) | 2015-07-24 | 2017-11-14 | Yamaha Corporation | Method and device for editing singing voice synthesis data, and method for analyzing singing |
JP6705272B2 (ja) | 2016-04-21 | 2020-06-03 | ヤマハ株式会社 | 発音制御装置、発音制御方法、及びプログラム |
JP2018054767A (ja) | 2016-09-28 | 2018-04-05 | カシオ計算機株式会社 | 電子楽器、その発音制御方法、及びプログラム |
JP6497404B2 (ja) | 2017-03-23 | 2019-04-10 | カシオ計算機株式会社 | 電子楽器、その電子楽器の制御方法及びその電子楽器用のプログラム |
JP6587007B1 (ja) * | 2018-04-16 | 2019-10-09 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6547878B1 (ja) * | 2018-06-21 | 2019-07-24 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610714B1 (ja) | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP7059972B2 (ja) | 2019-03-14 | 2022-04-26 | カシオ計算機株式会社 | 電子楽器、鍵盤楽器、方法、プログラム |
JP6992782B2 (ja) | 2019-03-25 | 2022-01-13 | カシオ計算機株式会社 | 効果付加装置、方法、プログラム、及び電子楽器 |
JP6766935B2 (ja) | 2019-09-10 | 2020-10-14 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6835182B2 (ja) | 2019-10-30 | 2021-02-24 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP7088159B2 (ja) | 2019-12-23 | 2022-06-21 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP7180587B2 (ja) | 2019-12-23 | 2022-11-30 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP7036141B2 (ja) | 2020-03-23 | 2022-03-15 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP7367641B2 (ja) | 2020-09-08 | 2023-10-24 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP7259817B2 (ja) | 2020-09-08 | 2023-04-18 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
-
2019
- 2019-12-23 JP JP2019231927A patent/JP7088159B2/ja active Active
-
2020
- 2020-12-21 US US17/129,653 patent/US11996082B2/en active Active
- 2020-12-21 CN CN202011514746.6A patent/CN113160779A/zh active Pending
-
2022
- 2022-06-08 JP JP2022092637A patent/JP7456460B2/ja active Active
-
2023
- 2023-12-20 JP JP2023214342A patent/JP2024019631A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04349497A (ja) * | 1991-05-27 | 1992-12-03 | Yamaha Corp | 電子楽器 |
JP2004287171A (ja) * | 2003-03-24 | 2004-10-14 | Roland Corp | ボコーダ装置 |
JP2008170592A (ja) * | 2007-01-10 | 2008-07-24 | Yamaha Corp | 歌唱合成のための装置およびプログラム |
JP2010139592A (ja) * | 2008-12-10 | 2010-06-24 | Casio Computer Co Ltd | 楽音発生装置および楽音発生プログラム |
JP2019184936A (ja) * | 2018-04-16 | 2019-10-24 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610715B1 (ja) * | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022116335A (ja) * | 2019-12-23 | 2022-08-09 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
US11854521B2 (en) | 2019-12-23 | 2023-12-26 | Casio Computer Co., Ltd. | Electronic musical instruments, method and storage media |
JP7456460B2 (ja) | 2019-12-23 | 2024-03-27 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
US11996082B2 (en) | 2019-12-23 | 2024-05-28 | Casio Computer Co., Ltd. | Electronic musical instruments, method and storage media |
WO2023120288A1 (ja) * | 2021-12-22 | 2023-06-29 | カシオ計算機株式会社 | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム |
WO2023120289A1 (ja) * | 2021-12-22 | 2023-06-29 | カシオ計算機株式会社 | 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2024019631A (ja) | 2024-02-09 |
CN113160779A (zh) | 2021-07-23 |
US20210193114A1 (en) | 2021-06-24 |
US11996082B2 (en) | 2024-05-28 |
JP7456460B2 (ja) | 2024-03-27 |
JP7088159B2 (ja) | 2022-06-21 |
JP2022116335A (ja) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7088159B2 (ja) | 電子楽器、方法及びプログラム | |
JP6610715B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6610714B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP7036141B2 (ja) | 電子楽器、方法及びプログラム | |
JP2019219570A (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP7380809B2 (ja) | 電子機器、電子楽器、方法及びプログラム | |
JP7367641B2 (ja) | 電子楽器、方法及びプログラム | |
US20220076651A1 (en) | Electronic musical instrument, method, and storage medium | |
JP6835182B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6801766B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6819732B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP2021149043A (ja) | 電子楽器、方法及びプログラム | |
JP2023092120A (ja) | 子音長変更装置、電子楽器、楽器システム、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7088159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |