JP2019219569A - 電子楽器、電子楽器の制御方法、及びプログラム - Google Patents
電子楽器、電子楽器の制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2019219569A JP2019219569A JP2018118056A JP2018118056A JP2019219569A JP 2019219569 A JP2019219569 A JP 2019219569A JP 2018118056 A JP2018118056 A JP 2018118056A JP 2018118056 A JP2018118056 A JP 2018118056A JP 2019219569 A JP2019219569 A JP 2019219569A
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning
- singing voice
- sound
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/32—Constructional details
- G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
- G10H1/125—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
- G10H7/004—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof with one or more auxiliary processor in addition to the main processing unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/008—Means for controlling the transition from one tone waveform to another
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/111—Automatic composing, i.e. using predefined musical rules
- G10H2210/115—Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure
- G10H2210/121—Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure using a knowledge base
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/161—Note sequence effects, i.e. sensing, altering, controlling, processing or synthesising a note trigger selection or sequence, e.g. by altering trigger timing, triggered note values, adding improvisation or ornaments, also rapid repetition of the same note onset, e.g. on a piano, guitar, e.g. rasgueado, drum roll
- G10H2210/165—Humanizing effects, i.e. causing a performance to sound less machine-like, e.g. by slightly randomising pitch or tempo
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/161—Note sequence effects, i.e. sensing, altering, controlling, processing or synthesising a note trigger selection or sequence, e.g. by altering trigger timing, triggered note values, adding improvisation or ornaments, also rapid repetition of the same note onset, e.g. on a piano, guitar, e.g. rasgueado, drum roll
- G10H2210/191—Tremolo, tremulando, trill or mordent effects, i.e. repeatedly alternating stepwise in pitch between two note pitches or chords, without any portamento between the two notes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response, playback speed
- G10H2210/201—Vibrato, i.e. rapid, repetitive and smooth variation of amplitude, pitch or timbre within a note or chord
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response, playback speed
- G10H2210/231—Wah-wah spectral modulation, i.e. tone color spectral glide obtained by sweeping the peak of a bandpass filter up or down in frequency, e.g. according to the position of a pedal, by automatic modulation or by voice formant detection; control devices therefor, e.g. wah pedals for electric guitars
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
- G10H2220/011—Lyrics displays, e.g. for karaoke applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
- G10H2250/015—Markov chains, e.g. hidden Markov models [HMM], for musical processing, e.g. musical analysis or musical composition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
- G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
- G10H2250/621—Waveform interpolation
- G10H2250/625—Interwave interpolation, i.e. interpolating between two different waveforms, e.g. timbre or pitch or giving one waveform the shape of another while preserving its frequency or vice versa
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Electrophonic Musical Instruments (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
Description
橋本佳,高木信二「深層学習に基づく統計的音声合成」日本音響学会誌73巻1号(2017),pp.55−62
と置く)と、音響モデル(これを
と置く)とから、学習用音響特徴量系列314(これを
と置く)が生成される確率(これを
と置く)を最大にするような音響モデル
を、機械学習により推定する。即ち、テキストである言語特徴量系列と音声である音響特徴量系列との関係が、音響モデルという統計モデルによって表現される。
は、その右側に記載される関数に関して最大値を与える、その下側に記載されている引数を算出する演算を示す。
を表現するモデルパラメータを学習結果315として出力する。
と置く)と、モデル学習部305での機械学習により学習結果315として設定された音響モデル
とに基づいて、音響特徴量系列317(これを再度
と置く)が生成される確率(これを
と置く)を最大にするような音響特徴量系列317の推定値
を推定する。
<特許文献2>
特開平06−167976号公報
<特許文献3>
特開平07−199931号公報
<特許文献4>
特開平07−028471号公報
<特許文献5>
特開平05−006173号公報
なお、設定された時間(たとえば、数百ミリ秒)、第2鍵に対する押鍵を検出しない場合に、音響効果の付加を終了する。
酒向慎司、才野慶二郎、南角吉彦、徳田恵一、北村正「声質と歌唱スタイルを自動学習可能な歌声合成システム」情報処理学会研究報告音楽情報科学(MUS)2008(12(2008−MUS−074)),pp.39−44,2008−02−08
はフレームtにおける音響特徴量、Tはフレーム数、
はHMM音響モデルの状態系列、
はフレームtにおけるHMM音響モデルの状態番号を表す。また、
は状態
から状態
への状態遷移確率を表し、
は平均ベクトル
、共分散行列
の正規分布であり、状態
の出力確率分布を表す。尤度最大化基準によるHMM音響モデルの学習は、期待値最大化(Expectation Maximization:EM)アルゴリズムを利用することで効率良く行われる。
)と、モデル学習部305での機械学習により学習結果315として設定された音響モデル(=
)とに基づいて、音響特徴量系列317(=
)が生成される確率(=
)を最大にするような音響特徴量系列317の推定値(=
)を推定する。ここで、前述した(2)式は、図4(b)の状態継続長モデルによって推定される状態系列
を用いることで、下記(4)式により近似される。
であり、
と
はそれぞれ状態
における平均ベクトルと共分散行列である。言語特徴量系列
を用い、音響モデル部306に設定された各決定木を辿ることにより、平均ベクトルと共分散行列が算出される。(4)式より、音響特徴量系列317の推定値(=
)は平均ベクトル(=
)によって得られるが、
は状態が遷移する部分で階段状に変化する不連続な系列となる。このような不連続な音響特徴量系列317から合成フィルタ部310が歌声音声出力データ321を合成した場合、自然性という観点からは低品質な合成音声となってしまう。そこで、統計的音声合成処理の第1の実施形態では、モデル学習部305において動的特徴量を考慮した学習結果315(モデルパラメータ)の生成アルゴリズムが採用されてよい。静的特徴量
と動的特徴量
からフレームtにおける音響特徴量系列(=
)が構成されるとき、各時刻の音響特徴量系列(=
)は、下記(5)式で示される。
は静的特徴量系列
から動的特徴量を含む音響特徴量系列
を求める行列である。モデル学習部305は、上述の(5)式を制約として前述の(4)式を、下記(6)式に示されるように解く。
は、動的特徴量を制約としながら出力確率が最大となる静的特徴量系列である。動的特徴量を考慮することで状態境界の不連続が解決され、滑らかに変化する音響特徴量系列317を得ることができ、合成フィルタ部310において、高品質な歌声音声出力データ321を生成することが可能となる。
と
はそれぞれt番目のフレームtにおける音響特徴量と言語特徴量、
は音響モデル部306のDNNのモデルパラメータ、
はDNNによって表される非線形変換関数である。DNNのモデルパラメータは誤差逆伝播法によって効率良く推定することができる。前述した(1)式によって表される統計的音声合成におけるモデル学習部305の処理との対応関係を考慮すると、DNNの学習は下記の(8)式のように表すことができる。
によって表すことができる。DNNを用いた統計的音声合成処理の第2の実施形態では、通常、言語特徴量系列
に非依存な共分散行列、即ち全てのフレームにおいて同じ共分散行列
が用いられる。また、共分散行列
を単位行列とすると、(8)式は(7)式と等価な学習処理を示している。
(付記1)
各音高情報がそれぞれ対応付けられている複数の操作子と、
学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報を出力する学習済み音響モデルを記憶しているメモリと、
プロセッサと、
を含み、
前記プロセッサは、前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記いずれかの操作子に対応付けられている音高情報に応じた楽器音波形データと、に基づいて前記歌い手の歌声を推論した第1楽器音使用推論歌声データを出力する楽器音使用推論歌声データ出力処理、
を実行する電子楽器。
(付記2)
付記1に記載の電子楽器において、
少なくともブラス音、ストリング音、オルガン音、及び動物の鳴き声のいずれかを含む複数の楽器音のなかから前記ブラス音、前記ストリング音、前記オルガン音、及び前記動物の鳴き声のうちのいずれかの楽器音を選択させる選択操作子、
を有し、
前記楽器音使用推論歌声データ出力処理は、前記選択操作子により選択された楽器音に応じた前記楽器音波形データに基づいて、前記第1楽器音使用推論歌声データを出力する。
(付記3)
付記1または付記2に記載の電子楽器において、
前記メモリは、メロディデータと、自動演奏させる伴奏データと、を有する曲データを記憶しており、
前記メロディデータは、各音高情報と、前記各音高情報に応じた音を出力する各タイミング情報と、前記各音高情報に対応付けられている各歌詞情報と、を含み、
前記プロセッサは、
前記伴奏データに基づいて発音部に発音させる伴奏データ自動演奏処理と、
前記学習済み音響モデルに対して、操作された前記いずれかの操作子に対応付けられている音高情報を入力する代わりに、前記メロディデータに含まれる音高情報を入力するとともに、前記メロディデータに含まれる歌詞情報を入力する入力処理と、(*入力するタイミングは、演奏中でなくても、演奏開始前でもよいことを明細書中に含めてください)
を実行し、
前記楽器音使用推論歌声データ出力処理は、前記メロディデータに含まれるタイミング情報が示すタイミングに応じて前記複数の操作子のなかのいずれの操作子も演奏者に操作されなかった場合に、前記入力処理に応じて前記学習済み音響モデルから出力された前記スペクトル情報と、前記入力処理により入力された前記メロディデータに含まれる音高情報に応じた前記楽器音波形データと、に基づいて、前記歌い手の歌声を推論した第2楽器音使用推論歌声データを、前記メロディデータに含まれるタイミング情報が示すタイミングに合わせて出力する。
(付記4)
付記1から付記3のいずれかに記載の電子楽器において、
前記複数の操作子は、操作された前記いずれかの操作子としての第1操作子と、前記第1操作子からみて設定された条件を満たす第2操作子と、を含み、
前記楽器音使用推論歌声データ出力処理により前記第1楽器音使用推論歌声データが出力されている際に、前記第1操作子への操作が継続している状態で前記第2操作子が繰り返し操作された場合に、前記第1楽器音使用推論歌声データに対して少なくともビブラート、トレモロ及びワウワウのいずれかのエフェクトをかけるエフェクト処理、
を実行する。
(付記5)
付記4に記載の電子楽器において、
前記エフェクト処理は、前記第1操作子に対応付けられている音高情報が示す第1音高と、前記第2操作子に対応付けられている音高情報が示す第2音高と、の音高差に応じて前記エフェクトの程度を変更している。
(付記6)
付記4または5に記載の電子楽器において、
前記第2操作子は、黒鍵である。
(付記7)
各音高情報がそれぞれ対応付けられている複数の操作子と、
学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報を出力する学習済み音響モデルを記憶しているメモリと、
を含む電子楽器のコンピュータに、
前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記いずれかの操作子に対応付けられている音高情報に応じた楽器音波形データと、に基づいて前記歌い手の歌声を推論した第1楽器音使用推論歌声データを出力する楽器音使用推論歌声データ出力処理、
を実行させる方法。
(付記8)
学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報を出力する学習済み音響モデルを記憶しているメモリと、
を含む電子楽器のコンピュータに、
前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記いずれかの操作子に対応付けられている音高情報に応じた楽器音波形データと、に基づいて前記歌い手の歌声を推論した第1楽器音使用推論歌声データを出力する楽器音使用推論歌声データ出力処理、
を実行させるプログラム。
101 鍵盤
102 第1のスイッチパネル
103 第2のスイッチパネル
104 LCD
200 制御システム
201 CPU
202 ROM
203 RAM
204 音源LSI
205 音声合成LSI
206 キースキャナ
208 LCDコントローラ
209 システムバス
210 タイマ
211、212 D/Aコンバータ
213 ミキサ
214 アンプ
215 歌声データ
216 発音制御データ
217、321 歌声音声出力データ
218 楽音出力データ
219 ネットワークインタフェース
220 発声音源用楽音出力データ
300 サーバコンピュータ
301 音声学習部
302 音声合成部
303 学習用テキスト解析部
304 学習用音響特徴量抽出
305 モデル学習部
306 音響モデル部
307 テキスト解析部
308 発声モデル部
309 音源生成部
310 合成フィルタ部
311 学習用歌声データ
312 学習用歌声音声データ
313 学習用言語特徴量系列
314 学習用音響特徴量系列
315 学習結果
316 言語情報量系列
317 音響特徴量系列
318 スペクトル情報
319 音源情報
320 音響効果付加部
各音高情報がそれぞれ対応付けられている複数の操作子と、
音色を選択させる音色選択操作子と、
学習用楽譜データと、或る歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記或る歌い手の声道をモデル化したスペクトル情報を出力する学習済み音響モデルを記憶しているメモリと、
を含み、
前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力し、
入力に応じて前記学習済み音響モデルが出力したスペクトル情報と、前記いずれかの操作子に対応付けられている音高情報及び前記音色選択操作子により選択された音色に応じた楽器音波形データと、を合成することにより前記或る歌い手の歌声を推論した歌声データを、ユーザが歌わなくても出力する。
Claims (8)
- 各音高情報がそれぞれ対応付けられている複数の操作子と、
学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報を出力する学習済み音響モデルを記憶しているメモリと、
プロセッサと、
を含み、
前記プロセッサは、前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記いずれかの操作子に対応付けられている音高情報に応じた楽器音波形データと、に基づいて前記歌い手の歌声を推論した第1楽器音使用推論歌声データを出力する楽器音使用推論歌声データ出力処理、
を実行する電子楽器。 - 請求項1に記載の電子楽器において、
少なくともブラス音、ストリング音、オルガン音、及び動物の鳴き声のいずれかを含む複数の楽器音のなかから前記ブラス音、前記ストリング音、前記オルガン音、及び前記動物の鳴き声のうちのいずれかの楽器音を選択させる選択操作子、
を有し、
前記楽器音使用推論歌声データ出力処理は、前記選択操作子により選択された楽器音に応じた前記楽器音波形データに基づいて、前記第1楽器音使用推論歌声データを出力する。 - 請求項1または請求項2に記載の電子楽器において、
前記メモリは、メロディデータと、自動演奏させる伴奏データと、を有する曲データを記憶しており、
前記メロディデータは、各音高情報と、前記各音高情報に応じた音を出力する各タイミング情報と、前記各音高情報に対応付けられている各歌詞情報と、を含み、
前記プロセッサは、
前記伴奏データに基づいて発音部に発音させる伴奏データ自動演奏処理と、
前記学習済み音響モデルに対して、操作された前記いずれかの操作子に対応付けられている音高情報を入力する代わりに、前記メロディデータに含まれる音高情報を入力するとともに、前記メロディデータに含まれる歌詞情報を入力する入力処理と、
を実行し、
前記楽器音使用推論歌声データ出力処理は、前記メロディデータに含まれるタイミング情報が示すタイミングに応じて前記複数の操作子のなかのいずれの操作子も演奏者に操作されなかった場合に、前記入力処理に応じて前記学習済み音響モデルから出力された前記スペクトル情報と、前記入力処理により入力された前記メロディデータに含まれる音高情報に応じた前記楽器音波形データと、に基づいて、前記歌い手の歌声を推論した第2楽器音使用推論歌声データを、前記メロディデータに含まれるタイミング情報が示すタイミングに合わせて出力する。 - 請求項1から請求項3のいずれかに記載の電子楽器において、
前記複数の操作子は、操作された前記いずれかの操作子としての第1操作子と、前記第1操作子からみて設定された条件を満たす第2操作子と、を含み、
前記楽器音使用推論歌声データ出力処理により前記第1楽器音使用推論歌声データが出力されている際に、前記第1操作子への操作が継続している状態で前記第2操作子が繰り返し操作された場合に、前記第1楽器音使用推論歌声データに対して少なくともビブラート、トレモロ及びワウワウのいずれかのエフェクトをかけるエフェクト処理、
を実行する。 - 請求項4に記載の電子楽器において、
前記エフェクト処理は、前記第1操作子に対応付けられている音高情報が示す第1音高と、前記第2操作子に対応付けられている音高情報が示す第2音高と、の音高差に応じて前記エフェクトの程度を変更している。 - 請求項4または5に記載の電子楽器において、
前記第2操作子は、黒鍵である。 - 各音高情報がそれぞれ対応付けられている複数の操作子と、
学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報を出力する学習済み音響モデルを記憶しているメモリと、
を含む電子楽器のコンピュータに、
前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記いずれかの操作子に対応付けられている音高情報に応じた楽器音波形データと、に基づいて前記歌い手の歌声を推論した第1楽器音使用推論歌声データを出力する楽器音使用推論歌声データ出力処理、
を実行させる方法。 - 学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報を出力する学習済み音響モデルを記憶しているメモリと、
を含む電子楽器のコンピュータに、
前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記いずれかの操作子に対応付けられている音高情報に応じた楽器音波形データと、に基づいて前記歌い手の歌声を推論した第1楽器音使用推論歌声データを出力する楽器音使用推論歌声データ出力処理、
を実行させるプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018118056A JP6610715B1 (ja) | 2018-06-21 | 2018-06-21 | 電子楽器、電子楽器の制御方法、及びプログラム |
EP19181429.2A EP3588486B1 (en) | 2018-06-21 | 2019-06-20 | Electronic musical instrument, electronic musical instrument control method, and storage medium |
US16/447,586 US10810981B2 (en) | 2018-06-21 | 2019-06-20 | Electronic musical instrument, electronic musical instrument control method, and storage medium |
CN201910543268.2A CN110634464B (zh) | 2018-06-21 | 2019-06-21 | 电子乐器、电子乐器的控制方法以及存储介质 |
CN202310872158.7A CN116704981A (zh) | 2018-06-21 | 2019-06-21 | 电子乐器、电子乐器的控制方法以及存储介质 |
US17/036,582 US11545121B2 (en) | 2018-06-21 | 2020-09-29 | Electronic musical instrument, electronic musical instrument control method, and storage medium |
US18/077,151 US11854518B2 (en) | 2018-06-21 | 2022-12-07 | Electronic musical instrument, electronic musical instrument control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018118056A JP6610715B1 (ja) | 2018-06-21 | 2018-06-21 | 電子楽器、電子楽器の制御方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019196824A Division JP6835182B2 (ja) | 2019-10-30 | 2019-10-30 | 電子楽器、電子楽器の制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6610715B1 JP6610715B1 (ja) | 2019-11-27 |
JP2019219569A true JP2019219569A (ja) | 2019-12-26 |
Family
ID=66999698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018118056A Active JP6610715B1 (ja) | 2018-06-21 | 2018-06-21 | 電子楽器、電子楽器の制御方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (3) | US10810981B2 (ja) |
EP (1) | EP3588486B1 (ja) |
JP (1) | JP6610715B1 (ja) |
CN (2) | CN110634464B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111816157A (zh) * | 2020-06-24 | 2020-10-23 | 厦门大学 | 一种基于语音合成的乐谱智能视唱方法和系统 |
JP2021534450A (ja) * | 2018-08-13 | 2021-12-09 | ヴァイスカウント インターナショナル エス.ピー.エー. | 楽器の合成音の生成システム |
WO2023140151A1 (ja) * | 2022-01-19 | 2023-07-27 | カシオ計算機株式会社 | 情報処理装置、電子楽器、電子楽器システム、方法及びプログラム |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6587007B1 (ja) * | 2018-04-16 | 2019-10-09 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6587008B1 (ja) * | 2018-04-16 | 2019-10-09 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610715B1 (ja) | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610714B1 (ja) * | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6547878B1 (ja) | 2018-06-21 | 2019-07-24 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP7059972B2 (ja) | 2019-03-14 | 2022-04-26 | カシオ計算機株式会社 | 電子楽器、鍵盤楽器、方法、プログラム |
JP7432347B2 (ja) * | 2019-12-04 | 2024-02-16 | ローランド株式会社 | 楽音制御装置、及び楽音制御方法 |
JP7088159B2 (ja) * | 2019-12-23 | 2022-06-21 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP7180587B2 (ja) * | 2019-12-23 | 2022-11-30 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
CN111309959B (zh) * | 2020-02-10 | 2023-08-18 | 清华大学 | 歌曲推荐方法和装置 |
JP7331746B2 (ja) * | 2020-03-17 | 2023-08-23 | カシオ計算機株式会社 | 電子鍵盤楽器、楽音発生方法及びプログラム |
JP7036141B2 (ja) * | 2020-03-23 | 2022-03-15 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
CN112562633A (zh) * | 2020-11-30 | 2021-03-26 | 北京有竹居网络技术有限公司 | 一种歌唱合成方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001067078A (ja) * | 1999-06-25 | 2001-03-16 | Yamaha Corp | 演奏装置、効果制御装置及びその記録媒体 |
US6369311B1 (en) * | 1999-06-25 | 2002-04-09 | Yamaha Corporation | Apparatus and method for generating harmony tones based on given voice signal and performance data |
US20040040434A1 (en) * | 2002-08-28 | 2004-03-04 | Koji Kondo | Sound generation device and sound generation program |
US20060111908A1 (en) * | 2004-11-25 | 2006-05-25 | Casio Computer Co., Ltd. | Data synthesis apparatus and program |
JP2010060583A (ja) * | 2008-09-01 | 2010-03-18 | Casio Comput Co Ltd | 電子楽器及びプログラム |
JP2014062969A (ja) * | 2012-09-20 | 2014-04-10 | Yamaha Corp | 歌唱合成装置および歌唱合成プログラム |
Family Cites Families (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4620469A (en) * | 1984-12-03 | 1986-11-04 | Kawai Musical Instrument Mfg. Co., Ltd | Key assignor for a touch responsive electronic musical instrument |
JP2924208B2 (ja) | 1991-01-22 | 1999-07-26 | ブラザー工業株式会社 | 練習機能付き電子音楽再生装置 |
JP3093514B2 (ja) | 1993-05-07 | 2000-10-03 | ニッテツ北海道制御システム株式会社 | ロール焼入れ制御装置 |
JPH06332449A (ja) | 1993-05-21 | 1994-12-02 | Kawai Musical Instr Mfg Co Ltd | 電子楽器の歌声再生装置 |
CN1118909A (zh) * | 1994-04-16 | 1996-03-20 | 史耀华 | 一种实现字符随曲变的娱乐教学方法及插卡等装置 |
JP3319211B2 (ja) * | 1995-03-23 | 2002-08-26 | ヤマハ株式会社 | 音声変換機能付カラオケ装置 |
US5703311A (en) * | 1995-08-03 | 1997-12-30 | Yamaha Corporation | Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques |
JP3144273B2 (ja) | 1995-08-04 | 2001-03-12 | ヤマハ株式会社 | 自動歌唱装置 |
JP3102335B2 (ja) * | 1996-01-18 | 2000-10-23 | ヤマハ株式会社 | フォルマント変換装置およびカラオケ装置 |
JP3900580B2 (ja) * | 1997-03-24 | 2007-04-04 | ヤマハ株式会社 | カラオケ装置 |
US6689947B2 (en) | 1998-05-15 | 2004-02-10 | Lester Frank Ludwig | Real-time floor controller for control of music, signal processing, mixing, video, lighting, and other systems |
JP2001092456A (ja) | 1999-09-24 | 2001-04-06 | Yamaha Corp | 演奏ガイド機能を備えた電子楽器および記憶媒体 |
JP2002049301A (ja) | 2000-08-01 | 2002-02-15 | Kawai Musical Instr Mfg Co Ltd | 押鍵表示装置、電子楽器システム、押鍵表示方法、及び記憶媒体 |
JP3879402B2 (ja) | 2000-12-28 | 2007-02-14 | ヤマハ株式会社 | 歌唱合成方法と装置及び記録媒体 |
US7412377B2 (en) * | 2003-12-19 | 2008-08-12 | International Business Machines Corporation | Voice model for speech processing based on ordered average ranks of spectral features |
JP4487632B2 (ja) | 2004-05-21 | 2010-06-23 | ヤマハ株式会社 | 演奏練習装置および演奏練習用コンピュータプログラム |
JP4265501B2 (ja) * | 2004-07-15 | 2009-05-20 | ヤマハ株式会社 | 音声合成装置およびプログラム |
JP4207902B2 (ja) | 2005-02-02 | 2009-01-14 | ヤマハ株式会社 | 音声合成装置およびプログラム |
US8244546B2 (en) * | 2008-05-28 | 2012-08-14 | National Institute Of Advanced Industrial Science And Technology | Singing synthesis parameter data estimation system |
US20090307207A1 (en) | 2008-06-09 | 2009-12-10 | Murray Thomas J | Creation of a multi-media presentation |
JP5471858B2 (ja) * | 2009-07-02 | 2014-04-16 | ヤマハ株式会社 | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
JP5293460B2 (ja) | 2009-07-02 | 2013-09-18 | ヤマハ株式会社 | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
US8008563B1 (en) | 2010-04-12 | 2011-08-30 | Karla Kay Hastings | Electronic circuit driven, inter-active, plural sensory stimuli apparatus and comprehensive method to teach, with no instructor present, beginners as young as two years old to play a piano/keyboard type musical instrument and to read and correctly respond to standard music notation for said instruments |
JP6003195B2 (ja) | 2012-04-27 | 2016-10-05 | ヤマハ株式会社 | 歌唱合成を行うための装置およびプログラム |
JP5895740B2 (ja) | 2012-06-27 | 2016-03-30 | ヤマハ株式会社 | 歌唱合成を行うための装置およびプログラム |
EP2930714B1 (en) | 2012-12-04 | 2018-09-05 | National Institute of Advanced Industrial Science and Technology | Singing voice synthesizing system and singing voice synthesizing method |
US10564923B2 (en) * | 2014-03-31 | 2020-02-18 | Sony Corporation | Method, system and artificial neural network |
EP3159892B1 (en) | 2014-06-17 | 2020-02-12 | Yamaha Corporation | Controller and system for voice generation based on characters |
WO2016009444A2 (en) | 2014-07-07 | 2016-01-21 | Sensibiol Audio Technologies Pvt. Ltd. | Music performance system and method thereof |
JP2016080827A (ja) * | 2014-10-15 | 2016-05-16 | ヤマハ株式会社 | 音韻情報合成装置および音声合成装置 |
JP6485185B2 (ja) | 2015-04-20 | 2019-03-20 | ヤマハ株式会社 | 歌唱音合成装置 |
JP6756151B2 (ja) | 2015-07-24 | 2020-09-16 | ヤマハ株式会社 | 歌唱合成データ編集の方法および装置、ならびに歌唱解析方法 |
US9818396B2 (en) * | 2015-07-24 | 2017-11-14 | Yamaha Corporation | Method and device for editing singing voice synthesis data, and method for analyzing singing |
CN105070283B (zh) * | 2015-08-27 | 2019-07-09 | 百度在线网络技术(北京)有限公司 | 为歌声语音配乐的方法和装置 |
JP6004358B1 (ja) | 2015-11-25 | 2016-10-05 | 株式会社テクノスピーチ | 音声合成装置および音声合成方法 |
JP6705272B2 (ja) | 2016-04-21 | 2020-06-03 | ヤマハ株式会社 | 発音制御装置、発音制御方法、及びプログラム |
WO2018013823A1 (en) * | 2016-07-13 | 2018-01-18 | Smule, Inc. | Crowd-sourced technique for pitch track generation |
JP2017107228A (ja) * | 2017-02-20 | 2017-06-15 | 株式会社テクノスピーチ | 歌声合成装置および歌声合成方法 |
JP2018159786A (ja) | 2017-03-22 | 2018-10-11 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP6497404B2 (ja) | 2017-03-23 | 2019-04-10 | カシオ計算機株式会社 | 電子楽器、その電子楽器の制御方法及びその電子楽器用のプログラム |
JP6465136B2 (ja) | 2017-03-24 | 2019-02-06 | カシオ計算機株式会社 | 電子楽器、方法、及びプログラム |
JP7143576B2 (ja) | 2017-09-26 | 2022-09-29 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法及びそのプログラム |
JP7043767B2 (ja) | 2017-09-26 | 2022-03-30 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法及びそのプログラム |
JP6569712B2 (ja) | 2017-09-27 | 2019-09-04 | カシオ計算機株式会社 | 電子楽器、電子楽器の楽音発生方法、及びプログラム |
JP2019066649A (ja) * | 2017-09-29 | 2019-04-25 | ヤマハ株式会社 | 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 |
JP7052339B2 (ja) | 2017-12-25 | 2022-04-12 | カシオ計算機株式会社 | 鍵盤楽器、方法及びプログラム |
JP7035697B2 (ja) | 2018-03-27 | 2022-03-15 | カシオ計算機株式会社 | 歌唱練習装置、歌唱練習方法、及びプログラム |
JP6587008B1 (ja) | 2018-04-16 | 2019-10-09 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6587007B1 (ja) | 2018-04-16 | 2019-10-09 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610715B1 (ja) | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6547878B1 (ja) | 2018-06-21 | 2019-07-24 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610714B1 (ja) | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP7059972B2 (ja) | 2019-03-14 | 2022-04-26 | カシオ計算機株式会社 | 電子楽器、鍵盤楽器、方法、プログラム |
JP7088159B2 (ja) | 2019-12-23 | 2022-06-21 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP7036141B2 (ja) | 2020-03-23 | 2022-03-15 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP7367641B2 (ja) | 2020-09-08 | 2023-10-24 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
JP7259817B2 (ja) | 2020-09-08 | 2023-04-18 | カシオ計算機株式会社 | 電子楽器、方法及びプログラム |
-
2018
- 2018-06-21 JP JP2018118056A patent/JP6610715B1/ja active Active
-
2019
- 2019-06-20 US US16/447,586 patent/US10810981B2/en active Active
- 2019-06-20 EP EP19181429.2A patent/EP3588486B1/en active Active
- 2019-06-21 CN CN201910543268.2A patent/CN110634464B/zh active Active
- 2019-06-21 CN CN202310872158.7A patent/CN116704981A/zh active Pending
-
2020
- 2020-09-29 US US17/036,582 patent/US11545121B2/en active Active
-
2022
- 2022-12-07 US US18/077,151 patent/US11854518B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001067078A (ja) * | 1999-06-25 | 2001-03-16 | Yamaha Corp | 演奏装置、効果制御装置及びその記録媒体 |
US6369311B1 (en) * | 1999-06-25 | 2002-04-09 | Yamaha Corporation | Apparatus and method for generating harmony tones based on given voice signal and performance data |
US20040040434A1 (en) * | 2002-08-28 | 2004-03-04 | Koji Kondo | Sound generation device and sound generation program |
JP2004086067A (ja) * | 2002-08-28 | 2004-03-18 | Nintendo Co Ltd | 音声発生装置および音声発生プログラム |
US20060111908A1 (en) * | 2004-11-25 | 2006-05-25 | Casio Computer Co., Ltd. | Data synthesis apparatus and program |
JP2006146095A (ja) * | 2004-11-25 | 2006-06-08 | Casio Comput Co Ltd | データ合成装置およびデータ合成処理のプログラム |
JP2010060583A (ja) * | 2008-09-01 | 2010-03-18 | Casio Comput Co Ltd | 電子楽器及びプログラム |
JP2014062969A (ja) * | 2012-09-20 | 2014-04-10 | Yamaha Corp | 歌唱合成装置および歌唱合成プログラム |
Non-Patent Citations (1)
Title |
---|
酒向慎司他: ""声質と歌唱スタイルを自動学習可能な歌声合成システム"", 社団法人情報処理学会研究報告, vol. 2008, no. 12, JPN6013062046, February 2008 (2008-02-01), pages 39 - 44, ISSN: 0004042023 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021534450A (ja) * | 2018-08-13 | 2021-12-09 | ヴァイスカウント インターナショナル エス.ピー.エー. | 楽器の合成音の生成システム |
JP7344276B2 (ja) | 2018-08-13 | 2023-09-13 | ヴァイスカウント インターナショナル エス.ピー.エー. | 楽器の合成音の生成システム |
CN111816157A (zh) * | 2020-06-24 | 2020-10-23 | 厦门大学 | 一种基于语音合成的乐谱智能视唱方法和系统 |
WO2023140151A1 (ja) * | 2022-01-19 | 2023-07-27 | カシオ計算機株式会社 | 情報処理装置、電子楽器、電子楽器システム、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN116704981A (zh) | 2023-09-05 |
US20230102310A1 (en) | 2023-03-30 |
EP3588486B1 (en) | 2021-07-28 |
US20210027753A1 (en) | 2021-01-28 |
EP3588486A1 (en) | 2020-01-01 |
US20190392799A1 (en) | 2019-12-26 |
CN110634464A (zh) | 2019-12-31 |
US10810981B2 (en) | 2020-10-20 |
US11545121B2 (en) | 2023-01-03 |
US11854518B2 (en) | 2023-12-26 |
CN110634464B (zh) | 2023-07-07 |
JP6610715B1 (ja) | 2019-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6610715B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6547878B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6610714B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6587008B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
CN111696498A (zh) | 键盘乐器以及键盘乐器的计算机执行的方法 | |
JP6835182B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6766935B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6801766B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6819732B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP2020013145A (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
WO2022054496A1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181015 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6610715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |