JP2019200390A - 自動演奏装置および自動演奏プログラム - Google Patents

自動演奏装置および自動演奏プログラム Download PDF

Info

Publication number
JP2019200390A
JP2019200390A JP2018096439A JP2018096439A JP2019200390A JP 2019200390 A JP2019200390 A JP 2019200390A JP 2018096439 A JP2018096439 A JP 2018096439A JP 2018096439 A JP2018096439 A JP 2018096439A JP 2019200390 A JP2019200390 A JP 2019200390A
Authority
JP
Japan
Prior art keywords
likelihood
performance
pattern
input
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018096439A
Other languages
English (en)
Inventor
晃弘 永田
Akihiro Nagata
晃弘 永田
登紀夫 高橋
Tokio Takahashi
登紀夫 高橋
茂樹 嵯峨山
Shigeki Sagayama
茂樹 嵯峨山
耕平 林
Kohei Hayashi
耕平 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meiji University
Roland Corp
Original Assignee
Meiji University
Roland Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meiji University, Roland Corp filed Critical Meiji University
Priority to JP2018096439A priority Critical patent/JP2019200390A/ja
Priority to EP19171746.1A priority patent/EP3570271B1/en
Priority to US16/412,439 priority patent/US10803845B2/en
Publication of JP2019200390A publication Critical patent/JP2019200390A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/38Chord
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/18Selecting circuits
    • G10H1/26Selecting circuits for automatically producing a series of tones
    • G10H1/28Selecting circuits for automatically producing a series of tones to produce arpeggios
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/32Constructional details
    • G10H1/34Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G10H1/344Structural association with individual keys
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/46Volume control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/151Music Composition or musical creation; Tools or processes therefor using templates, i.e. incomplete musical sections, as a basis for composing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】利用者の自由な演奏に応じて、その演奏に適合した自動演奏を行う自動演奏装置および自動演奏プログラムを提供すること。【解決手段】シンセサイザ1は、鍵盤2の鍵によって入力された演奏者からの演奏情報に基づいて、入力パターンテーブル11bにおける最尤な状態が推定され、該状態のパターンが選択される。そして、そのパターンに該当する出力パターンテーブル11cの出力パターンに基づいて、伴奏音やエフェクトを出力する。【効果】演奏者の自由な演奏に応じて、その演奏に適合した伴奏音やエフェクトを切り替えて出力することができる。【選択図】図2

Description

本発明は、自動演奏装置および自動演奏プログラムに関するものである。
特許文献1には、自動伴奏データの検索装置が開示されている。該装置では、利用者がリズム入力装置10の鍵盤を押鍵すると、押鍵されたこと即ち演奏操作がなされたことを示すトリガーデータと、押鍵の強度即ち当該演奏操作の強度を示すベロシティデータとが、1小節を単位とした入力リズムパターンとして情報処理装置20へ入力される。
情報処理装置20は、自動伴奏データを複数含んだデータベースを有している。自動伴奏データは、各々が固有のリズムパターンを持つ複数のパートで構成されている。情報処理装置20は、リズム入力装置10から入力リズムパターンを入力すると、その入力リズムパターンと同一又は類似したリズムパターンを持つ自動伴奏データを検索し、検索された自動伴奏データの名称等を一覧表示する。情報処理装置20は、その一覧表示から利用者によって選択された自動伴奏データに基づく音を出力する。
特開2012−234167号公報 特開2007−241181号公報
このように特許文献1の装置では、自動伴奏データの選択に際し、利用者は、入力リズムパターンを入力した上で、一覧表示の中から所望の自動伴奏データを選択しなければならず、その選択操作が煩雑であるという問題点があった。
本発明は、上記問題点を解決するためになされたものであり、利用者の自由な演奏に応じて、その演奏に適合した自動演奏を行う自動演奏装置および自動演奏プログラムを提供することを目的としている。
この目的を達成するために本発明の自動演奏装置は、複数の演奏パターンを記憶する記憶手段と、その記憶手段に記憶される演奏パターンに基づいて演奏を行う演奏手段と、利用者の演奏操作を受け付ける入力装置から演奏情報を入力する入力手段と、その入力手段に入力された演奏情報に基づいて、前記記憶手段に記憶された複数の演奏パターンのうち最尤推定された演奏パターンを選択する選択手段と、前記演奏手段により演奏されている演奏パターンの音楽表現の少なくとも一つを、前記選択手段により選択された演奏パターンの音楽表現に切り替える切替手段とを備えている。
ここで「入力装置」としては、例えば、自動演奏装置本体に搭載される鍵盤等のほか、自動演奏装置とは別体に構成された外部装置の鍵盤やキーボードなどを例示できる。
また本発明の自動演奏装置は、前記入力手段へ入力された演奏情報に基づいて、前記記憶手段に記憶される複数の演奏パターンを構成する各楽音の全て又は一部について、それぞれ尤度を算出する尤度算出手段を備え、前記選択手段は、その尤度算出手段により算出された尤度に基づいて、前記記憶手段に記憶される複数の演奏パターンのうち1の演奏パターンを最尤推定するものである。
なお、「複数の演奏パターンを構成する各楽音の全て又は一部」とは、複数の演奏パターンのうち全て又は一部の演奏パターンについて、各演奏パターンを構成する各楽音の全て又は一部をいう。
更に本発明の自動演奏装置の前記選択手段は、利用者の演奏操作に基づく演奏情報が前記入力手段へ入力されると前記演奏パターンの選択処理を実行するものである。なお、「演奏パターンの選択処理」は、必ずしも利用者の演奏操作に基づく演奏情報の入力毎に行う必要はなく、演奏情報の複数の入力があった場合に行うようにしても良い。また一定時間内に一群の演奏情報の入力があった場合に、その一定時間内の一群の演奏情報の入力に応じて「演奏パターンの選択処理」を行うようにしても良い。
本発明の自動演奏プログラムは、記憶部を備えたコンピュータに、自動演奏を実行させるものであり、前記記憶部を、複数の演奏パターンを記憶する記憶手段として機能させて、その記憶手段に記憶される演奏パターンに基づいて演奏を行う演奏ステップと、利用者の演奏操作を受け付ける入力装置から演奏情報を入力する入力ステップと、その入力ステップにより入力された演奏情報に基づいて、前記記憶手段に記憶された複数の演奏パターンのうち最尤推定された演奏パターンを選択する選択ステップと、前記演奏ステップにより演奏されている演奏パターンの音楽表現の少なくとも一つを、前記選択ステップにより選択された演奏パターンの音楽表現に切り替える切替ステップとを備えている。
ここで「入力装置」としては、例えば、自動演奏プログラムが搭載されるコンピュータに有線接続又は無線接続されるキーボードや鍵盤等を例示できる。
一実施形態であるシンセサイザの外観図である。 シンセサイザの電気的構成を示すブロック図である。 (a)は、伴奏音の拍位置を説明するための模式図であり、(b)は、入力パターンの一例を表す表である。 入力パターンの状態を説明するための表である。 (a)は、入力パターンテーブルを模式的に示した図であり、(b)は、出力パターンテーブルを模式的に示した図である。 (a)は、遷移ルートを説明するための図であり、(b)は、遷移ルート間尤度テーブルを模式的に示す図である。 (a)は、ユーザ評価尤度テーブルを模式的に示した図であり、(b)は、音高尤度テーブルを模式的に示した図であり、(c)は、伴奏同期尤度テーブルを模式的に示した図である。 (a)は、IOI尤度テーブルを模式的に示した図であり、(b)は、尤度テーブルを模式的に示した図であり、(c)は、前回尤度テーブルを模式的に示した図である。 メイン処理のフローチャートである。 ユーザ評価反映処理のフローチャートである。 入力パターン検索処理のフローチャートである。 尤度算出処理のフローチャートである。 状態間尤度統合処理のフローチャートである。 遷移間尤度統合処理のフローチャートである。 ユーザ評価尤度統合処理のフローチャートである。
以下、好ましい実施例について、添付図面を参照して説明する。図1は、一実施形態であるシンセサイザ1の外観図である。シンセサイザ1は、演奏者(利用者)の演奏操作による楽音や、所定の伴奏音等を混ぜ合わせて出力(放音)する電子楽器(自動演奏装置)である。シンセサイザ1は、演奏者の演奏による楽音や、伴奏音等を混ぜ合わせた波形データに対して演算処理を行うことで、リバーブやコーラス、ディレイ等の効果(エフェクト)を施すことができる。
図1に示す通り、シンセサイザ1には、主に鍵盤2とユーザ評価ボタン3とが配設される。鍵盤2には、複数の鍵2aが配設され、演奏者の演奏による演奏情報を取得するための入力装置である。演奏者による鍵2aの押鍵/離鍵操作に応じたMIDI(Musical Instrument Digital Interface)規格の演奏情報が、CPU10(図2参照)へ出力される。
ユーザ評価ボタン3は、シンセサイザ1から出力される伴奏音やエフェクトに対する、演奏者の評価(高評価または低評価)をCPU10へ出力するボタンであり、演奏者の高評価を表す情報をCPU10へ出力する高評価ボタン3aと、演奏者の低評価を表す情報をCPU10へ出力する低評価ボタン3bとで構成される。演奏者にとって、シンセサイザ1から出力されている伴奏音やエフェクトが良い印象である場合は、高評価ボタン3aが押され、一方で、出力されている伴奏音やエフェクトがあまり良くない又は悪い印象である場合は、低評価ボタン3bが押される。そして、押された高評価ボタン3a又は低評価ボタン3bに応じた、高評価または低評価を表す情報がCPU10へ出力される。
詳細は後述するが、本実施形態のシンセサイザ1には、伴奏音やエフェクトの組み合わせである複数の出力パターンの中から、演奏者による鍵2aからの演奏情報に基づいて出力パターンが推定され、該当する伴奏音やエフェクトが出力される。これによって、演奏者の自由な演奏に応じて、その演奏に適合した伴奏音やエフェクトの出力を行うことができる。その際に、演奏者によって高評価ボタン3aが多く押された伴奏音やエフェクトの出力パターンが、より優先的に選択される。これにより、演奏者の自由な演奏に応じて、その演奏に適合した伴奏音やエフェクトの出力を行うことができる。
次に、図2〜図8を参照して、シンセサイザ1の電気的構成を説明する。図2は、シンセサイザ1の電気的構成を示すブロック図である。シンセサイザ1は、CPU10と、フラッシュROM11と、RAM12と、鍵盤2と、ユーザ評価ボタン3と、音源13と、Digital Signal Processor14(以下「DSP14」と称す)とを有し、それぞれバスライン15を介して接続される。DSP14にはデジタルアナログコンバータ(DAC)16が接続され、そのDAC16にはアンプ17が接続され、アンプ17にはスピーカ18が接続される。
CPU10は、バスライン15により接続された各部を制御する演算装置である。フラッシュROM11は書き換え可能な不揮発性のメモリであり、制御プログラム11aと、入力パターンテーブル11bと、出力パターンテーブル11cと、遷移ルート間尤度テーブル11dと、ユーザ評価尤度テーブル11eとが設けられる。波形データ23aには鍵盤24を構成する、各鍵に対応する波形データが記憶される。CPU10によって制御プログラム11aが実行されると、図9のメイン処理が実行される。
入力パターンテーブル11bは、演奏情報と、その演奏情報に合致する入力パターンとが記憶されるデータテーブルである。ここで、本実施形態のシンセサイザ1における伴奏音の拍位置と状態とパターン名とについて、図3を参照して説明する。
図3(a)は、伴奏音の拍位置を説明するための模式図である。本実施形態のシンセサイザ1は、伴奏音とエフェクトとの組み合わせである出力パターンが複数記憶され、各出力パターンには、その出力パターンに対応する一連の拍位置および音高からなる入力パターンが設定される。演奏者による鍵2aからの演奏情報と、各入力パターンの拍位置および音高とに基づいて、演奏者による鍵2aからの演奏情報に「尤もらしい」入力パターンが推定され、該入力パターンに対応する出力パターンの伴奏音とエフェクトとが出力される。以下、入力パターンと出力パターンとの組み合わせを「パターン」と称す。
本実施形態では、図3(a)に示す通り、各出力パターンにおける伴奏音の演奏時間は、4分の4拍子における2小節分の長さとされる。この2小節分の長さを16分音符の長さで等分した(即ち、32等分した)拍位置B1〜B32が、時間的位置の1単位とされる。なお、図3(a)の時間ΔTは16分音符の長さを表している。かかる拍位置B1〜B32に対して、それぞれの出力パターンの伴奏音やエフェクトに対応する音高を配置したものが入力パターンとされる。かかる入力パターンの一例を図3(b)に示す。
図3(b)は、入力パターンの一例を表す表である。図3(b)に示す通り、入力パターンにはそれぞれ、拍位置B1〜B32に対する音高(ド、レ、ミ、・・・)が設定される。ここで、パターンP1,P2,・・・は、入力パターンと後述の出力パターンとを対応付けるための識別名である。
入力パターンには、ある拍位置B1〜B32に対して単一の音高だけが設定されるのでなく、2以上の音高の組み合わせも指定できる。本実施形態では、2以上の音高が同時に入力されることを指定する場合には、その拍位置B1〜B32に対して、該当する音高名が「&」で連結される。例えば、図3(b)における入力パターンP3の拍位置B5では、音高「ド&ミ」が指定されるが、これは「ド」と「ミ」とが同時に入力されることが指定されている。
また、拍位置B1〜B32に対して、いずれかの音高(所謂、ワイルドカード音高)の入力されることも指定できる。本実施形態では、ワイルドカード音高が入力されることを指定する場合には、その拍位置B1〜B32に対して「〇」が指定される。例えば、図3(b)における入力パターンP2の拍位置B7では、ワイルドカード音高の入力が指定されているので、「〇」が指定されている。
なお、入力パターンにおいて、演奏情報の入力が指定される拍位置B1〜B32に対して音高が定義され、一方で、演奏情報の入力が指定されない拍位置B1〜B32に対して音高は定義されない。
本実施形態では、入力パターンに対する拍位置B1〜B32と音高との組み合わせを管理するため、これらの組み合わせを1の「状態」として定義する。かかる入力パターンに対する状態を、図4を参照して説明する。
図4は、入力パターンの状態を説明するための表である。図4に示す通り、入力パターンP1の拍位置B1から順に、音高が指定されている拍位置B1〜B32に対して、状態J1,J2,・・・が定義される。具体的には、入力パターンP1の拍位置B1が状態J1,入力パターンP1の拍位置B5が状態J2,・・・,入力パターンP1の拍位置B32が状態J8と定義され、入力パターンP2の拍位置B1が状態J8に続いて、状態J9と定義される。以下、状態J1,J2,・・・に対して、特に区別しない場合は「状態Jn」と略す。
図2における入力パターンテーブル11bには、状態Jn毎に、該当する入力パターンのパターン名と、拍位置B1〜B32と、音高とが記憶される。かかる入力パターンテーブル11bについて、図5(a)を参照して説明する。
図5(a)は、入力パターンテーブル11bを模式的に示した図である。入力パターンテーブル11bは、シンセサイザ1で指定可能な音楽ジャンル(ロックやポップ、ジャズ等)に対して、状態Jn毎に、該当する入力パターンのパターン名と、拍位置B1〜B32と、音高とが記憶されるデータテーブルである。本実施形態において、入力パターンテーブル11bには音楽ジャンル毎の入力パターンが記憶され、入力パターンテーブル11bの中から、選択された音楽ジャンルに応じた入力パターンが参照される。
具体的には、音楽ジャンル「ロック」に該当する入力パターンが入力パターンテーブル11brとされ、音楽ジャンル「ポップ」該当する入力パターンが入力パターンテーブル11bpとされ、音楽ジャンル「ジャズ」に該当する入力パターンが入力パターンテーブル11bjとされ、その他の音楽ジャンルについても、同様に入力パターンが記憶される。以下、入力パターンテーブル11bにおける入力パターンテーブル11bp,11br,11bj・・・について、特に区別しない場合は「入力パターンテーブル11bx」と称す。
鍵2aからの演奏情報が入力された場合、その演奏情報の拍位置および音高と、選択されている音楽ジャンルに該当する入力パターンテーブル11bxの拍位置および音高とから「尤もらしい」状態Jnが推定され、該状態Jnから入力パターンが取得され、該入力パターンのパターン名に該当する出力パターンの伴奏音およびエフェクトが出力される。
図2に戻る。出力パターンテーブル11cは、パターン毎の伴奏音とエフェクトとの組み合わせである出力パターンが記憶されるデータテーブルである。かかる出力パターンテーブル11cについて、図5(b)を参照して説明する。
図5(b)は、出力パターンテーブル11cを模式的に示した図である。入力パターンテーブル11bと同様に、出力パターンテーブル11cにも音楽ジャンル毎の出力パターンが記憶される。具体的には、出力パターンテーブル11cのうち、音楽ジャンル「ロック」該当する出力パターンが出力パターンテーブル11crとされ、音楽ジャンル「ポップ」該当する出力パターンが出力パターンテーブル11cpとされ、音楽ジャンル「ジャズ」該当する出力パターンが出力パターンテーブル11cjとされ、その他の音楽ジャンルについても、出力パターンが記憶される。以下、出力パターンテーブル11cの出力パターンテーブル11cp,11cr,11cj・・・について、特に区別しない場合は「出力パターンテーブル11cx」と称す。
出力パターンテーブル11cxには、出力パターン毎に、伴奏音としてのドラムのリズムパターンが記憶されるドラムパターン、ベースのリズムパターンが記憶されるベースパターン、コード(和音)の進行が記憶されるコード進行およびアルペジオの進行が記憶されるアルペジオ進行と、エフェクトの態様が記憶されるエフェクトと、伴奏音や演奏者による鍵2aからの演奏情報に基づく楽音の音量/ベロシティ値が記憶される音量/ベロシティと、演奏者による鍵2aからの演奏情報に基づく楽音の音色が記憶される音色とが設けられる。
ドラムパターンとしては、それぞれ異なるドラムの演奏情報であるドラムパターンDR1,DR2,・・・が予め設定され、出力パターン毎にドラムパターンDR1,DR2,・・・が設定される。また、ベースパターンとしては、それぞれ異なるドラムの演奏情報であるベースパターンBa1,Ba2,・・・が予め設定され、出力パターン毎にベースパターンBa1,Ba2,・・・が設定される。
コード進行としては、それぞれ異なるコード進行による演奏情報であるコード進行Ch1,Ch2・・・が予め設定され、出力パターン毎にコード進行Ch1,Ch2・・・が設定される。また、アルペジオ進行としては、それぞれ異なるアルペジオ進行による演奏情報であるアルペジオ進行AR1,AR2・・・が予め設定され、出力パターン毎にアルペジオ進行AR1,AR2・・・が設定される。
伴奏音として出力パターンテーブル11cxに記憶される、ドラムパターンDR1,DR2,・・・,ベースパターンBa1,Ba2,・・・,コード進行Ch1,Ch2・・・及びアルペジオ進行AR1,AR2・・・の演奏時間は、上述した通り2小節分の長さとされる。かかる2小節分の長さは音楽表現において一般的な単位でもあるので、同一のパターンが継続され、伴奏音が繰り返し出力される場合でも、演奏者や聴衆にとって違和感の無い伴奏音とすることができる。
エフェクトとしては、それぞれ異なる態様のエフェクトEf1,Ef2,・・・が予め設定され、出力パターン毎にエフェクトEf1,Ef2,・・・が設定される。音量/ベロシティとして、それぞれ異なる値の音量/ベロシティVe1,Ve2,・・・が予め設定され、出力パターン毎に音量/ベロシティVe1,Ve2,・・・が設定される。また、音色として、それぞれ異なる楽器等による音色Ti1,Ti2,・・・が予め設定され、それぞれ出力パターン毎に音色Ti1,Ti2,・・・が設定される。
また、選択された出力パターンに設定されている音色Ti1,Ti2,・・・に基づいて鍵2aからの演奏情報に基づく楽音が出力され、選択された出力パターンに設定されているエフェクトEf1,Ef2,・・・及び音量/ベロシティVe1,Ve2,・・・が、鍵2aからの演奏情報に基づく楽音および伴奏音に対して適用される。
図2に戻る。遷移ルート間尤度テーブル11dは、状態Jn間の遷移ルートRmと、その遷移ルートRmの拍位置B1〜B32間の距離である拍距離と、遷移ルートRmに対するパターン遷移尤度および打ち損ない尤度とが記憶されるデータテーブルである。ここで、遷移ルートRm及び遷移ルート間尤度テーブル11dについて、図6を参照して説明する。
図6(a)は、遷移ルートRmを説明するための図であり、図6(b)は、遷移ルート間尤度テーブル11dを模式的に示す図である。図6(a)の横軸は拍位置B1〜B32を示している。図6(a)に示す通り、時間経過により、拍位置が拍位置B1から拍位置B32へ進行するとともに、各パターンにおける状態Jnも変化していく。本実施形態では、かかる状態Jn間の遷移において、想定される状態Jn間の経路が予め設定される。以下、予め設定された状態Jn間の遷移に対する経路のことを「遷移ルートR1,R2,R3,・・・」と称し、これらを特に区別しない場合は「遷移ルートRm」と称す。
図6(a)では、状態J3に対する遷移ルートを示している。状態J3への遷移ルートとして、大きく分けて状態J3と同一のパターン(即ちパターンP1)の状態Jnから遷移する場合と、状態J3とは異なるパターンの状態Jnから遷移する場合との2種類が設定される。
状態J3と同一のパターンP1における、状態Jnからの遷移として、直前の状態である状態J2から状態J3へ遷移する遷移ルートR3と、状態J3の2つ前の状態である状態J1からの遷移ルートである遷移ルートR2とが設定される。即ち、本実施形態では、同一のパターン間における状態Jnへの遷移ルートとして、直前の状態Jnから遷移する遷移ルートと、2つ前の状態から遷移する「音飛び」の遷移ルートとの、多くとも2の遷移ルートが設定される。
一方で、状態J3とは異なるパターンの状態Jnから遷移する遷移ルートとして、パターンP2の状態J11から状態J3へ遷移する遷移ルートR8と、パターンP3の状態J21から状態J3へ遷移する遷移ルートR15と、パターンP10の状態J74から状態J3へ遷移する遷移ルートR66等が挙げられる。即ち、別パターン間における状態Jnへの遷移ルートとして、その遷移元である別パターンの状態Jnが、遷移先の状態Jnの拍位置の直前のものである遷移ルートが設定される。
図6(a)で例示した遷移ルート以外にも、状態J3への遷移ルートRmが複数設定される。また、状態J3と同様に、各状態Jnに対しても1又は複数の遷移ルートRmが設定される。
鍵2aからの演奏情報に基づいて「尤もらしい」状態Jnが推定され、その状態Jnに該当する入力パターンに対応する出力パターンによる伴奏音やエフェクトが出力される。本実施形態では、状態Jn毎に設定される、鍵2aからの演奏情報と状態Jnとの「尤もらしさ」を表す数値である尤度に基づいて、状態Jnが推定される。本実施形態では、状態Jnに対する尤度が、状態Jnそのものに基づく尤度や、遷移ルートRmに基づく尤度、あるいは、パターンに基づく尤度を統合することで算出される。
遷移ルート間尤度テーブル11dxに記憶される、パターン遷移尤度および打ち損ない尤度は、遷移ルートRmに基づく尤度である。具体的に、まずパターン遷移尤度は、遷移ルートRmに対する遷移元の状態Jnと、遷移先の状態Jnとが同一パターンであるかどうかを表す尤度である。本実施形態では、遷移ルートRmの遷移元と遷移先との状態Jnが同一パターンである場合は、パターン遷移尤度に「1」が設定され、遷移ルートRmの遷移元と遷移先との状態Jnが別のパターンである場合は、パターン遷移尤度に「0.5」が設定される。
例えば、図6(b)において、遷移ルートR3は、遷移元がパターンP1の状態J2であり、遷移先が同じくパターンP1の状態J3なので、遷移ルートR3のパターン遷移尤度には「1」が設定される。一方で、遷移ルートR8は、遷移元がパターンP2の状態J11であり、遷移先がパターンP1の状態J3なので、遷移ルートR8は異なるパターン間の遷移ルートである。従って、遷移ルートR8のパターン遷移尤度には「0.5」が設定される。
パターン遷移尤度に対して、同一のパターンに対する遷移ルートRmのパターン遷移尤度の方が、別パターンに対する遷移ルートRmのパターン遷移尤度よりも大きな値が設定される。これは、実際の演奏においては別パターンへ遷移する確率よりも、同一パターンに留まる確率の方が高いからである。従って、同一パターンへの遷移ルートRmにおける遷移先の状態Jnの方が、別パターンへの遷移ルートRmにおける遷移先の状態Jnよりも優先的に推定されることで、別パターンへの遷移が抑制され、出力パターンが頻繁に変更されることを抑制できる。これにより、伴奏音やエフェクトが頻繁に変更されることが抑制できるので、演奏者や聴衆に違和感の少ない伴奏音やエフェクトとできる。
また、遷移ルート間尤度テーブル11dxに記憶される打ち損ない尤度は、遷移ルートRmに対する遷移元の状態Jnと、遷移先の状態Jnとが同一のパターンであり、なおかつ遷移元の状態Jnが遷移先の状態Jnよりも2つ前の状態Jnであるかどうか、即ち、遷移ルートRmに対する遷移元の状態Jnと、遷移先の状態Jnとが音飛びによる遷移ルートであるかどうかを表す尤度である。本実施形態では、遷移ルートRmの遷移元と遷移先との状態Jnが音飛びによる遷移ルートRmに対しては、打ち損ない尤度に「0.45」が設定され、音飛びによる遷移ルートRmではない場合は、打ち損ない尤度に「1」が設定される。
例えば、図6(b)において、遷移ルートR1は、同一のパターンP1における隣接した状態J1と状態J2との遷移ルートであり、音飛びによる遷移ルートではないので、打ち損ない尤度に「1」が設定される。一方で、遷移ルートR2は、遷移先である状態J3が、遷移元の状態J1よりも2つ先の状態であるので、打ち損ない尤度に「0.45」が設定される。
上述した通り、同一パターンにおいては、遷移先の状態Jnの2つ前の状態Jnを遷移元の状態Jnとした、音飛びによる遷移ルートRmも設定される。実際の演奏においては、音飛びによる遷移が発生する確率は、通常の遷移が発生する確率よりも低い。そこで、音飛びによる遷移ルートRmの打ち損ない尤度の方が、音飛びでない通常の遷移ルートRmの打ち損ない尤度よりも小さな値を設定することで、実際の演奏と同様に、音飛びによる遷移ルートRmの遷移先の状態Jnよりも、通常の遷移ルートRmの遷移先の状態Jnを優先して推定することができる。
また、図6(b)に示す通り、遷移ルート間尤度テーブル11dには、シンセサイザ1に指定される各音楽ジャンルに対して、遷移ルートRm毎に、その遷移ルートRmの遷移元の状態Jnと、遷移先の状態Jnと、パターン遷移尤度と、打ち損ない尤度とが対応付けられて記憶される。本実施形態では、遷移ルート間尤度テーブル11dも音楽ジャンル毎に遷移ルート間尤度テーブルが記憶され、音楽ジャンル「ロック」に該当する遷移ルート間尤度テーブルが遷移ルート間尤度テーブル11drとされ、音楽ジャンル「ポップ」に該当する遷移ルート間尤度テーブルが遷移ルート間尤度テーブル11dpとされ、音楽ジャンル「ジャズ」に該当する遷移ルート間尤度テーブルが遷移ルート間尤度テーブル11djとされ、その他の音楽ジャンルについても、遷移ルート間尤度テーブルが定義される。以下、遷移ルート間尤度テーブル11dにおける遷移ルート間尤度テーブル11dp,11dr,11dj、・・・について、特に区別しない場合は「遷移ルート間尤度テーブル11dx」と称す。
図2に戻る。ユーザ評価尤度テーブル11eは、演奏者による演奏中の出力パターンに対する評価結果を記憶するデータテーブルである。
ユーザ評価尤度は、図1で上述したユーザ評価ボタン3からの入力に基づいて、パターン毎に設定される尤度である。具体的には、出力中の伴奏音やエフェクトに対して、演奏者がユーザ評価ボタン3の高評価ボタン3a(図1)が押された場合は、出力中の伴奏音やエフェクトに該当するパターンのユーザ評価尤度に対して「0.1」が加算される。一方で、出力中の伴奏音やエフェクトに対して、演奏者がユーザ評価ボタン3の低評価ボタン3b(図1)が押された場合は、出力中の伴奏音やエフェクトに該当するパターンのユーザ評価尤度に対して「0.1」が減算される。
即ち、演奏者にとって、高評価を受けた伴奏音やエフェクトのパターンには、より大きなユーザ評価尤度が設定され、低評価を受けた伴奏音やエフェクトのパターンには、より小さなユーザ評価尤度が設定される。そして、パターンに該当する状態Jnの尤度に対してユーザ評価尤度が適用され、その状態Jn毎のユーザ評価尤度に基づいて鍵2aからの演奏情報に対する状態Jnが推定される。従って、演奏者によってより高評価を受けたパターンによる伴奏音やエフェクトが優先的に出力されるので、演奏者の演奏に対する好みに基づいた伴奏音やエフェクトを、より確率良く出力できる。図7(a)を参照して、ユーザ評価尤度が記憶されるユーザ評価尤度テーブル11eについて説明する。
図7(a)は、ユーザ評価尤度テーブル11eを模式的に示した図である。ユーザ評価尤度テーブル11eは、音楽ジャンル(ロックやポップ、ジャズ等)に対して、パターン毎に、演奏者の評価に基づくユーザ評価尤度が記憶されるデータテーブルである。本実施形態では、ユーザ評価尤度テーブル11eのうち、音楽ジャンル「ロック」に該当するユーザ評価尤度テーブルがユーザ評価尤度テーブル11erとされ、音楽ジャンル「ポップ」該当するユーザ評価尤度テーブルがユーザ評価尤度テーブル11epとされ、音楽ジャンル「ジャズ」に該当するユーザ評価尤度テーブルがユーザ評価尤度テーブル11ejとされ、その他の音楽ジャンルについても、ユーザ評価尤度テーブルが定義される。以下、ユーザ評価尤度テーブル11eにおけるユーザ評価尤度テーブル11ep,11er,11ej・・・について、特に区別しない場合は「ユーザ評価尤度テーブル11ex」と称す。
図2に戻る。RAM12は、CPU10が制御プログラム11a等のプログラム実行時に各種のワークデータやフラグ等を書き換え可能に記憶するメモリであり、演奏者によって選択された音楽ジャンルが記憶される選択ジャンルメモリ12aと、推定されたパターンが記憶される選択パターンメモリ12bと、推定された遷移ルートRmが記憶される遷移ルートメモリ12cと、テンポメモリ12dと、前回鍵2aが押鍵されたタイミングから今回鍵2aが押鍵されたタイミングまでの時間(即ち、打鍵間隔)が記憶されるIOIメモリ12eと、音高尤度テーブル12fと、伴奏同期尤度テーブル12gと、IOI尤度テーブル12hと、尤度テーブル12iと、前回尤度テーブル12jとを有している。
テンポメモリ12dは、伴奏音の1拍当たりの実時間が記憶されるメモリである。以下、伴奏音の1拍当たりの実時間を「テンポ」と称し、かかるテンポに基づいて、伴奏音が演奏される。
音高尤度テーブル12fは、鍵2aからの演奏情報の音高と、状態Jnの音高との関係を表す尤度である、音高尤度が記憶されるデータテーブルである。本実施形態では、音高尤度として、鍵2aからの演奏情報の音高と、入力パターンテーブル11bx(図5(a))の状態Jnの音高とが完全一致している場合は「1」が設定され、部分一致している場合は「0.54」が設定され、不一致の場合は「0.4」が設定される。鍵2aからの演奏情報が入力された場合に、かかる音高尤度が全状態Jnに対して設定される。
図7(b)には、図5(a)の音楽ジャンル「ロック」の入力パターンテーブル11brにおいて、鍵2aからの演奏情報の音高として「ド」が入力された場合を例示している。入力パターンテーブル11brにおける状態J1と状態J74との音高は「ド」なので、音高尤度テーブル12fにおける状態J1と状態J74との音高尤度には、「1」が設定される。また、入力パターンテーブル11brにおける状態J11の音高はワイルドカード音高なので、いずれの音高が入力されても完全一致したとされる。従って、音高尤度テーブル12fにおける状態J11との音高尤度にも「1」が設定される。
入力パターンテーブル11brにおける状態J2の音高は「レ」であり、鍵2aからの演奏情報の音高の「ド」とは不一致なので、音高尤度テーブル12fにおける状態J2には「0.4」が設定される。また、入力パターンテーブル11brにおける状態J21の音高は「ド&ミ」であり、鍵2aからの演奏情報の音高の「ド」とは部分一致するので、音高尤度テーブル12fにおける状態J21には「0.54」が設定される。このように設定された音高尤度テーブル12fに基づいて、鍵2aからの演奏情報の音高に最も近い音高の状態Jnが推定できる。
図2に戻る。伴奏同期尤度テーブル12gは、鍵2aからの演奏情報が入力された2小節におけるタイミングと、状態Jnにおける拍位置B1〜B32との関係を表す尤度である、伴奏同期尤度が記憶されるデータテーブルである。図7(c)を参照して、伴奏同期尤度テーブル12gを説明する。
図7(c)は、伴奏同期尤度テーブル12gを模式的に示した図である。図7(c)に示す通り、伴奏同期尤度テーブル12gには、各状態Jnに対する伴奏同期尤度が記憶される。本実施形態では、伴奏同期尤度は、鍵2aからの演奏情報が入力された2小節間におけるタイミングと、入力パターンテーブル11bxに記憶される状態Jnの拍位置B1〜B32との差から、後述の数式2のガウス分布に基づいて算出される。
具体的には、鍵2aからの演奏情報が入力されたタイミングとの差が小さい拍位置B1〜B32の状態Jnには、大きな値の伴奏同期尤度が設定され、一方で、鍵2aからの演奏情報が入力されたタイミングとの差が大きい拍位置B1〜B32の状態Jnには、小さな値の伴奏同期尤度が設定される。このように設定された伴奏同期尤度テーブル12gの伴奏同期尤度に基づき、鍵2aからの演奏情報に対する状態Jnを推定することで、鍵2aからの演奏情報が入力されたタイミングに、最も近い拍位置の状態Jnが推定できる。
図2に戻る。IOI尤度テーブル12hは、IOIメモリ12eに記憶される打鍵間隔と、遷移ルート間尤度テーブル11dxに記憶される遷移ルートRmの拍距離との関係を表す、IOI尤度が記憶されるデータテーブルである。図8(a)を参照して、IOI尤度テーブル12hについて説明する。
図8(a)は、IOI尤度テーブル12hを模式的に示した図である。図8(a)に示す通り、IOI尤度テーブル12hには、各遷移ルートRmに対するIOI尤度が記憶される。本実施形態では、IOI尤度は、IOIメモリ12eに記憶される打鍵間隔と、遷移ルート間尤度テーブル11dxに記憶される遷移ルートRmの拍距離とから、後述の数式1にて算出される。
具体的には、IOIメモリ12eに記憶される打鍵間隔との差が小さい拍距離の遷移ルートRmには、大きな値のIOI尤度が設定され、一方で、IOIメモリ12eに記憶される打鍵間隔との差が大きい拍距離の遷移ルートRmには、小さな値のIOI尤度が設定される。このように設定された遷移ルートRmのIOI尤度に基づいて、該遷移ルートRmの遷移先の状態Jnを推定することで、IOIメモリ12eに記憶される打鍵間隔に最も近い拍距離とされる遷移ルートRmに基づいた状態Jnを推定できる。
図2に戻る。尤度テーブル12iは、上述したパターン遷移尤度、打ち損ない尤度、ユーザ評価尤度、音高尤度、伴奏同期尤度およびIOI尤度を、状態Jn毎に統合した結果の尤度を記憶するデータテーブルであり、前回尤度テーブル12jは、尤度テーブル12iの記憶された状態Jn毎の尤度の、前回値を記憶するデータテーブルである。尤度テーブル12i及び前回尤度テーブル12jについて、図8(b),図8(c)を参照して説明する。
図8(b)は、尤度テーブル12iを模式的に示した図であり、図8(c)は、前回尤度テーブル12jを模式的に示した図である。図8(b)に示す通り、尤度テーブル12iには、状態Jn毎にそれぞれ、パターン遷移尤度、打ち損ない尤度、ユーザ評価尤度、音高尤度、伴奏同期尤度およびIOI尤度を統合した結果が記憶される。これらの尤度のうち、パターン遷移尤度、打ち損ない尤度およびIOI尤度は、遷移先の状態Jnに対応する遷移ルートRmの各尤度が統合され、ユーザ評価尤度は、該当する状態Jnに対するパターンのユーザ評価尤度が統合される。また、図8(c)に示す前回尤度テーブル12jには、前回の処理で統合され、尤度テーブル12iに記憶された各状態Jnの尤度が記憶される。
図2に戻る。音源13は、CPU10から入力される演奏情報に応じた波形データを出力する装置である。DSP14は、音源13から入力された波形データを演算処理するための演算装置である。DSP14によって、音源13から入力された波形データに対して、選択パターンメモリ12bで指定された出力パターンのエフェクトが適用される。
DAC16は、DSP14から入力された波形データを、アナログ波形データに変換する変換装置である。アンプ17は、該DAC16から出力されたアナログ波形データを、所定の利得で増幅する増幅装置であり、スピーカ18は、アンプ17で増幅されたアナログ波形データを楽音として放音(出力)する出力装置である。
次に、図9〜図15を参照して、CPU10で実行されるメイン処理について説明する。図9は、メイン処理のフローチャートである。メイン処理は、シンセサイザ1の電源投入時に実行される。
メイン処理では、まず演奏者によって選択された音楽ジャンルを、選択ジャンルメモリ12aへ保存する(S1)。具体的には、演奏者によるシンセサイザ1の音楽ジャンル選択ボタン(図示しない)に対する操作によって、音楽ジャンルが選択され、その音楽ジャンルの種類が選択ジャンルメモリ12aへ保存される。
なお、音楽ジャンル毎に記憶される、入力パターンテーブル11b、出力パターンテーブル11c、遷移ルート間尤度テーブル11d又はユーザ評価尤度テーブル11eに対して、この選択ジャンルメモリ12aに記憶される音楽ジャンルに該当する入力パターンテーブル11bx、出力パターンテーブル11cx、遷移ルート間尤度テーブル11dx又はユーザ評価尤度テーブル11exが参照されるが、以下では「選択ジャンルメモリ12aに記憶されている音楽ジャンル」のことを「該当音楽ジャンル」と表現する。
S1の処理の後、演奏者からのスタート指示があるかどうかを確認する(S2)。スタート指示は、シンセサイザ1に設けられるスタートボタン(図示しない)が選択された場合に、CPU10へ出力される。演奏者からのスタート指示がされない場合は(S2:No)、スタート指示を待機するためにS2の処理を繰り返す。
演奏者からのスタート指示がされた場合は(S2:Yes)、該当音楽ジャンルの先頭の出力パターンに基づいて、伴奏を開始する(S3)。具体的には、該当音楽ジャンルの出力パターンテーブル11cx(図5(b))の先頭の出力パターン、即ち、パターンP1の出力パターンのドラムパターン、ベースパターン、コード進行、アルペジオ進行、エフェクト、音量/ベロシティ及び音色に基づいて、伴奏音の演奏が開始される。この際、選択された出力パターンに規定されているテンポがテンポメモリ12dに記憶され、該テンポに基づいて伴奏音が演奏される。
S3の処理の後、S3の処理による、音楽ジャンルにおけるパターンP1の出力パターンに基づいた伴奏音の開始に伴い、選択パターンメモリにパターンP1を設定する(S4)。
S4の処理の後、ユーザ評価反映処理を実行する(S5)。ここで、図10を参照して、ユーザ評価処理を説明する。
図10は、ユーザ評価反映処理のフローチャートである。ユーザ評価反映処理はまず、ユーザ評価ボタン3(図1参照)が押されたかを確認する(S20)。ユーザ評価ボタン3が押された場合は(S20:Yes)、更に、高評価ボタン3aが押されたかを確認する(S21)。
S21の処理において、高評価ボタン3aが押された場合は(S21:Yes)、ユーザ評価尤度テーブル11eにおける、選択パターンメモリ12bに記憶されるパターンに該当するユーザ評価尤度に、0.1を加算する(S22)。なお、S22の処理で、加算後のユーザ評価尤度が1より大きくなった場合は、ユーザ評価尤度に1が設定される。
一方で、S21の処理において、低評価ボタン3bが押された場合は(S21:No)、ユーザ評価尤度テーブル11eにおける、選択パターンメモリ12bに記憶されるパターンに該当するユーザ評価尤度から、0.1を減算する(S23)。なお、S23の処理で、減算後のユーザ評価尤度が0より小さくなった場合は、ユーザ評価尤度に0が設定される。
また、S20の処理においてユーザ評価ボタン3が押されていない場合は(S20:No)、S21〜S23の処理をスキップする。そして、S20,S22,S23の処理の後、ユーザ評価反映処理を終了し、メイン処理へ戻る。
図9に戻る。S5のユーザ評価反映処理の後、キー入力、即ち、鍵2aからの演奏情報が入力されたかを確認する(S6)。S6の処理において、鍵2aからの演奏情報が入力された場合は(S6:Yes)、入力パターン検索処理を実行する(S7)。ここで、図11〜図15を参照して、入力パターン検索処理を説明する。
図11は、入力パターン検索処理のフローチャートである。入力パターン検索処理では、まず、尤度算出処理を行う(S30)。図12を参照して、尤度算出処理を説明する。
図12は、尤度算出処理のフローチャートである。尤度算出処理では、まず、前回の鍵2aからの演奏情報の入力がされた時刻と、今回鍵2aからの演奏情報の入力がされた時刻との差から、鍵2aからの演奏情報の入力の時間差、即ち、打鍵間隔を算出し、IOIメモリ12eへ保存する(S50)。
S50の処理の後、IOIメモリ12eの打鍵間隔と、テンポメモリ12dのテンポと、該当音楽ジャンルの遷移ルート間尤度テーブル11dxにおける各遷移ルートRmの拍距離とから、IOI尤度を算出し、IOI尤度テーブル12hへ保存する(S51)。具体的には、IOIメモリ12eの打鍵間隔をx,テンポメモリ12dのテンポをVm,遷移ルート間尤度テーブル11dxに記憶される、ある遷移ルートRmの拍距離をΔτとすると、IOI尤度Gは数式1のガウス分布によって算出される。
Figure 2019200390
ここで、σは数式1のガウス分布における標準偏差を表す定数であり、予め実験等によって算出された値が設定される。かかるIOI尤度Gが、全遷移ルートRmに対して算出され、その結果がIOI尤度テーブル12hに記憶される。即ち、IOI尤度Gは数式1のガウス分布に従うので、IOIメモリ12eの打鍵間隔との差が小さい拍距離を持つ遷移ルートRm程、大きな値のIOI尤度Gが設定される。
S51の処理の後、鍵2aからの演奏情報の音高から、状態Jn毎に音高尤度を算出し、音高尤度テーブル12fへ保存する(S52)。図7(b)で上述した通り、鍵2aからの演奏情報の音高と、該当音楽ジャンルの入力パターンテーブル11bxの各状態Jnの音高とを比較して、完全に一致する状態Jnに対しては、音高尤度テーブル12fにおける該当する状態Jnの音高尤度に「1」が設定され、部分的に一致する状態Jnに対しては、音高尤度テーブル12fにおける該当する状態Jnの音高尤度に「0.54」が設定され、不一致である状態Jnに対しては、音高尤度テーブル12fにおける該当する状態Jnの音高尤度に「0.4」が設定される。
S52の処理の後、鍵2aからの演奏情報が入力された時刻に該当する拍位置と該当音楽ジャンルの入力パターンテーブル11bxの拍位置とから伴奏同期尤度を算出し、伴奏同期尤度テーブル12gへ保存する(S53)。具体的には、鍵2aからの演奏情報が入力された時刻を、2小節単位における拍位置に変換したものをtp,該当音楽ジャンルの入力パターンテーブル11bxの拍位置τとすると、伴奏同期尤度Bは、数式2のガウス分布によって算出される。
Figure 2019200390
ここで、ρは数式2のガウス分布における標準偏差を表す定数であり、予め実験等によって算出された値が設定される。かかる伴奏同期尤度Bが、全状態Jnに対して算出され、その結果が伴奏同期尤度テーブル12gに記憶される。即ち、伴奏同期尤度Bは数式2のガウス分布に従うので、鍵2aからの演奏情報が入力された時刻に該当する拍位置との差が小さい拍位置を持つ状態Jn程、大きな値の伴奏同期尤度Bが設定される。
S53の処理の後、尤度算出処理を終了し、図11の入力パターン検索処理へ戻る。
図11に戻る。S30の尤度算出処理の後、状態間尤度統合処理を実行する(S31)。ここで、図13を参照して、状態間尤度統合処理を説明する。
図13は、状態間尤度統合処理のフローチャートである。この状態間尤度統合処理では、図12の尤度算出処理で算出された各尤度から、状態Jn毎に尤度を算出する処理である。状態間尤度統合処理は、まず、カウンタ変数nに1を設定する(S60)。以下、状態間尤度統合処理における「状態Jn」の「n」はカウンタ変数nを表し、例えば、カウンタ変数nが1である場合の状態Jnは、「状態J1」を表す。
S60の処理の後、前回尤度テーブル12jに記憶される尤度の最大値と、音高尤度テーブル12fにおける状態Jnの音高尤度と、伴奏同期尤度テーブル12gにおける状態Jnの伴奏同期尤度とから、状態Jnにおける尤度を算出し、尤度テーブル12iに保存する(S61)。具体的には、前回尤度テーブル12jに記憶される尤度の最大値をLp_M,音高尤度テーブル12fにおける状態Jnの音高尤度をPi_n,伴奏同期尤度テーブル12gにおける状態Jnの伴奏同期尤度をB_nとし、状態Jnにおける尤度L_nの対数である対数尤度log(L_n)は、数式3のViterbiアルゴリズムによって算出される。
Figure 2019200390
ここで、αは伴奏同期尤度Bnに対するペナルティ定数、即ち、状態Jnへ遷移しない場合を考慮した定数であり、予め実験等によって算出された値が設定される。数式3により算出された対数尤度log(L_n)から対数を外した尤度L_nが、尤度テーブル12iの状態Jnに該当するメモリ領域に記憶される。
尤度L_nは、前回尤度テーブル12jに記憶される尤度の最大値LpMと、音高尤度Pi_nと、伴奏同期尤度Bnとの積によって算出される。ここで、各尤度は0以上1以下の値を取るので、これらの積を行った場合はアンダーフローを引き起こす虞がある。そこで、尤度Lp_M,Pi_n及びB_nのそれぞれの対数を取ることで、尤度Lp_M,Pi_n及びB_nの積の計算を、尤度Lp_M,Pi_n及びB_nの対数の和の計算に変換することができる。そして、その算出結果である対数尤度log(L_n)の対数を外して尤度L_nを算出することで、アンダーフローが抑制された精度の高い尤度L_nとできる。
S61の後、カウンタ変数nに1を加算し(S62)、加算されたカウンタ変数nが、状態Jnの数よりも大きいかを確認する(S63)。S63の処理において、カウンタ変数nが、状態Jnの数以下である場合は、S61の処理以下を繰り返す。一方で、カウンタ変数nが、状態Jnの数より大きい場合は(S63:Yes)、状態間尤度統合処理を終了して、図11の入力パターン検索処理に戻る。
図11に戻る。S31の状態間尤度統合処理の後、遷移間尤度統合処理を実行する(S32)。図14を参照して、遷移間尤度統合処理を説明する。
図14は、遷移間尤度統合処理のフローチャートである。遷移間尤度統合処理では、図12の尤度算出処理で算出された各尤度と、予め設定されている遷移ルート間尤度テーブル11dのパターン遷移尤度および打ち損ない尤度とから、各遷移ルートRmの遷移先の状態Jnに対する尤度を算出する処理である。
遷移間尤度統合処理は、まず、カウンタ変数mに1を設定する(S70)。以下、遷移間尤度統合処理における「遷移ルートRm」の「m」はカウンタ変数mを表し、例えば、カウンタ変数mが1である場合の、遷移ルートRmは「遷移ルートR1」を表す。
S70の処理の後、前回尤度テーブル12jにおける遷移ルートRmの遷移元の状態Jnの尤度と、IOI尤度テーブル12hにおける遷移ルートRmのIOI尤度と、該当音楽ジャンルの遷移ルート間尤度テーブル11dxにおけるパターン遷移尤度および打ち損ない尤度と、音高尤度テーブル12fにおける遷移ルートRmの遷移先の状態Jnの音高尤度と、伴奏同期尤度テーブル12gにおける遷移ルートRmの遷移先の状態Jnの伴奏同期尤度とに基づいて、尤度を算出する(S71)。
具体的に、前回尤度テーブル12jにおける遷移ルートRmの遷移元の状態Jnの前回尤度をLp_mb,IOI尤度テーブル12hにおける遷移ルートRmのIOI尤度をI_m,該当音楽ジャンルの遷移ルート間尤度テーブル11dxにおけるパターン遷移尤度をPs_m,該当音楽ジャンルの遷移ルート間尤度テーブル11dxにおける打ち損ない尤度をMs_mとし、音高尤度テーブル12fにおける遷移ルートRmの遷移先の状態Jnの音高尤度をPi_mfと、伴奏同期尤度テーブル12gにおける遷移ルートRmの遷移先の状態Jnの伴奏同期尤度をB_mfとし、尤度Lの対数である対数尤度log(L)は、数式4のViterbiアルゴリズムによって算出される。
Figure 2019200390
ここで、数式4において尤度Lp_mb,I_m,Ps_m,Ms_m,Pi_mf及びB_mfそれぞれの対数の和によって対数尤度log(L)を算出するのは、上記した数式3と同様に、尤度Lに対するアンダーフローを抑制するためである。そして、かかる数式4で算出された対数尤度log(L)から対数を外すことで、尤度Lが算出される。
S71の処理の後、S70の処理で算出された尤度Lが、尤度テーブル12iにおける遷移ルートRmの遷移先の状態Jnの尤度よりも大きいかを確認する(S72)。S72の処理において、S70の処理で算出された尤度Lが、尤度テーブル12iにおける遷移ルートRmの遷移先の状態Jnの尤度よりも大きい場合は、尤度テーブル12iにおける遷移ルートRmの遷移先の状態Jnに該当するメモリ領域に、S70の処理で算出された尤度Lを保存する(S73)。
一方で、S72の処理において、S70の処理で算出された尤度Lが、尤度テーブル12iにおける遷移ルートRmの遷移先の状態Jnの尤度以下の場合は(S72:No)、S73の処理をスキップする。
S72,S73の処理の後、カウンタ変数mに1を加算し(S74)、その後、カウンタ変数mが遷移ルートRmの数より大きいかを確認する(S75)。S75の処理において、カウンタ変数mが遷移ルートRmの数以下の場合は(S75:No)、S71の処理以下を繰り返し、カウンタ変数mが遷移ルートRmの数より大きい場合は(S75:Yes)、遷移間尤度統合処理を終了し、図11の入力パターン検索処理に戻る。
即ち、遷移間尤度統合処理では、前回尤度テーブル12jにおける遷移ルートRmの遷移元の状態Jnの前回尤度Lp_mbを基準として、遷移ルートRmにおける遷移先の状態Jnに対する尤度が算出される。これは、状態Jnの遷移は、遷移元の状態Jnに依存するからである。即ち、前回尤度Lp_mbが大きな状態Jnが、今回における遷移元の状態Jnである確率が高いと推定され、逆に前回尤度Lp_mbが小さな状態Jnが、今回における遷移元の状態Jnである確率が低いと推定される。そこで、遷移ルートRmにおける遷移先の状態Jnに対する尤度を、前回尤度Lp_mbを基準に算出することで、状態Jn間の遷移関係を考慮に入れた精度の高い尤度とできる。
一方で、遷移間尤度統合処理で算出される尤度は状態Jn間の遷移関係に依存されるので、例えば、伴奏の演奏が開始された直後に鍵盤2の演奏情報が入力された場合や、鍵盤2の演奏情報の入力間隔が極度に大きい場合等、遷移元の状態Jn及び遷移先の状態Jnが、該当音楽ジャンルの入力パターンテーブル11bxに該当しないケースも考えられる。かかる場合は、状態Jn間の遷移関係に基づいて遷移間尤度統合処理で算出される尤度は、いずれも小さな値となる。
ここで、図13で上述した状態間尤度統合処理では、状態Jn毎に設定される音高尤度と伴奏同期尤度とから尤度が算出されるので、遷移ルートRmには依存しない。よって、該当音楽ジャンルの入力パターンテーブル11bxの遷移元の状態Jn及び遷移先の状態Jnに該当しないケースでは、状態間尤度統合処理で算出される状態Jnの尤度の方が、遷移間尤度統合処理で算出される状態Jnの尤度よりも大きくなる。この場合は、尤度テーブル12iには、状態間尤度統合処理で算出された尤度が記憶されたままとされる。
従って、遷移間尤度統合処理による前回尤度Lp_mbに基づく尤度の算出と、状態間尤度統合処理によるその時点での鍵2aの演奏情報に基づく尤度とを組み合わせることで、状態Jn間に遷移関係がある場合であっても、遷移関係が乏しい場合であっても、それぞれ場合に応じて、適切に状態Jnの尤度を算出することができる。
図11に戻る。S32の遷移間尤度統合処理の後、ユーザ評価尤度統合処理を実行する(S33)。ここで、図15を参照して、ユーザ評価尤度統合処理を説明する。
図15は、ユーザ評価尤度統合処理のフローチャートである。ユーザ評価尤度統合処理はまず、カウンタ変数nに1を設定する(S80)。以下、ユーザ評価尤度統合処理も、図13の状態間尤度統合処理と同様に、「状態Jn」の「n」はカウンタ変数nを表す。例えば、カウンタ変数nが1である場合の状態Jnは、「状態J1」を表す。
S80の処理の後、ユーザ評価尤度テーブル11eから、状態Jnに該当するパターンのユーザ評価尤度を取得し、尤度テーブル12iの状態Jnにおける尤度に加算する(S81)。S81の処理の後、カウンタ変数nに1を加算し(S82)、そのカウンタ変数nが状態Jnの総数よりも大きいか確認する(S83)。S83の処理において、カウンタ変数nが状態Jnの総数以下の場合は(S83:No)、S81の処理以下を繰り返す。一方で、カウンタ変数nが状態Jnの総数よりも大きい場合は(S83:Yes)、ユーザ評価尤度統合処理を終了し、図11の入力パターン検索処理へ戻る。
ユーザ評価尤度統合処理によって、ユーザ評価尤度が尤度テーブル12iに反映される。即ち、演奏者による出力パターンに対する評価が尤度テーブル12iに反映される。従って、演奏者の評価が高い出力パターンの状態Jn程、尤度テーブル12iの尤度が大きくなるので、推定される出力パターンを演奏者の評価に応じたものとできる。
図11に戻る。S33のユーザ評価統合処理の後、尤度テーブル12iにおける最大値の尤度を取る状態Jnを取得し、その状態Jnに該当するパターンを該当音楽ジャンルの入力パターンテーブル11bxから取得して選択パターンメモリ12bに保存する(S34)。即ち、鍵2aからの演奏情報に最尤な状態Jnが尤度テーブル12iから取得され、その状態Jnに該当するパターンが取得される。これにより、鍵2aからの演奏情報に最尤なパターンを選択することができる。
S34の処理の後、尤度テーブル12iにおける最大値の尤度が、S32の遷移間尤度統合処理で更新されたかを確認する(S35)。即ち、S34の処理でパターンの決定に用いられた状態Jnの尤度が、図14のS71〜S73の処理による前回尤度Lp_mbに基づく尤度によって、更新されたかを確認する。
S35の処理において、尤度テーブル12iにおける最大値の尤度が、遷移間尤度統合処理で更新された場合には(S35:Yes)、尤度テーブル12iにおける最大値の尤度を取る状態Jnと、前回尤度テーブル12jにおける最大値の尤度を取る状態Jnとから、今回の遷移ルートRmを取得し、遷移ルートメモリ12cへ保存する(S36)。具体的には、尤度テーブル12iにおける最大値の尤度を取る状態Jnと、前回尤度テーブル12jにおける最大値の尤度を取る状態Jnとを、該当音楽ジャンルの遷移ルート間尤度テーブル11dxの遷移先の状態Jnと遷移元の状態Jnとで検索し、これら状態Jnが一致する遷移ルートRmが、該当音楽ジャンルの遷移ルート間尤度テーブル11dxから取得され、遷移ルートメモリ12cへ保存される。
S36の処理の後、遷移ルートメモリ12cの遷移ルートRmにおける拍距離と、IOIメモリ12eの打鍵間隔とからテンポを算出し、テンポメモリ12dに保存する(S37)。具体的には、遷移ルートメモリ12cの遷移ルートRmに一致する、該当音楽ジャンルの遷移ルート間尤度テーブル11dxの遷移ルートRmにおける拍距離をΔτ,IOIメモリ12eの打鍵間隔をx、テンポメモリ12dに記憶されている現在のテンポをVmbとすると、更新後のテンポVmは数式5によって算出される。
Figure 2019200390
ここで、γは0<γ<1の定数であり、実験等により予め設定される値である。
即ち、S34の処理でパターンの決定に用いられた、尤度テーブル12iの最大値の尤度がS32の遷移間尤度統合処理で更新されたので、鍵2aによる前回および今回の入力は、前回尤度テーブル12jの最大値の尤度を取る状態Jnと、尤度テーブル12iの最大値の尤度を取る状態Jnとの遷移ルートRmでの遷移であったと推定される。
そこで、かかる遷移ルートRmの拍距離と、鍵2aによる前回および今回の入力による打鍵間隔とから、伴奏音のテンポを変更することで、実際の演奏者による鍵2aの打鍵間隔に基づいた違和感の少ない伴奏音とすることができる。
S35の処理において、尤度テーブル12iにおける最大値の尤度が遷移間尤度統合処理で更新されなかった場合は(S35:No)、S36,S37の処理をスキップする。即ち、かかる場合、尤度テーブル12iにおける最大値の尤度は、S31の状態間統合処理によって算出されたので、最大値の尤度を取る状態Jnは遷移ルートRmには依存しないものと推定される。
この場合に、S36の状態Jnによる遷移ルートRmの検索を行っても、一致する遷移ルートRmが取得できない虞や、仮に遷移ルートRmが取得できたとしても、誤った遷移ルートRmが取得される虞がある。このような遷移ルートRmが正しく取得できない状態で、S37によるテンポ更新処理を行っても、算出されたテンポは不正確である虞がある。そこで、尤度テーブル12iにおける最大値の尤度が遷移間尤度統合処理で更新されなかった場合に、S36,S37の処理をスキップすることで、不正確なテンポが伴奏音に適用されるのを抑制できる。
S35,S37の処理の後、前回尤度テーブル12jへ尤度テーブル12iの値を設定し(S38)、S38の処理の後、入力パターン検索処理を終了して、図9のメイン処理へ戻る。
図9へ戻る。S7の入力パターン検索処理の後、選択パターンメモリ12bのパターンと、該当音楽ジャンルの出力パターンテーブル11cxとに基づいて、伴奏音を変更する(S8)。具体的には、該当音楽ジャンルの出力パターンテーブル11cxにおける、選択パターンメモリ12bのパターンに該当するドラムパターン、ベースパターン、コード進行およびアルペジオ進行に基づいて、伴奏音が変更される。この際に、入力パターン検索処理(図11)におけるS37の処理で、テンポが更新された場合は、伴奏音のテンポも更新されたテンポメモリ12dのテンポに設定される。
即ち、鍵2aからの演奏情報が入力される毎に、その演奏情報と最尤な状態Jnが推定され、その状態Jnに該当する出力パターンによる伴奏音やエフェクトが出力される。従って、演奏者の自由な演奏に応じて、その演奏に適合した伴奏音やエフェクトを切り替えて出力することができる。更に、かかる切り替えに対する演奏者のシンセサイザ1への操作が不要となるので、演奏者のシンセサイザ1に対するユーザビリティが向上し、演奏者は鍵2a等に対する演奏動作に、より集中することができる。
S8の処理の後、鍵2aの演奏情報に基づいて、楽音を出力する(S9)。この際に、鍵2aの演奏情報に基づく楽音の音色は、該当音楽ジャンルの出力パターンテーブル11cxにおける、選択パターンメモリ12bのパターンに該当する音色とされ、かかる楽音に対して、該当音楽ジャンルの出力パターンテーブル11cxにおける、選択パターンメモリ12bのパターンに該当する音量/ベロシティ及びエフェクトが適用されて出力される。鍵2aの演奏情報に基づく楽音へのエフェクトは、音源13から出力された、かかる楽音の波形データが、DSP14で処理されることで適用される。S9の処理の後は、S5以下の処理を繰り返す。
また、S6の処理において、鍵2aからの演奏情報の入力がなかった場合は(S6:No)、更に、鍵2aからの演奏情報の入力が、6小節以上なかったかを確認する(S10)。S10の処理において、鍵2aからの演奏情報の入力が、6小節以上なかった場合(S10:Yes)、該当音楽ジャンルのエンディングパートに移行する(S11)。即ち、演奏者による演奏が6小節以上なかった場合は、演奏が終了したと推定される。かかる場合に、該当音楽ジャンルのエンディングパートに移行することで、演奏者がシンセサイザ1する操作をすることなく、エンディングパートへ移行させることができる。
S11の処理の後、エンディングパターンの演奏中に、鍵2aからの演奏情報の入力があったかを確認する(S12)。S12の処理において、鍵2aからの演奏情報の入力があった場合は、演奏者による演奏が再開されたと推定されるので、エンディングパートから、エンディングパートに移行する直前の伴奏音に移行し(S14)、鍵2aの演奏情報に基づいて、楽音を出力する(S15)。S15の処理の後は、S5以下の処理を繰り返す。
S12の処理において、エンディングパート演奏中に鍵2aからの演奏情報の入力がなかった場合は(S12:No)、エンディングパートの演奏終了を確認する(S13)。S13の処理において、エンディングパートの演奏が終了した場合は(S13:Yes)、演奏者による演奏が完全に終了したと推定されるので、S1以下の処理を繰り返す。一方で、S13の処理において、エンディングパートの演奏が終了していない場合は(S13:No)、S12以下の処理を繰り返す。
以上、上記実施形態に基づき説明したが、種々の改良変更が可能であることは容易に推察できるものである。
上記実施形態では、自動演奏装置としてシンセサイザ1を例示した。しかし、必ずしもこれに限られるものではなく、電子オルガンや電子ピアノ等、演奏者の演奏による楽音と共に、伴奏音やエフェクトを出力する電子楽器に適用しても良い。
上記実施形態では、出力パターンとして、ドラムパターン、ベースパターン、コード進行、アルペジオ進行、エフェクト、音量/ベロシティ及び音色が設定された。しかし、必ずしもこれに限られるものではなく、ドラムパターン、ベースパターン、コード進行、アルペジオ進行、エフェクト、音量/ベロシティ及び音色以外の、音楽表現、例えば、ドラム、ベース以外のリズムパターンや、人間の歌声等の音声データを出力パターンに追加する構成としても良い。
上記実施形態では、出力パターンの切り替えにおいては、出力パターンのドラムパターン、ベースパターン、コード進行、アルペジオ進行、エフェクト、音量/ベロシティ及び音色の全てを切り替える構成とした。しかし、必ずしもこれに限られるものではなく、出力パターンのドラムパターン、ベースパターン、コード進行、アルペジオ進行、エフェクト、音量/ベロシティ及び音色のうち一部のみ(例えば、ドラムパターン及びコード進行のみ)を切り替える構成としても良い。
更に、各出力パターンにおいて、切り替える対象となる出力パターンの要素を予め設定しておき、出力パターンの切り替えにおいて、その設定された出力パターンのみ切り替える構成としても良い。これにより、演奏者の好みに応じた出力パターンとすることができる。
上記実施形態では、図12のS52,S53の処理において、音高尤度および伴奏同期尤度を全状態Jnについて算出する構成とした。しかし、必ずしもこれに限られるものではなく、音高尤度および伴奏同期尤度を、一部の状態Jnについて算出する構成としても良い。例えば、前回尤度テーブル12jにおいて最大値の尤度を取る状態Jnを遷移元の状態Jnとした遷移ルートRmにおいて、遷移先の状態Jnとされる状態Jnのみ、音高尤度および伴奏同期尤度を算出する構成としても良い。
上記実施形態では、各出力パターンにおける伴奏音の演奏時間は、4分の4拍子における2小節分の長さとした。しかし、必ずしもこれに限られるものではなく、伴奏音の演奏時間は1小節分でも良いし、3小節分以上でも良い。また、伴奏音における1小節当たりの拍子は4分の4拍子に限られるものではなく、4分の3拍子や8分の6拍子等、他の拍子を適宜用いる構成としても良い。
上記実施形態では、同一のパターン間における状態Jnへの遷移ルートとして、2つ前の状態Jnから遷移する音飛びによる遷移ルートを設定する構成とした。しかし、必ずしもこれに限られるものではなく、音飛びによる遷移ルートとして、同一のパターン間における3つ以上前の状態Jnから遷移する遷移ルートを含める構成としても良い。また、同一のパターン間における状態Jnへの遷移ルートから、音飛びによる遷移ルートを省略する構成としても良い。
また、上記実施形態では、別パターン間における状態Jnへの遷移ルートとして、その遷移元である別パターンの状態Jnが、遷移先の状態Jnの拍位置の直前のものである遷移ルートを設定する構成とした。しかし、必ずしもこれに限られるものではなく、別パターンの間における状態Jnへの遷移ルートに対しても、遷移元である別パターンにおける2つ以上前の状態Jnから遷移する、音飛びによる遷移ルートも設定する構成としても良い。
上記実施形態では、IOI尤度Gを数式1の、また、伴奏同期尤度Bを数式2のガウス分布にそれぞれ従う構成とした。しかし、必ずしもこれに限られるものではなく、IOI尤度Gをラプラス分布などの他の確率分布関数に従う構成としても良い。
上記実施形態では、図13のS61の処理において、数式3で算出された対数尤度log(L_n)から対数を外した尤度L_nが、尤度テーブル12iに記憶され、また、図14のS71〜S73の処理において、数式4で算出された対数尤度log(L)から、対数を外した尤度Lが、尤度テーブル12iに記憶される構成とした。しかし、必ずしもこれに限られるものではなく、数式3,4で算出された対数尤度log(L_n)又は対数尤度log(L)が、尤度テーブル12iに記憶される構成とし、尤度テーブル12iに記憶される対数尤度log(L_n)又は対数尤度log(L)に基づいて、図11のS34の処理におけるパターンの選択およびS35〜S37の処理におけるテンポの更新を行う構成としても良い。
上記実施形態では、鍵盤2からの演奏情報が入力される毎に、状態Jnおよびパターンの推定と、推定されたパターンへの出力パターンの切り替えを行う構成とした。しかし、必ずしもこれに限られるものではなく、一定時間(例えば、2小節や4小節)内の演奏情報に基づいて、状態Jnおよびパターンの推定と、推定されたパターンへの出力パターンの切り替えとを行う構成としても良い。これにより、少なくとも一定時間毎に、出力パターンの切り替えが行われるので、出力パターン、即ち、伴奏者やエフェクトが頻繁に切り替わる事態が抑制され、演奏者や聴衆にとって、違和感のない伴奏やエフェクトとすることができる。
上記実施形態では、演奏情報を鍵盤2からの入力される構成とした。しかしながらこれに代えて、外部のMIDI規格の鍵盤キーボードをシンセサイザ1に接続し、かかる鍵盤キーボードから演奏情報を入力する構成としても良い。
上記実施形態では、伴奏音や楽音をシンセサイザ1に設けられた音源13、DSP14、DAC16、アンプ17及びスピーカ18から出力する構成とした。しかしながらこれに代えて、MIDI規格の音源装置をシンセサイザ1に接続し、かかる音源装置からシンセサイザ1の伴奏音や楽音を出力する構成としても良い。
上記実施形態では、伴奏音やエフェクトに対する演奏者の評価を、ユーザ評価ボタン3によって行う構成とした。しかしながらこれに代えて、シンセサイザ1に演奏者の生体情報を検知するセンサ、例えば、演奏者の脳波を検出する脳波センサ(脳波検出手段の一例)や、演奏者の脳血流を検出する脳血流センサ等を接続し、該生体情報に基づいて伴奏音やエフェクトに対する演奏者の印象を推定することで、演奏者の評価を行う構成としても良い。
また、シンセサイザ1に演奏者の動作を検出する動作センサ(動作検出手段の一例)を接続し、該動作センサから検出された、演奏者の特定の身振りや手振り等に応じて、演奏者の評価を行う構成としても良い。また、シンセサイザ1に演奏者の表情を検出する表情センサ(表情検出手段の一例)を接続し、該表情センサから検出された、演奏者の特定の表情、例えば、笑顔や不満げな表情等、演奏者にとって良い印象や悪い印象を示す表情や、表情の変化等に応じて、演奏者の評価を行う構成としても良い。また、演奏者の姿勢を検出する姿勢センサ(姿勢検出手段の一例)を接続し、該姿勢センサから検出された、演奏者の特定の姿勢(前傾、後傾)や姿勢の変化に応じて、演奏者の評価を行う構成としても良い。
なお、動作センサ、表情センサ又は姿勢センサの代わりに、シンセサイザ1に演奏者の画像を取得するカメラを接続し、該カメラから取得された画像を解析することで演奏者の動作や表情、姿勢を検出して演奏者の評価を行う構成としても良い。これら生体情報を検知するセンサ、動作センサ、表情センサ、姿勢センサ又はカメラからの検出結果に応じて、演奏者の評価を行うことにより、演奏者はユーザ評価ボタン3を操作することなく、伴奏音やエフェクトに対して評価することができるので、シンセサイザ1に対する操作性を向上させることができる。
上記実施形態では、ユーザ評価尤度を伴奏音やエフェクトに対する演奏者の評価として構成とした。しかし、必ずしもこれに限られるものではなく、ユーザ評価尤度を、伴奏音やエフェクトに対する聴衆の評価とする構成としても良いし、伴奏音やエフェクトに対する演奏者および聴衆の評価としても良い。かかる場合、聴衆に対して、伴奏音やエフェクトに対する高評価または低評価をシンセサイザ1に送信するためのリモコン装置を持たせ、リモコン装置からの高評価および低評価の評価数に基づいて、ユーザ評価尤度を算出する構成とすれば良い。また、シンセサイザ1にマイクを配設し、聴衆からの歓声の大きさに基づいて、ユーザ評価尤度を算出する構成としても良い。
上記実施形態では、制御プログラム11aをシンセサイザ1のフラッシュROM11に記憶し、シンセサイザ1上で動作する構成とした。しかし、必ずしもこれに限られるものではなく、PC(パーソナル・コンピュータ)や携帯電話、スマートフォンやタブレット端末等の他のコンピュータ上で制御プログラム11aを動作させる構成としても良い。この場合、シンセサイザ1の鍵盤2の代わりに、PC等に有線または無線で接続されたMIDI規格の鍵盤キーボードや文字入力用のキーボードから、演奏情報を入力する構成としても良いし、PC等の表示装置に表示されたソフトウェアキーボードから、演奏情報を入力する構成としても良い。
上記実施形態に挙げた数値は一例であり、他の数値を採用することは当然可能である。
1 シンセサイザ(自動演奏装置)
2 鍵盤(入力手段)
3 ユーザ評価ボタン(評価入力手段)
11a 制御プログラム(自動演奏プログラム)
11b 入力パターンテーブル(記憶手段の一部)
11c 出力パターンテーブル(記憶手段の一部)
S4 演奏手段
S8 演奏手段、切替手段
S10,S11 エンディング手段
S20〜S23 尤度反映手段
S34 選択手段
S51〜S53 尤度算出手段

Claims (14)

  1. 複数の演奏パターンを記憶する記憶手段と、
    その記憶手段に記憶される演奏パターンに基づいて演奏を行う演奏手段と、
    利用者の演奏操作を受け付ける入力装置から演奏情報を入力する入力手段と、
    その入力手段に入力された演奏情報に基づいて、前記記憶手段に記憶された複数の演奏パターンのうち最尤推定された演奏パターンを選択する選択手段と、
    前記演奏手段により演奏されている演奏パターンの音楽表現の少なくとも一つを、前記選択手段により選択された演奏パターンの音楽表現に切り替える切替手段とを備えていることを特徴とする自動演奏装置。
  2. 前記入力手段へ入力された演奏情報に基づいて、前記記憶手段に記憶される複数の演奏パターンを構成する各楽音の全て又は一部について、それぞれ尤度を算出する尤度算出手段を備え、
    前記選択手段は、その尤度算出手段により算出された尤度に基づいて、前記記憶手段に記憶される複数の演奏パターンのうち1の演奏パターンを最尤推定するものであることを特徴とする請求項1記載の自動演奏装置。
  3. 前記尤度算出手段は、前記入力手段へ入力された演奏情報の音高に基づいて、前記記憶手段に記憶される複数の演奏パターンを構成する各楽音の全て又は一部について、それぞれ尤度を算出するものであることを特徴とする請求項2記載の自動演奏装置。
  4. 前記尤度算出手段は、前記入力手段へ入力された演奏情報の拍位置に基づいて、前記記憶手段に記憶される複数の演奏パターンを構成する各楽音の全て又は一部について、それぞれ尤度を算出するものであることを特徴とする請求項2又は3に記載の自動演奏装置。
  5. 前記尤度算出手段は、前記入力手段へ入力された前回の演奏情報と今回の演奏情報との入力間隔に基づいて、前記記憶手段に記憶される複数の演奏パターンを構成する各楽音の全て又は一部について、1の楽音の次に他の楽音が発せられる尤度をそれぞれ算出するものであることを特徴とする請求項2から4のいずれかに記載の自動演奏装置。
  6. 利用者の評価を入力する評価入力手段と、
    その評価入力手段へ評価が入力された場合に、その入力された評価を前記演奏手段により演奏されている演奏パターンの音楽表現の尤度に反映する尤度反映手段とを備え、
    前記尤度算出手段は、その尤度反映手段により反映された尤度に基づいて、前記記憶手段に記憶される複数の演奏パターンを構成する各楽音の全て又は一部について、それぞれ尤度を算出するものであることを特徴とする請求項2から5のいずれかに記載の自動演奏装置。
  7. 前記評価入力手段は、利用者の脳波を検出する脳波検出手段と、その脳波検出手段の出力を利用者の評価に変換して受け付ける受付手段とを有していることを特徴とする請求項6記載の自動演奏装置。
  8. 前記評価入力手段は、利用者の動作を検出する動作検出手段と、その動作検出手段による検出結果を利用者の評価に変換して受け付ける受付手段とを有していることを特徴とする請求項6記載の自動演奏装置。
  9. 前記評価入力手段は、利用者の表情を検出する表情検出手段と、その表情検出手段の出力を利用者の評価に変換して受け付ける受付手段とを有していることを特徴とする請求項6記載の自動演奏装置。
  10. 前記評価入力手段は、利用者の姿勢を検出する姿勢検出手段と、その姿勢検出手段の出力を利用者の評価に変換して受け付ける受付手段とを有していることを特徴とする請求項6記載の自動演奏装置。
  11. 前記切替手段は、前記演奏手段により演奏されている演奏パターンの音楽表現のうち、演奏パターン、コード進行、アルペジオ設定、エフェクト設定、音量又はベロシティ値、音色パラメータ値の少なくとも一つを、前記選択手段により選択された演奏パターンの音楽表現に切り替えるものであることを特徴とする請求項1から10のいずれかに記載の自動演奏装置。
  12. 前記選択手段は、利用者の演奏操作に基づく演奏情報が前記入力手段へ入力されると前記演奏パターンの選択処理を実行するものであることを特徴とする請求項1から11のいずれかに記載の自動演奏装置。
  13. 利用者の演奏操作に基づく演奏情報が前記入力手段へ所定期間以上入力されない場合に、前記演奏手段により演奏されている演奏パターンを、その演奏パターンのエンディングパートへ移行するエンディング手段を備えていることを特徴とする請求項1から12のいずれかに記載の自動演奏装置。
  14. 記憶部を備えたコンピュータに、自動演奏を実行させる自動演奏プログラムにおいて、
    前記記憶部を、複数の演奏パターンを記憶する記憶手段として機能させて、
    その記憶手段に記憶される演奏パターンに基づいて演奏を行う演奏ステップと、
    利用者の演奏操作を受け付ける入力装置から演奏情報を入力する入力ステップと、
    その入力ステップにより入力された演奏情報に基づいて、前記記憶手段に記憶された複数の演奏パターンのうち最尤推定された演奏パターンを選択する選択ステップと、
    前記演奏ステップにより演奏されている演奏パターンの音楽表現の少なくとも一つを、前記選択ステップにより選択された演奏パターンの音楽表現に切り替える切替ステップとを備えていることを特徴とする自動演奏プログラム。
JP2018096439A 2018-05-18 2018-05-18 自動演奏装置および自動演奏プログラム Pending JP2019200390A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018096439A JP2019200390A (ja) 2018-05-18 2018-05-18 自動演奏装置および自動演奏プログラム
EP19171746.1A EP3570271B1 (en) 2018-05-18 2019-04-30 Automatic performance device and automatic performance method
US16/412,439 US10803845B2 (en) 2018-05-18 2019-05-15 Automatic performance device and automatic performance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096439A JP2019200390A (ja) 2018-05-18 2018-05-18 自動演奏装置および自動演奏プログラム

Publications (1)

Publication Number Publication Date
JP2019200390A true JP2019200390A (ja) 2019-11-21

Family

ID=66625731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096439A Pending JP2019200390A (ja) 2018-05-18 2018-05-18 自動演奏装置および自動演奏プログラム

Country Status (3)

Country Link
US (1) US10803845B2 (ja)
EP (1) EP3570271B1 (ja)
JP (1) JP2019200390A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4027331A4 (en) * 2019-09-04 2023-06-14 Roland Corporation ARPEGGIATOR AND PROGRAM HAVING A FUNCTION FOR IT
US20220301527A1 (en) * 2019-09-04 2022-09-22 Roland Corporation Automatic musical performance device, non-transitory computer readable medium, and automatic musical performance method
JP2023098055A (ja) * 2021-12-28 2023-07-10 ローランド株式会社 自動演奏装置および自動演奏プログラム
EP4270373A1 (en) * 2022-04-28 2023-11-01 Yousician Oy Method for identifying a song

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4399958B2 (ja) 2000-05-25 2010-01-20 ヤマハ株式会社 演奏支援装置および演奏支援方法
JP3785934B2 (ja) 2001-03-05 2006-06-14 ヤマハ株式会社 自動伴奏装置、方法、プログラム及び媒体
EP1274069B1 (en) * 2001-06-08 2013-01-23 Sony France S.A. Automatic music continuation method and device
JP3811043B2 (ja) 2001-10-10 2006-08-16 株式会社河合楽器製作所 電子楽器
JP4251895B2 (ja) 2003-03-25 2009-04-08 財団法人ヤマハ音楽振興会 演奏制御装置およびプログラム
JP4075677B2 (ja) 2003-05-01 2008-04-16 ヤマハ株式会社 自動伴奏生成装置及びプログラム
JP4507801B2 (ja) 2004-09-30 2010-07-21 カシオ計算機株式会社 楽音制御装置および楽音制御処理のプログラム
US7705231B2 (en) * 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
JP2007241181A (ja) 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
JP2008096772A (ja) 2006-10-13 2008-04-24 Kawai Musical Instr Mfg Co Ltd 電子楽器
JP5076597B2 (ja) 2007-03-30 2012-11-21 ヤマハ株式会社 楽音発生装置及びプログラム
JP5552968B2 (ja) 2010-08-30 2014-07-16 ヤマハ株式会社 楽曲検索装置および楽曲検索方法
EP2648181B1 (en) 2010-12-01 2017-07-26 YAMAHA Corporation Musical data retrieval on the basis of rhythm pattern similarity
JP5982980B2 (ja) 2011-04-21 2016-08-31 ヤマハ株式会社 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記憶媒体
JP5970934B2 (ja) * 2011-04-21 2016-08-17 ヤマハ株式会社 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記録媒体
US9563701B2 (en) 2011-12-09 2017-02-07 Yamaha Corporation Sound data processing device and method
US9012754B2 (en) * 2013-07-13 2015-04-21 Apple Inc. System and method for generating a rhythmic accompaniment for a musical performance

Also Published As

Publication number Publication date
EP3570271B1 (en) 2021-06-23
US20190355338A1 (en) 2019-11-21
EP3570271A1 (en) 2019-11-20
US10803845B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
EP3570271B1 (en) Automatic performance device and automatic performance method
US8492636B2 (en) Chord detection apparatus, chord detection method, and program therefor
US11488567B2 (en) Information processing method and apparatus for processing performance of musical piece
JP7190056B2 (ja) 自動演奏装置および自動演奏プログラム
JP5040927B2 (ja) 演奏教習装置及びプログラム
JP6175812B2 (ja) 楽音情報処理装置及びプログラム
EP4027332A1 (en) Arpeggiator and program provided with function thereof
EP4027331A1 (en) Arpeggiator and program having function therefor
WO2021044561A1 (ja) アルペジエータおよびその機能を備えたプログラム
JP4259532B2 (ja) 演奏制御装置、およびプログラム
JPWO2006062064A1 (ja) 楽曲処理装置
JP2010117419A (ja) 電子楽器
US20080000345A1 (en) Apparatus and method for interactive
JP2018072443A (ja) ハーモニー情報生成装置、ハーモニー情報生成プログラムおよびハーモニー情報生成方法
WO2021044560A1 (ja) アルペジエータおよびその機能を備えたプログラム
EP4207182A1 (en) Automatic performance apparatus, automatic performance method, and automatic performance program
JP5564921B2 (ja) 電子楽器
JP5692275B2 (ja) 電子楽器
JP6606844B2 (ja) ジャンル選択装置、ジャンル選択方法、プログラムおよび電子楽器
JP7414048B2 (ja) プログラム、情報処理装置、演奏評価システム及び演奏評価方法
JP2019028251A (ja) カラオケ装置
US20240135907A1 (en) Automatic performance device, non-transitory computer-readable medium, and automatic performance method
JP7400798B2 (ja) 自動演奏装置、電子楽器、自動演奏方法、及びプログラム
JP7425558B2 (ja) コード検出装置及びコード検出プログラム
JP4121080B2 (ja) 電子鍵盤楽器