JP2017194594A - Pronunciation control device, pronunciation control method, and program - Google Patents

Pronunciation control device, pronunciation control method, and program Download PDF

Info

Publication number
JP2017194594A
JP2017194594A JP2016085295A JP2016085295A JP2017194594A JP 2017194594 A JP2017194594 A JP 2017194594A JP 2016085295 A JP2016085295 A JP 2016085295A JP 2016085295 A JP2016085295 A JP 2016085295A JP 2017194594 A JP2017194594 A JP 2017194594A
Authority
JP
Japan
Prior art keywords
syllable
pitch
sound
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016085295A
Other languages
Japanese (ja)
Other versions
JP6705272B2 (en
Inventor
桂三 濱野
Keizo Hamano
桂三 濱野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2016085295A priority Critical patent/JP6705272B2/en
Publication of JP2017194594A publication Critical patent/JP2017194594A/en
Application granted granted Critical
Publication of JP6705272B2 publication Critical patent/JP6705272B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To output a sound of a specific syllable at an appropriate pitch in response to an input for commanding a plurality of pitches.SOLUTION: A pronunciation control device includes: a syllable acquisition unit for acquiring syllable information indicating one syllable of a produced sound; an input unit including a plurality of operation acceptance units each of which corresponds to one pitch and that are spatially arranged; a selection unit for selecting one pitch from a plurality of pitches corresponding to the plurality of operated operation acceptance units; and an output control unit for making an output unit output a sound of one syllable indicated by the syllable information acquired by the syllable acquisition unit at the pitch selected by the selection unit.SELECTED DRAWING: Figure 2

Description

本発明は、発音制御装置、発音制御方法、及びプログラムに関する。   The present invention relates to a sound generation control device, a sound generation control method, and a program.

従来、ユーザの演奏操作に応じて、歌唱音を合成して発音する装置がある。例えば、特許文献1には、演奏データ発生装置と、歌唱合成装置とを具備し、前記演奏データ発生装置は、操作部と、前記操作部の操作に応じて、演奏データを発生する演奏データ発生手段と、…とを具備し、前記歌唱合成装置は、…前記歌詞データを記憶する歌詞データ記憶手段と、…前記歌詞データが示す歌詞において前記歌唱位置更新手段により歌唱位置とされた部分を構成する1または複数の音声素片に対応した音声素片データを前記音声素片データベースから読み出し、読み出した音声素片データを用いて、前記演奏データにより指定されるピッチおよび発音期間を持った歌唱音声データを合成する歌唱音声データ合成手段と、前記歌唱音声データ合成手段により合成された歌唱音声データを音声として出力する音声出力手段とを具備することを特徴とする歌唱合成システムが開示されている。   Conventionally, there is an apparatus that synthesizes and sings a singing sound according to a user's performance operation. For example, Patent Document 1 includes a performance data generating device and a singing voice synthesizing device, and the performance data generating device generates performance data in response to an operation of the operation unit and the operation unit. The singing voice synthesizing apparatus comprises: a lyric data storage means for storing the lyric data; and a lyric position indicated by the singing position updating means in the lyrics indicated by the lyric data. Voice segment data corresponding to one or more speech segments to be read from the speech segment database, and using the read speech segment data, a singing voice having a pitch and a pronunciation period specified by the performance data Singing voice data synthesizing means for synthesizing data, and voice output means for outputting the singing voice data synthesized by the singing voice data synthesizing means as voice. Singing synthesis system is disclosed which is characterized in that Bei.

特許第4735544号公報Japanese Patent No. 4735544

ところで、従来は、ユーザが演奏操作を誤ってしまうと、適切な音高で歌唱音を出力することができない場合があった。例えば、鍵盤演奏において、ユーザのミスタッチに起因して複数の鍵が操作され、複数の音高が指定される場合がある。この場合、操作された複数の鍵の各々の音高で、歌唱音が出力されてしまうため、聴衆にミスタッチが明確に認識されてしまう可能性がある。そのため、演奏操作で複数の音高が指定された場合であっても、適切な音高で歌唱音を出力することが望まれている。
また、例えば、特許文献1に記載の技術のように、予め歌詞データが定められていると、1つ1つの操作に応じて歌詞が順次読み出される。そのため、ユーザのミスタッチに起因して複数の鍵が操作された場合に、意図せずに、歌詞が余分に読み出されてしまうことがあった。
By the way, conventionally, when a user makes a mistake in performance operation, there is a case where a singing sound cannot be output at an appropriate pitch. For example, in keyboard performance, a plurality of keys may be operated due to a user's mistouch and a plurality of pitches may be designated. In this case, since a singing sound is output at the pitch of each of the operated keys, there is a possibility that a mistouch is clearly recognized by the audience. Therefore, it is desired to output a singing sound with an appropriate pitch even when a plurality of pitches are designated by a performance operation.
For example, as in the technique described in Patent Document 1, when lyrics data is determined in advance, lyrics are sequentially read according to each operation. Therefore, when a plurality of keys are operated due to a user's mistouch, the lyrics may be read out unintentionally.

本発明のいくつかの態様は、複数の音高を指定する入力に対して、特定の音節の音を適切な音高で出力することができる発音制御装置、発音制御方法、及びプログラムを提供することを目的の一つとする。   Some embodiments of the present invention provide a sound generation control device, a sound generation control method, and a program capable of outputting a sound of a specific syllable at an appropriate pitch with respect to an input designating a plurality of pitches. One of the purposes.

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする発音制御装置、発音制御方法、及びプログラムを提供することを目的の一つとする。   Another object of another aspect of the present invention is to provide a sound generation control device, a sound generation control method, and a program that can achieve the effects described in the embodiments described later.

上述した課題を解決するために、本発明の一態様は、発音する音の1つの音節を示す音節情報を取得する音節取得部と、それぞれ1つの音高に対応する複数の操作受付部であって、空間的に並べて配置された複数の操作受付部を備える入力部と、操作された複数の前記操作受付部に対応する複数の音高の中から、1つの音高を選択する選択部と、前記音節取得部が取得した前記音節情報が示す1つの音節の音を、前記選択部が選択した音高で、出力部から出力させる出力制御部と、を備える発音制御装置である。   In order to solve the above-described problem, one aspect of the present invention includes a syllable acquisition unit that acquires syllable information indicating one syllable of a sound to be generated, and a plurality of operation reception units each corresponding to one pitch. An input unit including a plurality of operation reception units arranged spatially, and a selection unit for selecting one pitch from a plurality of pitches corresponding to the operated operation reception units. And an output control unit that outputs the sound of one syllable indicated by the syllable information acquired by the syllable acquisition unit from the output unit at a pitch selected by the selection unit.

本発明の実施形態によれば、複数の音高を指定する入力に対して、特定の音節の音を適切な音高で出力することができる。   According to the embodiment of the present invention, it is possible to output a sound of a specific syllable at an appropriate pitch with respect to an input designating a plurality of pitches.

本発明の第1の実施形態に係る電子楽器が備える演奏操作子の一例を示す図である。It is a figure which shows an example of the performance operation element with which the electronic musical instrument which concerns on the 1st Embodiment of this invention is provided. 同実施形態に係る電子楽器の構成の一例を示すブロック図である。It is a block diagram showing an example of composition of an electronic musical instrument concerning the embodiment. 同実施形態に係る電子楽器による演奏が行われる場合の処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of a process in case the performance by the electronic musical instrument which concerns on the embodiment is performed. 同実施形態に係る歌詞テキストデータの一例を示す図である。It is a figure which shows an example of the lyric text data based on the embodiment. 同実施形態に係る音声素片データの種類の一例を示す図である。It is a figure which shows an example of the kind of speech unit data which concerns on the embodiment. 同実施形態に係る電子楽器による演奏を行う場合の処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of a process in the case of performing with the electronic musical instrument which concerns on the embodiment.

以下、本発明の一実施形態について、図面を参照して説明する。
[第1の実施形態]
本発明の第1の実施形態について説明する。まず、本実施形態の概要について説明する。
本実施形態に係る発音制御装置は、演奏操作子への操作に応じて歌唱模擬を行う電子楽器1である。ここで、歌唱模擬とは、人間の声を模擬した音声を出力することにより、歌唱を模擬することをいう。図1は、電子楽器1が備える演奏操作子15の一例を示す図である。図1には、演奏操作子15として、鍵盤を適用した場合を示す。この鍵盤には複数の白鍵と黒鍵とが並べて配置されており、各鍵は、それぞれ異なる音高に対応付けられている。電子楽器1を演奏する場合、ユーザは、鍵盤の所望の鍵を押鍵する。電子楽器1は、ユーザにより操作された鍵を検出し、操作された鍵に応じた音高の歌唱音を発音する。なお、発音される歌唱音の音節の順序は、予め定められている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[First embodiment]
A first embodiment of the present invention will be described. First, an outline of the present embodiment will be described.
The sound generation control device according to the present embodiment is an electronic musical instrument 1 that performs singing simulation in response to an operation on a performance operator. Here, singing simulation means simulating singing by outputting a sound simulating a human voice. FIG. 1 is a diagram illustrating an example of a performance operator 15 provided in the electronic musical instrument 1. FIG. 1 shows a case where a keyboard is applied as the performance operator 15. A plurality of white keys and black keys are arranged side by side on this keyboard, and each key is associated with a different pitch. When playing the electronic musical instrument 1, the user presses a desired key on the keyboard. The electronic musical instrument 1 detects a key operated by the user and generates a singing sound having a pitch corresponding to the operated key. Note that the order of syllables of the singing sounds to be generated is predetermined.

ここで、鍵盤には、複数の鍵が空間的に並べて配置されている。そのため、ユーザは、演奏時に操作位置を誤り、所望する鍵と同時に又は単独で、所望する鍵に隣接する鍵を押鍵してしまう場合がある。例えば、図1に示す白鍵151を押鍵しようとして、その隣の黒鍵152や白鍵153を誤って押鍵してしまう場合がある。このような誤操作(ミスタッチ)の場合、概してユーザは、所望の白鍵151を改めて押鍵したり、誤って操作した鍵から指をずらして白鍵151のみが押鍵された状態にしたりして、操作を訂正しようとする。そこで、電子楽器1は、このような誤操作の発生と、ユーザが本来操作を所望した鍵(以下、「所望鍵」と称する。)とを判定して、所望鍵に対応する音高で歌唱音を出力する。これにより、電子楽器1は、ユーザが当初所望した適切な音高で歌唱音を出力することができる。
以上が、本実施形態の概要についての説明である。
Here, a plurality of keys are spatially arranged on the keyboard. For this reason, the user may make a mistake in the operation position at the time of performance, and may press a key adjacent to the desired key simultaneously with the desired key or alone. For example, when trying to press the white key 151 shown in FIG. 1, the adjacent black key 152 or white key 153 may be erroneously pressed. In the case of such an erroneous operation (mistouch), the user generally presses the desired white key 151 again or shifts his / her finger from the erroneously operated key so that only the white key 151 is pressed. Try to correct the operation. Therefore, the electronic musical instrument 1 determines the occurrence of such an erroneous operation and a key that the user originally wanted to operate (hereinafter referred to as “desired key”), and sings at a pitch corresponding to the desired key. Is output. Thereby, the electronic musical instrument 1 can output the singing sound at an appropriate pitch desired by the user at the beginning.
The above is the description of the outline of the present embodiment.

次に、電子楽器1の構成について説明する。図2は、電子楽器1の構成の一例を示すブロック図である。電子楽器1は、CPU(Central Processing Unit)10と、タイマ11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、データ記憶部14と、演奏操作子15と、パラメータ値設定操作子17と、表示部(表示器)18と、音源19と、効果回路20と、サウンドシステム21と、通信I/F(Interface)と、バス23と、を備える。   Next, the configuration of the electronic musical instrument 1 will be described. FIG. 2 is a block diagram illustrating an example of the configuration of the electronic musical instrument 1. The electronic musical instrument 1 includes a CPU (Central Processing Unit) 10, a timer 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a data storage unit 14, a performance operator 15, and parameter values. A setting operator 17, a display unit (display device) 18, a sound source 19, an effect circuit 20, a sound system 21, a communication I / F (Interface), and a bus 23 are provided.

CPU10は、電子楽器1全体の制御を行う中央処理装置である。タイマ11は、時間を計測するモジュールである。ROM12は制御プログラムや各種のデータなどを格納する不揮発性のメモリである。RAM13はCPU10のワーク領域及び各種のバッファなどとして使用される揮発性のメモリである。データ記憶部14は、歌詞テキストデータ、音韻情報データベースなどが格納されている。歌詞テキストデータとは、歌詞を記述するデータである。歌詞テキストデータには、曲ごとの歌詞が音節単位で区切られて記述されている。音節とは、1回の演奏操作に応じて出力する音のまとまりである。音韻情報データベースとは、音声素片データを格納するデータベースである。音声素片データとは、音声の波形を示すデータであり、例えば、音声素片のサンプル列のスペクトルデータを波形データとして含む。また、音声素片データには、音声素片の波形のピッチを示す素片ピッチデータが含まれる。歌詞テキストデータ、音声素片データは、それぞれ、データベースにより管理されてよい。表示部18は、液晶ディスプレイパネル、有機EL(Electro-Luminescence)パネルなどの表示モジュールである。表示部18は、電子楽器1の動作状態、各種設定画面、ユーザに対するメッセージなどを表示する。   The CPU 10 is a central processing unit that controls the entire electronic musical instrument 1. The timer 11 is a module that measures time. The ROM 12 is a non-volatile memory that stores control programs and various data. The RAM 13 is a volatile memory used as a work area for the CPU 10 and various buffers. The data storage unit 14 stores lyrics text data, phonological information database, and the like. Lyric text data is data describing the lyrics. In the lyrics text data, the lyrics for each song are described in syllable units. A syllable is a group of sounds output in response to one performance operation. The phoneme information database is a database that stores speech segment data. The speech segment data is data indicating a speech waveform, and includes, for example, spectrum data of a sample sequence of speech segments as waveform data. Further, the speech unit data includes unit pitch data indicating the pitch of the waveform of the speech unit. Lyric text data and speech segment data may be managed by a database. The display unit 18 is a display module such as a liquid crystal display panel or an organic EL (Electro-Luminescence) panel. The display unit 18 displays an operation state of the electronic musical instrument 1, various setting screens, a message for the user, and the like.

演奏操作子15は、音高を指定する演奏操作を受け付けるモジュールである。本実施形態では、一例として、演奏操作子15が鍵盤である場合について説明する。演奏操作子15は、各鍵に対応するセンサのオン/オフに基づくノートオン/ノートオフ、押鍵の強さ(速さ、ベロシティ)などの演奏情報を出力する。この演奏情報は、MIDI(musical instrument digital interface)メッセージ形式であってもよい。他操作子16は、例えば、電子楽器1に関する設定など、演奏以外の設定を行うための操作ボタン、操作つまみなどの操作モジュールである。パラメータ値設定操作子17は、歌唱音の属性についてのパラメータを設定するための操作ボタン、操作つまみなどの操作モジュールである。パラメータとしては、例えば、和声(Harmonics)、明るさ(Brightness)、共鳴(Resonance)、性別要素(Gender Factor)等がある。和声とは、声に含まれる倍音成分のバランスを設定するパラメータである。明るさとは、声の明暗を設定するパラメータであり、トーン変化を与える。共鳴とは、有色音の音色や強弱を設定するパラメータである。性別要素とは、フォルマントを設定するパラメータであり、声の太さ、質感を女性的、或いは、男性的に変化させる。   The performance operator 15 is a module that receives a performance operation for designating a pitch. In the present embodiment, as an example, a case where the performance operator 15 is a keyboard will be described. The performance operator 15 outputs performance information such as note-on / note-off based on the on / off of the sensor corresponding to each key, and the strength (speed, velocity) of key depression. This performance information may be in a MIDI (musical instrument digital interface) message format. The other operation elements 16 are operation modules such as operation buttons and operation knobs for performing settings other than performance, such as settings related to the electronic musical instrument 1, for example. The parameter value setting operator 17 is an operation module such as operation buttons and operation knobs for setting parameters for the attributes of the singing sound. Parameters include, for example, harmonics, brightness, resonance, and gender factor. Harmonic is a parameter that sets the balance of overtone components contained in the voice. Brightness is a parameter for setting the contrast of a voice and gives a tone change. Resonance is a parameter for setting the tone color and strength of a colored sound. The gender element is a parameter for setting a formant, and changes the voice thickness and texture in a feminine or masculine manner.

音源19は、複数の発音チャンネルを有するモジュールである。音源19には、CPU10の制御の基で、ユーザの演奏に応じて1つの発音チャンネルが割り当てられる。音源19は、割り当てられた発音チャンネルにおいて、データ記憶部14から演奏に対応する音声素片データを読み出して歌唱音データを生成する。効果回路20は、音源19が生成した歌唱音データに対して、パラメータ値設定操作子17により指定された音響効果を適用する。サウンドシステム21は、効果回路20による処理後の歌唱音データを、デジタル/アナログ変換器によりアナログ信号に変換する。そして、サウンドシステム21は、アナログ信号に変換された歌唱音を増幅してスピーカなどから出力する。通信I/F22は、電子楽器1の外部機器と通信する通信モジュールである。外部記憶装置3は、例えば、電子楽器1の外部機器であり、例えば、音声データを記憶する装置である。バス23は電子楽器1における各部の間のデータ転送を行うバスである。
以上が、電子楽器1の構成についての説明である。
The sound source 19 is a module having a plurality of sound generation channels. One tone generation channel is assigned to the sound source 19 according to the performance of the user under the control of the CPU 10. The sound source 19 reads out the speech segment data corresponding to the performance from the data storage unit 14 and generates singing sound data in the assigned sound generation channel. The effect circuit 20 applies the acoustic effect specified by the parameter value setting operator 17 to the singing sound data generated by the sound source 19. The sound system 21 converts the singing sound data processed by the effect circuit 20 into an analog signal by a digital / analog converter. And the sound system 21 amplifies the singing sound converted into the analog signal, and outputs it from a speaker. The communication I / F 22 is a communication module that communicates with an external device of the electronic musical instrument 1. The external storage device 3 is an external device of the electronic musical instrument 1, for example, and is a device that stores audio data, for example. The bus 23 is a bus for transferring data between the units in the electronic musical instrument 1.
The above is the description of the configuration of the electronic musical instrument 1.

次に、電子楽器1の動作について説明する。
図3は、電子楽器1による演奏が行われる場合の処理の流れの一例を示すフローチャートである。
ここでは、ユーザにより、演奏曲の選択と、選択した曲の演奏とが行われる場合の処理について説明する。また、ここでは、説明を簡単にするため、複数の鍵が同時に操作された場合であっても、単音のみを出力する場合について説明する。この場合、同時に操作された鍵の音高のうち、最も高い音高のみについて処理してもよいし、最も低い音高のみについて処理してもよい。なお、以下に説明する処理は、例えば、CPU10がROM12やRAM13に記憶されたプログラムを実行し、電子楽器1が備える各種構成を制御する制御部として機能することにより実現される。
Next, the operation of the electronic musical instrument 1 will be described.
FIG. 3 is a flowchart showing an example of the flow of processing when a performance by the electronic musical instrument 1 is performed.
Here, processing when the user performs selection of a performance song and performance of the selected song will be described. In addition, here, in order to simplify the description, a case will be described in which only a single sound is output even when a plurality of keys are operated simultaneously. In this case, only the highest pitch among the pitches of keys operated simultaneously may be processed, or only the lowest pitch may be processed. Note that the processing described below is realized, for example, when the CPU 10 executes a program stored in the ROM 12 or the RAM 13 and functions as a control unit that controls various configurations of the electronic musical instrument 1.

始めに、電子楽器1は、ユーザから演奏する曲を選択する操作を受け付ける(ステップS10)。電子楽器1は、曲の選択を受け付けると、選択された曲の歌詞テキストデータを読み出す。そして、電子楽器1は、歌詞テキストデータに記述された先頭の音節にカーソル位置に設定する(ステップS12)。ここで、カーソルとは、次に発音する音節の位置を示す仮想的な指標である。   First, the electronic musical instrument 1 receives an operation for selecting a song to be played from the user (step S10). When the electronic musical instrument 1 accepts selection of a song, the electronic musical instrument 1 reads lyrics text data of the selected song. Then, the electronic musical instrument 1 sets the cursor position at the first syllable described in the lyric text data (step S12). Here, the cursor is a virtual index indicating the position of the next syllable to be pronounced.

次に、電子楽器1は、ノートオンを検出したか否かを判定する(ステップS14)。ノートオンが検出されない場合(ステップS14:NO)、電子楽器1は、ノートオフを検出したか否かを判定する(ステップS22)。また、ステップS14においてノートオンを検出した場合(ステップS14:YES)、すなわち新たな押鍵を検出した場合、電子楽器1は、音を出力している場合には、音の出力を停止する(ステップS16)。次に、電子楽器1は、ノートオンに応じた歌唱音を発音する出力音生成処理を実行する(ステップS18)。出力音生成処理については、後述する。次に、電子楽器1は、カーソル位置(読出し位置)を更新し(ステップS20)、ノートオフを検出したか否かを判定する(ステップS22)。   Next, the electronic musical instrument 1 determines whether or not note-on is detected (step S14). When note-on is not detected (step S14: NO), the electronic musical instrument 1 determines whether or not note-off is detected (step S22). When note-on is detected in step S14 (step S14: YES), that is, when a new key press is detected, the electronic musical instrument 1 stops outputting sound when outputting sound ( Step S16). Next, the electronic musical instrument 1 executes an output sound generation process for generating a singing sound according to note-on (step S18). The output sound generation process will be described later. Next, the electronic musical instrument 1 updates the cursor position (reading position) (step S20), and determines whether or not note-off is detected (step S22).

ここで、ステップS18、S20の処理に係るカーソル位置の決定と歌唱音の発音について、具体例を用いて説明する。まず、カーソル位置の更新について説明する。図4は、歌詞テキストデータの一例を示す図である。図4の例では、歌詞テキストデータには、5つの音節c1〜c5の歌詞が記述されている。各字「は」、「る」、「よ」、「こ」、「い」は、日本語のひらがなの1字を示し、各字が1音節に対応する。電子楽器1は、音節単位で、カーソル位置を更新する。例えば、カーソルが音節c3に位置している場合、「よ」に対応する音声素片データをデータ記憶部14から読み出し、「よ」の歌唱音を発音する。電子楽器1は、「よ」の発音を終了すると、次の音節c4にカーソル位置を移動させる。このように、電子楽器1は、ノートオンに応じて次の音節にカーソル位置を順次移動させる。   Here, determination of the cursor position and pronunciation of the singing sound according to the processes of steps S18 and S20 will be described using a specific example. First, the update of the cursor position will be described. FIG. 4 is a diagram illustrating an example of lyrics text data. In the example of FIG. 4, lyrics of five syllables c1 to c5 are described in the lyric text data. Each character “ha”, “ru”, “yo”, “ko”, “i” indicates one character of Japanese hiragana, and each character corresponds to one syllable. The electronic musical instrument 1 updates the cursor position in syllable units. For example, when the cursor is positioned at the syllable c3, the speech segment data corresponding to “yo” is read from the data storage unit 14 and the singing sound of “yo” is pronounced. When the electronic musical instrument 1 finishes pronunciation of “yo”, the electronic musical instrument 1 moves the cursor position to the next syllable c4. In this way, the electronic musical instrument 1 sequentially moves the cursor position to the next syllable in response to note-on.

次に、歌唱音の発音について説明する。図5は、音声素片データの種類の一例を示す図である。電子楽器1は、カーソル位置に対応する音節を発音させるために、音韻情報データベースから、音節に対応する音声素片データを抽出する。音声素片データには、音素連鎖データと、定常部分データとの2種類が存在する。音素連鎖データとは、「無音(#)から子音」、「子音から母音」、「母音から(次の音節の)子音又は母音」など、発音が変化する際の音声素片を示すデータである。定常部分データは、母音の発音が継続する際の音声素片を示すデータである。例えば、カーソル位置が音節c1の「は(ha)」に設定されている場合、音源19は、「無音→子音h」に対応する音声連鎖データ「#−h」と、「子音h→母音a」に対応する音声連鎖データ「h−a」と、「母音a」に対応する定常部分データ「a」と、を選択する。そして、電子楽器1は、演奏が開始されて押鍵を検出すると、音声連鎖データ「#−h」、音声連鎖データ「h−a」、定常部分データ「a」に基づく歌唱音を、操作された鍵に応じた音高、操作に応じたベロシティで出力する。
以上が、カーソル位置の決定と歌唱音の発音についての説明である。
Next, the pronunciation of the singing sound will be described. FIG. 5 is a diagram illustrating an example of the type of speech segment data. The electronic musical instrument 1 extracts speech segment data corresponding to the syllable from the phonological information database in order to pronounce the syllable corresponding to the cursor position. There are two types of speech segment data: phoneme chain data and stationary partial data. The phoneme chain data is data indicating a speech segment when the pronunciation changes, such as “silence (#) to consonant”, “consonant to vowel”, “vowel to consonant (vowel of the next syllable)”. . The stationary partial data is data indicating a speech unit when the vowel sound continues. For example, when the cursor position is set to “ha (ha)” of the syllable c1, the sound source 19 includes the speech chain data “# -h” corresponding to “silence → consonant h” and “consonant h → vowel a”. Is selected from the speech chain data “ha” corresponding to “” and the stationary partial data “a” corresponding to “vowel a”. When the electronic musical instrument 1 starts playing and detects a key depression, the electronic musical instrument 1 operates the singing sound based on the voice chain data “# -h”, the voice chain data “ha”, and the steady partial data “a”. Output with the pitch according to the key and the velocity according to the operation.
This completes the description of the determination of the cursor position and the pronunciation of the singing sound.

図3に戻り、説明を続ける。ステップS22において、ノートオフが検出されない場合(ステップS22:NO)、電子楽器1は、演奏が終了したか否かを判定する(ステップS26)。また、ステップS22において、ノートオフを検出した場合(ステップS22:YES)、電子楽器1は、音を出力している場合には、音の出力を停止する(ステップS24)。そして、電子楽器1は、演奏を終了したか否かを判定する(ステップS26)。
ステップS26において、演奏を終了したと判定した場合(ステップS26:YES)、電子楽器1は、音を出力している場合には、音の出力を停止する(ステップS28)。そして、電子楽器1は、図3に示す処理を終了する。また、ステップS26において、演奏を終了していないと判定した場合(ステップS26:NO)、電子楽器1は、ステップS14に処理を戻す。なお、演奏を終了したか否かの判定は、例えば、カーソル位置が最後尾の音節まで移動したか否か、他操作子16により演奏を終了する操作が行われた否か、などを判定することにより行うことができる。
なお、図3に示す例では、ノートオフ時に出力中の音を停止する場合について説明したが、電子楽器1は、ノートオフ時に追加で出力中の音節とは異なる音節を読み出して出力してもよい。
以上が、電子楽器1による演奏が行われる場合の処理の流れについての説明である。
Returning to FIG. 3, the description will be continued. When note-off is not detected in step S22 (step S22: NO), the electronic musical instrument 1 determines whether or not the performance is finished (step S26). In addition, when note-off is detected in step S22 (step S22: YES), the electronic musical instrument 1 stops outputting sound (step S24) if it is outputting sound. Then, the electronic musical instrument 1 determines whether or not the performance is finished (step S26).
If it is determined in step S26 that the performance has ended (step S26: YES), the electronic musical instrument 1 stops outputting the sound if it is outputting a sound (step S28). And the electronic musical instrument 1 complete | finishes the process shown in FIG. If it is determined in step S26 that the performance has not ended (step S26: NO), the electronic musical instrument 1 returns the process to step S14. Note that whether or not the performance has ended is determined, for example, whether or not the cursor position has moved to the last syllable, whether or not an operation for ending the performance has been performed by the other operator 16, or the like. Can be done.
In the example shown in FIG. 3, the case where the sound being output is stopped at the time of note-off has been described. However, the electronic musical instrument 1 may read and output a syllable that is different from the syllable that is additionally output at the time of note-off. Good.
The above is the description of the flow of processing when a performance by the electronic musical instrument 1 is performed.

次に、上記ステップ18における電子楽器1の動作について説明する。図6は、出力音生成処理の流れの一例を示すフローチャートである。
まず、電子楽器1は、ノートオンの検出タイミングに基づいて、ミスタッチ判定タイミングを算出する(ステップS30)。つまり、電子楽器1は、ミスタッチ判定期間を設定する。ミスタッチ判定期間とは、誤操作の判定のために設けられる期間であり、ノートオンの検出タイミングからミスタッチ判定タイミングまでの期間である。ミスタッチ判定期間内に、音高を複数指定する操作が行われた場合、電子楽器1は、ミスタッチがあったと判定する。ミスタッチ判定期間は、ノートオンの検出から、所定時間長経過後までの期間として設定される。この所定時間長は、100ミリ秒などのタイマ11の時間軸で計時される絶対的な時間で記述されてもよいし、16分音符長、32分音符長などの曲のテンポに応じた相対的な時間で記述されてもよい。
Next, the operation of the electronic musical instrument 1 in step 18 will be described. FIG. 6 is a flowchart illustrating an example of the flow of output sound generation processing.
First, the electronic musical instrument 1 calculates a mistouch determination timing based on the note-on detection timing (step S30). That is, the electronic musical instrument 1 sets a mistouch determination period. The mistouch determination period is a period provided for determination of an erroneous operation, and is a period from a note-on detection timing to a mistouch determination timing. If an operation for designating a plurality of pitches is performed within the mistouch determination period, the electronic musical instrument 1 determines that a mistouch has occurred. The mistouch determination period is set as a period from the detection of note-on to the elapse of a predetermined time length. The predetermined time length may be described as an absolute time measured on the time axis of the timer 11 such as 100 milliseconds, or relative to the tempo of the song such as a 16th note length or a 32nd note length. May be described in a typical time.

次に、電子楽器1は、カーソル位置に対応する音節の音声素片データ(波形データ)を読み出す(ステップS32)。次に、電子楽器1は、操作された鍵に対応する音高で、読み出した音声素片データが示す波形の音を出力する(ステップS34)。具体的には、音声素片データに含まれる素片ピッチデータが示す音高と、操作された鍵に対応する音高との差分を求め、この差分に相当する周波数だけ波形データが示すスペクトル分布を周波数軸方向に移動させる。これにより、電子楽器1は、操作された鍵に対応する音高で歌唱音を出力することができる。次に、電子楽器1は、演奏情報用記憶領域を、RAM13又はデータ記憶部14に確保する(ステップS36)。演奏情報用記憶領域とは、ミスタッチ判定期間に行われる演奏情報を蓄積するための記憶領域である。次に、電子楽器1は、演奏情報用記憶領域に、ステップS14の処理で検出したノートオンに係る演奏情報を記憶する(ステップS38)。次に、電子楽器1は、ミスタッチ判定タイミングが到来したか否かを判定する(ステップS40)。ミスタッチ判定タイミングが到来していない場合(ステップS40:NO)、電子楽器1は、ノートオン又はノートオフが新たに検出されたか否かを判定する(ステップS42)。ノートオン又はノートオフが新たに検出された場合(ステップS42:YES)、電子楽器1は、検出したノートオン又はノートオフに係る演奏情報を、演奏情報用記憶領域に記憶する(ステップS44)。ステップS42の処理で、ノートオン又はノートオフが新たに検出されていない場合(ステップS42:NO)、電子楽器1は、ステップS40に処理を戻す。   Next, the electronic musical instrument 1 reads out the speech segment data (waveform data) of the syllable corresponding to the cursor position (step S32). Next, the electronic musical instrument 1 outputs a sound having a waveform indicated by the read speech segment data at a pitch corresponding to the operated key (step S34). Specifically, the difference between the pitch indicated by the unit pitch data included in the speech unit data and the pitch corresponding to the operated key is obtained, and the spectrum distribution indicated by the waveform data by the frequency corresponding to this difference is obtained. Is moved in the frequency axis direction. Thereby, the electronic musical instrument 1 can output a singing sound with the pitch corresponding to the operated key. Next, the electronic musical instrument 1 secures a performance information storage area in the RAM 13 or the data storage unit 14 (step S36). The performance information storage area is a storage area for accumulating performance information performed during the mistouch determination period. Next, the electronic musical instrument 1 stores the performance information related to note-on detected in the process of step S14 in the performance information storage area (step S38). Next, the electronic musical instrument 1 determines whether or not the mistouch determination timing has arrived (step S40). If the mistouch determination timing has not arrived (step S40: NO), the electronic musical instrument 1 determines whether or not note-on or note-off is newly detected (step S42). When note-on or note-off is newly detected (step S42: YES), the electronic musical instrument 1 stores the performance information related to the detected note-on or note-off in the performance information storage area (step S44). When note-on or note-off is not newly detected in the process of step S42 (step S42: NO), the electronic musical instrument 1 returns the process to step S40.

また、ステップS40の処理において、ミスタッチ判定タイミングが到来した場合(ステップS40:YES)、電子楽器1は、演奏情報用記憶領域に蓄積した演奏情報に基づいて、音の出力を直ちに停止すべきか否かを判定する(ステップS46)。具体的には、電子楽器1は、ノートオンされた状態の鍵が存在していない場合に、音の出力を直ちに停止すべきと判定する。音の出力を直ちに停止すべきと判定した場合(ステップS48:YES)、電子楽器1は、音の出力を停止する(ステップS50)。その後、電子楽器1は、図6に示す処理を終了し、上述したステップS20に処理を進める。また、ステップS48の処理で、音の出力を直ちに停止すべきと判定されなかった場合(ステップS48:NO)、電子楽器1は、演奏情報用記憶領域に記憶された演奏情報に基づいて、出力すべき音高を検出、選択する(ステップS52)。   Further, in the process of step S40, when the mistouch determination timing has arrived (step S40: YES), the electronic musical instrument 1 should immediately stop outputting the sound based on the performance information stored in the performance information storage area. Is determined (step S46). Specifically, the electronic musical instrument 1 determines that sound output should be stopped immediately when there is no note-on key. If it is determined that the sound output should be stopped immediately (step S48: YES), the electronic musical instrument 1 stops the sound output (step S50). Thereafter, the electronic musical instrument 1 ends the process shown in FIG. 6 and advances the process to step S20 described above. If it is not determined in step S48 that the sound output should be stopped immediately (step S48: NO), the electronic musical instrument 1 outputs based on the performance information stored in the performance information storage area. A pitch to be detected is detected and selected (step S52).

ここで、電子楽器1による出力すべき音高の選択について、具体的に説明する。一般に、演奏時のミスタッチの訂正には、複数のパターンが想定される。ここでは、一例として、第1パターン、第2パターンについて、説明する。
第1パターンは、所望鍵(例えば、C3)を操作しようとして、別の鍵(例えば、D3)を操作してしまった場合、又は、所望鍵を操作しようとして、隣接する鍵と所望鍵を同時に操作してしまう場合の訂正方法である。ユーザは、ミスタッチを訂正するために、最初に行った操作(ノートオン)を短い時間で取り止めて(ノートオフ)、改めて所望鍵を操作(ノートオン)することが想定される。そして、ユーザは、所望鍵を操作した後は、その操作を所望の時間長維持するはずである。そこで、電子楽器1は、演奏情報用記憶領域に記憶された演奏情報を参照し、最初のノートオンから短時間でノートオフが検出されている場合には、最後にノートオンが検出された鍵を、所望鍵であると判定する。そして、電子楽器1は、所望鍵に対応する音高(例えば、C3)を、出力すべき音高として選択する。
Here, the selection of the pitch to be output by the electronic musical instrument 1 will be specifically described. In general, a plurality of patterns are assumed to correct mistouch during performance. Here, as an example, the first pattern and the second pattern will be described.
In the first pattern, when a desired key (for example, C3) is operated and another key (for example, D3) is operated, or when a desired key is operated, an adjacent key and a desired key are simultaneously operated. This is a correction method in the case of operation. In order to correct mistouch, it is assumed that the user cancels the first operation (note-on) in a short time (note-off) and operates the desired key again (note-on). Then, after operating the desired key, the user should maintain the operation for a desired length of time. Therefore, the electronic musical instrument 1 refers to the performance information stored in the performance information storage area, and when note-off is detected in a short time from the first note-on, the key on which the last note-on was detected is detected. Is determined to be a desired key. Then, the electronic musical instrument 1 selects a pitch (for example, C3) corresponding to the desired key as a pitch to be output.

第2パターンは、所望鍵(例えば、C3)を操作しようとして、隣接する鍵(例えば、D3)と所望鍵を同時に操作してしまう場合の訂正方法の別例である。ユーザは、ミスタッチを訂正するために、最初に行った2つの鍵に対する操作(ノートオン)のうち、所望鍵に対する操作を維持したまま、誤操作のみを取り止める(ノートオフ)ことが想定される。そこで、電子楽器1は、演奏情報用記憶領域に記憶された演奏情報を参照し、複数鍵について最初のノートオンが同時に検出されている場合には、最後までノートオンが維持された鍵を所望鍵であると判定する。そして、電子楽器1は、所望鍵に対応する音高(例えば、C3)を、出力すべき音高として選択する。
なお、ミスタッチにおいて、所望鍵から空間的に離間した鍵を操作してしまうことは稀であることが想定される。そのため、ミスタッチの判定対象とする操作を、隣接する鍵の操作に限定してもよい。この場合、隣接しない鍵の操作は、新たに行われた正常な操作として扱ってよい。つまり、離間した鍵の操作は、ステップS14の処理で検出された操作として扱ってよい。また、上述の所望鍵の判定方法は、一例であり、電子楽器1は、演奏情報に含まれるノートオン、ノートオフ、ベロシティなど任意の情報を参照して、所望鍵を判定してよい。
以上が、電子楽器1による出力すべき音高の選択についての説明である。
The second pattern is another example of a correction method in a case where an adjacent key (for example, D3) and a desired key are operated simultaneously while attempting to operate a desired key (for example, C3). In order to correct a mistouch, it is assumed that the user cancels only the erroneous operation (note off) while maintaining the operation on the desired key among the operations performed on the two keys performed first (note on). Therefore, the electronic musical instrument 1 refers to the performance information stored in the performance information storage area, and when the first note-on is simultaneously detected for a plurality of keys, the electronic musical instrument 1 desires the key that has been kept on until the end. It is determined that it is a key. Then, the electronic musical instrument 1 selects a pitch (for example, C3) corresponding to the desired key as a pitch to be output.
It is assumed that it is rare to operate a key that is spatially separated from a desired key in a mistouch. Therefore, the operation to be determined for mistouch may be limited to the operation of the adjacent key. In this case, a non-adjacent key operation may be treated as a newly performed normal operation. That is, the operation of the separated key may be handled as the operation detected in step S14. The above-described method for determining the desired key is an example, and the electronic musical instrument 1 may determine the desired key by referring to arbitrary information such as note-on, note-off, and velocity included in the performance information.
This completes the description of the selection of the pitch to be output by the electronic musical instrument 1.

図6に戻り、説明を続ける。ステップS52の処理の後、電子楽器1は、出力中の音高を調整すべきか否かを判定する(ステップS54)。具体的には、ステップS34の処理で出力した音高と、ステップS54の処理で選択した音高とが一致するか否かを判定する。出力中の音高を修正すべきでないと判定した場合(ステップS54:NO)、電子楽器1は、図6に示す処理を終了し、上述したステップS20に処理を進める。また、出力中の音の音高を修正すべきと判定した場合(ステップS54:YES)、電子楽器1は、出力中の音の音高を、ステップS52の処理で検出した音高に変更する(ステップS56)。このとき、電子楽器1は、ピッチシフトにより音高を変更する。ピッチシフトでは、シフトする音高の差分に相当する周波数だけ、波形データが示すスペクトル分布を周波数軸方向に移動させる。電子楽器1は、例えば、20セント単位など、段階的に音高を変更してもよい。
以上が、出力音生成処理の説明である。
Returning to FIG. 6, the description will be continued. After the process of step S52, the electronic musical instrument 1 determines whether or not the pitch being output should be adjusted (step S54). Specifically, it is determined whether or not the pitch output in step S34 matches the pitch selected in step S54. If it is determined that the pitch being output should not be corrected (step S54: NO), the electronic musical instrument 1 ends the process shown in FIG. 6 and proceeds to the above-described step S20. If it is determined that the pitch of the sound being output should be corrected (step S54: YES), the electronic musical instrument 1 changes the pitch of the sound being output to the pitch detected in the process of step S52. (Step S56). At this time, the electronic musical instrument 1 changes the pitch by a pitch shift. In the pitch shift, the spectrum distribution indicated by the waveform data is moved in the frequency axis direction by the frequency corresponding to the pitch difference to be shifted. The electronic musical instrument 1 may change the pitch in stages, for example, in units of 20 cents.
The above is the description of the output sound generation process.

従来の歌唱音を出力する電子楽器には、単音の歌唱音のみを出力する楽器がある。このような楽器において、複数の鍵が同時に押下された状態では、最初に押下された鍵の音高で歌唱音が出力される場合と、最後に押下された鍵の音高で歌唱音が出力される場合がある。前者の場合、最初に行った押鍵が解除されない間は、以降の操作が無効とされる。従って、例えば上記の第2パターンの場合には、一度、誤操作した鍵の方が有効にされてしまうと、その操作を取り止めても、所望鍵の操作が無効とされているので、適切な音高で歌唱音を出力することができない。また、後者の場合、操作が常に有効にされているため、誤操作の訂正のための操作が全て歌唱音に反映されてしまう。また、予め定められた歌詞を演奏に応じて読み出す場合には、誤操作の訂正操作の全てが歌詞の読み出しに反映されてしまう。つまり、誤操作が発生した場合には、本来ユーザが意図していた歌詞よりも先の歌詞までが読み出されてしまうため、演奏が破綻してしまう。   Conventional electronic musical instruments that output singing sounds include musical instruments that output only single singing sounds. In such an instrument, when a plurality of keys are pressed at the same time, a singing sound is output at the pitch of the key pressed first, and a singing sound is output at the pitch of the key pressed last. May be. In the former case, the subsequent operation is invalidated while the first key depression is not released. Therefore, for example, in the case of the second pattern, once an erroneously operated key is validated, the operation of the desired key is invalidated even if the operation is canceled. Cannot output singing sound at high. In the latter case, since the operation is always enabled, all operations for correcting the erroneous operation are reflected in the singing sound. Further, in the case where predetermined lyrics are read according to the performance, all of the erroneous operation correction operations are reflected in the reading of the lyrics. That is, if an erroneous operation occurs, the lyrics before the lyrics originally intended by the user are read out, and the performance fails.

これに対して、本実施形態に係る電子楽器1は、発音する音の1つの音節を示す音節情報(例えば、歌詞テキストデータにおけるカーソル位置の音節の情報)を取得する音節取得部(例えば、CPU10)と、それぞれ1つの音高に対応する複数の操作受付部(例えば、鍵)であって、空間的に並べて配置された複数の操作受付部を備える演奏操作子15と、操作された複数の前記操作受付部に対応する複数の音高の中から、1つの音高を選択する選択部(例えば、CPU10)と、前記音節取得部が取得した前記音節情報が示す1つの音節の音を、前記選択部が選択した音高で、出力部(例えば、サウンドシステム21)から出力させる出力制御部(例えば、CPU10)と、の機能を備える。   On the other hand, the electronic musical instrument 1 according to this embodiment has a syllable acquisition unit (for example, the CPU 10) that acquires syllable information (for example, information on the syllable at the cursor position in the lyrics text data) indicating one syllable of the sound to be generated. ) And a plurality of operation reception units (for example, keys) each corresponding to one pitch, and a plurality of operation operators 15 including a plurality of operation reception units arranged spatially, and a plurality of operated operation reception units 15 A selection unit (for example, the CPU 10) that selects one pitch from a plurality of pitches corresponding to the operation reception unit, and a syllable sound indicated by the syllable information acquired by the syllable acquisition unit, It has a function of an output control unit (for example, CPU 10) that outputs from the output unit (for example, sound system 21) at the pitch selected by the selection unit.

これにより、電子楽器1は、複数の音高が指定された場合であっても、その中からいずれか1つを選択し、選択した音高で歌唱音を出力する。つまり、電子楽器1は、複数の音高を指定する入力に対して、特定の音節の音を適切な音高で出力する。従って、例えば、ユーザが演奏中にミスタッチをしても、ミスタッチのノートオン、ノートオフに応じて歌唱音の音高が変動することがない。そして、電子楽器1は、歌唱音が自然に繋がるように演出することができる。   Thereby, even when a plurality of pitches are designated, the electronic musical instrument 1 selects any one of them and outputs a singing sound at the selected pitch. That is, the electronic musical instrument 1 outputs a specific syllable sound at an appropriate pitch in response to an input designating a plurality of pitches. Therefore, for example, even if the user makes a miss-touch during performance, the pitch of the singing sound does not fluctuate according to the note-on or note-off of the mis-touch. And the electronic musical instrument 1 can produce so that a singing sound may be connected naturally.

また、前記出力制御部は、前記音節取得部が取得した前記音節情報が示す1つの音節の音を、第1の音高で前記出力部から出力させた後、前記選択部が選択した第2の音高に変更して出力させる。
これにより、電子楽器1は、例えば、最初の操作が行われたタイミング、すなわち、ミスタッチが行われ、所望鍵の判定が確定するよりも前のタイミングで、歌唱音の出力を開始する。そして、所望鍵の判定が確定した時点で、歌唱音の音高を所望鍵に対応した音高に変更する。これにより、電子楽器1は、操作からタイムラグを生じずに歌唱音を出力することができる。また、電子楽器1は、ミスタッチに対して、発音する音節(すなわち歌詞)を変えないまま、消音せずに短時間で音高を修正する。そのため、電子楽器1は、聴感上、ミスタッチがあったことを感じさせにくい。
The output control unit outputs the sound of one syllable indicated by the syllable information acquired by the syllable acquisition unit from the output unit at a first pitch, and then selects the second selected by the selection unit. Change to the pitch of and output.
Thereby, for example, the electronic musical instrument 1 starts outputting the singing sound at a timing when the first operation is performed, that is, at a timing before the determination of the desired key is confirmed after a mistouch is performed. When the determination of the desired key is confirmed, the pitch of the singing sound is changed to a pitch corresponding to the desired key. Thereby, the electronic musical instrument 1 can output the singing sound without causing a time lag from the operation. In addition, the electronic musical instrument 1 corrects the pitch in a short time without muting the sound without changing the syllable (ie, lyrics) to be generated in response to a mistouch. Therefore, it is difficult for the electronic musical instrument 1 to feel that there has been a mistouch in terms of hearing.

また、前記出力制御部は、空間的に隣接する複数の前記操作受付部が操作された場合に、1つの音高を選択する。
これにより、電子楽器1は、例えば、空間的に隣接する鍵が操作された場合に、ミスタッチの判定対象とする。ミスタッチは、隣接する鍵に対して発生する確率が高い。従って、電子楽器1は、ミスタッチの判定精度を向上させ、音高の調整が要否を適切に判定することができる。
The output control unit selects one pitch when a plurality of the operation receiving units spatially adjacent to each other are operated.
Thereby, the electronic musical instrument 1 is set as a mistouch determination target when, for example, a spatially adjacent key is operated. There is a high probability that a mistouch will occur for an adjacent key. Therefore, the electronic musical instrument 1 can improve the determination accuracy of mistouch and appropriately determine whether or not the pitch adjustment is necessary.

前記出力制御部は、第1の操作受付部が操作されてから所定期間(例えば、ミスタッチ判定期間)内に、第2の操作受付部が操作された場合に、1つの音高を選択する。
これにより、電子楽器1は、例えば、所定期間内に複数の操作が行われた場合にのみ、ミスタッチの判定対象とする。ミスタッチの訂正操作は、短い時間内に行われる可能性が高い。従って、電子楽器1は、ミスタッチの判定精度を向上させ、音高の調整が要否を適切に判定することができる。
例えば、ミスタッチ判定期間の期間を32分音符長程度の短い期間とし、ミスタッチの判定対象を、隣接する鍵に限定すれば、電子楽器1は、100セント又は200セントの音高を短い期間で調整することになる。そのため、この場合は、音が安定的に出力される時点では、ほぼ所望鍵のみの音高の音として、人の耳には認識される。従って、電子楽器1は、演奏時にミスタッチが発生したことを、聴衆が認識することを防ぐことができる。
The output control unit selects one pitch when the second operation receiving unit is operated within a predetermined period (for example, a mistouch determination period) after the first operation receiving unit is operated.
Accordingly, the electronic musical instrument 1 is set as a mistouch determination target only when a plurality of operations are performed within a predetermined period, for example. The mistouch correction operation is likely to be performed within a short time. Therefore, the electronic musical instrument 1 can improve the determination accuracy of mistouch and appropriately determine whether or not the pitch adjustment is necessary.
For example, if the mistouch determination period is set to a short period of about 32nd note length and the mistouch determination target is limited to adjacent keys, the electronic musical instrument 1 adjusts the pitch of 100 cents or 200 cents in a short period. Will do. Therefore, in this case, at the time when the sound is stably output, it is recognized by the human ear as a sound having only the pitch of the desired key. Therefore, the electronic musical instrument 1 can prevent the audience from recognizing that a mistouch has occurred during performance.

前記音節取得部は、順序付けられた複数の前記音節情報を記憶する記憶部から、前記選択部が複数の音高の中から1つの音高を選択することに応じて順番に前記音節情報を取得する。
これにより、電子楽器1は、予め定められた歌詞を、音高の選択に応じて順次読み出し、歌唱音を発音する。そのため、電子楽器1は、例えば、ユーザがミスタッチの訂正のために複数の操作を行った場合であっても、これら複数の操作に応じてカーソル位置を1つしか進めない。つまり、電子楽器1は、ミスタッチの都度の訂正操作が、それぞれ歌詞の読み出しに反映され、歌詞が余分に読み出されてしまうことを防ぐことができる。
The syllable acquisition unit sequentially acquires the syllable information from a storage unit that stores a plurality of ordered syllable information according to the selection unit selecting one pitch from a plurality of pitches. To do.
Thereby, the electronic musical instrument 1 sequentially reads out predetermined lyrics according to the selection of the pitch, and generates a singing sound. Therefore, for example, even when the user performs a plurality of operations for correcting mistouch, the electronic musical instrument 1 can advance only one cursor position according to the plurality of operations. In other words, the electronic musical instrument 1 can prevent the correction operation for each mistouch from being reflected in the reading of the lyrics, so that the lyrics are not read out excessively.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、特定の機能を発揮するのに不要である場合には、省略することができる。また、上述の実施形態において説明した各構成は、分離して別々の装置に備えられてもよい。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above-described embodiment, and includes a design and the like within a scope not departing from the gist of the present invention. For example, each configuration described in the above embodiment can be omitted when it is not necessary to exhibit a specific function. Moreover, each structure demonstrated in the above-mentioned embodiment may be isolate | separated, and may be provided in a separate apparatus.

なお、上述した実施形態では、一例として、演奏操作子15が鍵盤である場合について説明したが、演奏操作子15は、ギターのように弦が並べて配置された形状であってもよい。また、演奏操作子15は、鍵盤や弦、或いは、音高指定用の複数のボタンをタッチパネルに表示したものであってもよい。つまり、演奏操作子15は、複数の異なる音高を入力するための操作受付部が空間的に並べて配置されたものであればよい。なお、タッチパネルとは、表示モジュールとタッチセンサとを一体に構成して、表示モジュールの表示面に対する操作を検出するようにしたものである。   In the embodiment described above, the case where the performance operator 15 is a keyboard has been described as an example. However, the performance operator 15 may have a shape in which strings are arranged side by side like a guitar. The performance operator 15 may be a keyboard, strings, or a plurality of buttons for pitch designation displayed on a touch panel. That is, the performance operator 15 only needs to have an operation receiving unit for inputting a plurality of different pitches arranged spatially. The touch panel is a display module and a touch sensor that are integrally configured to detect an operation on the display surface of the display module.

また、上述した実施形態では、歌詞テキストデータから音節を順次読み出す態様について説明したが、音節は、他操作子16などを介して、演奏時に別途指定されてもよい。
また、上述した実施形態では、単音の歌唱音を出力する態様について説明したが、電子楽器1は、和音の歌唱音を出力してもよい。
また、上述した実施形態では、MIDI形式のデータを扱う場合について説明したが、これには限られない。例えば、電子楽器1は、マイク入力などの音声データを解析し、発音のタイミングや音高を抽出してもよい。
また、上述した実施形態では、日本語の歌詞を例示したがこれには限られない。日本語では、ほぼ1文字1音節であるが、他の言語では、1文字が1音節にならない場合が多い。例えば、英語の歌詞が「september」の場合は、「sep」「tem」「ber」の3音節となる。この場合、電子楽器1は、演奏操作子15をユーザが操作する度に、各音節を操作された鍵の音高で順次発音する。このように、歌詞は、日本語に限らず他言語であってもよい。
In the above-described embodiment, the syllable is sequentially read from the lyric text data. However, the syllable may be separately specified at the time of performance through the other operation element 16 or the like.
Moreover, although embodiment mentioned above demonstrated the aspect which outputs a single singing sound, the electronic musical instrument 1 may output a chord singing sound.
In the above-described embodiment, the case where the data in the MIDI format is handled has been described. However, the present invention is not limited to this. For example, the electronic musical instrument 1 may analyze sound data such as a microphone input and extract a sound generation timing and pitch.
In the embodiment described above, Japanese lyrics are exemplified, but the present invention is not limited thereto. In Japanese, one character is one syllable, but in other languages, one character often does not become one syllable. For example, if the English lyrics are “september”, the three syllables are “sep”, “tem”, and “ber”. In this case, every time the user operates the performance operator 15, the electronic musical instrument 1 sequentially generates each syllable at the pitch of the operated key. Thus, the lyrics are not limited to Japanese and may be in other languages.

また、上述の電子楽器1の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより電子楽器1としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。   Further, the electronic musical instrument 1 is recorded by recording a program for realizing the functions of the electronic musical instrument 1 on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. You may perform the process of. Here, “loading and executing a program recorded on a recording medium into a computer system” includes installing the program in the computer system. The “computer system” here includes an OS and hardware such as peripheral devices. Further, the “computer system” may include a plurality of computer devices connected via a network including a communication line such as the Internet, WAN, LAN, and dedicated line. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. As described above, the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM. The recording medium also includes a recording medium provided inside or outside that is accessible from the distribution server in order to distribute the program. The code of the program stored in the recording medium of the distribution server may be different from the code of the program that can be executed by the terminal device. That is, the format stored in the distribution server is not limited as long as it can be downloaded from the distribution server and installed in a form that can be executed by the terminal device. Note that the program may be divided into a plurality of parts, downloaded at different timings, and combined in the terminal device, or the distribution server that distributes each of the divided programs may be different. Furthermore, the “computer-readable recording medium” holds a program for a certain period of time, such as a volatile memory (RAM) inside a computer system that becomes a server or a client when the program is transmitted via a network. Including things. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

また、上述した電子楽器1の機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。   Moreover, you may implement | achieve part or all of the function of the electronic musical instrument 1 mentioned above as integrated circuits, such as LSI (Large Scale Integration). Each function described above may be individually made into a processor, or a part or all of them may be integrated into a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where an integrated circuit technology that replaces LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology may be used.

1…電子楽器、10…CPU、11…タイマ、12…ROM、13…RAM、14…データ記憶部、15…演奏操作子、16…他操作子、17…パラメータ値設定操作子、18…表示部、19…音源、20…効果回路、21…サウンドシステム、22…通信I/F、3…外部記憶装置 DESCRIPTION OF SYMBOLS 1 ... Electronic musical instrument, 10 ... CPU, 11 ... Timer, 12 ... ROM, 13 ... RAM, 14 ... Data storage part, 15 ... Performance operator, 16 ... Other operators, 17 ... Parameter value setting operator, 18 ... Display , 19 ... Sound source, 20 ... Effect circuit, 21 ... Sound system, 22 ... Communication I / F, 3 ... External storage device

Claims (7)

発音する音の1つの音節を示す音節情報を取得する音節取得部と、
それぞれ1つの音高に対応する複数の操作受付部であって、空間的に並べて配置された複数の操作受付部を備える入力部と、
操作された複数の前記操作受付部に対応する複数の音高の中から、1つの音高を選択する選択部と、
前記音節取得部が取得した前記音節情報が示す1つの音節の音を、前記選択部が選択した音高で、出力部から出力させる出力制御部と、
を備える発音制御装置。
A syllable acquisition unit that acquires syllable information indicating one syllable of a sound to be generated;
A plurality of operation reception units each corresponding to one pitch, and an input unit including a plurality of operation reception units arranged spatially;
A selection unit for selecting one pitch from a plurality of pitches corresponding to the plurality of operated operation reception units;
An output control unit that outputs the sound of one syllable indicated by the syllable information acquired by the syllable acquisition unit from the output unit at a pitch selected by the selection unit;
A pronunciation control device comprising:
前記出力制御部は、前記音節取得部が取得した前記音節情報が示す1つの音節の音を、前記複数の音高のうちの第1の音高で前記出力部から出力させた後、前記選択部が選択した第2の音高に変更して出力させる
請求項1に記載の発音制御装置。
The output control unit outputs the sound of one syllable indicated by the syllable information acquired by the syllable acquisition unit from the output unit at the first pitch among the plurality of pitches, and then selects the selection. The sound generation control device according to claim 1, wherein the sound output control device is changed to a second pitch selected by the unit and output.
前記出力制御部は、空間的に隣接する複数の前記操作受付部が操作された場合に、1つの音高を選択する
請求項1又は請求項2に記載の発音制御装置。
The sound generation control device according to claim 1, wherein the output control unit selects one pitch when a plurality of the operation receiving units spatially adjacent to each other are operated.
前記出力制御部は、第1の操作受付部が操作されてから所定期間内に、第2の操作受付部が操作された場合に、1つの音高を選択する
請求項1から請求項3のいずれか一項に記載の発音制御装置。
The output control unit selects one pitch when the second operation receiving unit is operated within a predetermined period after the first operation receiving unit is operated. The pronunciation control device according to any one of the above.
前記音節取得部は、順序付けられた複数の前記音節情報を記憶する記憶部から、前記選択部が複数の音高の中から1つの音高を選択することに応じて順番に前記音節情報を取得する
請求項1から請求項4のいずれか一項に記載の発音制御装置。
The syllable acquisition unit sequentially acquires the syllable information from a storage unit that stores a plurality of ordered syllable information according to the selection unit selecting one pitch from a plurality of pitches. The sound generation control device according to any one of claims 1 to 4.
それぞれ1つの音高に対応する複数の操作受付部であって、空間的に並べて配置された複数の操作受付部を備える入力部と、音を出力する出力部と、を備える電子楽器における発音制御方法であって、
発音する音の1つの音節を示す音節情報を取得する第1ステップと、
操作された複数の前記操作受付部に対応する複数の音高の中から、1つの音高を選択する第2ステップと、
前記第1ステップにおいて取得された前記音節情報が示す1つの音節の音を、前記第2ステップにおいて選択された音高で、前記出力部から出力させる第3ステップと、
を含む発音制御方法。
Sound generation control in an electronic musical instrument that includes a plurality of operation reception units each corresponding to a single pitch, the input unit including a plurality of operation reception units arranged spatially and an output unit that outputs sound A method,
A first step of acquiring syllable information indicating one syllable of a sound to be generated;
A second step of selecting one pitch from a plurality of pitches corresponding to the plurality of operated operation receiving units;
A third step of outputting the sound of one syllable indicated by the syllable information acquired in the first step from the output unit at a pitch selected in the second step;
Pronunciation control method including
それぞれ1つの音高に対応する複数の操作受付部であって、空間的に並べて配置された複数の操作受付部を備える入力部と、音を出力する出力部と、通信可能に接続されたコンピュータに、
発音する音の1つの音節を示す音節情報を取得する第1ステップと、
操作された複数の前記操作受付部に対応する複数の音高の中から、1つの音高を選択する第2ステップと、
前記第1ステップにおいて取得された前記音節情報が示す1つの音節の音を、前記第2ステップにおいて選択された音高で、前記出力部から出力させる第3ステップと、
を実行させるためのプログラム。
A plurality of operation receiving units each corresponding to one pitch, an input unit including a plurality of operation receiving units arranged spatially, an output unit for outputting sound, and a computer communicably connected In addition,
A first step of acquiring syllable information indicating one syllable of a sound to be generated;
A second step of selecting one pitch from a plurality of pitches corresponding to the plurality of operated operation receiving units;
A third step of outputting the sound of one syllable indicated by the syllable information acquired in the first step from the output unit at a pitch selected in the second step;
A program for running
JP2016085295A 2016-04-21 2016-04-21 Sound control device, sound control method, and program Active JP6705272B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016085295A JP6705272B2 (en) 2016-04-21 2016-04-21 Sound control device, sound control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016085295A JP6705272B2 (en) 2016-04-21 2016-04-21 Sound control device, sound control method, and program

Publications (2)

Publication Number Publication Date
JP2017194594A true JP2017194594A (en) 2017-10-26
JP6705272B2 JP6705272B2 (en) 2020-06-03

Family

ID=60155499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016085295A Active JP6705272B2 (en) 2016-04-21 2016-04-21 Sound control device, sound control method, and program

Country Status (1)

Country Link
JP (1) JP6705272B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10629179B2 (en) 2018-06-21 2020-04-21 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US10789922B2 (en) 2018-04-16 2020-09-29 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US10810981B2 (en) 2018-06-21 2020-10-20 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US10825433B2 (en) 2018-06-21 2020-11-03 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US10825434B2 (en) 2018-04-16 2020-11-03 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
JP2022116335A (en) * 2019-12-23 2022-08-09 カシオ計算機株式会社 Electronic musical instrument, method, and program
US11417312B2 (en) 2019-03-14 2022-08-16 Casio Computer Co., Ltd. Keyboard instrument and method performed by computer of keyboard instrument

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04349497A (en) * 1991-05-27 1992-12-03 Yamaha Corp Electronic musical instrument
JPH05307389A (en) * 1992-04-28 1993-11-19 Yamaha Corp Electronic musical instrument
JP2008170592A (en) * 2007-01-10 2008-07-24 Yamaha Corp Device and program for synthesizing singing voice
JP2014098801A (en) * 2012-11-14 2014-05-29 Yamaha Corp Voice synthesizing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04349497A (en) * 1991-05-27 1992-12-03 Yamaha Corp Electronic musical instrument
JPH05307389A (en) * 1992-04-28 1993-11-19 Yamaha Corp Electronic musical instrument
JP2008170592A (en) * 2007-01-10 2008-07-24 Yamaha Corp Device and program for synthesizing singing voice
JP2014098801A (en) * 2012-11-14 2014-05-29 Yamaha Corp Voice synthesizing apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789922B2 (en) 2018-04-16 2020-09-29 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US10825434B2 (en) 2018-04-16 2020-11-03 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US10629179B2 (en) 2018-06-21 2020-04-21 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US10810981B2 (en) 2018-06-21 2020-10-20 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US10825433B2 (en) 2018-06-21 2020-11-03 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US11468870B2 (en) 2018-06-21 2022-10-11 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US11545121B2 (en) 2018-06-21 2023-01-03 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US11854518B2 (en) 2018-06-21 2023-12-26 Casio Computer Co., Ltd. Electronic musical instrument, electronic musical instrument control method, and storage medium
US11417312B2 (en) 2019-03-14 2022-08-16 Casio Computer Co., Ltd. Keyboard instrument and method performed by computer of keyboard instrument
JP2022116335A (en) * 2019-12-23 2022-08-09 カシオ計算機株式会社 Electronic musical instrument, method, and program
JP7456460B2 (en) 2019-12-23 2024-03-27 カシオ計算機株式会社 Electronic musical instruments, methods and programs

Also Published As

Publication number Publication date
JP6705272B2 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
JP6705272B2 (en) Sound control device, sound control method, and program
US10354629B2 (en) Sound control device, sound control method, and sound control program
JP6485185B2 (en) Singing sound synthesizer
US20220076651A1 (en) Electronic musical instrument, method, and storage medium
US20220076658A1 (en) Electronic musical instrument, method, and storage medium
US20210295819A1 (en) Electronic musical instrument and control method for electronic musical instrument
TWI471853B (en) Music generating device
JP2023015302A (en) Electronic apparatus, electronic musical instrument, method and program
JP6589356B2 (en) Display control device, electronic musical instrument, and program
JP6809608B2 (en) Singing sound generator and method, program
CN112992110A (en) Audio processing method, device, computing equipment and medium
JP2017058594A (en) Automatic arrangement device and program
JP2019200427A (en) Automatic arrangement method
JP6617441B2 (en) Singing voice output control device
JP6410345B2 (en) Sound preview apparatus and program
JPWO2019026325A1 (en) Difference presentation device, difference presentation method, and difference presentation program
US20230090773A1 (en) Information processing device, method and recording media
JP2016177277A (en) Sound generating device, sound generating method, and sound generating program
WO2018198380A1 (en) Song lyric display device and method
CN110720122A (en) Sound generating device and method
WO2019026233A1 (en) Effect control device
JP2023092120A (en) Consonant length changing device, electronic musical instrument, musical instrument system, method and program
WO2019003348A1 (en) Singing sound effect generation device, method and program
WO2018198381A1 (en) Sound-generating device, method, and musical instrument
WO2018198382A1 (en) Apparatus and method for displaying lyrics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180921

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200427

R151 Written notification of patent or utility model registration

Ref document number: 6705272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151