JP2008165130A - Singing sound synthesizing device and program - Google Patents
Singing sound synthesizing device and program Download PDFInfo
- Publication number
- JP2008165130A JP2008165130A JP2007000412A JP2007000412A JP2008165130A JP 2008165130 A JP2008165130 A JP 2008165130A JP 2007000412 A JP2007000412 A JP 2007000412A JP 2007000412 A JP2007000412 A JP 2007000412A JP 2008165130 A JP2008165130 A JP 2008165130A
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- image
- parameter
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、歌声を電気的に合成する歌唱音合成装置に関し、特に、音符、歌詞および表情などを表す楽曲データの入力を支援する技術に関する。 The present invention relates to a singing sound synthesizer that electrically synthesizes a singing voice, and more particularly to a technique for supporting input of music data representing notes, lyrics, facial expressions, and the like.
歌詞データと音符データとを記憶し、音符データの読出に対応して歌詞データを読み出し、歌詞データに対応した音韻を示す音データを予め生成しておき、その音データにしたがった発音を行うことにより歌詞を歌唱する歌唱音合成装置が各種提案されている。この種の歌唱音合成装置には、人間らしい自然な歌唱音を合成する機能が求められる。人間の歌唱音を観察すると、音符データのみでは直接的には表されない発声の強弱の変化や音量の変化、息成分などを含んでおり、これらが歌唱の人間らしさの一因となっていると考えられる。そこで、従来から、歌唱音合成装置において合成される歌唱音に人間らしい表情(すなわち、発声の変化や音量の変化、息成分など)を与えるための検討がなされてきた。例えば非特許文献1には、歌唱音に表情を与えるための各種パラメータの入力を促したり、その入力内容を個々に確認させたりするためのユーザインタフェイスを歌唱音合成装置に設け、係るユーザインタフェイスを介して入力された各パラメータの示す音響効果や編集を歌唱音に付与することが提案されている。
しかし、非特許文献1に開示された技術では、歌唱音声に表情を与える各パラメータを個別の表示領域に表示させるため、そのパラメータの数が多い場合に大きな表示面積が必要になる。また、上記各パラメータは、時間軸を共有する時系列データとして表されるものであるが、パラメータ毎に異なる領域に表示されるため、パラメータの比較参照を行い難いといった問題点がある。
However, in the technique disclosed in
本発明は、上記課題に鑑みてなされたものであり、時間軸を共有する複数の時系列データの入力または編集を容易にする技術を提供することを目的としている。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that facilitates input or editing of a plurality of time-series data sharing a time axis.
上記課題を解決するため、本発明は、楽曲を構成する音符の音高および発音期間を示す音符データとその音符で発声する歌詞を示す歌詞データとがその発声順に配列された楽譜データと、前記楽譜データと時間軸を共有する複数種類の時系列データであって、前記楽譜データにしたがって合成される歌唱音に与える表情を示すパラメータの時間変化を表す複数種類の時系列データと、を取得する取得手段と、前記取得手段により取得された楽譜データにしたがって、前記楽曲の音高の時間変化および歌詞の時間変化を示す楽譜画像を表示装置に表示させる一方、前記楽譜画像の時間軸に沿って前記複数のパラメータの各々の時間変化を示すグラフを表す画像を前記各時系列データにしたがって合成し、前記各グラフの時間軸と前記楽譜画像の時間軸とを対応させつつ前記楽譜画像と並べて前記表示装置に表示させる表示制御手段と、前記取得手段により取得された楽譜データにしたがって前記楽曲の歌唱音を合成し、前記各パラメータの示す表情を付与して出力する歌唱音合成手段とを有する歌唱音合成装置、を提供する。 In order to solve the above problems, the present invention provides musical score data in which note data indicating the pitches and pronunciation periods of notes constituting a musical piece and lyrics data indicating lyrics uttered by the notes are arranged in the order of the voices, A plurality of types of time-series data sharing a time axis with the score data, and a plurality of types of time-series data representing time changes of parameters indicating facial expressions given to the singing sound synthesized according to the score data According to the musical score data acquired by the acquisition means and the acquisition means, a musical score image showing a temporal change in pitch of the music and a temporal change in lyrics is displayed on the display device, while along the time axis of the musical score image. An image representing a graph showing a time change of each of the plurality of parameters is synthesized according to each time series data, and the time axis of each graph and the score image Display control means for displaying on the display device side by side with the musical score image in correspondence with the interval, and synthesize the singing sound of the music according to the musical score data acquired by the acquisition means, and the facial expression indicated by each parameter A singing sound synthesizing device having a singing sound synthesizing means for giving and outputting.
より好ましい態様においては、上記歌唱音合成装置の表示制御手段は、前記各パラメータの時間変化を示すグラフの画像にその背景色を透明にする透過処理を施した後に各グラフの時間軸を対応させて重ね合わせ、各時間軸を前記楽譜画像の時間軸と対応させつつ前記楽譜画像と並べて前記表示装置に表示させることを特徴とする。また、別の好ましい態様においては、前記表示制御手段は、前記各パラメータの時間変化を示すグラフと時間軸との間の領域にパラメータ毎に異なる色で着色を施して各グラフの時間軸を対応させて重ね合わせ、互いに重なり合う着色領域についてはその重なり具合に応じた色に変換して前記表示装置に表示させることを特徴とする。また、別の好ましい態様においては、上記歌唱音合成装置は、操作手段と、前記操作手段に対する操作にしたがって前記時系列データを更新する更新手段とを有し、前記表示制御手段は、前記表示装置に表示されている複数のグラフのうちの1つが前記操作手段により選択された場合に、そのグラフの画像が最前面に見えるように透過表示の制御を行い、前記更新手段は、前記選択されたグラフを書き換える操作が前記操作手段により為された場合に、そのグラフに対応する時系列データをその書き換え操作にしたがって更新することを特徴とする。 In a more preferred aspect, the display control means of the singing sound synthesizing apparatus associates the time axis of each graph with a transparent process for making the background color transparent to the image of the graph showing the time change of each parameter. And the time axis is aligned with the time axis of the score image and displayed on the display device side by side with the score image. In another preferred embodiment, the display control means applies a color different for each parameter to the area between the graph showing the time change of each parameter and the time axis to correspond to the time axis of each graph. The colored regions that are overlapped and overlap each other are converted to a color corresponding to the overlapping state and displayed on the display device. In another preferable aspect, the singing sound synthesizer includes an operation unit and an update unit that updates the time-series data in accordance with an operation on the operation unit, and the display control unit includes the display device. When one of the plurality of graphs displayed on the screen is selected by the operation means, the transparent display is controlled so that the image of the graph can be seen in the foreground, and the update means controls the selected When an operation of rewriting a graph is performed by the operation means, the time series data corresponding to the graph is updated according to the rewriting operation.
また、上記課題を解決するために、本発明は、コンピュータ装置を、同一の時間軸に沿って時間変化する複数のパラメータの各々について、パラメータ値の時間変化を示す時系列データを取得する取得手段と、前記複数のパラメータの各々の時間変化を示すグラフを表す画像を前記各時系列データにしたがって合成し、各グラフの時間軸を一致させつつ重ね合わせて表示装置に表示させる表示制御手段として機能させるプログラム、を提供する。 Further, in order to solve the above-described problem, the present invention provides a computer device for acquiring time-series data indicating a time change of a parameter value for each of a plurality of parameters that change with time along the same time axis. And a display control unit that combines the images representing the graphs showing the time changes of the plurality of parameters according to the time series data, and displays them on the display device in a superimposed manner while matching the time axes of the graphs. Program to be provided.
本発明によれば、時間軸を共有する複数の時系列データの示す複数のグラフが時間軸を共有して合成表示されるため、ユーザは複数の時系列データの比較参照がし易くなる、といった効果を奏する。 According to the present invention, since a plurality of graphs indicated by a plurality of time-series data sharing a time axis are combined and displayed while sharing a time axis, the user can easily compare and reference a plurality of time-series data. There is an effect.
(A:第1実施形態)
図1は、本発明の一実施形態に係る歌唱音合成装置10の構成例を示すブロック図である。図1に示すように、歌唱音合成装置10は、制御部110、操作部120、表示部130、音声出力部140、記憶部150、および各構成要素間のデータ授受を仲介するバス160を備えている。
(A: 1st Embodiment)
FIG. 1 is a block diagram illustrating a configuration example of a
制御部110は、例えばCPU(Central Processing Unit)であり、歌唱音合成装置10の各部の作動制御を行う制御中枢である。操作部120は、テンキーなどの複数の操作子を備えたキーボードとマウスなどのポインティングデバイスとを含んでいる(何れも図示省略)。操作部120は、上記操作子やポインティングデバイスに対して為された操作を表すデータ(例えば、押下された操作子を示す識別子やポインティングデバイスの移動量を示すデータ)を制御部110に引き渡す。これにより、操作部120に対するユーザの操作内容が制御部110に伝達されることとなる。
The
表示部130は、例えば液晶ディスプレイとその駆動回路であり(何れも図示省略)、制御部110から引き渡された画像データの表す画像を表示する。音声出力部140は、D/Aコンバータ、アンプおよびスピーカを含んでいる(何れも図示省略)。音声出力部140は、制御部110から受け取った音声データをD/Aコンバータによって音声信号に変換し、その音声信号をアンプによって適宜増幅した後にスピーカに与え、その音声データの表す音を出力する。
The
記憶部150は、図1に示すように、揮発性記憶部150aと不揮発性記憶部150bとを含んでいる。揮発性記憶部150aは、例えばRAM(Random Access Memory)であり、各種ソフトウェアにしたがって作動している制御部110によってワークエリアとして利用される。一方、不揮発性記憶部150bは、例えばハードディスクであり、各種データや各種プログラムを記憶している。
As shown in FIG. 1, the
不揮発性記憶部150bに記憶されているデータの一例としては、図1に示す楽曲データベース152および音韻データベース154に格納されているデータが挙げられる。図1に示す楽曲データベース152には、楽曲を一意に示す楽曲識別子(例えば、楽曲名を示す文字列データ等)に対応付けて、その楽曲の歌唱音の合成に用いられる楽譜データと、その歌唱音に与える表情を示すパラメータとが格納されている。一方、音韻データベース154は、歌唱合成の際に参照される音韻データの集合体である。この音韻データベース154では、発声する音声の種類、例えば、男声、女声、あるいは特定の歌手等ごとに音韻データの集合体が予め用意されている。
As an example of data stored in the
楽譜データには、その楽譜データに対応付けられている楽曲識別子で識別される楽曲を構成する各音符の音高および発音期間(例えば、発声時刻と音符の長さ)を示す音符データと、音符に合わせて発声する歌詞を示す歌詞データとが含まれている。この楽譜データは、楽曲の開始から発声順序に合わせて、個々の音符に対応した音符データと歌詞データとを時系列的に並べたものであり、楽譜データ内において音符データと歌詞データとは音符単位で対応付けられている。 The musical score data includes note data indicating the pitch and pronunciation period (for example, utterance time and note length) of each note constituting the musical piece identified by the musical piece identifier associated with the musical score data, and the musical note. And lyrics data indicating lyrics to be uttered in accordance with. This score data is a chronological arrangement of note data and lyric data corresponding to individual notes in accordance with the utterance order from the start of the music. In the score data, note data and lyric data are Corresponds in units.
一方、パラメータは、音符の発声態様を示すパラメータとピッチベンドに関するパラメータとに分類される。音符の発声態様を示すパラメータとは、音符の発声の強弱を示す“VEL”、音量を示す“DYN”、息成分の強弱を示す“BRE”、声のトーンを示す“BRI”、声の透明感を示す“CLE”、性別・年齢的な変化を示す“GEN”、および、音符のつながりの滑らかさを示す“POR”の7種類である。また、ピッチベンドに関するパラメータとは、ピッチベンドの有無を示す“PIT”およびピッチベンドの最大幅を示す“PBS”の2種類である。これら9種類のパラメータは、何れも、楽曲の再生開始時点を原点とする時間軸上の時刻におけるパラメータ値の配列(すなわち、時間軸を共有する時系列データ)として楽曲データベース152に楽曲毎に格納されている。なお、本実施形態では、電気的に合成する歌唱音声に人間らしい表情を与えるパラメータとして上記9種類を用いる場合について説明するが、これら9種類のうちの何れか8種類以下を用いても良く、また、これら9種類に他の1又は複数のパラメータを加えて用いても良い。以下では、楽曲識別子に対応付けて楽曲データベース152に格納されている楽譜データと各パラメータとの組を「楽曲データ」とも呼ぶ。 On the other hand, parameters are classified into parameters indicating the utterance mode of notes and parameters relating to pitch bend. The parameters indicating the utterance mode of the note are “VEL” indicating the strength of the utterance of the note, “DYN” indicating the volume, “BRE” indicating the strength of the breath component, “BRI” indicating the tone of the voice, transparency of the voice There are seven types: “CLE” indicating a feeling, “GEN” indicating a change in gender and age, and “POR” indicating a smooth connection of musical notes. The parameters relating to pitch bend are two types, “PIT” indicating the presence or absence of pitch bend and “PBS” indicating the maximum width of the pitch bend. All these nine types of parameters are stored for each song in the song database 152 as an array of parameter values at the time on the time axis starting from the playback start point of the song (that is, time-series data sharing the time axis). Has been. In the present embodiment, the case where the above nine types are used as parameters for giving a human-like expression to the singing voice to be electrically synthesized will be described. However, any one of these nine types may be used. These nine types may be used by adding one or more other parameters. Hereinafter, a set of score data and each parameter stored in the music database 152 in association with a music identifier is also referred to as “music data”.
不揮発性記憶部150bに格納されているプログラムの一例としては、所謂オペレーションシステム(Operation System:以下、「OS」)を制御部110に実現させるOSプログラム(図示省略)や曲編集プログラム156、および歌唱合成プログラム158が挙げられる。OSプログラムにしたがって作動している制御部110には、歌唱音合成装置10の各部の作動制御を行う機能、各種入力をユーザに促すためのGUIを提供する機能、およびユーザの指示に応じて他のプログラムを実行する機能が付与される。曲編集プログラム156とは、図2に示す楽曲データ入出力画面を表示部130に表示させ、楽曲データの閲覧および編集をユーザに促す処理を制御部110に実行させるためのプログラムである。この楽曲データ入出力画面については後に詳細に説明する。一方、歌唱合成プログラム158とは、ユーザにより指定された楽曲識別子により識別される楽曲の歌唱音をユーザにより指定された声質および表情で合成し出力する処理を、その楽曲に対応する楽曲データおよび音韻データベースの格納内容にしたがって制御部110に実行させるプログラムである。このように、OSプログラムにしたがって作動している制御部110が歌唱合成プログラム158にしたがって行う処理は、一般的な歌唱合成処理と同一である。このため、以下では、曲編集プログラム156にしたがって作動している制御部110が行う処理を中心に説明する。
As an example of the program stored in the
OSプログラムにしたがって作動している制御部110は、曲編集プログラム156の実行を指示する旨の操作が操作部120に対して為されると、その操作内容を示すデータを操作部120から受け取り、そのデータの示す指示に従って曲編集プログラム156を不揮発性記憶部150bから揮発性記憶部150aに読み出し、その実行を開始する。曲編集プログラムにしたがって作動している制御部110は、図3に示すように、データアクセス手段310、表示制御手段320、および操作内容判定手段330の各ソフトウェアモジュールとして機能する。
When an operation for instructing execution of the
データアクセス手段310は、楽曲データベース152からの楽曲データの取得、および楽曲データベース152の格納内容の更新を行う機能を担っている。より詳細に説明すると、データアクセス手段310は、操作部120を介して入力された楽曲識別子に対応する楽曲データを楽曲データベース152から読み出し、その楽曲識別子と対応付けて揮発性記憶部150a内の所定領域に書き込む。揮発性記憶部150aの所定領域に書き込まれた楽曲データは、楽曲データ入出力画面(図2参照)を表示部130に表示させる際に表示制御手段320によって利用される。また、揮発性記憶部150a内の所定領域に格納された楽曲データは、楽曲データ入出力画面に対してユーザが行った編集操作に応じて適宜更新される。そして、操作部120を介して登録指示が入力されると、データアクセス手段310は、上記所定領域に格納されている楽曲データで楽曲データベース152内の該当楽曲データを上書き更新する。
The data access means 310 has a function of acquiring music data from the music database 152 and updating the stored contents of the music database 152. More specifically, the
表示制御手段320は、データアクセス手段310によって揮発性記憶部150a内の所定領域に書き込まれた楽曲データにしたがって、図2に示す楽曲データ入出力画面を表示部130に表示させる。図2に示すように、楽曲データ入出力画面は、楽譜データ入出力領域210、パラメータ選択領域220およびパラメータ入出力領域230の3つの入出力領域に分けられる。
The
楽譜データ入出力領域210は、揮発性記憶部150a内の所定領域に楽曲識別子に対応付けて格納されている楽曲データに含まれる楽譜データにしたがって、その楽曲識別子で識別される楽曲の歌唱音の音高(以下、「ピッチ」とも呼ぶ)および歌詞の時間変化を示す画像を表示するための入出力領域である。この楽譜データ入出力領域210には、縦軸が音高を示す一方、横軸が時間を示す座標平面上に、音符データの示す音符の長さに応じた長さの棒状の画像をその音符データの示す音高および発声時刻に対応する座標位置に配置してなる楽譜画像が表示制御手段320によって表示される。この楽譜画像は、図2に示すように、ピアノの鍵盤を模した画像がピッチのスケールとして上記縦軸に沿って配列されているためピアノロール画像とも呼ばれる。また、図2を参照すれば明らかなように、本実施形態に係る楽譜画像においては、各音符データに対応する棒状画像の近傍に、その音符データに対応する歌詞データの示す歌詞を示す文字列画像が配置される。楽譜データ入出力領域210に表示される楽譜画像を視認したユーザは、その楽譜画像における上記棒状画像の配列等から楽曲のピッチおよび歌詞の時間変化を直感的に把握することができる。なお、本実施形態では、楽曲のピッチおよび歌詞の時間変化を表す楽譜画像としてピアノロール画像を用いる場合について説明するが、例えば、各音符データにしたがって五線譜上に音符を記譜してなる楽譜画像を用いても勿論良い。
The score data input /
パラメータ選択領域220には、前述した9種類のパラメータのうちの何れを表示または編集するのかをユーザに指示させるための画像が表示される。図2に示すように、パラメータ選択領域220に表示される画像には、前述した9種類のパラメータのうちから表示対象のものをユーザに指示させるためのチェックボックス(以下、表示指示ボックス)と、ユーザに選択されたパラメータのうちから編集対象のものをユーザに指示させるためのチェックボックス(以下、編集指示ボックス)が含まれている。ユーザは操作部120を適宜操作して上記各チェックボックスをクリックすることにより、表示対象のパラメータの選択をしたり、表示させたパラメータのうちから編集対象のものを1つ選択することができる。ユーザが何れのチェックボックスを指定または解除する操作を行ったかは操作部120から引き渡されるデータを解析することにより操作内容判定手段330によって判定され、その判定結果を示すデータが表示制御手段320に引き渡される。一方、表示制御手段320は、ユーザの操作内容を示すデータを操作内容判定手段330から受け取る毎に、表示対象として指定されたパラメータの時間変化を示すグラフの画像をパラメータ入出力領域230に表示させる。なお、表示制御手段320は、表示対象のパラメータの選択が未だ為されていない状況下では、パラメータ入出力領域230に例えば白一色などの下地画像を表示させる。
In the
より詳細に説明すると、表示制御手段320は、パラメータ選択領域220内の表示指示ボックスが選択されたことを示すデータを操作内容判定手段330から受け取ると、その表示指示ボックスに対応するパラメータの時間変化を楽譜画像と同一の時間軸上で示すグラフを表す画像データを透過モードで生成する。ここで、透過モードとは、透過処理(すなわち、グラフの背景部分を透明にする処理)を施して画像データを生成するモードである。そして、表示制御手段320は、上記透過モードで生成した画像データの表す画像をパラメータ入出力領域230に重ね合わせて表示させる。例えば、音符の発声の強弱を示す“VEL”、音量を示す“DYN”、および息成分の強弱を示す“BRE”の3種類のパラメータについての表示指定ボックスをこの順に選択する操作が為された場合には、表示制御部320は、図4(A)に示すように、各パラメータの時間変化を示すグラフをその選択順に下地画像に重ね合わせてパラメータ入出力領域230に表示する。ここで、上記3種類のパラメータが図5(A)、(B)および(C)に示すように時間変化している場合には、表示部130には図6に示す楽曲データ入出力画面が表示されることになる。この例においては、図6を参照すれば明らかなように、パラメータ入出力領域230に重ね合わせて表示される各グラフの画像には透過処理が施されているため、ユーザは上記3種類のパラメータの時間変化を一括して把握することができる。
More specifically, when the
一方、表示制御手段320は、編集指示ボックスが選択されたことを示すデータを操作内容判定手段330から受け取ると、その編集指示ボックスに対応するパラメータのグラフを表す画像に対して、グラフの描線を点線に変更する処理を施した後に最前面に移動させる。なお、編集対象として指定されたパラメータの線種別を他のグラフと異ならせる理由は、編集対象のグラフをユーザに明確に把握させるためであるが、編集対象のグラフの描線の色を他のグラフと異ならせることにより編集対象をユーザに明確に把握させても良い。
On the other hand, when the
例えば、図6に示す楽曲データ入出力画面が表示部130に表示されている状況下で、音符の発声の強弱を示す“VEL”についての編集指定ボックスが選択されると、表示制御手段320は、このパラメータの時間変化を示すグラフ(図5(A)参照)の画像にグラフの描画線の種別を変更する処理を施した後に、図4(B)に示すようにパラメータ入出力領域230の最前面に移動させる。その結果、表示部130には、図7に示す曲データ入出力画面が表示されることになる。この例において、パラメータ入出力領域230の最前面に表示されるグラフは他のグラフとは異なる種別の線で描画されているため、編集対象のグラフをユーザに明確に把握させることができる。また、図7に示す曲データ入出力画面のパラメータ入出力領域230に表示される各グラフ画像には透過処理が施されているため、他のパラメータの時間変化を参照しつつ編集対象のパラメータの時間変化を更新することが容易になる。
For example, in a situation where the music data input / output screen shown in FIG. 6 is displayed on the
以上に説明したように、本実施形態に係る歌唱音合成装置10によれば、楽曲の歌唱音のピッチの時間変化を示す楽譜画像とともに、ユーザにより選択された複数のパラメータの時間変化を示す各グラフを重ね合わせて合成した画像が上記楽譜画像の時間軸に沿って表示される。このため、パラメータ毎に入出力領域を用いる必要はなく、表示部130の描画領域を無駄に使うことはなく、時間軸を共有する複数種類の時系列データにより表される各パラメータの時間変化を比較・参照および編集することが容易になる、といった効果を奏する。なお、本実施形態では、本発明に係る歌唱音合成装置に特徴的な時系列データ表示機能をソフトウェアモジュールで実現する場合について説明したが、ハードウェアモジュールで実現しても良いことは勿論である。
As described above, according to the singing
(B:その他の実施形態)
以上、本発明の一実施形態について説明したが、係る実施形態に以下に述べる変形を加えても良いことは勿論である。
(1)上述した実施形態では、1台のコンピュータ装置に楽曲データ編集処理と楽曲データにしたがって歌唱合成を実行する歌唱合成処理とを実行させる場合について説明した。しかしながら、楽曲データ編集処理と歌唱合成処理とを各々別個のコンピュータ装置に実行させても良い。
(B: Other embodiments)
Although one embodiment of the present invention has been described above, it goes without saying that modifications described below may be added to such an embodiment.
(1) In the above-described embodiment, a case has been described in which a single computer apparatus performs a song data editing process and a song synthesis process for performing song synthesis according to song data. However, the music data editing process and the song composition process may be executed by separate computer devices.
(2)上述した実施形態では、ユーザにより表示指定された複数のパラメータの各々の時間変化を示すグラフに透過処理を施した後に重ね合わせて表示させる場合について説明したが、各パラメータの時間変化を把握し易くするためにパラメータ毎にグラフ描画に用いる線の種別を異ならせても良く、線の色を異ならせても勿論良い。また、グラフを描く線の色や種類で各パラメータを示すのではなく、グラフ曲線と時間軸との間の領域にパラメータ毎に異なる着色、または選択順に応じた着色を施すようにしても良い。具体的には、1番目に選択されるパラメータについては赤で、2番目に選択されるパラメータについては黄で、3番目に選択されるパラメータについては青で、グラフ曲線と時間軸との間の領域を着色する等すれば良い。そして、これら着色を施したグラフ画像に透過処理を施して重ね合わせる際には、着色した各領域を有色透明に変換し、さらに、互いに重なり合う着色領域については、その重なり具合に応じた色に変換する処理を施せば良い。上記の例で、赤で着色した領域の上に黄で着色した領域が重なっている場合には、その重なっている部分については黄色がかったオレンジ色に変換すれば良く、黄で着色した領域の上に青で着色した領域が重なっている場合には、その重なっている部分については青味がかった緑色に変換すれば良い。このような変換処理を施せば、重なり部分の色合いで各パラメータの重なり順をユーザに把握させることが可能である。なお、重なり部分の色合いの決定や色の変換には既存の画像処理アルゴリズムを用いることが可能である。 (2) In the above-described embodiment, a case has been described in which a graph indicating a time change of each of a plurality of parameters designated for display by a user is subjected to a transparent process and then superimposed and displayed. In order to make it easy to grasp, the type of line used for graph drawing may be different for each parameter, and of course, the color of the line may be different. Further, instead of indicating each parameter by the color or type of a line for drawing a graph, a different color for each parameter or a color according to the selection order may be applied to a region between the graph curve and the time axis. Specifically, the first selected parameter is red, the second selected parameter is yellow, the third selected parameter is blue, and the distance between the graph curve and the time axis What is necessary is just to color an area | region. When these colored graph images are subjected to transparency processing and superimposed, the colored areas are converted to colored and transparent, and the colored areas that overlap each other are converted to colors according to the degree of overlap. What is necessary is just to give the process to do. In the above example, if the yellow colored area overlaps the red colored area, the overlapping part may be converted to yellowish orange, and the yellow colored area When the area colored in blue overlaps, the overlapping portion may be converted to bluish green. By performing such conversion processing, it is possible to make the user understand the overlapping order of the parameters by the hue of the overlapping portion. An existing image processing algorithm can be used for determining the color of the overlapped portion and for converting the color.
(3)上述した実施形態では、曲頭から曲末尾までの楽曲のピッチの時間変化を示す楽譜画像および各種パラメータの時間変化を示す画像を一括して表示部130に表示させる場合について説明した。しかしながら、例えばノート型パソコンやPDA(Personal Digital Assistants)など据え置き型パソコンに比較して狭い描画領域しか有さないコンピュータ装置で曲編集プログラムを実行する場合には、一曲分の楽譜画像全体の一括表示ができなかったり、視認に耐えないほどの縮小を行わなければ表示できない場合がある。そこで、一曲分の楽譜画像全体の一括表示を行うに充分な広さの描画領域がない場合には、一般的なワードプロセッサ画面や表計算画面などと同様にスクロールバーおよびスクロールボタンを設け、所定の時間範囲毎および所定のピッチ範囲毎に楽譜画像を分割して表示すれば良い。ただし、所定の時間範囲毎に楽譜画像を表示しスクロールボタン等で時間範囲の切り替えを行う場合には、パラメータの時間変化を示すグラフの時間範囲につても楽譜画像の時間範囲に同期させて表示を切り替える必要がある。
(3) In the above-described embodiment, the case has been described in which the score image indicating the time change of the pitch of the music from the beginning of the music to the end of the music and the image indicating the time change of the various parameters are collectively displayed on the
(4)上述した実施形態では、時間軸を共有する複数種類の時系列データの各々により表される各パラメータの時間変化を表すグラフを1つの画像に合成して表示部130に表示させる処理を制御部110に実行させる時系列データ表示制御プログラムが歌唱音合成装置10に予めインストールされている場合について説明した。しかし、上記時系列データ表示制御プログラムをCD−ROM(Compact Disk-Read Only Memory)やDVD(Digital Versatile Disk)などのコンピュータ装置読み取り可能な記録媒体に書き込んで配布しても良く、また、インターネットなどの電気通信回線を介したダウンロードにより上記時系列データ表示制御プログラムを配布しても良い。このようにして配布される時系列データ表示制御プログラムを一般的なコンピュータ装置にインストールすることによって、そのコンピュータ装置に前述したパラメータ表示制御モジュールと同一の機能を付与することが可能になる。
(4) In the above-described embodiment, the process of combining the graph representing the time change of each parameter represented by each of a plurality of types of time-series data sharing the time axis into one image and causing the
10…歌唱音合成装置、110…制御部、120…操作部、130…表示部、140…音声出力部、150…記憶部、150a…揮発性記憶部、150b…不揮発性記憶部、160…バス。
DESCRIPTION OF
Claims (5)
前記取得手段により取得された楽譜データにしたがって、前記楽曲の音高の時間変化および歌詞の時間変化を示す楽譜画像を表示装置に表示させる一方、前記楽譜画像の時間軸に沿って前記複数のパラメータの各々の時間変化を示すグラフを表す画像を前記各時系列データにしたがって合成し、前記各グラフの時間軸と前記楽譜画像の時間軸とを対応させつつ前記楽譜画像と並べて前記表示装置に表示させる表示制御手段と、
前記取得手段により取得された楽譜データにしたがって前記楽曲の歌唱音を合成し、前記各パラメータの示す表情を付与して出力する歌唱音合成手段と
を有する歌唱音合成装置。 Musical score data in which musical note data indicating the pitches and pronunciation periods of the musical notes constituting the musical piece and lyrics data indicating the lyrics uttered by the musical notes are arranged in the order of voice production, and a plurality of types sharing the time axis with the musical score data Time series data, and a plurality of types of time series data representing a time change of a parameter indicating a facial expression given to a singing sound synthesized according to the musical score data;
In accordance with the musical score data acquired by the acquisition means, the musical score image showing the time change of the pitch of the music and the time change of the lyrics is displayed on the display device, while the plurality of parameters along the time axis of the musical score image An image representing a graph showing each time change is synthesized according to each time series data, and the time axis of each graph and the time axis of the score image are associated with each other and displayed on the display device along with the score image. Display control means,
A singing sound synthesizing device comprising: synthesizing the singing sound of the music according to the score data acquired by the acquiring means, and adding and outputting a facial expression indicated by each parameter.
ことを特徴とする請求項1に記載の歌唱音合成装置。 The display control means performs a transparent process for making a background color transparent on a graph image showing a time change of each parameter and then superimposes the time axes of the graphs in correspondence with each other so that each time axis is the score image. The singing sound synthesizing apparatus according to claim 1, wherein the singing sound synthesizing apparatus according to claim 1 is displayed on the display device side by side with the musical score image while being associated with the time axis.
ことを特徴とする請求項2に記載の歌唱音合成装置。 The display control means is a colored region in which an area between the graph showing the time change of each parameter and the time axis is colored with a different color for each parameter, and the time axes of the respective graphs are overlapped and overlapped with each other. The singing sound synthesizing apparatus according to claim 2, wherein the singing sound synthesizing apparatus is converted into a color corresponding to the degree of overlap and displayed on the display device.
前記表示制御手段は、前記表示装置に表示されている複数のグラフのうちの1つが前記操作手段により選択された場合に、そのグラフの画像が最前面に見えるように透過表示の制御を行い、
前記更新手段は、前記選択されたグラフを書き換える操作が前記操作手段により為された場合に、そのグラフに対応する時系列データをその書き換え操作にしたがって更新する
ことを特徴とする請求項2に記載の歌唱音合成装置。 An operation means, and an update means for updating the time-series data in accordance with an operation on the operation means,
The display control means, when one of a plurality of graphs displayed on the display device is selected by the operation means, controls the transparent display so that the image of the graph can be seen in the foreground,
The update means updates the time-series data corresponding to the graph according to the rewrite operation when the operation means rewrites the selected graph. Singing sound synthesizer.
同一の時間軸に沿って時間変化する複数のパラメータの各々について、パラメータ値の時間変化を示す時系列データを取得する取得手段と、
前記複数のパラメータの各々の時間変化を示すグラフを表す画像を前記各時系列データにしたがって合成し、各グラフの時間軸を一致させつつ重ね合わせて表示装置に表示させる表示制御手段と、
して機能させるプログラム。
Computer equipment,
For each of a plurality of parameters that change over time along the same time axis, acquisition means for acquiring time-series data indicating the time change of the parameter value;
Display control means for composing an image representing a graph showing a time change of each of the plurality of parameters according to each time series data, and superimposing and displaying on the display device while matching the time axes of the respective graphs;
Program to make it work.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007000412A JP4858173B2 (en) | 2007-01-05 | 2007-01-05 | Singing sound synthesizer and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007000412A JP4858173B2 (en) | 2007-01-05 | 2007-01-05 | Singing sound synthesizer and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008165130A true JP2008165130A (en) | 2008-07-17 |
JP4858173B2 JP4858173B2 (en) | 2012-01-18 |
Family
ID=39694690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007000412A Active JP4858173B2 (en) | 2007-01-05 | 2007-01-05 | Singing sound synthesizer and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4858173B2 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010060886A (en) * | 2008-09-04 | 2010-03-18 | Yamaha Corp | Audio processing apparatus and program |
JP2011100055A (en) * | 2009-11-09 | 2011-05-19 | Yamaha Corp | Voice synthesizer |
JP2011164162A (en) * | 2010-02-05 | 2011-08-25 | Kwansei Gakuin | Support device for giving expression to performance |
JP2012022121A (en) * | 2010-07-14 | 2012-02-02 | Yamaha Corp | Speech synthesizer |
CN103187046A (en) * | 2011-12-27 | 2013-07-03 | 雅马哈株式会社 | Display control apparatus and method |
JP2014501941A (en) * | 2011-04-28 | 2014-01-23 | チジェンス カンパニー リミテッド | Music content production system using client terminal |
JP2014089475A (en) * | 2014-01-15 | 2014-05-15 | Yamaha Corp | Voice synthesizer and program |
WO2014142200A1 (en) * | 2013-03-15 | 2014-09-18 | ヤマハ株式会社 | Voice processing device |
JP2015148750A (en) * | 2014-02-07 | 2015-08-20 | ヤマハ株式会社 | Singing synthesizer |
JP2016177276A (en) * | 2015-03-20 | 2016-10-06 | ヤマハ株式会社 | Pronunciation device, pronunciation method, and pronunciation program |
US9997153B2 (en) | 2015-08-21 | 2018-06-12 | Yamaha Corporation | Information processing method and information processing device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07286865A (en) * | 1994-04-18 | 1995-10-31 | Hioki Ee Corp | Method for displaying measurement data on graphic display section |
JP2000035448A (en) * | 1998-07-15 | 2000-02-02 | Yokogawa Electric Corp | Wave-form display device |
JP2004164459A (en) * | 2002-11-15 | 2004-06-10 | Fujitsu Ten Ltd | Waveform editing program, computer-readable recording medium recording waverform editing program therein, and waveform editing device |
JP2004258563A (en) * | 2003-02-27 | 2004-09-16 | Yamaha Corp | Device and program for score data display and editing |
JP2004264676A (en) * | 2003-03-03 | 2004-09-24 | Yamaha Corp | Apparatus and program for singing synthesis |
JP2006030692A (en) * | 2004-07-16 | 2006-02-02 | Yamaha Corp | Musical instrument performance training device and program therefor |
-
2007
- 2007-01-05 JP JP2007000412A patent/JP4858173B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07286865A (en) * | 1994-04-18 | 1995-10-31 | Hioki Ee Corp | Method for displaying measurement data on graphic display section |
JP2000035448A (en) * | 1998-07-15 | 2000-02-02 | Yokogawa Electric Corp | Wave-form display device |
JP2004164459A (en) * | 2002-11-15 | 2004-06-10 | Fujitsu Ten Ltd | Waveform editing program, computer-readable recording medium recording waverform editing program therein, and waveform editing device |
JP2004258563A (en) * | 2003-02-27 | 2004-09-16 | Yamaha Corp | Device and program for score data display and editing |
JP2004264676A (en) * | 2003-03-03 | 2004-09-24 | Yamaha Corp | Apparatus and program for singing synthesis |
JP2006030692A (en) * | 2004-07-16 | 2006-02-02 | Yamaha Corp | Musical instrument performance training device and program therefor |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010060886A (en) * | 2008-09-04 | 2010-03-18 | Yamaha Corp | Audio processing apparatus and program |
JP2011100055A (en) * | 2009-11-09 | 2011-05-19 | Yamaha Corp | Voice synthesizer |
JP2011164162A (en) * | 2010-02-05 | 2011-08-25 | Kwansei Gakuin | Support device for giving expression to performance |
JP2012022121A (en) * | 2010-07-14 | 2012-02-02 | Yamaha Corp | Speech synthesizer |
JP2014501941A (en) * | 2011-04-28 | 2014-01-23 | チジェンス カンパニー リミテッド | Music content production system using client terminal |
CN103187046A (en) * | 2011-12-27 | 2013-07-03 | 雅马哈株式会社 | Display control apparatus and method |
US9639966B2 (en) | 2011-12-27 | 2017-05-02 | Yamaha Corporation | Visually displaying a plurality of attributes of sound data |
CN105051811A (en) * | 2013-03-15 | 2015-11-11 | 雅马哈株式会社 | Voice processing device |
WO2014142200A1 (en) * | 2013-03-15 | 2014-09-18 | ヤマハ株式会社 | Voice processing device |
JP2014089475A (en) * | 2014-01-15 | 2014-05-15 | Yamaha Corp | Voice synthesizer and program |
JP2015148750A (en) * | 2014-02-07 | 2015-08-20 | ヤマハ株式会社 | Singing synthesizer |
JP2016177276A (en) * | 2015-03-20 | 2016-10-06 | ヤマハ株式会社 | Pronunciation device, pronunciation method, and pronunciation program |
US9997153B2 (en) | 2015-08-21 | 2018-06-12 | Yamaha Corporation | Information processing method and information processing device |
Also Published As
Publication number | Publication date |
---|---|
JP4858173B2 (en) | 2012-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4858173B2 (en) | Singing sound synthesizer and program | |
EP2680254B1 (en) | Sound synthesis method and sound synthesis apparatus | |
US10354627B2 (en) | Singing voice edit assistant method and singing voice edit assistant device | |
US20060230909A1 (en) | Operating method of a music composing device | |
JP6665446B2 (en) | Information processing apparatus, program, and speech synthesis method | |
JP5625321B2 (en) | Speech synthesis apparatus and program | |
JP2007093820A (en) | Concert system | |
JP2009258292A (en) | Voice data processor and program | |
JP5509536B2 (en) | Audio data processing apparatus and program | |
JP2015049253A (en) | Voice synthesizing management device | |
JP2011164162A (en) | Support device for giving expression to performance | |
JP6520162B2 (en) | Accompaniment teaching device and accompaniment teaching program | |
JP6179221B2 (en) | Sound processing apparatus and sound processing method | |
JP6255744B2 (en) | Music display device and music display method | |
JP5387642B2 (en) | Lyric telop display device and program | |
JP3807380B2 (en) | Score data editing device, score data display device, and program | |
JP6341032B2 (en) | Apparatus and program for processing musical tone information | |
JP2013195982A (en) | Singing synthesis device and singing synthesis program | |
JP2013156542A (en) | Guitar chord display device and program | |
JP5969421B2 (en) | Musical instrument sound output device and musical instrument sound output program | |
JP5790860B2 (en) | Speech synthesizer | |
JP2024057180A (en) | PROGRAM, SOUND PROCESSING METHOD AND SOUND PROCESSING SYSTEM | |
JP4508196B2 (en) | Song editing apparatus and song editing program | |
JP4033146B2 (en) | Karaoke equipment | |
CN117877459A (en) | Recording medium, sound processing method, and sound processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20110623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111004 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111017 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4858173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |