JP2013137520A - 音楽データ編集装置 - Google Patents

Abstract

【課題】音声合成に適用される制御情報の直観的な編集を可能にする。
【解決手段】記憶装置１４は、合成音の音高および発音時点と音声合成に適用される制御情報とを音符毎に指定する音楽データＤBを記憶する。表示制御部３２は、音高軸と時間軸とが設定された楽譜領域のうち音楽データＤBが指定する音高および発音時点に対応する位置に音符図形を音符毎に表示させ、楽譜領域の表示倍率が閾値を上回る場合に、楽譜領域内の各音符図形に対応する位置に、当該音符図形が示す音符の制御情報の変更の指示を受付ける編集画像（遷移画像）を配置する。編集処理部３４は、各音符の編集画像に対する利用者からの指示に応じて当該音符の制御情報を編集する。
【選択図】図１

Description

本発明は、音符の時系列を指定する音楽データを編集する技術に関する。

音声合成や楽音合成等の音響合成に使用される音楽データを表示および編集する技術が従来から提案されている。例えば音声合成に適用される音楽データは、合成音の音高と発音期間と音声符号（例えば歌詞の文字）と制御情報とを音符毎に指定する。制御情報は、音声合成に適用されて合成音の特性を制御する情報であり、例えば発音開始直後のピッチの変動（ベンド）やビブラートの態様（種類や継続長）を指定する。特許文献１には、音楽データで指定される各音符を表現する図形（以下「音符図形」という）を、音高軸と時間軸とが設定されたピアノロール型の楽譜領域に配置し、各音符図形に対する利用者からの指示に応じて音楽データを編集する技術が開示されている。各音符の音符図形の近傍には、その音符の制御情報を表現する図形（例えばビブラートを表現する図形）が配置される。

特許第４４５６０８８号公報

特許文献１の技術では、例えば利用者が選択した音符の制御情報を編集するための設定画面を楽譜領域とは別個に表示し、設定画面に対する利用者からの指示に応じて制御情報を編集する構成が採用され得る。しかし、各音符図形とは独立した設定画面に対する操作では、各音符の制御情報を利用者が直観的に把握して所望の数値に設定することは困難である。以上の事情を考慮して、本発明は、制御情報の直観的な編集を可能にすることを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の音楽データ編集装置は、合成音の音高および発音時点と音響合成に適用される制御情報とを音符毎に指定する音楽データを編集する装置であって、音高軸と時間軸とが設定された楽譜領域のうち音楽データが指定する音高および発音時点に対応する位置に音符図形を音符毎に表示させる手段であって、楽譜領域内の各音符図形に対応する位置に、当該音符図形が示す音符の制御情報の変更の指示を受付ける編集画像（例えば遷移画像ＱA，変数指示画像ＱB，処理選択画像ＱC，遷移画像ＱD）を配置する表示制御手段（例えば表示制御部３２）と、各音符の編集画像に対する利用者からの指示に応じて当該音符の制御情報を編集する編集処理手段（例えば編集処理部３４）とを具備する。以上の構成では、楽譜領域に配置された編集画像に対する操作に応じて制御情報が編集される。すなわち、楽譜領域に対する直接的な操作で（すなわち、楽譜領域とは別個の設定画面等に対する操作を介することなく）制御情報が編集される。したがって、例えば楽譜領域内の各音符図形を確認しながら各音符の制御情報を直観的かつ容易に編集することが可能である。

本発明の好適な態様において、表示制御手段は、制御情報を適用した合成音の特徴量（例えば音高や音量）の時間変化を表現する遷移画像（例えば遷移画像ＱAまたは遷移画像ＱD）を含む編集画像を楽譜領域内に配置し、遷移画像に対する利用者からの指示に応じて遷移画像を変化させ、編集処理手段は、利用者からの指示に応じた遷移画像の変化に対応するように制御情報を編集する。以上の態様では、合成音の特徴量の時間変化を表現する遷移画像の変化に対応するように制御情報が編集されるから、特徴量の時間変化を直観的に編集することが可能である。なお、以上の態様の具体例は、例えば第１実施形態や第５実施形態として後述される。

遷移画像を表示する態様の具体例において、表示制御手段は、利用者からの指示に応じて遷移画像を音高軸方向に伸縮する。以上の態様によれば、遷移画像を音高軸方向に伸縮することで特徴量の時間変化を詳細に確認できるという利点がある。なお、以上の態様の具体例は、例えば第４実施形態として後述される。

本発明の好適な態様において、表示制御手段は、制御情報の数値を示す変数指示画像（例えば変数指示画像ＱB）を含む編集画像を表示領域内に配置し、変数指示画像が示す数値を利用者からの指示に応じて変化させ、編集処理手段は、利用者からの指示に応じた変数指示画像の数値の変化に対応するように制御情報を編集する。以上の態様では、変数指示画像に対する操作で利用者が制御情報の数値を直接的に指定することが可能である。以上の態様の具体例は、例えば第２実施形態として後述される。

本発明の好適な態様において、表示制御手段は、音響合成時の特定処理の実行の有無を示す処理選択画像（例えば処理選択画像ＱC）を含む編集画像を表示領域内に配置し、処理選択画像が示す特定処理の実行の有無を利用者からの指示に応じて変化させ、編集処理手段は、処理選択画像が示す特定処理の実行の有無に対応するように制御情報を編集する。以上の態様では、処理選択画像に対する操作で利用者が特定処理の実行の有無を直接的に指定することが可能である。なお、以上の態様の具体例は、例えば第３実施形態として後述される。

本発明の好適な態様において、楽譜領域の表示倍率が閾値を下回る場合（第１表示状態）と表示倍率が閾値を上回る場合（第２表示状態）とで、編集画像の表示の有無や編集対象となる制御情報の種類を変更する構成も好適である。例えば、楽譜領域の表示倍率が閾値を下回る場合に編集画像を非表示とする構成や、表示倍率が閾値を下回る場合に、表示倍率が閾値を上回る場合と比較して少ない種類数の制御情報の変更の指示を受付ける編集画像を配置する構成が採用され得る。

以上の各態様に係る音楽データ編集装置は、音楽データの表示に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明のプログラムは、合成音の音高および発音時点と音響合成に適用される制御情報とを音符毎に指定する音楽データを編集するために、音高軸と時間軸とが設定された楽譜領域のうち音楽データが指定する音高および発音時点に対応する位置に音符図形を音符毎に表示させる処理であって、楽譜領域の表示倍率が閾値を上回る場合に、楽譜領域内の各音符図形に対応する位置に、当該音符図形が示す音符の制御情報の変更の指示を受付ける編集画像を配置する表示制御処理と、各音符の編集画像に対する利用者からの指示に応じて当該音符の制御情報を編集する編集処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の音楽データ編集装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音声合成装置のブロック図である。 音楽データの模式図である。 第１表示状態における編集画面の模式図である。 第１表示状態における設定画面の模式図である。 第２表示状態における編集画面の模式図である。 遷移画像の変化の説明図である。 第２実施形態における第２表示状態の編集画面の模式図である。 第３実施形態における第２表示状態の編集画面の模式図である。 第４実施形態における第２表示状態の編集画面の模式図である。 第４実施形態における第２表示状態の編集画面の模式図である。 第５実施形態における第２表示状態の編集画面の模式図である。 変形例における第２表示状態の編集画面の模式図である。 変形例における編集画面の模式図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００のブロック図である。音声合成装置１００は、素片接続型の音声合成で歌唱音の音声信号Ｓを生成する信号処理装置であり、図１に示すように、演算処理装置１２と記憶装置１４と表示装置２２と入力装置２４と放音装置２６とを具備するコンピュータシステムで実現される。例えば据置型の情報処理装置（パーソナルコンピュータ）や携帯型の情報処理装置（携帯電話機や携帯情報端末）で音声合成装置１００は実現される。

演算処理装置１２は、記憶装置１４に格納されたプログラムＰGMを実行することで複数の機能（表示制御部３２，編集処理部３４，音声合成部３６）を実現する。なお、演算処理装置１２の各機能を複数の集積回路に分散した構成や、専用の電子回路（例えばＤＳＰ）が一部の機能を実現する構成も採用され得る。

表示装置２２（例えば液晶表示装置）は、演算処理装置１２が指示する画像を表示する。入力装置２４は、利用者からの指示を受付ける機器（例えばマウス等のポインティングデバイスやキーボード）である。なお、表示装置２２と一体に構成されたタッチパネルを入力装置２４として採用することも可能である。放音装置２６（例えばヘッドホンやスピーカ）は、演算処理装置１２が生成した音声信号Ｓに応じた音波を放射する。

記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータ（音声素片群ＤA，音楽データＤB）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として採用される。

音声素片群ＤAは、相異なる音声素片に対応する複数の素片データ（例えば音声素片の波形のサンプル系列）で構成されて音声合成の素材として使用される音声合成ライブラリである。音声素片は、言語的な意味の区別の最小単位である音素（例えば母音や子音）、または複数の音素を連結した音素連鎖（例えばダイフォンやトライフォン）である。

音楽データＤBは、楽曲を構成する音符の時系列を指定するデータであり、図２に示すように、楽曲内の相異なる音符に対応する複数の単位データＵを含んで構成される。各単位データＵは、音高Ｘ1と発音時点Ｘ2と継続長Ｘ3と音声符号Ｘ4と制御情報Ｘ5とを指定する。音高Ｘ1は音符の音高（実際には各音高に付与されたノートナンバ）である。発音時点Ｘ2は発音が開始する時刻（発音時刻）を意味し、継続長Ｘ3は音符の発音が継続する時間（音価）を意味する。すなわち、発音時点Ｘ2と継続長Ｘ3とで音符の発音期間が規定される。なお、各音符の発音時点Ｘ2と消音時点とで発音期間を規定することも可能である。音声符号Ｘ4は、楽曲の歌詞等の発音内容を示す符号である。以下の説明では歌詞の発音文字（書記素）を音声符号Ｘ4として例示するが、例えば音素記号を音声符号Ｘ4として指定することも可能である。

制御情報Ｘ5は、音声合成に適用されて合成音の音楽的な特性を制御する変数（表情パラメータ）である。第１実施形態では、発音時点Ｘ2の直後の音高の微細な変化を規定する変数（音高の変動幅Ｚ1および変動長Ｚ2）と、音符に付加されるビブラートを規定する変数（ビブラートの継続長Ｚ3および種類Ｚ4）とを制御情報Ｘ5として例示する。図２に示すように、変動幅Ｚ1は、発音期間のうち発音時点Ｘ2から目標の音高Ｘ1に到達する時点までの区間（以下「開始区間」という）内での音高の変動量（発音開始時点の音高と目標の音高Ｘ1との差異）を規定し、変動長Ｚ2は開始区間の時間長を規定する。また、ビブラートの継続長Ｚ3は、発音区間のうちビブラートが付加される区間の時間長を規定する。例えば、発音期間の継続長Ｘ3に対するビブラートの時間長の比率が継続長Ｚ3として指定される。ビブラートの種類Ｚ4は、事前に用意された複数の候補（ビブラートなし／通常のビブラート／大振幅のビブラート／小振幅のビブラート／長周期のビブラート／短周期のビブラート）の何れかに設定される。

図１の音声合成部３６は、音声素片群ＤAと音楽データＤBとを利用して音声信号Ｓを生成する。具体的には、音声合成部３６は、第１に、音楽データＤBが各音符に指定する音声符号Ｘ4に対応する音声素片の素片データを音声素片群ＤAから順次に選択し、第２に、各素片データを、単位データＵが指定する音高Ｘ1および継続長Ｘ3に調整するとともに制御情報Ｘ5に応じて音声の特性を調整する。第３に、音声合成部３６は、調整後の素片データを、各単位データＵが指定する発音時点Ｘ2に配置して相互に連結することで音声信号Ｓを生成する。音声合成部３６が生成した音声信号Ｓが放音装置２６に供給されて音波として再生される。

図１の表示制御部３２は、音楽データＤBの内容を利用者が確認する図３の編集画面５０を表示装置２２に表示させる。図３に示すように、第１実施形態の編集画面５０は、楽譜領域５１を含んで構成される。楽譜領域５１は、相互に交差する時間軸（横軸）および音高軸（縦軸）が設定されたピアノロール型の座標平面である。図３において時間軸方向に等間隔に配列された縦方向の破線Ｌは、楽曲内の１拍分に相当する期間の境界線（以下「拍線」という）を意味する。すなわち、時間軸上で相互に隣合う２本の拍線Ｌの間隔が楽曲の１拍分の時間長に相当する。

表示制御部３２は、音楽データＤBが指定する各音符を表現する音符図形Ｖを楽譜領域５１内に配置する。第１実施形態の音符図形Ｖは矩形状の図形である。音楽データＤBに対応する楽曲のうちの一部の区間（以下「表示対象区間」という）内の音符について音符図形Ｖが楽譜領域５１に表示される。音高軸方向における音符図形Ｖの位置は音楽データＤBの音高Ｘ1に応じて設定され、時間軸方向における音符図形Ｖの位置は音楽データＤBの発音時点Ｘ2に応じて設定される。時間軸方向における音符図形Ｖの表示長は音楽データＤBの継続長Ｘ3に応じて設定される。また、音楽データＤBの音声符号Ｘ4が音符図形Ｖの内部に配置される。

図１の編集処理部３４は、楽譜領域５１に対する利用者からの指示に応じて音楽データＤBを編集する。例えば楽譜領域５１内の既存の音符図形Ｖの位置の変更が指示された場合、その音符図形Ｖに対応する単位データＵの音高Ｘ1および発音時点Ｘ2が変更され、音符図形Ｖの表示長の変更が指示された場合には単位データＵの継続長Ｘ3が変更される。また、各音符図形Ｖに対応する音声符号Ｘ4の変更が指示された場合、その音符図形Ｖに対応する単位データＵの音声符号Ｘ4が変更される。また、音符図形Ｖの追加が指示された場合にはその音符図形Ｖに対応する単位データＵが音楽データＤBに追加される。

図３に示すように、編集画面５０は、楽譜領域５１の時間軸方向の表示倍率Ｒtを利用者が変更するための操作子画像（スライダ）５２を含む。利用者は、入力装置２４を使用して操作子画像５２を適宜に操作することが可能である。表示制御部３２は、操作子画像５２に対する操作で利用者が指定した表示倍率Ｒtとなるように楽譜領域５１内の表示画像を時間軸方向に伸縮する。

表示倍率Ｒtは、楽譜領域５１内での楽曲の単位時間（例えば楽曲の１拍分の時間長）の表示上の長さに相当する。したがって、表示倍率Ｒtが増加する（楽譜領域５１内での単位時間の表示長が長くなる）ほど楽曲内の表示対象区間は短くなり、楽曲のうち楽譜領域５１内に表示される小節数や拍数が減少する（拍線Ｌの間隔が拡大する）とともに各音符図形Ｖは時間軸方向に伸長する。他方、表示倍率Ｒtが減少する（楽譜領域５１内での単位時間の表示長が短くなる）ほど楽曲内の表示対象区間は長くなり、楽曲のうち楽譜領域５１内に表示される小節数や拍数が増加する（拍線Ｌの間隔が縮小する）とともに音符図形Ｖは時間軸方向に縮小される。なお、表示倍率Ｒtを変化させた場合でも楽譜領域５１自体の表示サイズは変化しない。

表示制御部３２は、表示倍率Ｒtに応じて楽譜領域５１の表示態様を変化させる。具体的には、表示制御部３２は、利用者が設定した表示倍率Ｒtと所定の閾値ＴHとを比較し、表示倍率Ｒtが閾値ＴHを下回る第１表示状態と表示倍率Ｒtが閾値ＴHを上回る第２表示状態とで楽譜領域５１の表示態様を変化させる。すなわち、第２表示状態は、楽譜領域５１を第１表示状態と比較して拡大表示した状態を意味する。図３は、第１表示状態での編集画面５０の表示例であり、図５は、第２表示状態での編集画面５０の表示例である。

図３に示すように、第１表示状態では、表示制御部３２は、各音符図形Ｖの周囲に表情図形Ｅを配置する。表情図形Ｅは、各音符の制御情報Ｘ5の編集を利用者が開始するための図形であり、発音期間内の開始区間に対応する第１部分Ｅ1と、ビブラートが付加され得る区間（すなわち発音区間の末尾側の区間）に対応する第２部分Ｅ2とを含んで構成される。ビブラートが付加される音符の第２部分Ｅ2は波線状の図形（すなわちビブラートによる音高の変化を表現する図形）に設定され、ビブラートが付加されない音符の第２部分Ｅ2は直線状の図形（すなわち音高が一定に維持されることを表現する図形）に設定される。

所望の音符に対応する表情図形Ｅの第１部分Ｅ1を利用者が入力装置２４の操作（例えばマウスによるクリック）で指示すると、その音符の開始区間に関する制御情報Ｘ5（Ｚ1，Ｚ2）を設定するための図４の部分(A)の設定画面６１が編集画面５０とは別個に表示される。利用者は、設定画面６１に対する操作により開始区間内の音高の変動幅Ｚ1と変動長Ｚ2とを任意に設定することが可能である。編集処理部３４は、音楽データＤBの制御情報Ｘ5が指定する変動幅Ｚ1と変動長Ｚ2とを設定画面６１での設定値に変更する。

また、所望の音符に対応する表情図形Ｅの第２部分Ｅ2を利用者が指示すると、その音符のビブラートに関する制御情報Ｘ5（Ｚ3，Ｚ4）を設定するための図４の部分(B)の設定画面６２が編集画面５０とは別個に表示される。利用者は、設定画面６２に対する操作によりビブラートの継続長Ｚ3を任意に設定するとともにビブラートの種類Ｚ4を複数の候補から選択することが可能である。編集処理部３４は、音楽データＤBの制御情報Ｘ5が指定するビブラートの継続長Ｚ3と種類Ｚ4とを設定画面６２での設定値に変更する。

第１表示状態で楽譜領域５１内に配置される表情図形Ｅの第１部分Ｅ1および第２部分Ｅ2の表示には、事前に用意された所定の図形が使用される。すなわち、第１部分Ｅ1の画像は、制御情報Ｘ5には依存せず、複数の表情図形Ｅにわたり共通する。また、第２部分Ｅ2の画像は、時間軸方向の表示長がビブラートの継続長Ｚ3に応じて設定される以外は、複数の表情図形Ｅにわたり共通する。例えば、第２部分Ｅ2の波線の振幅や周期は複数の表情図形Ｅにわたり共通する。

他方、表示倍率Ｒtが第１表示状態と比較して高い第２表示状態（拡大表示時）では、表示制御部３２は、図５に示すように、楽譜領域５１内の各音符図形Ｖに対応する位置（音符図形Ｖの直下）に遷移画像ＱAを配置する。遷移画像ＱAは、制御情報Ｘ5を実際に反映させた各音符の音高の時間変化を表現する画像（曲線または折線）である。したがって、遷移画像ＱAの態様（特徴量の時間変化）は音符毎に相違し得る。具体的には、遷移画像ＱAが示す音高は、図６に示すように、変動長Ｚ2の開始区間内で変動幅Ｚ1にわたり変化して音高Ｘ1に到達し、種類Ｚ4に応じた振幅および周期で継続長Ｚ3にわたり変動する。

利用者は、入力装置２４を適宜に操作する（例えば遷移画像ＱAの一部をマウスでドラッグする）ことで、所望の音符に対応する遷移画像ＱAの変化を指示することが可能である。表示制御部３２は、利用者からの指示に応じて遷移画像ＱAの形状を変化させる。図６には、遷移画像ＱAの変化が破線で例示されている。編集処理部３４は、利用者が操作した遷移画像ＱAが示す音符の制御情報Ｘ5を、その遷移画像ＱAの変化に対応するように編集する。

例えば図６に破線で示すように遷移画像ＱAの左端部を利用者が音高軸方向に移動させた場合には、制御情報Ｘ5のうち音高の変動幅Ｚ1が変更され、遷移画像ＱAの開始区間を利用者が伸縮した場合には制御情報Ｘ5のうち音高の変動長Ｚ2が変更される。また、遷移画像ＱAのビブラートの区間を利用者が伸縮した場合には制御情報Ｘ5のうちビブラートの継続長Ｚ3が変更され、遷移画像ＱAにおけるビブラートの振幅や周期を利用者が変更した場合には制御情報Ｘ5内のビブラートの種類Ｚ4が変更される。

以上に説明したように、第１表示状態では、表情図形Ｅに対する指示を契機として表示される設定画面（６１，６２）を操作することで制御情報Ｘ5が編集されるのに対し、第２表示状態では、楽譜領域５１内に配置された遷移画像ＱAに対する操作（すなわち楽譜領域５１に対する直接的な操作）で制御情報Ｘ5が編集される。したがって、例えば楽譜領域５１内の各音符の相関を確認しながら各音符の制御情報Ｘ5を直観的に編集することが可能である。

なお、表示倍率Ｒtが低い第１表示状態でも楽譜領域５１に遷移画像ＱAを表示して利用者による操作を受付ける構成では、楽譜領域５１内に多数の音符図形Ｖと多数の遷移画像ＱAとが小さいサイズで混在するから、制御情報Ｘ5が所望の数値に編集されるように利用者が遷移画像ＱAを正確に操作することは困難である。第１実施形態では、表示倍率Ｒtが閾値ＴHを上回る第２表示状態（拡大表示時）のみで遷移画像ＱAが表示されるから、遷移画像ＱAの正確な操作が容易であるという利点がある。他方、第１表示状態では、設定画面（６１，６２）を操作することで制御情報Ｘ5を正確に設定することが可能である。

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図７は、第２実施形態における第２表示状態での編集画面５０（楽譜領域５１）の模式図である。第２実施形態では、楽譜領域５１内の各音符図形Ｖに対応する位置に、第１実施形態と同様の遷移画像ＱAに加えて変数指示画像ＱB（ＱB1〜ＱB4）が配置される。各音符に対応する変数指示画像ＱBは、その音符の制御情報Ｘ5の数値を示す画像である。

具体的には、変数指示画像ＱB1は音高の変動幅Ｚ1を表示し、変数指示画像ＱB2は音高の変動長Ｚ2を表示する。また、変数指示画像ＱB3はビブラートの継続長Ｚ3を表示し、変数指示画像ＱB4はビブラートの種類Ｚ4を表示する。なお、第１表示状態での表示画像は第１実施形態と同様である。すなわち、第１表示状態では、遷移画像ＱAや変数指示画像ＱBは楽譜領域５１に表示されない。

利用者は、入力装置２４を適宜に操作することで所望の変数指示画像ＱBの数値を指示することが可能である。表示制御部３２は、変数指示画像ＱBの数値を利用者が指定した数値に変更する。編集処理部３４は、変数指示画像ＱBに対して利用者が指示した数値に応じて、その変数指示画像ＱBに対応する音符の制御情報Ｘ5を編集する。

例えば、変数指示画像ＱB1の数値が変更された場合には制御情報Ｘ5のうち音高の変動幅Ｚ1が変更後の数値に更新され、変数指示画像ＱB2の数値が変更された場合には制御情報Ｘ5のうち音高の変動長Ｚ2が変更後の数値に更新される。同様に、制御情報Ｘ5のうちビブラートの継続長Ｚ3は変数指示画像ＱB3に対する指示に応じて更新され、制御情報Ｘ5のうちビブラートの種類Ｚ4は変数指示画像ＱB4に対する指示（例えばプルダウンメニューの複数の候補からビブラートの種類を選択する指示）に応じて更新される。

変数指示画像ＱBに対する利用者からの指示に応じて制御情報Ｘ5が更新されると、表示制御部３２は、更新後の制御情報Ｘ5に対応するように遷移画像ＱAを更新する。また、利用者は、第１実施形態と同様に、入力装置２４を操作することで遷移画像ＱAを変化させることが可能である。遷移画像ＱAの変化に対応するように制御情報Ｘ5が更新されると、表示制御部３２は、各変数指示画像ＱBの数値を制御情報Ｘ5の更新後の内容に変更する。

以上に説明したように、第２実施形態の第２表示状態では、楽譜領域５１内に配置された変数指示画像ＱB（ＱB1〜ＱB4）に対する操作（すなわち楽譜領域５１に対する直接的な操作）で制御情報Ｘ5が編集される。したがって、第１実施形態と同様に、例えば楽譜領域５１内の各音符の相関を確認しながら各音符の制御情報Ｘ5を直観的に編集することが可能である。また、表示倍率Ｒtが高い第２表示状態にて変数指示画像ＱBが表示されるから、例えば表示倍率Ｒtが低い第１表示状態でも変数指示画像ＱBを表示する構成と比較して、変数指示画像ＱBの数値を変更する操作が容易であるという利点がある。表示倍率Ｒtが低い第１表示状態では変数指示画像ＱBの表示が省略されて楽譜領域５１が簡素化されるから、利用者が各音符図形Ｖを容易に確認できるという利点もある。

＜第３実施形態＞
第３実施形態の制御情報Ｘ5は、第１実施形態と同様の変数（Ｚ1〜Ｚ4）に加えて処理選択情報Ｚ5を含んで構成される。各音符の制御情報Ｘ5の処理選択情報Ｚ5は、その音符の合成音の生成時に所定の処理（以下「特定処理」という）を実行するか否かを複数種の特定処理の各々について指定する。特定処理は、音声合成時に音声合成部３６が実行可能な処理である。以下の説明では、ポルタメント処理と自動素片決定処理とを特定処理として例示する。ポルタメント処理は、相前後する２個の音符の音高を連続的に連結する処理である。自動素片決定処理は、利用者が指定した音声符号Ｘ4（発音文字）に対応する音声素片を自動的に選択する処理である。自動素片決定処理を実行しない状態では、利用者が任意に指定した音声素片が音声符号Ｘ4とは無関係に選択される。すなわち、利用者による音声素片の選択が保護（プロテクト）される。

図８は、第３実施形態における第２表示状態での編集画面５０（楽譜領域５１）の模式図である。第３実施形態では、楽譜領域５１内の各音符図形Ｖに対応する位置に、第１実施形態と同様の遷移画像ＱAに加えて処理選択画像ＱC（ＱC1，ＱC2）が配置される。各音符に対応する処理選択画像ＱCは、その音符の合成音の生成時に特定処理を実行するか否かを示す画像である。処理選択画像ＱC1は、ポルタメント処理の実行の有無を示す画像であり、処理選択画像ＱC2は、自動素片決定処理の実行の有無を示す画像である。表示制御部３２は、制御情報Ｘ5の処理選択情報Ｚ5に応じて各処理選択画像ＱC（ＱC1，ＱC2）を表示させる。処理選択画像ＱC1のチェックボックスがオンに設定された状態（チェックが付加された状態）はポルタメント処理を実行することを意味し、処理選択画像ＱC2のチェックボックスがオンに設定された状態は自動素片決定処理を実行しないことを意味する。なお、第１表示状態での表示画像は第１実施形態と同様である。すなわち、第１表示状態では、遷移画像ＱAや処理選択画像ＱCは楽譜領域５１に表示されない。

利用者は、入力装置２４を適宜に操作する（例えば各処理選択画像ＱCのチェックボックスをマウスでクリックする）ことで、各処理選択画像ＱCに対応する特定処理の実行の有無を指示することが可能である。表示制御部３２は、各処理選択画像ＱCのチェックボックスを利用者からの指示に応じてオンまたはオフに設定する。編集処理部３４は、各処理選択画像ＱCに対する利用者からの指示に応じて、その音符に対応する制御情報Ｘ5（処理選択情報Ｚ5）を編集する。

以上に説明したように、第３実施形態の第２表示状態では、楽譜領域５１内に配置された処理選択画像ＱC（ＱC1，ＱC2）に対する操作（すなわち楽譜領域５１に対する直接的な操作）で制御情報Ｘ5が編集される。したがって、第１実施形態と同様に、例えば楽譜領域５１内の各音符の相関を確認しながら各音符の制御情報Ｘ5を直観的に編集することが可能である。また、表示倍率Ｒtが高い第２表示状態にて処理選択画像ＱCが表示されるから、例えば表示倍率Ｒtが低い第１表示状態でも処理選択画像ＱCを表示する構成と比較して、処理選択画像ＱCの操作が容易であるという利点がある。表示倍率Ｒtが低い第１表示状態では処理選択画像ＱCの表示が省略されて楽譜領域５１が簡素化されるから、利用者が各音符図形Ｖを容易に確認できるという利点もある。

＜第４実施形態＞
図９は、第４実施形態における第２表示状態での編集画面５０の模式図である。第１実施形態では、楽譜領域５１内の各音符図形Ｖの周囲に遷移画像ＱAを配置した。第４実施形態の表示制御部３２は、図９に示すように、各音符の音符図形Ｖの内側（輪郭線の内部）にその音符の遷移画像ＱAを配置する。

第４実施形態の編集画面５０は、図９に示すように、楽譜領域５１の音高軸方向の表示倍率Ｒpを利用者が変更するための操作子画像（スライダ）５３を含んで構成される。利用者は、入力装置２４を使用して操作子画像５３を適宜に操作することが可能である。表示制御部３２は、操作子画像５３に対する操作で利用者が指定した表示倍率Ｒpとなるように楽譜領域５１内の表示画像を音高軸方向に伸縮する。

図１０は、図９の状態から表示倍率Ｒpを増加させた場合の編集画面５０の模式図である。図１０に示すように、表示制御部３２は、表示倍率Ｒpが増加するほど、音高軸方向における１個の音高の表示幅（図１０の横方向の破線の間隔）を拡大するとともに各音符図形Ｖを音高軸方向に伸長する。そして、表示制御部３２は、音符図形Ｖの伸長に連動するように遷移画像ＱAも音高軸方向に伸長する。すなわち、遷移画像ＱAが示す音高の時間変化が強調されて視認し易くなる。なお、表示倍率Ｒpに連動した遷移画像ＱAの伸縮では制御情報Ｘ5は変更されない。遷移画像ＱAに対する利用者からの指示に応じて制御情報Ｘ5が編集される構成は第１実施形態と同様である。

第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、音高軸方向の表示倍率Ｒpが変更され得るから、利用者は、表示倍率Ｒpを増加させることで、遷移画像ＱAが示す音高の時間変化を詳細に確認することが可能である。

また、第４実施形態では、遷移画像ＱAで表現される音高が音高軸上の数値に対応するから、音符図形Ｖの周囲に遷移画像ＱAを配置した第１実施形態の構成（すなわち、遷移画像ＱAが表現する音高と音高軸上の数値とが必ずしも整合しない構成）と比較して、遷移画像ＱAが示す音高の数値を利用者が正確かつ容易に把握できる（ひいては編集作業が容易化される）という利点がある。

＜第５実施形態＞
第５実施形態の制御情報Ｘ5は、第１実施形態と同様の変数（Ｚ1〜Ｚ4）に加えて、各音符の発音時点Ｘ2の直後の振幅の微細な変化を規定する変数（強勢度Ｚ6，減衰度Ｚ7）を含んで構成される。強勢度Ｚ6は、発音時点Ｘ2の直後にて音声の振幅が増加する速度（アクセント）を規定し、減衰度Ｚ7は、発音開始後に音声の振幅が減衰する度合（ディケイ）を規定する。

図１１は、第５実施形態における第２表示状態での編集画面５０の模式図である。表示制御部３２は、第２表示状態において、楽譜領域５１内の各音符図形Ｖに対応する位置に遷移画像ＱDを配置する。遷移画像ＱDは、制御情報Ｘ5（Ｚ6，Ｚ7）を実際に反映させた各音符の振幅の時間変化を表現する画像（曲線または折線）である。すなわち、遷移画像ＱDが示す振幅は、図１１に示すように、発音時点Ｘ2から強勢度Ｚ6に応じた速度で増加して目標値に到達したうえで減衰度Ｚ7に応じた度合で経時的に減衰する。

第１実施形態の遷移画像ＱAと同様に、利用者は、入力装置２４を利用して遷移画像ＱDを直接的に操作することで制御情報Ｘ5の編集を指示することが可能である。すなわち、表示制御部３２は、利用者からの指示に応じて遷移画像ＱDの形状を変化させ、編集処理部３４は、利用者が操作した遷移画像ＱDが示す音符の制御情報Ｘ5（強勢度Ｚ6，減衰度Ｚ7）を、その遷移画像ＱDの変化に対応するように編集する。したがって、第５実施形態においても第１実施形態と同様の効果が実現される。

なお、第２実施形態の変数指示画像ＱBや第３実施形態の処理選択画像ＱCを遷移画像ＱDとともに（または遷移画像ＱDに代えて）音符毎に楽譜領域５１に配置することも可能である。変数指示画像ＱBは、例えば強勢度Ｚ6や減衰度Ｚ7を利用者が指定するために使用され得る。また、第４実施形態と同様に、遷移画像ＱDを音符図形Ｖの内側に配置した構成や、音高軸方向の表示倍率Ｒpに応じて遷移画像ＱDを音符図形Ｖとともに音高軸方向に伸縮する構成も採用される。

＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）時間軸方向の表示倍率Ｒtが高い第２表示状態では、楽譜領域５１内に表示される音符図形Ｖの個数が第１表示状態と比較して減少する。そこで、楽曲内の表示対象区間の前後の各音符に対応する情報を表示対象区間内の情報とともに楽譜領域５１に配置する構成が好適である。例えば図１２のように、表示制御部３２は、表示対象区間内の各音符の音声符号Ｘ4_A（「さいた」の文字列）とともに、表示対象区間の直後の所定個の音符（すなわち音符図形Ｖが楽譜領域５１内には表示されない音符）の音声符号Ｘ4_B（「はなが」の文字列）を楽譜領域５１内に配置する。以上の構成によれば、表示倍率Ｒtが高い場合でも楽曲内の広い範囲にわたり各音符の情報（例えば音声符号Ｘ4）を確認することが可能である。

（２）表示倍率Ｒtや表示倍率Ｒpを利用者が変更するための構成は任意である。例えば、表示倍率Ｒtや表示倍率Ｒpを利用者が数値で指定する構成や、利用者による所定の操作（例えばボタンの押下）で表示倍率Ｒtや表示倍率Ｒpを所定値（例えば閾値ＴH）に設定する構成が採用される。また、利用者が１個の音符図形Ｖを選択した場合に、その音符図形Ｖを含む所定の範囲の音符図形Ｖが楽譜領域５１に位置するように表示倍率Ｒtを設定することも可能である。例えば、図３に例示された第１表示状態において先頭から第２番目の音符図形Ｖ（音声符号「い」）を利用者が選択した場合に、利用者が選択した音符図形Ｖと直前および直後の音符図形Ｖとを含む３個の音符図形Ｖが楽譜領域５１の時間軸方向の全体にわたるように（すなわち図３の表示から図５の表示に変更されるように）表示倍率Ｒtが自動的に設定される。

（３）各制御情報Ｘ5の変更指示を利用者から受付けるための画像（以下「編集画像」という）の形態は以上の例示に限定されない。例えば、利用者からの指示に応じて回転する形式の操作子（ツマミ）の画像や、利用者からの指示に応じて直線的に移動する形式の操作子（スライダ）の画像が、例えば第２実施形態の変数指示画像ＱBとして採用され得る。また、第１実施形態の遷移画像ＱAと第２実施形態の変数指示画像ＱBと第３実施形態の処理選択画像ＱCとを適宜に組合わせて編集画像を構成することも可能である。以上の説明から理解されるように、前述の各形態にて例示した編集画像（ＱA〜ＱD）は、制御情報Ｘ5の変更指示を利用者から受付けるための画像として包括され、編集画像に対する変更指示が直接的に（すなわち設定画面６１や設定画面６２等の他の画像に対する操作を介することなく）制御情報Ｘ5に反映される。

（４）前述の各形態では、表示倍率Ｒtが閾値ＴHを上回る第２表示状態にて各音符図形Ｖの周囲に編集画像（ＱA〜ＱD）を配置したが、第１表示状態および第２表示状態の双方において各音符図形Ｖの周囲に編集画像（ＱA〜ＱD）を配置することも可能である。第１表示状態および第２表示状態の双方で編集画像（ＱA〜ＱD）を表示する場合、第１表示状態にて編集画像に対する操作で編集可能な制御情報Ｘ5の種類数よりも多数の制御情報Ｘ5を、第２表示状態（拡大表示時）にて編集画像に対する操作で編集可能とした構成が好適に採用される。

例えば、各音符の音高の時間変化を表現する第１実施形態の遷移画像ＱAを表示する場合、第１表示状態ではビブラートの継続長Ｚ3の変更のみが許可され、第２表示状態ではビブラートの継続長Ｚ3および種類（音高の変動幅）Ｚ4の双方の変更が許可される。第１表示状態ではビブラートの継続長Ｚ3の変更のみを許可し、第２表示状態では、ビブラートの継続長Ｚ3や種類Ｚ4等の変更指示を受付ける遷移画像ＱAを各音符図形Ｖの内側に配置することも可能である。また、第１表示状態では音高の時間変化の変更指示を受付ける遷移画像ＱAを表示し、第２表示状態では、特定処理の有無を示す処理選択画像ＱCを遷移画像ＱAに加えて表示する構成も採用され得る。以上に例示した各態様は、編集画像に対する操作で編集可能な制御情報Ｘ5の種類数が表示倍率Ｒtに応じて変化する構成（例えば第２表示状態で編集可能な制御情報Ｘ5の種類数が第１表示状態で編集可能な制御情報Ｘ5の種類数を上回る構成）として包括され、第１表示状態および第２表示状態の各々で表示される画像の具体的な内容は、以上の例示に限定されることなく適宜に変更される。また、例えば表示倍率Ｒtが閾値ＴHを上回る場合にマウスカーソルの表示態様を変化させる構成も採用され得る。

（５）編集画像に対する利用者からの指示に応じて編集可能な制御情報Ｘ5の種類は以上の例示に限定されない。例えば、合成音の音量（ダイナミクス，ベロシティ）や明瞭度（高域成分の増減度合）や発声時の開口の度合等の変数を制御情報Ｘ5として、編集画像に対する指示に応じて編集する構成が採用される。すなわち、制御情報Ｘ5は、音声合成に適用される変数として包括される。また、制御情報Ｘ5のうち楽譜領域５１に表示させる情報を利用者が選択できる構成も好適である。

（６）前述の各形態では、楽曲の１個のパートの音符を楽譜領域５１に表示したが、楽曲の複数のパートの各々の音符を楽譜領域５１に同時または選択的に表示することも可能である。音符図形Ｖはパート毎に相異なる態様（すなわち、色彩や階調の相違により各パートの音符図形Ｖを視覚的に区別可能な態様）で表示される。

（７）第３実施形態における処理選択画像ＱCの形式は以上の例示に限定されない。例えば、図１３に例示される通り、自動素片決定処理やポルタメント処理等の特定処理の実行（すなわち、前述の処理選択画像ＱC1や処理選択画像ＱC2のチェックボックスがオンに設定された状態）を意味する処理選択画像ＱC3を音符図形Ｖに付加する（例えば音符図形Ｖに重複させる）ことも可能である。図１３の例示では、音符図形Ｖとは表示態様が相違する図形（三角形）が処理選択画像ＱC3として音符図形Ｖの隅部（右下隅）に配置されている。利用者が処理選択画像ＱC3を操作する（例えばマウスでクリックする）と、処理選択画像ＱC3が消去された状態（特定処理を実行しない状態）に変更される。処理選択画像ＱC3が消去された状態で利用者が音符図形Ｖの隅部を操作すると、処理選択画像ＱC3が表示される。したがって、利用者は、処理選択画像ＱC3の表示／非表示で特定処理の実行の有無を視覚的に確認することが可能である。なお、処理選択画像ＱCの表示／非表示を制御する構成のほか、処理選択画像ＱCの表示態様（色彩や階調）を特定処理の実行の有無に応じて制御する構成も採用され得る。

（８）前述の各形態では、音声素片群ＤAと音楽データＤBとを記憶する記憶装置１４を音声合成装置１００に搭載したが、音声合成装置１００とは独立した外部装置（例えばサーバ装置）が音声素片群ＤAおよび音楽データＤBの一方または双方を記憶する構成も採用され得る。音声合成装置１００は、例えば通信網を介して音声素片群ＤAまたは音楽データＤBを取得して、編集画面５０の表示や音楽データＤBの編集や音声信号Ｓの合成を実行する。以上の説明から理解されるように、音声素片群ＤAや音楽データＤBを記憶する要素（前述の各形態における記憶装置１４）は音声合成装置１００の必須の要素ではない。

（９）前述の各形態では、日本語の音声の合成を例示したが、合成対象となる音声の言語は任意であり、日本語には限定されない。例えば、英語，スペイン語，中国語，韓国語等の任意の言語の音声を生成する場合にも以上の各形態を同様に適用することが可能である。

（１０）前述の各形態では、音声合成部３６を含む音声合成装置１００を例示したが、音楽データＤBを表示装置２２に表示させて利用者からの指示に応じて編集する装置（音楽データ編集装置）としても本発明は実現される。音楽データ編集装置は、例えば図１の音声合成装置１００から音声合成部３６を省略した構成である。音楽データ編集装置に音声合成部３６を追加することで音声合成装置１００が実現されると換言することも可能である。

また、前述の各形態では、音声合成に適用される音楽データＤBを例示したが、音楽データＤBを適用した合成の対象は音声（人声）に限定されない。例えば、各種の楽器の演奏音の合成（楽音合成）に音楽データＤBを利用することも可能である。すなわち、音楽データＤBは、音声合成や楽音合成を包含する音響合成に適用されるデータとして包括される。

１００……音声合成装置、１２……演算処理装置、１４……記憶装置、２２……表示装置、２４……入力装置、２６……放音装置、３２……表示制御部、３４……編集処理部、３６……音声合成部。

Claims (5)

1. 合成音の音高および発音時点と音響合成に適用される制御情報とを音符毎に指定する音楽データを編集する装置であって、
   音高軸と時間軸とが設定された楽譜領域のうち前記音楽データが指定する音高および発音時点に対応する位置に音符図形を音符毎に表示させる手段であって、前記楽譜領域の表示倍率が閾値を上回る場合に、前記楽譜領域内の各音符図形に対応する位置に、当該音符図形が示す音符の制御情報の変更の指示を受付ける編集画像を配置する表示制御手段と、
   各音符の編集画像に対する利用者からの指示に応じて当該音符の制御情報を編集する編集処理手段と
   を具備する音楽データ編集装置。
2. 前記表示制御手段は、制御情報を適用した合成音の特徴量の時間変化を表現する遷移画像を含む前記編集画像を前記楽譜領域内に配置し、前記遷移画像に対する利用者からの指示に応じて前記遷移画像を変化させ、
   前記編集処理手段は、利用者からの指示に応じた前記遷移画像の変化に対応するように制御情報を編集する
   請求項１の音楽データ編集装置。
3. 前記表示制御手段は、制御情報の数値を示す変数指示画像を含む前記編集画像を前記表示領域内に配置し、前記変数指示画像が示す数値を利用者からの指示に応じて変化させ、
   前記編集処理手段は、利用者からの指示に応じた前記変数指示画像の数値の変化に対応するように制御情報を編集する
   請求項１または請求項２の音楽データ編集装置。
4. 前記表示制御手段は、音響合成時の特定処理の実行の有無を示す処理選択画像を含む前記編集画像を前記表示領域内に配置し、前記処理選択画像が示す特定処理の実行の有無を利用者からの指示に応じて変化させ、
   前記編集処理手段は、前記処理選択画像が示す特定処理の実行の有無に対応するように制御情報を編集する
   請求項１から請求項３の何れかの音楽データ編集装置。
5. 前記表示制御手段は、前記楽譜領域の表示倍率が前記閾値を下回る場合に、前記表示倍率が前記閾値を上回る場合と比較して少ない種類数の制御情報の変更の指示を受付ける編集画像を配置する
   請求項１から請求項４の何れかの音楽データ編集装置。
   

Images