JP2011221085A - 情報編集装置 - Google Patents

Abstract

【課題】音声合成に適用される音符系列や文字系列を効率的に編集する。
【解決手段】記憶装置１２は、各指定音の音高を指定する音符情報ＵNを時系列に配列した音符系列ＳNと、各指定音の発音文字を指定する文字情報ＵLを時系列に配列した文字系列ＳLとを、各音符情報ＵNと各文字情報ＵLとを対応させて記憶する。情報管理部２６は、音符情報ＵNの追加または削除が指示されると、文字系列ＳLの各文字情報ＵLを維持したまま音符系列ＳNについて当該音符情報ＵNを追加または削除して、文字系列ＳLと当該編集後の音符系列ＳNとについて各文字情報ＵLと各音符情報ＵNとの対応を更新する。
【選択図】図１

Description

本発明は、音声合成（特に歌唱合成）に適用される情報を編集する技術に関する。

合成の目的となる音声（以下「指定音」という）を時系列に指定する楽譜情報を利用して歌唱音等の音声を合成する技術が従来から提案されている。例えば特許文献１には、指定音の音高を指定する音符情報と、指定音の発音文字（歌詞）を指定する文字情報とを時系列に配列した楽譜情報が開示されている。利用者は、各指定音を図形化した音指示子が時間軸に沿って配列された画像（ピアノロール画像）を確認しながら音符情報や文字情報を適宜に編集することが可能である。

特開２００４−２５８５６４号公報

しかし、特許文献１の技術では、音符情報と文字情報との時間軸上の対応が固定的に維持されるから、音符情報の系列（以下「音符系列」という）と文字情報の系列（以下「文字系列」という）との一方を維持したまま他方を変更する作業が煩雑であるという問題がある。例えば、音符系列の途中に新たな音符情報を追加した場合、新たな音符情報を含む編集後の音符系列に既存の文字系列を対応させるには、音符情報を追加した箇所以降の各文字情報を１個ずつ音符情報の追加分だけ繰上げる作業が必要となる。また、音符系列から１個の音符情報を削除した場合、削除後の音符系列に既存の文字系列を対応させるには、音符情報を削除した箇所以降の各文字情報を１個ずつ音符情報の削除分だけ繰下げる作業が必要となる。以上の事情を考慮して、本発明は、音符系列や文字系列を効率的に編集することを目的とする。

以上の課題を解決するために、本発明の第１態様に係る情報編集装置は、各指定音の音高を指定する音符情報を時系列に配列した音符系列と、各指定音の発音文字を指定する文字情報を時系列に配列した文字系列とを、各音符情報と各文字情報とを対応させて記憶する記憶手段と、音符情報の追加または削除が指示されると、文字系列の各文字情報を維持したまま音符系列について当該音符情報を追加または削除して、文字系列と当該編集後の音符系列とについて各文字情報と各音符情報との対応を更新する情報管理手段とを具備する。以上の構成においては、音符情報の追加または削除が指示された場合に、文字系列の各文字情報が維持されたまま、編集後（音符情報の追加後または削除後）の音符系列との対応が更新される。したがって、音符情報の編集に連動して文字情報も編集される構成（文字情報と音符情報との対応が編集の前後で固定的に維持される構成）と比較して音符系列を効率的に編集できるという利点がある。

第１態様の具体例に係る情報編集装置は、浮動モードまたは固定モードを選択する制御手段を具備し、情報管理手段は、浮動モードにて音符情報の追加または削除が指示されると、文字系列の各文字情報を維持したまま、音符系列について当該音符情報を追加または削除し（図６の部分(C)または図７の部分(C)）、固定モードにて音符情報の追加が指示されると、音符系列に当該音符情報を追加するとともに当該音符情報に対応する文字情報を文字系列に追加し（例えば図６の部分(B)）、固定モードにて音符情報の削除が指示されると、音符系列から当該音符情報を削除するとともに当該音符情報に対応する文字情報を文字系列から削除する（例えば図７の部分(B)）。以上の態様においては、音符情報と文字情報との対応が流動的に変化する浮動モードのほかに音符情報と文字情報との対応を固定した固定モードが選択され得るから、浮動モードのみで動作する構成と比較して音符系列や文字系列の多様な編集が実現される。

固定モードを選択可能な第１態様の具体例において、情報管理手段は、固定モードにて新規音符情報の追加が指示されると、音符系列に新規音符情報を追加し、音符系列のうち新規音符情報の直前の音符情報に対応する文字情報の母音を指定する文字情報を、新規音符情報に対応する文字情報として文字系列に追加する（例えば図８の部分(C)）。以上の態様においては、新規音符情報に対応する文字情報が、当該新規音符情報の直前の音符情報に対応する文字情報の母音を指定するから、音高を変化させながら１個の発音文字を発声する発声法（メリスマ）が容易に実現されるという利点がある。なお、以上の態様の具体例は例えば第２実施形態として後述される。

本発明の第２態様に係る情報編集装置は、各指定音の音高を指定する音符情報を時系列に配列した音符系列と、各指定音の発音文字を指定する文字情報を時系列に配列した文字系列とを、各音符情報と各文字情報とを対応させて記憶する記憶手段と、文字情報の追加または削除が指示されると、音符系列の各音符情報を維持したまま文字系列について当該文字情報を追加または削除して、音符系列と当該編集後の文字系列とについて各音符情報と各文字情報との対応を更新する情報管理手段とを具備する。以上の構成においては、文字情報の追加または削除が指示された場合に、音符系列の各音符情報が維持されたまま、編集後（文字情報の追加後または削除後）の文字系列との対応が更新される。したがって、文字情報の編集に連動して音符情報も編集される構成（音符情報と文字情報との対応が編集の前後で固定的に維持される構成）と比較して文字系列を効率的に編集できるという利点がある。

第２態様の具体例に係る情報編集装置は、浮動モードまたは固定モードを選択する制御手段を具備し、情報管理手段は、浮動モードにて文字情報の追加または削除が指示されると、音符系列の各音符情報を維持したまま、文字系列について当該文字情報を追加または削除し（例えば図４の部分(C)または図５の部分(C)）、固定モードにて文字情報の追加が指示されると、各音符情報と各文字情報との対応を維持したまま、文字系列内の文字情報を追加に係る文字情報に置換し（例えば図４の部分(B)）、固定モードにて文字情報の削除が指示されると、各音符情報と各文字情報との対応を維持したまま、文字系列内の文字情報を所定の文字情報に置換する（例えば図５の部分(B)）。以上の態様においては、音符情報と文字情報との対応が流動的に変化する浮動モードのほかに音符情報と文字情報との対応を固定した固定モードが選択され得るから、浮動モードのみで動作する構成と比較して音符系列や文字系列の多様な編集が実現される。

固定モードを選択可能な第２態様の具体例において、情報管理手段は、固定モードにて文字情報の削除が指示されると、当該文字情報を、文字系列にて当該文字情報の直前に位置する文字情報の母音を指定する文字情報に置換する（例えば図９の部分(C)）。以上の態様においては、削除が指示された文字情報が直前の文字情報の母音に置換されるから、音高を変化させながら１個の発音文字を発声する発声法（メリスマ）が容易に実現されるという利点がある。なお、以上の態様の具体例は例えば第３実施形態として後述される。

第１態様または第２態様の好適例に係る情報編集装置は、音符系列の各音符情報が示す音高に応じて第１方向の位置が決定された音指示子を第２方向に配列した楽譜領域と、文字情報が示す発音文字を配列した文字領域（例えば図１０や図１１の文字領域４４）とを含む編集画面を表示装置に表示させる表示制御手段を具備する。以上の態様においては、音符系列を表現する楽譜領域とは別個の文字領域に文字系列の各発音文字が集約的に配列されるから、各発音文字が楽譜領域内のみに表示される構成と比較して利用者が文字系列を容易に確認できるという利点がある。なお、以上の態様の具体例は例えば第４実施形態として後述される。

第１態様または第２態様の好適例に係る情報編集装置は、文字情報の追加または音符情報の削除で音符情報との対応から外れた余剰文字情報が指定する発音文字（例えば図１３の余剰文字領域４６内の発音文字）を表示装置に表示させる表示制御手段を具備する。以上の態様においては、文字情報の追加や音符情報の削除で音符情報との対応から外れた余剰文字情報の発音文字が表示装置に表示されるから、音符情報との対応から外れた余剰文字情報を認識しながら利用者が音符系列や文字系列を編集できるという利点がある。なお、以上の態様の具体例は例えば第５実施形態として後述される。

以上の各態様に係る情報編集装置は、情報の編集に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明の第１態様に係るプログラムは、音符情報の追加または削除が指示されると、文字系列の各文字情報を維持したまま音符系列について当該音符情報を追加または削除して、文字系列と当該編集後の音符系列とについて各文字情報と各音符情報との対応を更新する情報管理処理をコンピュータに実行させる。また、本発明の第２態様に係るプログラムは、文字情報の追加または削除が指示されると、音符系列の各音符情報を維持したまま文字系列について当該文字情報を追加または削除して、音符系列と当該編集後の文字系列とについて各音符情報と各文字情報との対応を更新する情報管理処理をコンピュータに実行させる。以上のプログラムによれば、本発明の各態様に係る情報編集装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音響処理装置のブロック図である。 楽譜情報の模式図である。 編集画面の模式図である。 文字情報を追加する場合の楽譜領域および楽譜情報の模式図である。 文字情報を削除する場合の楽譜領域および楽譜情報の模式図である。 音符情報を追加する場合の楽譜領域および楽譜情報の模式図である。 音符情報を削除する場合の楽譜領域および楽譜情報の模式図である。 第２実施形態での音符情報の追加時の楽譜領域および楽譜情報の模式図である。 第３実施形態での文字情報の削除時の楽譜領域および楽譜情報の模式図である。 第４実施形態における編集画面の模式図である。 第４実施形態の変形例における編集画面の模式図である。 第５実施形態の楽譜情報の模式図である。 第５実施形態の編集画面の模式図である。 第５実施形態の変形例における編集画面の模式図である。 第６実施形態の編集用リストの模式図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。音響処理装置１００は、複数の指定音を時系列に配列した歌唱音等の音声（以下「合成音」という）を生成する音声合成装置であり、図１に示すように、演算処理装置１０と記憶装置１２と入力装置１４と表示装置１６と放音装置１８とを具備するコンピュータシステムで実現される。

演算処理装置（ＣＰＵ）１０は、記憶装置１２に記憶されたプログラムＰGの実行で、音響信号ＳOUTの生成に必要な複数の機能（音響生成部２２，表示制御部２４，情報管理部２６，制御部２８）を実現する。音響信号ＳOUTは、合成音の時間軸上の波形を示す信号である。なお、演算処理装置１０の各機能を専用の電子回路（ＤＳＰ）で実現した構成や、演算処理装置１０の各機能を複数の集積回路に分散した構成も採用され得る。

入力装置１４は、利用者からの指示を受付ける機器（例えばマウスやキーボード）である。表示装置１６（例えば液晶表示装置）は、演算処理装置１０から指示された画像を表示する。放音装置１８（例えばスピーカやヘッドホン）は、演算処理装置１０が生成する音響信号ＳOUTに応じた音響を再生する。

記憶装置１２は、演算処理装置１０が実行するプログラムＰGや演算処理装置１０が使用する各種のデータ（素片情報ＤV，楽譜情報ＤS）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１２として任意に採用され得る。なお、複数の記録媒体にプログラムＰGや各データ（ＤV，ＤS）を分散して記憶した構成も採用され得る。

素片情報ＤVは、合成音の素材として利用されるデータ群であり、相異なる音声素片に対応する多数の素片データ（例えば音声素片の波形や特徴量を示すデータ）を含んで構成される。音声素片は、聴覚的に区別できる最小の単位である音素、または複数の音素を連結した音素連鎖である。

楽譜情報ＤSは、各指定音の時系列を指定する情報（スコアデータ）であり、図２に示すように、音符系列ＳNと文字系列ＳLとを含んで構成される。音符系列ＳNは、相異なる指定音に対応する複数の音符情報ＵNの時系列である。各音符情報ＵNは、指定音の発音期間（例えば発音開始の時刻aa:aaと発音の継続長AA）と音高とを指定する。文字系列ＳLは、相異なる指定音に対応する複数の文字情報ＵLの時系列である。各文字情報ＵLは、指定音の発音文字（歌詞の音節）と音声記号（phonetic）とを含んで構成される。図２から理解されるように、楽譜情報ＤSは、相互に対応する音符情報ＵNと文字情報ＵLとの組を指定音毎に時系列に配列した情報としても特定される。

入力装置１４に対する操作で利用者が合成音の生成を指示すると、図１の音響生成部２２は、記憶装置１２に格納された楽譜情報ＤSで指示される各指定音の音響信号ＳOUTを生成する。具体的には、音響生成部２２は、記憶装置１２に記憶された素片情報ＤVのうち楽譜情報ＤSの指定音毎の文字情報ＵLで指定される発音文字の素片データを、当該指定音の音符情報ＵNで指定される音高および発音期間に調整し、調整後の各素片データを相互に連結することで音響信号ＳOUTを生成（音声合成）する。音響生成部２２が生成した音響信号ＳOUTは、放音装置１８に供給されることで音響として再生される。

図１の表示制御部２４は、楽譜情報ＤSの生成や編集のために利用者が視認する図３の編集画面４０を生成して表示装置１６に表示させる。図３に示すように、編集画面４０は、音高軸（縦軸）と時間軸（横軸）とが設定された楽譜領域４２に各指定音の音高の時間的な変化を表示する画像（ピアノロール画像）である。楽譜領域４２には、指定音の音高および発音期間を表示する音指示子５０と指定音の発音文字とが指定音毎に時系列に配置される。音高軸の方向における音指示子５０の位置が指定音の音高を意味し、時間軸の方向における音指示子５０の位置が指定音の発音の時点を意味する。時間軸の方向における音指示子５０のサイズは指定音の継続長（発音の始点から終点までの時間長）を意味する。指定音の発音文字（歌詞）は音指示子５０に重ねて配置される。複数の指定音のうち楽譜領域４２内に音指示子５０が表示される区間は、入力装置１４に対する利用者からの指示に応じて変更（スクロール）される。

利用者は、編集画面４０を視認しながら入力装置１４を適宜に操作することで、各指定音の音指示子５０や発音文字の変更を音響処理装置１００に対して指示することが可能である。例えば、楽譜領域４２の任意の位置に新たな音指示子５０を追加する指示や楽譜領域４２内の既存の音指示子５０を選択して削除する指示が利用者から付与され得る。また、楽譜領域４２内の任意の音指示子５０を選択して発音文字を付加する指示や楽譜領域４２から選択した音指示子５０の既存の発音文字を削除する指示が利用者から付与され得る。表示制御部２４は、利用者による音指示子５０や発音文字の変更の指示に応じて編集画面４０を更新する。

図１の情報管理部２６は、編集画面４０に対する利用者からの指示に応じて記憶装置１２の楽譜情報ＤSを随時に更新する。具体的には、情報管理部２６は、音指示子５０の追加または削除（音符情報ＵNの編集）が利用者から指示されると、当該音指示子５０に対応する音符情報ＵNを楽譜情報ＤSに対して追加または削除し、発音文字の追加または削除（文字情報ＵLの編集）が利用者から指示されると、当該発音文字に対応する文字情報ＵLを楽譜情報ＤSに対して追加または削除する。

制御部２８は、楽譜情報ＤS（編集画面４０）の編集時の動作モードを可変に設定する。第１実施形態の制御部２８は、固定モードと浮動モードとを選択することが可能である。固定モードは、楽譜情報ＤSの音符情報ＵNと文字情報ＵLとの対応（編集画面４０の音指示子５０と発音文字との対応）を指定音毎に固定した状態で楽譜情報ＤSを編集する動作モードである。他方、浮動モードは、音符情報ＵNと文字情報ＵLとの対応を流動的に変化させながら楽譜情報ＤSを編集する（すなわち両者の対応を固定しない）動作モードである。

音符情報ＵNや文字情報ＵLの編集が利用者から指示された場合の表示制御部２４および情報管理部２６の具体的な動作を説明する。以下の説明では、［Ａ］発音文字（文字情報ＵL）の追加が指示された場合（図４）と、［Ｂ］既存の発音文字の削除が指示された場合（図５）と、［Ｃ］音指示子５０（音符情報ＵN）の追加が指示された場合（図６）と、［Ｄ］既存の音指示子５０の削除が指示された場合（図７）との各々について、固定モードおよび浮動モードでの動作を例示する。編集前の楽譜領域４２および楽譜情報ＤSを例示する図４から図７の各々の部分(A)から把握されるように、「あさがくる／ひるがくる（／よるがくる）」という発音文字の系列（歌詞）が各指定音（Ｍ1，Ｍ2，……）に付与されている場合を以下では想定する。図４から図７の各々の部分(B)は、固定モードでの編集後の楽譜領域４２および楽譜情報ＤSを例示し、図４から図７の各々の部分(C)は、浮動モードでの編集後の楽譜領域４２および楽譜情報ＤSを例示する。

［Ａ］発音文字の追加（文字情報ＵLの追加）が指示された場合
図４には、利用者が指定音Ｍ6の発音文字「ひ」を選択して発音文字「よ」の追加を指示した場合が例示されている。

固定モードで発音文字「よ」の追加が指示された場合、表示制御部２４は、図４の部分(B)に示すように、利用者が選択した発音文字「ひ」を新たな発音文字「よ」に置換する。情報管理部２６は、文字系列ＳLのうち利用者が選択した指定音Ｍ6の文字情報ＵL6を発音文字「よ」の文字情報ＵL6aに置換する。すなわち、情報管理部２６は、発音文字「よ」の文字情報ＵL6aを既存の文字情報ＵL6に上書する。

他方、浮動モードで発音文字「よ」の追加が指示された場合、表示制御部２４は、図４の部分(C)に示すように、音指示子５０の系列を維持したまま、利用者が選択した発音文字「ひ」の直前に新たな発音文字「よ」を追加し、以後の各発音文字を今回の発音文字の追加分（図４の例示では１個分）だけ音指示子５０の系列に対して繰下げる（すなわち時間軸の後方側にシフトする）。情報管理部２６は、音符系列ＳNを維持したまま、文字系列ＳLのうち利用者が選択した発音文字「ひ」の文字情報ＵL6の直前に発音文字「よ」の文字情報ＵL6aを追加（挿入）し、以後の各文字情報ＵL（ＵL6，ＵL7，……）を今回の文字情報ＵLの追加分（１個分）だけ音符系列ＳNに対して繰下げる。したがって、例えば編集前に音符情報ＵN6に対応していた文字情報ＵL6は、編集後には音符情報ＵN7に対応づけられる。

［Ｂ］発音文字の削除（文字情報ＵLの削除）が指示された場合
図５には、指定音Ｍ4の発音文字「く」および指定音Ｍ5の発音文字「る」を削除する場合が例示されている。

固定モードで発音文字の削除が指示された場合、表示制御部２４は、図５の部分(B)に示すように、指定音Ｍ4の発音文字「く」および指定音Ｍ5の発音文字「る」の各々を、初期値として事前に設定された発音文字（以下では特に「初期発音文字」と表記する）に置換（変更）する。図５では、発音文字「あ」を初期発音文字とした場合が想定されている。情報管理部２６は、音符系列ＳNを維持したまま、文字系列ＳLのうち指定音Ｍ4の文字情報ＵL4および指定音Ｍ5の文字情報ＵL5を、初期発音文字（発音文字「あ」）を指定する文字情報ＵL4aおよびＵL5aに置換する。

他方、浮動モードで発音文字の削除が指示された場合、表示制御部２４は、図５の部分(C)に示すように、音指示子５０の系列を維持したまま、利用者が選択した発音文字「く」および「る」を削除し、以後の各発音文字を今回の発音文字の削除分（図５の例示では２個分）だけ音指示子５０の系列に対して繰上げる（すなわち時間軸の前方側にシフトする）。情報管理部２６は、音符系列ＳNを維持したまま、文字系列ＳLのうち利用者が選択した指定音Ｍ4およびＭ5の文字情報ＵL4およびＵL5を削除し、以後の各文字情報ＵL（ＵL6，ＵL7，……）を今回の文字情報ＵLの削除分（２個分）だけ音符系列ＳNに対して繰上げる。

以上の説明から理解されるように、固定モードで文字系列ＳLの編集（文字情報ＵLの追加／削除）を実行する場合には、時間軸上で編集箇所の前後に位置する音符情報ＵNと文字情報ＵLとの対応が編集前と編集後とで同様に維持される。すなわち、各音符情報ＵNと各文字情報ＵLとの対応（音指示子５０と発音文字との対応）は、文字情報ＵLの編集に関わらず固定的である。他方、浮動モードで文字系列ＳLを編集する場合には、音符系列ＳNの各音符情報ＵNと編集後の文字系列ＳLの各文字情報ＵLとが時間軸上で対応するように、音符情報ＵNと文字情報ＵLとの対応（音指示子５０と発音文字との対応）が更新される。

［Ｃ］音指示子５０の追加（音符情報ＵNの追加）が指示された場合
図６には、指定音Ｍ5と指定音Ｍ6との間に指定音Ｍ5aの音指示子５０（音符情報ＵN）を追加する場合が例示されている。

固定モードで音指示子５０の追加が指示された場合、表示制御部２４は、図６の部分(B)に示すように、初期発音文字（発音文字「あ」）が付与された指定音Ｍ5aの音指示子５０を指定音Ｍ5の音指示子５０と指定音Ｍ6の音指示子５０との間に追加する。情報管理部２６は、楽譜情報ＤSの音符系列ＳNのうち指定音Ｍ5の音符情報ＵN5と指定音Ｍ6の音符情報ＵN6との間に新たな音符情報ＵN5aを追加するとともに、音符情報ＵN5aに対応する文字情報ＵL5aを、文字系列ＳLの文字情報ＵL5と文字情報ＵL6との間に追加する。文字情報ＵL5aは、初期発音文字（発音文字「あ」）を指定する。

他方、浮動モードで音指示子５０の追加が指示された場合、表示制御部２４は、図６の部分(C)に示すように、指定音Ｍ5aの音指示子５０を指定音Ｍ5の音指示子５０と指定音Ｍ6の音指示子５０との間に追加し、以後の各発音文字を音指示子５０の追加分（１個分）だけ音指示子５０の系列に対して繰上げる。例えば、追加の指定音Ｍ5aに対応する音指示子５０には発音文字「ひ」が付加される。情報管理部２６は、文字系列ＳLを維持したまま、音符系列のうち指定音Ｍ5の音符情報ＵN5の直後に新たな音符情報ＵN5aを追加し、以後の各音符情報ＵN（ＵN6，ＵN7，……）を今回の音符情報ＵNの追加分（１個分）だけ文字系列ＳLに対して繰下げる（各文字情報ＵLを音符系列ＳNに対して繰上げる）。

［Ｄ］音指示子５０の削除（音符情報ＵNの削除）が指示された場合
図７には、指定音Ｍ4および指定音Ｍ5の各音指示子５０（音符情報ＵN）を削除する場合が例示されている。

固定モードで音指示子５０の削除が指示された場合、表示制御部２４は、図７の部分(B)に示すように、指定音Ｍ4および指定音Ｍ5の各音指示子５０を発音文字とともに楽譜領域４２から削除する。情報管理部２６は、指定音Ｍ4に対応する音符情報ＵN4および文字情報ＵL4（発音文字「く」）と、指定音Ｍ5に対応する音符情報ＵN5および文字情報ＵL5（発音文字「る」）とを削除する。

他方、浮動モードで音指示子５０の削除が指示された場合、表示制御部２４は、図７の部分(C)に示すように、指定音Ｍ4および指定音Ｍ5の各音指示子５０を削除し、指定音Ｍ4に対応する発音文字「く」以後の各発音文字を音指示子５０の削除分（２個分）だけ音指示子５０の系列に対して繰下げる。したがって、削除された指定音Ｍ5の直後の指定音Ｍ6には、編集前に指定音Ｍ4に付加されていた発音文字「く」が付加される。情報管理部２６は、文字系列ＳLを維持したまま、音符系列ＳNのうち指定音Ｍ4の音符情報ＵN4と指定音Ｍ5の音符情報ＵN5とを削除し、以後の各音符情報ＵN（ＵN6，ＵN7，……）を今回の音符情報ＵNの削除分（２個分）だけ文字系列ＳLに対して繰上げる。

以上の説明から理解されるように、固定モードで音符系列ＳNの編集（音符情報ＵNの追加／削除）を実行する場合には、固定モードでの文字系列ＳLの編集と同様に、時間軸上で編集箇所の前後に位置する音符情報ＵNと文字情報ＵLとの対応が編集前と編集後とで同様に維持される。他方、浮動モードで音符系列ＳNを編集する場合には、文字系列ＳLの各文字情報ＵLと編集後の音符系列ＳNの各音符情報ＵNとが時間軸上で対応するように、音符情報ＵNと文字情報ＵLとの対応（音指示子５０と発音文字との対応）が更新される。

以上に説明したように、本実施形態の浮動モードでは、音符情報ＵNと文字情報ＵLとの対応が文字情報ＵLの追加や削除に応じて浮動的に制御される。したがって、文字系列ＳLの変更に整合するように利用者が音符系列ＳNを編集する作業や、音符系列ＳNの変更に整合するように利用者が文字系列ＳLを編集する作業は不要である。したがって、音符情報ＵNと文字情報ＵLとの対応が編集の前後で固定された構成（実施形態の固定モードのみが用意された構成）と比較して、音符系列ＳNおよび文字系列ＳLを効率的に編集できるという利点がある。また、浮動モードに代えて固定モードでも文字系列ＳLや音符系列ＳNの編集が可能であるから、音符情報ＵNと文字情報ＵLとの対応を固定したまま音符系列ＳNや文字系列ＳLを編集したいという利用者の多様な要求にも対応することが可能である。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態を説明する。なお、以下の各例示において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

第２実施形態の制御部２８は、固定モード／浮動モードの選択に加え、固定モードにおけるメリスマの有効／無効を選択する。メリスマ（melisma）とは、音高を変化させながら１個の発音文字（音節）を連続的に発声する発声法（歌唱法）である。メリスマの有効／無効は、例えば入力装置１４に対する利用者からの操作に応じて可変に設定される。なお、浮動モードでの動作は第１実施形態と同様であるから説明を省略する。

図８は、第２実施形態における表示制御部２４および情報管理部２６の動作の説明図である。図８では、利用者からの指示に応じて指定音Ｍ5と指定音Ｍ6との間に指定音Ｍ5aの音指示子５０（音符情報ＵN）を追加する場合が想定されている。図８の部分(A)には編集前の楽譜領域４２と楽譜情報ＤSとが図示されている。図８の部分(B)はメリスマが無効に設定された場合の楽譜領域４２および楽譜情報ＤSの模式図であり、図８の部分(C)はメリスマが有効に設定された場合の楽譜領域４２および楽譜情報ＤSの説明図である。

固定モードのもとでメリスマが無効に設定された状態で音指示子５０の追加が指示された場合、表示制御部２４および情報管理部２６は第１実施形態と同様に動作する。すなわち、図８の部分(B)に示すように、表示制御部２４は、初期発音文字（発音文字「あ」）が付加された指定音Ｍ5aの音指示子５０を楽譜領域４２に追加し、情報管理部２６は、指定音Ｍ5aの音符情報ＵN5aと初期発音文字の文字情報ＵL5aとを楽譜情報ＤSに追加する。

固定モードのもとでメリスマが有効に設定された状態で音指示子５０の追加が指示された場合にも同様に、表示制御部２４は、指定音Ｍ5aの音指示子５０を楽譜領域４２に追加する。ただし、指定音Ｍ5aの音指示子５０に付加される発音文字は、直前の指定音Ｍ5の発音文字「る」の母音である発音文字「う」に設定される。情報管理部２６は、指定音Ｍ5aに対応する音符情報ＵN5aを音符系列ＳNに追加するとともに指定音Ｍ5aに対応する文字情報ＵL5bを文字系列ＳLに追加する。文字情報ＵL5bの発音文字は、初期発音文字ではなく、直前の文字情報ＵL5で指定される発音文字「る」の母音である発音文字「う」に設定される。したがって、指定音Ｍ5と指定音Ｍ5aとの合成音は、１個の発音文字「る」を相異なる音高（指定音Ｍ5および指定音Ｍ5aの各音高）で連続して発声した音声（すなわちメリスマの音声）となる。

第２実施形態でも第１実施形態と同様の効果が実現される。また、第２実施形態では、固定モードのもとでメリスマが有効に設定された状態で音指示子５０の追加が指示された場合に、追加の指定音に対応する文字情報ＵLの発音文字が直前の指定音の母音に自動的に設定されるから、追加の指定音に対応する発音文字を利用者が直前の指定音の母音に変更する場合と比較して、メリスマを指示する場合の利用者の負担が軽減されるという利点がある。

＜Ｃ：第３実施形態＞
第２実施形態では、固定モードで音指示子５０を追加する場合の動作をメリスマの有効／無効に応じて変化させた。第３実施形態では、固定モードで発音文字の削除が指示された場合の動作をメリスマの有効／無効に応じて変化させる。

図９は、第３実施形態における表示制御部２４および情報管理部２６の動作の説明図である。図９では、「あさもくる／ひるがくる」という発音文字が指定された状態（部分(A)）で、指定音Ｍ4の発音文字「く」および指定音Ｍ5の発音文字「る」の削除を利用者が指示した場合が想定されている。

固定モードにてメリスマが無効に設定された状態で発音文字の削除が指示された場合の動作は第１実施形態（図５の部分(B)）と同様である。すなわち、図９の部分(B)に示すように、表示制御部２４は、指定音Ｍ4および指定音Ｍ5の各発音文字を初期発音文字（発音文字「あ」）に置換し、情報管理部２６は、利用者が発音文字の削除を指示した各指定音（Ｍ4，Ｍ5）の文字情報（ＵL4，ＵL5）を初期発音文字の文字情報（ＵL4a，ＵL5a）に置換する。

他方、固定モードにてメリスマが有効に設定された状態で発音文字の削除が指示された場合、表示制御部２４は、図９の部分(C)に示すように、利用者が削除を指示した発音文字を、初期発音文字ではなく、当該発音文字の直前の指定音の発音文字（図９の例示では指定音Ｍ3の発音文字「も」）の母音である発音文字「お」に置換する。情報管理部２６は、利用者が削除を指示した各指定音（Ｍ4，Ｍ5）の文字情報（ＵL4，ＵL5）を、直前に位置する指定音Ｍ3の発音文字「も」の母音である発音文字「お」の文字情報（ＵL4b，ＵL5b）に置換する。したがって、指定音Ｍ3〜Ｍ5の合成音は、１個の発音文字「も」を相異なる音高（指定音Ｍ3〜Ｍ5の各音高）で連続して発声した音声（すなわちメリスマの音声）となる。

第３実施形態でも第１実施形態と同様の効果が実現される。また、第３実施形態では、固定モードにてメリスマの有効時に発音文字の削除が指示されると、利用者が削除を指示した発音文字が直前の指定音の母音に自動的に設定されるから、第２実施形態と同様に、メリスマの関係が成立するように利用者が各発音文字を指定する場合と比較して利用者の負担が軽減されるという利点がある。例えば、「あさがああ」という発音文字を「あさもおお」（「もおお」の部分はメリスマ）という発音文字に変更する場合、利用者は、発音文字「が」を発音文字「も」に変更したうえで、発音文字「ああ」を削除するという簡易な手順で所期の発音文字「あさもおお」を指定することが可能である。

＜Ｄ：第４実施形態＞
図１０は、第４実施形態における編集画面４０の模式図である。図１０に示すように、第４実施形態の表示制御部２４が表示装置１６に表示させる編集画面４０は、第１実施形態や第２実施形態と同様の楽譜領域４２に加えて文字領域４４を含んで構成される。文字領域４４は、各指定音の発音文字の系列（文字列）が配列された領域である。例えば、発音文字の系列のうち楽譜領域４２で選択されている指定音の発音文字とその前後に位置する所定個（図１０では１個ずつ）の発音文字が選択的に文字領域４４に配置される。

楽譜領域４２では、前述の通り、指定音の音高や発音期間に応じた位置（各音指示子５０の位置）に発音文字が配置されるが、文字領域４４では、各指定音の発音期間とは無関係に複数の発音文字が時間軸の方向に等間隔に配置される。また、文字領域４４内の複数の発音文字のうち利用者が楽譜領域４２にて選択した指定音の発音文字（図１０の発音文字「さ」）は、非選択の指定音の発音文字とは相違する態様で表示（強調表示）される。図１０では、利用者が選択した指定音の発音文字に下線を付記した場合が例示されている。

利用者は、入力装置１４の操作で文字領域４４内の発音文字を適宜に編集（追加／削除）し得る。例えば、利用者が指定した発音文字を文字領域４４内の所望の位置に追加する作業や文字領域４４内の発音文字を削除する作業のほか、文字領域４４内の既存の発音文字の複製を他の位置に追加する作業（コピー＆ペースト）や、文字領域４４内の既存の発音文字を他の位置に移動する作業（カット＆ペースト）が可能である。また、利用者は、所望の文字列を文字領域４４内の発音文字の系列から検索することが可能である。

表示制御部２４は、利用者からの指示に応じて文字領域４４内の各発音文字を変更し、文字領域４４内の変更が反映されるように楽譜領域４２内の各発音文字を更新する。また、情報管理部２６は、文字領域４４内の発音文字の変更が反映されるように楽譜情報ＤSを更新する。文字領域４４の編集が利用者から指示された場合、制御部２８は、動作モードを強制的に浮動モードに設定する。したがって、表示制御部２４は、文字領域４４内の発音文字の編集（追加／削除）に応じて楽譜領域４２内の以後の発音文字を音指示子５０の系列に対して移動（繰上／繰下）し、情報管理部２６は、楽譜情報ＤSの文字情報ＵLの編集（追加／削除）に応じて以後の各文字情報ＵLを音符系列ＳNに対して移動（繰上／繰下）する。

第４実施形態でも第１実施形態と同様の効果が実現される。また、第４実施形態では、発音文字の系列（歌詞）が文字領域４４に集約的に配置されるから、楽譜領域４２内に分散的に配置された発音文字を編集する場合と比較して利用者の作業の負担が軽減されるという利点がある。また、文字領域４４内の複数の発音文字のうち利用者が選択中の指定音に対応する発音文字が他の発音文字とは相違する態様で表示されるから、各指定音の音高の経時的な変化（すなわち旋律）と発音文字の系列とを対照しながら楽譜情報ＤSを効率的に編集できるという利点もある。

なお、以上の例示では楽譜領域４２に並列するように編集画面４０内に文字領域４４を配置したが、図１１の例示のように、編集画面４０とは別個に（すなわち編集画面４０から独立したウィンドウとして）文字領域４４を配置した構成も採用され得る。図１１の文字領域４４には、例えば、文字系列ＳLを構成する全部の発音文字が配置される。また、文字領域４４内の発音文字のうち利用者が楽譜領域４２で選択中の指定音の発音文字（図１１で下線が付加された発音文字）を含む所定個の発音文字は強調表示（図１１では網掛表示）される。文字領域４４内の発音文字の編集を楽譜領域４２内の各発音文字や楽譜情報ＤSに反映させる動作は前述の例示と同様である。

＜Ｅ：第５実施形態＞
浮動モードにて文字情報ＵL（発音文字）の追加（図４）や音符情報ＵNの削除（図７）を実行した場合、編集箇所以降の各文字情報ＵLが各音符情報ＵNに対して相対的に繰下がるから、図１２に示すように、文字系列ＳLの最後尾の近傍に位置する各文字情報ＵLは音符情報ＵNとの対応から外れる。第５実施形態は、以上のように楽譜情報ＤSの編集に起因して音符情報ＵNとの対応から外れた文字情報ＵL（以下では特に「余剰文字情報ＵL_R」と表記する）に着目した形態である。音符系列ＳNの音符情報ＵNの総数を超過した個数の文字情報ＵLが余剰文字情報ＵL_Rに相当する。

第５実施形態の情報管理部２６は、文字情報ＵLの追加や音符情報ＵNの削除で発生した余剰文字情報ＵL_Rを破棄せずに記憶装置１２内に保持する。他方、表示制御部２４は、図１３に示す余剰文字領域４６を表示装置１６に表示させる。余剰文字領域４６には、余剰文字情報ＵL_Rが指定する各発音文字が配置される。図１３では、漫画の吹き出しを模擬した形状の余剰文字領域４６を編集画面４０内に配置した場合が例示されている。

第５実施形態でも第１実施形態と同様の効果が実現される。なお、音符系列ＳNとの対応から溢れた文字情報ＵLが破棄される構成では、文字情報ＵLの追加や音符情報ＵNの削除で破棄された文字情報ＵLを利用者が随時に追加する必要がある。第５実施形態によれば、余剰文字情報ＵL_Rが記憶装置１２に保持されるから、楽譜情報ＤSの編集時の利用者の作業の負担を軽減することが可能である。また、余剰文字情報ＵL_Rが表示装置１６に表示されるから、音符情報ＵNとの対応から外れた余剰文字情報ＵL_Rを認識しながら、利用者が楽譜情報ＤSを編集できるという利点もある。以上の効果は、例えば、発音文字の系列（歌詞）を確定したうえで試行錯誤的に旋律を編集する（音符情報ＵNを追加または削除する）場合に格別に有効である。

なお、以上の例示では、余剰文字情報ＵL_Rを表示する独立の余剰文字領域４６を確保したが、例えば図１１の形態のように文字系列ＳLの全部の発音文字が文字領域４４に配置される場合には、図１４に示すように、文字領域４４内の余剰文字情報ＵL_Rの発音文字を他の発音文字とは別態様で表示する構成も好適に採用され得る。図１４では、文字領域４４内の余剰文字情報ＵL_Rに下線（二重線）を付加した場合が例示されている。

＜Ｆ：第６実施形態＞
第６実施形態の表示制御部２４は、図１５に例示するように、楽譜情報ＤSを図表の形式で表現したリスト（以下「編集用リスト」という）４８を表示装置１６に表示させる。図１５に例示された編集用リスト４８では、各指定音の音符情報ＵN（発音期間，音高）が第１列に時系列に配列され、各指定音の文字情報ＵL（発音文字，発音記号）が第２列に時系列に配列される。第２列の下位２行は余剰文字情報ＵL_R（第５実施形態）に相当する。

利用者は、入力装置１４を適宜に操作することで編集用リスト４８の各要素を適宜に変更することが可能である。例えば、編集用リスト４８内の任意の要素を変更または削除する作業のほか、音符情報ＵNや文字情報ＵL（例えば複数の指定音にわたる音符情報ＵNや文字情報ＵLの系列）を任意に選択および複製して他の位置に追加する作業（コピー＆ペースト）や、１個以上の音符情報ＵNや文字情報ＵLを任意に選択して他の位置に移動する作業（カット＆ペースト）が可能である。また、利用者は、所望の文字列を編集用リスト４８内の発音文字の系列から検索することが可能である。

表示制御部２４は、編集画面４０および編集用リスト４８の一方を利用者からの指示に応じて更新し、当該更新が反映されるように他方の表示を更新する。また、情報管理部２６は、編集用リスト４８に対する変更が反映されるように楽譜情報ＤSを更新する。編集用リスト４８の編集時に動作モードは浮動モードに設定される。

第６実施形態でも第１実施形態と同様の効果が実現される。また、第６実施形態では、楽譜情報ＤSを可視化した編集用リスト４８が編集可能な状態で表示装置１６に表示されるから、利用者が各指定音の詳細（音符情報ＵN，文字情報ＵL）を確認しながら適宜に編集できるという利点がある。

＜Ｇ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）変形例１
以上の各形態は適宜に組合せが可能である。例えば、第４実施形態から第６実施形態は、メリスマの有効／無効を設定可能な第２実施形態や第３実施形態にも同様に適用され得る。また、第４実施形態の文字領域４４と第５実施形態の余剰文字領域４６と第６実施形態の編集用リスト４８とから選択された２以上の画像は表示装置１６に並列（同時）に表示され得る。文字領域４４内の既存の発音文字を他の位置に追加（コピー＆ペースト）または移動（カット＆ペースト）する第４実施形態の動作は、以上に例示した各形態（第１実施形態〜第３実施形態，第５実施形態，第６実施形態）にも同様に採用することが可能である。

（２）変形例２
以上の各形態では固定モードまたは浮動モードを制御部２８が選択したが、浮動モードのみで動作する構成（したがって制御部２８は省略される）も採用され得る。また、楽譜情報ＤSの編集用の音響処理装置１００（情報編集装置）では音響生成部２２が省略され得る。

１００……音響処理装置、１０……演算処理装置、１２……記憶装置、１４……入力装置、１６……表示装置、１８……放音装置、２２……音響生成部、２４……表示制御部、２６……情報管理部、２８……制御部、４０……編集画面、４２……楽譜領域、４４……文字領域、４６……余剰文字領域、４８……編集用リスト、５０……音指示子。

Claims (5)

1. 各指定音の音高を指定する音符情報を時系列に配列した音符系列と、各指定音の発音文字を指定する文字情報を時系列に配列した文字系列とを、前記各音符情報と前記各文字情報とを対応させて記憶する記憶手段と、
   前記音符情報の追加または削除が指示されると、前記文字系列の各文字情報を維持したまま前記音符系列について当該音符情報を追加または削除して、前記文字系列と当該編集後の音符系列とについて前記各文字情報と前記各音符情報との対応を更新する情報管理手段と
   を具備する情報編集装置。
2. 浮動モードまたは固定モードを選択する制御手段を具備し、
   前記情報管理手段は、
   前記浮動モードにて前記音符情報の追加または削除が指示されると、前記文字系列の各文字情報を維持したまま、前記音符系列について当該音符情報を追加または削除し、
   前記固定モードにて前記音符情報の追加が指示されると、前記音符系列に当該音符情報を追加するとともに当該音符情報に対応する文字情報を前記文字系列に追加し、前記固定モードにて前記音符情報の削除が指示されると、前記音符系列から当該音符情報を削除するとともに当該音符情報に対応する文字情報を前記文字系列から削除する
   請求項１の情報編集装置。
3. 前記情報管理手段は、前記固定モードにて新規音符情報の追加が指示されると、前記音符系列に前記新規音符情報を追加し、前記音符系列のうち前記新規音符情報の直前の音符情報に対応する文字情報の母音を指定する文字情報を、前記新規音符情報に対応する文字情報として前記文字系列に追加する
   請求項２の情報編集装置。
4. 各指定音の音高を指定する音符情報を時系列に配列した音符系列と、各指定音の発音文字を指定する文字情報を時系列に配列した文字系列とを、前記各音符情報と前記各文字情報とを対応させて記憶する記憶手段と、
   前記文字情報の追加または削除が指示されると、前記音符系列の各音符情報を維持したまま前記文字系列について当該文字情報を追加または削除して、前記音符系列と当該編集後の文字系列とについて前記各音符情報と前記各文字情報との対応を更新する情報管理手段と
   を具備する情報編集装置。
5. 浮動モードまたは固定モードを選択する制御手段を具備し、
   前記情報管理手段は、
   前記浮動モードにて前記文字情報の追加または削除が指示されると、前記音符系列の各音符情報を維持したまま、前記文字系列について当該文字情報を追加または削除し、
   前記固定モードにて前記文字情報の追加が指示されると、前記各音符情報と前記各文字情報との対応を維持したまま、前記文字系列内の文字情報を前記追加に係る文字情報に置換し、前記固定モードにて前記文字情報の削除が指示されると、前記各音符情報と前記各文字情報との対応を維持したまま、前記文字系列内の文字情報を所定の文字情報に置換する
   請求項４の情報編集装置。
   

Images