JP2009031565A

JP2009031565A - 楽音及び映像生成装置

Info

Publication number: JP2009031565A
Application number: JP2007195926A
Authority: JP
Inventors: Yoshihide Kasai; 良秀笠井
Original assignee: Roland Corp
Current assignee: Roland Corp
Priority date: 2007-07-27
Filing date: 2007-07-27
Publication date: 2009-02-12

Abstract

【課題】楽音と共に生成された映像が楽音の時間的変化に同期して変化する。
【解決手段】共通操作子２が、楽音を制御すると同時に映像を制御する制御情報を生成する。ＡＤＳＲ操作子８がエンベロープパラメータを生成する。楽音生成装置１２が、共通操作子２によって生成された制御情報とエンベロープパラメータとに応じた特性の楽音を生成する。複数の表示特性を有し、そのうちの少なくとも１つの表示特性が制御情報に応じた映像を、映像生成装置２２が生成し、更に生成された映像の他の表示特性を、エンベロープパラメータに応じて変化させる。
【選択図】図１

Description

本発明は、楽音及び映像を生成する装置に関し、特に生成される楽音及び映像をエンベロープパラメータによって制御するものに関する。

従来、映像の作成に関連して音を発生させるものとしては、例えば特許文献１に開示されているようなものがある。特許文献１の技術によれば、タブレット上でタッチペンを操作すると、その操作に応じてモニター上に描画すると共に、その描画速度を検出し、その速度に応じてオーディオ信号を発音する。例えば描画速度が大きいときには画像の塗りつぶしを行っていることが多いので、大きいオーディオ信号を発音させ、描画速度が小さいが変化が大きいときには線を描いていることが多いので、小さくとも強い音を変化に応じてピッチを変換して発音させる。

特開平４−１４０８４号公報

上述した技術は、描画を基準とし、その描画に付随して発音させている。従って、固有の特性で変化するような楽音を発生させることは不可能である。楽音を発生させる場合、発音の開始から減衰に至る時間変化が重要な要素であるが、このような楽音の時間変化を描画に反映させることは、上述した技術では不可能である。

本発明は、生成された映像が楽音の時間的変化に応じて変化する楽音及び映像生成装置を提供することを目的とする。

本発明の一態様の楽音及び映像生成装置は、共通操作子を有している。この共通操作子は、楽音を制御すると同時に映像を制御する制御情報を生成する。エンベロープパラメータ生成手段が、エンベロープパラメータを生成する。エンベロープパラメータとしては、例えばアタック、ディケイ、サスティーン及びリリースの時間と値がある。楽音生成手段が、前記制御情報と前記エンベロープパラメータに応じた特性の楽音を生成する。エンベロープパラメータによって、例えば楽音のレベルが調整されたり、楽音のピッチが調整されたり、楽音の周波数特性を調整したりすることができる。また、映像生成手段が映像を生成する。この映像は、複数の表示特性を有している。複数の表示特性のうち少なくとも１つの表示特性が前記制御情報に応じたものとして映像生成手段によって生成される。複数の表示特性のうち他の表示特性が、前記エンベロープパラメータに応じて変化させられている映像を映像生成手段が生成する。

このように構成された楽音及び映像生成装置では、共通操作子の操作とエンベロープパラメータ生成手段の操作とによって、どのような特性の楽音を発生するかが決定され、また、どのような表示特性を持つ映像を生成するかが決定される。そして、楽音生成手段が、共通操作子の操作とエンベロープパラメータ生成手段の操作とに応じた特性の楽音を生成する。同時に、映像生成手段が、楽音に付与されているエンベロープと同期した変化を複数の表示特性のうち或る表示特性がするように映像を生成する。従って、楽音の時間的変化に同期した変化をする映像を、楽音の発生と同時に生成することができる。

前記制御情報は、音高情報と操作速度情報とを有するものとできる。この場合、共通操作子としては、例えば鍵盤を使用することができる。前記楽音生成手段は、前記音高情報に応じた音高と、前記操作速度情報と前記エンベロープパラメータに応じた特性の楽音を生成する。前記映像生成手段は、前記少なくとも１つの表示特性を前記音高情報に応じたものとして前記映像を表示し、前記操作速度情報に応じて前記映像の前記他の表示特性の変化の最大値を定め、前記エンベロープパラメータに従って前記最大値の範囲内において前記他の表示特性を変化させる。

このように構成すると、映像生成手段が生成する映像の１つの表示特性は、音高情報に応じたものとなり、他の表示特性はエンベロープパラメータに従って変化するが、その変化の最大値は、操作速度情報に応じて決定されている。従って、表示される映像は、生成される楽音の変化に同期して変化する。

さらに、例えば異なる音高情報に対応する複数の鍵を有する鍵盤を使用し、操作する鍵を順に変化させることによって音高情報を順に変化させることができる。音高情報に応じた前記表示特性は、前記映像の表示位置であり、前記音高情報の変化に従って前記表示位置が変化する。

このように構成すると、或る音高で１つの楽音を発生させると、その音高に対応する位置に表示された映像の表示特性が、その楽音のエンベロープの変化に従って変化する。また、別の音高で楽音が新たに発生されると、その別の音高に対応する位置に表示された映像の表示特性が、その別の音高のエンベロープに従って変化する。従って、楽音の音高の変化及びその楽音のエンベロープの変化に同期して表示特性が変化する映像を表示することができる。

以上のように、本発明によれば、楽音のエンベロープの変化に同期して表示特性が変化する映像を生成することができる。

本発明の１実施形態の楽音及び映像生成装置は、例えばシンセサイザーに実施されたもので、図１に機能ブロック図で示すように、共通操作子２を有している。共通操作子２は、楽音と映像とに共通の制御情報を生成するもので、例えば複数の鍵を備えた鍵盤が使用される。この鍵盤の各鍵には異なる音高情報が割り当てられており、また、各鍵が操作されたとき、そのの操作速度情報、即ちベロシティ情報を生成するように構成されている。従って、或る鍵が操作されると、その鍵に割り当てられている音高情報と、その鍵の操作速度を表すベロシティ情報とが共通操作子２から生成される。

この共通操作子２からの音高情報とベロシティ情報とは、楽音用合成器４に供給される。楽音用合成器４には、楽音用設定操作子６からの各種設定情報も供給される。各種設定情報はシンセサイザーにおいて必要な各種設定情報であって、例えばシンセサイザーによって発生させようとしている楽音の音色を表す音色情報や、モジュレーションデプス情報等がある。

また、エンベロープパラメータ生成手段、例えばＡＤＳＲ操作子８が設けられている。このＡＤＳＲ操作子８は、エンベロープのパラメータであるアタック、ディケイ、サスティーン及びリリースの時間と値をそれぞれ設定するものである。このエンベロープパラメータは、ＡＤＳＲ制御装置１０に供給され、時間経過と共に値が変化するエンベロープ情報とされ、楽音用合成器４に供給される。楽音用合成器４によって合成された各種情報は、楽音生成装置１２に供給される。楽音生成装置１２は、供給された各種情報に基づいて楽音を生成し、楽音出力装置１４、例えばサウンドシステムに供給する。

共通操作子２からの音高情報及びベロシティ情報は、映像用合成器１６にも供給されている。映像用合成器１６には、映像用設定操作子１８からの映像用設定情報も供給される。また、ＡＤＳＲ操作子８からのエンベロープパラメータに基づいてＡＤＳＲ制御装置２０がエンベロープ情報を発生し、映像用合成器１６に供給する。映像用合成器１６によって合成された情報が、映像生成装置２２に供給される。映像生成装置２２は、供給された情報に基づいて映像を生成し、映像出力部２４、例えばモニターに表示される。

映像生成装置２２によって生成される映像は、複数の表示特性を有している。例えば表示特性の１つとして、どのような形状の映像とするかがある。また、その形状の大きさ、個数、色、明度、コントラスト、表示位置等の様々な表示特性がある。これら複数の表示特性のうち、楽音におけるエンベロープの変化に同期して変化することによって楽音との親和性がとれる表示特性を、ＡＤＳＲ制御装置２０からのエンベロープ情報に基づいて変化させる。

例えば、図２（ａ）は、ＡＤＳＲ制御装置２０が発生するエンベロープ情報を表し、符号Ａはアタック部分を、Ｄはディケイ部分を、Ｓはサスティーン部分を、Ｒはリリース部分をそれぞれ表している。同図（ｂ）は、このエンベロープ情報に従って、表示特性の１つである形状、例えば円の大きさを変更した場合を示している。

アタック部分Ａの開始時点ｔ０では、表示される映像は円であり、アタック部分Ａの値の初期値からの増加に従って円の垂直方向の長さが段々と大きくなり、アタック部分Ａの最終時点ｔ１では最も大きい楕円となる。なお、アタック部分Ａの最終部分の値は、共通操作子２からのベロシティ情報によって決定される。従って、ベロシティ情報が大きいときほど、最も大きい楕円の垂直方向の長さが長くなる。

ディケイ部分Ｄでは、その値の減少に従って楕円の垂直方向の長さが短くなっていく。但し、ディケイ部分Ｄの最終時点ｔ２での値は、ベロシティ情報によって決定され、アタック部分Ａの初期値まで戻っていないので、アタック部分Ａの初期値に相当する円にまで形状は復帰せず、楕円のままである。

ディケイ部分Ｄに続くサスティーン部分Ｓでは、その値は一定であるので、表示される楕円の大きさはディケイ部分の最終時点と同じで、最終時点ｔ３までその状態を維持する。

サスティーン部分Ｓに続くリリース部分Ｒでは、その値は初期値に向かって徐々に減少していくので、表示される楕円の垂直方向の長さが徐々に短くなり、リリース部分の最終時点ｔ４では、最初の円に戻る。

例えば共通操作子２から与えられる音高情報に基づいて円の表示位置、例えばモニター上の垂直方向の表示位置を決めて、エンベロープ情報に基づいて円の垂直方向の大きさを変化させるとする。この場合、共通操作子２の複数の鍵を順に操作することによって、円の垂直方向の表示位置が変化し、各表示位置においてベロシティ情報によって定められた範囲でエンベロープ情報の変化に従って円から楕円に変化し、再び円に戻る。従って、或る鍵が押鍵されると、図３（ａ）に示すように、その鍵の音高情報に対応した垂直方向の位置に円が表示され、その或る鍵が強く押鍵されていると、最大値の大きなエンベロープとなるので、円の垂直方向の長さが大きく変化して、再び元の大きさに戻る。しかも、その変化は、楽音の経時変化と完全に同期している。別の鍵が押鍵されると、同図（ｂ）に示すように、その鍵の音高情報に対応した垂直方向の位置に円が表示され（同図（ｂ）は、同図（ａ）よりも音高が低い場合を示している。）、その鍵が弱く押鍵されていると、最大値の小さなエンベロープとなるので、円の垂直方向の長さは余り大きくは変化しない。しかし、再び元の大きさに戻る。この場合も、円の垂直方向の変化は、楽音の経時変化と完全に同期している。

図４（ｂ）は、円の水平方向の表示位置及び円の半径を、図４（ａ）に示すエンベロープ情報の変化に従って変化させた場合を示す。アタック部分Ａの開始時点ｔ０では、表示される円の映像はモニター画面の基準位置に表示され、基準半径を持つものである。アタック部分Ａの値の初期値からの増加に従って水平方向に例えば右側に円は移動し、アタック部分Ａの最終時点ｔ１では最も離れた位置まで移動する。しかも、円の半径は、アタック部分の値の変化に反比例して徐々に小さくなっていき、アタック部分Ａの最終時点ｔ１では最も小さくなっている。ディケイ部分Ｄでは、その値の減少に従って円は基準位置側に戻ってくる。但し、ディケイ部分Ｄの最終時点ｔ２での値は、アタック部分Ａの初期値まで戻っていないので、基準位置までは復帰しない。また、円の半径も徐々に大きくなっていく。但し、ディケイ部分Ｄの最終時点ｔ２での値は、アタック部分Ａの初期値まで戻っていないので、基準半径までは復帰しない。サスティーン部分Ｓでは、その値は一定であるので、円の位置及び半径は変化せず、最終時点ｔ３まで一定である。サスティーン部分Ｓに続くリリース部分Ｒでは、その値は初期値に向かって徐々に減少していくので、表示される円の表示位置が徐々に基準位置側に戻り、また半径が徐々に基準半径に向かって大きくなり、リリース部分の最終時点ｔ４では、円は完全に基準位置に戻り、その半径も完全に基準半径に戻る。この場合も、円の垂直方向の表示位置は、音高情報によって定められる。

図５（ｂ）は、図５（ａ）に示すエンベロープ情報の変化に従って円を回転させた場合を示す。アタック部分Ａの開始時点ｔ０では、表示される円の映像はモニター画面の基準位置に表示されている。アタック部分Ａの増加に従って円が時計回りに回転し、アタック部分Ａの最終時点ｔ１では基準位置から最も離れた位置まで回転する。ディケイ部分Ｄでは、その値の減少に従って円は基準位置側に逆方向に回転する。但し、ディケイ部分Ｄの最終時点ｔ２での値は、アタック部分Ａの初期値まで戻っていないので、基準位置までは復帰しない。サスティーン部分Ｓでは、その値は一定であるので、円の位置は変化せず、最終時点ｔ３まで一定である。サスティーン部分Ｓに続くリリース部分Ｒでは、その値は初期値に向かって徐々に減少していくので、表示される円が徐々に基準位置側に回転し、リリース部分の最終時点ｔ４では、完全に基準位置に戻る。この場合、基準位置は、音高情報によって定められる。

この他に、円のような映像の水平方向の長さ、明るさ、コントラスト、色合い等をエンベロープの変化に従って変化させたり、映像の形を例えば円から正方形にエンベロープの変化に従って変化させたり、表示される映像の数をエンベロープの変化に従って増減させたりすることもできる。また、エンベロープの変化だけでなく、エンベロープの単位時間当たりの変化量に従って、上述したような表示特性を変化させることもできる。これらエンベロープに従って変化させられる表示特性は、映像が有する複数の表示特性のうち、エンベロープの経時変化に従って変化させることによって効果的な表示変化が得られるものを選択する。

実際の楽音及び映像生成装置は、図６に示すようにユーザーインターフェース３０を有し、これには、図示していない共通操作子２、楽音用設定操作子６、ＡＤＳＲ操作子８、映像用設定操作子１８からの各パラメータが供給される。これらパラメータは、制御手段、例えばＣＰＵ３２に供給される。ＣＰＵ３２は、バス３４に接続され、このバス３４を介して必要な情報を映像生成装置２２として機能するＧＰＵ３６と、楽音生成装置１２として機能するＤＳＰ３８とに供給する。ＣＰＵ３２は、共通操作子２からの音高情報をＧＰＵ３６とＤＳＰ３８とに供給し、ベロシティ情報とＡＤＳＲ操作子８のエンベロープパラメータとに従ってエンベロープ情報を発生し、ＧＰＵ３６とＤＳＰ３８とに供給する。また、楽音用設定操作子６からの音色情報等をＤＳＰ３８に供給し、映像用設定操作子１８からの各パラメータをＧＰＵ３６に供給する。ＣＰＵ３２は、楽音用合成器４、映像用合成器１６及びＡＤＳＲ制御装置１０、２０として機能する。

ＧＰＵ３６は、サブバス４０を介して接続された映像テンポラリメモリ４２を使用しながら、供給された各パラメータに従って映像を生成し、Ｄ／Ａ変換器４４によってアナログ信号に変換して、映像出力部２４に供給する。

ＤＳＰ３８もサブバス４６を介して接続された音声テンポラリメモリ４８を使用しながら、供給された各パラメータに従って楽音を生成し、Ｄ／Ａ変換器５０によってアナログ信号に変換して、音声出力部１４に供給する。

図７は、この楽音及び映像生成装置の動作フローチャートで、まず、ＣＰＵ３２、ＧＰＵ３６、ＤＳＰ３８で必要な初期化を行う（ステップＳ２）。次に、ＧＰＵ３６及びＣＰＵ３２において映像処理を開始し（ステップＳ４）。そしてＤＳＰ３８及びＣＰＵ３２において楽音処理を開始する（ステップＳ６）。

図８に示すように、映像処理では、ＣＰＵ３２は、まず映像パラメータ、例えば共通操作子２及び映像用設定操作子１８によって設定された各種映像パラメータを取得する（ステップＳ１０）。次に、共通操作子２の鍵の押鍵によるトリガが入力されたかＣＰＵ３２が判断する（ステップＳ１２）。この判断の答えがイエスであると、ＣＰＵ３２はＡＤＳＲ時間を計測するタイマをリセットする（ステップＳ１４）。このステップＳ１４に続いて或いはステップＳ１２の判断の答えがノーのとき、ステップＳ１０で取得したパラメータに従ってＧＰＵ３６が映像を生成する（ステップＳ１６）。

次に、ＡＤＳＲ操作子８の操作によって得られたエンベロープパラメータをＣＰＵ３２が取得し（ステップＳ１８）、ＣＰＵ３２がＡＤＳＲ時間タイマのカウント値を参照してエンベロープ情報を生成する（ステップＳ２０）。ステップＳ１６で生成した映像をこのエンベロープ情報に従って制御して、ＧＰＵ３６が描画する（ステップＳ２２）。次に、ＣＰＵ３２がＡＤＳＲ時間タイマをインクリメントして（ステップＳ２４）、再びステップＳ１０から実行する。

図９に示すように、楽音処理では、ＣＰＵ３２は、まず楽音パラメータ、例えば共通操作子２及び楽音用設定操作子６によって設定された各種楽音パラメータを取得する（ステップＳ２６）。次に、共通操作子２の鍵の押鍵によるトリガが入力されたかＣＰＵ３２が判断する（ステップＳ２８）。この判断の答えがイエスであると、ＣＰＵ３２はＡＤＳＲ時間を計測するタイマをリセットする（ステップＳ３０）。このステップＳ３０４に続いて或いはステップＳ２８の判断の答えがノーのとき、ステップＳ２６で取得したパラメータに従ってＤＳＰ３８が楽音を生成する（ステップＳ３２）。

次に、ＡＤＳＲ操作子８の操作によって得られたエンベロープパラメータをＣＰＵ３２が取得し（ステップＳ３４）、ＣＰＵ３２がＡＤＳＲ時間タイマのカウント値を参照してエンベロープ情報を生成する（ステップＳ３６）。ステップＳ３２で生成した楽音をこのエンベロープ情報に従ってＤＳＰ３８が制御して発音する（ステップＳ３８）。次に、ＣＰＵ３２がＡＤＳＲ時間タイマをインクリメントして（ステップＳ２４）、再びステップＳ２６から実行する。

この楽音及び映像生成装置によれば、楽音の発生に使用するエンベロープ情報を利用して、映像の表示特性を制御しているので、楽音の経時変化に同期して映像も変化し、楽音と映像との変化に親和性がある。

上記の実施形態では、共通操作子２として鍵盤を使用したが、これに限ったものではなく、例えばパッドやボリューム等を使用することもできる。また、上記の実施形態では、エンベロープ情報に従って複数の表示特性を同時に変化させる例として、映像の大きさと表示位置とを変化させたが、これに限ったものではなく、例えば映像の大きさを変化させると共に、その色を変化させる等種々のものが考えられる。また、エンベロープの変化に従って変化させる表示特性は、演奏者が任意に変更することができるように構成することもできるし、共通操作子２の操作によって変化させられる表示特性も演奏者が任意に変更することが可能に構成することもできる。

本発明の１実施形態による楽音及び映像生成装置の機能ブロック図である。図１の楽音及び映像生成装置における映像の変化状態の一例を示す図である。図１の楽音及び映像生成装置における楽音の音高変化に伴う映像の変化状態の一例を示す図である。図１の楽音及び映像生成装置における映像の変化状態の他の例を示す図である。図１の楽音及び映像生成装置における映像の変化状態の別の例を示す図である。本発明の１実施形態による楽音及び映像生成装置のブロック図である。図６の楽音及び映像生成装置の動作フローチャートである。図７の映像処理の詳細なフローチャートである。図７の音声処理の詳細なフローチャートである。

符号の説明

２共通操作子
８ＡＤＳＲ操作子（エンベロープパラメータ生成手段）
１２楽音生成装置（楽音生成手段）
２２映像生成装置（映像生成手段）

Claims

楽音を制御すると同時に映像を制御する制御情報を生成する共通操作子と、
エンベロープパラメータを生成するエンベロープパラメータ生成手段と、
前記制御情報と前記エンベロープパラメータとに応じた特性の楽音を生成する楽音生成手段と、
複数の表示特性を有し、そのうちの少なくとも１つの表示特性が前記制御情報に応じ、他の表示特性を、前記エンベロープパラメータに応じて変化させた映像を生成する映像生成手段とを、
具備する楽音及び映像生成装置。
請求項１記載の楽音及び映像生成装置において、前記制御情報は、音高情報と操作速度情報とを有し、前記楽音生成手段は、前記音高情報に応じた音高と、前記操作速度情報と前記エンベロープパラメータに応じた特性の楽音を生成し、前記映像生成手段は、前記少なくとも１つの表示特性を前記音高情報に応じたものとして前記映像を表示し、前記操作速度情報に応じて前記映像の前記他の表示特性の変化の最大値を定め、前記エンベロープパラメータに従って前記最大値の範囲内において前記他の表示特性を変化させる楽音及び映像生成装置。
請求項２記載の楽音及び映像生成装置において、前記音高情報に応じた前記表示特性は、前記映像の表示位置であり、前記音高情報の変化に従って前記表示位置が変化する楽音及び映像生成装置。