JP2004240077A - 楽音制御装置、映像制御装置及びプログラム - Google Patents

Abstract

【課題】映像の変化に応じて楽音を制御し或いは音楽の変化に応じて映像を制御することにより映像と音楽をマッチさせることができる制御システムの提供。
【解決手段】この楽音及び映像制御システムの第１制御モードでは、映像制御用操作子ＭＮ１を操作して映像パラメータの変更を指示すると、映像効果付与ブロックＶＣ１により、映像データ生成ブロックＶＰ１で生成される映像データに対して映像効果が付与されると共に、楽音制御ブロックＭＣ１によって、音楽データ生成ブロックＭＰ１で生成される音楽データに対して音質の変更又は音楽内容の変更が自動的になされる。また、第２又は第３制御モードでは、映像又は音楽データから映像効果又は楽音変化が検出されると、音楽又は映像データが自動的に制御される。さらに、第４制御モードでは、音楽パラメータの変更指示に応じて、映像データに所定の映像効果が自動的に付与される。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
この発明は、映像とマッチした音楽或いは音楽にマッチした映像を得ることができる楽音或いは映像制御システムに関する。
【０００２】
【従来の技術】
従来より、映像データに対して、そのＢＧＭとなる音楽を付加する装置がある（例えば、特開２００１−２９６８６６）。従来装置においては、映像に対してフェードイン、フェードアウト等の映像効果を付与することがあるが、この映像効果と音楽とがマッチていないものであった。
【０００３】
【発明が解決しようとする課題】
この発明は、このような事情に鑑み、映像の変化に応じて楽音を制御し或いは音楽の変化に応じて映像を制御することにより映像と音楽をマッチさせることができる楽音或いは映像制御システムを提供することを目的とする。
【０００４】
【課題を解決するための手段】
この発明の一つの特徴に従うと、映像データに対して映像効果を付与する映像効果付与手段（ＶＣ１）と、付与された映像効果に応じて、音楽データの音質又は内容を表わす音楽パラメータを制御する音楽パラメータ制御手段（ＭＣ１）とを具備する楽音制御装置〔請求項１〕、並びに、映像データに対して映像効果を付与するステップ（ＶＣ１）と、付与された映像効果に応じて、音楽データの音質又は内容を表わす音楽パラメータを制御するステップ（ＭＣ１）とから成る手順を情報処理装置（ＰＣ）に実行させる楽音制御プログラム〔請求項６〕が提供される。また、この特徴に従う楽音制御装置においては、音楽パラメータ制御手段（ＭＣ１）は、付与された映像効果の種類に応じて異なる音楽パラメータを制御する〔請求項２〕ように構成することができる。なお、括弧書きは、後述する実施例における参照記号又は用語を表わし、以下においても同様である。
【０００５】
また、この発明の別の特徴に従うと、映像データから映像効果を検出する映像効果検出手段（ＶＡ）と、検出された映像効果に応じて、音楽データの特性又は内容を表わす音楽パラメータを制御する音楽パラメータ制御手段（ＭＣ２）とを具備する楽音制御装置〔請求項３〕、並びに、映像データから映像効果を検出するステップ（ＶＡ）と、検出された映像効果に応じて、音楽データの特性又は内容を表わす音楽パラメータを制御するステップ（ＭＣ２）とから成る手順を情報処理装置（ＰＣ）に実行させる楽音制御プログラム〔請求項７〕が提供される。
【０００６】
また、この発明の更に別の特徴に従うと、音楽データから、音楽の特性又は内容を表わす音楽パラメータの変化を検出する音楽パラメータ変化検出手段（ＭＡ）と、検出された音楽パラメータの変化に応じて映像データに効果を付与する映像効果付与手段（ＶＣ３）とを具備する映像制御装置〔請求項４〕、並びに、音楽データから、音楽の特性又は内容を表わす音楽パラメータの変化を検出するステップ（ＭＡ）と、検出された音楽パラメータの変化に応じて映像データに効果を付与するステップ（ＶＣ３）とから成る手順を情報処理装置（ＰＣ）に実行させる映像制御プログラム〔請求項８〕が提供される。
【０００７】
さらに、この発明の他の特徴に従うと、音楽データに対して音質又は音楽内容の変更を指示するための音楽制御用操作子（ＭＮ４）と、この変更の指示に応じて、音楽データの特性又は内容を表わす音楽パラメータを制御する音楽パラメータ制御手段（ＭＣ４）と、この音楽パラメータに応じて映像データに効果を付与する映像効果付与手段（ＶＣ４）とを具備する映像制御装置〔請求項５〕、並びに、音楽データに対して音質又は音楽内容の変更が指示されたことを検出するステップ（ＭＮ４）と、検出された指示に応じて、音楽データの特性又は内容を表わす音楽パラメータを制御するステップ（ＭＣ４）と、この音楽パラメータに応じて映像データに効果を付与するステップ（ＶＣ４）とから成る手順を情報処理装置に実行させる映像制御プログラム〔請求項９〕が提供される。
【０００８】
〔発明の作用〕
この発明では、出力される映像に付与されるフェードイン／アウト、モザイク等の所定の映像効果に応じて、当該映像の再生と共に演奏される音楽につき、音色やエフェクトなどの音楽の音質や演奏パート数などの音楽内容を表わす所定の音楽パラメータを制御するようにしているので、当該映像効果にマッチした音楽を得ることができる。
【０００９】
また、この発明では、再生される映像データからフェードイン／アウト、モザイク等の所定の映像効果を検出すると、これに応じて、音楽の音量、音質などの音楽特性や演奏パート数などの音楽内容を表わす所定の音楽パラメータを制御し、制御された音楽パラメータに基づいて音楽を演奏するようにしているので、予め映像効果が付与されている映像データが供給された場合であっても、当該映像にマッチした音楽を得ることができる。
【００１０】
また、この発明では、演奏（再生／実演奏）される音楽データから、当該音楽の音量、音質などの音楽特性や演奏パート数などの音楽内容などを表わす音楽パラメータの変化を検出すると、これに応じて、フェードイン／アウト、モザイク等の所定の映像効果を映像に付与するようにしているので、先に音楽データが与えられた場合であっても、当該音楽にマッチした映像を得ることができる。
【００１１】
さらに、この発明では、演奏（再生／実演奏）される音楽データに対して指示される速度標語（リタルダンド、アッチェレランド等）などを含む所定の音質や音楽内容に応じて、当該音楽の演奏と共に再生される映像につき、再生速度など所定の映像効果を付与するようにしているので、指示された音質や音楽内容にマッチした映像効果を得ることができる。
【００１２】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施の形態について詳述する。なお、以下の実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【００１３】
〔システムの概要〕
図１は、この発明の一実施例による楽音及び映像制御システムのハードウエア構成を示すブロック図である。この例では、楽音及び映像制御システムの本体装置となる情報処理装置としてパーソナルコンピュータ（ＰＣ）が用いられている。この楽音及び映像制御機能を有する情報処理装置ＰＣは、中央処理装置（ＣＰＵ）１、読出専用メモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３、外部記憶装置４、検出回路５、表示回路６、音源回路７、効果回路８、通信インターフェース（通信Ｉ／Ｆ）９、ＭＩＤＩインターフェース（ＭＩＤＩ・Ｉ／Ｆ）１０などを備え、これらの装置１〜１０はバス１１を介して互いに接続されている。
【００１４】
ＣＰＵ１は、所定のソフトウエア・プログラムに従いタイマ１２によるクロックを利用して、基本的な情報処理を実行する外、この楽音及び映像制御に必要な各種の楽音制御処理及び映像制御処理を実行して音楽データ及び映像データを生成することができる。ＲＯＭ２には、このために、基本的情報処理や各種楽音及び映像制御処理を含む各種制御プログラム、制御パラメータ、音楽データ及び映像データなどが記憶されている。ＲＡＭ３は、種々の情報処理に際して必要なデータやパラメータを記憶し、また、処理中の各種データ等を一時記憶するためのワーク領域として用いられる。
【００１５】
外部記憶装置４は、ハードディスク（ＨＤ）や、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、半導体メモリ等の記憶媒体を含み、この情報処理装置ＰＣで利用される各種楽音及び映像制御プログラムや、上述した音楽データ及び映像データを記憶することができる。
【００１６】
このシステムで利用される音楽データとしては、ＭＩＤＩデータなどの楽音の個別制御が可能な音楽専用データや波形を表わすディジタルオーディオデータ等があり、映像データとしては、デジタルビデオ〔所謂“ディジタル動画像データ”であり、比較的低速度で切換え再生される複数枚の静止画像データセットを含む。〕、アニメーション、プレゼンテーション等のデータがある。
【００１７】
検出回路５は、これに接続されるパネル操作子装置１３による設定／制御操作の内容を検出して情報処理装置ＰＣ内に導入する。パネル操作子装置１３は、キーボードやマウスなどのポインチングデバイスなどの操作子を備え、ユーザがこの情報処理装置ＰＣの動作状態を設定したり、楽音及び映像制御に必要な各種情報を入力するなどの各種設定（「パネル設定」と呼ばれる。）に用いられる。パネル設定では、例えば、映像データに付与される映像効果に対応する情報（「映像効果パラメータ」又は単に「映像パラメータ」という。）と音楽データにおいて当該映像効果に相応しい印象を与える情報（「音楽パラメータ」という。）との対応関係について、設定／修正することができる。
【００１８】
また、パネル操作子装置１３中の操作子には、システムがプレイモード（第１〜第３制御モード）で動作する際に、映像パラメータや音楽パラメータをリアルタイムで制御する機能を割り当てることができ、特に、映像パラメータ及び音楽パラメータの制御に割り当てられる操作子（ＭＮ１，ＭＮ４）は“映像制御用操作子”及び“音楽制御用操作子”と呼ばれる。
【００１９】
表示回路６は、これに接続されるディスプレイ１４の表示内容をＣＰＵ１からの指令に従って制御し、ディスプレイ１４にはディスプレイ本体や各種インジケータが含まれる。ディスプレイ１４は、ユーザによりパネル設定を行う際に、ユーザインターフェースの視覚援助を行うのに用いられる。
【００２０】
表示回路６及びディスプレイ１４は、パネル設定時の視覚援助だけでなくプレイ動作時の映像データによる映像表示にも用いられ、楽音及び映像データを再生するプレイ動作時には映像生成部としても機能する。つまり、プレイ動作時には、表示回路６は、楽音及び映像制御プログラムに従う映像制御で得られる映像データに基づき映像信号を発生し、ディスプレイ１４は、映像信号に基づいて映像を出力する。なお、映像生成部については、演奏データに基づき映像信号を発生して映像を出力する機能に加えて、上述の映像制御に従って映像データに映像効果を付与し、映像効果が付与された映像データを生成する機能を含めるように、映像表示専用の映像処理装置及びディスプレイ（大型ディスプレイやプロジェクタ）を別設してもよい。
【００２１】
ＤＳＰを含む効果回路８にはＤ／Ａ変換部やアンプ、スピーカを含むサウンドシステム１５が接続され、また、ＭＩＤＩデータなどの音楽専用データに対応して、効果回路８に音源回路７が前置接続される。これらの装置７，８，１５は、楽音及び映像制御プログラムによる楽音制御で得られる音楽データに基づき楽音信号を発生し楽音を出力する楽音生成部を形成する。
【００２２】
通信Ｉ／Ｆ９には、インターネットなどの通信ネットワーク１６を介してサーバコンピュータなどの他の情報機器１７が接続され、他の情報機器１７から音楽データや映像データなどを受信することができる。
【００２３】
また、ＭＩＤＩ・Ｉ／Ｆ１０にはＭＩＤＩ機器１８が接続され、情報処理装置ＰＣとＭＩＤＩ機器１８との間でＭＩＤＩ形式の音楽データを授受することができる。ＭＩＤＩ機器１８は、鍵盤タイプのキーボード楽器や他の任意のタイプ（弦楽器／管楽器／打楽器タイプ等）の電子楽器などの音楽演奏機能を有する音楽情報処理装置で構成され、例えば、ＭＩＤＩ機器１８での実鍵盤演奏により得られた音楽データをＭＩＤＩ形式で情報処理装置ＰＣ内に送り込むことができる。
なお、ＭＩＤＩ・Ｉ／Ｆ１０については、専用のＭＩＤＩインターフェースに限らず、ＲＳ−２３２Ｃ、ＵＳＢ（ユニバーサル・シリアル・バス）、ＩＥＥＥ１３９４（アイトリプルイー１３９４）等の汎用のインターフェースを用いてＭＩＤＩインターフェースを構成してもよい。この場合、ＭＩＤＩメッセージ以外のデータをも同時に送受信するようにしてもよい。
【００２４】
この楽音及び映像制御システムは、上述した“パーソナルコンピュータ＋アプリケーションソフトウェア”の形態に限らず、ビデオミキサー装置や、カラオケ装置、ゲーム装置、映像処理機能を有する各種音楽情報機器〔電子楽器、自動演奏装置など〕の形態で実施することができる。
【００２５】
〔楽音及び映像制御の概要〕
この楽音及び映像制御システムでは、例えば、ＲＯＭ２や外部記憶装置４などに記憶された音楽データファイルや映像データファイルには多数の音楽データや映像データが予め用意されており、前述したように、映像データとしては、デジタルビデオ、アニメーション、プレゼンテーション等があり、音楽データとしては、デジタルオーディオ、ＭＩＤＩデータ等がある。
【００２６】
また、映像データに付与される効果を表わす映像効果パラメータとこの効果に対応させる音楽パラメータとの関係については、予めシステム側で映像効果と音楽の音質や演奏内容などとの関係を決めておいてもよいし、ユーザによるパネル設定で決めるようにしてもよい。例えば、システム側で決めておいた関係をそのままデフォルト設定として採用する。さらに、デフォルト設定された関係をユーザが修正することができるようにしたり、或いは、予め用意されたいくつかの選択肢の中から所望の関係をユーザが選択することができるようにする。
【００２７】
そこで、ユーザがパネル操作子１３を操作して所望の音楽データ及び映像データを選択すると、選択された音楽データ及び映像データに基づく楽音及び映像をそれぞれ楽音生成部（７，８，１５）及び映像生成部（６，１４）から出力させることができる。この場合、システムは、パネル操作子１３のモード設定操作に応じて第１〜３制御モード（第１〜３の実施形態）で動作し、各モードに対応する制御動作に従って、音楽データ又は映像データの再生が制御され、出力楽音の変化と出力映像の効果を互いに調和させることができる。
【００２８】
〔第１の実施形態〕
さて、図２は、この発明の第１の実施形態における楽音及び映像制御を説明するための機能ブロック図である。この発明の第１の実施形態、即ち、この楽音及び映像制御システムが第１制御モードで動作する場合には、図２のように、映像制御用操作子ＭＮ１を操作して映像パラメータを指示すると、映像効果付与ブロックＶＣ１により、映像データ生成ブロックＶＰ１で生成される映像データに対して映像効果が付与されると共に、楽音制御ブロックＭＣ１によって、音楽データ生成ブロックＭＰ１で生成される音楽データに対して音質の変更や音楽内容の変更などが自動的に制御される。
【００２９】
以下、第１の実施形態を具体的に説明する。第１制御モードでは、ＣＰＵ１は、パネル操作子装置１３中の所定の操作子に映像制御用操作子ＭＮ１の機能を割り当てると共に、映像データについては、映像効果付与ブロックＶＣ１及び映像データ生成ブロックＶＰ１の制御機能を実行し、音楽データについては、楽音制御ブロックＭＣ１及び音楽データ生成ブロックＭＰ１の制御機能を実行する。ここで、楽音制御ブロックＭＣ１は、映像制御用操作子ＭＮ１の操作により指示される映像効果パラメータに対応して予め設定された音楽パラメータの関係に従って、音楽データの所定の情報を変更する。
【００３０】
映像データの再生の進行に伴ってユーザがリアルタイムに映像制御用操作子ＭＮ１を操作すると、映像効果付与ブロックＶＣ１により、この操作に対応して指示される映像効果が再生中の映像データに対して付与される。ここで付与される映像効果パラメータとしては、フェードイン、フェードアウト、クロスフェード、モザイク、ワイプ、フラッシュ、色調の変更（例えばセピア調に変更）などがある。そして、このような映像効果が付与された映像データが映像データ生成ブロックＶＰ１で生成されると、この映像データに基づいて、映像生成部（６，１４）から所望の効果が付与された映像が再生出力される。
【００３１】
一方、楽音制御ブロックＭＣ１は、映像制御用操作子ＭＮ１の操作に基づく映像効果付与ブロックＶＣ１の映像効果付与処理に対応して、予め設定された映像効果パラメータに対する音楽パラメータの関係に従い音楽データの一部の情報を変更し、当該音楽データにより表わされる音楽の音質や内容などを変更する。ここで、音質を変更するための音楽パラメータには、フィルタのパラメータ制御、リバーブ等のエフェクトパラメータ制御などがあり、音楽内容を変更するための音楽パラメータとしては、演奏パートの増減（ＭＩＤＩデータの場合）、効果音（打楽器音や自然音）の挿入などがある。
【００３２】
そして、当該パラメータ情報が変更された音楽データが音楽データ生成ブロックＭＰ１で生成されると、この音楽データに基づいて、映像効果に対応して音質や内容が変化する音楽が楽音生成部（７，８，１５）から出力される。これによって、映像制御用操作子ＭＮ１の操作により映像データに対して映像効果が付与されると、音楽データに対して音質や音楽内容などの変更が自動的になされる。
【００３３】
例えば、映像効果がフェードインの場合、音質も徐々に暗い音質から明るい音質に変更されるようにフィルタのパラメータが変更される。或いは、映像効果としてモザイクが掛かってノイズっぽくなると、音質も“もやもや”した感じになるようにリバーブの深さが変更される。また、映像効果がフェードアウトの場合、演奏パート数が減少するように変更される。或いは、映像効果としてフラッシュ（急激に明るくなり、すぐに暗くなるなど）がかかると、所定効果音が付加される。さらに、映像データのフェードイン／フェードアウトに同期して音楽データの音量をフェードイン／フェードアウトさせるようにすることもできる。
【００３４】
図３は、時間経過に対する映像効果パラメータ（明るさ等）及び対応する音楽パラメータ（音質又は演奏内容など）の関係の一例を示す。例えば、映像データの映像効果としてフェードイン及びフェードアウトを適用し、フェードイン及びフェードアウトに応じて映像の明るさや彩度などを図３（ａ）のように徐々に上げていき（明るく又は鮮やかにしていく）その後徐々に下げていく（暗く又はセピア化していく）場合、音楽データについては、図３（ｂ）のように、映像のフェードインに応じて、徐々に、音質を明るく、音量を大きく或いは演奏パートを増加させて行き、映像のフェードアウトに応じて、徐々に、音質を暗く、音量を小さく或いは演奏パートを減少させて行く。
【００３５】
要するに、音楽の音質や演奏内容などが、映像効果のイメージとマッチしたイメージとなるように、音楽データの種々のパラメータが変更される。なお、映像効果の付与は、映像再生中にリアルタイムに映像制御用操作子ＭＮ１を操作して付与するものに限らず、映像の非再生中に映像効果パラメータを設定して付与してもよい。
【００３６】
〔第２の実施形態〕
図４は、この発明の第２の実施形態における楽音及び映像制御を説明するための機能ブロック図である。この発明の第２の実施形態、即ち、この楽音及び映像制御システムが第２制御モードで動作する場合には、図４のように、映像効果検出ブロックＶＡにより、映像データ生成ブロックＶＰ２で生成される映像データから映像効果が検出されると、楽音制御ブロックＭＣ２によって、音楽データ生成ブロックＭＰ２で生成される音楽データに対して音質、音量又は音楽内容などの情報の変更が自動的に制御される。
【００３７】
第２の実施形態をより詳しく説明すると、第２制御モードでは、ＣＰＵ１は、映像データについて、映像データ生成ブロックＶＰ２及び映像効果検出ブロックＶＡの制御機能を実行し、音楽データについては、楽音制御ブロックＭＣ２及び音楽データ生成ブロックＭＰ２の制御機能を実行する。ここで、楽音制御ブロックＭＣ２は、映像効果検出ブロックＶＡで検出される映像効果を表わす映像効果パラメータに対応して予め設定された音楽パラメータの関係に従って、音楽データの一部の情報を変更する。
【００３８】
映像データ生成ブロックＶＰ２で、ユーザが選択した映像データを生成して映像生成部（６，１４）での映像再生を進行していくと、映像効果検出ブロックＶＡは、生成されつつある映像データの内容から、フェードイン、フェードアウト、クロスフェード、モザイク、ワイプ、フラッシュ、色調の変更など、所定の映像効果を検出する。例えば、映像の明るさやコントラストの変化からフェードインやフェードアウト、フラッシュ等を検出する。楽音制御ブロックＭＣ２は、検出された映像効果に基づき、第１制御モードにおけるブロックＭＣ１と同様に、上述の映像効果・音楽パラメータの関係に従って、音楽データに対して音質、音量、音楽内容などの音楽パラメータを変更する。
【００３９】
そして、一部の情報が変更された音楽データが音楽データ生成ブロックＭＰ２で生成されると、この音楽データに基づいて、映像効果に対応して、音質、音量や音楽内容が変化する音楽が楽音生成部（７，８，１５）から出力される。これによって、映像データから映像効果が検出されると、音楽データに対して音質や音量の変更、音楽内容の変更などが自動的になされる。この実施形態では、音楽の音量を変更してもよく、例えば、検出された映像効果がフェードインやフェードアウトの場合、音楽の音量も合わせてフェードイン、フェードアウトさせることができる。
【００４０】
〔第３の実施形態〕
図５は、この発明の第３の実施形態における楽音及び映像制御を説明するための機能ブロック図である。この発明の第３の実施形態、即ち、この楽音及び映像制御システムが第３制御モードで動作する場合には、図５のように、楽音変化検出ブロックＭＡにより、音楽データ生成ブロックＭＰ３で生成される音楽データから、所定の楽音変化を表わす音楽パラメータが検出されると、映像効果付与ブロックＶＣ３によって、映像データ生成ブロックＶＰ３で生成される映像データに対して所定の映像効果を自動的に付与する制御がなされる。
【００４１】
第３の実施形態（第３制御モード）においては、ＣＰＵ１は、音楽データについて、音楽データ生成ブロックＭＰ３及び楽音変化検出ブロックＭＡの制御機能を実行し、映像データについては、映像効果付与ブロックＶＣ３及び映像データ生成ブロックＶＰ３の制御機能を実行する。ここで、映像効果付与ブロックＶＣ３は、楽音変化検出ブロックＭＡで検出される所定の楽音変化に対応する音楽パラメータと映像効果パラメータとの関係に従って、映像データに所定の効果を付与する。
【００４２】
音楽データ生成ブロックＭＰ３で、ユーザが選択した音楽データを生成して楽音生成部（７，８，１５）での楽音再生を進行していくと、楽音変化検出ブロックＭＡは、生成されつつある音楽データの内容から、音質、音量、音楽内容の変化などの所定の音楽変化を検出する。例えば、音量の変化や、音質の変化からフェードイン、フェードアウトが検出される。或いは、演奏パート数の増減、所定効果音の有無や、音楽データのテンポの変化等といった音楽変化が検出される。映像効果付与ブロックＶＣ３は、検出された音楽変化に基づき、上述の映像効果・音楽パラメータの関係に従って、第１制御モードの映像効果付与ブロックＶＣ１と同様に、フェードイン、フェードアウト、クロスフェード、モザイク、ワイプ、フラッシュ、色調の変更など、所定の映像効果を映像データに対して付与する。
【００４３】
そして、映像効果が付与された映像データが映像データ生成ブロックＶＰ３で生成されると、この映像データに基づいて、音楽変化に対応して所定の映像効果が付与された映像が映像生成部（６，１４）から出力される。これによって、音楽データから音楽変化が検出されると、映像データに対して映像効果が自動的に付与される。
【００４４】
〔第４の実施形態〕
図６は、この発明の第４の実施形態における楽音及び映像制御を説明するための機能ブロック図である。この発明の第４の実施形態では、第１の実施形態の逆の処理が行われ、音楽パラメータの変更指示に応じて、映像データに所定の映像効果が自動的に付与される。すなわち、この楽音及び映像制御システムが第４制御モードで動作する場合には、図６のように、音楽制御用操作子ＭＮ４を操作して、楽音制御ブロックＭＣ４により、音楽データ生成ブロックＭＰ４で生成される音楽データ音楽データに対して音質や音楽内容などが変更されると、映像効果付与ブロックＶＣ４によって、映像データ生成ブロックＶＰ４で生成される映像データに対し、音質や音楽内容などの音楽変更に対応する映像効果が自動的に付与される。
【００４５】
より詳しく説明すると、第４の実施形態（第４制御モード）においては、ＣＰＵ１は、パネル操作子装置１３中の所定の操作子に映像制御用操作子ＭＮ１の機能を割り当てると共に、音楽データについて、音楽データ生成ブロックＭＰ４及び楽音制御ブロックＭＣ４の制御機能を実行し、映像データについては、映像効果付与ブロックＶＣ４及び映像データ生成ブロックＶＰ４の制御機能を実行する。ここで、映像効果付与ブロックＶＣ４は、音楽制御用操作子ＭＮ４により制御される音質や音楽内容などの音楽パラメータに対応して予め設定された映像効果パラメータとの関係に従い、映像データに所定の効果を付与する。
【００４６】
音楽データの再生の進行に伴ってユーザがリアルタイムに音楽制御用操作子ＭＮ４を操作し、音楽データに対して所定の音質・音楽内容の変更を指示すると、楽音制御ブロックＭＣ４は、この指示に応じて、第１及び第２の実施形態と同様に、音楽データ生成ブロックＭＰ４で生成される音楽データの音質や音楽内容を制御し、この音楽データに基づいて、音質や内容が所望に変化する音楽を楽音生成部（７，８，１５）から出力させる。また、これに並行して、映像効果付与ブロックＶＣ４は、楽音制御ブロックＭＣ４による音楽データの音質や音楽内容の変更に対応した映像効果を、第１及び第３の実施形態と同様に、映像データ生成ブロックＶＰ４で生成される再生中の映像データに対して付与し、このような映像効果が付与された映像データに基づいて、映像生成部（６，１４）から効果が付与された映像を再生出力させる。
【００４７】
例えば、音楽制御用操作子ＭＮ４を操作し、音楽データ生成ブロックＭＰで生成される音楽データに対して、リタルダンド（ｒｉｔａｒｄａｎｄｏ：テンポが徐々に遅くなる）やアッチェレランド（ａｃｃｅｌｅｒａｎｄｏ ：テンポが徐々に速くなる）を指示すると、映像データ生成ブロックＶＰ４で生成される映像データも、再生速度がだんだん遅くなったり、速くなったりするような効果が付与される。また、この例の他に、第３の実施形態に記載されているような音質・音楽内容の変更を指示すると、対応する映像効果が付与される。
【００４８】
以上のように、第４の実施形態では、音楽データに対して所定の音質・音楽内容の変更を操作子により指示すると、この指示に応じて、音楽データの音質や音楽内容を制御すると共に、この音質や音楽内容の変更に対応した映像効果を映像データに自動的に付与することができる。
【００４９】
〔種々の実施態様〕
以上、この発明を一実施例について説明したが、この発明は種々の態様で実施することができる。例えば、映像データの映像効果と音楽データの音質、音量、演奏内容との関係は例示したものに限らない。一例を挙げると、第２の実施形態において、映像について第１の映像データから第２の映像データへと徐々に変化していく映像効果を適用する場合、音楽についても、第１の音楽データから第２の音楽データへと徐々に変化していくようにクロスフェード制御してもよい。
【００５０】
第２の実施形態では映像データに対して映像効果を予め設定してから映像再生を行い、第３の実施形態では音楽データに対して音質、音量、演奏内容などを予め設定してから音楽再生を行うようにすることができるが、映像効果や音楽データの音質、音量、演奏内容などを予め設定しておくものに限らず、操作子の操作や所定の電気信号（ＬＦＯ等）などによってリアルタイムにこれらを変更するものにも適用可能である。例えば、第２の実施形態で動作するビデオミキサー装置において、第１の実施形態における映像制御用操作子（ＭＮ１）と同様に、操作子によりリアルタイムに映像効果を変化させたら、それに合わせて音楽データの音質や演奏内容なども変化させる。また、第３の実施形態において、外部のＭＩＤＩ機器（１８）でのリアルタイム演奏による音質や演奏内容などの変化（変化情報）に従って、それに合わせて映像データに対する映像効果も変化させる。
【００５１】
第２の実施形態や第３の実施形態では、それぞれ、映像効果が付与された映像データや、音質、音量、演奏内容などが変更された音楽データを、ＲＯＭ２や外部記憶装置４に予め保存しておき、再生に利用することができるが、このような修飾済みの映像データや音楽データそのものを保存するものに限らず、映像効果付与情報（映像パラメータ）を映像データ（オリジナル）とあわせて保存したり、音質、音量、演奏内容などの変更情報（音楽パラメータ）を付加した音楽データを保存するようにしてもよい。この場合、映像効果付与情報や変更情報から直ちに映像パラメータや音楽パラメータを検出することができる。
【００５２】
【発明の効果】
以上説明したように、この発明によれば、映像へ付与する効果（フェードイン／アウト、モザイク等）に応じて、当該映像と共に演奏される音楽の音質（音色やエフェクト等）または音楽内容（演奏パート数など）を制御するようにしているので、映像効果にマッチした音楽を得ることができる。
【００５３】
この発明によれば、映像から映像効果（フェードイン／アウト、モザイク等）を検出し、音楽の特性〔音量、音質（音色やエフェクト等）など〕や音楽内容（演奏パート数など）を制御するようにしているので、予め映像効果が付与されている映像データが供給された場合であっても、映像にマッチした音楽を得ることができる。
【００５４】
この発明によれば、音楽から当該音楽の特性〔音量、音質（音色やエフェクト等）など〕や音楽内容（演奏パート数など）の変化を検出して映像に効果（フェードイン／アウト、モザイク等）を付与するようにしているので、先に音楽が与えられた場合であっても、音楽にマッチした映像を得ることができる。
【００５５】
この発明によれば、音楽に対して指示される所定の音質や音楽内容（速度標語など）に応じて、当該音楽の演奏と共に再生される映像の映像効果（再生速度の変更など）を付与するようにしているので、指示された音質や音楽内容にマッチした映像を得ることができる。
【図面の簡単な説明】
【図１】図１は、この発明の一実施例による楽音及び映像制御システム（パーソナルコンピュータ）のハードウエア構成ブロック図である。
【図２】図２は、この発明の第１の実施形態による楽音及び映像制御を表わす機能ブロック図である。
【図３】図３は、映像データに対する映像効果と音楽データの音質・演奏内容の関係の一例を表わす図である。
【図４】図４は、この発明の第２の実施形態による楽音及び映像制御を表わす機能ブロック図である。
【図５】図５は、この発明の第３の実施形態による楽音及び映像制御を表わす機能ブロック図である。
【図６】図６は、この発明の第４の実施形態による楽音及び映像制御を表わす機能ブロック図である。
【符号の説明】
ＭＮ１，ＭＮ４ 映像制御用及び音楽制御用操作子、
ＶＣ１，ＶＣ３，ＶＣ４ 映像効果付与ブロック、
ＭＣ１，ＭＣ２，ＭＣ４ 楽音制御ブロック、
ＶＡ 映像効果検出ブロック、
ＭＡ 楽音変化検出ブロック、
ＶＰ１，ＶＰ２，ＶＰ３，ＶＰ４ 映像データ生成ブロック、
ＭＰ１，ＭＰ２，ＭＰ３，ＭＰ４ 音楽データ生成ブロック。

Claims (9)

1. 映像データに対して映像効果を付与する映像効果付与手段と、
   付与された映像効果に応じて、音楽データの音質又は内容を表わす音楽パラメータを制御する音楽パラメータ制御手段とを具備することを特徴とする楽音制御装置。
2. 前記音楽パラメータ制御手段は、付与された映像効果の種類に応じて異なる音楽パラメータを制御することを特徴とする請求項１に記載の楽音制御装置。
3. 映像データから映像効果を検出する映像効果検出手段と、
   検出された映像効果に応じて、音楽データの特性又は内容を表わす音楽パラメータを制御する音楽パラメータ制御手段とを具備することを特徴とする楽音制御装置。
4. 音楽データから、音楽の特性又は内容を表わす音楽パラメータの変化を検出する音楽パラメータ変化検出手段と、
   検出された音楽パラメータの変化に応じて映像データに効果を付与する映像効果付与手段とを具備することを特徴とする映像制御装置。
5. 音楽データに対して音質又は音楽内容の変更を指示するための音楽制御用操作子と、
   この変更の指示に応じて、音楽データの特性又は内容を表わす音楽パラメータを制御する音楽パラメータ制御手段と、
   この音楽パラメータに応じて映像データに効果を付与する映像効果付与手段とを具備することを特徴とする映像制御装置。
6. 映像データに対して映像効果を付与するステップと、
   付与された映像効果に応じて、音楽データの音質又は内容を表わす音楽パラメータを制御するステップとから成る手順を情報処理装置に実行させる楽音制御プログラム。
7. 映像データから映像効果を検出するステップと、
   検出された映像効果に応じて、音楽データの特性又は内容を表わす音楽パラメータを制御するステップとから成る手順を情報処理装置に実行させる楽音制御プログラム。
8. 音楽データから、音楽の特性又は内容を表わす音楽パラメータの変化を検出するステップと、
   検出された音楽パラメータの変化に応じて映像データに効果を付与するステップとから成る手順を情報処理装置に実行させる映像制御プログラム。
9. 音楽データに対して音質又は音楽内容の変更が指示されたことを検出するステップと、
   検出された指示に応じて、音楽データの特性又は内容を表わす音楽パラメータを制御するステップと、
   この音楽パラメータに応じて映像データに効果を付与するステップとから成る手順を情報処理装置に実行させる映像制御プログラム。

Images