JP2004354583A - 音楽生成装置および音楽生成方法 - Google Patents

Abstract

【課題】時間と共に変化する画像情報に対応させた音楽を作成して画像と音楽とのコラボレートを図り、新たな視聴スタイルを形成することを目的とする。
【解決手段】波形データを連続的に割り付けて音楽を生成する音楽生成装置であって、複数の波形データを２次記録部１５に記録しておき、時間と共に変化する物理量をＣＰＵ１０によって検出し、このＣＰＵ１０によって検出された物理量に基づいて２次記録部１５に記録された波形データを割り付けることによって音楽を生成する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、音楽生成装置等に関し、より詳しくは時間と共に変化する画像情報に対応させて音楽を生成する音楽生成装置等に関する。
【０００２】
【従来の技術】
従来、音楽生成装置としては、例えば、所望の調を表す調情報と所望のコードを表すコード情報とを入力し、この入力された調情報とコード情報とに基づいてアベイラブル・ノート・スケールを検出し、検出されたアベイラブル・ノート・スケール中の音をメロディ音として選択することによりメロディ音を表すメロディ情報を生成して、コードとメロディとの融合感を表現した音楽の生成を行う技術が提案されている（例えば、特許文献１参照）。
【０００３】
そして近年、画像記録技術の進歩とその利用方法の多様化に伴い、上記のような音楽生成装置を用いることによって画像情報に対応させた音声情報を生成することで、画像と音楽とを融合させた新たな視聴スタイルを形成する試みが行われている。
例えば、予め定められた大きさを持つ複数の画素群で構成されたデジタル化画像情報の各画素が持つ所定の量子化情報それぞれに対して所定のアルゴリズムを適用して、各画素の量子化情報を特定の音声情報に変換することによって、画像情報の一部若しくは全部を音声情報に変換し、画像情報に固有の音楽を創成する技術が存在する（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開平１１−３４４９７９号公報（第５−７頁、図９）
【特許文献２】
特開２００１−３５０４７３号公報（第４−６頁、図４）
【０００５】
【発明が解決しようとする課題】
ところで、近年一般的に普及したビデオレコーダ等の映像記録装置において、単に映像を撮ることに加えてその映像に対応した音楽が付加されれば、映像だけを撮る映像記録装置から音楽が融合された映像を撮る映像記録装置へと質の変化が起こり、映像に対応した音楽を聴くためにそれまで撮らなかったような映像を撮るようになったり、今までと同じように撮影しても、音楽が付加されることによって従来とは異なった映像として見えてくるといった、これまでにない効果を引き出すことが期待できる。
しかしながら、従来の音楽生成装置においては、例えば上記の特許文献１に記載された技術のように、時間と共に変化する画像情報に基づいて音楽を生成し、その画像に音楽を付加するという概念はなかった。また、例えば上記の特許文献２に記載された技術では、画像情報を音声情報に変換する方法を提示してはいるが、静止画像から音声情報に変換する技術であるために一画像に対して一楽曲を作成するにすぎず、動画情報のような時間と共に変化する画像情報に対してリアルタイムに音声情報を変化させ続ける変換を行って動画に対応した音楽を生成する技術は存在しなかった。
【０００６】
そこで本発明は、このような技術的課題に基づいてなされたものであり、その目的とするところは、時間と共に変化する画像情報に対応させた音楽を作成して画像と音楽とのコラボレートを図り、新たな視聴スタイルを形成することにある。
【０００７】
【課題を解決するための手段】
かかる目的のもと、本発明の音楽生成装置は、波形データを連続的に割り付けて音楽を生成する音楽生成装置であって、複数の波形データを波形データ記録手段に記録しておき、時間と共に変化する物理量を物理量検出手段によって検出し、この物理量検出手段によって検出された物理量に基づいて波形データ記録手段に記録された波形データを波形データ割り付け手段によって割り付けることによって音楽を生成することを特徴としている。ここで、物理量検出手段は、動画映像に関する画像データから物理量を検出することが可能である。また、連続して変化する静止画像に関する画像データから物理量を検出することも可能である。
【０００８】
さらに、本発明の音楽生成装置は、波形データを連続的に割り付けて音楽を生成する音楽生成装置であって、波形データ記録手段に複数の波形データを記録しておき、時間と共に変化する画像データから物理特性抽出手段によって複数の異なる物理特性を抽出し、この物理特性抽出手段によって抽出された各物理特性を数値化手段によって数値化する。そして、数値化手段によって数値化された各物理特性に基づいて波形データ記録手段に記録された波形データを波形データ割り付け手段によって割り付け、波形データ割り付け手段によって割り付けられた各波形データを同期手段によって同期させることで音楽を生成することを特徴としている。
【０００９】
ここで、波形データ記録手段は、異なる波形データから構成される複数の波形データファイルを記録したことを特徴とすることができる。特に、波形データ割り付け手段は、各物理特性毎に波形データ記録手段に記録された波形データファイルを対応付けておき、各物理特性毎に対応付けられた波形データファイルから波形データを割り付けることができる。さらには、波形データ割り付け手段は、各物理特性毎に対応付ける波形データファイルを選択可能に構成したことを特徴とすることもできる。
また、波形データ記録手段は、予め指定されたコード進行で構成された波形データを記録することができる。さらに、波形データ割り付け手段は、小節単位で波形データを割り付けることを特徴とすることもできる。特に、波形データ割り付け手段は、小節単位で波形データの割り付けを行わないことを選択することもできる。また、同期手段は、割り付けられた波形データを小節単位で同期させることを特徴とすることもできる。
【００１０】
また、波形データ割り付け手段によって割り付けられた波形データに対してサウンドエフェクト処理を行うエフェクト手段をさらに備えたことを特徴とすることもできる。特に、エフェクト手段は、サウンドエフェクト処理を行う波形データを選択することが可能である。さらに、エフェクト手段は、ジャイロセンサを備え、このジャイロセンサの出力に基づいてサウンドエフェクト処理を行うことも可能である。
【００１１】
また、本発明を音楽生成方法として捉え、時間と共に変化する画像データから複数の異なる物理特性を抽出する物理特性抽出ステップと、物理特性抽出ステップによって抽出された各物理特性を数値化する数値化ステップと、数値化ステップによって数値化された各物理特性に基づいて予め記録された波形データファイルの中から所定の波形データを割り付ける波形データ割り付けステップと、波形データ割り付けステップによって割り付けられた各波形データを同期させる同期ステップとを有することを特徴としている。ここで、波形データ割り付けステップによって割り付けられた波形データに対してサウンドエフェクト処理を行うエフェクトステップをさらに有することを特徴とすることができる。また、波形データ割り付けステップで割り付けられる波形データを記録した波形データファイルを選択する波形データファイル選択ステップをさらに有することを特徴とすることもできる。
【００１２】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいて本発明について詳細に説明する。
図１に示すものは、本実施の形態における音楽生成装置の全体構成を説明するブロック図である。図１に示すように、本実施の形態の音楽生成装置は、予め定められた制御プログラムに従ってデジタル演算処理を実行する演算処理部（ＣＰＵ）１０、ＣＰＵ１０の作業用メモリ等として用いられるＲＡＭ１１、ＣＰＵ１０により実行される制御プログラム等が格納されるＲＯＭ１２、音楽生成装置の操作を行うためのキーボード等からなる操作入力部３３とＣＰＵ１０との間のデータの送受信を制御する入力インターフェース（入力Ｉ／Ｆ）１３、マウス３４とＣＰＵ１０との間のデータの送受信を制御するマウスインターフェース（マウスＩ／Ｆ）１４、所定の記録媒体から構成され、プログラム、およびサウンドデータや画像データ等が記憶されている波形データ記録手段の一例としての２次記録部１５、各種の表示を行うディスプレイ等の表示装置３６とＣＰＵ１０との間のデータの送受信を制御する表示インターフェース（表示Ｉ／Ｆ）１６、スピーカ３７ａへの音声信号の出力と、マイク３７ｂからの音声データの入力を制御するサウンドインターフェース（サウンドＩ／Ｆ）１７、ビデオカメラ３８とＣＰＵ１０との間のデータの送受信を制御する映像インターフェース（映像Ｉ／Ｆ）１８、物体の傾きを検出するジャイロセンサ部３９とＣＰＵ１０との間のデータの送受信を制御するジャイロインターフェース（ジャイロＩ／Ｆ）１９、鍵盤や音源ユニット等のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）機器４０を接続するためのＭＩＤＩインターフェース（ＭＩＤＩＩ／Ｆ）２０、ネットワーク４１等との通信を行う通信インターフェース（通信Ｉ／Ｆ）２１を備えている。そして、ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、入力インターフェース１３、マウスインターフェース１４、２次記録部１５、表示インターフェース１６、サウンドインターフェース１７、映像インターフェース１８、ジャイロインターフェース１９、ＭＩＤＩインターフェース２０、通信インターフェース２１はバス３０によって相互に接続されている。
【００１３】
ＲＡＭ１１は、種々のデータを一時的に記憶しておくために使用される。このＲＡＭ１１には、例えばバッファ、レジスタ、カウンタ、フラグ等が定義されている。そして、例えば画像情報を分解した際の光の３要素である色相、彩度、明度それぞれの平均化したレベルや、バックトラック、リード、サウンドエフェクトといった音に関する波形データ、さらには画像情報を管理するための画像管理データ等を記憶する。
また、ＲＯＭ１２は、ＣＰＵ１０により実行される制御プログラムや、ＣＰＵ１０が種々の処理に使用する固定データを記憶している。
【００１４】
入力インターフェース１３を介して接続される操作入力部３３は、ユーザの操作を受けてＣＰＵ１０にコマンドを伝達する装置部であり、生成中のサウンドに対して、後述するエフェクトの選択、エフェクトの対象となるトラックの選択、各種メディアから取得した曲の中からの選曲、音量調整等を行ったり、ユーザの意思により音楽生成処理をＣＰＵ１０に指示する機能を備えている。その機能を実現するための手段として、キーボードやタッチスイッチ、さらにはジョグダイアル等のリモートコントローラ等を用いることができる。また、マイク等の音声入力装置、ＩＣカードや磁気カードに記録されたデータを読み取るための記録カード読み取り装置を付加することもできる。
【００１５】
マウスインターフェース１４を介して接続されるマウス３４は、表示装置３６を構成するディスプレイ画面上の矢印（マウス・ポインタ）を移動させるための装置であり、ディスプレイ画面上から所望の画像データや音声データを選択したり、種々のコマンドをＣＰＵ１０に伝達することができる。
【００１６】
２次記録部１５は、記録媒体として、ハードディスク、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等を用いることができ、これらの記録媒体からデータを読み出すための駆動装置を備えている。また、この２次記録部１５は、データの書き換えが可能なメモリーカード、ＤＶＤ−ＲＷ（またはＣＤ−ＲＷ）、またはＢｌｕ−ｒａｙディスク等を用いることもでき、その際にはこれらの記録媒体に対する情報の読み出し・書き込みを行う機構が備えられている。その他にも、ＣＰＵ１０が実行するプログラム、およびサウンドデータや画像データ等が記憶された各種記録媒体を用いることが可能である。
そして、本実施の形態の音楽生成装置の２次記録部１５には、音楽生成に用いる波形データファイルが記録されている。波形データファイルとしては、例えばそれぞれ１６小節のループで構成されるバックトラックパターンからなる５種類のバックトラックファイルと、８種類の波形データであるサウンドエフェクトパターンによって一つのファイルを構成したサウンドエフェクトファイルと、５種類の波形データであるリードパターンによって一つのファイルを構成したリードファイルとが用意されている。そしてこれらの７つの波形データファイル、すなわち５つのバックトラックファイルと１つのサウンドエフェクトファイルと１つのリードファイルとで構成される波形データファイルが一つの楽曲データファイルを形成しており、この楽曲データファイルを３組分保持している。これらの波形データファイルは、音楽生成装置の起動時にＲＡＭ１１に送信される。
なお、波形データファイルであるバックトラックファイル、サウンドエフェクトファイル、リードファイル、および波形データファイルから構成される楽曲データファイルの全体は追加、削除、変更することができ、また波形データファイルは、波形データファイル単体または楽曲データファイル全体として、各種デジタルメディアや外部ネットワーク４１から供給することや、入れ替えることも可能である。
【００１７】
表示インターフェース１６を介して接続される表示装置３６は、液晶ディスプレイ等により構成されており、例えば選択されている楽曲データの種類やジャンル等を表示することができる。さらに各スピーカ３７ａの音量レベルやバランス等の種々の動作情報が表示される。
【００１８】
サウンドインターフェース１７には、スピーカ３７ａとマイク３７ｂとが接続されている。サウンドインターフェース１７からは、ＣＰＵ１０によって所定の処理が施されて出力される音声信号をスピーカ３７ａに送信する。スピーカ３７ａは、サウンドインターフェース１７からの音声信号を音響信号に変換して出力する。
一方、マイク３７ｂからは外部の環境音や歌声等が入力される。そして入力された外部の環境音や歌声等はＣＰＵ１０によって波形データに変換され、２次記録部１５に送信して、波形データファイルとして記憶しておくことができる。
【００１９】
映像インターフェース１８には、ビデオカメラ３８が接続される。ビデオカメラ３８は、映像を撮影し、また撮影された映像をデジタル画像データとしてＤＶＤ−ＲＯＭや磁気テープ等の記録媒体に記録する。そして映像インターフェース１８は、ビデオカメラ３８によりリアルタイムで撮影された画像データや、ビデオカメラ３８の記録媒体に記録された画像データをＣＰＵ１０に送信する。なお、映像インターフェース１８には、ビデオデッキ等の映像記録装置を接続することもでき、映像記録装置の記録媒体に記録された画像データをＣＰＵ１０に送信することもできる。
【００２０】
ジャイロインターフェース１９には、ジャイロセンサ部３９が接続されている。ジャイロセンサ部３９には、物体の角速度（１秒間に何度動いたか）を検知するジャイロセンサが配設され、ジャイロセンサは物体の傾き角度をアナログ信号として出力する。ジャイロセンサ部３９は、このジャイロセンサから出力されたアナログ信号を内蔵したＡＤコンバータでデジタル信号に変換する。ここで、ジャイロセンサ部３９をビデオカメラ３８に取り付けると、ジャイロセンサ部３９はビデオカメラ３８の前後左右の傾き角度をデジタル信号として出力することもできる。そして、このデジタル信号は、ジャイロインターフェース１９を介してＣＰＵ１０に送信される。
【００２１】
ＭＩＤＩインターフェース２０は、鍵盤や音源ユニット、パソコン、さらには様々な楽器等のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）機器４０を接続して、相互に演奏データを送受信するために設けられたものである。
【００２２】
通信インターフェース２１は、他の機器やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク等との通信を行う。この通信インターフェース２１は、携帯電話やＰＨＳ等から接続される通信基地局経由での通信や、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇのように、無線ＬＡＮを利用した無線通信基地局経由での通信を行うことも可能なように構成することもできる。
【００２３】
次に、ＣＰＵ１０の機能について説明する。
図２は、ＣＰＵ１０の機能の一例を説明するブロック図である。図２に示すように、まずＣＰＵ１０は、ビデオカメラ３８が撮影した映像に関するデジタル画像データをリアルタイムで映像インターフェース１８を介して受信する。そして、第１段階として、このデジタル画像データから画像中央部の３２×３２ピクセルのサイズ分の画像データを抽出して、この抽出された画像データを色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３要素に分解する。ここでは、ＣＰＵ１０は物理特性抽出手段の一つとして機能する。
さらに、第２段階として、分解された色相、彩度、明度のそれぞれをリアルタイムに数値化し、これらを連続した所定枚数の画像単位毎に平均化した値としての物理量を算出する。ここでは、ＣＰＵ１０は数値化手段、さらには物理量検出手段の一つとして機能する。
【００２４】
ここで、色相、彩度、明度のそれぞれの数値化について述べる。色相は赤・黄・緑・青・紫といった色合いを表すが、色相を環状に配置し、スペクトルの両端である赤と紫とが滑らかにつながるようにした色相環上において赤を基準（０°）として反時計回りに０〜３６０°の範囲で指定された色相の角度値を色相値とする。また、彩度は色の鮮やかさの度合いを表し、彩度が高ければより鮮やかに、低ければ濁った色（グレー）になるが、所定の色相の中で最も彩度の高い純色を１．０、最も彩度の低いグレーを０と定義して、彩度値を０〜１．０の範囲で表す。さらに、明度は色の明暗、つまり明るさを表すが、明度が最大の白の場合を３６０、最も暗い黒の場合を０と定義して、明度値を０〜３６０の範囲で表す。
【００２５】
本実施の形態の音楽生成装置においては、色相、彩度、明度には、予め波形データのうちのサウンドエフェクト、リード、バックトラックがそれぞれ対応付けられており、第３段階として、所定枚数の画像単位毎に算出された色相値、彩度値、明度値に基づいて、色相に対して８種類のサウンドエフェクトパターンの中から１つ、彩度に対して５種類のリードパターンファイルの中から１つ、明度に対して５種類のバックトラックファイルの中から１つがそれぞれ割り付けられる。そして、ビデオカメラ３８で撮影された映像が進行するのと同期して色相値、彩度値、明度値も変化していくが、この変化する色相、彩度、明度に対応して、サウンドエフェクトパターン、リードパターン、バックトラックパターンも切り替わりながら割り付けられていく。ここでは、ＣＰＵ１０は、波形データ割り付け手段として機能する。
また、上述したように、２次記録部１５にはサウンドエフェクトファイル、リードファイル、バックトラックファイルからなる楽曲データファイルを３組分保持していることから、第３段階において、保持している３組分の楽曲データファイルの中から所望の楽曲データファイルを選択することもできる。これによって、ユーザは所望の曲調を選ぶことができる。
【００２６】
なお、色相、彩度、明度に対応して、サウンドエフェクト、リード、バックトラックをそれぞれ割り付けたが、第３段階において、サウンドエフェクト、リード、バックトラックのいずれか１つ又は複数を、音楽生成処理の動作中において一時的又は全期間において非選択に設定することも可能である。
また、色相に対してサウンドエフェクト、彩度に対してリード、明度に対してバックトラックを対応させたが、これらの組み合わせは任意であり、これに限定されるものではない。また、画像データを色相、彩度、明度の３要素に分解したが、この他に、例えば画像データを赤、緑、青の３原色に分解して、それぞれをサウンドエフェクト、リード、バックトラックに対応させたり、さらには画像データを輝度信号、輝度信号と赤色成分との色差信号、輝度信号と青色成分との色差信号に分解して、それぞれをサウンドエフェクト、リード、バックトラックに対応させることもできる。すなわち、画像データから物理量として抽出することができる複数の物理特性であれば、如何なる物理特性をも用いることができる。
さらに、この音楽生成装置では、マイク３７ｂから環境音を採集し、画像データに基づいて、第３段階において重ね合わされた波形データにこの環境音を組み合わせて、音楽を形成することも可能である。
【００２７】
そして、第４段階として、音楽的な破綻が生じないように、各波形データは、ＢＰＭ（Ｂｅａｔ Ｐｅｒ Ｍｉｎｕｔｅ）を参照しながら小節単位で割り付けが行われるように同期処理が実行される。これによって、割り付けられたサウンドエフェクトパターン、リードパターン、バックトラックパターンは全部がタイミングを合わされて重なり合わされることによって、一つの音楽が構成され、映像に対応した音楽が形成される。
ここで、バックトラックを例にとって、波形データの構成と同期処理を説明する。図３は、バックトラックファイルの構成を示す図である。図３（ａ）は、コード進行に合わせてバックトラックファイルが構成された場合であり、図３（ｂ）はコード進行が限定されずに構成された場合である。図３では、５種類のバックトラックファイルがそれぞれａトラック〜ｅトラックの５トラックとして構成され、それぞれのトラックには例えばベースやドラムス等によって異なったバックトラックパターンが記録されている。
そして図３（ａ）では、それぞれのトラックは、小節毎に予め設定されたコード進行、例えば、Ｃ→Ｆ→Ｇ→Ｃ→…に合わせたバックトラックパターンからなる１６小節が記録されている。このように構成することで、小節毎にどのトラックが割り付けられるかにかかわらず、予め設定されたコード進行に従うことが可能となる。また図３（ｂ）では、それぞれのトラックは、トラック毎に設定されたコード、例えば、ａトラックはＣ、ｂトラックはＦ、…に合わせたバックトラックパターンからなる１６小節が記録されている。このように構成することによって、小節毎にどのトラックが割り付けられるかによって、自由なコード進行が可能となる。
【００２８】
図４は、小節毎のバックトラックパターンの同期処理を説明する図である。上述したように、バックトラックは明度値に対応して割り付けられる。従って、ＢＰＭを参照しながら小節同士の境界を把握し、図４（ａ）に示すように、小節の境界で明度値に対応して割り付けられたバックトラックファイルに該当するトラックへの切り替えを行う。図４（ｂ）に示した例では、画像データにより変化する明度値に基づいて、ａトラックの第１小節→ｂトラックの第２小節→ｅトラックの第３小節→ｃトラックの第４小節→…と小節毎にバックトラックファイルを切り替えていく場合を示している。
また、上述した楽曲データファイルを変更する場合においても、同様にＢＰＭを参照しながら小節同士の境界を把握して、小節の境界で切り替えを行う。
【００２９】
ここで、小節の境界においてトラックを切り替えるに際し、切り替え前の波形データと切り替え後の波形データとをシームレスに繋ぐため、ＢＰＭを参照しながら小節同士の境界を把握して、図５に示したように、小節の境界に設定された所定のクロスフェード領域において、切り替え前に割り付けられた波形データを徐々にフェードアウトし、切り替え後に割り付けられる波形データを徐々にフェードインするクロスフェードを行うように構成してもよい。
また、同期処理を行う小節の単位は任意に設定でき、例えば、リードは２小節毎に、バックトラックは１小節毎に割り付けるように設定することができる。サウンドエフェクトに関しては、サウンドエフェクトは雑然とした会話や拍手等のように旋律を持たない効果音であることから、任意のタイミングで割り付けるように設定することができる。
【００３０】
次に、第１段階から第４段階に至る過程において、ＣＰＵ１０が行う処理について説明する。
まず、図６は、第１段階から第４段階に至る過程において、ＣＰＵ１０が行う処理の流れの全体を表すフローチャートの一例である。図６において、処理が開始されると、ＣＰＵ１０はビデオカメラ３８によって撮影された映像に関するデジタル画像データを受け取り、このデジタル画像データから画像中央部の３２×３２ピクセルのサイズ分の画像データを抽出して、この抽出された画像データを色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３要素に分解する。そして、分解された色相、彩度、明度のそれぞれをリアルタイムに数値化し、これを連続した所定枚数の画像単位に平均化した色相値、彩度値、明度値を算出する（Ｓ１０１）。次に、算出された色相値、彩度値、明度値に基づき、それぞれサウンドエフェクトパターン処理（Ｓ１０２）、リードパターン処理（Ｓ１０３）、バックトラックパターン処理（Ｓ１０４）を行い、色相値、彩度値、明度値に対応してサウンドエフェクトパターン、リードパターン、バックトラックパターンをそれぞれ割り付ける。その後、割り付けられたサウンドエフェクトパターン、リードパターン、バックトラックパターンを小節単位で切り替える同期処理を行う（Ｓ１０５）。これを繰り返し行うことで、サウンドエフェクト、リード、バックトラックが重なり合った音楽を形成する。
【００３１】
図７は、ＣＰＵ１０が行うサウンドエフェクトパターン処理の流れを表すフローチャートの一例である。図７において、色相値（Ｈ）が２８８より大きい範囲では（Ｓ２０１）、サウンドエフェクトファイルの中の時間領域が４５．８８１〜５５．４０７に記録されたサウンドエフェクトパターンが割り付けられる（Ｓ２０８）。すなわち、サウンドエフェクトファイルは８種類のサウンドエフェクトパターンを一つの波形データとした構成を有し、それぞれのサウンドエフェクトパターンはアドレス領域として記録されている時間領域によって指定することができる。同様に、色相値（Ｈ）が２７０より大きく２８８以下の範囲では（Ｓ２０２）、時間領域が３７．５８４〜４４．８８１に記録されたサウンドエフェクトパターン（Ｓ２０９）、色相値（Ｈ）が２１６より大きく２７０以下の範囲では（Ｓ２０３）、時間領域が３１．０６４〜３６．５８４に記録されたサウンドエフェクトパターン（Ｓ２１０）、色相値（Ｈ）が１９８より大きく２１６以下の範囲では（Ｓ２０４）、時間領域が２４．３３４〜３０．０６４に記録されたサウンドエフェクトパターン（Ｓ２１１）、色相値（Ｈ）が１４４より大きく１９８以下の範囲では（Ｓ２０５）、時間領域が１８．４００〜２３．３３４に記録されたサウンドエフェクトパターン（Ｓ２１２）、色相値（Ｈ）が１２６より大きく１４４以下の範囲では（Ｓ２０６）、時間領域が１１．０４４〜１７．４００に記録されたサウンドエフェクトパターン（Ｓ２１３）、色相値（Ｈ）が５４より大きく１２６以下の範囲では（Ｓ２０７）、時間領域が４．５７４〜１０．０４４に記録されたサウンドエフェクトパターン（Ｓ２１４）、色相値（Ｈ）が５４以下の範囲では（Ｓ２０７）、時間領域が０．０〜３．５４６に記録されたサウンドエフェクトパターン（Ｓ２１５）が割り付けられる。そして、現在割り付けられているサウンドエフェクトパターンが、新たに割り付けられるサウンドエフェクトパターンと異なっているかどうかを判断し（Ｓ２１６）、異なっている場合には、新たに割り付けられるサウンドエフェクトパターンに変更する（Ｓ２１７）。同一の場合には、現在割り付けられているサウンドエフェクトパターンをそのまま続行させる（Ｓ２１８）。
【００３２】
図８は、ＣＰＵ１０が行うリードパターン処理の流れを表すフローチャートの一例である。図８において、彩度値（Ｓ）が０．５より大きい範囲では（Ｓ３０１）、リードファイルの中の時間領域が１．５５２から記録されたリードパターンが割り付けられる（Ｓ３０５）。すなわち、リードファイルは５種類のリードパターンを一つの波形データとした構成を有し、それぞれのリードパターンはアドレス領域として記録されている時間領域によって指定することができる。同様に、彩度値（Ｓ）が０．４より大きく０．５以下の範囲では（Ｓ３０２）、時間領域が４９．０００から記録されたリードパターン（Ｓ３０６）、彩度値（Ｓ）が０．３より大きく０．４以下の範囲では（Ｓ３０３）、時間領域が３９．１０２から記録されたリードパターン（Ｓ３０７）、彩度値（Ｓ）が０．２より大きく０．３以下の範囲では（Ｓ３０４）、時間領域が２０．５４０から記録されたリードパターン（Ｓ３０８）、彩度値（Ｓ）が０．２以下の範囲では（Ｓ３０４）、時間領域が１．５５２から記録されたリードパターン（Ｓ３０９）が割り付けられる。そして、現在割り付けられているリードパターンが、新たに割り付けられるリードパターンと異なっているかどうかを判断し（Ｓ３１０）、異なっている場合には、新たに割り付けられるリードパターンに変更する（Ｓ３１１）。同一の場合には、現在割り付けられているリードパターンをそのまま続行させる（Ｓ３１２）。
【００３３】
図９は、ＣＰＵ１０が行うバックトラックパターン処理の流れを表すフローチャートの一例である。図９において、明度値（Ｖ）が２００より大きい範囲では（Ｓ４０１）、バックトラックファイルＳｏｕｎｄＡ５に記録されたバックトラックパターンが割り付けられる（Ｓ４０５）。すなわち、記録された５種類のバックトラックファイルの中から割り付けられるバックトラックファイルが選択される。同様に、明度値（Ｖ）が１６０より大きく２００以下の範囲では（Ｓ４０２）、バックトラックファイルＳｏｕｎｄＡ４に記録されたバックトラックパターン（Ｓ４０６）、明度値（Ｖ）が１２０より大きく１６０以下の範囲では（Ｓ４０３）、バックトラックファイルＳｏｕｎｄＡ３に記録されたバックトラックパターン（Ｓ４０７）、明度値（Ｖ）が８０より大きく１２０以下の範囲では（Ｓ４０４）、バックトラックファイルＳｏｕｎｄＡ２に記録されたバックトラックパターン（Ｓ４０８）、明度値（Ｖ）が８０以下の範囲では（Ｓ４０４）、バックトラックファイルＳｏｕｎｄＡ１に記録されたバックトラックパターン（Ｓ４０９）が割り付けられる。そして、現在割り付けられているバックトラックパターンが、新たに割り付けられるリードパターンと異なっているかどうかを判断し（Ｓ４１０）、異なっている場合には、新たに割り付けられるバックトラックパターンに変更する（Ｓ４１１）。同一の場合には、現在割り付けられているバックトラックパターンをそのまま続行させる（Ｓ４１２）。
【００３４】
図１０は、ＣＰＵ１０が行う同期処理の流れを表すフローチャートの一例である。図１０において、同期処理が開始されると、まずバックトラックパターンの割り付けが実行されたかどうかを判断する（Ｓ５０１）。バックトラックパターンの割り付けが実行された場合には、次の小節が割り付けられたバックトラックパターンに変化させてよい小節かどうかを判断する（Ｓ５０２）。変化させてよい小節の場合には、現在再生されているバックトラックパターンを次の小節では音量を０として、新たに割り付けられたバックトラックパターンを読み出して、その小節の頭からそのバックトラックパターンを再生する（Ｓ５０３）。変化させてはよくない小節の場合には、次の小節でも現在再生中のバックトラックパターンを続行する（Ｓ５０４）。
一方、ステップＳ５０１において、バックトラックパターンの割り付けが実行されていない場合には、ステップＳ５０２における次の小節が変化させてよい小節かどうかの判断を行わず、次の小節でも現在再生中のバックトラックパターンを続行する（Ｓ５０４）。
【００３５】
次に、サウンドエフェクトパターンの割り付けが実行されたかどうかを判断する（Ｓ５０５）。サウンドエフェクトパターンの割り付けが実行された場合には、次の小節が割り付けられたサウンドエフェクトパターンに変化させてよい小節かどうかを判断する（Ｓ５０６）。変化させてよい小節の場合には、現在再生されているサウンドエフェクトパターンを次の小節では音量を０として、新たに割り付けられたサウンドエフェクトパターンを読み出して、その小節の頭からそのサウンドエフェクトパターンを再生する（Ｓ５０７）。変化させてはよくない小節の場合には、次の小節でも現在再生中のサウンドエフェクトパターンを続行する（Ｓ５０８）。
一方、ステップＳ５０５において、サウンドエフェクトパターンの割り付けが実行されていない場合には、ステップＳ５０６における次の小節が変化させてよい小節かどうかの判断を行わず、次の小節でも現在再生中のバックトラックパターンを続行する（Ｓ５０８）。
【００３６】
次に、リードパターンの割り付けが実行されたかどうかを判断する（Ｓ５０９）。リードパターンの割り付けが実行された場合には、次の小節が割り付けられたリードパターンに変化させてよい小節かどうかを判断する（Ｓ５１０）。変化させてよい小節の場合には、現在再生されているリードパターンを次の小節では音量を０として、新たに割り付けられたリードパターンを読み出して、その小節の頭からそのリードパターンを再生する（Ｓ５１１）。変化させてはよくない小節の場合には、次の小節でも現在再生中のリードパターンを続行する（Ｓ５１２）。
一方、ステップＳ５０９において、リードパターンの割り付けが実行されていない場合には、ステップＳ５１０における次の小節が変化させてよい小節かどうかの判断を行わず、次の小節でも現在再生中のリードパターンを続行する（Ｓ５１２）。
【００３７】
なお、ステップＳ５０２、ステップＳ５０６、およびステップＳ５１０で行う次の小節が変化させてよい小節かどうかの判断は、予め割り付けの切り替えを行う小節の単位を、バックトラック、サウンドエフェクト、リード毎に設定しておくことができる。また、サウンドエフェクトは旋律を持たない効果音であることから、任意のタイミングで割り付けるように設定することができるので、ステップＳ５０６における判断を行わない処理も可能である。
【００３８】
さて、本実施の形態の音楽生成装置では、第１段階から第４段階に至る過程において、撮影された映像の画像データに対応してバックトラックパターン、リードパターン、サウンドエフェクトパターンが割り付けられ、それぞれが小節単位に同期処理が行われた後に、第５段階として、ＣＰＵ１０において各波形データに対してサウンドエフェクト処理を行うことも可能である。
まず、バックトラック、リード、サウンドエフェクトといった同期処理された波形データを音楽として出力するＣＰＵ１０の機能を説明する。図１１は、波形データを音楽として出力するＣＰＵ１０の機能構成を説明するブロック図である。図１１において、バックトラック、リード、サウンドエフェクトといった同期処理された波形データは、それぞれプリ処理部（Ｐｒｅ）５０ａ、５０ｂ、５０ｃ、５０ｄにおいて所定の音響処理が行なわれ、プリ処理部５０ａ、５０ｂで処理されたリード、サウンドエフェクトはバス７０ａを介してディレイ（Ｄｅｌａｙ）部８０ａ、コーラス部（Ｃｈｏｒｕｓ）８１ａ、リバーブ部（Ｒｅｖｅｒｂ）８２ａ等によって所望のシステムエフェクトが施される。またプリ処理部５０ｃ、５０ｄで処理されたバックトラックはバス７０ｂを介してディレイ（Ｄｅｌａｙ）部８０ｂ、コーラス部（Ｃｈｏｒｕｓ）８１ｂ、リバーブ部（Ｒｅｖｅｒｂ）８２ｂ等によって所望のシステムエフェクトが施される。
所望のシステムエフェクトが施されたバックトラック、リード、サウンドエフェクトは、それぞれバス７１ａ、７１ｂ、さらにはバス７２を介してポスト処理部（Ｐｏｓｔ）８０に送信され、ポスト処理部８０において所定の音響処理が行なわれた後、合成部（Ｍｉｘ）１００に送られる。
【００３９】
一方、マイク３７ｂから環境音を採集し、この環境音に対して、入力信号に対し奇数チャンネルおよび偶数チャンネルへの振り分けを調整するパン部（ＰＡＮ）９１、入力信号の出力レベルを調整するボリューム部（ＶＯＬ）９２、入力信号の周波数特性を調整して音色を加工するイコライザ部（ＥＱ）９３、入力信号から音程を変化させるピッチシフタ部（ＰｉｔｃｈＳｈｉｆｔｅｒ）９４による音響処理が行われた後、一部の出力信号はバス７０ａを介してディレイ部８０ａ、コーラス部８１ａ、リバーブ部８２ａ等によって所望のシステムエフェクトが施され、バス７１ａ、バス７２を介してポスト処理部８０に送信され、ポスト処理部８０において所定の音響処理が行なわれる。
また、一部の出力信号は、直接出力される。さらに、一部の出力信号は、合成部１００に送られる。
そして合成部１００では、ポスト処理部８０において所定の音響処理が行なわれたバックトラック、リード、サウンドエフェクト、環境音と、所定の音響処理が行われた環境音とを合成して出力する。
【００４０】
ここで、ＣＰＵ１０の中の音響処理を行うプリ処理部５０とポスト処理部８０とについて述べる。図１２は、プリ処理部５０とポスト処理部８０とを説明するブロック図である。図１２（ａ）は、プリ処理部５０の構成を示し、図１２（ｂ）はポスト処理部８０の構成を示している。図１２（ａ）に示すように、プリ処理部５０は、ウェイブファイル形式で記録されている波形データを音声信号として出力するウェイブプリヤ部５１、パン部（ＰＡＮ）５２、ボリューム部（ＶＯＬ）５３、イコライザ部（ＥＱ）５４、ピッチシフタ部（ＰｉｔｃｈＳｈｉｆｔｅｒ）５５により構成されている。
また、図１２（ｂ）に示すように、ポスト処理部８０は、イコライザ部８１、ピッチシフタ部８２、ボリューム部８３により構成されている。
【００４１】
ところで、本実施の形態の音楽生成装置では、ジャイロセンサ部３９はビデオカメラ３８と一体的に設置されている。そして、このジャイロセンサ部３９は、ユーザがビデオカメラ３８を操作した際の前後左右のビデオカメラ３８の傾き角を検出し、検出された傾き角はデジタル信号に変換され、ジャイロインターフェース１９を介してＣＰＵ１０に送信される。
ここで、ジャイロセンサ部３９はビデオカメラ３８のレンズの光軸方向をｘ軸とし、水平面内でｘ軸と直交する方向をｙ軸となるように設置されている。そして、ジャイロセンサ部３９は、水平面に対するｘ軸の傾き角データに関しては、ｘ軸の傾き角が水平面よりも上を向ける程、プラス側に大きい値を出力し、水平面よりも下を向ける程、マイナス側に大きい値を出力するように設定されている。また、水平面内におけるｙ軸の傾き角データに関しては、ｙ軸の傾き角が右側を向く程、プラス側に大きい値を出力し、ｙ軸の傾き角が左側を向く程、マイナス側に大きい値を出力するように設定されている。
そしてＣＰＵ１０は、ジャイロセンサ部３９からのｘ軸またはｙ軸の傾き角データに基づいて、音響処理の際に、割り付けられた波形データに対してサウンドエフェクト処理を実行する。すなわち、ＣＰＵ１０はエフェクト手段として機能する。
【００４２】
まず、ジャイロセンサ部３９によって検出された傾き角データに基づいて、プリ処理部５０のイコライザ部５４、ポスト処理部８０のイコライザ部８１に対してサウンドエフェクト処理を行うことができる。図１３は、プリ処理部５０のイコライザ部５４、ポスト処理部８０のイコライザ部８１に対してサウンドエフェクト処理を行う場合を説明する図である。図１３（ａ）は、イコライザ部５４およびイコライザ部８１の構成を説明している。イコライザ部５４、イコライザ部８１には、カットオフ周波数以上の周波数をカットするハイカットフィルタ（ＨＣＦ）６１と、カットオフ周波数以下の周波数をカットするローカットフィルタ（ＬＣＦ）６２とが備えられている。そして、ハイカットフィルタ６１とローカットフィルタ６２とは、それぞれジャイロセンサ部３９からの信号によりカットオフ周波数を変化させることができるように構成されている。
【００４３】
ＣＰＵ１０は、水平面に対するｘ軸の傾き角データを参照し、図１３（ｂ）に示すように、ハイカットフィルタ６１に対して、ｘ軸の傾き角がプラス側に大きい値となる程、カットオフ周波数が小さくし、ｘ軸の傾き角がマイナス値を示した場合には、カットオフ周波数は変化させないように制御する。これによって、ジャイロセンサ部３９が設置されたビデオカメラ３８のレンズが上を向くほど、カットされる高周波数帯が広がり、全体の音質は低音が強調されるという効果を生じさせることができる。
一方、ＣＰＵ１０は、図１３（ｃ）に示すように、ローカットフィルタ６２に対しては、ｘ軸の傾き角がマイナス側に大きい値となる程、カットオフ周波数が小さくなり、ｘ軸の傾き角がプラス値を示した場合には、カットオフ周波数は変化させないように制御する。これによって、ジャイロセンサ部３９が設置されたビデオカメラ３８のレンズが下を向くほど、カットされる低周波数帯が狭くなり、低音域の多く含まれる重厚な音質を形成する効果を生じさせることができる。
【００４４】
また、ジャイロセンサ部３９によって検出された傾き角データに基づいて、プリ処理部５０のパン部５２に対してサウンドエフェクト処理を行うこともできる。図１４は、パン部５２に対してサウンドエフェクト処理を行う場合を説明する図である。図１４（ａ）は、パン部５２の構成を説明している。パン部５２は、音声信号のうちの左チャンネル音声信号を乗算する左マルチプライヤ６３と、右チャンネル音声信号を乗算する右マルチプライヤ６４とが並列に構成され、左マルチプライヤ６３と右マルチプライヤ６４とは、それぞれジャイロセンサ部３９からの信号によりゲインを変化させることができるように構成されている。
そして、ＣＰＵ１０は、水平面内におけるｙ軸の傾き角データを参照し、図１４（ｂ）に示すように、左マルチプライヤ６３に対して、ｙ軸の傾き角がマイナス側に大きい値となる程、ゲインを小さくし、ｙ軸の傾き角がプラス値を示す場合にはゲインを変化させないように制御する。これによって、ジャイロセンサ部３９が設置されたビデオカメラ３８のレンズが左側を向くほど、左チャンネル出力のゲインが低下し、右チャンネル出力が強調される効果が得られる。
一方、ＣＰＵ１０は、図１４（ｃ）に示すように、右マルチプライヤ６４に対しては、ｙ軸の傾き角がプラス側に大きい値となる程、ゲインを小さくし、ｙ軸の傾き角がマイナス値を示す場合にはゲインを変化させないように制御する。これによって、ジャイロセンサ部３９が設置されたビデオカメラ３８のレンズが右側を向くほど、右チャンネル出力のゲインが低下し、左チャンネル出力が強調される効果が得られる。
【００４５】
さらに、ジャイロセンサ部３９によって検出された傾き角データに基づいて、プリ処理部５０のピッチシフタ部５５、ポスト処理部８０のピッチシフタ部８２に対してサウンドエフェクト処理を行うこともできる。図１５は、プリ処理部５０のピッチシフタ部５５、ポスト処理部８０のピッチシフタ部８２に対してサウンドエフェクト処理を行う場合を説明する図である。
ＣＰＵ１０は、水平面に対するｘ軸の傾き角データを参照し、図１５（ａ）に示すように、ピッチシフタ部５５、ピッチシフタ部８２に対して、ｘ軸の傾き角がプラス側に大きい値となる程、ピッチを直線的に高くなるように制御する。一方、ｘ軸の傾き角がマイナス側に大きい値となる程、ピッチが直線的に低くなるように制御する。これによって、ジャイロセンサ部３９が設置されたビデオカメラ３８を上下に振ることによって、ピッチを変化させることができる。なお、水平面に対するｘ軸の傾き角が０°である点を中心に、所定の領域においてピッチを変化させない不感帯領域を設け、手ブレによる影響を排除している。
また、ＣＰＵ１０は、図１５（ｂ）に示すように、ピッチシフタ部５５、ピッチシフタ部８２に対して、ｘ軸の傾き角がプラス側に大きい値となる程、ピッチがステップ的に高くなるように制御する。一方、ｘ軸の傾き角がマイナス側に大きい値となる程、ピッチがステップ的に低くなるように制御する。これによっても、ジャイロセンサ部３９が設置されたビデオカメラ３８を上下に振ることによって、ピッチを変化させることができる。
【００４６】
なお、本実施の形態では、ジャイロセンサ部３９はビデオカメラ３８に設置したが、ジャイロセンサ部３９をビデオカメラ３８から取り外し、ジャイロセンサ部３９のみを動かすことにより、ビデオカメラ３８の動きとは独立させて、積極的にサウンドエフェクトを施すことも可能である。
また、ジャイロセンサ部３９によって検出された傾き角データに基づいて、ディレイ部８０ａ、８０ｂ、コーラス部８１ａ、８１ｂ、リバーブ部８２ａ、８２ｂ等のシステムエフェクトに対して制御を行うことも可能である。
さらに、サウンドエフェクト処理の選択は任意に行うことができる。また、サウンドエフェクト、リード、バックトラックといった波形データに対して、個別にサウンドエフェクト処理の有無を選択することもできる。
さらにまた、本実施の形態では、サウンドエフェクト処理に際しジャイロセンサ部３９によって検出された傾き角データを用いたが、その他の様々な物理量を用いることもできる。例えば、周辺環境の明るさ、温度、湿度、気圧等を検知し、これらの検出値に基づいてサウンドエフェクト処理を行うことも可能である。
【００４７】
上述した第１段階から第４段階に至る過程において、撮影された映像の画像データに対応してバックトラックパターン、リードパターン、サウンドエフェクトパターンが割り付けられ、それぞれが小節単位に同期処理が行われた後に、第５段階として、各波形データに対してサウンドエフェクト処理が施されることによって、撮影された映像に対応した音楽が形成される。この形成された音楽は、第６段階として、撮影された映像と共に２次記録部１５に記録される。
そして、２次記録部１５から映像データおよび音楽データとを読み出すことによって、映像と共に、又は音楽のみを再生することができる。
【００４８】
このように、本実施の形態によれば、撮影した映像に関する画像データから色相、彩度、明度等の異なる複数の物理特性を抽出して、それぞれの物理特性を数値化した物理量を算出する。そして数値化された各物理特性に対しバックトラック、リード、サウンドエフェクト等の音楽的構成要素を割り付け、これらを音楽的に同期させることによって、撮影した映像に対応した音楽を生成することができる。これによって、ノンリニアではあるが、音楽的に破綻のない音楽が創造でき、映像と融合した新たな音楽世界が形成できる。その結果として、映像に対応した音楽を聴くためにそれまで撮らなかったような映像を撮るようになったり、今までと同じように撮影しても、音楽が付加されることによって従来とは異なった映像として見えてくるといった、これまでにない効果を引き出すことが期待できる。
【００４９】
また、音を聴きながら映像を撮ることにより、その音に撮影者側も合わせて撮るようになるため、撮影された映像にもリズムが生まれるという効果が得られる。さらに、編集したものでも、無編集のものでもない、撮影された映像をトリガーにした音が付加された映像を観るという新しい視聴スタイルが形成されるという効果も生じる。
特に、ビデオレコーダに取り付けたジャイロセンサにより音を変化させるといった新しいインタラクションも提示できるので、ビデオレコーダの更なる直感的な操作が可能となる。また、ビデオレコーダの動きをリンクさせた映像に合った音楽を作り出すといった効果も生まれる。
その他にも、従来、リニアに再生し、聴くことが常であった音楽のリスニングスタイルとは異なった、ノンリニア再生といった新しい音楽の聴き方が生まれ、また同時にノンリニアミュージックといったカテゴリーやそのための音作り等の新しい分野が開拓されることも期待できる。また、音を聴くことによって、どのような画像が撮影されているのか認識できるという効果も得られる。
【００５０】
なお、本実施の形態では、撮影した映像に関する画像データから色相、彩度、明度を抽出し、色相、彩度、明度に対しそれぞれバックトラック、リード、サウンドエフェクト等の音楽的構成要素を割り付け、これらを音楽的に同期させることによって、撮影した映像に対応した音楽を生成したが、撮影した映像に代えてスライドショーを用いることも可能である。
【００５１】
すなわち、２次記録部１５に複数の静止画像データを記録しておき、この静止画像データを所定の時間間隔毎に順次再生していくに際して、連続的に再生される静止画像データから色相、彩度、明度の３要素を抽出する。さらに、抽出された色相、彩度、明度のそれぞれをリアルタイムに数値化する。そして、撮影した映像を用いる場合と同様に、色相、彩度、明度には、予め波形データのうちのサウンドエフェクト、リード、バックトラックをそれぞれ対応付けておき、再生される画像データから算出された色相値、彩度値、明度値に応じて、色相に対して８種類のサウンドエフェクトの中から１つ、彩度に対して５種類のリードの中から１つ、明度に対して５種類のバックトラックの中から１つをそれぞれ割り付ける。
【００５２】
そして、音楽的な破綻が生じないように、サウンドエフェクト、リード、バックトラックの各波形データは、ＢＰＭを参照しながら小節単位で割り付けが切り替えられるように同期処理が行われる。これによって、割り付けられたサウンドエフェクト、リード、バックトラックは全部がタイミングを合わされて重なり合わされることによって、一つの音楽が構成され、画像に対応した音楽が形成される。
ここで、スライドショーを用いる場合には、画像を切り替えるタイミングとして、小節の区切りを用いるように設定することができる。すなわち、ＢＰＭを参照しながら小節の区切りを把握して、例えば２小節毎に画像を切り替えるように設定することができる。
撮影した映像に代えてスライドショーを用いる場合にも、連続的に再生される静止画像と音楽が融合した新たな音楽世界が形成できる。
【００５３】
また、本実施の形態では、バックトラック、リード、サウンドエフェクト等の音楽的構成要素を割り付けるための物理量として、撮影した映像や連続した静止画像を用いるスライドショーといった時間と共に変化する画像データから抽出した物理量を用いたが、時間と共に変化する物理量であれば如何なる物理量も用いることが可能である。
【００５４】
さらに、本実施の形態の音楽生成装置は、カメラ付コンピュータ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、カメラ付ロボット等にも適用することができる。
さらに、撮影された映像から画像認識を行い、画像認識データに基づき警告音を作成する警報システムに適用することもできる。特に、撮影された映像から顔認識、形状認識を行い、個人の識別システム、物体の識別システムに適用することも可能である。
【００５５】
【発明の効果】
以上説明したように、本発明によれば、時間と共に変化する画像情報に対応させた音楽を作成して画像と音楽とのコラボレートを図り、新たな視聴スタイルを形成することが可能となる。
【図面の簡単な説明】
【図１】本実施の形態の音楽生成装置の全体構成を説明するブロック図である。
【図２】ＣＰＵの機能の一例を説明するブロック図である。
【図３】バックトラックファイルの構成を示す図である。
【図４】小節毎のバックトラックパターンの同期処理を説明する図である。
【図５】クロスフェードを説明する図である。
【図６】第１段階から第４段階に至る過程において、ＣＰＵが行う処理の流れの全体を表すフローチャートの一例である。
【図７】ＣＰＵが行うサウンドエフェクトパターン処理の流れを表すフローチャートの一例である。
【図８】ＣＰＵが行うリードパターン処理の流れを表すフローチャートの一例である。
【図９】ＣＰＵが行うバックトラックパターン処理の流れを表すフローチャートの一例である。
【図１０】ＣＰＵが行う同期処理の流れを表すフローチャートの一例である。
【図１１】波形データを音楽として出力するＣＰＵの機能構成を説明するブロック図である。
【図１２】プリ処理部とポスト処理部とを説明するブロック図である。
【図１３】プリ処理部とポスト処理部のイコライザ部に対してサウンドエフェクト処理を行う場合を説明する図である。
【図１４】パン部に対してサウンドエフェクト処理を行う場合を説明する図である。
【図１５】プリ処理部とポスト処理部のピッチシフタ部に対してサウンドエフェクト処理を行う場合を説明する図である。
【符号の説明】
１０…演算処理部（ＣＰＵ）、１１…ＲＡＭ、１２…ＲＯＭ、１３…入力インターフェース（入力Ｉ／Ｆ）、１４…マウスインターフェース（マウスＩ／Ｆ）、１５…２次記録部、１６…表示インターフェース（表示Ｉ／Ｆ）、１７…サウンドインターフェース（サウンドＩ／Ｆ）、１８…映像インターフェース（映像Ｉ／Ｆ）、１９…ジャイロインターフェース（ジャイロＩ／Ｆ）、２０…ＭＩＤＩインターフェース（ＭＩＤＩＩ／Ｆ）、２１…通信インターフェース（通信Ｉ／Ｆ）、３３…操作入力部、３４…マウス、３７ａ…スピーカ、３７ｂ…マイク、３８…ビデオカメラ、３９…ジャイロセンサ部、４０…ＭＩＤＩ機器、４１…ネットワーク、５０，５０ａ，５０ｂ，５０ｃ，５０ｄ…プリ処理部（Ｐｒｅ）、５１…ウェイブプリヤ部、５２，９１…パン部（ＰＡＮ）、５３，８３，９２…ボリューム部（ＶＯＬ）、５４，８１，９３…イコライザ部（ＥＱ）、５５，８２，９４…ピッチシフタ部（ＰｉｔｃｈＳｈｉｆｔｅｒ）、６１…ハイカットフィルタ（ＨＣＦ）、６２…ローカットフィルタ（ＬＣＦ）、６３…左マルチプライヤ、６４…右マルチプライヤ、７０ａ，７０ｂ，７１ａ，７１ｂ，７２…バス、８０ａ，８０ｂ…ディレイ（Ｄｅｌａｙ）部、８１ａ，８１ｂ…コーラス部（Ｃｈｏｒｕｓ）、８２ａ，８２ｂ…リバーブ部（Ｒｅｖｅｒｂ）、８０…ポスト処理部（Ｐｏｓｔ）、１００…合成部（Ｍｉｘ）

Claims (17)

1. 波形データを連続的に割り付けて音楽を生成する音楽生成装置であって、
   複数の波形データを記録した波形データ記録手段と、
   時間と共に変化する物理量を検出する物理量検出手段と、
   前記物理量検出手段によって検出された前記物理量に基づいて前記波形データ記録手段に記録された前記波形データを割り付ける波形データ割り付け手段と
   を備えたことを特徴とする音楽生成装置。
2. 前記物理量検出手段は、動画映像に関する画像データから前記物理量を検出することを特徴とする請求項１記載の音楽生成装置。
3. 前記物理量検出手段は、連続して変化する静止画像に関する画像データから前記物理量を検出することを特徴とする請求項１記載の音楽生成装置。
4. 波形データを連続的に割り付けて音楽を生成する音楽生成装置であって、
   複数の波形データを記録した波形データ記録手段と、
   時間と共に変化する画像データから複数の異なる物理特性を抽出する物理特性抽出手段と、
   前記物理特性抽出手段によって抽出された各物理特性を数値化する数値化手段と、
   前記数値化手段によって数値化された各物理特性に基づいて前記波形データ記録手段に記録された前記波形データを割り付ける波形データ割り付け手段と、
   前記波形データ割り付け手段によって割り付けられた前記各波形データを同期させる同期手段と
   を備えたことを特徴とする音楽生成装置。
5. 前記波形データ記録手段は、異なる波形データから構成される複数の波形データファイルを記録したことを特徴とする請求項４記載の音楽生成装置。
6. 前記波形データ割り付け手段は、前記各物理特性毎に前記波形データ記録手段に記録された前記波形データファイルを対応付け、当該波形データファイルから前記波形データを割り付けることを特徴とする請求項５記載の音楽生成装置。
7. 前記波形データ割り付け手段は、前記各物理特性毎に対応付ける前記波形データファイルを選択可能に構成したことを特徴とする請求項６記載の音楽生成装置。
8. 前記波形データ記録手段は、予め指定されたコード進行で構成された前記波形データを記録したことを特徴とする請求項４記載の音楽生成装置。
9. 前記波形データ割り付け手段は、小節単位で前記波形データを割り付けることを特徴とする請求項４記載の音楽生成装置。
10. 前記波形データ割り付け手段は、小節単位で前記波形データの割り付けを行わないことを選択できることを特徴とする請求項９記載の音楽生成装置。
11. 前記同期手段は、割り付けられた前記波形データを小節単位で同期させることを特徴とする請求項４記載の音楽生成装置。
12. 前記波形データ割り付け手段によって割り付けられた前記波形データに対してサウンドエフェクト処理を行うエフェクト手段をさらに備えたことを特徴とする請求項４記載の音楽生成装置。
13. 前記エフェクト手段は、サウンドエフェクト処理を行う前記波形データを選択できることを特徴とする請求項１２記載の音楽生成装置。
14. 前記エフェクト手段は、ジャイロセンサを備え、当該ジャイロセンサの出力に基づいてサウンドエフェクト処理を行うことを特徴とする請求項１２記載の音楽生成装置。
15. 時間と共に変化する画像データから複数の異なる物理特性を抽出する物理特性抽出ステップと、
    前記物理特性抽出ステップによって抽出された各物理特性を数値化する数値化ステップと、
    前記数値化ステップによって数値化された各物理特性に基づいて予め記録された波形データファイルの中から所定の波形データを割り付ける波形データ割り付けステップと、
    前記波形データ割り付けステップによって割り付けられた前記各波形データを同期させる同期ステップと
    を有する音楽生成方法。
16. 前記波形データ割り付けステップによって割り付けられた前記波形データに対してサウンドエフェクト処理を行うエフェクトステップをさらに有することを特徴とする請求項１５記載の音楽生成方法。
17. 前記波形データ割り付けステップで割り付けられる波形データを記録した前記波形データファイルを選択する波形データファイル選択ステップをさらに有することを特徴とする請求項１５記載の音楽生成方法。

Images