JP2006084749A - コンテンツ生成装置およびコンテンツ生成方法 - Google Patents

Abstract

【課題】素材としての音声コンテンツデータを種々の態様で利用し、完成度の高い新しい音声コンテンツを簡単に生成することができるようにする。
【解決手段】素材データとして用いられる多数の音声コンテンツデータが素材データ記憶部３１に予め用意される。素材データのそれぞれには、付加データが付随するようにされており、この付加データが付加データベース記憶部３２に記憶される。制御部１０において、受付部２０を通じて受け付けた外部情報と再構成法則データベース記憶部３３に記憶されている法則情報との一方あるいは両方に基づき、付加データを介して素材データ記憶部３１から必要な素材データが抽出され、これらから新たな楽曲が生成される。
【選択図】図１

Description

この発明は、例えば、楽曲を楽曲パート、小節などに細分化することにより得られる音声コンテンツデータなどを素材として用いて、新たな楽曲（音声コンテンツ）の音声コンテンツデータを生成するようにする装置、方法に関する。

昨今の携帯型のシリコンオーディオプレイヤーやハードディスク音楽プレイヤーの台頭によって、数百〜数万曲の楽曲（音楽コンテンツ）を１台の再生装置内部の記録媒体に記録し、これを再生することができるようになり、ユーザーは自分の好みの楽曲をすべて持ち出して、これをいつでも再生して聴けるようになった。

数多くの楽曲を記録媒体に記録し、再生可能にしておくことで長時間音楽を楽しむことができ、また、再生順番をランダムに変更して再生するいわゆるシャッフル再生を行うことで思いもよらなかった曲順で楽曲を聴けるため飽きがきにくい。しかしながら、これらのオーディオプレイヤーは予め録音された楽曲を単純に再生するだけであり、曲数は増えているが１曲１曲について見れば、毎回同じ音声を再生しているにすぎない。

一方で、自動作曲ソフト（自動作曲プログラム）のようにユーザーが曲の雰囲気や誕生日などのシチュエーションを入力するだけで曲を作成してくれるコンピュータ用ソフトウェアが存在する。例えば、後に記す特許文献１には、データベース内の音楽アイテム（素材となる音声データ）から任意の長さの適切な音楽シーケンス（音声データの並び）を生成する方式が開示されている。

このような、いわゆる自動作曲ソフトをパーソナルコンピュータを通じて利用することによって、ユーザーは、簡単に、かつ、気軽に、独自の音声コンテンツを作成して再生し、これを楽しむことができるようにされている。
特開２００２−１１７０６９号公報

しかしながら、上述したような自動作曲ソフトは、１音ずつ音符を生成していくようにしたり、予め決められた素材を連結したりするだけであり、多くの聴取者が「優れた曲」であると感じるような完成度の高い楽曲（音声コンテンツ）を生成することは難しい。また、パーソナルコンピュータにおいて起動される自動作曲ソフトに対する操作が複雑であったり、分かり難かったりするために、パーソナルコンピュータに不慣れなユーザーにとっては利用し難いものもあると考えられる。

また、自動作曲ソフトの場合には、ＭＩＤＩ（Musical Instrument Digital Interface）データを用いて作曲を行うようにするものがほとんどであり、楽器音色のリアルさが不足していたり、自然な人間の歌声を出すこができなかったりするなどの制約が存在する。そもそも、リアルさが増したとしても人間の演奏ではないとユーザーが分かっている場合には感動が呼び起こされない場合が多い。

以上のことに鑑み、この発明は、素材としての音声コンテンツデータを種々の態様で利用し、完成度の高い新しい音声コンテンツを簡単に生成することが可能な装置、方法を提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明のコンテンツ生成装置は、
素材として用いられる多数の音声コンテンツデータを記憶保持する素材記憶手段と、
多数の前記音声コンテンツデータのそれぞれ毎に付随し、索引／構成情報としての機能を有する付加データを記憶保持する付加データ記憶手段と
を備えるとともに、
外部情報の入力を受け付ける受付手段と、
多数の前記音声コンテンツデータから必要なものを抽出して新たな音声コンテンツを構成する構成処理時に用いる法則情報を記憶保持する法則記憶手段と
の一方あるいは両方を備え、
前記受付手段を通じて受け付けた前記外部情報と前記法則記憶手段の前記法則情報との一方あるいは両方に基づいて、前記付加データ記憶手段の前記付加データを介して前記素材記憶手段から必要な音声コンテンツデータを抽出するとともに構成処理を行って、新たな音声コンテンツを生成する構成処理手段を備えることを特徴とする。

この請求項１に記載の発明のコンテンツ生成装置によれば、例えば、楽曲を構成する音声コンテンツデータを、楽器パート、小節などに細分化するなどして形成され、素材として用いられる多数の音声コンテンツデータが素材記憶手段に予め用意される。素材として用いられる多数の音声コンテンツデータのそれぞれには、索引／構成情報としての機能を有する付加データが付随するようにされており、この付加データが付加データ記憶手段に記憶される。

そして、構成処理手段において、受付手段を通じて受け付けた外部情報と法則記憶手段に記憶されている法則情報との一方あるいは両方に基づき、付加データを介して素材記憶手段から素材として用いる複数の音声コンテンツデータが抽出され、これらを用いて新しい楽曲を形成する一連の音声コンテンツデータが構成される（生成される）、これを利用することができるようにされる。

この発明によれば、予め用意される素材としての音声コンテンツデータを種々の態様で利用することにより、完成度が高く新しい楽曲を簡単に生成し、これを利用できるようにすることができる。また、外部情報などの変化に応じて、毎回、新しい楽曲を生成してこれを利用できるようにすることができる。

また、ユーザーのインタラクションによってリアルタイムに楽曲を変化させたり、少ない素材からでも数多くの楽曲を生成したりすることができる。このため、従来のＣＤ（Compact Disc）のように録音済みの同じ楽曲を繰り返し聴くという音楽の楽しみ方を根底から変化させ、新しい音楽の楽しみ方をユーザーに提供することができる。

以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。以下に説明する実施の形態においては、この発明による装置、方法を種々の楽曲などの音声コンテンツデータを再生する音声再生装置（以下、単に再生装置という。）に適用した場合を例にして説明する。

［再生装置の概要］
図１は、この発明による装置、方法が適用された再生装置の概要を説明するためのブロック図である。この実施の形態の再生装置は、例えば携帯型の音声再生装置である。そして、この実施の形態の再生装置は、図１に示すように楽曲を生成（構成）するための音声コンテンツデータである多数の素材データ１と、予め決められる再構成法則情報（法則情報）のデータベースである再構成法則データベース２と、予め決められる再構成の処理手順である再構成アルゴリズム３とを予め備えている。ここで素材データ１は、楽曲を構成する楽器パート単位や小節単位などのように、所定の単位毎に細分化することにより細分化された単位で利用可能になった音声コンテンツデータである。

また、この実施の形態の再生装置は、気温、湿度などといった環境情報、この再生装置のユーザー（使用者）の心拍、皮膚温度などの生体情報、ユーザーからの操作入力情報などの外部情報を受け付ける受付部４を備えている。そして、この実施の形態の再生装置は、再生時において、受付部４を通じて受け付けた種々の外部情報と再構成法則データベースの法則情報とに基づいて、さらに、再構成アルゴリズム３にしたがって、多数の素材データ１から必要な素材データを抽出し、この抽出した素材データを再構成処理することにより、新たな楽曲（音声コンテンツ）を生成（再構成）して、これを再生して利用できるようにするものである。

すなわち、既に完成された楽曲を記憶保持し、これを単に再生するものではなく、音声コンテンツデータである多数の素材データを記憶保持し、この多数の素材データの中から必要な素材データを抽出し、この抽出した素材データを再構成処理することによって、全く新しい楽曲を生成して再生することができるものである。

［再生装置の構成と動作］
次に、この実施の形態の再生装置の構成と、その動作について説明する。図２は、この実施の形態の再生装置を説明するためのブロック図である。図２に示すように、この実施の形態の再生装置は、大きく分けると制御部１０、受付部２０、記憶装置部３０、表示装置部４０、出力部５０を備えている。

制御部１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Random Access Memory）１２、ＲＡＭ（Read Only Memory）１３が、ＣＰＵバス１４を通じて接続されて形成されたマイクロコンピュータであり、この実施の形態の再生装置の各部を制御したり、素材データから新たな楽曲を生成したりするなどの種々のデータ処理を行ったりすることができるものである。

受付部２０は、生体情報センサ２１、Ａ／Ｄ（Analog/Digital）変換部２２、環境情報センサ２３、Ａ／Ｄ変換部２４、入力デバイス２５を備え、生体情報、感性情報、環境情報、操作入力情報などの種々の外部情報を受け付けて、この受け付けた外部情報を制御部１０に供給することができるものである。なお、入力デバイス２５は、ユーザーからの操作入力を受け付けるものであり、キーボードなどと呼ばれるキー操作部やマウスなどのポインティングデバイス、ボタン、タッチパネルなどをも含むものである。

また、記憶装置部３０は、新たな楽曲（音声コンテンツデータ）を生成するために必要になるデータやプログラムを記憶保持するものである。すなわち、この実施の形態の再生装置の記憶装置部３０は、例えば、ハードディスクドライブであり、内蔵するハードディスクには、素材データ記憶部３１、素材データベース記憶部３２、再構成法則データベース記憶部３３、アルゴリズム実装プログラム記憶部３４などを備え、種々の情報を記憶保持している。

また、表示装置部４０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Organic Electro luminescence Panel）、ＣＲＴ（Cathode-Ray Tube）等の表示素子と、当該表示素子のコントローラなどを備え、各種のメッセージ情報などの画像情報を表示するものである。また、出力部５０は、音声出力装置部５１と、Ｄ／Ａ変換部５２とを備えたものであり、この実施の形態の再生装置において、新たに生成（構成）された音声コンテンツデータに応じた楽曲を音声として放音するためのものである。

そして、この実施の形態の再生装置において、記憶装置部３０の素材データ記憶部３１には、新たな楽曲を構成するための素材データとなる多数の音声コンテンツデータが記憶されている。ここで、素材データとなる音声コンテンツデータは、上述もしたように、楽曲を構成する音声コンテンツデータを、楽器パート毎や小節毎などに細分化することにより（小分けすることにより）形成されものである。もちろん、素材データとして、所定の楽器のパート部分のみを新たに録音するなど、素材データを独立して形成し、これを記憶保持することもできるようにされる。

また、素材データベース記憶部３２には、素材データ記憶部３１に記憶されている素材データを特定することが可能な識別子と、多数の素材データのそれぞれ毎に付随する付加データとが対応付けられて記憶されている。素材データベース記憶部３２の付加データと、素材データ記憶部３１の各素材データとは、予め決められた識別子により、相互に関連付けられ、付加データから素材データを特定したり、素材データからその素材データに対応する付加データを特定したりすることができるようにしている。

また、再構成法則データベース記憶部３３には、どのような場合に、どのような素材データを、どのように用いて、再構成処理することにより新たな楽曲を生成するかを示す再構成法則情報（法則情報）などが記憶されている。なお、ここで用いた再構成という文言の「再」の意味は、「同じものをふたたび」という意味ではなく、新たな楽曲の構成を「繰り返し行える」という意味である。

また、アルゴリズム実装プログラム記憶部３４には、新たな楽曲を構成する処理を行う場合に実行されるプログラムが格納されている。このプログラムのアルゴリズムにおいても、どのような場合に、どのような素材データを、どのように用いるかについて、変更や調整を行うこともできるようにされる。

なお、ここでは記憶装置部３０は１つしか示していないが、いくつかの記憶装置部（記録媒体）に素材データ記憶部３１、素材データベース記憶部３２、再構成法則データベース３３、アルゴリズム実装プログラム記憶部３４を分散させて設けるようにしてもよい。すなわち、素材データ記憶部３１、素材データベース記憶部３２、再構成法則データベース３３、アルゴリズム実装プログラム記憶部３４のそれぞれを異なる記憶装置部（記録媒体）に設けるようにしてもよいし、いくつかをまとめて同じ記憶装置部に記憶させるようにしてもよい。

そして、この実施の形態の再生装置においては、制御部１０に接続された入力デバイス２５を通じて、ユーザーからの音声再生指示入力を受け付けると、制御部１０は、生体情報センサ２１を通じて受け付けた生体情報やユーザーの動き情報は、Ａ／Ｄ変換部２２を通じて制御部１０に供給され、環境情報センサ２３を通じて受け付けた環境情報は、Ａ／Ｄ変換部２４を通じて供給される。また、入力デバイス２５を通じて受け付けたユーザーからの入力情報も制御部１０に供給される。

制御部１０のＣＰＵ１１は、記憶装置部３０のアルゴリズム実装プログラム記憶部３４に記憶されているアルゴリズムを読み出して実行し、このアルゴリズムにしたがって素材の属性、入力デバイス２５からの入力情報や生体情報センサ２１や環境情報センサ２３からの入力情報などの外部情報を再構成法則データベースと照らし合わせながら、素材データ記憶部３１から必要な素材データを抽出し、この抽出した素材データ（音声コンテンツデータ）を上述したアルゴリズムや再構成法則データベース記憶部３３の法則情報に基づいて再構成処理することによって新たな楽曲を生成する。

なお、後述もするが、付加データベース３２を介して、同じ付加データを有する複数の素材データを抽出し、これを再構成法則データベース３３の法則情報にしたがって処理することにより、新たな楽曲を生成し、これを再生することもできるようにされる。すなわち、この実施の形態の再生装置は、自己の記憶装置部３０に備える多数の素材データの中から必要となる素材データを、素材データベース３２や再構成法則データベース３３を介して抽出し、これを再構成法則データベース３３の法則情報や再構成アルゴリズムに応じて処理し、新しい楽曲（音声コンテンツ）を生成（構成）して、これを再生することができるようにしている。

［付加データの詳細］
次に、この実施の形態の再生装置で用いられる素材データに付随する付加データについて説明する。予め素材データ記憶部３１に記憶保持されている素材データを柔軟に利用して、新たな楽曲を自由に生成するために、素材データとしての音声コンテンツデータのそれぞれについて、その素性を表すための付加データが付加される。

換言すれば、付加データは、多数の素材データの中から目的とする素材データを抽出するための索引（インデックス）となるものである。この付加データが、図２に示した再生装置の記憶装置部３０の素材データベース記憶部３２に記憶保持され、この付加データを介して、目的とする素材データを抽出して、新たな楽曲の構成に利用することができるようにされる。以下、素材データとしての音声コンテンツデータに付随する付加データについて詳述する。

付加データは、大きく分けると、（１）素材データとしての音声コンテンツデータの楽音情報（楽曲情報）と時間情報、（２）素材データとしての音声コンテンツデータの人物情報、（３）感性情報、（４）環境情報、（５）生体情報がある。これら５つに分類される付加データのそれぞれについて説明する。

（１）素材データとしての音声コンテンツデータの楽音情報と時間情報について
（１）の付加データは、素材データの楽音情報と、それがどれ位の時間的長さを有するかを示す時間情報とが対応付けられたものである。楽音情報は、素材データを再生することにより得られる楽音（音声）についての情報である。具体的には、素材データを再生することにより得られる音声についての、スケール（キー）、コード、テンポ、ＢＰＭ（Beats Per Minute）と呼ばれる１分間あたりの拍数、ビート情報（ドラムパターン）、拍子、小節数、音量、音符・休符情報、ループ情報、ジャンル情報、楽器情報、地域情報などの情報である。

ここで、スケール（キー）は、Ｃメジャースケール、あるいは、ハ長調、ニ長調などの楽曲の主音の位置に応じて決まる楽曲の特性であり、コードは、Ｃ、Ａｍ、Ｅｍ７などの楽曲の和音（コード）である。これら、スケールやコードが素材データである音声コンテンツデータの途中で変化する場合には、その変化する位置情報・時間情報（データの先頭からのオフセット情報）なども含められる。

テンポは、楽曲進行の速さであり、ＢＰＭは、上述もしたようにように１分間あたりの拍の数であり、ビート情報は、ここではドラムのリズムパターン（ドラムパターン）である。ＢＰＭの場合、例えば、１分間に１２０拍であるときには、１２０ＢＰＭなどと表現される。また、リズムパターンとして、 バスドラム、スネアドラムのアタック音が入る位置情報・時間情報（データの先頭からのオフセット情報）なども含められる。

拍子は、２拍子、３拍子などのように楽曲においてひとまとまりとなるリズムの基礎をなす拍の数であり、例えば、３／４（４分の３）拍子、４／４（４分の４）拍子などのように表現されるものである。小節数は、上述した拍子で何小節分になるのかを示す情報であり、例えば、１小節分、２小節分などのように表現されるものである。

音量（peak, loudness）は、音の大きさのピークや強さ（レベル）などであり、素材データごとの音量のばらつきを揃えるなどのために用いることができる情報である。音符・休符情報は、例えば、ＭＭＬ(Music Macro Language)やＭＩＤＩ信号などで記述された素材データを再生することにより得られる音声を構成する音符や休符を表す情報であり、例えば、素材データの音符・休符の情報を抽出するために用いる。

ループ情報は、例えば、Ｌｏｏｐ（ループ）、ＯｎｅＳｈｏｔ（ワン・ショット）などの当該素材データが、ループ可能な素材か、一度だけ演奏されることを期待しているものかを表すものである。ループ可能な素材データは、当該素材データ（音声コンテンツデータ）の最後と最初を切れ目がないように繋いでも、ノイズが発生せず、テンポが狂わず、聴覚的に不自然になることがないものである。

ジャンル情報は、例えば、ジャズ（Jazz）、ロック（Rock）、テクノ（Techno）…などの 素材データが属するジャンルを示す値または文字列である。楽器情報は、例えば、リズム楽器（ドラム、パーカッション）、ギター、ベース、ピアノ…などの用いられている楽器の種類を示す情報である。ドラム系の楽器や特に音階のない効果音の場合には、ピッチ変換をする必要がない（逆にしてはいけない場合が多い）ため、この情報を元にピッチ変換に適応をする素材データか否かを決定することが可能となる。また、再構成時の楽器のバランスや種類を決定する場合などにおいても用いることができる。

地域情報は、例えば、インドネシア、 沖縄、イングランド…など、素材データが、ある地域と密接に関連している場合に、その地域を表す情報である。例えば、インドネシアのガムラン音楽の素材データや沖縄音階の素材データなどを区別するためのものである。

このような、各種の楽音情報とその継続時間を示す時間情報とを組み合わせて付加データの一部とすることによって、各素材データがどのような音声をどれ位の時間発するものであるか、すなわち、各素材データの素性や性質を正確に把握し、適切に処理することができるようにされる。

（２）素材データとしての音声コンテンツデータの人物情報について
この（２）の人物情報には、作曲者情報、演奏者情報、録音者情報、素材グループ情報などがある。作曲者情報は、素材データを再生することにより得られる旋律の作曲者を示すものである。この情報は、特定の作曲者の素材データだけを集めいて、新たな楽曲を構成する場合などにおいて利用可能なものである。この作曲者情報は、主には作曲者の氏名、芸名、筆名などの作曲者を特定することが可能な情報である。しかし、これに限るものではなく、作曲者が属するグループ名、作曲者の出身地や活動地域などを示す地域情報、作曲者の年齢や性別など、作曲者に関する種々の情報を含ませるようにしてもよい。

演奏者情報は、素材データを再生することにより得られる旋律を実際に演奏した演奏者を示すものである。ある演奏者の素材データだけを集めて曲として構成したい場合などに利用可能である。この演奏者情報もまた、主には演奏者の氏名、芸名などの演奏者を特定することが可能な情報である。しかし、これに限るものではなく、演奏者が属するグループ名、演奏者の出身地や活動地域などを示す地域情報、演奏者の年齢や性別など、演奏者に関する種々の情報を含ませるようにしてもよい。

録音者情報は、素材データを録音した録音エンジニアの情報である。ある録音エンジニアが録音した素材だけを集めて曲として構成したい場合などに利用可能である。この録音者情報についても、主には録音者の氏名、芸名などの録音者を特定することが可能な情報である。しかし、これに限るものではなく、録音者が属するグループ名、録音者の出身地や活動地域などを示す地域情報、録音者の年齢や性別など、演奏者に関する種々の情報を含ませるようにしてもよい。

素材グループ情報は、例えば、沖縄民謡素材、パーカッショングループ…などのようなひとまとまりとなる素材データのグループを示す情報である。すなわち、素材データは、単独で提供される場合もあるが、複数の素材のアーカイブとして提供される場合もある。素材データがどの素材データと一緒に提供されたかというグループを識別するためのＩＤもしくは文字列が素材グループ情報である。この素材グループ情報を用いることにより、ある特定の素材群を用いた楽曲の構成が可能となる。

（３）感性情報について
（３）の感性情報は、素材データを人の主観的な感性によって分類するために付加するものである。素材データを再生することにより得られる音声についての、例えば、「明るい」、「悲しい」などといった当該音声が聴取者に与えるであろう印象を示す情報や、「サビに向いている」、「イントロに向いている」、「ＢＧＭ（Background Music）に向いている」などを示す情報である。

なお、感性情報は、例えば、「明るい：７」、「悲しい：８」などのように、システムで予め決められた印象や感じ方の分類とそれに対する点数付けのようにして表現するようにしてもよいし、また、自由な文字列やキーワードによって表現し、システム側やユーザーがそれを解釈できるようにしておくようにしてもよい。この付加データがあることで、感性情報が「明るく元気な」である素材データだけを利用して新たな楽曲を構成したり、感性情報が「悲しい」である素材データだけを利用して新たな楽曲を構成したりすることができる。

また、上述のような感性情報は主観的なものであり、例えば素材データの提供者が前もって設定しておいた感性情報（値や文字列として設定された感性情報）が、素材データを実際に利用するユーザーにとってあてはまらない可能性がある。このため、感性情報については、素材データを利用するユーザー自身が書き換えできるようにしておく。つまり、素材データベース３２の各素材データの感性情報を再生装置の入力デバイス２５を通じて変更できるようにしておく。このようにしておくことによって、ユーザーの感性に合致した感性情報を各素材データに対して設定することが可能となる。

（４）環境情報について
（４）の環境情報は、その素材データが関連づけられるとよいであろう環境に関する情報であり、基本的には素材データの提供者がその判断において付加するものである。この環境情報についても、上述した感性情報と同様に、素材データを利用するユーザーが変更することができるようにされる。

以下においては、環境情報の説明を容易にするために、環境情報をいくつかのカテゴリに分類しして説明する。環境情報は、例えば、気候・時間に関する情報、動きに関する情報、位置に関する情報、人物に関する情報、その他の情報というように、大きく５つのカテゴリに分類することができる。

気候・時間に関する情報は、素材データを再生することにより得られる音声がもつ属性で、気候や時間に関するものである。具体的には、気温、湿度、天気、風速、日付、時刻、季節、積雪量、降雨量などに関するものである。例えば、ある素材データによる音声が「夏の晴れた日の夜」をイメージするものである場合、「季節：夏」、「天気：晴れ」、「時刻：夜」という気候・時間に関する情報が付加される。また、ある素材データによる音声が「蒸し暑い夜」と関連するものである場合、「気温：比較的に高い」、「湿度：高い」、「時刻：夜」などという気候・時間に関する情報が付加されることになる。

動きに関する情報は、素材データを再生することにより得られる音声がもつ属性で、動きに関するものである。具体的には、移動速度、加速度、振動、重力変化などに関するものである。例えば、ある素材データによる音声が「疾走感がある激しいリズム」である場合などに、移動速度や振動のパラメータを適切な値に設定することで表現することが可能となる。

位置に関する情報は、素材データを再生することにより得られる音声がもつ属性で、位置に関するものである。具体的には、緯度、経度、地図情報、周囲の物体情報、海抜などに関するものである。例えば、地図情報や周囲の物体情報を用いることによって、「海の近く」や「渋谷系」などの属性を素材データに対して付加することができる。

人物に関する情報は、素材データを再生することにより得られる音声がもつ属性で、人物（の関係性）や団体に関するものである。具体的には、特定の関係にある人物、団体などに関するものである。例えば、「恋人といるとき」、「家族といるとき」、「満員電車の中で」というようなシチュエーションに関する情報を素材データに対して付加することができる。

その他の情報としては、上述した情報以外の種々の情報、例えば、月齢、匂い、騒音レベル、大気汚染度、周辺の色などの様々な情報が環境情報が考えられる。例えば、素材データを再生することにより音声がインド風の旋律であれば、匂いとして「カレー」の環境情報を付加しておくなどのことが考えられる。

なお、上述した種々の環境情報は、文字列により表現するようにしてもよいし、数値化して表現するようにしてもよい。

（５）生体情報について
（５）の生体情報は、上述した環境情報と同じように、その素材データを再生することにより得られる音声に対して関連付けられるとよいであろう、生体情報に関する情報を素材データの提供者が付加する。具体的には、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーション（MV）、筋電位、血中酸素飽和度（SPO2）などの情報である。

例えば、ある素材データによる音声が「静かにしているとき」をイメージする場合には、心拍、脈波、呼吸などが低く（少なく）設定され、逆に、ある素材データによる音声が「心臓がどきどきしたとき」をイメージする場合には、心拍、脈波、呼吸などが高く（多く）設定される。この他、緊張感のある音声の場合に凝視時間を長くしたり、激しい運動をイメージする音声の場合には、体動を激しい状態にあることを示す情報にしたりするなどのことを行うことができるようにされる。

また、この生体情報についても、感性情報や環境情報と同様に、素材データを利用するユーザーが自己の感覚・主観に基づいて変更することができるようにされる。

このように、この実施の形態の再生装置においては、上述のような（１）素材データとしての音声コンテンツデータの楽音情報と時間情報、（２）素材データとしての音声コンテンツデータの人物情報、（３）感性情報、（４）環境情報、（５）生体情報が付加データとして、付加データ記憶部３１に記憶されている各付加データと関連付けられて、付加データベース記憶部３２に記憶されている。

なお、各素材データには、上述した全ての付加データが必ず付加されなくてもよい。各素材データに対しては、上述した種々の付加データのうち該当する付加データが存在する場合にのみ付加するようにされる。例えば、人物情報などは、作曲者、演奏者、録音者などが不明である場合には付加されない。また、感性情報、環境情報、生体情報についても、該当する情報がない場合には付加されない。

そして、上述もしたように、各素材データに付随する付加データに基づいて、新たな楽曲を構成する場合に必要な素材データを抽出することができるようにされる。

［新たな楽曲の生成（再構成）方法について］
次に、この実施の形態の再生装置において行われる素材データを用いた新たな楽曲の生成処理（再構成処理）の種々の態様について、図３〜図７を参照しながら説明する。新たな楽曲を生成（再構成）する場合には、以下に説明するように、素材の結合、テンポの変更、ピッチの変更、音量の変更、エフェクトの適用、パン設定の変更、素材のスキップ（抽出）、素材の合成などの各処理を再構成法則にしたがって適用することによって新しい楽曲を構成することができるようにされる。これらの各処理について説明する。

図３は、素材データの結合処理について説明するための図である。図３において、上段が抽出された素材データＡ、Ｂ、Ｃ、Ｄの各波形であり、下段が素材データＡ、Ｂ、Ｃ、Ｄを結合することにより生成した音声データの波形である。図３の上段に示したように、抽出した個々の素材データＡ、Ｂ、Ｃ、Ｄを時間軸方向に重なり合うことがないように結合し、図３の下段に示したように連続した音声データ（結合結果Ｘ）を得るようにする処理が素材データの結合処理である。

図４Ａは、素材データのテンポの変更処理を説明するための図である。図４Ａにおいて、上段がテンポ変更前の素材データの波形であり、下段がテンポ変更後の当該素材データの波形である。このテンポの変更はピッチは変更することなく、テンポのみを変更するものであり、再生時間は短くなるが音程は変えないようにする処理である。

図４Ｂは、素材データのピッチの変更処理を説明するための図である。図４Ｂにおいて、上段がピッチ変更前の素材データの波形であり、下段がピッチ変更後の当該素材データの波形である。このピッチの変更はテンポは変更することなく、ピッチのみを変更するものであり、再生時間は同じであるが、音程は変えられる処理である。

図４Ｃは、素材データの音量の変更処理を説明するための図である。図４Ｃにおいて、上段が音量変更前の素材データの波形であり、下段が音量変更後の当該素材データの波形である。この図４Ｃに示した例は、素材データについて徐々に音量を下げた後、音量を徐々に上げるようにした場合を示している。この他、音量を徐々に上げるようにした後に、音量を徐々に下げるようにしたり、あるいは、音量を頻繁に上下させたり、あるいは、音量を所定のレベルとなるようにしたりするなどの処理である。

図４Ｄは、素材データに対してエフェクトを適用する処理を説明するための図である。図４Ｄにおいて、上段がエフェクト適用前の素材データの波形であり、下段がエフェクト適用後の当該素材データの波形である。この図４Ｄに示した例は、素材データに対してディストーションを掛けるようにした場合の例である。エフェクト処理は、ディストーションに限るものではなく、リバーブ、コーラス、イコライザ、ローパスフィルタ（ＬＰＦ）処理、ハイパスフィルタ（ＨＰＦ）処理などの種々のエフェクト処理を適用することが可能である。また、エフェクト処理は、素材データの全体に適用することも可能であるし、素材データの一部分に適用することもできる。

図５は、素材データに対するパン設定の変更処理を説明するための図である。図５に示した２つの波形は、同じ素材データから生成した左（Ｌ）チャンネルと右（Ｒ）チャンネルの波形である。このように、素材に対してパン設定を変更して、音源の左右バランスを変化させる。

この場合においても、素材データの全体あるいは部分的にパン設定を変更することができるようにされる。なお、図５においては、左右２チャンネルの場合を例にしたが、４チャンネル、５．１チャンネルなどのいわゆるマルチチャンネルの場合には、音像の前後、上下などの空間的位置を調整することができるようにされる。

図６は、素材データのスキップ（抽出）処理を説明するための図である。図６において上段は、スキップ前の素材データの波形であり、下段はスキップ後の素材データの波形である。すなわち、素材データのスキップは、素材データの一部分を読み飛ばし、必要な部分のみを抽出して利用できるようにする処理である。

図７は、素材データの合成処理を説明するための図である。図６において、上側４つの波形は、素材データＡ、Ｂ、Ｃ、Ｄの合成前のそれぞれの波形であり、図６において最下段の波形が素材データＡ、Ｂ、Ｃ、Ｄを合成することによって形成した音声データについてのものである。このように、素材データの合成は、複数の素材データを時間軸を同じにして重ね合わせて新たな音声データを生成する処理である。これによって、さまざまな楽器パートやボーカルパートを合成して合奏曲を生成するなどのことができるようにされる。

そして、実際に素材データを用い新たな楽曲を生成する場合に、上述した各種の処理を組み合わせ、また、２つ以上の処理を同時に適用することにより、様々な楽曲を生成することが可能となる。例えば、５種類の楽器の音色（音声）を録音することにより得られたそれぞれの素材データについて、テンポを「１２０」に揃えて、コードを「Ｇコード」にし、ギター素材にディストーションをかけた後すべてを合成して、最後にエフェクト処理としてリバーブエフェクトをかける等といった処理が可能となり、多数の素材データを用いることによって、全く新しい楽曲を生成することが可能となる。

［再構成法則データベースの内容］
次に、この実施の形態の再生装置が受付部２０を通じて取得する各種の外部情報や付加データベース記憶部３２の付加データに基づいて参照され、新たな楽曲の生成のために必要になる情報を提供する再構成法則データベース記憶部３３に記憶保持される情報について説明する。

再構成法則データベース３３には、後述もするように、新たに生成する楽曲のベースとなる楽曲構成情報と、必要な素材データを抽出する場合の入力キー情報となる外部情報と素材データに付随する付加データとの関係を示す関係情報および外部情報などに基づいて選択可能とされる再構成処理内容を示す情報が記憶保持されている。ここで外部情報は、上述もしたように、この実施の形態の受付部２０のセンサ２１，２３や入力デバイス２５を通じて受け付けた情報である。

そして、ベースとなる楽曲構成情報は、新たに生成する楽曲の骨子となる曲構成を示すものであり、例えば、コード進行やテンポの情報からなるものである。この楽曲構成情報は多数用意されている。例えば、ジャズ調、ロック調、ポップス調、バラード調など種々のジャンル毎に多数の楽曲構成情報が用意されている。この楽曲構成情報は、例えば、再生装置の制御部１０がランダムに選択するようにすることもできるし、入力デバイス２５を通じて入力されるユーザーからの指示入力に応じて選択するようにしたり、あるいは、生体情報センサ２１や環境情報センサ２３からの入力情報に基づいて選択したりすることもできるようにされる。

また、上述した関係情報および再構成処理内容を示す情報のうち、関係情報は、例えば、図８に示すような情報として、再構成法則データベース記憶部３３に記憶保持される。すなわち、図８は、再構成法則データベースの付加データと外部情報との関係を示す関係情報を説明するための図である。

図８において、素材番号は、素材データ記憶部３１に記憶保持されている多数の素材データのそれぞれに付けられている識別子である。この識別子によって、素材データ記憶部３３に記憶されている多数の素材データの内から目的とする素材データを特定することができる。

図８において、気温属性、体動属性、時刻属性、感性属性は、この実施の形態において用いられる外部情報および素材データに付随する付加データである。また、図８において、「Ｎ／Ａ（Not/Applicable）」は、該当データ無しを意味している。そして、生体センサ２１、環境センサ２３、入力デバイス２５からの外部情報から得られる属性情報のうち、体動属性が「１０以上」、時刻属性が「夜」、感性属性が「静かな」である場合には、素材番号が１番の素材データが選択される。

もちろん、属性情報が一致する素材データは複数存在する場合もあるので、その中から他の外部情報などに基づいて用いる素材データを絞り込んだり、また、素材データベース記憶部３２の他の付加データから素材データを選択したりすることも行われる。例えば、ベースとなる楽曲構成情報がロック調のものである場合には、例えば、日本民謡などのジャンルの異なる素材データは付加データベース記憶部３２の該当データに基づいて選択しないようにすることができるようにされる。

また、再構成処理内容を示す情報は、以下に説明するように、各素材データ毎に、その素材データをどのように処理するのかを指示する情報であり、結合、テンポ変更、ピッチ変更、音量変更、エフェクト適用、パン設定の変更、素材のスキップ、素材の結合などの具体的な処理内容を示す情報である。

このような種々の情報が、再構成法則データベース記憶部３３に予め記憶保持されており、この実施の形態の再生装置が取得した上述の外部情報などに基づいて参照し、楽曲構成情報を取得したり、新たな楽曲を生成するために必要な素材データを特定したり、特定した素材データの処理方法を特定したりすることができるようにしている。

［新たな楽曲の生成処理］
次に、上述したように構成されるこの実施の形態の再生装置において、新たな楽曲を構成する場合の動作について図９のフローチャートを参照しながら説明する。上述もしたように、この実施の形態の再生装置は、携帯型の音声再生装置であり、例えば屋外で使用されているものとする。この場合、天気は晴天であり、この再生装置のユーザーは、元気よく歩いているものとする。また、この実施の形態の再生装置は、環境センサ２３として、気温センサ、加速度センサを内蔵しているものとする。

ユーザーがこの実施の形態の再生装置の電源を入れると、再生装置の制御部１０は、図９のフローチャートに示す処理を実行する。そして、制御部１０は、まず初めに新たに生成する楽曲の骨子となるベースの曲構成を示す情報である楽曲構成情報を再構成法則データベース記憶部３３より取得し（ステップＳ１０１）、生成する楽曲のテンポを決定する（ステップＳ１０２）。

ステップＳ１０１で取得される楽曲構成情報は、上述もしたように、例えば曲のコード進行やテンポを示す情報からなるものである。この楽曲構成情報は１つに限らず多数記録されている方がバリエーションが増えることになる。この楽曲構成情報の選択は種々の態様が考えられる。例えば、再生装置の制御部１０がランダムに選択するようにしてもよいし、センサ２２、２３からの情報や入力デバイス２５からのユーザーから入力情報に基づいて選択するようにしてもよい。もちろん、自動選択とユーザーの指示選択とをユーザーが切り換えることもできるようにされる。

楽曲構成情報からテンポが決まると、制御部１０はＢＰＭ（Beat Per Minutes）クロックをスタートさせる（ステップＳ１０３）。これは小節の頭をカウントするために使用されるものであり、図２においては図示しなかったが、制御部１０に設けられる時計回路によってＢＰＭクロックがカウントされる。素材データを次から次へと自然につないでいくためには、音楽的に小節の頭で区切ってつないでいくことが大切である。

次に、制御部１０は、センサ２１、２３からの入力を取得する。この実施の形態においては、まず、気温センサからの入力を取得し（ステップＳ１０４）、続いて加速度センサからの入力を取得する（ステップＳ１０５）。この例では気温センサと加速度センサの入力値であるが、ステップＳ１０５における加速度センサ入力値は近傍数秒間の積分値または平均値などの処理が施されているものである。ここでは、外部情報として、温度センサからの情報と加速度センサからの情報を用いるものとしたが、入力デバイス２５やその他のスイッチなどを使用したユーザーの明示的な入力を取得し、これを考慮するようにしてもよい。

ステップＳ１０４、ステップＳ１０５においてセンサから取得した入力値をキーとして、再構成法則データベース記憶部３３を参照し、現在の気温、運動量に適した素材データを検索して取得する（ステップＳ１０６）。すなわち、図８を用いて説明したように、再構成法則データベース記憶部３３には、素材データ記憶部３１に記録されている素材の付加情報と入力キー（外部情報）との関係が記述されている。そこで、入力キーとなる外部情報に基づいて、情報を検索することにより、図８に示した素材番号を特定し、この特定した素材番号に基づいて、素材データ記憶部３１から目的とする素材データを読み出すことになる。

なお、再構成法則データベース記憶部３３に記憶保持される関係情報の具体的な記述方式に関しては、図８に示したように、単純にあるセンサの値に対応する素材のマッチング法則を記述するものであってもよいし、あるいは、素材データをグルーピングしてあるグループの素材群から別の素材グループへの状態遷移条件を記述するようにした情報であってもよい。

同様に、再構成法則データベース記憶部３３には、詳述した結合や合成などの再構成処理方法と入力キー（外部情報）との関係も記述されており、素材データに対してどのような信号処理をかけるべきかが記述されている。そして、制御部１０は、再構成法則データベース記憶部３３から行うべき処理内容を示す情報を取得し（ステップＳ１０７）、この取得した情報に基づいて、ステップＳ１０６において取得した素材データに対して再構成信号処理（構成処理）を行う（ステップＳ１０８）。

このステップＳ１０８の処理においては、必ずしも再構成法則データベース記憶部３３の情報にのみ従う必要はなく、実装するアルゴリズムによっては単調さを避けるために乱数の要素や確率要素などを使用して再構成にバリエーションを持たせるようにしてもよい。またこのようにアルゴリズムによって処理内容に変化を持たせることは、効果的に新たな楽曲の生成を行うことが可能となる。つまり、新たな楽曲のバリエーションを持たせることができる。

そして、信号処理を終えた再構成済みの音声データはＤ／Ａ変換部５２、音声出力装置部（スピーカ部）５１を通じて処理され、再構成済みの音声データに応じた音声が音声出力装置部５１から放音される（ステップＳ１０９）。なお、再構成済みの音声データは、実際には十分大きな音声バッファにいったん出力され、途切れることがないように再生処理されることになる。これは、小節の頭で一連の上記処理を行うと音声が小節の区切りで途切れてしまう可能性があるからであり、ある小節が再生されている間に裏で次の小節の音声が準備するようにされる。

そして、制御部１０は、次の処理対象が小節の先頭になったか否かを判断し（ステップＳ１１０）、小節の先頭になったと判断したときには、ステップＳ１０４からの処理を繰り返す。また、ステップＳ１１０の判断処理において、小節の先頭ではないと判断したときには、ユーザーからの停止要求を受け付けたか否かを判断し（ステップＳ１１１）、停止要求は受け付けていないと判断したときには、制御部１０はステップＳ１１０からの処理を繰り返すようにする。

また、ステップＳ１１０の判断処理において、停止要求を受け付けたと判断したときには、この図９に示す処理を終了し、新たな楽曲の生成を終了する。

このように、この実施の形態の再生装置は、多数の素材データを利用して、いつでも新しい楽曲を生成して、これを再生し、ユーザーに対して提供することができるようにされる。これにより、ユーザーは、生体情報や環境情報、さらには、自己の入力情報に応じた新たな楽曲を再構成してこれを聴取することができるようにされる。

また、ユーザーにとっては毎回異なる楽曲を聴く楽しみができ、またユーザーの要求や状態にあわせて再構成方法を変えることでより状況に合った楽曲生成が可能となる。一方、クリエータにとっては、１曲を完成させるという従来の演奏、録音方法だけでなく、素材としてさまざまなフレーズを作曲して、これを録音して売るという新しいビジネスモデルができ、クリエータのチャンスも広がる。

また、音楽レーベル各社にとっても、低迷しているといわれる既存の録音媒体だけでなく、素材が記録された媒体を売るというビジネスを新たに開拓できる。また、再生装置を商品化するメーカーにとってみても、新たな音楽再生装置として高付加価値の新カテゴリの商品として新たな市場開拓ができる。つまり、この発明を用いることにより、新しい音楽を楽しむ文化が産まれ、ひいては音楽産業全体を活性化することができる。

なお、再構成法則データベースおよび再構成アルゴリズムは本装置の実装者が自由に決めてよく、これらの部分だけをユーザーに提供することによって、素材およびその属性をいっさい変更することなく出力される楽曲が変化することになる。また逆に、再構成法則とアルゴリズムを変更せずに素材だけを入れ換えることによっても、出力される楽曲が変化する。したがって、数多くの素材と数多くの法則ベースとアルゴリズムによって実質無限の組合わせの楽曲生成が可能となる。

また、環境情報や生体情報の取得にセンサを使わずに、操作パネルからユーザーが明示的にメニューから選んだりキーボードから入力したりするなどしてもよい。

［新たなコンテンツの再構成方法の他の例について］
図９を用いて説明した再構成方法の場合には、用いる素材データを、センサ２１、２３からの外部情報に基づいて、再構成法則データベース記憶部３３にアクセスし、この再構成法則データベース記憶部３３に記憶保持されている付加データを用いて新たな音声コンテンツの再構成に用いる素材データを抽出するようにした。しかし、これに限るものではない。

例えば、１人以上の作曲者を指定して、新たな音声コンテンツを生成しようとする場合には、付加データベース記憶部３２の情報を参照して、指定された１人以上の作曲者の素材データを抽出し、これを用いて新たな音声コンテンツを生成するようにしてもよい。また、センサ２１、２３からの外部情報や入力デバイス２５を通じて受け付けたユーザーからの指示入力に基づいて、付加データベース記憶部３２をアクセスし、必要になる素材データを抽出し、これを用いて新たな音声コンテンツを生成することもできる。

このように、再構成法則データベース記憶部３３と付加データベース３２とのうちのいずれか一方を用いることによって、新たな音声コンテンツを生成することが可能である。この場合、どのような楽曲を新たに生成するのかを決めるための重要な情報である楽曲構成情報については、再構成法則データベース記憶部３２に記憶されているものを用いるようにしてもよいし、入力デバイス２５を通じて、ユーザーからの指示入力に応じた楽曲構成情報を用いるようにしてもよい。

また、上述の実施の形態において、再構成法則データベース記憶部３３には、楽曲構成情報、素材番号と利用対象の付加データと再構成処理内容を示す情報とが関連付けられた情報が記憶されているものとして説明したが、楽曲構成情報と、その他の情報とを別の記録媒体に設けるようにしてももちろんよい。

このように、この実施の形態の再生装置は、音楽の素材をＰＣＭまたは圧縮オーディオで記録した記録媒体から素材データおよびその素材の付加データをもとに楽曲を再生時に再構成して再生することができるようにされる。これにより、同じ素材を使用したとしても再生のたびに異なる楽曲を生成することができる。

また、ＭＩＤＩデータによる自動作曲と異なり、人間が実際に演奏したフレーズを１単位として素材化しているため、実際の人の演奏を感じることができる。さらに、各フレーズは自動的に作曲されるわけではなく、演奏家、作曲家の感性で「よい」と思うフレーズを録音しているため、自動作曲ソフトのように「音楽としておかしくはないがよいフレーズでもない」という限界を超えることができる。いわば、作曲家、演奏家の個性を残すことができるわけである。

これらの録音素材を再構成可能な情報とともに記録、再生することで柔軟かつ高音質な楽曲を自動的に再構成することが可能となる。

［その他］
なお、素材データとしての音声コンテンツデータは、リニアＰＣＭデータ、あるいは、種々の方式でデータ圧縮された圧縮オーディオデータのいずれであってもよい。また、素材データは、リニアＰＣＭデータや圧縮オーディオデータなどの音声データ実体と再構成に必要な付加データにより構成されることになる。

また、上述もしたように、素材データと、再構成データベースとはそれぞれ独立に、追加、変更、削除、一部交換、全部交換などを行うことができるようにされる。

また、上述した実施の形態においては、記録媒体としてハードディスクを用いているものとして説明したが、これに限るものではない。光ディスク、光磁気ディスク、磁気ディスクなどの各種のディスク記録媒体、半導体メモリーなどの種々の記録媒体を用いるようにしてももちろんよい。この場合、素材データと再構成法則データベースが異なる記録媒体に記録するようにされてももちろんよい。

また、上述した実施の形態の再生装置は、携帯型のものとして説明したが、これに限るものではない。家庭などに据え置かれて利用される設置型の再生装置に適用することももちろん可能である。

また、図９を用いて説明した処理をプログラム化することによって、このプログラムを実行可能なパーソナルコンピュータをこの発明による再生装置とすることができ、また、パーソナルコンピュータにおいて、この発明による方法を実現することもできる。

また、上述の実施の形態の再生装置においては、新たな音声コンテンツの生成と再生とをリアルタイムで行うものとして説明したが、これに限るものではない。例えば、新たな音声コンテンツを予め生成し、これを記憶媒体に記録しておき、この記録媒体に記録された新たに生成された音声コンテンツを再生するようにすることももちろんできる。

また、上述した実施の形態においては、制御部１０において、再構成アルゴリズム、再構成法則データベースを用い、必要な素材データを用いた再構成処理を行うものとして説明したが、これに限るものではない。新たな音声コンテンツの再構成処理用に、音声コンテンツデータの処理用のＤＳＰ（Digital Signal Processor）を用いるようにしてもよい。

また、上述もしたように、利用可能な生体情報としては、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーション、筋電位、血中酸素飽和度など種々のものがあり、そのそれぞれを検出可能なセンサを設けることはコストがかかる。このため、例えば、体温センサと脈波センサのみを用いるようにするなど、いくつかの生体情報に絞って検出して、生体情報を利用するようにしてももちろんよい。

同様に、利用可能な環境情報としては、気温、湿度、天気、風速、日付、時刻、季節、明度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地図情報、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振動、人物情報など種々のものがあり、その全部を利用可能にすることはコストがかかり好ましくない場合もある。そこで、上述した実施の形態の再生装置のように、例えば、気温センサと加速度センサのみを設け、これによって利用可能な環境情報を得るようにしてももちろんよい。

また、上述のようにして自動的に生成（再構成）された音声コンテンツについて、ユーザーが入力デバイス２５を通じて情報を入力することにより、再構成法則データベースの情報を修正、変更したり、あるいは、作成済みの音声コンテンツデータに対して、手動でアレンジを施したりすることができるようにしておくことによって、ユーザーの好みに合った新たな音声コンテンツをより柔軟に生成することができるようになる。

この発明による装置、方法の概要を説明するための図である。 この発明の一実施の形態が適用された再生装置を説明するためのブロック図である。 再構成処理の具体例を説明するための図である。 再構成処理の具体例を説明するための図である。 再構成処理の具体例を説明するための図である。 再構成処理の具体例を説明するための図である。 再構成処理の具体例を説明するための図である。 再構成法則データベースの情報の一部について説明するための図である。 図２に示した再生装置において行われる新たな楽曲の再構成処理（生成処理）を説明するためのフローチャートである。

符号の説明

１０…制御部、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Random Access Memory）１２、ＲＡＭ（Read Only Memory）１３、２０…受付部、２１…生体センサ、２２…Ａ／Ｄ変換部、２３…環境センサ、２４…Ａ／Ｄ変換部、２５…入力デバイス、３０…記憶装置部、３１…素材データ記憶部、３２…素材データベース記憶部、３３…再構成法則データベース記憶部、３４…アルゴリズム実装プログラム記憶部、４０…表示装置部、５０…出力部、５１…音声出力装置部、５２…Ｄ／Ａ変換部

Claims (28)

1. 素材として用いられる多数の音声コンテンツデータを記憶保持する素材記憶手段と、
   多数の前記音声コンテンツデータのそれぞれ毎に付随し、索引／構成情報としての機能を有する付加データを記憶保持する付加データ記憶手段と
   を備えるとともに、
   外部情報の入力を受け付ける受付手段と、
   多数の前記音声コンテンツデータから必要なものを抽出して新たな音声コンテンツを構成する構成処理時に用いる法則情報を記憶保持する法則記憶手段と
   の一方あるいは両方を備え、
   前記受付手段を通じて受け付けた前記外部情報と前記法則記憶手段の前記法則情報との一方あるいは両方に基づいて、前記付加データ記憶手段の前記付加データを介して前記素材記憶手段から必要な音声コンテンツデータを抽出するとともに構成処理を行って、新たな音声コンテンツを生成する構成処理手段を備えることを特徴とするコンテンツ生成装置。
2. 請求項１に記載のコンテンツ生成装置であって、
   前記付加データ記憶手段は、テンポ、スケール、コード、拍子、小節数、音量、音符・休符列、ループ情報、ジャンル情報、楽器の種類、地域情報、作曲者情報、演奏者情報、録音者情報、素材グループ情報、感性情報、生体情報、環境情報のうち少なくとも１つ以上を含む前記付加データを記憶保持することを特徴とするコンテンツ生成装置。
3. 請求項２に記載のコンテンツ生成装置であって、
   前記付加データ記憶手段は、人間の気分、情動、感情を表現する数値または／および文字列により記述された情報を前記感性情報として前記付加データに含めて記憶保持することを特徴とするコンテンツ生成装置。
4. 請求項２に記載のコンテンツ生成装置であって、
   前記付加データ記憶手段は、前記付加データに含まれる前記生体情報として、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーション、筋電位、血中酸素飽和度のうち少なくとも１つ以上を記憶保持することを特徴とするコンテンツ生成装置。
5. 請求項２に記載のコンテンツ生成装置であって、
   前記付加データ記憶手段は、前記付加データに含まれる前記環境情報として、気温、湿度、天気、風速、日付、時刻、季節、明度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地図情報、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振動、人物情報、のうち少なくとも１つ以上を記憶保持することを特徴とするコンテンツ生成装置。
6. 請求項２に記載のコンテンツ生成装置であって、
   前記付加データに含められる前記ジャンル情報、前記生体情報、前記感性情報、前記環境情報のうちの１つ以上についての変更指示入力を受け付ける変更指示入力受付手段を備え、
   前記ジャンル情報、前記生体情報、前記感性情報、前記環境情報のうちの１つ以上について任意に変更ができることを特徴とするコンテンツ生成装置。
7. 請求項１に記載のコンテンツ生成装置であって、
   前記受付手段として、生体情報の検出受付手段と、環境情報の検出受付手段と、ユーザーからの指示入力を受け付ける指示入力受付手段と、感性情報の入力を受け付ける感性情報受付手段とのうちの１つ以上を備えることを特徴とするコンテンツ生成装置。
8. 請求項７に記載のコンテンツ生成装置であって、
   前記生体情報の検出受付手段は、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーション、筋電位、血中酸素飽和度のうち少なくとも１つ以上を検出して受け付けることを特徴とするコンテンツ生成装置。
9. 請求項７に記載のコンテンツ生成装置であって、
   前記感性情報受付手段により受け付けられる前記感性情報は、人間の気分、情動、感情を表現する数値または／および文字列により記述されて用いるようにされることを特徴とするコンテンツ生成装置。
10. 請求項７に記載のコンテンツ生成装置であって、
    前記環境情報の検出受付手段は、気温、湿度、天気、風速、日付、時刻、季節、明度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地図情報、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振動、近くにいる人物情報、の少なくとも１つ以上を検出して受け付けることを特徴とするコンテンツ生成装置。
11. 請求項１に記載のコンテンツ生成装置であって、
    前記構成処理手段は、素材としての音声コンテンツデータに対して、並べ替え、合成、ピッチ変更、テンポ変更、音量変更、音質変更のうち少なくとも１つ以上を行うことを特徴とするコンテンツ生成装置。
12. 請求項１に記載のコンテンツ生成装置であって、
    前記法則記憶手段においては、音楽構成情報と上記素材の付加データと上記受付手段からの前記外部情報のうちの少なくとも１つ以上を用いて、構成処理の内容を決定する法則情報を記憶保持することを特徴とするコンテンツ生成装置。
13. 請求項１に記載のコンテンツ生成装置であって、
    前記構成処理手段において行われる音声コンテンツの構成処理に対応して、前記構成処理手段により生成された音声コンテンツをリアルタイムに再生する再生処理手段を備えたことを特徴とするコンテンツ生成装置。
14. 請求項１に記載のコンテンツ生成装置であって、
    前記構成処理手段により生成された音声コンテンツを記憶保持する生成コンテンツ記憶手段と、
    前記生成コンテンツ保持手段に保持された音声コンテンツを再生する再生処理手段と
    を備えることを特徴とするコンテンツ生成装置。
15. 素材として用いられる多数の音声コンテンツデータと、多数の前記音声コンテンツデータのそれぞれ毎に付随し索引／構成情報としての機能を有する付加データとを記憶保持し、
    外部から受け付ける外部情報と、多数の前記音声コンテンツデータから必要なものを抽出して新たな音声コンテンツを構成する構成処理時に用いる法則情報との一方あるいは両方に基づいて、記憶保持されている前記付加データを介して多数の前記音声コンテンツデータから必要な音声コンテンツデータを抽出するとともに構成処理を行って、新たな音声コンテンツを生成するコンテンツ生成方法。
16. 請求項１５に記載のコンテンツ生成方法であって、
    前記付加データは、テンポ、スケール、コード、拍子、小節数、音量、音符・休符列、ループ情報、ジャンル情報、楽器の種類、地域情報、作曲者情報、演奏者情報、録音者情報、素材グループ情報、感性情報、生体情報、環境情報のうち少なくとも１つ以上を含むことを特徴とするコンテンツ生成方法。
17. 請求項１６に記載のコンテンツ生成方法であって、
    前記付加データに含められる前記感性情報は、人間の気分、情動、感情を表現する数値または／および文字列により記述されることを特徴とするコンテンツ生成方法。
18. 請求項１６に記載のコンテンツ生成方法であって、
    前記付加データに含まれる前記生体情報は、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーション、筋電位、血中酸素飽和度のうち少なくとも１つ以上を含むことを特徴とするコンテンツ生成方法。
19. 請求項１６に記載のコンテンツ生成方法であって、
    前記付加データに含まれる前記環境情報は、気温、湿度、天気、風速、日付、時刻、季節、明度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地図情報、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振動、人物情報、のうち少なくとも１つ以上を含むことを特徴とするコンテンツ生成方法。
20. 請求項１６に記載のコンテンツ生成方法であって、
    前記付加データに含められる前記ジャンル情報、前記生体情報、前記感性情報、前記環境情報のうちの１つ以上についての変更指示入力を受け付けて、
    前記ジャンル情報、前記生体情報、前記感性情報、前記環境情報のうちの１つ以上について任意に変更ができることを特徴とするコンテンツ生成方法。
21. 請求項１６に記載のコンテンツ生成方法であって、
    前記外部情報として、生体情報と、環境情報と、感性情報と、ユーザーからの指示入力情報との１つ以上を含むことを特徴とするコンテンツ生成方法。
22. 請求項２１に記載のコンテンツ生成方法であって、
    前記生体情報は、発汗、心拍、脈波、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、マイクロバイブレーション、筋電位、血中酸素飽和度のうち少なくとも１つ以上を含むことを特徴とするコンテンツ生成方法。
23. 請求項２１に記載のコンテンツ生成方法であって、
    前記感性情報は、人間の気分、情動、感情を表現する数値または／および文字列により記述されることを特徴とするコンテンツ生成方法。
24. 請求項２１に記載のコンテンツ生成方法であって、
    前記環境情報は、気温、湿度、天気、風速、日付、時刻、季節、明度、匂い、海抜、積雪量、降雨量、騒音レベル、大気汚染度、緯度、経度、地図情報、周辺の色、周囲の物体情報、移動速度、加速度、月齢、重力変化、振動、近くにいる人物情報、の少なくとも１つ以上を含むことを特徴とするコンテンツ生成方法。
25. 請求項１５に記載のコンテンツ生成方法であって、
    前記構成処理は、素材としての音声コンテンツデータに対して、並べ替え、合成、ピッチ変更、テンポ変更、音量変更、音質変更のうち少なくとも１つ以上を行うことを特徴とするコンテンツ生成方法。
26. 請求項１５に記載のコンテンツ生成方法であって、
    前記法則情報は、音楽構成情報と上記素材の付加データと上記受付手段からの前記外部情報のうちの少なくとも１つ以上を用いて、構成処理の内容を指示するものであることを特徴とするコンテンツ生成方法。
27. 請求項１５に記載のコンテンツ生成方法であって、
    構成処理されて新たに生成された前記音声コンテンツをリアルタイムに再生することを特徴とするコンテンツ生成方法。
28. 請求項１５に記載のコンテンツ生成方法であって、
    構成処理されて新たに生成された前記音声コンテンツをメモリーに記憶保持し、
    前記メモリーに記憶保持された音声コンテンツを再生できるようにしたことを特徴とするコンテンツ生成方法。

Images