JP2005150993A - オーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 オーディオデータの編集、記録、再生を直感的に行なうことを可能とした装置、方法を提供する。
【解決手段】 音声データに対応して設定される音オブジェクト表示データをディスプレイに表示し、音オブジェクト表示データに対応するユーザ操作情報を入力して、音オブジェクトに対応する時刻対応操作履歴情報を生成し、生成した時刻対応操作履歴情報に基づいて音オブジェクトに対応する音声データの時刻対応の出力調整処理を実行する。例えば、ディスプレイに表示した音場フィールド内に配置された音オブジェクト表示データの音場フィールド内の位置情報を時刻対応のデータとして設定した時刻位置対応イベントテーブルに基づいて、音声データのサラウンド空間における出力値調整を実行する。ユーザは、ディスプレイに表示された音オブジェクトの表示データを操作するのみで、サラウンド音の調整を行うことが可能となる。
【選択図】 図１

Description

本発明は、オーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラムに関する。特に、ＧＵＩ（Graphic User Interface）を適用して、ＧＵＩ上に音場フィールドを設定し、音源としての音オブジェクト表示データを操作することで、音声データファイルの再生位置やタイミングなど、様々な再生環境を容易に設定可能とし、オーディオデータの記録、編集、再生処理を、専門的な知識を必要とすることなく直感的な操作で行なうことを可能としたオーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラムに関する。

音楽、あるいは波の音、鳥の声などの様々な音源を編集し、聴取者の周囲に配置したスピーカから出力させるためのオーディオデータ、例えばサラウンドコンテンツの生成処理は、従来は専門的な知識と機材を必要としていたが、昨今では、オーディオデータのミキシング処理などを可能としたソフトウェアプログラムを利用することで、比較的容易にサラウンドコンテンツを生成することが可能である。

例えば、代表的なオーディオ編集ソフトウェアとして、スタインバーグ・Ｃｕｂａｓｅ ＳＸなどがある。このような、オーディオ編集ソフトウェアを利用することにより、様々な音源データのミキシング処理をＰＣ上で操作可能となり、サラウンドコンテンツの作成ができる。

従来のオーディオ編集ソフトウェアを利用してサラウンドコンテンツを作成する際には、例えば、以下の処理が必要となる。
（ａ）各音源の時間軸上での編集処理を可能としたタイムラインエディター上に設定される各音源の割り当てトラックであるオーディオトラックに対して素材の記録をする。
（ｂ）オーディオトラック上のオーディオセグメントを編集することで素材のライフサイクル、すなわち、音源出力有効期限を設定する。
（ｃ）オーディオトラックに対応したオーディオミキサーを操作することで、各オーディオセグメントの音量を設定する。
（ｄ）各オーディオトラックに対してサラウンドバスに送るための設定をする。サラウンドバスとは、聴取者の周囲に配置した各スピーカの出力配分を設定可能としたサラウンドパンに接続されたバスである。
（ｅ）サラウンドパンを操作することで、各スピーカへの出力バスの音量を設定する。

上述の処理は、オーディオミキサー操作に慣れたユーザにとっては、困難な処理ではないが、セグメントとオーディオトラック、オーディオミキサー、サラウンドバスの対応など内部のミキサー構造を、十分理解しないユーザにとっては決して容易な処理ではなく、ユーザの意図するサラウンドコンテンツの生成が困難になるという問題がある。

また、サラウンドコンテンツなどのオーディオデータの再生処理において、音源の空間的な配置をユーザが指定、変更して音楽的臨場感の形成を可能とした装置および方法が特許文献１に開示されている。この特許文献１に記載された技術は、様々な音源を任意の位置に配置して再生処理を行なうことで、聴取者の位置に応じた最適な再生空間を設定することを可能としたものである。

しかし、この特許文献に記載の技術は、予め位置調整可能な複数の音源データを保有し、再生処理においてのみ、音源位置の変更を可能としいるものであり、ユーザによる新たなサラウンドコンテンツの生成や編集処理を可能としたものではない。
特開２０００−６９６００号公報

上述したように、従来のオーディオ編集ソフトウェアを利用してユーザの意図するサラウンドコンテンツを作成、編集するには、ミキシング処理において実行される様々な具体的処理形態を理解していることが要請され、ミキシング処理に不慣れなユーザにとっては扱いづらいという問題があった。

本発明は、このような状況に鑑みてなされたものであり、ＧＵＩ（Graphic User Interface）を適用して、ＧＵＩ上に音場フィールドを設定し、音源としての音オブジェクトを操作することで、音声データファイルの再生位置やタイミングなど、様々な再生環境を容易に設定可能とし、オーディオデータの記録、編集、再生処理を、専門的な知識を必要とすることなく直感的な操作で行なうことを可能としたオーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
オーディオデータ処理装置であり、
音声データに対応して設定される音オブジェクト表示データをディスプレイに表示するＧＵＩと、
前記音オブジェクト表示データに対応する操作情報を前記ＧＵＩから入力して、音オブジェクトに対応する時刻対応操作履歴情報を生成するＧＵＩ・プロジェクトデータ解釈モジュールと、
前記音オブジェクトに対応する時刻対応操作履歴情報に基づいて、前記音オブジェクトに対応する音声データの時刻対応の出力調整処理を実行するオーディオ信号処理部と、
を有することを特徴とするオーディオデータ処理装置にある。

さらに、本発明のオーディオデータ処理装置の一実施態様において、前記ＧＵＩは、ディスプレイに表示した音場フィールド内に配置された音オブジェクト表示データの音場フィールド内の位置情報を前記ＧＵＩ・プロジェクトデータ解釈モジュールに出力し、前記ＧＵＩ・プロジェクトデータ解釈モジュールは、音オブジェクト表示データの音場フィールド内の位置情報を時刻対応のデータとして設定した時刻対応操作履歴情報を時刻位置対応イベントテーブルとして生成し、前記オーディオ信号処理部は、前記時刻位置対応イベントテーブルの設定された音オブジェクトに対応する音声データのサラウンド空間における出力値調整を、前記時刻位置対応イベントテーブルに設定された位置情報に対応したサラウンド音声データ処理として実行する構成であることを特徴とする。

さらに、本発明のオーディオデータ処理装置の一実施態様において、前記ＧＵＩは、ディスプレイに表示した音場フィールド内に配置された複数の音オブジェクト表示データの音場フィールド内の位置情報を前記ＧＵＩ・プロジェクトデータ解釈モジュールに出力し、
前記ＧＵＩ・プロジェクトデータ解釈モジュールは、前記複数の音オブジェクト表示データの音場フィールド内の位置情報を、各音オブジェクト毎に時刻対応のデータとして設定した時刻対応操作履歴情報を時刻位置対応イベントテーブルとして生成し、前記オーディオ信号処理部は、前記時刻位置対応イベントテーブルの設定された複数の音オブジェクトに対応する音声データのサラウンド空間における出力値調整を、各音オブジェクトに対応する前記時刻位置対応イベントテーブルに設定された位置情報に対応したサラウンド音声データ処理として実行し、複数の音オブジェクトに対応する複数の音声データのミックスされたサラウンド音声出力を実行する構成であることを特徴とする。

さらに、本発明のオーディオデータ処理装置の一実施態様において、前記ＧＵＩは、前記音オブジェクト表示データの音量調整情報を前記ＧＵＩ・プロジェクトデータ解釈モジュールに出力し、前記ＧＵＩ・プロジェクトデータ解釈モジュールは、音オブジェクト表示データの音量調整情報を時刻対応のデータとして設定した時刻対応音量調整履歴情報を時刻音量対応イベントテーブルとして生成し、前記オーディオ信号処理部は、前記時刻音量対応イベントテーブルの設定された音オブジェクトに対応する音声データの出力値調整を、前記時刻音量対応イベントテーブルに設定された音量情報に対応した音量調整処理として実行する構成であることを特徴とする。

さらに、本発明のオーディオデータ処理装置の一実施態様において、前記ＧＵＩは、前記音オブジェクト表示データの発生および消滅情報を前記ＧＵＩ・プロジェクトデータ解釈モジュールに出力し、前記ＧＵＩ・プロジェクトデータ解釈モジュールは、音オブジェクト表示データの発生および消滅情報を時刻対応のデータとして設定した時刻対応履歴情報を時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルとして生成し、前記オーディオ信号処理部は、記時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルの設定された音オブジェクトに対応する音声データの出力開始および出力停止を、前記時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルに設定された発生および消滅情報に対応した処理として実行する構成であることを特徴とする。

さらに、本発明のオーディオデータ処理装置の一実施態様において、前記オーディオ信号処理部は、複数の入力音声データの各々に対応してトラック割り当てを実行し、トラック毎の出力調整処理を並列に実行する構成であることを特徴とする。

さらに、本発明のオーディオデータ処理装置の一実施態様において、前記ＧＵＩは、前記音オブジェクト表示データを、音声データに対応付けた絵柄データ部と、音量情報表示部とを含む表示データとしてディスプレイに表示する処理を実行する構成であることを特徴とする。

さらに、本発明のオーディオデータ処理装置の一実施態様において、前記ＧＵＩ・プロジェクトデータ解釈モジュールは、１以上の前記音オブジェクト表示データに対応する操作情報を前記ＧＵＩから入力して、音オブジェクトに対応する時刻対応操作履歴情報を生成し、生成した音オブジェクトに対応する時刻対応操作履歴情報と、音オブジェクトに対応する音声データファイルの参照情報とを含むプロジェクトデータファイルを生成する構成であることを特徴とする。

さらに、本発明のオーディオデータ処理装置の一実施態様において、前記オーディオ信号処理部は、前記プロジェクトデータファイルに基づく音声データ再生処理において、該プロジェクトデータファイルに設定された音声データファイルの参照情報に基づいて音声データファイルを取得し、該プロジェクトデータファイルに設定された時刻対応操作履歴情報に従って、音声データの出力調整を行って再生処理を実行する構成であることを特徴とする。

さらに、本発明のオーディオデータ処理装置の一実施態様において、前記ＧＵＩ・プロジェクトデータ解釈モジュールは、前記プロジェクトデータファイルに基づく音声データ再生処理において、前記音オブジェクト表示データを、ディスプレイに表示した音場フィールド内において、前記プロジェクトデータファイルに設定された時刻対応操作履歴情報に従って移動表示させる制御を行なう構成であることを特徴とする。

さらに、本発明の第２の側面は、
オーディオデータ処理方法であり、
音声データに対応して設定される音オブジェクト表示データをディスプレイに表示するユーザインタフェース表示ステップと、
前記音オブジェクト表示データに対応するユーザ操作情報を入力して、音オブジェクトに対応する時刻対応操作履歴情報を生成する操作履歴情報生成ステップと、
前記音オブジェクトに対応する時刻対応操作履歴情報に基づいて、前記音オブジェクトに対応する音声データの時刻対応の出力調整処理を実行するオーディオ信号処理ステップと、
を有することを特徴とするオーディオデータ処理方法にある。

さらに、本発明のオーディオデータ処理方法の一実施態様において、前記オーディオデータ処理方法は、さらに、ディスプレイに表示した音場フィールド内に配置された音オブジェクト表示データの音場フィールド内の位置情報を時刻対応のデータとして設定した時刻対応操作履歴情報を時刻位置対応イベントテーブルとして生成するステップを有し、
前記オーディオ信号処理ステップは、前記時刻位置対応イベントテーブルの設定された音オブジェクトに対応する音声データのサラウンド空間における出力値調整を、前記時刻位置対応イベントテーブルに設定された位置情報に対応したサラウンド音声データ処理として実行することを特徴とする。

さらに、本発明のオーディオデータ処理方法の一実施態様において、前記オーディオデータ処理方法は、さらに、ディスプレイに表示した音場フィールド内に配置された複数の音オブジェクト表示データの音場フィールド内の位置情報に基づいて、各音オブジェクト毎に時刻対応のデータとして設定した時刻対応操作履歴情報を時刻位置対応イベントテーブルとして生成するステップを有し、前記オーディオ信号処理ステップは、前記時刻位置対応イベントテーブルの設定された複数の音オブジェクトに対応する音声データのサラウンド空間における出力値調整を、各音オブジェクトに対応する前記時刻位置対応イベントテーブルに設定された位置情報に対応したサラウンド音声データ処理として実行し、複数の音オブジェクトに対応する複数の音声データのミックスされたサラウンド音声出力を実行することを特徴とする。

さらに、本発明のオーディオデータ処理方法の一実施態様において、前記オーディオデータ処理方法は、さらに、前記音オブジェクト表示データの音量調整情報を時刻対応のデータとして設定した時刻対応音量調整履歴情報を時刻音量対応イベントテーブルとして生成するステップを有し、前記オーディオ信号処理ステップは、前記時刻音量対応イベントテーブルの設定された音オブジェクトに対応する音声データの出力値調整を、前記時刻音量対応イベントテーブルに設定された音量情報に対応した音量調整処理として実行することを特徴とする。

さらに、本発明のオーディオデータ処理方法の一実施態様において、前記オーディオデータ処理方法は、さらに、前記音オブジェクト表示データの発生および消滅情報を時刻対応のデータとして設定した時刻対応履歴情報を時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルとして生成するステップを有し、前記オーディオ信号処理ステップは、前記時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルの設定された音オブジェクトに対応する音声データの出力開始および出力停止を、前記時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルに設定された発生および消滅情報に対応した処理として実行することを特徴とする。

さらに、本発明のオーディオデータ処理方法の一実施態様において、前記オーディオ信号処理ステップは、複数の入力音声データの各々に対応してトラック割り当てを実行し、トラック毎の出力調整処理を並列に実行することを特徴とする。

さらに、本発明のオーディオデータ処理方法の一実施態様において、前記ユーザインタフェース表示ステップは、前記音オブジェクト表示データを、音声データに対応付けた絵柄データ部と、音量情報表示部とを含む表示データとしてディスプレイに表示する処理を実行することを特徴とする。

さらに、本発明のオーディオデータ処理方法の一実施態様において、前記オーディオデータ処理方法は、さらに、１以上の前記音オブジェクト表示データに対応する操作情報に基づいて音オブジェクトに対応する時刻対応操作履歴情報を生成し、生成した音オブジェクトに対応する時刻対応操作履歴情報と、音オブジェクトに対応する音声データファイルの参照情報とを含むプロジェクトデータファイルを生成するステップを有することを特徴とする。

さらに、本発明のオーディオデータ処理方法の一実施態様において、前記オーディオ信号処理ステップは、前記プロジェクトデータファイルに基づく音声データ再生処理において、該プロジェクトデータファイルに設定された音声データファイルの参照情報に基づいて音声データファイルを取得し、該プロジェクトデータファイルに設定された時刻対応操作履歴情報に従って、音声データの出力調整を行って再生処理を実行することを特徴とする。

さらに、本発明のオーディオデータ処理方法の一実施態様において、前記オーディオデータ処理方法は、さらに、前記プロジェクトデータファイルに基づく音声データ再生処理において、前記音オブジェクト表示データを、ディスプレイに表示した音場フィールド内において、前記プロジェクトデータファイルに設定された時刻対応操作履歴情報に従って移動表示させる制御を行なうステップを有することを特徴とする。

さらに、本発明の第３の側面は、
オーディオデータ処理を実行するコンピュータ・プログラムであり、
音声データに対応して設定される音オブジェクト表示データをディスプレイに表示するユーザインタフェース表示ステップと、
前記音オブジェクト表示データに対応するユーザ操作情報を入力して、音オブジェクトに対応する時刻対応操作履歴情報を生成する操作履歴情報生成ステップと、
前記音オブジェクトに対応する時刻対応操作履歴情報に基づいて、前記音オブジェクトに対応する音声データの時刻対応の出力調整処理を実行するオーディオ信号処理ステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記録媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明のオーディオデータ処理装置および方法では、音声データに対応して設定される音オブジェクト表示データをディスプレイに表示し、音オブジェクト表示データに対応するユーザ操作情報を入力して時刻対応操作履歴情報を生成し、時刻対応操作履歴情報に基づいて音オブジェクトに対応する音声データの時刻対応の出力調整処理を実行する。例えば、ディスプレイに表示した音場フィールド内に配置された音オブジェクト表示データの音場フィールド内の位置情報を時刻対応のデータとして設定した時刻位置対応イベントテーブルを生成して、時刻位置対応イベントテーブルの設定情報に基づいて、音声データのサラウンド空間における出力値調整実行することができる。従って、ユーザは、ディスプレイに表示された音オブジェクトの表示データを操作するのみで、サラウンド音の調整を行うことが可能となり、専門的な知識を持たないユーザにとって利用しやすいオーディオデータ処理装置が実現される。

さらに、本発明の構成によれば、音オブジェクト表示データの音量調整情報発生および消滅情報を時刻対応のデータとして設定したイベントテーブルを生成し、生成したイベントテーブルに基づいて、音オブジェクトに対応する音声データの出力開始および出力停止、音量調整が可能となるので、ユーザは、ディスプレイに表示された音オブジェクトの表示データを操作するのみで、音声データの出力開始および出力停止、音量調整を行うことが可能となり、専門的な知識を持たないユーザにとって利用しやすいオーディオデータ処理装置が実現される。

さらに、本発明の構成によれば、複数の音オブジェクトを個別に操作して、操作情報を１つのファイルとして設定したプロジェクトデータファイルを生成、保持し、このプロジェクトデータファイルを指定した再生処理を可能としたので、時刻対応テーブルとして設定した複数の音オブジェクトの位置、音量調整情報に基づいて、ミックスされた複数の音声データのサラウンドコンテンツの生成や、再生処理を容易に実行することができ、専門的な知識を持たないユーザにとって利用しやすいオーディオデータ処理装置が実現される。

以下、本発明のオーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラムの詳細について、図面を参照して詳細に説明する。

背景技術の欄で説明したように、オーディオ編集ソフトウェアを利用してサラウンドコンテンツを作成する際に行なう処理としては、例えば、以下の処理がある。
（ａ）各音源の時間軸上での編集処理を可能としたタイムラインエディター上に設定される各音源の割り当てトラックであるオーディオトラックに対して素材の記録をする。
（ｂ）オーディオトラック上のオーディオセグメントを編集することで素材のライフサイクル、すなわち、音源出力有効期限を設定する。
（ｃ）オーディオトラックに対応したオーディオミキサーを操作することで、各オーディオセグメントの音量を設定する。
（ｄ）各オーディオトラックに対してサラウンドバスに送るための設定をする。サラウンドバスとは、聴取者の周囲に配置した各スピーカの出力配分を設定可能としたサラウンドパンに接続されたバスである。
（ｅ）サラウンドパンを操作することで、各スピーカへの出力バスの音量を設定する。

これらの処理は、オーディオミキサー操作に慣れたユーザにとって使いやすい半面、セグメントとオーディオトラック、オーディオミキサー、サラウンドバスの対応など内部のミキサー構造を、十分理解しないと、ユーザの意図するサラウンドコンテンツの生成が困難であり、ミキシング処理等に不慣れなユーザにとっては使いにくいという問題がある。

本発明では、ＰＣ等のデータ処理装置におけるディスプレイに表示したＧＵＩ（Graphic User Interface）を適用して、ＧＵＩ上に音場フィールドを設定し、例えば記録用の音源としての音オブジェクトを設定し、音オブジェクト対応の表示データを操作することで、音声データファイルの再生位置やタイミングなど、様々な再生環境を容易に設定可能としている。

具体的には、
音オブジェクト対応の表示データを、ＧＵＩ上に音場フィールドなどにおいて動かすことで、出力先バスの音量を設定する。 音オブジェクトのライフサイクルをＧＵＩ上で設定可能とし、音オブジェクトに対応する音源素材のライフサイクルを設定する。
音オブジェクト毎に音量調整用のフェーダーをＧＵＩ上で設定可能とし、各音オブジェクトの音量を決定する。
などの処理を可能とし、音オブジェクトに対する操作がミキサーの操作に連動する設定とし、サラウンドコンテンツを作成する際に必要となる様々な処理を、すべて音オブジェクトに対するユーザ操作によって実現し、ユーザに過大な知識を要求することなく、ユーザの意図するサラウンドコンテンツの生成、編集、再生を可能としたものである。

以下、図面を参照して、本発明の一実施の形態を詳述する。図１は、本発明のオーディオデータ処理装置を、パーソナルコンピュータをデータ処理部として設定した場合の全体構成を示す図である。

各種情報処理を実行するデータ処理装置（ＰＣ：パーソナルコンピュータ）２００に対して、モニター１０２、キーボード１０３及びマウス１０４が接続される。データ処理装置２００には、マルチチャンネルオーディオインターフェース１０５が接続されている。

マルチチャンネルオーディオインターフェース１０５は、マイク１０６から入力されるマイクレベルのアナログ音声信号を内蔵のマイクアンプにより増幅して、さらにＡＤ変換処理によってデジタル音声信号を生成して、生成したデジタルデータをデータ処理装置（ＰＣ）２００に入力する。

データ処理装置（ＰＣ）２００に入力されたデジタル音声信号は、データ処理装置（ＰＣ）２００に内蔵されたハードディスクドライブ等の記憶部に音声データファイルとして保存される。

記憶部に保存されたデジタル音声信号はデータ処理装置（ＰＣ）２００において、ミックス処理、フィルター処理などのデジタル信号処理を施された後に、マルチチャンネルオーディオインターフェース１０５に出力され、ＤＡ変換されアナログ音声信号となり、マルチチャンネルアンプ１０７によって増幅されてマルチチャンネルスピーカ１０８に出力され、再生される。

マルチチャンネルスピーカ１０８は、例えば、図２に示すように、聴取者１１０の前方左にサラウンドのＬチャンネル（フロント左チャンネル）スピーカ１２１、前方右にＲチャンネル（フロント右チャンネル）スピーカ１２２、聴取者１１０の後方左にＳＬチャンネル（サラウンドリア左チャンネル）スピーカ１２３、聴取者１１０の後方右にＳＲチャンネル（サラウンドリア右チャンネル）スピーカ１２４、聴取者１１０の正面前方にＣ（フロントセンターチャンネル）チャンネルスピーカ１２５が配置された構成例がある。なお、図２に示すスピーカ位置は一例であり、この他にも、様々なスピーカ配置構成からなるマルチチャンネルスピーカを自在に設定可能である。

次に、データ処理装置（ＰＣ）２００の具体的ハードウェア構成について、図３を参照して詳細に説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０は、データ処理装置（ＰＣ）２００において実行する各種処理プログラム、すなわちオーディオデータの生成、編集、再生処理プログラムの実行制御部である。

メモリ（ＲＡＭ）２０９は、各種プログラムを実行するためのワークエリア、パラメーター格納領域、プログラム格納領域として利用される。ＣＰＵバスがＣＰＵ２１０、ＲＡＭ２０９を接続し、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）ブリッジ２１２が、ＣＰＵバスとＰＣＩバスを接続している。

ＣＰＵ２１０には、モニター１０２に対する表示信号を生成するビデオインタフェース２１１が、ＡＧＰバスを介して接続されている。

ＰＣＩバスには、ＡＴＡインタフェース２１３、オーディオインターフェース１０５が接続されている。ＡＴＡインタフェース２１３には、ＣＰＵ２１０によって実行されるオペレーティングシステムやオーディオデータの記録、再生、編集処理プログラム等の各種アプリケーションプログラムを格納したハードディスクドライブ２１４が接続されている。ＡＴＡインタフェース２１３はハードディスクドライブ２１４に対するアクセス制御を行う。

ＣＰＵ２１０は、データ処理装置（ＰＣ）２００の電源投入に応じてハードディスクドライブ２１４からオペレーティングシステム（ＯＳ）を読み出し、メモリ２０９に展開して実行する。そしてＣＰＵ２１０はオペレーティングシステムの実行環境下において、ユーザによるキーボード１０３及びマウス１０５の操作に応じてハードディスクドライブ２１４から各種アプリケーションプログラム、すなわち、オーディオデータの記録、再生、編集処理プログラム等の各種アプリケーションプログラムを読み出して実行することにより、各種機能を実行する。

本発明のオーディオデータ処理装置のデータ処理部としてのパーソナルコンピュータは、ハードディスクドライブ２１４に格納されたオーディオデータの記録・編集・再生プログラムをＣＰＵ２１０が読み出して実行する。オーディオデータの記録・編集・再生プログラムの実行により、音声データの記録、信号処理、マルチチャンネルオーディオインターフェース１０５を介した音声データのマルチチャンネルスピーカ１０８に対する出力を実行する。

オーディオデータの記録、再生、編集処理プログラムの実行において設定される処理モジュール構成および処理モジュール間の転送データ構成について、図４を参照して説明する。

ＧＵＩ部２５４は、オーディオデータの記録、再生、編集処理プログラムの各種操作画面をモニター１０２に表示する処理を実行するとともに、ユーザによるキーボード１０３及びマウス１０４の入力操作に応じた操作命令を生成し、ＧＵＩ・プロジェクトデータ解釈モジュール部２５３に送出する。

ＧＵＩ・プロジェクトデータ解釈モジュール部２５３は、ＧＵＩ部２５４から送出された操作命令に応じて音声データの記録及び再生を制御する。例えば、ＧＵＩ・プロジェクトデータ解釈モジュール部２５３は、ユーザの操作に応じてＧＵＩ部２５４からオーディオデータ記録命令が供給されると、オーディオ信号処理モジュール部２５２に対して記録命令を出力する。

記録命令を受け取ったオーディオ信号処理モジュール部２５２は、オーディオドライバ２５０を介してマルチチャンネルオーディオインターフェース１０５から供給される音声データを受け取り、ハードディスクドライバ２５１を介して音声データファイルとしてハードディスクドライブ２１４に保存することで記録を行う。

またＧＵＩ・プロジェクトデータ解釈モジュール部２５３は、ユーザの操作に応じてＧＵＩ部２５４からオーディオデータ再生命令が供給されると、オーディオ信号処理モジュール部２５３に対して再生命令を出力する。再生命令を受け取ったオーディオ信号処理モジュール部２５３は、ハードディスクドライバ２５１を介して、ハードディスクドライブ２１４からの音声データファイルを受け取り、音量調整・ミックスなどの信号処理を施し、オーディオドライバ２５０を介してマルチチャンネルオーディオインターフェース１０５に対してデジタル音声データを送出し、マルチチャンネルオーディオインターフェース１０５において、Ｄ／Ａ変換がなされ、図１に示すマルチチャンネルアンプ１０７によって増幅されてマルチチャンネルスピーカ１０８に出力され、再生される。

さらにＧＵＩ・プロジェクトデータ解釈モジュール部２５３は、ユーザの操作に応じてＧＵＩ部２５４から再生時の音声データ読み込みタイミング、ミックスなど信号処理パラメーターの変更タイミングの情報を受け取り、記憶・再現することができる。これらの情報はプロジェクトデータファイルとしてハードディスクドライバ２５１を介してプロジェクトデータファイルとしてハードディスクドライブ２１４のハードディスクに保存される。

また、ＧＵＩ・プロジェクトデータ解釈モジュール部２５３は、音声データに上記信号処理を施した結果、すなわち、プロジェクトデータファイルに格納された再生時の音声データ読み込みタイミング、ミックスなど信号処理パラメーターの変更タイミングの情報を適用した信号処理を施した結果を新たな音声データファイルとして設定し、これをハードディスクドライブ２１４に出力し、新規なオーディオデータファイルとして保存することができる。

次に、オーディオ信号処理モジュール２５２において実行する信号処理の詳細について図５を参照して説明する。

オーディオ信号の記録処理時においては、マイク１０６から入力される音声信号、あるいはハードディスク等に格納された音声データファイルからのファイル入力データが、それぞれ出力調整可能なトラックに割り当てられ、各トラックに対してフェーダー２８１やサラウンドパンによって出力調整がなされる。

例えば、マイク１０６から入力される音声信号は、オーディオドライバ２５０を介してオーディオ信号処理モジュール２５２に入力され、図５に示すマイク入力２８７として解釈される。

マイク入力２８７は、オーディオ信号処理モジュール２５２に構成されるミキシング処理部２８０に送られるとともに、ハードディスクに格納するためのファイル出力とされる。ミキシング処理部２８０ではフェーダー２８１による音量調整、メーター２８２によるピークレベル検出を行ない、サラウンドパン２８３を介してサラウンド各スピーカにおける出力比などを調整し、ステレオ感、サラウンド感を設定するための処理としてのパンニング処理を行なわれる。

パンニング処理の結果がオーディオデータバス２８５（ＬＦＥバス〜ＳＲバス）に出力され、その他の再生音声データ、例えばファイル入力などの他トラックデータに基づく調整データとミックスされマルチチャンネルデータとなり、オーディオドライバ２５０を介してマルチチャンネルオーディオインターフェース１０５に出力される。

マルチチャンネルデータとは、例えば、図２を参照して説明したようなスピーカ配置に対応した出力データであり、サラウンドのＬ（フロント左チャンネル）、Ｒ（フロント右チャンネル）、Ｃ（フロントセンターチャンネル）、ＳＬ（サラウンドリア左チャンネル）、ＳＲ（サラウンドリア右チャンネル）に、低音専用チャンネルとしてのＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｎｈａｎｃｅｍｅｎｔ）サブウーファーチャンネルの５．１チャンネルデータである。ＬＦＥチャンネルに関しては、低音専用チャンネルであるため、出力データの最終段でローパスフィルタ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）２８４を適用して低域抽出を行う。

オーディオデータの再生時には、ハードディスク等の記憶部に記憶された音声データファイルを受け取ったオーディオ信号処理モジュール２５２は、図５に示すように、これをファイル入力２８８として解釈し、ファイル入力２８８はミキシング処理部２８０に送られる。ミキシング処理部ではフェーダー２８１による音量調整、メーター２８２によるピークレベル検出をし、サラウンドパン２８３を介してパンニングした結果がオーディオデータバス２８４に出力され、その他の再生音声データやモニタリング音声データとミックスされマルチチャンネルデータとなり、オーディオドライバ２５０を介してマルチチャンネルオーディオインターフェース１０５に出力される。

なお、オーディオデータの記録処理と再生処理は同時に行うことができる。また、オーディオ信号処理モジュール２５２は、マイク入力や、入力ファイル等の音声データを同時に複数受け取ることができ、ミキシング処理部２８０において、それぞれのデータに対してフェーダー２８１による音量調整、メーター２８２によるピークレベル検出、サラウンドパン２８３によるパンニング処理を並列に実行可能であり、その処理結果をオーディオデータバス２８４に出力し、その他の再生音声データやモニタリング音声データとミックスされマルチチャンネルデータとして、オーディオドライバ２５０を介してマルチチャンネルオーディオインターフェース１０５に出力することができる。

図５に示すように、サラウンドパン２８３は複数のサラウンドパンによって構成され、それぞれがマイク入力や、入力ファイル等、個別の音声データに対応して、各入力音声データ毎にステレオ感、サラウンド感を設定する処理が実行される。

１つのサラウンドパンの詳細構成について、図６を参照して説明する。サラウンドパン３００は、マイク入力や、入力ファイル等の音声データの入力に対して、出力するチャンネル数分のフェーダー３０１〜３０６を有し、それぞれ独立して音量調整することができる。音量調整された音声データは、ＬＦＥバス〜ＳＲバスによって構成されるオーディオデータバス２８５に出力される。

オーディオデータバス２８５には、図５に示すサラウンドパン２８３を構成する他のサラウンドパンから出力される他の再生音声データやモニタリング音声データとミックスされマルチチャンネルデータとなり、オーディオドライバ２５０を介してマルチチャンネルオーディオインターフェース１０５に出力される。

次に、図４に示すＧＵＩ２５４の処理について説明する。図７を参照して、具体的なディスプレイ表示例および操作処理例について説明する。

図７は、本発明のオーディオデータ処理装置において、オーディオデータの記録、再生、編集処理を実行する際に、オーディオデータ記録、再生、編集処理アプリケーションプログラムに基づいて、モニター１０２のディスプレイに表示されるユーザインタフェース（ＧＵＩ）である。

ＧＵＩ上には、音オブジェクト選択ボタン群４００が表示される。図に示す音オブジェクト選択ボタン群４００は、人の顔、鳥、波などの図柄を設定したアイコン群として設定され、それぞれのアイコンが、記憶部（ハードディスクなど）に格納された個別の音声データファイル（例えばＷＡＶファイル）に対応付けられている。

図に示す音オブジェクト選択ボタン群４００から、ユーザがマウスなどによって、ある音オブジェクト（アイコン）をクリックすることで、音声データファイルと対応付けられた音オブジェクトを選択し、ＧＵＩの左側に設定された音場フィールド４１３内の任意位置で再びクリックすることで音場フィールドに選択した音オブジェクトを貼り付けることができる。

音場フィールド４１３は、例えば、先に図２を参照して説明したサラウンドスピーカの設定されたサラウンド空間に対応するフィールドである。

音場フィールド４１３に貼り付けられた音オブジェクト４１４は、例えば波の音データを格納した音声データファイル（例えばＷＡＶファイル）に対応付けられている。

音場フィールド４１３に貼り付けられた音オブジェクト４１４は、再度、マウス等によってクリックすることで選択状態、すなわち音オブジェクト４１４に対応する音声データの出力値を調整することが可能な状態に設定される。

選択状態となった音オブジェクトの音量情報、ＬＦＥ音量情報は選択オブジェクト情報エリア４０５に表示され、選択オブジェクト音量調整フェーダー４０６ａおよび選択オブジェクトＬＦＥ音量調整フェーダー４０６ｂをマウスなどによって調整することで、選択状態となった音オブジェクトの音量、ＬＦＥ音量の調整が可能となる。

また、選択状態となった音オブジェクトの音場フィールド４１３における位置情報に基づいて、サラウンドパンの各出力バスの調整値、すなわち、図６に示すフェーダー３０１〜３０５の調整パラメーターが設定される。すなわち、音場フィールド４１３は、先に図２を参照して説明したサラウンド空間に対応し、図８に示すように、音場フィールド４１３に各種の音オブジェクトを配置することで、複数スピーカ１２１〜１２５をユーザ（聴取者）１１０の周囲に配置したサラウンド空間４４０において、各音オブジェクトに対応する音声データファイルの音データの音源が、サラウンド空間４４０の対応位置に存在するように設定される。

図の例では、波の音がユーザ１１０の左前方から聞こえ、悲鳴がユーザ１１０の右前方から聞こえ、拍手がユーザ１１０の左後方から聞こえるように図６に示すフェーダー３０１〜３０５の調整パラメーターが設定される。

選択オブジェクト音量調整フェーダー４０６ａは、図５に示したオーディオ信号処理モジュールに構成されたフェーダー２８０に対応している。選択オブジェクトＬＦＥ音量調整フェーダー４０６ｂは、図６を参照して説明したサラウンドパンに設定されたＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｎｈａｎｃｅｍｅｎｔ）サブウーファーチャンネル調整用の音量調整フェーダー３０６に対応している。

音オブジェクトの詳細について図９を参照して説明する。音オブジェクトは、音を表すアイコン（絵柄）４５０と、ピークレベルメーター表示部４５１と、音量表示部４５２と、ＬＦＥ音量表示部４５３とを有している。

ピークレベルメーター表示部４５１は、図５に示したオーディオ信号処理モジュールに構成されたメーター２８１と連動する。音量表示部４５２は、図５に示したオーディオ信号処理モジュールに構成されたフェーダー２８０に連動する。なお、音声データ編集時には、選択オブジェクト音量調整フェーダー４０６ａに対応して表示が変更される。ＬＦＥ音量表示部４５３は、図６を参照して説明したサラウンドパンに設定されたＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｎｈａｎｃｅｍｅｎｔ）サブウーファーチャンネル調整用の音量調整フェーダー３０６に連動する。なお、音声データ編集時には、選択オブジェクトＬＦＥ音量調整フェーダー４０６ｂに対応して表示が変更される。

選択オブジェクト音量調整フェーダー４０６ａと、選択オブジェクトＬＦＥ音量調整フェーダー４０６ｂの調整結果はＧＵＩ・プロジェクトデータ解釈モジュール部２５３（図４参照）において、音オブジェクトに対応する音声データファイルに対応付けて設定されるプロジェクトデータファイルとして記憶される。

プロジェクトデータファイルを指定した再生処理を行なうことで、プロジェクトデータファイルによって読み出される音オブジェクトに対応した音声データファイルが再生され、プロジェクトデータファイルに記録された調整結果が、オーディオ信号処理モジュールに構成されたフェーダー２８０と、サラウンドパンに設定されたＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｎｈａｎｃｅｍｅｎｔ）サブウーファーチャンネル調整用の音量調整フェーダー３０６の調整パラメーターとして適用される。

プロジェクト時間長表示エリア４０７は、プロジェクトデータファイル全体の再生時間を表しており、ユーザは書き換えることができる。現在時刻表示エリア４０８は、プロジェクト全体の再生時間の中の現在時刻を表しており、ユーザは書き換えることができる。現在表示されている音場フィールド４１３内の音オブジェクト４１４の位置、選択オブジェクト音量調整フェーダー４０６ａの表す音量情報、選択オブジェクトＬＦＥ音量調整フェーダー４０６ｂの表すＬＦＥ音量情報、現在時刻スライダ４１２の位置はこの現在時刻に対応し、連動して動作する。

つまり、音オブジェクト４１４の位置、選択オブジェクト音量調整フェーダー４０６ａの表す音量情報、選択オブジェクトＬＦＥ音量調整フェーダー４０６ｂの表すＬＦＥ音量情報は現在時刻に応じて変化する値であり、ＧＵＩ・プロジェクトデータ解釈モジュール２５３はこれらの値を時刻と対にしたデータをプロジェクトデータファイルに設定して記憶する。

つまり、プロジェクトデータファイルは、図１０に示すように、時間経過に伴う音オブジェクトの位置情報を記録した（ａ）時刻位置対応イベントテーブルと、時間経過に伴う音オブジェクトの音量情報を記録した（ｂ）時刻音量対応イベントテーブルと、時間経過に伴う音オブジェクトのＬＦＥ音量情報を記録した（ｃ）時刻ＬＦＥ音量対応イベントテーブルと有している。なお、プロジェクトデータファイルは、この他、対応付けられた音声データファイル（ＷＡＶファイル）の参照情報を有している。

図７に戻り、オーディオデータ記録、再生、編集処理アプリケーションプログラムに基づいて、モニター１０２のディスプレイに表示されるユーザインタフェース（ＧＵＩ）の説明を続ける。

再生・停止ボタン４０９の操作により、再生状態・停止状態を遷移することができる。再生状態に設定すると現在時刻表示エリア４０８は自動更新され、現在時刻表示エリア４０８がプロジェクト時間長表示エリア４０７の値と等しくなると自動停止し、停止状態に遷移する。停止状態、再生状態によらず、現在時刻スライダ４１２を動かすことで現在時刻を変更することができる。また、時刻リセットボタン４１０を操作することにより現在時刻を０にすることができる。

ユーザは再生状態でも音オブジェクト４１４の出現、位置移動、消滅の各種操作を行うことができ、同時に音オブジェクト４１４をクリックして選択することにより選択オブジェクト音量調整フェーダー４０６ａ、選択オブジェクトＬＦＥ音量調整フェーダー４０６ｂを操作することができ、その場合、現在時刻の遷移と相まって、ＧＵＩ・プロジェクトデータ解釈モジュール２５３はこれらの値を連続的に時刻と対にしたテーブル（図１０参照）として記憶する。記憶された各テーブル値は、プロジェクトデータファイルとして記録格納することが可能である。プロジェクトデータファイルを指定した再生を行なうことで、次回再生時に音やオブジェクトの動きに、記録されたテーブルに従った音オブジェクトの位置、音量、ＬＦＥ音量とを連続的に反映させた再生処理が実行される。

選択オブジェクトの生存期間表示部４１１は、選択状態の音オブジェクトがどの時刻に音場フィールド４１３に現れ、どの時刻に消えるのかを示している。ＷＡＶファイルオブジェクト選択ボタン４０１は、特殊な音オブジェクト選択ボタンで、ＷＡＶファイル選択エリア４０２で前もって指定された音声データファイルを音オブジェクトとして貼り付けるために使用する。

記録オブジェクト選択ボタン４０４は、特殊なオブジェクト選択ボタンで、保存ファイルパス指定エリア４０３で前もって指定されたファイルパスに記録するための音オブジェクトを貼り付けるために使用する。このオブジェクトが貼り付けられると、マイク入力のモニタリングをしながら記録が行われる。

音場フィールド４１３は、前述したように、ユーザが再生音を聴く部屋などの空間を２次元的に表しており、上下方向と部屋の前後、左右方向と部屋の左右が対応付けられている。つまり再生状態で音オブジェクト４１４を移動させると、図６を参照して説明したサラウンドパンを構成するフェーダーの調整が実行される。

例えば、音オブジェクト４１４を音場フィールド４１３の上方向に移動させると、図６に示すサラウンドパンを構成するフェーダー中、フェーダー３０１、３０２の音量が低く抑えられ、フェーダー３０３〜３０５の音量が高くなるようにフェーダーの調整が実行される。

この結果、リアスピーカの出力を決定するＳＬバス３１５，ＳＲバス３１６への出力が小さく、フロントスピーカの出力を決定するＬバス３１２、Ｒバス３１３への出力が大きくなり、音オブジェクト４１４に対応する音声データ、例えば波の音が前方から聞こえるような設定がなされる。

また、音オブジェクト４１４を、音場フィールド４１３の左の方向に持っていくと、左側方向のスピーカの出力を決定するＬバス３１２、ＳＬバス３１５の出力が大きくなるように図６に示すサラウンドパンを構成するフェーダーの調整が実行されることになる。

このように、音オブジェクト４１４の音場フィールド４１３内における位置（座標）に基づいて、サラウンドパン内のフェーダーが調整されることになる。

音オブジェクトの音場フィールド４１３内における位置（座標）に基づくサラウンドパン内のフェーダー調整処理について、図１１を参照して説明する。

音場フィールドの座標を正規化し、座標（０，０）（０，１）（１，１）（１，０）を頂点とする正方形とする。このとき、サラウンドのＬＦＥチャンネルを除くスピーカ位置を、図１１に示すように、仮想的にＬ（０，０）、Ｒ（０，１）、ＳＬ（０，１）、ＳＲ（１，１）、Ｃ（０．５，０）とする。

Ｌ，Ｒ，ＳＬ，ＳＲ，Ｃそれぞれのスピーカについて、音オブジェクトの位置と各スピーカの位置との距離Ｌ１〜Ｌ５をそれぞれ算出し、距離Ｌ１〜Ｌ５が１以上になるとフェーダー調整パラメーターとしてのフェーダー係数を０（−∞ｄＢ）とし、距離Ｌ１〜Ｌ５が０になるとフェーダー係数を１（０ｄＢ）とするｄＢスケールで計算を行う。なお、Ｃチャンネルについてはさらに１以下の係数をかけてＬ，Ｒとのバランスを取る処理としてもよい。ＬＦＥチャンネルについては前述のとおりＧＵＩ上選択オブジェクトＬＦＥ音量調整フェーダー４０６ｂより直接操作をする。

このように音オブジェクトの音場フィールド４１３内における位置（座標）に基づいて、Ｌ，Ｒ，ＳＬ，ＳＲ，Ｃそれぞれのスピーカに対応するサラウンドパンのフェーダー調整パラメーターが設定される。

プロジェクトデータファイルには、音オブジェクトの音場フィールド４１３内における位置（座標）情報の時間経過に伴う更新情報は、図１０を参照して説明したように、時刻位置対応イベントテーブルとして記録され、プロジェクトデータファイルを指定した再生処理に際しては、この時刻位置対応イベントテーブルに基づいて、各時刻の音オブジェクト位置が取得され、取得された音オブジェクト位置情報に基づいて音オブジェクトの位置と各スピーカの位置との距離Ｌ１〜Ｌ５の算出処理がなされ、その算出結果に基づいて、サラウンドパンのフェーダー調整パラメーターが決定され、決定されたバラメーターを適用したフェーダー調整結果に基づいて音声データファイルの出力がなされる。

次に音オブジェクトのコンテキストメニューについて説明する。音オブジェクトのコンテキストメニューは音オブジェクト上にマウスカーソルを持っていき右クリックすることで現れる。それには以下の項目が存在する。

＜この時刻に出現＞
当該音オブジェクトが現在時刻に出現するよう設定する。
＜この時刻で消滅＞
当該音オブジェクトが現在時刻に消滅するよう設定する。
＜常にある＞
当該音オブジェクトが時刻０からプロジェクト時間内常に存在するよう設定する。
＜出現点に移動＞
当該音オブジェクトの出現時刻を現在時刻とする。
＜消滅点に移動＞
当該音オブジェクトの消滅時刻を現在時刻とする。
＜削除＞
当該音オブジェクトを削除する。

上述したように、本発明のオーディオデータ処理装置においては、音オブジェクトを置く、動かす、消す、という操作が音の出現、移動、消滅を表しており、操作と結果がユーザにわかりやすい形で提示できる。また、複数の音のパンニングを同一のフィールド上で表示・操作できるので、音同士の時間的・空間的な対応関係を確認しながら編集操作を行うことができる。

次に、本発明のオーディオデータ処理装置において実行する処理シーケンスについて図１２以下のシーケンス図を参照して説明する。

まず、図１２を参照して、オーディオデータの記録再生処理時の自動時刻更新に基づく音オブジェクトのパラメーター更新とＧＵＩ更新処理シーケンスについて説明する。

図１２は、それぞれ図４に示す各モジュール、すなわち、ＧＵＩ２５４、ＧＵＩ・プロジェクトデータ解釈モジュール２５３、オーディオ信号処理モジュール２５２、オーディオドライバ２５０の各処理、および各モジュール間のデータ入出力シーケンスを示している。

オーディオデータの記録再生時には、まず、ステップＳ１０１において、オーディオハードウェアの持つサンプルカウンタを基準に、オーディオドライバで時刻更新割り込みが行われる。記録・編集・再生プログラムはこの割り込み信号を、オーディオ信号処理モジュール２５２で受け取り、ステップＳ１０２において、ＧＵＩ・プロジェクトデータ解釈モジュール２５３に伝える。

ステップＳ１０３において、ＧＵＩ・プロジェクトデータ解釈モジュール２５３は、自らの持つ現在時刻を、この割り込みにより更新し、ステップＳ１０４において、ＧＵＩ２５４の時刻表示の更新をする。また、ＧＵＩ・プロジェクトデータ解釈モジュール２５３は、ステップＳ１０５において、音オブジェクトの時刻位置対応イベントテーブル（図１０参照）など、設定された時刻対応のイベントテーブルを参照し、ステップＳ１０６において、ＧＵＩ２５４上の音オブジェクトの表示をイベントテーブルに基づいて更新し、ステップＳ１０７において、オーディオ信号処理モジュールの信号処理パラメーターを変更する。

このパラメーター変更によって、音オブジェクトに対応付けられた音声データの出力態様が時間とともに変更される。すなわち、サラウンドパンの各フェーダーの調整パラメーターがプロジェクトデータファイルの各イベントテーブルに基づいて更新されて、更新パラメーターに基づいて設定された音声データが出力されることになる。

次に、図１３を参照して、音オブジェクト生成時の処理について説明する。ユーザがＧＵＩ２５４上で音オブジェクトの生成コマンドを入力すると、ステップＳ２０１において、ＧＵＩ２５４からＧＵＩ・プロジェクトデータ解釈モジュール２５３に対して音オブジェクトの生成要求が出力される。

ＧＵＩ・プロジェクトデータ解釈モジュール２５３は、ＧＵＩ２５４から音オブジェクトの生成要求を入力すると、ステップＳ２０２において現在時刻を参照し、ステップＳ２０３において、音オブジェクトに対応する時刻イベントテーブル（図１０参照）を生成する。さらに、ステップＳ２０４において、生成した時刻イベントテーブルに、現在時刻と生成イベント、すなわち、音オブジェクトの座標位置、音量情報、ＬＦＥ音量情報を書き込み、同時にオーディオ信号処理モジュール２５２におけるトラック割り当てを行い、プロジェクトデータとして記憶する。さらに、ステップＳ２０５において、生成した時刻イベントテーブルに対応する音オブジェクト、パラメーターの表示をＧＵＩ２５４に要求する。

ＧＵＩ・プロジェクトデータ解釈モジュール２５３において生成したプロジェクトデータファイルは、ハードディスク等の記憶部に記憶することが可能であり、プロジェクトデータファイルを指定した再生処理を行なうことで、プロジェクトデータファイルに設定された時刻イベントテーブル（図１０参照）に従った音声データ再生が実現される。

プロジェクトデータファイルの全体構成について、図１４を参照して説明する。プロジェクトデータファイルは、図１４に示すように、再生時間全長情報と１つ以上の音オブジェクト情報との組み合わせから構成される。なお音オブジェクト情報を持たず再生時間全長情報のみによって構成されるプロジェクトデータファイルもある。

プロジェクトデータファイルに設定される各音オブジェクト情報は、音オブジェクトに関連付けされたＷＡＶファイル等の音声データファイルのパス情報と、先に図１０を参照して説明した時刻位置対応イベントテーブル、時刻音量対応イベントテーブル、時刻ＬＦＥ音量イベントテーブル、さらに、音オブジェクトの発生、すなわち音声データファイルに基づく出力の開始時刻の設定情報としての時刻発生対応イベントテーブルと、音オブジェクトの消滅、すなわち音声データファイルに基づく出力の終了時刻の設定情報としての時刻消滅対応イベントテーブルとが含まれる。

音オブジェクト情報１〜ｎには、それぞれ異なるＷＡＶファイル等の音声データファイルに対応する音オブジェクト情報が格納される。これらの複数の音オブジェクト情報１〜ｎを含むプロジェクトデータファイルを指定した再生を行なうことで、複数の異なる音声データファイルを混在させたサラウンドコンテンツの再生が可能となる。

次に、図１５を参照して、音オブジェクトの移動・パラメーター変更・当該時刻での音オブジェクト消滅時の処理について説明する。ユーザがＧＵＩ２５４上で、音オブジェクトの時刻対応情報の設定、例えば音オブジェクトの移動・パラメーター変更、当該時刻での消滅などの設定要求を入力すると、ステップＳ３０１において、ＧＵＩ２５４は、ＧＵＩ・プロジェクトデータ解釈モジュール２５３に対して音オブジェクトの時刻対応情報の変更要求を出力する。

ＧＵＩ・プロジェクトデータ解釈モジュール２５３は、ＧＵＩ２５４から音オブジェクトの時刻対応情報の変更要求を入力すると、ステップＳ３０２において、現在時刻を参照し、ステップＳ３０３において、音オブジェクトの時刻イベントテーブル（図１０参照）に現在時刻と当該イベントを書き込む。

その後、ステップＳ３０４において、時刻イベントテーブルに対応する音オブジェクト、パラメーターの表示をＧＵＩ２５４に要求する。これらの変更によるオーディオ信号処理モジュール２５２の信号処理パラメーターの更新は、図１２を参照して説明した記録再生時の自動時刻更新による、音オブジェクトのパラメーター更新とＧＵＩ更新処理シーケンスに従って実行される。

次に、図１６を参照して、音オブジェクト削除時の処理について説明する。ユーザがＧＵＩ２５４上で、音オブジェクトの削除要求を入力すると、ステップＳ４０１において、ＧＵＩ２５４は、ＧＵＩ・プロジェクトデータ解釈モジュール２５３に対して音オブジェクトの削除要求を出力する。

ＧＵＩ・プロジェクトデータ解釈モジュール２５３は、ＧＵＩ２５４から音オブジェクトの削除要求を入力すると、ステップＳ４０２において、音オブジェクトの時刻イベントテーブル（図１０参照）を消去し、ステップＳ４０３において、その音オブジェクトに対応して設定されたトラック割り当てを解除し、ステップＳ４０４において、ＧＵＩ２５４に対して、当該音オブジェクトとパラメーターを非表示とするコマンドを出力する。

なお、時刻イベントテーブルは、先に図１０を参照して説明したように、各音オブジェクトに対応付けて設定され、時刻により逐次自動更新されるパラメーターを時刻イベントとして記録したテーブルである。音オブジェクトの持つＧＵＩ上の座標、音量、ＬＦＥ音量については、図１０に示して説明したとおりであり、さらに音オブジェクトの生成情報、消滅情報なども時刻イベントとして記録される。

この時刻イベント情報は、音オブジェクトを適用した音声データ記録処理に際して、ＧＵＩを介したユーザ操作により生成、更新されオーディオデータ処理装置のメモリに記憶される。この時刻イベント情報を持つデータを穂ゾーン、すなわちはーどでぃすくに記録する場合には、メモリに記憶された時刻イベント情報を持つプロジェクトデータファイルを生成する処理を実行する。

次に、図１７を参照して、本発明のオーディオデータ処理装置において実行するオーディオデータの記録・編集・再生プログラムの状態遷移について説明する。

オーディオデータの記録・編集・再生プログラムの開始処理は、ステップＳ５０１に示すように、ユーザ操作によるプログラムの起動をトリガとして行なわれる処理である。

オーディオデータの記録・編集・再生プログラムを開始すると、ステップＳ５０２のプロジェクトデータファイルの読み込み、保存、ステップＳ５０３の表示対象時刻の更新による記録されたパラメーターの再現、ステップＳ５０４のユーザの編集操作によるパラメーターの記録が可能な状態となる。これらの処理は、プログラムが実行中は、随時可能な処理である。これらの処理はユーザ操作によるプログラムの終了まで続く。

プログラムが起動した状態では再生は停止状態であり、ステップＳ５１１に示すユーザ操作による再生命令により、再生状態に遷移する。再生状態では、ステップＳ５１４のユーザ操作による停止命令、もしくは再生終了に伴う自動遷移により、停止状態に遷移する。

再生状態の初期状態では記録は停止状態であるが、ステップＳ５１３に示すユーザ操作による記録命令により、記録状態に遷移する。記録状態はステップＳ５１２に示すユーザによる停止命令により、記録停止状態に遷移する。また、再生が停止状態になると、記録は自動的に停止する。

ステップＳ５２１に示すユーザ操作によるプログラムの終了要求によってオーディオデータの記録・編集・再生プログラムが終了する。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明のオーディオデータ処理装置および方法では、音声データに対応して設定される音オブジェクト表示データをディスプレイに表示し、音オブジェクト表示データに対応するユーザ操作情報を入力して時刻対応操作履歴情報を生成し、時刻対応操作履歴情報に基づいて音オブジェクトに対応する音声データの時刻対応の出力調整処理を実行する。例えば、ディスプレイに表示した音場フィールド内に配置された音オブジェクト表示データの音場フィールド内の位置情報を時刻対応のデータとして設定した時刻位置対応イベントテーブルを生成して、時刻位置対応イベントテーブルの設定情報に基づいて、音声データのサラウンド空間における出力値調整実行することができる。従って、ユーザは、ディスプレイに表示された音オブジェクトの表示データを操作するのみで、サラウンド音の調整を行うことが可能となり、専門的な知識を持たないユーザにとって利用しやすいオーディオデータ処理装置が実現される。

さらに、本発明の構成によれば、音オブジェクト表示データの音量調整情報発生および消滅情報を時刻対応のデータとして設定したイベントテーブルを生成し、生成したイベントテーブルに基づいて、音オブジェクトに対応する音声データの出力開始および出力停止、音量調整が可能となるので、ユーザは、ディスプレイに表示された音オブジェクトの表示データを操作するのみで、音声データの出力開始および出力停止、音量調整を行うことが可能となり、専門的な知識を持たないユーザにとって利用しやすいオーディオデータ処理装置が実現される。

さらに、本発明の構成によれば、複数の音オブジェクトを個別に操作して、操作情報を１つのファイルとして設定したプロジェクトデータファイルを生成、保持し、このプロジェクトデータファイルを指定した再生処理を可能としたので、時刻対応テーブルとして設定した複数の音オブジェクトの位置、音量調整情報に基づいて、ミックスされた複数の音声データのサラウンドコンテンツの生成や、再生処理を容易に実行することができ、専門的な知識を持たないユーザにとって利用しやすいオーディオデータ処理装置が実現される。

本発明のオーディオデータ処理装置の構成を示すプロック図である。 本発明のオーディオデータ処理装置のデータ処理によって生成するコンテンツ出力のためのマルチチャンネルスピーカの構成例を示す図である。 本発明のオーディオデータ処理装置のデータ処理部（ＰＣ）の構成を示す図である。 オーディオデータの記録、再生、編集処理プログラムの実行において設定される処理モジュール構成および処理モジュール間の転送データ構成について説明する図である。 オーディオ信号処理モジュールにおいて実行する信号処理の詳細について説明する図である。 サラウンドパンの詳細構成について説明する図である。 本発明のオーディオデータ処理装置において、オーディオデータの記録、再生、編集処理を実行する際に、オーディオデータ記録、再生、編集処理アプリケーションプログラムに基づいてディスプレイに表示されるユーザインタフェース（ＧＵＩ）の例を示す図である。 音場フィールドと、サラウンド空間の対応について説明する図である。 音オブジェクトの詳細について説明する図である。 時間経過に伴う音オブジェクトの情報を記録した時刻イベントテーブルの例を説明する図である。 ハッシュ情報サービスの適用によって生成した未完成の曲リストの例を示す図である。 オーディオデータの記録再生処理時の自動時刻更新に基づく音オブジェクトのパラメーター更新とＧＵＩ更新処理シーケンスについて説明する図である。 音オブジェクト生成時の処理について説明するシーケンス図である。 プロジェクトデータファイルの全体構成について説明する図である。 音オブジェクトの移動・パラメーター変更・当該時刻での音オブジェクト消滅時の処理について説明するシーケンス図である。 音オブジェクト削除時の処理について説明するシーケンス図である。 本発明のオーディオデータ処理装置において実行するオーディオデータの記録・編集・再生プログラムの状態遷移について説明する図である。

符号の説明

１０２ モニター
１０３ キーボード
１０４ マウス
１０５ マルチチャンネルオーディオインタフェース
１０６ マイク
１０７ マルチチャンネルアンプ
１０８ マルチチャンネルスピーカ
１１０ 聴取者（ユーザ）
１２１〜１２５ スピーカ
２００ データ処理差装置（ＰＣ）
２０９ ＲＡＭ
２１０ ＣＰＵ
２１１ ビデオインタフェース
２１２ ＣＰＵ−ＰＣＩブリッジ
２１３ ＡＴＡ ＩＦ
２１４ ＨＤＤ
２５０ オーディオドライバ
２５１ ＨＤＤドライバ
２５２ オーディオ信号処理モジュール
２５３ ＧＵＩ・プロジェクトデータ解釈モジュール
２５４ ＧＵＩ
２８０ ミキシング処理部（オーディオ信号処理モジュール）
２８１ フェーダー
２８２ メーター
２８３ サラウンドパン
２８４ ローパスフィルタ
２８５ オーディオデータバス
３００ サラウンドパン
３０１〜３０６ フェーダー
４００ 音オブジェクト選択ボタン群
４０１ ＷＡＶファイルオブジェクト選択ボタン
４０２ ＷＡＶファイル選択エリア
４０３ 保存ファイルパス指定エリア
４０４ 記録オブジェクト選択ボタン
４０５ 選択オブジェクト情報エリア
４０６ａ 選択オブジェクト音量調整フェーダー
４０６ｂ 選択オブジェクトＬＦＥ音量調整フェーダー
４０７ プロジェクト時間長表示エリア
４０８ 現在時刻表示エリア
４０９ 再生・停止ボタン
４１０ 時刻リセットボタン
４１１ 選択オブジェクトの生存期間表示部
４１２ 現在時刻スライダ
４１３ 音場フィールド
４１４ 音オブジェクト
４３１ 音オブジェクト
４３２ 音オブジェクト
４５０ アイコン（絵柄）
４５１ ピークレベルメーター表示部
４５２ 音量表示部
４５３ ＬＦＥ音量表示部

Claims (21)

1. オーディオデータ処理装置であり、
   音声データに対応して設定される音オブジェクト表示データをディスプレイに表示するＧＵＩと、
   前記音オブジェクト表示データに対応する操作情報を前記ＧＵＩから入力して、音オブジェクトに対応する時刻対応操作履歴情報を生成するＧＵＩ・プロジェクトデータ解釈モジュールと、
   前記音オブジェクトに対応する時刻対応操作履歴情報に基づいて、前記音オブジェクトに対応する音声データの時刻対応の出力調整処理を実行するオーディオ信号処理部と、
   を有することを特徴とするオーディオデータ処理装置。
2. 前記ＧＵＩは、
   ディスプレイに表示した音場フィールド内に配置された音オブジェクト表示データの音場フィールド内の位置情報を前記ＧＵＩ・プロジェクトデータ解釈モジュールに出力し、
   前記ＧＵＩ・プロジェクトデータ解釈モジュールは、
   音オブジェクト表示データの音場フィールド内の位置情報を時刻対応のデータとして設定した時刻対応操作履歴情報を時刻位置対応イベントテーブルとして生成し、
   前記オーディオ信号処理部は、
   前記時刻位置対応イベントテーブルの設定された音オブジェクトに対応する音声データのサラウンド空間における出力値調整を、前記時刻位置対応イベントテーブルに設定された位置情報に対応したサラウンド音声データ処理として実行する構成であることを特徴とする請求項１に記載のオーディオデータ処理装置。
3. 前記ＧＵＩは、
   ディスプレイに表示した音場フィールド内に配置された複数の音オブジェクト表示データの音場フィールド内の位置情報を前記ＧＵＩ・プロジェクトデータ解釈モジュールに出力し、
   前記ＧＵＩ・プロジェクトデータ解釈モジュールは、
   前記複数の音オブジェクト表示データの音場フィールド内の位置情報を、各音オブジェクト毎に時刻対応のデータとして設定した時刻対応操作履歴情報を時刻位置対応イベントテーブルとして生成し、
   前記オーディオ信号処理部は、
   前記時刻位置対応イベントテーブルの設定された複数の音オブジェクトに対応する音声データのサラウンド空間における出力値調整を、各音オブジェクトに対応する前記時刻位置対応イベントテーブルに設定された位置情報に対応したサラウンド音声データ処理として実行し、複数の音オブジェクトに対応する複数の音声データのミックスされたサラウンド音声出力を実行する構成であることを特徴とする請求項１に記載のオーディオデータ処理装置。
4. 前記ＧＵＩは、
   前記音オブジェクト表示データの音量調整情報を前記ＧＵＩ・プロジェクトデータ解釈モジュールに出力し、
   前記ＧＵＩ・プロジェクトデータ解釈モジュールは、
   音オブジェクト表示データの音量調整情報を時刻対応のデータとして設定した時刻対応音量調整履歴情報を時刻音量対応イベントテーブルとして生成し、
   前記オーディオ信号処理部は、
   前記時刻音量対応イベントテーブルの設定された音オブジェクトに対応する音声データの出力値調整を、前記時刻音量対応イベントテーブルに設定された音量情報に対応した音量調整処理として実行する構成であることを特徴とする請求項１に記載のオーディオデータ処理装置。
5. 前記ＧＵＩは、
   前記音オブジェクト表示データの発生および消滅情報を前記ＧＵＩ・プロジェクトデータ解釈モジュールに出力し、
   前記ＧＵＩ・プロジェクトデータ解釈モジュールは、
   音オブジェクト表示データの発生および消滅情報を時刻対応のデータとして設定した時刻対応履歴情報を時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルとして生成し、
   前記オーディオ信号処理部は、
   前記時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルの設定された音オブジェクトに対応する音声データの出力開始および出力停止を、前記時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルに設定された発生および消滅情報に対応した処理として実行する構成であることを特徴とする請求項１に記載のオーディオデータ処理装置。
6. 前記オーディオ信号処理部は、
   複数の入力音声データの各々に対応してトラック割り当てを実行し、トラック毎の出力調整処理を並列に実行する構成であることを特徴とする請求項１に記載のオーディオデータ処理装置。
7. 前記ＧＵＩは、
   前記音オブジェクト表示データを、音声データに対応付けた絵柄データ部と、音量情報表示部とを含む表示データとしてディスプレイに表示する処理を実行する構成であることを特徴とする請求項１に記載のオーディオデータ処理装置。
8. 前記ＧＵＩ・プロジェクトデータ解釈モジュールは、
   １以上の前記音オブジェクト表示データに対応する操作情報を前記ＧＵＩから入力して、音オブジェクトに対応する時刻対応操作履歴情報を生成し、生成した音オブジェクトに対応する時刻対応操作履歴情報と、音オブジェクトに対応する音声データファイルの参照情報とを含むプロジェクトデータファイルを生成する構成であることを特徴とする請求項１に記載のオーディオデータ処理装置。
9. 前記オーディオ信号処理部は、
   前記プロジェクトデータファイルに基づく音声データ再生処理において、該プロジェクトデータファイルに設定された音声データファイルの参照情報に基づいて音声データファイルを取得し、該プロジェクトデータファイルに設定された時刻対応操作履歴情報に従って、音声データの出力調整を行って再生処理を実行する構成であることを特徴とする請求項８に記載のオーディオデータ処理装置。
10. 前記ＧＵＩ・プロジェクトデータ解釈モジュールは、
    前記プロジェクトデータファイルに基づく音声データ再生処理において、前記音オブジェクト表示データを、ディスプレイに表示した音場フィールド内において、前記プロジェクトデータファイルに設定された時刻対応操作履歴情報に従って移動表示させる制御を行なう構成であることを特徴とする請求項８に記載のオーディオデータ処理装置。
11. オーディオデータ処理方法であり、
    音声データに対応して設定される音オブジェクト表示データをディスプレイに表示するユーザインタフェース表示ステップと、
    前記音オブジェクト表示データに対応するユーザ操作情報を入力して、音オブジェクトに対応する時刻対応操作履歴情報を生成する操作履歴情報生成ステップと、
    前記音オブジェクトに対応する時刻対応操作履歴情報に基づいて、前記音オブジェクトに対応する音声データの時刻対応の出力調整処理を実行するオーディオ信号処理ステップと、
    を有することを特徴とするオーディオデータ処理方法。
12. 前記オーディオデータ処理方法は、さらに、
    ディスプレイに表示した音場フィールド内に配置された音オブジェクト表示データの音場フィールド内の位置情報を時刻対応のデータとして設定した時刻対応操作履歴情報を時刻位置対応イベントテーブルとして生成するステップを有し、
    前記オーディオ信号処理ステップは、
    前記時刻位置対応イベントテーブルの設定された音オブジェクトに対応する音声データのサラウンド空間における出力値調整を、前記時刻位置対応イベントテーブルに設定された位置情報に対応したサラウンド音声データ処理として実行することを特徴とする請求項１１に記載のオーディオデータ処理方法。
13. 前記オーディオデータ処理方法は、さらに、
    ディスプレイに表示した音場フィールド内に配置された複数の音オブジェクト表示データの音場フィールド内の位置情報に基づいて、各音オブジェクト毎に時刻対応のデータとして設定した時刻対応操作履歴情報を時刻位置対応イベントテーブルとして生成するステップを有し、
    前記オーディオ信号処理ステップは、
    前記時刻位置対応イベントテーブルの設定された複数の音オブジェクトに対応する音声データのサラウンド空間における出力値調整を、各音オブジェクトに対応する前記時刻位置対応イベントテーブルに設定された位置情報に対応したサラウンド音声データ処理として実行し、複数の音オブジェクトに対応する複数の音声データのミックスされたサラウンド音声出力を実行することを特徴とする請求項１１に記載のオーディオデータ処理方法。
14. 前記オーディオデータ処理方法は、さらに、
    前記音オブジェクト表示データの音量調整情報を時刻対応のデータとして設定した時刻対応音量調整履歴情報を時刻音量対応イベントテーブルとして生成するステップを有し、
    前記オーディオ信号処理ステップは、
    前記時刻音量対応イベントテーブルの設定された音オブジェクトに対応する音声データの出力値調整を、前記時刻音量対応イベントテーブルに設定された音量情報に対応した音量調整処理として実行することを特徴とする請求項１１に記載のオーディオデータ処理方法。
15. 前記オーディオデータ処理方法は、さらに、
    前記音オブジェクト表示データの発生および消滅情報を時刻対応のデータとして設定した時刻対応履歴情報を時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルとして生成するステップを有し、
    前記オーディオ信号処理ステップは、
    前記時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルの設定された音オブジェクトに対応する音声データの出力開始および出力停止を、前記時刻発生対応イベントテーブルおよび時刻消滅対応イベントテーブルに設定された発生および消滅情報に対応した処理として実行することを特徴とする請求項１１に記載のオーディオデータ処理方法。
16. 前記オーディオ信号処理ステップは、
    複数の入力音声データの各々に対応してトラック割り当てを実行し、トラック毎の出力調整処理を並列に実行することを特徴とする請求項１１に記載のオーディオデータ処理方法。
17. 前記ユーザインタフェース表示ステップは、
    前記音オブジェクト表示データを、音声データに対応付けた絵柄データ部と、音量情報表示部とを含む表示データとしてディスプレイに表示する処理を実行することを特徴とする請求項１１に記載のオーディオデータ処理方法。
18. 前記オーディオデータ処理方法は、さらに、
    １以上の前記音オブジェクト表示データに対応する操作情報に基づいて音オブジェクトに対応する時刻対応操作履歴情報を生成し、生成した音オブジェクトに対応する時刻対応操作履歴情報と、音オブジェクトに対応する音声データファイルの参照情報とを含むプロジェクトデータファイルを生成するステップを、
    有することを特徴とする請求項１１に記載のオーディオデータ処理方法。
19. 前記オーディオ信号処理ステップは、
    前記プロジェクトデータファイルに基づく音声データ再生処理において、該プロジェクトデータファイルに設定された音声データファイルの参照情報に基づいて音声データファイルを取得し、該プロジェクトデータファイルに設定された時刻対応操作履歴情報に従って、音声データの出力調整を行って再生処理を実行することを特徴とする請求項１８に記載のオーディオデータ処理方法。
20. 前記オーディオデータ処理方法は、さらに、
    前記プロジェクトデータファイルに基づく音声データ再生処理において、前記音オブジェクト表示データを、ディスプレイに表示した音場フィールド内において、前記プロジェクトデータファイルに設定された時刻対応操作履歴情報に従って移動表示させる制御を行なうステップを、
    有することを特徴とする請求項１８に記載のオーディオデータ処理方法。
21. オーディオデータ処理を実行するコンピュータ・プログラムであり、
    音声データに対応して設定される音オブジェクト表示データをディスプレイに表示するユーザインタフェース表示ステップと、
    前記音オブジェクト表示データに対応するユーザ操作情報を入力して、音オブジェクトに対応する時刻対応操作履歴情報を生成する操作履歴情報生成ステップと、
    前記音オブジェクトに対応する時刻対応操作履歴情報に基づいて、前記音オブジェクトに対応する音声データの時刻対応の出力調整処理を実行するオーディオ信号処理ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images