JP2005510926A

JP2005510926A - マルチメディア装置

Info

Publication number: JP2005510926A
Application number: JP2003548246A
Authority: JP
Inventors: バーリー，ジェイムズ・アンソニー
Original assignee: サーディス・ディヴェロプメンツ・リミテッド
Priority date: 2001-10-09
Filing date: 2002-10-09
Publication date: 2005-04-21
Also published as: WO2003046913A1; AU2002343186A1; EP1436812A1; US20050025320A1; IES20020519A2

Abstract

４つの図解として示されている対話型のマルチメディア装置（操作デバイス）は、ＰＣ（パーソナル・コンピュータ）又はプログラムからなるソフトウェアの組を備えた同様のシステムを備えた制御ユニットに結合されている。この装置は、付勢手段を有しているが、これは、複数のボタンと１つのアナログ要素とを含み、個々のオーディオ又はビデオ・トラックの特性とパラメータと特別効果とを、及び／又は、リアルタイムでのミキシング・サイクルの間の複合オーディオ・ミックスの特性とパラメータと特別効果とを、修正し、洗練し、調整し、変動し、及び／又は、変更する動的介入手段を含んでいる。付勢手段の機能は、ユーザによって容易に設定が可能である。ＰＣは、ミキシングされるトラックを表示し、予め選択されたミキシング効果が更に選ばれ、トラック・ファイルの管理が可能になる。この装置は、足操作手段（例えば、ダンス・マット）やステアリング・ホイールを含みこともあるし、完全に一体化されることも可能である。

Description

本発明は、マルチメディア装置に関し、更に詳しくは、対話型のマルチメディア装置に関する。

ＰＣ及びコンピュータ・ベースの製品のための電子ミキシング・ソフトウェアは既知であり、市販されているものとインターネット上のフリーウェアとして入手可能なものとの両方のパッケージが存在している。これらのパッケージにより、ユーザは、ループ、リフ、ビート、ワンショットすなわちＣＤのコンテンツ、トラック、マイクロフォン入力、ビデオ・ファイルなどを作成し、また、それらをミキシングして自らが希望するサウンド出力コンパイレーションを作り出すことが可能となる。ユーザは、それぞれの選択されたループ、リフ、ワンショット、ビデオ・クリップ、ＣＤ出力、マイクロフォン入力などを、それらが再生サイクルのその時間においてミキシングされるように、時間軸のルーラ・バーに沿った選択されたトラック位置に配置する。コンテンツは、ＷＡＶ、ＭＰ３、ＷＭＡまたはミキシングされている任意のそれ以外のデジタル媒体フォーマットでありうるが、これらのコンテンツは、記録されたテンポで準備されており、固定された時間の長さを有している。希望するミックスは、通常、異なるビート、ループ、リフ、ワンショット、音声、ビデオなどの複数のトラックを含む。ミキシング・プロセスが開始すると、再生バー・インジケータが、それぞれのトラック上の時間軸ルーラの全体を移動して、それぞれのトラックの中でミキシングが生じている位置を示す。

ほとんどのデジタル・ミキシング・ソフトウェア・パッケージは、ユーザが、ミキシング・プロセスが生じるのに先立ってそれぞれのチャネルに対して一連の制御及び効果を設定することを可能にし、また、複合ミックス出力のいくらかの限定された大局的（グローバル）な制御をも可能にする。制御及び効果は、通常、生じるミキシング・プロセスに先立って適用されるが、限定された制御の中には、ミキシング・サイクルの間に許容されるものもある。ミキシング・プロセスの間に変更されることが許容される個々のトラック・パラメータには、音量、ミュート（無音）、テンポ及びトーンが含まれる。特別効果は、通常は、ミキシング・プロセスの間には許容されない。

ユーザがキーボードやギターのようなＭＩＤＩ（Musical Instrument Digital Interface）デバイスを自らのミキシング・パッケージとのインターフェースのために接続することを可能にするようなミキシング・パッケージの数は非常に限られている。これらのＭＩＤＩデバイスは、効果であり、ＰＣやそれ以外のプログラム可能な計算装置に接続することを可能にするには、追加的なハードウェアやソフトウェアが必要となるのが通常である。ＭＩＤＩ周辺インターフェースを有するこれらのソフトウェア・ミキシング・パッケージにより、ユーザは、ループ、ビート、リフ又はワンショットをピアノ・キーボードにおいて割り当てることが可能になる。ピアノ・キーボードは、押下されると、ソフトウェアをトリガし、そのキーに割り当てられている予め選択されたコンテンツを、キー押下の間、再生し、これが、ミキシング・サイクルにおけるキー押下の時点でミキシングされることになる。この経験及び効果は、オン／オフ機能を、標準的なＰＣキーボード上のある１つのキーに割り当てるのと同様である。ソフトウェア・ミキシング・パッケージによっては、ピアノ・キーボードの図解がユーザに対してスクリーン上に提供されるものもあり、その場合、ユーザは、マウス又はキーボード・ボタンによって選択されると、ミキシング・サイクルの中のその時点で再生されるべきイベント又はミックス・トラックをトリガする個々のキーを割り当てることができる。

デジタル・ソフトウェア音楽編集パッケージとしては、商品として市販されているものと、インターネット上でフリーウェアとして流通しているものとの両方が、数多く存在している。これらのパッケージによれば、ユーザは、リフ、ループ、ビート、ワンショット、ＣＤ出力及びそれ以外の媒体コンテンツを、カット、ペースト、コピー及びデジタル・コンテンツを編集するためのそれ以外の既知の技術により、編集することができる。この編集プロセスでは、ユーザが、波形の一部を選択し、その波形の特定及びパラメータを修復又は変更することが必要となる。ユーザは、波形の特性を変更し、効果を追加し、同じトラックを用いてそれを移動させる又は修復し、それをカット及びペーストし、又は、それを新たに作成されたトラックにコピーすることができる。この編集プロセスは、マウス若しくはキーボードのいずれか、又は、これら両者の組合せを用いて達成される。ユーザは、ループ、ビート、リフ、ワンショット、ビデオ・クリップ、マイクロフォン入力などのあるセグメントだけを用いることを望むのであれば、まず最初にそれを前編集し、次に、ミキシング・サイクルの中のその所定の時点でミキシングされる時間軸に沿った再生位置においてトラックに挿入しなければならない。

既存のデジタル・ミキシング及び編集ソフトウェア・パッケージは、「二次元的」な経験を提供するのであり、すなわち、トラック成分は、予め指定された効果パラメータを用いて時間軸ルーラに沿った固定された位置において、スクリーン上に配置される。

対話型のマルチメディア装置の一例が、本出願の最先の優先日の後に、国際公開番号ＷＯ０１／９５０５２として２００１年１２月１３日に国際公開された、この出願の出願人による国際特許出願に示されている。

本発明は、計算手段にインストールされたプログラムからなるソフトウェアの組と共に使用可能な対話型のマルチメディア装置であって、表示コンポーネントとこの装置に接続するための適切な入力接続ポートとを備えたマルチメディア装置において、個々のオーディオ又はビデオ・トラックの特性とパラメータと特別効果とを、及び／又は、リアルタイムでのミキシング・サイクルの間の複合オーディオ・ミックスの特性とパラメータと特別効果とを、修正し、洗練し、調整し、変動し、及び／又は、変更する動的介入手段を含んでいることを特徴とするマルチメディア装置を提供する。

特に、本発明の他の新規な特徴は、請求項２ないし請求項２４において定義されており、これらは、この明細書において援用される。
本発明の好適な形態により、ユーザは、複合ミックスのすべての制御とパラメータと特別効果の詳細とを記録することができ、これには、動的に適用される制御とパラメータとこの対話型のマルチメディア装置の制御部材の付勢によって開始される効果とが含まれ、これらは、ミキシング・サイクルの間、作用がなされる。更に、ユーザには、視覚的表示ユニットに表示されるミックスにおけるそれぞれのトラックの絵画的又はそれ以外の表現の形態での視覚的表現と厳密な位置とを前記ミキシング・サイクルにおいて前記介入が生じる時間に間に合うように提供され、強調されたブロックが、この対話型のマルチメディア装置の制御部材の付勢によるユーザの介入の結果として、追加、削除若しくは修正、制御変化、パラメータ変化及び／又は特別効果が与えられる場所を示す。前記視覚的ユニットに示される絵画的な表現は、また、前記複合ミックス特性に与えられた制御変化、パラメータ変化及び特別効果を、これらのイベントが生じた厳密な時点で、図解する。

以下では、本発明を、本発明によるマルチメディア・システムの複数の実施例を単なる例示としてであるが示している添付の図面を参照しながら、更に詳細に説明する。

本発明のシステムは、２つの主要なユニットを含む。すなわち、操作デバイス（対話型マルチメディア装置）と、プロセッサ・ユニットとマウスと視覚的ディスプレイ・ユニット（ＶＤＵ）とを含む標準的なコンポーネントを有するパーソナル・コンピュータ（ＰＣ）によって構成される制御ユニットと、である。

図１は、操作デバイスの物理的構造の４つの図解を示しており、図２は、その回路を示している。このデバイスは、ユーザによって操作可能でありユーザの付勢及び選択に応答して電気信号を発生する付勢手段を有する。

示されている対話型マルチメディア装置（操作デバイス）は、制御ユニットへのユニバーサル・シリアル・バス（ＵＳＢ）接続を用いる。しかし、この対話型マルチメディア装置からの接続は、ブルートゥース、シリアル、パラレル、又は、データ転送の目的に適した任意のそれ以外の接続でよい。プロセッサは、プログラムの記憶とプロセッサの作業空間とのためのＲＡＭ及びＲＯＭを含む。示されているプロセッサ（Ｕ１）はＳＴマイクロエレクトロニクス社からのものであるが、同様の機能と仕様とを有する他の製造業者の製品を用いても容易に代替が可能である。

更に詳しくは、アプリケーション・ソフトウェアが動作する制御ユニットは、任意のパーソナル・コンピュータ、ハンドヘルド・コンピュータ、処理能力を備えた音楽演奏装置、携帯電話装置（特に、オーディオ出力が利用可能な２．５Ｇ又は３Ｇ携帯電話）、パーソナル・デジタル・オーガナイザ、ゲーム・コンソール、セットトップ・ボックス装置、又は、アプリケーション・プログラムを動かすのに必要な処理能力を備え視覚的ディスプレイ・ユニットとデジタル・オーディオをアナログ・サウンド出力に変換する手段とを有する任意の装置でよい。制御ユニットは、リフ、ループ、ビート、ワンショットなどを保持する記憶デバイス空間と、アプリケーションを満足できるように動作させるのに十分な作業空間を有するメモリ空間とを有していなければならない。装置によっては、限定されたプロセッサ能力、ＲＡＭ及びＲＯＭを有していることが明らかである。利用できる処理能力及びメモリ空間が限定されている場合には、アプリケーションは、ミキシングが可能で適用できる制御及び効果の範囲がより限られるように限定される。

図１０は、統合型のＭＰ３プレイヤー／ミキサーの組合せを示しているが、そこでは、動的なミキシング制御部材と操作デバイスとがハウジングの中に統合され、単一の複合体を形成している。アプリケーション・ソフトウェアがこのデバイスに移植されると、ユーザがモバイル環境において完全なミキシング経験を楽しむことが可能になる。

制御ユニットの別の形態としては、次のようなものがある。足で操作されるペダル・ボタン装置。マット又はプラットフォームの色つき部分の内部又は下側に配置されたスイッチを含むダンス・マットであって、これらのスイッチは、足の圧力によって付勢されるもの。自動車型のステアリング・ホイールであって、制御部材がステアリング・ホイール領域の周囲に配置されているもの。

これらすべての場合に、制御部材は、先に言及した制御部材と同様の態様で、割り当てられ、構成され、操作される。このシステムは、また、機械的に付勢される制御部材の代わりに、音声による付勢を用いることもできる。

対話型マルチメディア・デバイス（図２）は、ＵＳＢ低速（１．５Ｍｈｚ）バスによって給電されるデバイスである。このデバイスは、３ｍの４コア・スクリーンド・ケーブルを介してＰＣに接続される。このデバイスは、ＵＳＢコネクタＣＮ１を介してＰＣから＋５ボルトの電力を受け取る。ＣＰＵクロックは、２４Ｍｈｚの水晶（Ａ）によって設定されている。電力が最初に与えられると、ＣＰＵは、コンデンサと抵抗との組合せＣ２、Ｒ２及びＣ３によってリセットされる。

このデバイスは、プロセッサＵ１と、１１のプッシュダウン・スイッチ制御部材ＳＷ１−ＳＷ１１と、光結合された回転可能な制御部材ＳＷ１２と、出力ＵＳＢチップＵ２と、２４Ｍｈｚ水晶Ａと、複数の抵抗及びコンデンサと、ＬＥＤとを有している。マルチメディア装置のＣＰＵであるＵ１はファームウェアを含み、これが、ユーザによる制御部材Ｓ１−Ｓ１２の付勢を検出し、制御部材の付勢を電気信号に変換する。この電気信号は、以下で説明するソフトウェア・パッケージの機能を用いてユーザによって制御部材に割り当てられた機能を実行するソフトウェアによる処理のために制御ユニット（ＰＣ又はそれ以外のプログラム可能なデバイス）に送られる。

以下で論じるように、対話型マルチメディア装置の制御部材の設定は、ユーザの好み似合うように構成されている。回転可能な制御部材は、任意のトラック、ループ、ビート、リフ、ワンショット、ＷＡＶ、ＭＰ３、ＷＭＡなどに対して一意的なミキシング効果を提供することができる。この回転可能な制御部材は、スクラッチ効果、逆再生、リプレイ、音量制御調整、パン制御、リピートなどを適用することができる。すべての制御パラメータ及び効果は、任意の制御部材に割当可能である。

すべてのＵＳＢデバイスは、サスペンド・モードをサポートしなければならない。このモードによると、３マイクロ秒（ｍｓ）を超えていかなる動作も検出されない場合には、デバイスを低電力モードとすることができる。デバイスは、サスペンド・モードにあるときは、５００マイクロアンペア未満しか必要としない。ＣＰＵポートＡ及びＣは、サスペンド・モードにはいる際の出力として構成されている。その理由は、入力としては、ポートＡ及びＣは、それぞれが、これらポートの内部プルアップ抵抗のために、５０マイクロアンペアを要するからである。ＣＰＵポートＢは内部プルアップ抵抗を全く含まないが、光結合された光トランジスタの出力において外部プルアップ抵抗が実現されている。従って、これらのポートＢのＣＰＵピンは、出力として構成されるべきであり、サスペンド・モードにはいる前に、５Ｖが与えられるべきである。

サスペンド・モードの間は、ＣＰＵ内部の発振器はオフになっている。この状態では、ＣＰＵはキーの押下やホイールの動きを検出することができない。従って、ボタンが押下された又はホイールが動かされたかどうかをチェックするためには、サスペンド・モードを終了させなければならない。どのようなものであってもバス動作があれば、デバイスのサスペンド・モードは終了する。

正常なバス動作、リセットを知らせる、又は、外部割込みによって、バス状態をレジューム状態に切り換えることにより、システムのサスペンド・モードを終了させることができる。抵抗Ｒ１とコンデンサＣ１との目的は、サスペンド・モードにあるＣＰＵの眼を周期的に覚まさせることである。コンデンサＣ１は、ＣＰＵの外部割込ピンＰＢ５に接続されており、サスペンド・モードにあるときには抵抗Ｒ１を介してＣ１を充電する。コンデンサの電圧がローからハイへのトリガに到達すると直ぐに、ＣＰＵは目を覚まし動作を開始して、ホイールが動かされたか又はボタンが押下されたかをチェックする（システムは、遠隔目覚ましシーケンスを実行する）。何も起こっていない場合には、システムは、コンデンサを放電し、再びサスペンド・モードに入る。

Ｒ１．Ｃ１の時間周期が、この製品に流れる平均電流を設定する。平均電流は、ＵＳＢ互換であるためには、５００マイクロアンペア未満でなければならない。Ｒ１＝１ＭＯ、Ｃ＝０．３３マイクロファラッドのときには、サスペンドの周期時間は３０６ｍｓである。（異なるＲ１．Ｃ１の時定数を計算する公式は、製品に流れる平均電流＝（Ｉｍａｘｘ８００マイクロ秒＋（２５０マイクロアンペアｘ（周期−８００マイクロ秒）））である。ただし、Ｉｍａｘとは、完全にアクティブであるときに製品が流す電流である。）平均電流は、４５０マイクロアンペアに選択され、周期が計算されなければならない。

ＰＣは、ソフトウェアの組を含んでおり、このソフトウェアの組は、他のものに加えて、次を提供する。すなわち、対話型マルチメディア装置とのインターフェースを与えるドライバ・ソフトウェア。制御部材をユーザが付勢操作した結果として発生した電気信号を解釈するソフトウェア。ユーザがこの対話型マルチメディア装置の制御部材を操作することによって制御を生じさせ、ミキシング・サイクルの間にミックスの成分とミックス組成パラメータの全体とを修正及び調整することを可能にするミキシング及び編集ソフトウェア。異なる機能及び効果のための制御部材の構成及び割当て。複数の同様の又は異なる対話型マルチメディア装置の構成及び割当て。ユーザがミキシング・サイクルの中のその時点においてミキシングされる時間軸ルーラに沿ったトラックにおいてユーザのループ、リフ、ビート、ワンショット、ビデオ・クリップ、マイクロフォン入力などを構成し定義し配置することを可能にするミキシング及び編集ソフトウェア。

ユーザは、対話型マルチメディア装置における制御部材を付勢することにより、波形成分のセグメントをトリガし、ミキシング・サイクルの間そのセグメントを動的にミキシングすることができ、よって、手作業による編集プロセスで生じる退屈を回避することができる。

このシステムにより、ユーザは、ミキシング・サイクルの間になされた対話型マルチメディア装置の制御部材の付勢により開始された動的に適用された制御とパラメータと効果とを含む複合ミックスの制御とパラメータと特別効果の詳細とのすべてを記録することが可能になる。更に、このシステムは、ユーザに、視覚的ディスプレイ・ユニットに表示されたミックスのそれぞれのトラックと、そのミキシング・サイクルにおいて介入が生じた正確な時点との図解形式を有する視覚的表現を提供する。対話型マルチメディア装置の制御部材の付勢によるユーザの介入の結果として追加、削除若しくは修正、制御変更、パラメータ変更及び／又は特別効果がなされた場所はブロックを強調して示される。視覚的ディスプレイ・ユニットに示された図解表現は、また、複合ミックス特性に与えられた制御変更、パラメータ変更及び特別効果を、これらのイベントが生じた正確な時点と共に、図解する。

今日では、多くのデジタル・ミキシング及び編集ソフトウェア・パッケージが入手可能であり、このアプリケーション・ソフトウェア・パッケージに含まれている手作業（マニュアル）によるミキシング及び編集のための特徴の多くは、公衆が利用可能なパッケージの中に見出すことができる。本発明のシステムでは、ユーザは、この対話型マルチメディア装置の制御部材を操作することにより、ミキシング・サイクルの間、リアルタイムで、個々のトラックの特性とパラメータと効果とを、又は、複合ミックスの特性とパラメータと効果とを動的に変更することができる。このソフトウェアは、効果及び制御パラメータを１又は複数の対話型マルチメディア装置の個々の制御部材に割り当てることを可能にして、ユーザによる制御部材の付勢によって実行された作用を解釈し、ミキシング・サイクルの間にリアルタイムで１又は複数の制御部材に割り当てられた機能を実行する。

次に、アプリケーション・インターフェースの視覚的ディスプレイ領域と制御部材の割当プロセスとを説明し、ソフトウェア及びソフトウェアの設定と構成とパラメータの割当てとの間の関連を示す。

図３は、上側に示されているステータス・バーＢのいくつかの要素と共に、基本的なスクリーン・レイアウトを示している。トラック制御パネルＣが、２つのトラックについて示されている。エンベロープ・ウィンドウＡは、ループ、リフ、ビート、ワンショットなどの波形を表示しているが、両方のトラックについて示されている。

図４は、トラック制御パネルＣの内部の標準的なトラック制御を図解している。これらには、停止（Ｄ）、プレイ（Ｅ）、ループ（Ｆ）、ロード（Ｇ）、効果（Ｈ）、テンポ調節ディスプレイ（Ｊ）、ミュート（Ｋ）、音量（Ｌ）、パン（Ｍ）、タイム・マーカー（Ｎ）、プログレス・マーカー（Ｐ）、タイトル・バー（Ｑ）、波形解像度調節（Ｒ）、対話型マルチメディア装置の制御（Ｓ）、対話型マルチメディア装置の構成（Ｔ）、及びトラック長（Ｖ）が含まれている。

このシステムは、ビデオ・ファイル、ＡＶＩファイル及びそれ以外のビデオ媒体ファイル・フォーマットと共に用いることができる。ユーザは、図４に示されているロード・アイコンＧからビデオ媒体ファイルをロードすることができる。ユーザは、本発明によってカバーされている特徴及び機能の任意のもの又はすべてを用いることにより、サウンド・ミックスをビデオ媒体ファイルに追加することができる。多くのユーザが、デジタル・カメラからのファイルを移植し、自分自身が作ったサウンド・トラックを追加している。このシステムは、ユーザが、完全に対話型であり創造的な経験を享受することを助ける。

図５にはボックスＳが示されているが、これは、選択されると、対話型マルチメディア装置への制御を選択されたトラックに割り当てる。このボックスＳが選択されると、トラック制御の付勢、パラメータ、効果構成、及びトラック選択がこの対話型マルチメディア装置の選択された制御部材に以下で述べるように割り当てられる。図５には、また、アイコンＴが示されているが、これは選択されると、以下で述べるように、この対話型マルチメディア装置の制御部材に対する割当設定スクリーンをユーザに提供する。

図６は、装置構成スクリーンを示しているが、これは、アイコンＴ（図５）が選択されると、現れるものである。ユーザは、提供されているオプションを選択することにより、構成されるべき希望する装置を選択する。この装置の物理表現１０は、明らかに識別されラベル付けされた制御部材を用いてユーザに提供される。ウィンドウ４には、ミックスと関連付けされたトラック・部材が示されており、また、複合トラック識別子も含まれている。

ユーザは、ウィンドウ４からトラックを選択し、選択ウィンドウ１、２及び３から制御部材を選択することができる。選択ウィンドウ１、２及び３は、単に限定された数の例として示されており、図４のトラック制御パネルに示されているすべての制御をそれ以外のものに加えて含む。図６の構成パネルにおける制御のそれぞれは、ユーザによって割当可能な個々のパラメータの範囲を有している。例えば、ユーザは、音量１を制御部材によって動的に調整可能なものとして選択することができる。そして、アプリケーションによって、ユーザは、最小又は最大のスレショルドを予め締め設定して、任意の選択された制御部材又は回転可能な制御部材によって、所定のステップで構成される段階的な変化が可能になる。同様にして、テンポの選択２では、ユーザは、関連付けられた制御部材が付勢されるとアプリケーションによって選択されたトラック又は複合ミックスに与えられる細かな又は粗い調整を選択することができる。ユーザは、何らかの効果をトラック又は複合ミックスに追加することを希望する場合には、ウィンドウ３を選択することができ、このウィンドウ３は、その中から選択ができる効果のオプションのメニュ７を提供する。選択された効果は、関連付けられた制御部材が付勢されると、アプリケーションによって、トラックに与えられる。

次に、ユーザは、選択された制御及び効果を選択した制御部材に割り当てなければならない。ボタン割当て８は、選択された対話型マルチメディア装置で使用可能な制御部材の選択を表示する。ユーザがボタン割当ての選択をすると、パラメータ及び効果は、個々のトラック若しくはトラック群に、又は、複合ミックスに、この制御部材の付勢を検出したアプリケーション・プログラムによって、与えられる。

制御部材に割り当てられたパラメータはユーザには９として示されている。ユーザは、物理デバイスの視覚的インジケータの中に示されている制御部材Ａ−Ｋを選択して、ソフトウェアは、その制御部材に割り当てられた制御、パラメータ及び効果を表示する。

図７は、図６に示されたスクリーンから選択されうるサブメニュをトリガする。ユーザは、制御部材の付勢への応答方法を選択することができる。便宜的に、２つのオプションが示されており、これらによると、ユーザは、ボタン５又は６を選択することによって、制御及び効果がボタン押下又はボタン開放の際にトリガされるように要求することができる。実際には、トリガのオプションとしては、限定列挙ではないが、継続、最初からプレイ、停止、スクラッチ、リプレイ、リピートなどが含まれる。

図９には、スクリーンの左側サイドＡには、ユーザが選択した媒体タイプに対してソフトウェアが記憶デバイスを走査した結果として得られた走査ディスプレイ・ビュー・ウィンドウ、ディスプレイ・ディレクトリ、フォルダ及びコンテンツ・ファイルが表示されている。ユーザは、ロード及び選択を容易にするために、記憶デバイスにあるＷＡＶ、ＭＰ３、ＡＶＩなどすべてのファイルのリストを、又は、ＷＡＶファイルだけを表示することを望む場合がありうる。走査プロセスは、ツールバー上のアイコンの選択によって開始される。

ユーザによって選択された媒体タイプに対する記憶領域の走査プロセスは、リアルタイムで実行できる。ユーザは、アイコンＥの任意のものを選択することにより、そのフォルダ及び／又はディレクトリに含まれている個々の媒体コンポーネントを提供される。ユーザは、希望する媒体コンポーネントをドラッグして、それを波形ディスプレイ領域Ｆに配置することができる。この機能を用いて、ユーザの選択した媒体タイプを求めて記憶装置にリアルタイムで質問することで、従来型のサーチ方法を用いて希望する媒体コンテンツを見つけるという困難で面倒でときには不可能でもある作業を消し去ることができる。希望するコンテンツ・ファイルを求めて記憶デバイスを走査する機能と、選択されたコンテンツ・ファイルを波形ディスプレイ領域の中にドラッグする機能とは、デジタル・ミキシング及び編集ソフトウェア・パッケージのプロでないユーザにとっては、非常に重要である。

現時点で入手可能なデジタル・ミキシング及び編集パッケージを用いて作業する場合には、編集は、面倒なプロセスである。ユーザは、ミックスの中のループ、リフ、ビート、ワンショットなどの僅かなセグメントだけを用いる希望をもっていることがあり得るだろう。ユーザは、カットされるべき領域にマークを付け、次に、新たなトラックを開いて、そのカットを、時間軸ルーラ上の所定の位置に配置するか、又は、時間軸ルーラに沿った選択された位置にそれをミックス組成の状態で直接に配置する。ユーザにとっては、ミキシング・サイクルの中の任意の時点におけるミキシングされたトラックの組合せによって結果的にどのようなサウンド効果が生じるのかを予測するのは非常に困難である。

本発明による対話型マルチメディア装置を用いると、ユーザは、ミキシング・サイクルの中に介入して、サウンド、ビート、リフ、ループなど、又は、ビデオ媒体のループ、リフ又はビートのセグメントを、その時点で介入すればミックスに補完的で強化的な寄与が提供されると自らが考える任意の時点で、与えることができる。この対話型マルチメディア装置によれば、ユーザは、波形成分のセグメントを選択してマークし、ミキシング・サイクルの間にそのセグメントを動的にミキシングすることができ、よって、手動でのカット、ペースト及びコピーという面倒な作業を回避できる。従来型のミキシング及び編集の例と本発明が動的なミキシング及び編集プロセスを用いて提供する効果とは、図８−図８Ｆを参照しながら後で説明する。

本発明によると、ユーザは、対話型マルチメディア装置の制御部材を付勢することにより、ミキシング・サイクルに介入することが可能になる。検出された制御部材に割り当てられたパラメータ、制御及び効果は、アプリケーション・ソフトウェアによってリアルタイムでミックスに与えられる。ユーザの介入は動的でありミキシング・サイクルの間の任意の時点で生じうるのだから、制御部材の付勢によってトリガされる制御、パラメータ又は効果に対する介入は、適用されたすべてのパラメータを用いて記録され、適用される時点で及び適用の間キャプチャされることが必須である。ソフトウェア・アプリケーションは、制御部材の付勢の結果として生じるパラメータ、効果及び制御を記憶し、それらを、時間軸ルーラに沿ったその正確な位置における個々のトラック・コンポーネントとして、ブロック波形イメージにおける視覚的ディスプレイ・ユニット上において、ユーザに提供する。ここで、これ以外の固定された位置のトラックは、ミキシング前の設定においてユーザによって位置決めされる。ユーザには、従って、追加的な編集、ミキシング、効果などを可能にする動的に作成されたコンポーネントを含むトラックのミックスの視覚的イメージが提供される。

記録選択アイコンが、例示的に、図９のＢとして示されている。アイコンＢの選択は、複合ミックス・サウンドの記録と、トラック波形レイアウト・テンプレートにおける将来的な視覚的提供のための特性、効果、パラメータ、トリガ時間及び付勢の継続時間とを開始させる。アイコンＣは、複合ミックスの発生のためのミキシング・サイクルの開始のためのプレイ・ボタンを示している。ボタン・アイコンＢ及びＣは、単に例示として示されているのであって、多くのこれ以外の大局的な制御も含まれる。例えば、音量、テンポ、効果、パン、ピッチなどである。

図８及び図８Ａ−図８Ｆは、上述した動的なミキシング、編集及び記録された視覚的表現の視覚的表現を表示する一連の図の一部である。
図８は、従来型の手作業でのミキシング及び編集プロセスの例を示している。この例は、一連のトラック表現の一部とミキシング・サイクルの中の時間的な一部分とを示している。ユーザは、それぞれのトラックに割り当てることを希望するコンテンツを選択し、コンテンツ・ブロックを、時間軸ルーラＧ上の希望する位置に配置することができる。この例では、ユーザは、図８に示されている３つのコンテンツ・トラックを選択し、ラベル１、２及び３として構成している。ユーザは、それぞれのトラックの中のコンテンツに、ミキシング前の選択における時間軸ルーラに沿った任意の時点で、効果、制御、制御及びパラメータを、手作業で予め割り当てることができる。ユーザによってトラック・コンポーネントに適用された効果は、プレイバーがミキシング・サイクルの間に時間軸ルーラ上のその時点に到達したときに、ソフトウェアによって実現される。

ユーザは、次に、ループのセグメント（Ｅｄｉｔ）を、ミキシング・サイクルの間の異なる時点でミックスに追加することを望むかも知れない。ユーザは、選択されたループ刈ら図８ＡのセグメントＢを用いることを望む。次に、ユーザは、コンポーネントの開始点ＣＩを選択してマークし（図８Ｂ）、カーソルをドラッグするか又はメニュの選択により、コンポーネントの終点ＣＩＩをマークする。次に、ユーザは、時間軸ルーラ上の選択された時点において、新たなトラック・レイアウトとして、又は、既存のトラック・レイアウトの内部で、選択されたブロックＣをミックスの中に挿入する。この例では、編集されたブロックＣは、新たなトラック４の内部の時間軸ルーラに沿って手作業で挿入されるものとして示されている。

この手作業によるミキシング及び編集プロセスでは、ユーザは、ミキシング・サイクルが生じる前に効果特性をトラックに又はトラック・コンポーネントに予め割り当てることにより達成される結果として達成可能なサウンド効果を正確に予測することはできない。ユーザは、また、ミキシング・サイクルが生じる前に編集されたコンポーネントを導く又は配置することによって発生されるサウンド効果を予測しなければならない。従来型の手作業によるミキシング及び編集パッケージでは、ユーザは、ミキシング・サイクルの間に動的に介入してトラック・レベルで効果を追加する又はパラメータを変更する能力を、全面的に制限されるか、又は、厳しく制限されるかのいずれかであった。

この対話型マルチメディア装置は、ユーザに動的な経験を提供し、従来型のデジタル・ミキシング及び編集の場合と比較して、より単純でより使いやすいインターフェースを提供する。本発明によるシステムの動作の例が、上述した手作業によるシステムの例と同じパラメータを用いて提供されると、ユーザは、動的に介入することにより、個々のトラックへの又は複合ミックスの制御、パラメータ又は効果への任意の制御、パラメータ又は効果を変更することが可能となる。

図８Ｄに示されているように、ユーザは、図８の同じ３つのコンテンツ・トラック１、２及び３を選択してロードし、また、この時点で、図８Ａに示されているトラックをロードする。これは、前の例において用いられた選択された波形ブロックを編集するのに用いられる。ユーザは、トラックを動的にミキシングして編集し、選択したサウンド組成を提供することを望む。

ユーザは、割り当てられているトラック制御、パラメータ及び効果の制御を対話型マルチメディア装置に転送するボタンＥ（図８Ｄ）を選択して付勢する。（制御、パラメータ及び効果の選択及び割当てについては、上述した。）ボタンＨを選択して付勢することにより、ユーザによって割り当てられた効果、パラメータ及び制御を、上述したように、選択メニュからユーザによって選択された制御部材又は部材に、適用される。次に、ユーザは、制御部材の付勢に応答するために、所望のトリガ・タイプを選択することができる。

ユーザは、ループからコンポーネントＢ（図８Ａ）を、より特定すると、コンポーネント領域Ｃを選択することを望む。ユーザは、ブロックの開始ＣＩ（図８Ｄ）をマークして、カーソルをドラッグする、又は、それをブロックの最後に対する位置ＣＩＩにおいてマークする。ユーザは、また、ループ・コンポーネントＣに割り当てられた制御、パラメータ及び効果を、ミキシング・サイクルの間にソフトウェアによって割当可能とすることができる。

ユーザが、対話型マルチメディア装置上の割り当てられた制御部材を付勢することによって、又は、ユーザ・インターフェース・スクリーン上のプレイ・ボタンのマウスによるクリック又はキー押下によってミキシング・サイクルを開始すると、プレイバーＩ（図８Ｅ）は、それぞれのトラック全体で同期をとりながら、すべてのトラックの波形エンベロープの全体を移動する。図８Ｅには、組成においてミキシングされている４つのトラックが示されている。ミキシング・サイクルの間の任意の時点で、ユーザは、対話型マルチメディア装置上で選択した制御部材を付勢して、予め割り当てられている制御、パラメータ及び効果を、個々のトラック又は複合ミックスに適用することができる。この例では、制御、パラメータ及び効果は、関連付けられた制御部材の付勢によって、すべてのトラック１、２及び３に動的に適用されている。

このシステムのユニークは点は、対話型マルチメディア装置の制御部材をユーザが付勢することに応答して、制御部材の付勢によってミックスに適用されていた制御、パラメータ及び効果をリアルタイムでキャプチャして記憶し、また、結果的に生じる複合ミックスを再度呼び出して、視覚的な検査、再ミキシング又は再編集のために図解的な形式で表現することができる点である。その図解は、ミキシング・サイクルにおいてミキシングされる際に時間軸に沿った波形ブロックの正確な位置を示し、関連するフラグと共に修正されたブロックを強調しているマークされ影が付けられ色が付けられた領域を提供し、これは、選択されると、ユーザに、ミキシング・サイクルの間のユーザの動的な介入によって修正された波形ブロックに適用された制御、パラメータ及び効果を提供することになる。

図８Ｆは、時間軸ルーラに沿った再生位置におけるそれぞれのトラックに対するミックス波形成分の記録と、制御、パラメータ又は効果が波形のその部分に適用されたことを示すフラグを有する強調され修正されたブロックとを、視覚的な形式で示す図解である。第１のトラック１では、ブロックＶ、Ｘ及びＹは、ユーザがミキシング・サイクルのその時間にユーザが制御部材を付勢したことにより適用された効果を有している。ユーザが強調されたブロックの領域内のフラグをクリックすると、ソフトウェアが、その修正された波形ブロックに適用された制御、パラメータ及び効果のリストと、行われた修正を示すための拡大図とが表示される。同様に、第２のトラック２については、ブロックＵが、関連付けられた制御部材の付勢により適用された制御、パラメータ又は効果を有している。第２のトラック２のブロックＷは、波形表示を有していないが、これは、ユーザが制御部材をミキシング・サイクルのその時点で付勢してそれによってミュート制御がそのトラックに適用されたことを示している。第３のトラック３は、強調されフラグが付されたブロックＱおびＲを示しており、これは、制御、パラメータ又は効果がミキシング・サイクルの中のその時点で適用されたことを示している。第４のトラック４は、４つの強調されたブロックＣを示しており、これは、選択された波形ブロック（図８ＤのＣ）が時間軸ルーラＧに沿ったその時点でトリガされ、その時点でユーザが関連付けられた制御部材を付勢したことを示している。ユーザは、また、複合ミックスのオーディオ記録を有しており、これは、自らのオーディオ再生システムを用いて再生することができる。

ユーザは、ミキシングの図形表現の中にあるブロックを手作業で再度位置決めすることによって、又は、制御、パラメータ又は効果を編集して強調された又はフラグが付されたブロックの中の任意のものに再割り当てすることによって、記録されている組成物を再編集又は再ミキシングすることができる。本発明のシステムのソフトウェア・パッケージによると、ユーザは、制御、パラメータ及び効果を、手作業で、任意のトラック、波形、ループ、リフ、ビート、ワンショット、ＷＡＶ、ＭＰ３ファイル、ＭＰＥＧファイル、ビデオ・フォーマット、ＡＶＩなどに適用することができる。

更に、このシステムのソフトウェアは、ユーザがＣＤの音楽ソースを再生している、編集ウィンドウの中でオーディオ又はビデオの一部をループしている、プレビュー・ウィンドウの中のビデオ又はオーディオ・ソースをプレビューしているの、効果をデータ・ソースに適用している、ループ・レポジトリなどの中のループをトリガしている、あるいは、様々なビデオ及びオーディオ・ソース又はデータ・キャプチャ・デバイスについて遊んでいるなどの状態とは無関係に、すべてのユーザ活動の活動ログを保持する。ユーザは、任意の時点で、この活動ログのコンテンツを提出してミキシングし、それまでに生じたオーディオ及びビデオ・イベントで構成される組成物を作成することができる。更に、ユーザは、これを再編集又はセーブして、任意の既知の媒体フォーマットで、又は、電子メールを送ることにより、友人に配布することができる。

活動ログは、オーディオだけ、ビデオだけ、オーディオ及びビデオかななる組成物でありうる。活動ログは、また、時間軸ルーラに沿ったイベント発生のタイミングを示し、デジタル・データの各部分に適用された制御、パラメータ及び効果を識別する。

本発明をユニークなものにしているのは、ミキシング及び編集サイクルに動的に介入し、ユーザが制御、パラメータ及び効果をリアルタイムで変更する能力を与え、視覚的に解釈可能なフォーマットでミキシング成分をキャプチャし記録しリプレイし表現することを可能にし、そして、ミキシング・サイクルにおいて生じた正確な時点において複合ミックスの変更及び修正を予め設定することが可能である点である。

図６及び図７は、パラメータ、制御及び効果を、ループ、リフ、ビート、ワンショット、Ａｖｉファイル、Ｍｐｅｇファイル、ビデオ・ファイルなどに対して割り当てる、また、これらのためのトリガ用の制御部材を割り当てて、選択する方法を示している。

図１１は、制御部材の付勢によりトリガされるすべてのコンテンツが記憶され保持されるループ・レポジトリ記憶領域を示している。ループ・コンテンツは、ｗａｖ、ＷＭＡ、Ａｖｉ、Ｍｐｅｇファイル、又はそれ以外の任意の既知の媒体フォーマットでよい。ループは、コンテンツ管理を容易にするため、又は、異なる複数のトリガ用デバイスにグループ割当てをするために、別個のフォルダの中で組み合わせることができる。それぞれのフォルダ又はファイルは、フラグＢを選択又は選択解除することにより、付勢又は消勢することができる。

ループ・レポジトリのためのデータは、ユーザが有するＣＤ、インターネット、ＴＶチャネル、ラジオ放送、ウェブカム、デジタル媒体カメラなどから得ることができ、ループ・レポジトリの中のフォルダに直接に配置することができる。ユーザは、サウンド又はサウンド及びビデオの小さな一部を取り出すことを希望して、それをループ・レポジトリの中に配置することがありうる。ソフトウェアが、組成の中からサウンド又はサウンド及びビデオの一部をカット・ＡＮＤ・ペーストして、その選択物をループ・レポジトリの中に直接に入れる機能を提供する。

図１２は、２つのデータ・トラックを示している。すなわち、トラックＢはビデオ及びサウンドからなる組成物であり、トラックＤはサウンドだけのトラックである。波形エンベロープは、コンテンツのサウンド成分だけを示す。ユーザは、ループの小さなコンポーネントを取り出し、それを将来のミキシングでのトリガされた部分として用いることを望むことがありうる。ユーザは、マウスを位置Ａ（ｉ）の位置において、それを、位置Ａ（ｉｉ）までドラッグして、選択を希望するループの中の正確な位置をマークする。ユーザは、次に、マークされた花月器の部分をドラッグし、それをループ・レポジトリＥの中にドロップすることができる。関連付けられたオーディオ・コンテンツを備えたビデオ・クリップＡは、従って、ループ・レポジトリの中に確実に配置され、後の日付におけるトリガ選択及びコンテンツ割当てに利用できるようになる。ループの中の位置をマークする同様のプロセスは、サウンド・ループＤについても適している。セクションＣは、Ｆにおけるループ・レポジトリの中の直接にドラッグすることができる。

ユーザは、制御やパラメータなどをループに割り当てることができ、よって、これらのループに適用することを希望する関連付けられ割り当てられた制御及び効果を用いて、ミキシングにおける希望の時点で付勢することができる。ユーザが制御及びパラメータをループ・レポジトリの中に記憶されているコンテンツに割り当てることを可能にし、更に、ユーザがこれらの制御及びパラメータを複合的な制御特に制御又は効果の個々のパラメータにトリガすることを可能にする点により、本発明によるシステムは、どの他のミキシング・ソフトウェアとも区別され、それによって、本発明によるシステムをユニークなものとしている。

図１３は、制御や効果などのループ・レポジトリへの割当プロセスを図解している。媒体ファイル・ループＡは、ループ・レポジトリの中に含まれる。ユーザは、キーボードの押下、マウスのダブルクリック、音声による指示など、任意の便利な方法を用いて、媒体コンテンツ・ループを選択する。ユーザがループＡを選択すると、構成（コンフィギュレーション）スクリーンＢがユーザに提供され、図１４に示されるスクリーンに至る。これは、ループ構成選択スクリーンのフル・スクリーン・レイアウトであり、Ｍは、選択されたループと関連付けられた割当てをイネーブル又はディセーブルするための選択ボックスを示している。

図１４Ａ及びＢには、ユーザが自ら構成することを希望しているトリガ・デバイスのタイプを選択することを可能にするデバイス選択ウィンドウが示されている。カバーされているデバイスのタイプにはある範囲があり、例えば、図１６ＢのＡでは、デバイスＰｉｋＡｘが選択され、プレイステーション（登録商標）のコントローラ・デバイスが図１７ＢのＡでは選択されている。ユーザは、デバイス番号Ｃ（図１４Ａ）を選択して、複数の類似するデバイスの中からデバイス番号を識別することができる。ユーザは、メニュからの個々の制御及び／又は効果を適用すべきかどうかを判断することができる。例えば、図１４Ａに示されているものでは、「プレイ」Ｄ、「音量」Ｅ、「パン」Ｆ、「テンポ」Ｇ、「ビート・トラッキング」Ｈ、「オーディオ効果１」Ｊ、「オーディオ効果２」Ｋ、そして、「オーディオ効果３」Ｌなどがある。

図１４Ａには、どのようにしてユーザが制御を「プレイ」機能に割り当てるのかが示されている。Ｎは、選択されるとユーザにＢとして示されているように選択されたデバイスに対するトリガ機構として選択されうる制御部材のリストを提供するウィンドウを示している。図１６Ａ、図１６Ｂ及び図１７ＢのＡとして示されている選択されたデバイスに対する制御部材は、これらのデバイスがユーザによって選択された場合には、ユーザに対して、ウィンドウＮにおいて提供される。同様に、選択されたデバイス・タイプに対する関連付けられた制御部材は、ユーザによって選択されたすべてのコンテンツ及び効果に対して、すべて、ドロップダウン・メニュとして示される。「プレイ」割当の例Ｎでは、ユーザは、自らのトリガ機構として割り当てることを希望する適切な制御部材を選択する。

ユーザは、制御部材Ｎを選択すると、次には、トリガ・タイプを選択しなければならない。トリガ・タイプとは、ループがトリガされるときに制御部材がある状態を意味しており、メニュＢ（図１４Ｂ）には、単なる例示としてであるが、４つの状態が示されている。ユーザは、制御部材が押下されるとき、解放されるとき、押下されている間、又は、解放されている間、ループを動的にトリガすることを希望することがある。ユーザは、制御部材に対する好適なトリガ状態を選択する。ユーザが選択された制御部材Ｎ（図１４Ａ）を付勢すると、選択されたトリガ・タイプ状態Ａ（図１４Ｂ）は、ループがどのようにして再生され始めるかを制御する。

次に、ユーザは、トリガ・タイプ状態を選択して選択されたループを停止することによって、自らの選択プロセスを継続する。ユーザは、ドロップダウン・メニュＢ（図１４Ｂ）によって隠れている停止ウィンドウを選択する。選択されたデバイスに対する制御部材は、「プレイ」機能トリガに関して提供されたものと類似する態様でユーザに提示される。また、関連付けられているトリガ・タイプ状態メニュは、ユーザが「プレイ」機能に関して説明されたように選択する場合に利用することができる。ユーザは、「停止」機能に関すして、適切な制御部材とトリガ・タイプ状態とを選択する。更に、ユーザは、「プレイ」及び「停止」機能と類似の態様で、「開始に行く」Ｐ、「最後に進む」Ｑ、「スキップ・バック」Ｒ、又は、「スキップ・フォワード」Ｓなどの機能（図１４Ａ）を選択することができる。例えば、Ｔは、ユーザが「スキップ・バック」に対する時間パラメータ設定を割り当てることを可能にするウィンドウであり、Ｕは、Ｕが「スキップ・バック」が生じる頻度を制御することを可能にするウィンドウである。これらの２つのパラメータ設定の調整Ｔ及びＵは、ユーザに、ミキシングの間に新たなサウンド感覚を修正し作成する大きな余地を提供する。

音量、パン及びテンポに関しては、ユーザには、図１４Ｂに示されているのと同様の制御用スクリーンが提供される。ユーザは、選択されたループ・タイプの音量又はテンポを上げることを希望する場合がある。ユーザは、調整を希望する制御、例えば、音量Ｅ（図１４Ａ）又はテンポＧを選択する。ユーザは、音量又はテンポを増加させたいのか（Ｃ、図１４Ｂを参照）、減少させたいのかを選択する。ユーザは、選択されたデバイス・タイプに対する利用可能な制御部材のドロップダウン・メニュＣから適切な制御部材番号を選択する。そして、メニュ（図１４ＢのＡ）から自らが好むトリガ・タイプ状態を割り当てる。ユーザは、次に、入力フィールドＤの中に、音量又はテンポを増加させることを望んでいるパーセンテージを示す数字を入力する。ユーザは、更に、フィールドＥの中に、関連付けされた制御部材が付勢されるときに音量又はテンポのこの増加を適用することを望む速度をミリ秒単位で制御する数字を入力することもできる。同様にして、ユーザは、Ａ、Ｆ及びＧとして示されている適切な減少フィールドの中の制御及びパラメータとを選択し割り当てることにより、音量又はテンポを減少させることができる。デバイス・タイプによっては、調節可能な可変抵抗と類似のアナログ制御を適することができるデバイスも存在する。アニーリング制御又は対応（比例的）な調整は、ソニーのプレイステーション（登録商標）のコントローラ、フット・ペダル、又は、ワー・ワー・アームズ（wah wah arms）において見られるものと同様である。Ｈは、対応制御部材のための選択オプションを示している。

ユーザは、メニュに提供されている選択されたデバイスに対する適切なリストＬから適切な制御部材を選択する。次に、ユーザは、リストＱからトリガ・タイプ状態を選択する。選択された制御部材が選択されたトリガ・タイプ状態で付勢されると、対応する調整パラメータの変動が付勢され、対応する制御部材の動きが選択された調整をループに与える。図１６ＢのＢと図１７ＢのＡとが、対応する制御メニュ選択オプションのいくつかを示している。

音量とテンポとの両方の調整に対して、ユーザは、「ミュート」オプションＪ（図１４Ｂ）を選択し選択されたトリガ・タイプ状態Ｑを用いて適切な制御部材Ｍを割り当てることによって、選択されたループを無音化することができる。ユーザは、音量とテンポとに関する元の設定を検索したいと考えることもあるだろうが、これは、オプションＫを選択しトリガ・タイプ状態Ｒを用いて制御部材Ｎを割り当てることによって、達成される。パン機能に関しては、ユーザには、左右の調整と制御とのための回答オプションの範囲を伴う同様のメニュが提供される。

ユーザは、１又は複数の制御部材の付勢により特別効果の特徴を動的にループに適用することを望む可能性がある。本発明のシステムによれば、ユーザは、特別効果パラメータを動的にループに適用するだけでなく、その特別効果の発生手段の別個のコンポーネントを構成する任意の個別のパラメータ又はパラメータ群を選択し制御し調整することができる。

例えば、選択されたデバイス・タイプの１又は複数の制御部材の付勢の結果として生じるソフトウェアによって動的に選択され調整され修正される「コーラス」の特別効果の割当てが図解されている。ユーザは、図１５ＡのＢとして示されている「オーディオ効果１」を選択する。次に、ユーザには、効果選択のためのドロップ・ダウン・メニュが提供される。ユーザは、コーラス効果Ｄを、適用を希望する効果として選択する。

図１５Ｂは、「コーラス」特別効果を生じさせるのに要求されるパラメータ特性のいくつかを示している。ユーザは、スライダ消勢を設定して、希望する効果を達成する。ユーザは、Ｂでパラメータ特性を確認する。すると、これたの特性は、選択された効果が付勢されると、適用される。ユーザは、次に、制御部材の付勢を、割り当てられた効果に対して割り当てる。ユーザは、適切な制御部材Ｅ（図１５Ａ）を選択して、選択されたループに対する効果とそれに関連付けられたトリガ状態条件Ｇとを付勢する。ユーザは、適切なフィールドＦ及びＨを選択することによって、希望する制御部材と関連付けられたトリガ・タイプ状態とを割り当て、その効果を停止する。このシステムは、この手段によって、ユーザが、制御範囲０−１００（図１５Ｂ）の全体で、特別効果に関連する任意の、すべての又は一部のパラメータを動的に調整することが可能となる。

ユーザは、ドロップ・ダウン・メニュＪ（図１５Ａ）から選択することによって、調整を希望するパラメータを選択することができる。ユーザは、調整を希望する個々のパラメータのメニュの提供を受け、割り当ててパラメータの調整を制御することを望む制御部材Ｃ（図１６Ａ）を選択する。パラメータ調整のための対応する制御部材の短いリストが図１６ＢのＢとして示されている。ユーザがトリガされるべき効果を選択すると、大局的（グローバル）な効果パラメータ特性（図１８Ｂ）が、「プレイ」状態がトリガされると適用される。ユーザが図１５Ａの割り当てられた制御部材Ｋを追加的に調整する場合には、特別に割り当てられたパラメータＪが調整され適用されて、その移動範囲全体にわたる関連付けられた制御部材の移動と調和する同等のスライダ位置の移動を反映する。

異なるデバイス・タイプに対する選択された効果パラメータに対する割当可能なパラメータのメニュが、図１６ＡのＢと図１７ＡのＡとして示されている。図１６ＡのＡには、ワー（wah）アーム及び足ペダル制御を伴うデバイスＢのための効果選択が示されている。図１７Ｂには、プレイステーション（登録商標）のコントローラ・デバイスのための対応する制御Ｂがいくつか示され、図１８Ａ及び図１８Ｂには、ギター・ベースのデバイスとソニーのプレイステーション（登録商標）との制御部材の割当てＡの例が示されている。

ユーザは、ループ・レポジトリにおけるループの特性を修正又は調整することを希望する可能性がある。ユーザは、ループ・レポジトリにおける選択されたループの上を右クリックすることができ、そうすると、図１９に示されているように、スクリーンが提供される。ユーザには、示されているファイルの日付の詳細Ａが与えられる。この例では、ビデオ及びオーディオの両方のデータが存在する。ユーザは、制御部材によって付勢されるときにループ制御部材Ｂによってこのファイルをループすることを希望することがありうる。ユーザは、店舗Ｃを変更し、音量Ｄを調整し、バランスを左から右に（Ｅ）、又は、ループを無音化する（Ｆ）ことを望むことがありうる。ユーザは、また、選択されたループを右クリックすることによって、ループ構成及び割当てをカット・アンド・ペーストすることができる。更に、ユーザは、フォルダを作成し、フォルダ及びループの名称を変更し、ループ及びフォルダを削除するなどすることができる。

以上で、われわれは、マルチメディアの世界の中に入ることができた。デジタル・カメラ、デジタル・ビデオ・カメラ、ウェブ・カメラ、セットトップ・ボックス、ＵＳＢ及びファイヤウォール・デジタルＴＶチューナなど、様々なデータ周辺機器が存在している。Ｕは、異なるベンダ及び供給業者によるハードウェア及びソフトウェアを統合すること、そして、複合的な編集及びミキシングの解答（ソリューション）を与えてくれるような１つのアプリケーションに統合することに困難を有している。本発明のシステムにおけるソフトウェアは、ユーザに単一のオーディオ及びビデオ・インターフェースを提供し、それによって、ユーザは、複数のデータ・キャプチャ・デバイスからのデータをキャプチャして、データを完全に対話的で動的なミキシングの解答として統合することができる。

これを図解する一例として、ユーザは、図２１に示されているメイン・スクリーンの上側にある「記録」アイコンＡを選択する。すると、ユーザには、図２０Ａに示されているスクリーンが提供される。ユーザは、オプションＧを選択することによって、オーディオ又はビデオいずれかの記録機能をイネーブルすることができる。そして、ユーザは、オーディオ・デバイスについてはＨのビデオ・キャプチャ・デバイスについてはＪのメニュから、オーディオ又はビデオいずれかのキャプチャ・デバイス・タイプを選択することができる。更に、ユーザは、オーディオ・キャプチャ・デバイスの特性及びフォーマットＢ及びＥと、ビデオ・キャプチャ・デバイスの特性及びフォーマットＡ及びＦとを選択して調整することができる。

図２０ＢのＡとして、３つのビデオ・キャプチャ・ハードウェア・デバイスが示されている。ユーザは、オーディオ信号の電圧を上げることを希望することがある。というのは、ＰＣの中には組み込まれているマイクロフォンが非常に低レベルの信号応答しか有していないものがあるからである。ユーザは、フェーダＢを動かすことにより、オーディオ信号の音量を上げることができる。ユーザが、オーディオ若しくはビデオ・ソースを、又は、オーディオ及びビデオ・ソースの両方を選択し、希望する特性及びフォーマットを設定すると、「開始」Ｃを選択することによって、記録セッションを開始させることができる。ユーザが記録サイクルを完了すると、「停止」ボタンＤを押下することによってファイルをセーブする。次に、ユーザは、ファイル名Ｅを選択し、そして、「セーブ」ボタンＦを選択することによってファイルをセーブしなければならない。小さなスクリーン領域Ｃがユーザにキャプチャされたインクジェットを示し、ビデオ・キャプチャ特性及びフォーマットを調整することが可能になる。タイマＧが示されているが、これは、記録セッションにおいて、その時点までに経過した時間を示している。図２０のＨとして示されているメータは、記録サイクルにおけるその時点でのファイル・サイズを示している。ユーザは、オーディオだけ、ビデオだけ、又は両方の複合形でありうるキャプチャ・ファイル・データを取得して、そのデータを、動的トリガのためにループ・レポジトリの中に配置する、又は、効果あり効果なしの両方の場合で、より小さな選択されたコンポーネントを生じさせるように編集する。そして、これが、ループ・レポジトリ又は性的なミキシング・パレットに転送される。

本発明によるシステムは、オーディオ及びビデオ・コンテンツのための、完全で、操作が容易な、完全に統合された動的ミキシング及び編集ソリューションを提供する。図２２には、ウィンドウ領域Ａにおいて、ループ・レポジトリの中のループに割り当てられた制御部材の動的な介入の結果として生じるビデオ・コンポーネントが示すスクリーン・レイアウトが示されている。割り当てられた制御部材の付勢の結果として生じるミキシングの結果は、セーブされ、動的な再編集も可能であり、ＣＤや電子メールなどによって友人たちと共有することができる。アイコンＢは、ビデオ・ディスプレイ・ウィンドウをイネーブル又はディセーブルすることができる。

本発明は、単なる例示として与えられているこの明細書での特定の詳細には限定されず、様々な修正及び変更が本発明の範囲から逸脱することなく可能であることは、理解されるべきである。示されている例は、本発明の１つの実施例に対するものに過ぎず、本発明は、ミキシング・レイアウトのどのような提示方法やどの特定の媒体タイプにも限定されない。本発明は、時間軸バーの表示や構成に限定されないし、波形、エンベロープ、制御、パラメータ、スクリーン・レイアウト、アイコン・デザイン若しくはディスプレイ・ツールバー特性、前景若しくは背景の色スキーム、タスクバーの特徴若しくは機能、又は、対話型マルチメディア装置の制御部材、回転可能な若しくはスライダ・タイプの制御部材、赤外線付勢など、制御部材の物理的特性、デザイン、数にも限定されない。ここに提供された例は、ミキシング・サイクルの中の限定された周期の簡略化された提示に過ぎず、ここに示された表現は、完全なミキシング及び編集サイクルの態様又は形態として解釈されてはならない。制御及び効果の範囲及び広がりは、上述した例に示されているものに限定されない。

本システムの全体図であり、操作デバイスの第１の実施例を図解する一連の図を含む。操作デバイスの概略的な回路図である。基本的なスクリーン・レイアウトを示す。標準的なトラック制御を図解している。対話型マルチメディア装置への割当制御を示す。装置構成スクリーンを示す。図６のトリガ・タイプのサブメニュを示す。図８及び図８Ａないし図８Ｃは、従来型のミキシング・プロセスを示す。図８Ｄ及び図８Ｅは、本発明によるミキシング・プロセスを示す。図８Ｆは、本発明のプロセスの図解である。ディレクトリ・リストを伴うスクリーンを示す。マルチメディア装置の第２の実施例を図解する一連の図である。ループ・レポジトリ及びループ記憶領域を示す。データのトラックの操作を示す。制御、効果などの割当てを図解している。図１４Ａは、ループ構成ディスプレイを示す。図１４Ｂは、図１４Ａのディスプレイから生じるサブディスプレイを示す。図１５Ａは、「コーラス」効果の選択を示す。図１５Ｂは、図１５Ａのディスプレイから生じるサブディスプレイを示す。図１６Ａ及び図１６Ｂは、図１５Ａのディスプレイから生じるサブディスプレイを示す。図１７Ａ及び図１７Ｂは、図１５Ａのディスプレイから生じるサブディスプレイを示す。図１８Ａ及び図１８Ｂは、制御部材又は別のデバイスの割当てを示す。ループ・レポジトリを示す。図２０Ａ及び図２０Ｂは、ビデオ・キャプチャ・ハードウェア・デバイスの選択の詳細を示す。ループ・レポジトリを更に示す。制御部材のユーザの介入の結果として生じるビデオ・コンポーネントを示す。本発明の診断的な特徴に関する２つのスクリーン・ショットを示す。

Claims

計算手段にインストールされたプログラムからなるソフトウェアの組と共に使用可能な対話型のマルチメディア装置であって、表示コンポーネントとこの装置に接続するための適切な入力接続ポートとを備えたマルチメディア装置において、個々のオーディオ又はビデオ・トラックの特性とパラメータと特別効果とを、及び／又は、リアルタイムでのミキシング・サイクルの間の複合オーディオ・ミックスの特性とパラメータと特別効果とを、修正し、洗練し、調整し、変動し、及び／又は、変更する動的介入手段を含んでいることを特徴とするマルチメディア装置。
請求項１記載のマルチメディア装置において、制御部材を含んでおり、前記制御部材が付勢されると、波形成分のセグメントがトリガされ、前記セグメントが前記ミキシング・サイクルの間に動的にミキシングされることを特徴とするマルチメディア装置。
請求項１又は請求項２記載のマルチメディア装置において、この対話型のマルチメディア装置の前記制御部材の付勢によって開始され前記ミキシング・サイクルの間に作用した動的に適用された制御とパラメータと効果とを含む、前記複合ミックスに関するすべての制御とパラメータと特別効果との詳細を記録する手段を含むことを特徴とするマルチメディア装置。
請求項１ないし請求項３の中の任意の請求項に記載のマルチメディア装置において、視覚的表示ユニットに表示されるミックスにおけるそれぞれのトラックの視覚的表現と厳密な位置とを前記ミキシング・サイクルにおいて前記介入が生じる時間に間に合うように提供する手段を含み、強調されたブロックが、この装置の制御部材の付勢の結果として、追加、削除若しくは修正、制御変化、パラメータ変化及び／又は特別効果が与えられる場所を示し、前記視覚的ユニットに示される視覚的表現もまた前記複合ミックス特性に与えられた制御変化、パラメータ変化及び特別効果をこれらのイベントが生じた厳密な位置と共に時間的に間に合うように図解し、更に、任意のこれ以外のオーディオ／ビデオ・イベントの開始をタイムスタンプの記録と共に記録する手段と、前記動的に与えられた介入と共に前記１又は複数のイベントを表現する手段と、を含むことを特徴とするマルチメディア装置。
請求項１ないし請求項４の中の任意の請求項に記載のマルチメディア装置において、ユーザによって動作可能でありユーザの付勢及び選択に応答して電気信号を発生する付勢手段を有するデバイスと、プロセッサ（Ｕ１）と、複数の制御部材（ＳＷ１−ＳＷ１１）と、光結合され回転可能な制御部材（ＳＷ１２）と、出力ＵＳＢチップ（Ｕ２）と、タイマ水晶（Ａ）及び複数の抵抗及びコンデンサと、前記ユーザによる前記制御部材（Ｓ１−Ｓ１２）の付勢を検出するように動作可能なファームウェアを含む中央処理装置と、前記制御部材の付勢を電気信号に変換する手段と、前記電気信号を前記制御ユニットに伝送する手段と、前記信号を処理して前記ユーザによって前記制御部材に割り当てられた機能を実行するソフトウェア手段と、を含んでいることを特徴とするマルチメディア装置。
請求項５記載のマルチメディア装置において、この対話型のマルチメディア装置とインターフェースするドライバ・ソフトウェア手段と、前記制御部材の前記ユーザによる付勢作用の結果として発生される電気信号を解釈するソフトウェア手段と、前記ユーザが、この対話型のマルチメディア装置の制御部材の動作により、前記ミキシング・サイクルの間に、制御を生じさせ、そのミキシング成分とミキシング構成パラメータの全体とを修正及び調整することを可能にするミキシング及び編集ソフトウェア手段と、異なる機能と制御と効果とのために前記制御部材を割り当てる構成手段と、複数の類似又は異なる対話型マルチメディア装置を構成及び割り当てる手段と、を含んでいることを特徴とするマルチメディア装置。
請求項６記載のマルチメディア装置において、選択されたループとリフとビートとワンショットとビデオクリップとマイクロフォン入力などとを前記ミキシング・サイクルの中のそのときにミキシングされるべき時間軸ルーラに沿ったトラックにおいてユーザが構成し定義し配置することを可能にする追加的なミキシング及び編集ソフトウェア手段を含んでおり、よって、前記ユーザが前記追加的ミキシング手段のトラックを演奏し始めると、前記トラックがこの対話的なマルチメディア装置からの前記動的介入から発生した結果的なミキシングとミキシングすることができることを特徴とするマルチメディア装置。
請求項１ないし請求項７の中の任意の請求項に記載のマルチメディア装置において、ユーザによる制御部材の付勢を検出する手段と、波形成分のセグメントをトリガして前記ミキシング・サイクルの間に前記セグメントを動的にミキシングする手段とを含んでいることを特徴とするマルチメディア装置。
請求項１ないし請求項８の中の任意の請求項に記載のマルチメディア装置において、前記選択された制御とパラメータと効果とをユーザがその選択した制御部材に、この装置において利用可能な制御部材の選択を表示するように操作可能である制御部材割当ラベルを用いて割り当てる手段と、前記個々のトラック若しくはトラック群に又は複合ミックスに前記制御部材の付勢を検出するアプリケーション・プログラムによって与えられるパラメータと効果とを選択された制御部材に帰属させる手段と、を含んでいることを特徴とするマルチメディア装置。
請求項１ないし請求項９の中の任意の請求項に記載のマルチメディア装置において、ユーザによって選択される媒体タイプのための記憶デバイスをソフトウェアが走査することの結果として１又は複数のビュー・ウィンドウとディレクトリとフォルダとコンテンツ・ファイルとを表示し、よって、ローディングと選択とを容易にするために前記記憶デバイス上のすべての又は選択されたファイルのリストを前記ユーザが表示することを可能にする手段と、前記制御デバイスのアイコン・ラベルの選択により走査プロセスを開始する手段と、を含んでいることを特徴とするマルチメディア装置。
請求項１ないし請求項１０の中の任意の請求項に記載のマルチメディア装置において、ユーザによって選択された媒体に対する記憶領域をリアルタイムで走査する手段と、フォルダ及び／又はディレクトリに含まれている個々の媒体成分を提供するアイコン手段と、所望の媒体要素をドラッグして波形表示領域に配置し、よって、ユーザによって要求された媒体タイプに対するストレージをリアルタイムで質問することを容易にする手段と、を含んでいることを特徴とするマルチメディア装置。
請求項１ないし請求項１１の中の任意の請求項に記載のマルチメディア装置において、ミキシング・サイクルに動的に介入して、ユーザによって選択された任意の時点でサウンド、ビート・リフ、ループなど又はループのセグメント、ビデオ媒体のリフ若しくはビートを適用し、ミックスに補完的及び強調的な寄与を提供する手段と、波形成分のセグメントを選択してマークし、ミキシング・サイクルの間に、適用された効果、制御及びパラメータ調整を含むそのセグメントを動的にミキシングする手段と、を含んでいることを特徴とするマルチメディア装置。
請求項１ないし請求項１２の中の任意の請求項に記載のマルチメディア装置において、トリガされ適用の時点でそして適用の継続時間の間キャプチャされたすべての効果、制御及びパラメータを用いて、前記制御部材の付勢によってトリガされた制御、パラメータ又は効果の介入を記録する手段と、制御部材の付勢の結果として生じたパラメータ、効果及び制御を記憶する手段と、視覚的ディスプレイ・ユニットにおいて、時間軸ルーラに沿ったその正確な時点で個々のトラック成分の視覚的イメージを、ミキシング前の設定によってユーザによって配置された他の固定され位置決めされたトラックと共に表示する手段と、を含んでおり、よって、ユーザには、追加的な編集、ミキシング、効果などを許容する動的に作成された成分を含むトラックのミックスの視覚的イメージが、時間軸ルーラに沿ったトラックに別個に任意の他のオーディオ／ビデオ・イベントのユーザによる任意の介入と共に表示されているビデオ及びオーディオ成分を提供されることを特徴とするマルチメディア装置。
請求項１ないし請求項１３の中の任意の請求項に記載のマルチメディア装置において、前記制御部材の付勢によってトリガ可能であり記憶され保持されるすべてのコンテンツに対するループ・レポジトリ又はループ記憶手段を含んでおり、よって、ループは、コンテンツ管理を容易にするため又は異なるトリガ装置にグループとして割り当てるために別個のフォルダにおいて組み合わせることができ、それぞれのフォルダ又はファイルは、フラグの選択又は選択解除によって付勢可能又は消勢可能であることを特徴とするマルチメディア装置。
請求項１ないし請求項１４の中の任意の請求項に記載のマルチメディア装置において、ユーザが予め記録された媒体、マイクロフォン入力、テレビ受信機及びラジオ放送からのコンテンツを転送し記録することを可能にするソフトウェア記録手段を含んでおり、よって、コンテンツは、静的又は動的なミキシング・プロセスのために予め編集することが可能であることを特徴とするマルチメディア装置。
請求項１４又は請求項１５に記載のマルチメディア装置において、前記ループ・レポジトリのためのデータは予め記録された媒体、インターネット、ＴＶチャネル、ラジオ放送、ウェブカム、及び／又は、デジタル媒体カメラから取得可能であり、前記ループ・レポジトリの中のフォルダの中に直接に配置することができ、サウンド、ビデオ、又はサウンド及びビデオの小さな部分を予め編集して前記ループ・レポジトリの中に配置する手段と、組成物の中からのサウンド、ビデオ又はサウンド及びビデオの一部をカット・アンド・ペーストしてその選択を前記ループ・レポジトリの中に直接にドロップする手段と、前記ループ・レポジトリの中の個々のマルチメディア成分の音量、テンポ、ミュート、ループ及びパンなどの個々の特性を調整する手段と、を含むことを特徴とするマルチメディア装置。
請求項１６記載のマルチメディア装置において、制御、効果及びパラメータを前記ループに割り当て、よって、ミキシングの所望の時点でユーザがそれらと、ユーザがこれらのループに適用を希望する関連付けられ割り当てられた制御、パラメータ及び効果とを付勢する手段を含むことを特徴とするマルチメディア装置。
請求項１ないし請求項１７の中の任意の請求項に記載のマルチメディア装置において、前記要素の正確な動作及び機能を識別する診断手段と、サポート及び維持の目的のための手段とを含むことを特徴とするマルチメディア装置。
請求項１ないし請求項１８の中の任意の請求項に記載のマルチメディア装置において、前記制御ユニットは、パーソナル・コンピュータ、ハンドヘルド・コンピュータ、処理能力を有する音楽再生デバイス、携帯電話デバイス（特に、オーディオ出力が利用可能な２．５Ｇ又は３Ｇ形態電話）、パーソナル・デジタル・オーガナイザ、ゲーム・コンソール、セットトップ・ボックス・デバイス、又は、アプリケーション・プログラムを動作させるのに必要な処理性能を備えており、視覚的ディスプレイ・ユニットと、デジタル・オーディオをアナログ・サウンド出力に変換する手段とを備えている任意のデバイスであり、前記制御ユニット手段は、リフ、ループ、ビート、ワンショットなどを保持し、アプリケーションを動作させる十分な作業空間を備えたメモリ空間を更に含むことを特徴とするマルチメディア装置。
請求項１９記載のマルチメディア装置において、前記制御ユニットは、ＵＳＢ、シリアル、パラレル、ブルートゥース、ファイヤウォール又はこの装置に適した任意の接続方法などこの対話型マルチメディア装置への接続するための適切な接続ポートを有していることを特徴とするマルチメディア装置。
請求項１９又は請求項２０記載のマルチメディア装置において、携帯型の使用のための構成を有しており、前記動的ミキシング制御要素はこの装置のハウジングの中に一体化されて単一の複合ユニットを形成し、アプリケーション・ソフトウェア手段は、ユーザが携帯環境でのミキシング経験を享受できるようにこの装置に接続されていることを特徴とするマルチメディア装置。
請求項１ないし請求項２１の中の任意の請求項に記載のマルチメディア装置において、足で操作される制御部材を含んでおり、前記足で操作される制御部材は、前記ソフトウェア手段に構成可能かつ割り当て可能であり、前記制御部材の付勢によって操作可能であることを特徴とするマルチメディア装置。
請求項１ないし請求項２２の中の任意の請求項に記載のマルチメディア装置において、この装置はダンス・マットであり、前記マットは、前記マット又はプラットフォームの色つきのセグメントの中に配置された制御部材を含み、前記制御部材は、足の圧力によってっふせい可能であり、前記ダンス・マット又はプラットフォームは、前記制御部材に割当可能かつ構成可能なそれぞれの色つきのセグメントの下側に制御部材を有していることを特徴とするマルチメディア装置。
請求項１ないし請求項２３の中の任意の請求項に記載のマルチメディア装置において、この装置はステアリング・ホイール・デバイスであり、割当可能な制御部材が前記ステアリング・ホイール・デバイスの周囲に提供されていることを特徴とするマルチメディア装置。
添付の図面を参照しながら説明され、添付の図面に示されている任意の実施例に実質的に従ったマルチメディア装置。