デジタルテレビジョン、DVDビデオ、DVDオーディオなどのうなぎ登りの人気によって、マルチチャネルオーディオソースはコンシューマオーディオ再生システムにおいてより一般的になってきた。この人気の上昇は3チャネル以上のオーディオ情報を再生することができるコンシューマオーディオ再生システムの増加数に反映される。ホームシアターで使用されるようなの5つの完全バンド幅チャネルと低周波数効果(LFE)チャネルを有するコンシューマシステムはますます一般的になっている。この特定の装置は時々5.1チャネルと呼ばれる。この傾向にもかかわらず、コンパクトディスク(CD)プレーヤや、MP3プレーヤや、従来のアナログ及びデジタル無線受信機や従来のテレビジョン受信機などの1チャネルと2チャネルのオーディオソースはまだ一般的に使用されており、この先さらに数年間広く使用されそうである。
コンシューマは、3チャネル以上のシステムから可能である聴覚のリアリズムと影響に慣れてきたので、彼らは、1チャネルと2チャネルだけのオーディオ情報を提供するシステム構成要素からの同様の性能を予想し要求し始めた。3チャネル以上のシステムの2チャネルだけによる2チャネルのオーディオプログラムの再生はより広い範囲のコンシューマにとって容認できないものになっている。
1チャネルと2チャネル信号をより多くのチャネルに展開することができるテクニックが知られている。カリフォルニア州サンフランシスコのドルビー研究所会社のドルビープロロジック(登録商標)IIと、ドルビープロロジックIIx技術を取り入れた製品は「アップミックス」を使用して2チャネル信号を3チャネル以上のオーディオ情報に展開する。これらの製品は、コンシューマが3チャネル以上のソースから発したオーディオ素材の再生によって提供されるものと同様の聴覚経験を得るような3チャネル以上のシステムを通して2チャネルのオーディオ素材を再生することを可能にする。これらの知られているテクニックの適切な操作は2つの条件に依存する。
適切な操作のための第1条件はオーディオソースのためのチャネル数が知られていなければならないということである。例えば、ドルビープロロジックII技術を取り入れる装置は、単に2チャネルの入力で適切に作動するように設計されている。ドルビープロロジックIIx技術を取り入れる装置は2つの5.1入力チャネルで適切に作動できるが、入力チャネルの数は知られていなければならない。入力チャネル数に従ってそれらの操作が異なるからである。多くの応用例に関して、この条件は、チャネル数が暗黙に知られているか、または、それがオーディオ情報により明らかに運ばれるので、容易に満たされうる。例えば、カセットテープデッキや、CDプレーヤやFMステレオ放送番組受信機などのオーディオソースによって2チャネルのオーディオ情報が提供されることが暗黙に知られている。他のソースは、高品位テレビシステム委員会(ATSC)A/52仕様に従うコード化されたオーディオ情報を持ったテレビジョン信号などの明らかにチャネル数を規定する「メタデータ」を運ぶ信号を提供する。
適切な操作のための第2の条件はソースの全てのチャネルがアクティブでなければならないとい、すなわち、オーディオソースのどんなチャネルもいつもサイレントであってはならないということである。例えば、オーディオソースがドルビープロロジックIIxデコーダを備える受信機に5.1チャネルのオーディオ情報を提供し、かつ、レフト及びライトチャネル以外のすべてのチャネルがミュートにされると、受信機はデコーダプロセッサを不当に構成し、そのすべての出力チャネルにはアクティブな信号を提供しない。この状況はブロードキャスト状況でしばしば生じるというわけではないかもしれないが、オーディオ能力とマルチメディア能力を備えるコンピュータシステムに存在する典型的な条件である。
コンシューマエンターテインメントシステムにおけるオーディオ情報源としてコンピュータを利用することがより一般的になっている。特別目的のハードウェアとソフトウェアは、従来技術のパーソナルコンピュータをその他ほんのいくつかの例をあげると、オーディオ、ビデオのためのCDプレーヤ又はDVDプレーヤ、テレビ(ビデオ)ゲーム機器、デジタルテレビジョン受信機、および音楽シンセサイザとして作動させることを可能にする。これらのソースの多くは5チャネル以上のオーディオ情報を提供し、他のもの2チャネルだけを提供する。
コンピュータ自体の内部では、ソフトウェアは、一般に、いくつかのソースからのオーディオ情報を結合し該結合した結果をいわゆる「サウンドカード」他出力装置などの出力装置に提示できる共通のミキサーにソフトウェアのオーディオ出力を提供する。この装置からの出力信号をヘッドホンなど音出力変換器または1個以上のスピーカの駆動する増幅器へ提供でき、あるいは、その後の処理のため他のハードウェアかソフトウェア装置にそれらを提供できる。
ワシントン州レッドモンドのマイクロソフト社のウインドウズ・オペレーティングシステムの1つを実行するコンピュータにおいて見られるような環境において、ミキシング機能はオペレーティングシステムの構成要素又は特定のサウンドカード若しくは他の出力装置をサポートするためにインストールされた特別目的のドライバーによって提供される。
このミキシング機能によってサポートされる出力チャネルの数は出力装置によってサポートされるチャネル数に通常依存する。出力装置が2チャネルに制限されるなら、ミキシング機能は2出力チャネルを提供する。出力装置が5.1チャネルをサポートするなら、ミキシング機能は5.1出力チャネルを提供する。典型的な装置では、出力チャネル数とミキシング機能のミキシングプロセスを調整できない。この状況は、公知テクニックが克服できない限界を提示する。
例えば、コンピュータシステムは5.1出力チャネルと2オーディオソースをサポートするサウンドカードを有すると仮定する。原則として、これらのソースの一方又は両方はコンピュータシステム内又はコンピュータの外部装置内でハードウェア又はソフトウェアによって実行されるかもしれない。この例では、第1ソースは、レフトチャネル及びライトチャネルとして構成される2チャネルのオーディオ情報を提供するCDプレーヤであり、第2ソースは、レフト、ライト、センター、レフトサラウンド、ライトサラウンド及び低音効果(L、R、C、LS、RS、LFE)として構成される5.1チャネルオーディオ情報を提供するテレビゲームである。コンピュータでの典型的なミキシング機能はそれぞれの入力チャネルを一緒に混ぜる。すべてのソースからのレフトチャネル信号は混合されミキサーのレフト出力チャンネに提供される。すべてのソースからのライトチャネル信号は混合されミキサーのライト出力チャネルに提供される。同様に、すべてのソースからのC、LS、RS、およびLFEチャネル信号は混合され、それぞれの出力に提供される。しかしながら、この例では、両方のソースからのレフトチャネル及びライトチャネル信号だけが混合される。なぜなら、1つのソースのみがC、LS、RS、およびLFEチャネル信号を供給するからである。コンシューマは、CDプレーヤからはシステムの2チャネルだけでオーディオを聞くだろうが、テレビ(ビデオ)ゲームからは全てのチャネルでオーディオを聞くであろう。以上のように、コンシューマはすべてのソースからのオーディオが全てのチャネルで提供されることを期待し要求するようになってきた。
必要であるものは先行技術のこの限界を克服する設備である。
本発明の目的は、オーディオミックスを展開してすべての有効出力チャネルを満たす方法と装置を提供することにある。この目的は独立請求項に記載した発明で達成される。さらなる利点は従属請求項に記載した付加的な機能によって実現される。
本発明の1つの態様によると、複数のオーディオソースからのオーディオ信号を混ぜる装置はオーディオソースの出力チャネルと結合された入力チャネルを有する第1ミキサーと;第1ミキサーの第1グループの出力チャネルと結合された1つ以上の入力チャネルを有するアップミキサーと;アップミキサーの出力チャネルと結合された第1グループの入力チャネルと、第1ミキサーの第2グループの出力チャネルと結合された第2グループの入力チャネルとを有する第2ミキサーと;を含んでいる。
本発明のもう一つの態様によると、オーディオ信号の処理方法は、複数のオーディオソースの出力チャネルからの信号を混合して、第1グループの1つ以上の第1混成信号と、第2グループの1つ以上の第1混成信号として構成された複数の第1混成信号を発生させ;第1グループの第1混成信号の第1混成信号をアップミックスして複数の第1アップミックス信号を発生させ;第1アップミックス信号と、1つ以上の第1混成信号から得た1つ以上の処理済信号との1つ以上のチャネルを混合して複数の出力信号を発生させる;ことを含んでいる。
本発明の様々な特徴は以下の説明と添付図面を参照することでより良く理解されるであろう。いくつかの図においては、同様な要素に同様な参照番号を用いている。以下の説明と添付図面は、本発明をパーソナルコンピュータシステムのソフトウェアコンポーネントによって実行することができるいくつかの方法を述べる。これらの実用化を単に実施の例として詳しく説明するが、これらの例を本発明の範囲に制限をするものと理解すべきではない。コンピュータシステムとコンピュータ以外の装置の使用におけるハードウェアとソフトウェアの様々な組合せを含む多種多様な方法で本発明を実行できる。
発明の実施の態様
A.序論
典型的なパーソナルコンピュータシステム内のオーディオソース(音源)によって作り出された信号はオーディオミキサー要素に信号を提供し、このオーディオミキサー要素はその入力信号を結合して、いわゆる「サウンドカード」他の出力装置に配送するための1セットの信号を発生させる。その出力装置からの出力信号をヘッドホンなどの増幅器若しくは1個以上のスピーカを駆動する音出力変換器に提供することができ、または、後の信号処理か格納のため他のハードウェア若しくはソフトウェア装置にそれらの出力信号を提供できる。
図1は、複数のオーディオソース(AUDIO SOURCE)1、2からのオーディオ信号を混合する従来のパーソナルコンピュータシステムで見られるオーディオミキサー要素の略図である。通常、ミキサー要素によって提供される出力チャネル数はマザーボードのサウンドカードか同等なチップセットなどの出力装置(OUTPUT DEVICE)40の能力に依存する。出力装置40が2チャネルに制限されるなら、ミキサー(MIXER)要素10は2チャネルの出力を通常発生させる。出力装置40が5.1チャネル構成をサポートできるなら、ミキサー要素10は5.1チャネル出力を生成する。
この伝統的な装置は従来技術に打ち勝つことができないという問題を引き起こす。図1を参照して、オーディオソース1は従来のステレオCDプレーヤなどの2チャネルオーディオソースを表し、オーディオソース2は映画と付随サウンドトラックの再生のためのDVDプレーヤなどの5.1チャネルオーディオソースを表す。
オーディオソース1がアクティブであるとき、ミキサー10に2チャネル信号が入力として与えられる。オーディオソース2がアクティブであるとき、ミキサー10に5.1チャネル信号が入力として与えられる。典型的なコンピュータアーキテクチャでは、オーディオソース1からの2チャネル信号は非常に簡単な方法で5.1チャネル出力に混合される。即ち、レフトチャネルとライトチャネル信号はそれぞれ直接レフト出力チャネルとライト出力チャネルに提供され、他の出力チャネルは影響を受けない。オーディオソース2からの5.1のチャネル信号は、各入力チャネルをそのそれぞれの出力チャネルに提供することによって、直接5.1チャネル出力に混合される。このアーキテクチャは図1に示される。5.1チャネル構成の「0.1」チャネル部分であるLFEチャネルは図をわかりやすくするために図1及び他の図から省略されている。
リスナは、5.1チャネルすべてを介してオーディオソース2からオーディオを聞くことができが、単にレフト及びライトチャネルを介してオーディオソース1からオーディオを聞くことができる。先に述べたように、すべての有効出力チャネルを介してすべてのソースから提示されるオーディオを期待するコンシューマはもはやこの装置を許容できない。
この問題を解決できる1つの方法を図2に示す。この解決法によると、2チャネルオーディオソース(AUDIO SOURCE)1からのオーディオ信号はアップミキサー(UPMIXER)5によって処理される。アップミキサー5は2チャネル信号に応答して5.1チャネルセットの信号を統合して、統合信号をミキサー(MIXER)10に提供する。原則として、アップミキサー5をオーディオソース内、ミキサー10内又はオーディオソース1とミキサーの間に挿入される要素内で実装することができる。残念ながら、少なくとも2つの理由で、これらのいずれの構成も従来のパーソナルコンピュータシステムでは実用的でない。第1に、アップミキサー要素を取り入れるように変更できない2チャネルオーディオソースの多くの実装が存在する。第2に、従来のコンピュータシステムのためのソフトウェアアーキテクチャはオペレーティングシステムの一部としてミキサー10を実装しており、このことは、アップミキサー要素をミキサー要素に組み込むこと又はオーディオソースとミキサー要素の間に挿入することを可能にしない。従来のコンピュータシステムの限界を克服できる別の方法を図3に示す。この解決法によると、アップミキサー(UPMIXER)15はミキサー(MIXER)10の出力と結合される。これは、出力装置(OUTPUT DEVICE)40に関連するソフトウェアドライバーにアップミキサー15を実装することによってなされるかもしれない。残念ながら、この手法はうまくいかない。レフト及びライトチャネルをアップミックスして5.1チャネルセットの信号を統合することは、入力が唯一2チャネルオーディオソース(AUDIO SOURCE)から来ているときは望ましい結果を与えるが、5.1のチャネルオーディオソース(AUDIO SOURCE)によって提供される残りのチャネルに存在する内容を無視又は歪める。
この問題への1つの可能な解決法を図4に示す。この解決法によると、アップミキサー(UPMIXER)15は適応的に使用される。例えば、探知器(DETECTOR)16がセンター、レフトサラウンド又はライトサラウンドミキサー出力チャネルの意義のある信号エネルギを検出するならば、システムはアップミキサー15を切り離すことができるかもしれない。残念ながら、この手法は少なくとも3つの欠点を有する。適合は幾つかのチャネルにおける信号エネルギの検出に依存するので、適合における遅延を避けることができないし、また、出力信号に可聴音アーチファクトを混入させることなくアップミキサー15を接続又は切り離しすることはしばしば難しいからである。さらに、探知器16は、センター、レフトサラウンド又はライトサラウンドミキサー出力チャネルに意義ある信号エネルギが存在しないときに、インタバル間のオーディオソース(AUDIO SOURCE)2からの信号のために、アップミキサー15を不当に接続するかもしれない。その上、この手法は、オーディオソース1とオーディオソース(AUDIO SOURCE)2からの信号が同時に発生してミキサー(MIXER)10によって一緒に混合された状況を正しく扱うことができない。
本発明は先行技術の限界を克服し、オーディオソースと、それらのオーディオソースによって提供されるチャネル数の構成にかかわらず、信号がすべての出力チャネルに提供されることを可能にする。
図5は2チャネルソースからのオーディオ信号が5.1出力チャネルのための信号を提供するために5.1チャネルソースからのオーディオ信号に混ぜることができる本発明による1つの方法を示す略図である。この解決法によると、オーディオソース(AUDIO SOURCE)1からのレフト及びライトチャネル信号はオーディオソース(AUDIO SOURCE)2からのレフト及びライトチャネル信号と混合される。このミックスから生じる2チャネルはアップミキサー(UPMIXER)15に提供され、アップミキサーは2チャネル入力からの信号を5.1チャネルセットの信号に合成する。ドルビープロロジックII製品に取り入れたアップミックス技術を使用することとしてもよいが、アップミキサー15を本質的にいかなる所望のセットのアップミックス方程式によって実装することができる。ミキサー(MIXER)10の残りの出力チャネルをミキサー(MIXER)20の入力に提供する。また、アップミキサー15の出力チャネルをミキサー20の入力に提供する。ミキサー20はミキサー10とアップミキサー15から受信される信号を混合して5.1出力チャネルを提供する。この手法は、オーディオソース1からの2チャネル信号の5.1チャネル展開と、オーディオソース2からの5.1チャネル信号の5.1チャネルバージョンの両方を含むミキサー20からの1セットの出力信号を提供する。
本発明の原理は、より多数の異なるチャネル構成を与えるために必要に応じて繰り返して適用することができる。図6は本発明による1つの方法を示す略図であり、ここでは、5.1チャネルソースと、7.1チャネルソースの2つのソースを混合して7.1出力チャネルをレフト、ライト、センター、レフトサラウンド、ライトサラウンド、レフトバック、ライトバック及び低音効果(L、R、C、LS、RS、LB、RB、LFE)チャネル構成として与える。この解決法によると、オーディオソース(AUDIO SOURCE)1、オーディオソース(AUDIO SOURCE)2、およびオーディオソース(AUDIO SOURCE)3からのそれぞれのレフト及びライトチャネル信号を一緒に混合してアップミキサー(UPMIXER)17に提供し、アップミキサーはその2チャネル入力からの7.1チャネルセットの信号を合成する。ドルビープロロジックIIx製品に取り入れたアップミックス技術を使用することとしてもよいが、アップミキサー17を本質的に所望のいかなるセットのアップミックス方程式によっても実装することができる。オーディオソース2のサラウンドサウンドチャネル信号をオーディオソース3の対応するチャネル信号と混合してサラウンドチャネルアップミキサー(UPMIXER)18に提供し、このミキサー18は、ミキサー(MIXER)22に提供する4チャネルセットのサラウンドサウンド信号を合成する。ドルビープロロジックIIx製品に取り入れたアップミックス技術を使用することができるが、アップミキサー22を本質的にいかなる所望のセットのアップミックス方程式によっても実装できる。オーディオソース3からの残りのサラウンドチャネル信号をアップミキサー22に提供し、アップミキサー22はそれぞれのバックサラウンドチャネルのための信号を混合する。その出力をアップミキサー17の出力と共にアップミキサー30の入力として提供する。アップミキサー30はその入力信号を混合して7.1出力チャネルを提供する。この手法は、オーディオソース1とオーディオソース2からの信号の7.1チャネル展開と、オーディオソース3からの7.1チャネル信号の7.1チャネルバージョンの両方を含むミキサー30からの1セットの出力信号を提供する。
他の実用化は可能である。例えば、1代替実用化では、ミキサー12のレフト及びライトチャネル出力信号は5.1チャネルにアップミックスされ、追加ミキサーにおいて、ミキサー12の出力のセンター、レフトサラウンド及びライトサラウンドチャネル信号と結合される。例えば、ドルビープロロジックII製品に見られるアップミックス技術を使用して、2チャネルから5.1チャネルを合成することができる。この追加ミキサーの5.1チャネル出力信号をサラウンドチャネルアップミキサーの7.1チャネルにアップミックスして、ミキサー30の入力として提供する。例えばドルビープロロジックIIx製品に見られるアップミックス技術を使用して5.1チャネルから7.1チャネルを合成することができる。この代替の実用化に関して図6に示す態様が好ましい。但し、これはアップミックスのステージよりも多いステージを通る何らかの信号を必要とする。
B.実用化
本発明の種々の形態を取り入れた装置は、汎用コンピュータに見られる構成要素と同様の構成要素と結合されたデジタル信号処理(DSP)サーキットリーのようなより専門的要素を含むコンピュータ他の装置によって実行されるソフトウェアを含み、さまざまな方法で実装される。図7は本発明の態様の実施に使用することができる装置70の略ブロック図である。プロセッサ72はコンピューティングリソースを提供する。RAM73は処理のためにプロセッサ72によって使用されるシステムランダム・アクセス・メモリ(RAM)である。ROM74は装置70の作動に必要かつ本発明の種々の態様を実行することができるプログラムを格納する読み出し専用メモリ(ROM)などの永続的なストレージのいくつかの形態を表す。入出力制御75は、通信チャネル76,77を介して信号を送受するインタフェース回路を表す。図示の例では、すべての主要な構成要素がバス71に接続されている。これは、1つ以上の物理的又は論理的バスを表すが、バス構成は本発明を実行するのに必要でない。汎用コンピュータシステムによって実行される実施の形態では、装置に接続されるキーボード又はマウス及びディスプレイ、及び、磁気テープか磁気ディスク又は光学メディアなどの記憶メディアを有するストレージデバイス78を制御するための追加要素を含むことができる。記憶メディアは、オペレーティングシステム、ユーティリティ、およびアプリケーションのための命令プログラムを記録するのに使用され、また、本発明の種々の態様を実装するプログラムを含むことができる。
本発明の種々の態様の実施に必要な機能は、離散的ロジック要素、集積回路、1つ以上のASIC及び/又はプログラム被制御プロセッサを含み、多様な方法で実装される構成要素によって実行される。これらの要素が実装される方法は本発明にとって重要でない。
本発明のソフトウェア実装は、音速域から紫外域周波数を含むスペクトルに渡るベースバンド又は変調通信路などのマシンによる読み込みが可能なメディア、または、磁気テープ、磁気カード、磁気ディスク、光カード、光ディスク、半導体メモリ、及び紙を含むメディア上の検出可能なマークを含む本質的にはどんな記録技術も使用することで情報を伝達することができる記憶メディアによって行うことができる。