JP2011504713A

JP2011504713A - オーディオをリングトーンデータとミックスするためのシステム及び方法

Info

Publication number: JP2011504713A
Application number: JP2010535104A
Authority: JP
Inventors: チャン、オー−チェン; ベイ、ジュンヤン; カンナン、カーティク; ミトナラ、シバ・パバン・クマー; ネルソン、フイ−ヤ
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2007-11-21
Filing date: 2008-11-21
Publication date: 2011-02-10
Also published as: KR20100094529A; CN101911662A; US8498667B2; WO2009067693A1; TW200939732A; US20090131119A1; EP2232834A1

Abstract

アクティブな通信セッション時に通信デバイス（１１０）において、ミックスされたオーディオを演奏するための方法およびシステムが開示される。一構成は、リングトーンオーディオが進行中の通話中に受信された音声オーディオと同時に聞き取られることを可能にする。一構成では本デバイス（１１０）は、第１のオーディオ信号を受信するように構成されたトランシーバ（１３０）と、通知を受信するように構成されたイベントハンドラ（１２８）と、少なくとも１つのオーディオファイル（１２４）を記憶するように構成された記憶装置（１２６）と、上記受信された通知に基づいて上記記憶装置（１２６）に記憶されたオーディオファイル（１２４）の第２のオーディオ信号への変換を開始するように構成されたプロセッサ（１１２）と、ミックスされたオーディオ信号を生成するために上記第１のオーディオ信号と上記第２のオーディオ信号とをミックスするように構成されたミキサ（１２０）と、上記ミックスされたオーディオ信号を出力するための出力デバイス（１２２）と、を備える。

Description

本開示は、オーディオ処理に関し、より特定的には少なくとも２つのオーディオ信号の同時的プレーバックを可能にするためのオーディオミキシング技法に関する。本開示は、「ＩｎｔｅｌｌｉｇｅｎｔＳｃａｌｉｎｇａｎｄＭｉｘｉｎｇｔｏＤｉｆｆｅｒｅｎｔｉａｔｅＡｕｄｉｏＳｏｕｒｃｅｓ（オーディオ音源を弁別するための知的スケーリングおよびミキシング）」と題する同時係属中で相互関連の特許出願第１１／４４９，４５４号に関連する。

最新の電話ハンドセットは現在では、ユーザが高品質の音楽を聴くこと、および第三者との間で電話呼出しを行い、また受信することを可能にする高度の音楽的機能を含む。マルチメディアハンドセット設計は、ハイファイ品質のオーディオ録音およびプレーバック機能を可能にするために柔軟なディジタル・オーディオ・サンプリング能力および強力な処理能力を必要とする。スピーカフォンまたはヘッドフォンを経由したプレーバックのために信号を最適化するためには、例えばマルチバンド等化または３Ｄサウンド処理といった高機能オーディオ処理が必要になり得る。

現在のハンドセットがますます強力になってくる一方で、ユーザは同時に、自分のハンドセットの使用時のより大きな柔軟性を求めている。これらの新たに生起する複雑な使用モードをサポートするためにこのようなハンドヘルドデバイスは、プレーバックモード時に異なるコンテンツのミキシングを可能にする柔軟なディジタルおよびアナログインタフェースを必要とし始めている。例えば多くの現在の電話は、着信する電話呼出しが検知された場合、音楽またはビデオのプレーバックを中断するであろう。他の電話は、音楽またはビデオの音量を下げて、電話呼出しが着信していることをユーザに警告するためのトーンを演奏するであろう。これらの種々のデータストリームは典型的には、これらのハンドセット機能を管理する複雑さに加わる、異なるサンプルレートを有する。

携帯電話が使用中でなくて着信呼出し通知を受信すると、この携帯電話は典型的には電話のスピーカを介して演奏されるリングトーンデータにアクセスするであろう。リングトーンデータは、単純なトーンまたは複雑な楽譜のいずれかであり得るが、通常は審美的に美しいことと発信者の識別との両方であるようにユーザによって選択される。しかしながら携帯電話のユーザが電話での会話に既に携わっていたときには、リングトーン機能は一般に関与しない。携帯電話は進行中の会話の品質に影響を及ぼさずに複雑なサウンドを生成することができないので、更なる着信呼出しが存在することを単純な音調のサウンドが携帯電話ユーザに指示する。

本開示において説明される１つの態様は、アクティブな通信セッション時に通信デバイスにおいて、ミックスされたオーディオを演奏する方法であって、上記アクティブな通信セッションから第１のオーディオ信号を受信することと、通知を受信することと、この通知に応答して、記憶されたオーディオファイルの第２のオーディオ信号への変換を開始することと、ミックスされたオーディオ信号を生成するために上記第１のオーディオ信号と上記第２のオーディオ信号とをミックスすることと、このミックスされたオーディオ信号を上記通信デバイスの出力部に出力することと、を備える方法である。

本開示において説明されるもう１つの態様は、アクティブな通信セッション時に、ミックスされたオーディオを演奏するように構成された通信デバイスであって、第１のオーディオ信号を受信するように構成されたトランシーバと、通知を受信するように構成されたイベントハンドラ（イベント処理部）と、少なくとも１つのオーディオファイルを記憶するように構成された記憶装置と、上記受信された通知に基づいて上記記憶装置に記憶されたオーディオファイルの第２のオーディオ信号への変換を開始するように構成されたプロセッサと、ミックスされたオーディオ信号を生成するために上記第１のオーディオ信号と上記第２のオーディオ信号とをミックスするように構成されたミキサと、上記ミックスされたオーディオ信号を出力するための出力デバイスと、を備える通信デバイスである。

１つの態様は、アクティブな通信セッション時に通信デバイスにおいて、ミックスされたオーディオを演奏する方法である。この方法は、上記アクティブな通信セッションから第１のオーディオ信号を受信することと、通知を受信することと、この通知に応答して、記憶されたオーディオファイルの第２のオーディオ信号への変換を開始することと、ミックスされたオーディオ信号を生成するために上記第１のオーディオ信号と上記第２のオーディオ信号とをミックスすることと、このミックスされたオーディオ信号を通信デバイスの出力部に出力することと、を含む。

もう１つの態様は、アクティブな通信セッション時に、ミックスされたオーディオを演奏するように構成された通信デバイスである。このデバイスは、第１のオーディオ信号を受信するように構成されたトランシーバと、通知を受信するように構成されたイベントハンドラと、少なくとも１つのオーディオファイルを記憶するように構成された記憶装置と、上記受信された通知に基づいて上記記憶装置に記憶されたオーディオファイルの第２のオーディオ信号への変換を開始するように構成されたプロセッサと、ミックスされたオーディオ信号を生成するために上記第１のオーディオ信号と上記第２のオーディオ信号とをミックスするように構成されたミキサと、上記ミックスされたオーディオ信号を出力するように構成された出力デバイスと、を含む。

なおもう１つの構成は、アクティブな通信セッション時に、ミックスされたオーディオを演奏するように構成された通信デバイスであって、このデバイスは、上記アクティブな通信セッションから第１のオーディオ信号を受信するための手段と、通知を受信するための手段と、この通知に基づいて、記憶されたオーディオファイルの第２のオーディオ信号への変換を開始するための手段と、ミックスされたオーディオ信号を生成するために上記第１のオーディオ信号と上記第２のオーディオ信号とをミックスするための手段と、このミックスされたオーディオ信号を上記通信デバイスの出力部に出力するための手段と、を有する。

なおもう１つの構成は、アクティブな通信セッション時に通信デバイスにおいてオーディオを演奏する方法を実行するように１つ以上のプロセッサをプログラムするためのプロセッサ可読コードを有する１つ以上のプロセッサ可読記憶デバイスである。この記憶デバイスは、上記アクティブな通信セッションから第１のオーディオ信号を受信することと、通知を受信することと、この通知に応答して、記憶されたオーディオファイルの第２のオーディオ信号への変換を開始することと、ミックスされたオーディオ信号を生成するために上記第１のオーディオ信号と上記第２のオーディオ信号とをミックスすることと、このミックスされたオーディオ信号を上記通信デバイスの出力部に出力することと、なる方法を実行するようにプログラムされる。

１つの更なる構成は、アクティブな通信セッション時にオーディオを演奏する方法であって、第１のミックス可能なオーディオ信号を与えることと、通知を受信することと、この受信された通知に基づいてミックス不能なオーディオファイルの第２のミックス可能なオーディオ信号への変換を開始することと、ミックスされたオーディオ信号を生成するために上記第１のミックス可能なオーディオ信号と上記第２のミックス可能なオーディオ信号とをミックスすることと、このミックスされたオーディオ信号を出力することと、からなる方法を実行するように構成された、通信デバイス内の回路である。

図１は、本開示における一例示的構成の機能ブロック図である。図２は、音声信号とＭＩＤＩファイルとを同時に演奏する方法を示す流れ図である。図３は、ある時間に亘る処理パワーの割当てを示す図である。図４は、本開示での一構成による割込みの優先順位を示す流れ図である。

１つの構成は、アクティブな通信セッション時に通信デバイスにおいて、ミックスされたオーディオを演奏するためのシステムおよび方法である。例えば１つの構成は、電話が既に発生している通話から音声オーディオを符号化および復号し続けているときに携帯電話のユーザへの着信呼出しに関連するリングトーンの演奏を可能にする。リングトーンは、単純な音符または複雑な楽曲であり得る。以下に論じられるようにここで説明される他の構成は、通信デバイス上で行われている会話の品質を低下させずに進行中の会話にリングトーンの音楽データを合併させる。

通信デバイスは、上記のように携帯電話であり得る。更に通信デバイスは、パーソナル・ディジタル・アシスタント（ＰＤＡ）、パーソナルコミュニケータ（個人通信機）、固定電話、または通信機能を装備したステレオまたは携帯型音楽プレーヤーであり得る。更に通信デバイスは、移動ユニットがＰＤＡであり得るＩＰ（インターネットプロトコル）上で音声を使用する移動ユニット、携帯電話、ラップトップ、パソコンなどであり得る。一般的に言えば、アクティブな通信セッションは、データが一方のデバイスと他方のデバイス、例えば基地局または他の端末との間で伝送されている２つのデバイス間のデータセッションである。アクティブな通信セッションは、デバイスともう１つのデバイスまたはシステムとの間の通信リンクを備える。アクティブな通信セッションの一例は、例えば第１の無線発信者が第２の固定電話発信者または無線発信者に話しかけているというような無線システムにおける進行中の通話である。

オーディオ信号をミックスすることに関して、線形重ね合わせの原理は、第１に音波に当てはまる。すなわち２つのサウンドが同時に演奏されるとき、各サウンドは１つの音波を作り出しており、何らかの時点で測定されたサウンドはその時点におけるこれら２つの音波の合計におおよそ等しい。したがって２つのサウンドをミックスすることがこれら２つの入力サウンドの合計である単一のサウンドという結果をもたらすと言える。同様に各々が１つのサウンドを表す２つのオーディオストリームのミキシングは、これら２つの入力サウンドの合計を表す単一のオーディオストリームという結果をもたらす。しかしながら２つの異なるオーディオストリームをミックスすることは、単一の合計より多くを含み得る。例えばある幾つかの構成では、各オーディオストリームが「ミックス可能なオーディオフォーマット」になっていることを最初に確認することが必要である。ミックス可能なオーディオフォーマットは、一連のサンプリングされた時点において基調をなす音響波形を表すデータが存在するデータフォーマットを含む。このようなフォーマットの一例は、パルス符号変調（ＰＣＭ）である。２つの信号をミックスするために、サンプリングされた時点が両信号に関して同じであることは有利であり得る。これは、２つの信号の合計を単純化する。この効果を達成するためには、これらの信号の一方または両方を再サンプリングすること、すなわち異なる一連のサンプリング時点において基調をなす音響波形の値を計算することが必要であり得る。

ミキシングはまた、他の仕方で一方または両方のオーディオストリームを修正することを含む。例えば２つの信号がクリッピングのようにミックスされるときに不快なオーディオ効果を防止するために音量（または基調をなす波形の振幅）を調整することが必要であり得る。またミックスされたオーディオストリームを聴くときに聴取者がこれら２つのサウンドを聞き分けられるようにオーディオストリームの一方または両方を修正することは有利であり得る。例えばオーディオストリームの一方は、他方がより容易に聞き取られ得るように他方に関して弱められ得る。これらのオーディオストリームの各々は、オーディオストリームのバランスを一方が右のイヤホン（受話口）で聞かれ、他方が左のイヤホンで聞かれるように調整してもらうことができる。更にもう１つのミキシング技法は、「ＩｎｔｅｌｌｉｇｅｎｔＳｃａｌｉｎｇａｎｄＭｉｘｉｎｇｔｏＤｉｆｆｅｒｅｎｔｉａｔｅＡｕｄｉｏＳｏｕｒｃｅｓ（オーディオ音源を弁別するための知的スケーリング（増減）およびミキシング（混合））」と題する米国特許出願第１１／４４９，４５４号に記載されている。

ミキシングは各データストリームをミックス可能なフォーマットに配置することを含み得るので、ミキシングはデータストリームの合成、復元、復調または他の処理を含み得る。合成がミキシングのために良好な状態であることを必要とするミックス不能なオーディオ・ファイル・フォーマットの１つのクラスは、ＭＩＤＩ（ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ：楽器ディジタルインタフェース）といったイベント駆動型ファイルフォーマットである。ＭＩＤＩフォーマットは、ミュージックシンセサイザおよびＰＣサウンドカードといった電子音楽デバイス間で音楽情報を送るために設計された。ＭＩＤＩファイルに関するより多くの情報は、ＭＩＤＩ．ＯＲＧにおいてインターネット上で見付けられ得る。ＭＩＤＩファイルはディジタル化されたサウンドを含まず、むしろプロセッサによって解釈されてミックス可能なオーディオストリームに合成され得る１セットのディジタル音楽命令（音符）を含む。ＭＩＤＩフォーマットは音符の形の命令を含むだけなので、ＭＩＤＩファイルはきわめて小さくなり得る。ＭＩＤＩフォーマットで記憶されたオーディオファイルは通常、拡張機能．ｍｉｄまたは．ｍｉｄｉを有する。類似している、あるいはＭＩＤＩの機能を組み込んだ他のフォーマットは、ＸＭＦ（ＥｘｔｅｎｓｉｂｌｅＭｕｓｉｃＦｏｒｍａｔ：拡張可能音楽フォーマット）またはＳＭＡＦ（ＳｙｎｔｈｅｔｉｃＭｕｓｉｃＭｏｂｉｌｅＡｐｐｌｉｃａｔｉｏｎＦｏｒｍａｔ：合成音楽移動アプリケーションフォーマット）を含む。ある幾つかのイベント駆動型フォーマットは、特定の時刻に合成されなくてはならない音符を演奏するための命令よりはむしろ（またはこれらの命令加えて）記憶されたディジタル・オーディオ・ファイルを特定の時刻に演奏するための命令を備える。これらのディジタル・オーディオ・ファイルは、ミックス可能なオーディオ・ファイル・フォーマットで記憶されたファイルを含み得る。２つのイベント駆動型ファイルがいずれかの「ミックス可能オーディオフォーマット」への合成の前にミックスされ得ることと、合成がミキシングの後に遂行され得ることにも留意されたい。

ミックス不能オーディオ・ファイル・フォーマットのもう１つのクラスは、ミキサまたはディジタル・アナログ変換器への出力前に処理することを必要とするＭＰ３といった圧縮オーディオフォーマットを含む。ミックス不能オーディオ・ファイル・フォーマットの更にもう１つのクラスは、符号化オーディオフォーマット、例えばＥＶＲＣ（ＥｎｈａｎｃｅｄＶａｒｉａｂｌｅＲａｔｅＣｏｄｅｃ：高度可変速度コーデック）またはＧＳＭ（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ：移動体通信向けグローバルシステム）といった、音声データを伝送するための無線通信アプリケーションで使用されるフォーマットを含む。

これらのミックス不能ファイルは典型的には、電子デバイス内でより容易にミックスされるオーディオフォーマットに変換可能である。ミックス可能フォーマットの１つのこのようなクラスは、ＰＣＭ（パルス符号変調）と、ＡＤＰＣＭ（ＡｄａｐｔｉｖｅＰＣＭ：適応型ＰＣＭ）、ＷＡＶまたはＡＩＦＦ（ＡｕｄｉｏＩｎｔｅｒｃｈａｎｇｅＦｉｌｅＦｏｒｍａｔ：オーディオ交換ファイルフォーマット）といった関連フォーマットと、を含む。

１つの構成は、少なくとも２つのミックス不能オーディオ・ファイル・フォーマットの２つのミックス可能オーディオストリームへの変換と、ユーザへのミックスされたオーディオ出力を生成するためにこれらのオーディオストリームをミックスすることと、を可能にする。これは、サウンドの忠実性を維持し、処理による時間的遅延をできる限り小さくしながら、達成されるべきである。例えばもし携帯電話での会話中に着信呼出しが受信されれば、この着信呼出しに関連するリングトーンデータに会話の音声データをミックスすることが有利であろう。ミックスされたオーディオストリームの生成は好適には、会話にも着信呼出しの通知にもほとんど遅延を引き起こすことはなく、また同様に音声データおよびリングトーンデータにほとんど歪みという結果を招くことはない。

本開示の一態様は着信呼出し通知に関連するが、ここで説明されるようにリングトーンデータを使用して種々の他の通知が実行され得る。例えば低いバッテリー状態の告知または着信テキストメッセージの告知は、専門化されたリングトーンを使用して通話中に告知され得る。通知は、特定のリングトーンまたは他のオーディオファイルを演奏するためのユーザからの命令を含むこともあり得る。例えばユーザがＭＰ３ファイルを聴いていて自分の現在のリングトーンライブラリを良く調べたいと思っている場合である。もう１つの構成は、このようなユーザが開始した通知を含まない可能性もある。他の構成が通話中に発生した如何なるタイプの通知も利用し得ることは理解されるべきである。

携帯電話が使用されているときにリングトーンオーディオを与えるためにプロセッサは一構成において、リングトーンデータをミックス可能なオーディオ信号に合成する。ここで開示されているようにこの合成は好適には、携帯電話が通話において通常の動作を実行しているときと同時に、例えば音声パケットを符号化および復号しているときと同時に発生する。

続行する前に、ここで説明されているデバイスの構成を説明しながら使用される幾つかの更なる用語を定義することは有益であり得る。したがってこの詳細説明を通じて下記の用語は、ここでこれらに属するとみなされる意味を持たせる。

用語「告知（アナウンス）」または「呼出し告知」は、着信呼出しを示すために電気通信デバイスによって実行される感覚的な知覚可能事象を意味する。告知は、メディアファイル、特定の一連の閃光（点滅光）または定常光、振動、または他の何らかの感覚的知覚可能機構であり得るであろう。

用語「発信デバイス」は、発信呼出しを発信する電気通信デバイスを意味する。用語発信デバイスはまた、「発呼者」または「発信者」と相互交換可能に使用され得る。

用語「受信デバイス」は、着信呼出しを受信する電気通信デバイスを意味する。用語受信デバイスはまた、「被呼者」または「受信者」と相互交換可能に使用され得る。

このシステムは、下記に詳細に論じられるように種々のモジュールから構成される。当業者によって認められ得るようにこれらのモジュールの各々は、種々のサブルーチン、手順、定義命令文およびマクロを備え得る。これらのモジュールの各々は典型的には、別々にコンパイルされて単一の実行可能なプログラムにリンクされる。したがってモジュールの各々についての下記の説明は、好適なシステムの機能を説明するために便宜上、使用される。このように、これらのモジュールの各々によって受けられるプロセスは任意に、他のモジュールの１つに再配分され得るか、単一のモジュールに一緒に結合され得るか、あるいは例えば共用可能な動的リンクライブラリにおいて利用可能にされ得る。

ここで開示される構成は、ソフトウエア、ファームウエア、ハードウエアまたはこれらの何らかの組合せを生成するために標準的プログラミング技法またはエンジニアリング技法を使用する製造方法、製造装置または製造品目として実現され得る。ここで使用されるような用語「製造品目」は、ハードウエアに実現された、または光記憶デバイスおよび揮発性または不揮発性メモリデバイスといったコンピュータ可読媒体に実現されたコードまたは論理を指す。このようなハードウエアは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、複雑なプログラマブル論理デバイス（ＣＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、マイクロプロセッサまたは他の類似の処理デバイスを含み得るが、これらに限定されない。

図１は、本開示の一例示的構成の機能ブロック図である。この構成は、携帯電話１１０を含む。この携帯電話は、ＳＡＭＳＵＮＧ（登録商標）、ＮＯＫＩＡ（登録商標）、ＲＥＳＥＡＲＣＨＩＮＭＯＴＩＯＮ（登録商標）およびその他によって製造された無線電話といった如何なるタイプの従来型無線電話でもあり得る。特にこの携帯電話は、トランシーバ１３０、プロセッサ１１２、メモリ１２６、ミキサ１２０、およびスピーカ１２２を備える。トランシーバ１３０は、ディジタル信号を送信および受信するように構成される。ある幾つかの構成ではトランシーバは、無線通信のためのアンテナを備え得る。プロセッサ１１２は、如何なる標準的な、あるいは特注設計のマイクロプロセッサでもあり得る。１つの構成ではプロセッサは、ＭＳＭ６２９０またはＭＳＭ６８００といったＱｕａｌｃｏｍｍのＭＳＭ（ＭｏｂｉｌｅＳｔａｔｉｏｎＭｏｄｅｍ：移動局モデム）シリーズからのチップセットを備える。これらのプロセッサに関する更なる情報は、インターネット上でＱｕａｌｃｏｍｍ．ｃｏｍにおいで見出され得る。プロセッサ（または、ある幾つかの構成では、プロセッサの一部）にはイベントハンドラ１２８が接続される。イベントハンドラ１２８は、キーボード、プロセッサまたはトランシーバを介して、または通知を送信して、プロセッサ１１２に予め決められた措置を取らせるイベントを生成することができる他のデバイスを介して、ユーザから通知を受信することができる。イベントハンドラ１２８は、例えば機能呼出しとしてソフトウエアで実現され得る。メモリ１２６は、フラッシュ・メモリ・カードまたは磁気ハードディスク・ドライブといった如何なるタイプのディジタル記憶装置でもあり得る。メモリには１揃いのオーディオファイル１２４が接続される（ある幾つかの構成では、メモリ内に記憶される）。オーディオファイル１２４は、上記に列挙されたような種々のフォーマットで記憶され得る。

オーディオファイル１２４は、イベントハンドラ１２８によって処理された着信呼出し通知の受信時に演奏されるリングトーンデータを備え得る。このような着信呼出しが受信されると、ユーザによって選択された基準に基づいて適切なオーディオファイルが選択される。例えば職場からの携帯電話呼出しは１揃えのオーディオファイル１２４内にＭＩＤＩファイルとして記憶された第１のリングトーンに関連付けられ得るのに対して、友人からの電話呼出しは１揃いのオーディオファイル１２４内にＷＡＶファイルとして記憶された第２のリングトーンに関連付けられ得る。ミキサ１２０は、スピーカ１２２に出力を与えるように構成される。ミキサ１２０は、２つ以上のオーディオストリームを一緒にミックスするように、また単一のオーディオストリームをスピーカ１２２に出力するように、構成される。ミキサ１２０はプロセッサとは別に、あるいはプロセッサの一部として具体化されることが可能であり、ミキサが実行する機能はソフトウエアまたはファームウエアによって実行可能にされ得る。上記のように、２つのオーディオストリームをミックスするためにミキサは少なくとも、ボコーダ・デコーダ１１８とＭＩＤＩシンセサイザ１１６とに接続される。ある幾つかの構成ではボコーダ・デコーダ１１８およびＭＩＤＩシンセサイザ１１６は、ミキサ１２０の一部である。

ボコーダ・デコーダ１１８は、電話呼出しまたはアクティブな通信セッションに関連した音声パケット（音声データ）をミックス可能オーディオフォーマットに復号するように構成される。ボコーダ・デコーダ１１８は、もう１つの携帯電話または固定電話といった発信デバイスからの着信音声を復号する。ＭＩＤＩシンセサイザ１１６は、入力ＭＩＤＩファイルに基づいてオーディオ信号をミックス可能なオーディオフォーマットに合成するように構成される。ＭＩＤＩシンセサイザの一例はＣＭＸＭＩＤＩシンセサイザである。また携帯電話１１０内には、もう１つの携帯電話または固定電話といった発信デバイスからの着信音声を復号するボコーダ・デコーダ１１８が存在する。ミキサ１２０からの複合出力は、音声パケットおよびＭＩＤＩファイルが入力されたとき、ユーザが他のパーティとの通話中にＭＩＤＩリングトーンを聞くことを可能にする。

図２は、ユーザに音声信号とＭＩＤＩファイルとを同時に出力するプロセス２００を示す流れ図である。プロセス２００は、携帯電話が進行中の呼出しを有するときに発生し得る。状態２１０でプロセッサは、着信呼出し通知を受信するために待機する。もしもう１つの着信呼出しの通知がなければ、状態２１０はループし続ける。いったん携帯電話が着信呼出しを通知されると、状態２１２で、記憶されたＭＩＤＩファイルからこの着信呼出しに関連する適切なリングトーンデータが選択される。

いったん状態２１２で適切なリングトーンデータが選択されるとプロセス２００は、音声符号化、音声復号およびリングトーンデータの合成を処理するために利用可能な十分な処理パワーが携帯電話内に存在するかどうかを決定するために、決定状態２２０に移動する。これは、以下で図３に関連して、より完全に論じられる。もし多量の処理パワーが音声符号化および／または復号に充てられているせいでプロセッサが全量のリングトーンデータを合成するための能力を持たないという決定が決定状態２２０で行われれば、状態２１６でリングトーンデータは修正される。

状態２１６でシステムは、リングトーンデータがより少ないプロセッササイクルを使用して合成され得るようにリングトーンデータの複雑さを削減できる。これは、システムが音声符号化および復号プロセスの忠実度を維持して、なお選択されたリングトーンをユーザに演奏することを可能にする。一構成では状態２１６のときにシステムは、リングトーンがＭＩＤＩシンセサイザによって合成されているときにリングトーンから１つ以上の音符を除去する。本質的にＭＩＤＩファイルはリングトーンを作り上げる音符のファイルであるので、ファイルがリングトーンとしてディジタル楽曲に再構成される前にＭＩＤＩファイルから特定の音符を削減することは可能である。このような削減は、リングトーンのサウンド全体の極めて僅かな修正を行うだけなので、典型的なユーザによって気付かれる可能性は低い。

一構成では音符除去の順序は、音符除去の知覚効果をユーザに限定することに基づく。例えば音量の小さい音符を除去することは、聴取者が比較的騒々しい音符ほどには静かな音符の聞き落としに気付かないであろうという理由で、聴取者に対する影響を減らすであろう。リングトーンの複雑さを減らすためのもう１つのオプションは、「解放部分」にある音符を合成ではなく除去することによるものである。如何なる特定の音符またはトーンも、リングトーにおいて幾つかの状態を持ち得る。初めに音符は、特定の期間の間、「初期」部分に存在し得る。それから音符は、予め決められた期間中に初期部分から「持続」部分に移動する。この後に音符の解放部分が続く。解放部分は他の部分より静かであってリングトーンの構成全体にとって重要性が低いので、音符の解放部分の持続時間を減らすことはユーザに気付かれない可能性が高い。

リングトーンデータの複雑さを減らす更に他の方法が期待される。例えばメロディーといったある幾つかのＭＩＤＩトラックは、他のトラックより高い優先順位を与えられ得る。周知のようにリングトーンのメロディーは、和音またはハーモニーといった一時的イベントとは反対に直線的に連続した音楽イベントである。したがってメロディーは、リングトーンの知覚されるサウンドを損なわずにハーモニーより高い忠実度で合成され得る。したがって一構成では、リングトーンの複雑さを減らすためにハーモニーまたは特定の和音からの音符は除去されるが、メロディートラック内の音符は修正されない。

いったんシステムが上記の方法の１つによって楽曲の複雑さを減らすと、プロセス２００は決定状態２１８に移動し、そこでプロセッサがリングトーンを合成し、また進行中の通話の音声信号を復号し、符号化することを可能にするために十分な量をファイルが減らされたかどうかの決定が行われる。もし高い忠実度をもって音声信号を復号し符号化するために十分なＭＩＰＳ（ｍｉｌｌｉｏｎｓｏｆｉｎｓｔｒｕｃｔｉｏｎｓｐｅｒｓｅｃｏｎｄ：１秒当たりの１００万個単位の命令数、処理パワーの指標）が残されていないという決定がなされたのであれば、プロセス２００は状態２１６に戻り、そこでリングトーンの複雑さを減らすために更なる方法が始められる。しかしながらもし音声を復号し符号化し、またリングトーンを合成するために十分なＭＩＰＳがハンドセット内に残されているという決定がなされれば、プロセス２００は状態２２０に移動し、そこでリングトーンは合成される。

いったんリングトーンデータが状態２２０でオーディオ信号に合成されると、結果として得られたオーディオ信号はボコーダ・デコーダから受信された出力オーディオ信号とミックスされる２２２。ＭＩＤＩシンセサイザから受信されたオーディオ信号をボコーダ・デコーダからの音声データとミックスするためには、同じサンプリング周波数を有するように各データストリームを再サンプリングすることが有利であり得る。一構成では、音声とリングトーンオーディオ信号は４８ｋＨｚでサンプリングされる。本システムが如何なる特定の周波数でサンプリングすることにも限定されないことは無論である。それからミックスされたサウンドは、携帯電話のスピーカを介して演奏される２２４。

図３は、ユーザが電話呼出しを受けており、同じ時間中にリングトーンも演奏して、それによってユーザに着信呼出しを知らせようと試みている６０ミリ秒の時間に亘るハンドセット内の処理パワーの割当てを示す図である。携帯電話での通話中、プロセッサは特に、音声符号化と音声復号とリングトーン合成とに責任を有する。ある特定の電話呼出し時に音声符号化／復号が通常使用し得るチップ／マイクロプロセッサ／コンピュータの処理パワーの最大量は、処理される特定のコーデックに依存する。如何なる所定の時刻における使用時のこの最大量も、実際に符号化または復号されている信号に依存する。例えば無音を符号化／復号することは、極めて僅かしか処理パワーを取らない。図３では、電話呼出し時に音声信号を符号化および復号するために、処理パワーの７０％を必要とする可能性のある例示的コーデックが使用されている。この処理パワーの７０％は、このコーデックが使用されているときに音声符号化／復号に専用にされている。したがって残りの処理パワーは、通知が受信される場合のリングトーン合成に利用可能である。

コーデックが必要とし得る処理パワーのパーセンテージは７０％以外の数であり得ることは無論であり、一構成では処理パワーが使用中のコーデックにしたがって動的に割り当てられ得ることが予期されている。図３に示された例では、０ｍｓと１０ｍｓとの間で専用の処理パワーの約半分がボコーダ動作のために使用されている。この１０ｍｓの終わりに音声復号は、受信されたミックス不能な音声パケットをディジタル・アナログ変換器に送られてスピーカを通して演奏され得るミックス可能なオーディオフォーマットに変換している。この１０ｍｓの終わりで、復号されたオーディオは電話のユーザに演奏される。このオーディオが演奏されている間、次の１０ｍｓでボコーダは音声パケットの符号化および復号を実行するために専用の処理パワーの約４分の３を必要とする。次の１０ｍｓの終わりに、ミックス不能な音声パケットはミックス可能なオーディオフォーマットに復号されてユーザに演奏される。したがって０ｍｓと２０ｍｓとの間でプロセッサは、通話からの音声信号を完全に符号化し、また復号する。約２０ｍｓで着信呼出し通知は、受信されて、プロセッサに適切なリングトーンデータを選択してこれをミックス可能なオーディオ信号に合成し始めるように指示する。このようにして本システムは、１０ｍｓの音声符号化／復号およびＭＩＤＩ合成の両方を実行し始める。再び、ボコーダ動作に専用とされた処理パワーの１００％は使用されず、この場合、リングトーン合成のための残り処理パワーの１００％は使用されない。ＭＩＤＩリングトーンデータの最初の１０ｍｓはプロセッサから利用可能なＭＩＰＳの内で合成され得るので、リングトーンの複雑さを減らすために如何なるステップを取ることも必要でない。この１０ｍｓの時間の終わりで、ミックス不能な音声パケットはミックス可能なオーディオストリームに変換されており、またミックス不能なリングトーンデータはミックス可能なオーディオストリームに合成されている。これら２つのストリームは、できるだけ僅かな遅延でミックスされて演奏される。したがってリングトーンデータの次の部分が次の１０ｍｓに亘って合成されているときに、音声とリングトーンデータとを備えたミックスされたオーディオストリームがユーザに演奏されている。次の１０ｍｓに亘って３０ｍｓと４０ｍｓとの間で、専用ボコーダの処理パワーの大半が使用されており、リングトーン合成は行われ続けている。しかしながらこの場合、リングトーンデータはあまりにも複雑で利用可能な処理パワーでは完全には合成されなかった。

利用可能な処理パワーは、１０ｍｓのリングトーンデータをできるだけ忠実に合成するために使用される。上記に論じられたようにこのシステムは、例えばリングトーン部分の最初の５ｍｓを単に合成することよりむしろ上記の方法の１つ以上によってリングトーンの複雑さを減らすことができる。例えば音符をＭＩＤＩシンセサイザへのデータ入力から除去することによって、データをオーディオ信号に合成するために必要な処理パワーは小さくなる。上記に論じられたように音符除去の順序は、音符を落とすことの知覚効果を限定することに基づく。一構成では、リングトーンのタイミングが進行中の通話によって損なわれないようにシステムが複雑さを減らし続けることは理解されるべきである。したがってリングトーンが複雑さを減らされ得る一方で、リングトーンが楽曲内にギャップまたはジャンプを持つように合成されることはない。楽曲は、なおその通常の時間に演奏され、プロセッサが音声データの符号化および復号にどれほど多忙であるかに依存して複雑さを多少とも減らされ得る。これは、リングトーンがスキップまたは雑音なしにユーザによって期待されるサウンドと同じサウンドを維持することを保証している。

リングトーンデータの複雑さの削減は、多数の方法のうちの如何なるものでも実行される。一構成では、処理パワーが利用可能であった場合に所定の時刻に合成されたすべての音符はメモリに記憶され、そこで各音符はセットオン（規定）された、またはセットオフ（強調）された「アクティブな」属性を与えられる。複雑さを減らすために人は、「アクティブな」属性を単に交換する必要があるだけである。ＭＩＤＩシンセサイザは、セットオンされた「アクティブな」属性を有するこれらの音符を単に合成するようにプログラムされるであろう。

図４は、一構成による割込みの優先順位を示す図である。ミキサ４１０、オーディオコマンド４１２、ボコーダ・デコーダ４１４、ＭＩＤＩシンセサイザ４１６およびボコーダ・エンコーダ４１８の間の優先順位を考えると、ミキサ４１０は雑音のないプレーバックを保証するために最も高い優先順位を有する。第２にオーディオコマンド４１２は、それが短くて、ある幾つかの構成ではホストプロセッサが高速の応答を必要とするので第２の優先順位を有する。第３にボコーダ・デコーダ４１４は、それのタイミング制限が厳しいので第３の優先順位を有する。ＭＩＤＩシンセサイザ４１６は、それの１０ｍｓという時間分解能がボコーダ・エンコーダの２０ｍｓというフレームより細かいので第４の優先順位を有する。ＭＩＤＩシンセサイザは、予め割り合てられた処理パワーより多くを消費しないように設計される。そうでなければボコーダ・エンコーダ出力は低下する可能性がある。

ボコーダ・エンコーダ４１８は、より低い優先順位を有する。最後に、すべての処理は割込み駆動されるので、トップレベルのコードでは遊びループが有利であり得る。ＭＩＤＩ合成がハードウエアによってサポートされる場合には、更なるＭＩＤＩハードウエアＩＳＲが存在し得る。ＭＩＤＩハードウエアの優先順位は、ＭＩＤＩハードウエアの最大利用を達成するために、オーディオコマンドと同じであり得る。割込みは、プロセッサが所定のコマンド列を実行する順位を優先順位付けるために役立つ。例えばもしプロセッサがボコーダ・エンコーダを使用して音声パケットを符号化していて、そのプロセッサがＭＩＤＩ合成を開始する命令を突然受信すれば、プロセッサはボコーダ・エンコーダを使用して音声パケットを符号化することを完了するために戻る前にＭＩＤＩ合成を実行し得る（その割込み優先順位がより高いので）。

上記のように一構成は、アクティブな通信セッション時に通信デバイスにおいて、ミックスされたオーディオを演奏する方法であって、上記のアクティブな通信セッションから第１のオーディオ信号を受信することと、通知を受信することと、この通知に応答して、記憶されたオーディオファイルの第２のオーディオ信号への変換を開始することと、ミックスされたオーディオ信号を生成するために上記第１のオーディオ信号と上記第２のオーディオ信号とをミックスすることと、このミックスされたオーディオ信号を上記通信デバイスの出力部に出力することと、を備える方法である。この方法の各ステップを実行するための仕組みは上記で説明されてきた。これらのステップを実行するための更なる手段は下記で論じられる。アクティブな通信セッションから第１のオーディオ信号を受信するステップは、トランシーバ１３０によって実行され得る。トランシーバ１３０は、無線信号を受信するためのアンテナ、またはインターネットといった公衆データネットワークとの有線接続を含み得る。プロセッサ１１２はまた、例えばトランシーバ１３０を介して第１のオーディオ信号を受信できる。通知を受信するステップは、イベントハンドラ１２８によって実行され得る。例えば携帯電話のバッテリーが低くなっているときプロセッサ１１２は、イベントハンドラ１２８への通知を生成でき、それからこのイベントハンドラはメモリ１２６または１揃えのオーディオファイル１２４から適切なオーディオファイルを選択するようにプロセッサ１１２に命令する。プロセッサ１１２はまた、例えばイベントハンドラから、あるいはトランシーバ１３０を介して通知を受信できる。記憶されたオーディオファイルの第２のオーディオ信号への変換を開始するステップは、プロセッサ１１２が１つのオーディオファイルをメモリ１２６または１揃えのオーディオファイル１２４からロードするときにプロセッサによって実行され得る。メモリ１２６はまた、プロセッサ１１２またはイベントハンドラ１２８からの命令に応答してメモリが第２のオーディオ信号をプロセッサ１１２、ミキサ１２０、またはＭＩＤＩシンセサイザ１１６に送信するときに変換の開始を実行し得る。第１のオーディオ信号と第２のオーディオ信号とをミックスするステップは、ミキサ１２０によって実行され得る。更にこのステップは、プロセッサ１１２によって実行され得る。２つのＭＩＤＩファイルといった２つのイベント駆動型オーディオ信号をミックスする場合、ＭＩＤＩシンセサイザ１１６は、ミキシングを実行できる。このミックスされたオーディオ信号を通信デバイスの出力部に出力するステップは、ミキサ１２０によって実行され得る。通信デバイスの出力デバイスは、スピーカ１２２またはトランシーバ１３０であり得る。出力デバイスがトランシーバ１３０である場合、プロセッサ１１２がこの出力ステップを実行できる。出力デバイスがアンテナである構成では、トランシーバ１３０が出力ステップを実行できる。スピーカへの出力の前のディジタル・アナログ変換といった更なる処理のためにミキサ１２０がミックスされたオーディオ信号をプロセッサに供給する構成では、プロセッサ１１２が出力ステップを実行できる。

上記の機能の一部または全部を１つの回路が実現し得ることを当業者が認めるであろうことは留意されるべきである。これらすべての機能を実現する１つの回路が存在し得る。またこれらすべての機能を実現し得る第２の回路と組み合わされた１つの回路の多数のセクションも存在し得る。一般にもし多数の機能がこの回路内で実現されるのであれば、この回路は集積回路（ＩＣ）であり得る。現在の移動プラットホーム技術によれば、集積回路は少なくとも１つのディジタル信号プロセッサ（ＤＳＰ）と、この少なくとも１つのＤＳＰを制御および／またはこのＤＳＰと通信するための少なくとも１つのＡＲＭプロセッサと、を備え得る。１つの回路は幾つかのセクションによって説明され得る。幾つかのセクションは、異なる機能を実行するために再使用されることが多い。

通信デバイスにおける回路は、第１のミックス可能なオーディオ信号を与えるように構成され得る。同じ回路、異なる回路、または同じあるいは異なる回路の第２のセクションは、通知を受信するように構成され得る。更に、同じ回路、異なる回路、または同じあるいは異なる回路の第３のセクションは、受信された通知に基づいてミックス不能なオーディオファイルの第２のミックス可能オーディオ信号への変換を開始するように構成され得る。変換を開始するように構成された回路の部分は、通知を受信する回路の部分に接続され得る、あるいは同じ回路であり得る。同じまたは異なる回路の第４のセクションは、ミックスされたオーディオ信号を生成するために第１のミックス可能なオーディオ信号と第２のミックス可能なオーディオ信号とをミックスするように構成され得る。第４のセクションは好適には、第１、第２のミックス可能なオーディオ信号を取得するために第１のセクションおよび第４のセクションに接続され得る。代替として第１、第３、第４のセクションは、同じ回路内に具体化され得る。同じまたは異なる回路の第５のセクションは、ミックスされたオーディオ信号を出力するように構成され得る。第５のセクションは好適には第４のセクションに接続され得るか、あるいは第４のセクションと同じ回路内に具体化され得る。

前述の説明は、種々の好適な構成および他の限定的ではなく例示的な構成を説明している。この説明は、開示された構成の組合せとモードとに関するある幾つかの詳細事項を与えている。これらの構成の開示された特徴と態様との他の変形、組合せ、修正、モード（形態）、および／またはアプリケーションは、本明細書を読むときに当業者に明らかになる事柄を含めて本開示の範囲内にある。したがって本書における特許請求の範囲は、下記の請求項の公正な読解によってのみ決定されるべきである。

Claims

アクティブな通信セッション時に通信デバイスにおいて、ミックスされたオーディオを演奏する方法であって、
前記アクティブな通信セッションから第１のオーディオ信号を受信することと、
通知を受信することと、
前記通知に応答して、記憶されたオーディオファイルの第２のオーディオ信号への変換を開始することと、
ミックスされたオーディオ信号を生成するために前記第１のオーディオ信号と前記第２のオーディオ信号とをミックスすることと、
前記ミックスされたオーディオ信号を前記通信デバイスの出力部に出力することと、
を備える方法。
前記第１のオーディオ信号は音声データを備える、請求項１に記載の方法。
前記通知は着信呼出しの通知を備える、請求項１に記載の方法。
前記通信デバイスは電話機を備え、前記アクティブな通信セッションは進行中の通話を備える、請求項１に記載の方法。
前記通信デバイスは携帯電話である、請求項１に記載の方法。
前記第２のオーディオファイルはリングトーンデータを備える、請求項１に記載の方法。
前記第２のオーディオファイルはイベント駆動型オーディオフォーマットで記憶されたファイルを備える、請求項１に記載の方法。
前記イベント駆動型オーディオフォーマットはＭＩＤＩコンポーネントを備える、請求項７に記載の方法。
前記ミキシングは前記オーディオ信号のうちの少なくとも１つのオーディオ信号のオーディオ知覚特性を修正することを備える、請求項１に記載の方法。
前記ミキシングは前記ミックス可能なオーディオファイルの少なくとも１つを再サンプリングすることを備える、請求項１に記載の方法。
前記ミキシングは合成、復元または復調を備える、請求項１に記載の方法。
アクティブな通信セッション時に、ミックスされたオーディオを演奏するように構成された通信デバイスであって：
第１のオーディオ信号を受信するように構成されたトランシーバと、
通知を受信するように構成されたイベントハンドラと、
少なくとも１つのオーディオファイルを記憶するように構成された記憶装置と、
前記受信された通知に基づいて前記記憶装置に記憶されたオーディオファイルの第２のオーディオ信号への変換を開始するように構成されたプロセッサと、
ミックスされたオーディオ信号を生成するために前記第１のオーディオ信号と前記第２のオーディオ信号とをミックスするように構成されたミキサと、
前記ミックスされたオーディオ信号を出力するように構成された出力デバイスと、
を備える通信デバイス。
前記通信デバイスは電話機を備え、前記アクティブな通信セッションは進行中の通話を備える、請求項１２に記載のデバイス。
前記電話機は携帯電話を備える、請求項１３に記載のデバイス。
前記出力デバイスはスピーカである、請求項１２に記載のデバイス。
前記プロセッサ、イベントハンドラおよびミキサのうちの少なくとも２つは同じユニット内に具体化される、請求項１２に記載のデバイス。
前記プロセッサは前記第１のミックス可能なオーディオ信号を与えるために、受信された音声データを復号するように更に構成される、請求項１２に記載のデバイス。
前記通知は前記プロセッサによって生成される、請求項１２に記載のデバイス。
前記通知は着信呼出し通知を備える、請求項１２に記載のデバイス。
前記ミックス不能なオーディオファイルはリングトーンデータを備える、請求項１２に記載のデバイス。
前記ミキサは前記ミックス可能なオーディオ信号の少なくとも１つを再サンプリングするように構成される、請求項１２に記載のデバイス。
前記ミキサおよび前記プロセッサのうちの少なくとも１つは合成、復元または復調を実行するように構成される、請求項１２に記載のデバイス。
アクティブな通信セッション時に、ミックスされたオーディオを演奏するように構成された通信デバイスであって、
前記アクティブな通信セッションから第１のオーディオ信号を受信するための手段と、
通知を受信するための手段と、
前記通知に応答して、記憶されたオーディオファイルの第２のオーディオ信号への変換を開始するための手段と、
ミックスされたオーディオ信号を生成するために前記第１のオーディオ信号と前記第２のオーディオ信号とをミックスするための手段と、
前記ミックスされたオーディオ信号を通信デバイスの出力部に出力するための手段と、
を備える通信デバイス。
アクティブな通信セッション時に通信デバイスにおいてオーディオを演奏する方法であって、
前記アクティブな通信セッションから第１のオーディオ信号を受信することと、
通知を受信することと、
前記通知に応答して、記憶されたオーディオファイルの第２のオーディオ信号への変換を開始することと、
ミックスされたオーディオ信号を生成するために前記第１のオーディオ信号と前記第２のオーディオ信号とをミックスすることと、
前記ミックスされたオーディオ信号を前記通信デバイスの出力部に出力することと、
を備える方法を実行するように１つ以上のプロセッサをプログラムするためのプロセッサ可読コードを有する１つ以上のプロセッサ可読記憶デバイス。
前記アクティブな通信セッションは進行中の通話を備える、請求項２４に記載の１つ以上のプロセッサ可読記憶デバイス。
前記通知は着信電話呼出しの通知を備える、請求項２４に記載の１つ以上のプロセッサ可読記憶デバイス。
アクティブな通信セッション時にオーディオを演奏する方法であって；
第１のミックス可能なオーディオ信号を与えることと；
通知を受信することと；
前記受信された通知に基づいてミックス不能なオーディオファイルの第２のミックス可能なオーディオ信号への変換を開始することと；
ミックスされたオーディオ信号を生成するために前記第１のミックス可能なオーディオ信号と前記第２のミックス可能なオーディオ信号とをミックスすることと；
前記ミックスされたオーディオ信号を出力することと；を備える方法を実行するように構成される、通信デバイス内の回路。
前記第１のミックス可能なオーディオ信号は復号された音声データを備える、請求項２７に記載の回路。
前記通知を受信することは着信電話呼出しの通知を受信することを備える、請求項２７に記載の回路。