JP2014112830A - 携帯装置における強化ステレオ録音システム及び方法 - Google Patents

Abstract

【課題】電子装置における強化されたステレオ録音のための方法及びシステムを提供する。
【解決手段】第１のマイクロフォン１２０及び第２のマイクロフォン１３０が生成した信号の処理は、評価したステレオ録音性能に基づいて構成されてもよい。その構成は、ステレオ録音性能を強化するため、理想的な性能に一致または近似させるために処理を適応して修正することを備えていてもよい。電子装置１００のステレオ録音の評価は、第１のマイクロフォン１２０及び第２のマイクロフォン１３０それぞれの種類に基づいて、及び／または第１のマイクロフォン１２０と第２のマイクロフォン１３０との間の間隔１４０に基づいて行われてもよい。その処理は、マイクロフォンが全方向性であるとき、第１のマイクロフォン１２０及び第２のマイクロフォン１３０による信号の指向性受信をシミュレーションするために適応して修正されてもよい。
【選択図】図１

Description

本出願の態様は音声処理に関する。具体的には、本開示の一定の実装は、携帯装置における強化されたステレオ録音に関する。
優先権主張

本出願は、「携帯装置における強化されたステレオ録音」という名称の２０１２年１１月８日出願の特許文献１を参照し、その優先権を主張し、利益を主張する。前述の出願はその全体が参照により本明細書に組み込まれる。

電子装置において、音声入出力用構成部品（たとえば、スピーカ及びマイクロフォン）を管理するための既存の方法及びシステムは、非効率的であることもあり、及び／または費用がかかることもある。従来の伝統的な手法を、本開示で以下に説明する本方法及び機器の一部の態様と図面を参照して比較することによって、従来の伝統的な手法の別の制限及び不利点が当業者には明らかになる。

米国仮特許出願第６１／７２３７９７号

本発明のシステムは、１または複数の回路と、第１のマイクロフォン及び第２のマイクロフォンとを有する電子装置を備えるシステムであって、前記１または複数の回路は、前記電子装置のステレオ録音性能を、前記第１のマイクロフォン及び前記第２のマイクロフォンを用いて評価可能であり、前記第１のマイクロフォン及び前記第２のマイクロフォンが生成した信号を、前記評価したステレオ録音性能に基づいて処理可能であり、ステレオ録音性能を強化し理想的な性能に適合または近似するように前記処理を適応して修正することを特徴とする。
本発明の方法は、第１のマイクロフォン及び第２のマイクロフォンを備える電子装置において、前記電子装置のステレオ録音性能を前記第１のマイクロフォン及び前記第２のマイクロフォンを用いて評価することと、前記第１のマイクロフォン及び前記第２のマイクロフォンが生成した信号を、前記評価したステレオ録音性能に基づいて処理し、ステレオ録音性能を強化するため、理想的な性能に一致または近似させるために処理を適応して修正することとを含むことを特徴とする。

同じ方向を向いている２つのマイクロフォンを備える電子装置の例を示す説明図 同じ方向を向き、お互いに近接して離間する２つのマイクロフォンを備える携帯装置の例の説明図 強化されたステレオ録音をサポートするように設定可能な複数のマイクロフォンを備える電子装置の例の構造の説明図 同じ方向を向いている２つの全方向性マイクロフォンを有する電子装置の、録音シナリオの例の説明図 強化されたステレオ録音の処理例を例示するフローチャート

本発明による携帯装置における強化されたステレオ録音のためのシステム及び／または方法は、少なくとも１つの図に関連して略示され、及び／または記載され、請求項でより完全に説明されるように提供される。
本開示のこれらの有利点及び別の有利点、態様及び新規の特徴ならびに、その例示する実装の詳細は、以下の説明及び図から、より詳細に理解される。

電子装置、具体的には携帯装置における強化されたステレオ録音のための方法及びシステムにおいて、一定の実装が認められる。本明細書で使用する場合、用語「回路」及び「回路構成」は、物理的な電子構成部品（つまりハードウェア）、及びハードウェアを構成してもよい、またはハードウェアによって実行されてもよい、及び／またはその他の方法でハードウェアと関連してもよい任意のソフトウェア及び／またはファームウェア（「コード」）を指す。本明細書で用いる場合、たとえば、特定のプロセッサ及びメモリは、第１の複数のコード行数を実行するときには第１の「回路」を備え、第２の複数のコード行数を実行するときには第２の「回路」を備えていてもよい。本明細書で使用する場合、「及び／または」とは、「及び／または」で連結される任意の１または複数のリスト内の項目を意味する。たとえば、「ｘ及び／またはｙ」は、３要素のセット｛（ｘ）、（ｙ）、（ｘ、ｙ）｝の任意の要素を意味する。別の例では、「ｘ、ｙ、及び／またはｚ」は、７要素のセット｛（ｘ）、（ｙ）、（ｚ）、（ｘ、ｙ）、（ｘ、ｚ）、（ｙ、ｚ）、（ｘ、ｙ、ｚ）｝の任意の要素を意味する。本明細書で使用する場合、用語「ブロック」及び「モジュール」は、１または複数の回路によって実施することができる機能を指す。本明細書で使用する場合、用語「例」は、非限定的な例、事例、または例示として用いられることを意味する。本明細書で使用する場合、用語「たとえば（ｆｏｒ ｅｘａｍｐｌｅ）」及び「たとえば（ｅ．ｇ．）」は、１または複数の非限定的な例、事例、または例示のリストを紹介する。本明細書で使用する場合、回路構成は、一部のユーザ設定可能なセッティングによって機能の性能が無効、または実行不能とされているかに関わらず、回路構成が機能を実施するために必要なハードウェア及び（コードが必要な場合は）コードを備える場合は常に機能を実施するように「操作可能」である。

図１は、同じ方向を向いている２つのマイクロフォンを備える電子装置の例を例示する。図１を参照すると、電子装置１００が示される。

電子装置１００は、様々な機能、操作、アプリケーション、及び／またはサービスを実施し、またはサポートするために適切な回路構成を備えていてもよい。電子装置１００が実施、またはサポートする機能、操作、アプリケーション、及び／またはサービスは、ユーザの指示及び／または事前構成された指示に基づいて実行または制御されてもよい。

ある事例では、電子装置１００は、１または複数のサポートされる無線及び／または有線プロトコルまたは規格にしたがって、有線及び／または無線接続などを介してデータの通信をサポートしてもよい。

ある事例では、電子装置１００は、携帯装置であってもよく、つまり、ユーザが装置を使用中に手で持つことを意図してもよく、それによって、移動中に、及び／または様々な場所で装置を用いることが可能となる。この点について、電子装置１００は、移動が容易となるように設計及び／または構成されてもよく、ユーザが移動するときに、ユーザが手に持ちながら容易に移動することなどが可能となる。電子装置１００は、移動中の装置によってサポートされる操作、機能、アプリケーション及び／またはサービスの少なくとも一部を実施するように構成されてもよい。携帯装置である電子装置の例は、通信携帯装置（たとえば、携帯電話、スマートフォン、及び／またはタブレット）、コンピュータ（たとえば、ラップトップ）、媒体装置（たとえば、ポータブルメデイアプレイヤ及びカメラ）などを含む。電子装置１００はさらに、ウェアラブル装置であってもよい。つまり、電子装置１００は、ユーザが手で持つのではなく、装置のユーザが着用してもよい。ウェアラブル電子装置の例は、デジタル腕時計及び腕時計状の装置（たとえば、アイウォッチ）を含んでいてもよい。ただし、本開示は任意の特定の種類の電子装置に限定されない。

電子装置１００は、音声の入力及び／または出力をサポートしてもよい。電子装置１００は、たとえば、音声を出力及び／または入力する（取り込む）際に用いるための複数のスピーカ及びマイクロフォンを、スピーカ及びマイクロフォンを駆動、制御及び／または利用するための適切な回路構成と共に内蔵してもよい。
たとえば図１に示すように、電子装置１００は、スピーカ１１０と、１対のマイクロフォン１２０及び１３０とを備えていてもよい。スピーカ１１０は、音声（または別の音響）信号を電子装置１００から出力する際に用いられてもよい。その一方、マイクロフォン１２０及び１３０は、音声または別の音響信号を電子装置に入力する（たとえば、取り込む）際に用いられてもよい。２つのマイクロフォン（１２０及び１３０）を用いることは、ステレオ効果をサポートすることができえるため、望ましい場合もある。この点について、振幅及び位相にある程度の差を持って、両耳で共通の信号を受信及び／または取り込むときに、人間の脳はステレオ効果を経験することもある。そのとき、２つの耳は、間に距離を置いて位置すること、またそれぞれの耳の選択感受性の方向が逆であること、つまり、信号源の位置によって、片方の耳が別の耳よりも早くそして強力に音を取り込むこともあるという事実のために、ステレオ効果が起こることもある。位相差がステレオ体験に与える効果は一般には少ないが（低周波領域に限定される）、振幅差はこのステレオ体験に影響する、より重大な属性であってもよい。このように、（たとえば、電子装置１００などの電子装置による）録音中のステレオ効果を保持するために、２つのマイクロフォンを用いてもよく、特に、ステレオ効果のために配置してもよい。具体的には、（たとえば、マイクロフォンを電子装置の同一側あるいは表面、またはそのケース上に配置することによって、及び／または人間の耳による（音声の）受信を模倣するために十分である一定の距離（離間距離１４０）をその間に置いてマイクロフォンを配置することによって）マイクロフォンが信号を同一の信号源から受信してもよいように、マイクロフォンを配置してもよい。最適なステレオ録音性能を実現するために、マイクロフォンを特定の様式（たとえば、顕著な距離、たとえば１５ｃｍの間隔で離間する、及び／または指向性受信特性を有する様式）で配置することが必要となることもある。

ある事例では、マイクロフォンをお互いに近接して配置することが望ましいこともある。たとえば、携帯通信装置では、音声録音で用いるためのマイクロフォンを、たとえばノイズリダクションなどの機能をサポートするためにも用いてもよい。携帯通信装置における最新のノイズリダクション技術を使用することは、たとえば、周辺ノイズを拾うために用いてもよい２つのマイクロフォンの使用を取り入れてもよい。ある事例では、ノイズリダクションの性能は一般に、２つのマイクロフォンがお互いに近接して（たとえば、１−２ｃｍの範囲内で）配置されるときに最高となる。それによって、両方のマイクロフォンが拾うノイズ間の相関関係は確実に顕著に高くなり、したがって、２つのマイクロフォンを用いたノイズリダクションの性能は顕著に良くなってもよい。このような様式のマイクロフォンの配置（たとえば、マイクロフォンをお互いに近接して配置すること）は、ノイズリダクションなどの別の機能を強化するためか、または空間が限定されているためかを問わず、一定の種類の電子装置、たとえば、携帯通信装置及び別の携帯電子装置において特に行われてもよい。このような装置の例を、たとえば図２に示す。

ただし、マイクロフォンのこのような配置は、ステレオ録音の性能を低下させることもある。これは、たとえば、ステレオ録音のためには、２つのマイクロフォンがお互いに非常に近接して配置される結果として、２つのマイクロフォン間の差が少ないために起こる。したがって、本開示による様々な実装では、１−２ｃｍの範囲内など、お互いに非常に近接していて最適に配置されていないマイクロフォンを有する装置において、ステレオ録音を強化することができる。ステレオ録音の強化は、たとえば、適応処理を用いることによって通常は実現されてもよい。この適応処理では、最適な配置で、たとえば、離間して配置されるマイクロフォン、及び／または指向性受信特性を有するマイクロフォンを用いることによって実現される結果をシミュレーションすることが可能である。これは以下の図に関連して詳細に説明する。

図２は、同じ方向を向き、お互いに近接して離間する２つのマイクロフォンを備える携帯装置の例を例示する。図２を参照すると、スマートフォン２００及び携帯カメラ２５０が示される。

スマートフォン２００及び携帯カメラ２５０のそれぞれは、ステレオ録音をサポートするために複数の（たとえば、２つの）マイクロフォンを内蔵してもよい。たとえば、スマートフォン２００は、１対のマイクロフォン２１０及び２２０（それぞれ右及び左のマイクロフォンとして配置される）を備え、携帯カメラ２５０は、１対のマイクロフォン２６０及び２７０（それぞれ右及び左のマイクロフォンとして配置される）を備える。それにもかかわらず、スマートフォン２００及び携帯カメラ２５０それぞれにおいて２つのマイクロフォンは同じ側にあるように示されるが、本開示はこれに限定されない。むしろ、２つのマイクロフォンが装置の異なる側に配置されてもよい事例では、たとえば、１つのマイクロフォン（たとえば、マイクロフォン２１０）がスマートフォン２００の前面に配置され、別のマイクロフォン（たとえば、マイクロフォン２２０）がスマートフォン２００の裏面に配置されるが、２つのマイクロフォンはそれでもお互いに近接していてもよい（たとえば、両方ともスマートフォンの底部部分に配置される）ように配置されてもよいことを理解されたい。マイクロフォン（スマートフォン２００のマイクロフォン２１０及び２２０ならびに携帯カメラ２５０のマイクロフォン２６０及び２７０）を用いて、（たとえば、ゼロから数メートルまでの距離にある）様々な音源から発生しえる周辺音を取り込むために録音を行ってもよい。録音は、装置の別の操作と共に（たとえば、映像撮像中に）行われてもよい

ただし、ある事例では、一定の携帯装置の比較的小さな寸法、ならびに設計上の考慮から、マイクロフォン間の物理的な間隔が制限されることもあり、マイクロフォンをお互いに近接して配置することが必要となる。物理的な空間が制限されること、及び／またはスマートフォン及び持ち運び用携帯カメラなどの携帯装置において特定の機能（たとえば、ノイズリダクション）を最適化するために、たとえば、スマートフォン２００及びカメラ２５０のマイクロフォン間の間隔（たとえば、スマートフォン２００におけるマイクロフォン２１０と２２０との間の間隔２３０、及び携帯カメラ２５０におけるマイクロフォン２６０と２７０との間の間隔２８０）は比較的小さくてもよい。たとえば、スマートフォン２００及びカメラ２５０の両方において、そこに内蔵されたマイクロフォンは、お互いにわずかな水平距離だけ離れて装置の前面に位置する同一の全方向性マイクロフォンであってもよい。たとえば、スマートフォン２００のマイクロフォン２１０及び２２０は、１ｃｍの距離（２３０）をその間に開けて水平線に位置をそろえて前面の底部に配置されてもよい。その一方、カメラ２５０のマイクロフォン２６０及び２７０は、ポートレート及び風景撮影モードの両方において、１ｃｍの水平距離（２８０）をその間に開けて対角線上に位置してもよい。スマートフォン２００及びカメラ２５０それぞれの２つのマイクロフォン間にわずかな間隔しか開けないことによって（ならびにその種類が「全方向性」マイクロフォンであることによって）、２つのマイクロフォン間の差が小さくなることもある。

したがって、様々な実装では、ステレオ録音をサポートするが、ステレオ録音性能を低下させることもあるマイクロフォンの配置を有する装置は、ステレオ録音を強化するための適応構造及び／または機能を内蔵してもよい。ステレオ録音強化は、たとえば、適応して修正したデジタル処理を用いることによって実現されてもよい。このデジタル処理は、マイクロフォンの対から発生する信号に適用されてもよく、強化されたステレオ効果を備える２つの新しい出力信号を生成する。このように、適応修正デジタル処理をこの様式で用いることによって、お互いに非常に近接して配置される（たとえば、約１−２ｃｍ）２つのマイクロフォンを用いることが可能となってもよく、ステレオ効果を備える音声を生成することが可能となる。このステレオ効果を備える音声は、ステレオ録音のために最適な間隔を開けて（たとえば、１５ｃｍ）配置される２つのマイクロフォンを用いる録音のステレオ効果に匹敵することもありえる。一実装例では、異なる方向から受信し、近接するマイクロフォンの対によって取り込まれる音声信号は、２つの出力信号のそれぞれの到着方向に依存する適切な強度を有していてもよい。このように、個別の方向は、再生中に人間の耳によってはっきりと認識されてもよい。マイクロフォン間の距離が小さいことによって、２つの本来の入力信号の振幅は、お互いに顕著には異ならない。したがって、入力信号の小さい位相差は、適応処理を適用することによって、２つの出力信号間の顕著な振幅差に変換されてもよい。構造例（及びそれによって適用可能な適応処理）を図３及び図４に関して詳細に説明する。

図３は、複数のマイクロフォンを備え、強化されたステレオ録音をサポートするように構成可能な電子装置の例の構造を例示する。図３を参照すると、電子装置３００が示される。

電子装置３００は、図１の電子装置１００に類似していてもよい。この点について、電子装置３００は、音声入力及び／または出力操作をサポートするように構成されてもよい。電子装置３００は、たとえば、複数の音声入力及び／または出力用構成部品を備えていてもよい。たとえば、電子装置３００は、マイクロフォン３３０_１及び３３０_２を備えていてもよい。さらに、電子装置３００は、音声に関連する処理及び／または操作をサポートするための回路構成も内蔵していてもよい。たとえば、電子装置３００は、プロセッサ３１０と、音声コーデック３２０とを備えていてもよい。

プロセッサ３１０は、データを処理し、（たとえば、電子装置３００またはその構成部品の）操作を制御または管理し、タスク及び／または機能を実施する（または任意のそのようなタスク／機能を制御する）ように構成可能な適切な回路構成を備えていてもよい。プロセッサ３１０は、たとえば、メモリ（不図示）に記憶されてもよいアプリケーション、プログラム及び／またはコードを作動及び／または実行してもよい。さらに、プロセッサ３１０は、電子装置３００（またはその構成部品またはサブシステム）の操作を１または複数の制御信号を用いて制御してもよい。プロセッサ３１０は、特定の種類の操作（たとえば、音声に関連する操作）を実施またはサポートするように構成されてもよい汎用プロセッサを備えていてもよい。プロセッサ３１０はまた、特定目的のプロセッサを備えていてもよい。たとえば、プロセッサ３１０は、デジタル信号プロセッサ（ＤＳＰ）、基底帯域プロセッサ、及び／またはアプリケーションプロセッサ（たとえば、ＡＳＩＣ）を備えていてもよい。

音声コーデック３２０は、声の暗号化／復号化操作を実施するように構成可能な適切な回路構成を備えていてもよい。たとえば、音声コーデック３２０は、音声コーデック３２０で処理する信号を音声コーデック３２０の適切な入力及び出力ポートに誘導するために用いてもよい、１または複数のアナログからデジタルへの変換器（ＡＤＣ）、１または複数のデジタルからアナログへの変換器（ＤＡＣ）、及び１または複数のマルチプレクサ（ｍｕｘ）を備えていてもよい。

操作時には、電子装置３００は、音声信号の入力及び／または出力をサポートしてもよい。たとえば、マイクロフォン３３０_１及び３３０_２は、音声を取り込んでもよく、対応するアナログ音声入力信号（たとえば、アナログ信号３４２及び３４４）を生成する。このアナログ音声入力信号は音声コーデック３２０に転送されてもよい。音声コーデック３２０は、アナログ音声入力を（たとえば、ＡＤＣを介して）デジタル音声信号（たとえば、信号３５２及び３５４）に転換してもよい。このデジタル音声信号はプロセッサ３１０に（たとえば、Ｉ^２Ｓ接続を介して）転送されてもよい。ただし、ある事例では、アナログからデジタルへの転換（したがってアナログからデジタルへの転換が音声コーデック３２０を利用する唯一の理由である場合は、音声コーデック３２０）は、たとえば、マイクロフォン３３０_１及び３３０_２がデジタルマイクロフォンであるとき、マイクロフォン３３０_１及び３３０_２からプロセッサ３１０に直接信号を入力される場合は、省略されてもよい。プロセッサ３１０は次に、デジタル処理をデジタル音声信号に適用してもよい。

ある事例では、プロセッサ３１０は、ステレオ録音をサポートするように構成されてもよい。したがって、ある事例ではプロセッサ３１０は、マイクロフォン３３０_１及び３３０_２によって生成される音声入力信号に対する処理に基づいて、左側の信号３６２及び右側の信号３６４（つまり、聴取者の左右の耳それぞれに対する信号であり、耳が受信すると、脳内でステレオ効果を生成可能である信号）を生成してもよい。ただし、電子装置３００で実施されるステレオ録音は、電子装置３００上で利用されるマイクロフォンの配置のために低下することもある。たとえば、マイクロフォン３３０_１及び３３０_２は、たとえば、電子装置３００内の空間が狭いため、及び／または最適なノイズリダクション処理を可能とするために全方向性マイクロフォン（つまり、狭い電波上ではなく広い範囲から周囲の音を受信するように構成されるマイクロフォン）として実装されてもよく、及び／または（たとえば、１−２ｃｍのみ離間して）お互いに非常に近接して配置されることもある。

したがって、様々な実装では、電子装置３００は、強化された録音をサポートするために構成されてもよい。強化されたステレオ録音を用いて、マイクロフォン（たとえば、マイクロフォン３３０_１及び３３０_２）の配置またはその特性が最適ではないことによって生じることもあるステレオ録音の短所または欠陥を克服してもよい。強化されたステレオ録音は、たとえば、入力音声信号（つまり、マイクロフォンが取り込む信号）の処理中に（たとえば、プロセッサ３１０で）実施される適応強化機能を用いて実現されてもよい。このように、電子装置３００の構造は、これらの機能を可能とし、またはサポートするように、及び／または必要なときにこれらの機能を実施できるように、具体的に修正されてもよい。電子装置で（たとえば、プロセッサ３１０を介して）実装されてもよい適応処理の例を図４に関して、より詳細に説明する。

電子装置３００に関して説明したものと同様の構造及び／または機能を、ステレオ録音に関して同様の短所を呈し、強化されたステレオ録音を必要とするマイクロフォンの配置を有する装置において使用してもよい。これらの装置は、たとえば、スマートフォン２００及びカメラ２５０などの、近接して配置される（及び一般的には全方向性の）マイクロフォンを備える携帯装置である。

図４は、同じ方向を向いている２つの全方向性マイクロフォンを有する電子装置における録音シナリオの例を例示する。図４を参照すると、近接して配置される１対の全方向性マイクロフォン４１０及び４２０が示される。

全方向性マイクロフォン４１０及び４２０は、携帯装置のマイクロフォン（たとえば、スマートフォン２００のマイクロフォン２１０及び２２０）に対応してもよい。全方向性マイクロフォン４１０及び４２０は最適なステレオ録音のためには、非常に近接して離間されることもあるため、単一の音源（たとえば、音源４００）からこれらのマイクロフォンが受信する信号間の差は、通常の処理を受ける場合には十分なステレオ効果が得られないこともある。したがって、信号は、強化されたステレオ録音を提供するように修正された処理を内蔵するように構成されてもよいプロセッサ（たとえば、プロセッサ３１０）を用いて処理されてもよい。

たとえば、図４に示すように、マイクロフォン４１０及び４２０は、音声、たとえば、２つのマイクロフォン正面の空間の特定の点（Ｐ）に位置する音源４００から生じる音Ｓ（ｔ）に対応する信号を取り込んでもよい。システムが付加的なものでありえるため、音源４００がシステム内で単一の音源であるという制約はない。点Ｐとマイクロフォン４１０及び４２０との角度によって、点Ｐから各マイクロフォンまでの個別の距離の間にある程度の差がある。これを図４に距離Ｒ＿左及びＲ＿右として示す。距離Ｒ＿左とＲ＿右との間の差は、マイクロフォン４１０及び４２０それぞれが受信する信号に対して、遅延Ｄ＿左とＤ＿右との間の適切な差、ならびにゲインＧ＿左とＧ＿右との間のわずかな差を生じてもよい。２つの遅延及び２つのゲインは音源の距離Ｒ、マイクロフォン間の間隔ｈ、及び音源の視野角θの関数として完全に決定されてもよい。Ｇ０は音源の位置での最初のゲインを意味する。たとえば、ゲイン（Ｇ＿左及びＧ＿右）及び遅延（Ｄ＿左及びＤ＿右）は、次の方程式に基づいて決定されてもよい。

Ｇ＝Ｇ０／Ｒ（１）

Ｄ＝Ｒ／Ｖ（２）

式中、「Ｒ」は音源からの実際の距離に対応し（つまり、Ｒは、右及び左のマイクロフォン４１０及び４２０それぞれに対するＲ＿右及びＲ＿左それぞれに対応し）、Ｖは適用される音の伝搬速度である。

したがって、右及び左のマイクロフォン４１０及び４２０それぞれが取り込む信号に対応する音声チャンネルは、次のように表されてもよい。

Ｓ＿左（ｔ）＝Ｇ＿左＊Ｓ（ｔ−Ｄ＿左）（３）

Ｓ＿右（ｔ）＝Ｇ＿右＊Ｓ（ｔ−Ｄ＿右）（４）

プロセッサ（たとえば、プロセッサ３１０）は次に、強化されたステレオ録音処理を適用してもよい。プロセッサ３１０は、マイクロフォン４１０と４２０との間の小さい位相差を用いて、音が到着する方向に依存することもある、２つの出力信号間の顕著なゲイン差を作成してもよい。こうすると、個別の方向は、再生中に人間の耳によってはっきりと認識することができる。様々な強化処理戦略を利用してもよい。たとえば、図４に示す実装例では、左右のチャンネルの間のゲイン差（つまり、信号３６２及び３６４）を生成する処理は、２つの全方向性マイクロフォンのそれぞれが不均衡な指向性マイクロフォンとなるように行われてもよい。これは、左出力チャンネル及び右出力チャンネルの次の式を用いて実現されてもよい。

Ｓ＿左（ｔ）＝Ｇ０＊Ｍ＿左（ｔ）−Ｇ１＊Ｍ＿右（ｔ−ｄ）（５）

Ｓ＿右（ｔ）＝Ｇ０＊Ｍ＿右（ｔ）−Ｇ１＊Ｍ＿左（ｔ−ｄ）（６）

式中、Ｍ＿左（ｔ）及びＭ＿右（ｔ）は２つのマイクロフォンが同時に取り込む信号であり、定数Ｇ０、Ｇ１、及びｄは、右側（つまり、θ＝−９０°）から来る仮想の音源に関連してもよい。

たとえば、この事例での遅延ｄは２つのマイクロフォン間の空間ｈにのみ依存し、前もって算出されて、定数として用いられてもよい。値Ｇ０及びＧ１もまた定数であり、ｈ（たとえば、１００ｃｍ）よりもはるかに大きい一定の「望ましい」距離ｈ’を想定して、前もって算出される。例示した使用シナリオでは、ｄはｈ／Ｖとして決定されてもよい（Ｖは音速）。このようにｈ＝１ｃｍとすると（Ｖは３４３．２ｍ／ｓと想定）、ｄは約２９ｕｓとなる。Ｇ０は１に設定されてもよく、Ｇ１はｈ’／（ｈ＋ｈ’）に設定されてもよい。このように、ｈを１ｃｍとし、ｈ’を１００ｃｍに設定すると、Ｇ１は約０．９９となる。前述したように処理を行うと、（図４に示すように）各チャンネルで指向効果が生じてもよい。たとえば、チャンネルの反対側に位置する音源は完全に減衰される一方、適切なチャンネル側に位置する音源は増幅される。ゲインを録音するチャンネルの態様から、適応処理の実際の効果は、マイクロフォンが推定する「望ましい」距離ｈ’（つまり、１００ｃｍ）までお互いから離れて位置する場合に達成されるであろう効果と同様であってもよい。

前述した処理を時間領域またはスペクトル領域のいずれかで実行することができる。時間領域では、遅延値ｄは抽出した信号に補間処理を適用することによって実装される。これによって、サブサンプルの遅延が可能となる（たとえば、８０００サンプル／秒サンプリングレートにおいて、ｈ＝１ｃｍは約０．２５サンプルの遅延を必要とする）。周波数領域では、時間枠内の周波数ωの各ビンは、Ｅｘｐ−（ω＊Ｔ）によって乗じられて、時間遅延Ｔを導入する。

前述した処理の１つの利点は、出力ステレオチャンネルの対は、ほとんど共通の遅延を持つということである。遅延がゼロのステレオの対は、左右のチャンネルを合計するだけで、容易に単音声チャンネルに変換することができる。２つのチャンネル間に顕著な遅延をもたらすステレオチャンネル対（たとえばマイクロフォン間の空間が１０ｃｍより大きい）ではこれは不可能であり、単純に合計すると、通常は音声信号の一定の周波数の減衰が生じる。前述した処理の別の利点は、複数の音源が個別の処理を必要としないことである。換言すると、単一の処理によって、録音されたシーン内で同時に起こるすべての音源を扱うことができる。たとえば、共通の処理によって、左側からの音源は左チャンネルにおいて強化されたゲインとなり（及び右チャンネルでは低ゲインとなり）、右側からの同時に起こる第２の音源は右チャンネルにおいて強化されたゲインとなる。

図５は、強化されたステレオ録音の処理例を例示するフローチャートである。図５を参照すると、フローチャート５００は、電子システム（たとえば、図３の電子装置３００）で実行されてもよい複数のステップ例を備えることが分かる。それによって、電子システムに内蔵された近接して配置され、同じ方向を向いている２つの全方向性マイクロフォンを用いて強化されたステレオ録音を促進する。

開始ステップ５０２では、電子装置（たとえば、電子装置３００）に電源を入れ、初期化してもよい。このステップは、電子装置の様々な構成部品に電源を入れること、起動及び／または初期化することを含み、それによって電子装置が機能またはサポートされるアプリケーションを実施または実行できる状態となるようにしてもよい。

ステップ５０４では、電子装置のマイクロフォンの配置、たとえば、特にステレオ録音に関して評価してもよい。この点について、一定のマイクロフォンの配置（たとえば、お互いに非常に近接して配置される２つの全方向性マイクロフォン）は、ステレオ録音の性能を低下させることもある。したがって、マイクロフォンの配置を評価することは、マイクロフォンを用いて行われたステレオ録音の性能を決定する（または推測する）ことを備えていてもよい。推定される性能は、マイクロフォンによって取り込まれる信号に基づいて作成される音声内容のステレオ効果について予測した品質に関して推定されてもよい。

評価の結果をステップ５０６で確認してもよい。この点について、確認は、予測出力音声のステレオ効果の品質に関連していてもよい（またはそれに基づいて算出されてもよい）１または複数の所定の閾値に対して、評価した性能を比較することを備えていてもよい。たとえば、ステレオ効果の品質は割合として表されてもよく（１００％がステレオ効果の理想的な品質に対応する）、閾値は特定の割合（たとえば、５０％、７５％、９０％など）に設定される。このように、最小限の「受容可能な」品質を、たとえば、９０％に設定してもよく、９０％未満の品質を有するステレオ効果を備える録音のみが、低下していると考えられることを示してもよい。ただし、ある実装では、適応処理は常に行われ、常に理想的な性能を確実に実現するように（または実現を試みるように）動的に適応される。マイクロフォンの配置がステレオ録音を低下しないと判断してもよい事例では、処理はステップ５１０に進んでもよい。代替的に、マイクロフォンの配置がステレオ録音を低下ししえると判断してもよい事例では、処理はステップ５０８に進んでもよい。

ステップ５０８では、ステレオ録音を強化可能なように、たとえば、離間したマイクロフォン及び／または指向性受信に対応する性能をシミュレーションするように信号処理を適応して構成（または修正）してもよい。たとえば、マイクロフォンが取り込む入力信号の処理は、たとえば、図４に関して前述した処理と同様に適応して修正されてもよい。

ステップ５１０では、マイクロフォンが取り込む（または生成する）入力信号を処理してもよい。結果として生じる（左及び右チャンネルに対応する）信号は、マイクロフォンの適切な配置に基づいて、またはマイクロフォンの配置が最適ではない場合に実施する適応処理の結果として、所望のステレオ効果を提供してもよい。

ある実装では、ステレオ録音を強化するための方法を、電子装置（たとえば、電子装置３００）を備えていてもよいシステムで用いてもよい。電子装置（たとえば、電子装置３００）は、１または複数の回路（たとえば、プロセッサ３１０及び音声コーデック３２０）と、第１のマイクロフォン及び第２のマイクロフォン（たとえば、マイクロフォン３３０_１及び３３０_２）とを備えていてもよい。
本方法は、電子装置のステレオ録音性能を第１のマイクロフォン及び第２のマイクロフォンを用いて評価することと、第１のマイクロフォン及び第２のマイクロフォンが生成する信号の処理を、評価したステレオ録音性能に基づいて構成することを備えていてもよい。本構成は、ステレオ録音性能を強化するため、理想的な性能に一致または近似させるために処理を適応して修正することを備える。本方法は、第１のマイクロフォン及び第２のマイクロフォンが生成する信号の処理に基づいて、聴取者の左右の耳それぞれに出力するために左チャンネル信号及び右チャンネル信号を生成することをさらに備えてもよい。本方法は、評価したステレオ録音性能が所定の閾値を下回る場合に、処理を適応して修正することを備えていてもよい。本方法は、電子装置のステレオ録音を第１のマイクロフォン及び第２のマイクロフォンそれぞれの種類に基づいて評価し、及び／または第１のマイクロフォンと第２のマイクロフォンとの間の間隔に基づいて評価することを備えていてもよい。電子装置は携帯装置を備えていてもよい。本方法は、第１のマイクロフォンと第２のマイクロフォンとの間の距離、第１のマイクロフォン及び第２のマイクロフォンが取り込む信号源からの距離、信号源位置での最初のゲイン及び／または音声伝搬速度に基づいて処理を適応して修正することを備えていてもよい。本方法は、処理の適応修正に基づいて、第１のマイクロフォン及び第２のマイクロフォンそれぞれが取り込む信号に対応する２つの出力信号間の顕著なゲイン差を生成することを備えていてもよい。本方法は、マイクロフォンが全方向性であるとき、第１のマイクロフォン及び第２のマイクロフォンによる信号の指向性受信をシミュレーションするために処理を適応して修正することを備えていてもよい。指向性受信のシミュレーションは、適切なチャンネル側に位置する音源を増幅する結果となってもよい。指向性受信のシミュレーションは、チャンネルの反対側に位置する音源を完全に減衰する結果となってもよい。

ある実装では、ステレオ録音は、電子装置（たとえば、電子装置３００）を備えていてもよいシステムで強化されてもよい。電子装置（たとえば、電子装置３００）は、１または複数の回路（たとえば、プロセッサ３１０及び音声コーデック３２０）と、第１のマイクロフォン及び第２のマイクロフォン（たとえば、マイクロフォン３３０_１及び３３０_２）とを備えていてもよい。１または複数の回路は、電子装置のステレオ録音性能を第１のマイクロフォン及び第２のマイクロフォンを用いて評価するように操作可能であってもよく、第１のマイクロフォン及び第２のマイクロフォンが生成する信号の処理を、評価したステレオ録音性能に基づいて処理するように構成されてもよい。
本構成は、ステレオ録音性能を強化するため、理想的な性能に一致または近似させるために処理を適応して修正することを備える。本処理は、聴取者の左右の耳それぞれに出力するために左チャンネル信号及び右チャンネル信号を生成することをさらに備えてもよい。１または複数の回路は、評価したステレオ録音性能が所定の閾値を下回る場合に、処理を適応して修正するように操作可能であってもよい。１または複数の回路は、電子装置のステレオ録音を第１のマイクロフォン及び第２のマイクロフォンそれぞれの種類に基づいて評価し、及び／または第１のマイクロフォンと第２のマイクロフォンとの間の間隔に基づいて評価するように操作可能であってもよい。電子装置は、携帯装置（たとえば、スマートフォン２００またはカメラ２５０）を備えていてもよい。１または複数の回路は、第１のマイクロフォンと第２のマイクロフォンとの間の距離、第１のマイクロフォン及び第２のマイクロフォンが取り込む信号源からの距離、信号源位置での最初のゲイン及び／または音声伝搬速度に基づいて処理を適応して修正するように操作可能であってもよい。１または複数の回路は、第１のマイクロフォン及び第２のマイクロフォンそれぞれが取り込む信号に対応する２つの出力信号間の顕著なゲイン差を生成する処理を適応して修正するように操作可能であってもよい。１または複数の回路は、マイクロフォンが全方向性であるとき、第１のマイクロフォン及び第２のマイクロフォンによる信号の指向性受信をシミュレーションするために処理を適応して修正するように操作可能であってもよい。指向性受信のシミュレーションは、適切なチャンネル側に位置する音源を増幅する結果となってもよい。指向性受信のシミュレーションは、チャンネルの反対側に位置する音源を完全に減衰する結果となってもよい。

別の実装は、非一時的コンピュータ可読媒体及び／または記憶媒体、及び／または非一時的機械可読媒体及び／またはそこに記憶される記憶媒体、機械及び／またはコンピュータによって実行可能な少なくとも１つのコードセクションを有する機械コード及び／またはコンピュータプログラムを提供してもよく、それによって機械及び／またはコンピュータに携帯装置における強化されたステレオ録音のために本明細書で前述したステップを実施させる。

したがって、本方法及び／またはシステムは、ハードウェア、ソフトウェア、またはハードウェア及びソフトウェアの組み合わせにおいて実現されてもよい。本方法及び／またはシステムは、少なくとも１つのコンピュータシステムにおいて集中方式で、または異なる要素が内部接続する複数のコンピュータシステムにわたって広がる分散方式で実現されてもよい。本明細書で前述した方法を実施するために適応される任意の種類のコンピュータシステムまたは別のシステムは適切である。一般的なハードウェアとソフトウェアの組み合わせは、コンピュータプログラムを備えた汎用コンピュータシステムであってもよく、搭載されて実行されるときには、本明細書で前述した方法を実行するように、コンピュータシステムを制御する。別の一般的な実装は、特定用途向け集積回路またはチップを備えていてもよい。

本方法及び／またはシステムは、コンピュータプログラム製品に組み込まれていてもよい。このコンピュータプログラム製品は、本明細書で前述した方法の実装を可能にするすべての特徴を備え、コンピュータに搭載されると、これらの方法を実行可能である。本文脈のコンピュータプログラムは、情報処理能力を有するシステムに特定の機能を実施させることを目的とする一式の指示の、任意の言語での任意の表現、コードまたは表記を意味する。この特定の機能の実施は、直接行われるか、または、ａ）別の言語、コードまたは表記への変換、ｂ）異なる材料形態での複製の一方または両方の後に行われる。したがって、一部の実装は、非一時的機械可読（たとえば、コンピュータ可読）媒体（たとえば、ＦＬＡＳＨドライブ、光ディスク、磁気記憶ディスクなど）を備えていてもよく、機械によって実行可能な１または複数のコード行数を媒体に記憶し、それによって機械に本明細書で前述した処理を実行させる。

本方法及び／またはシステムを、一定の実装に関して説明してきたが、当業者には、本方法及び／またはシステムの範囲から逸脱せずに様々な変更を行ってもよいこと、及び同等物で代替してもよいことが理解される。さらに、多くの修正を行い、特定の状況または素材を、本開示の教示にその範囲から逸脱せずに適応させてもよい。したがって、本方法及び／またはシステムは開示した特定の実装に限定されるものではなく、本方法及び／またはシステムは、添付の請求項の範囲内であるすべての実装を含む。

Claims (20)

1. １または複数の回路と、第１のマイクロフォン及び第２のマイクロフォンとを有する電子装置を備えるシステムであって、
   前記１または複数の回路は、
   前記電子装置のステレオ録音性能を、前記第１のマイクロフォン及び前記第２のマイクロフォンを用いて評価可能であり、
   前記第１のマイクロフォン及び前記第２のマイクロフォンが生成した信号を、前記評価したステレオ録音性能に基づいて処理可能であり、ステレオ録音性能を強化し理想的な性能に適合または近似するように前記処理を適応して修正する
   ことを特徴とするシステム。
2. 前記処理は、聴取者の左右の耳それぞれに出力するために、左チャンネル信号及び右チャンネル信号を生成する
   請求項１に記載のシステム。
3. 前記１または複数の回路は、前記評価したステレオ録音性能が所定の閾値を下回るとき、前記処理を適応して修正する
   請求項１に記載のシステム。
4. 前記１または複数の回路は、前記電子装置の前記ステレオ録音を、前記第１のマイクロフォン及び前記第２のマイクロフォンそれぞれの種類に基づいて、及び／または前記第１のマイクロフォンと前記第２のマイクロフォンとの間の間隔に基づいて評価する
   請求項１に記載のシステム。
5. 前記電子装置は携帯装置を備える
   請求項１に記載のシステム。
6. 前記１または複数の回路は、前記第１のマイクロフォンと前記第２のマイクロフォンとの間の距離、前記第１のマイクロフォン及び前記第２のマイクロフォンが取り込む信号源からの距離、前記信号源の位置での最初のゲイン、及び／または音声伝搬速度に基づいて、前記処理を適応して修正する
   請求項１に記載のシステム。
7. 前記１または複数の回路は、前記第１のマイクロフォン及び前記第２のマイクロフォンのそれぞれが取り込む信号に対応する２つの出力信号間に顕著なゲイン差を生成するために前記処理を適応して修正する
   請求項１に記載のシステム。
8. 前記１または複数の回路は、前記マイクロフォンが全方向性であるとき、前記第１のマイクロフォン及び前記第２のマイクロフォンによる信号の指向性受信をシミュレーションするために前記処理を適応して修正するように操作可能である
   請求項１に記載のシステム。
9. 前記指向性受信のシミュレーションは、適切なチャンネル側に位置する音源を増幅する
   請求項８に記載のシステム。
10. 前記指向性受信のシミュレーションは、チャンネルの反対側に位置する音源を完全に減衰する
    請求項８に記載のシステム。
11. 第１のマイクロフォン及び第２のマイクロフォンを備える電子装置において、
    前記電子装置のステレオ録音性能を前記第１のマイクロフォン及び前記第２のマイクロフォンを用いて評価することと、
    前記第１のマイクロフォン及び前記第２のマイクロフォンが生成した信号を、前記評価したステレオ録音性能に基づいて処理し、ステレオ録音性能を強化するため、理想的な性能に一致または近似させるために処理を適応して修正することとを含む
    ことを特徴とする方法。
12. 前記第１のマイクロフォン及び前記第２のマイクロフォンが生成した信号の前記処理に基づいて、聴取者の左右の耳それぞれに出力するために、左チャンネル信号及び右チャンネル信号を生成する
    請求項１１に記載の方法。
13. 前記評価したステレオ録音性能が所定の閾値を下回るとき、前記処理を適応して修正する
    請求項１１に記載の方法。
14. 前記電子装置の前記ステレオ録音を前記第１のマイクロフォン及び前記第２のマイクロフォンそれぞれの種類に基づいて、及び／または前記第１のマイクロフォンと前記第２のマイクロフォンとの間の間隔に基づいて評価する
    請求項１１に記載の方法。
15. 前記電子装置は携帯装置を備える
    請求項１１に記載の方法。
16. 前記第１のマイクロフォンと前記第２のマイクロフォンとの間の距離、前記第１のマイクロフォン及び前記第２のマイクロフォンが取り込む信号源からの距離、前記信号源の位置での最初のゲイン、及び／または音声伝搬速度に基づいて、前記処理を適応して修正する
    請求項１１に記載の方法。
17. 前記処理の前記適応修正に基づいて、前記第１のマイクロフォン及び前記第２のマイクロフォンのそれぞれが取り込む信号に対応する２つの出力信号間に顕著なゲイン差を生成する
    請求項１１に記載の方法。
18. 前記マイクロフォンが全方向性であるとき、前記第１のマイクロフォン及び前記第２のマイクロフォンによる信号の指向性受信をシミュレーションするために前記処理を適応して修正する
    請求項１１に記載の方法。
19. 前記指向性受信のシミュレーションは、適切なチャンネル側に位置する音源を増幅する
    請求項１８に記載の方法。
20. 前記指向性受信のシミュレーションは、チャンネルの反対側に位置する音源を完全に減衰する
    請求項１８に記載の方法。

Images