JP2011244431A

JP2011244431A - 音響信号の個別化

Info

Publication number: JP2011244431A
Application number: JP2011083160A
Authority: JP
Inventors: Hess Wolfgang; ヘスヴォルフガング
Original assignee: Harman Becker Automotive Systems GmbH
Current assignee: Harman Becker Automotive Systems GmbH
Priority date: 2010-05-18
Filing date: 2011-04-04
Publication date: 2011-12-01
Also published as: KR20110127074A; CA2733486A1; US20110286614A1; CN102256192A; EP2389016A1; EP2389016B1

Abstract

【課題】室内の二人のユーザのうちの第１のユーザに対するユーザ特定の音響信号を提供する方法を提供すること。
【解決手段】室内における二人のユーザのうちの第１のユーザに対してユーザ特定の音響信号を提供する方法であって、一対のスピーカ（１Ｒ、１Ｌ；２Ｒ、２Ｌ）が二人のユーザの各々に提供され、方法は、第１のユーザの頭の位置を追跡するステップと、第１のユーザの追跡された頭の位置に基づいて、第１のユーザに対するユーザ特定のマルチチャネル音響信号から第１のユーザに対するユーザ特定の両耳用の音響信号を生成するステップと、クロストークキャンセルのユーザ特定の音響信号を生成するために第１のユーザの追跡された頭の位置に基づいて、第１のユーザに対するクロストークキャンセレーションを行うステップと、混線音場の抑制を行うステップとを包含する、方法。
【選択図】図４

Description

本発明は、室内の二人のユーザのうちの第１のユーザに対するユーザ特定の音響信号を提供する方法に関し、二人のユーザの各々に対する音響信号は、一対のスピーカによって出力される。本発明はさらに、第１のユーザに対するユーザ特定の音響信号を提供するシステムに関する。

本発明は、特にしかしこれに限定するわけではないが、車両において提供される音響信号に関し、この場合、車両における異なる乗客に対して個々の座席関連の音響信号が提供され得る。

（背景）
車両環境において、車両内のすべての乗客に対して共通の音響信号を提供することが可能である。車両内の異なる乗客が異なる音響信号を聴くことを望む場合、異なる乗客に対する音響信号を個別化する唯一の現在ある可能性は、ヘッドホンを使用することである。ヘッドホンの一部ではないスピーカによって出力される音響信号の個別化は、可能ではない。さらに、車両室内のみならず、他の室内にユーザ特定の音場を提供することが可能であること望ましい。

（概要）
従って、ヘッドホンを使用する必要なく、室内に提供されたスピーカ使用して、室内のユーザに対してユーザ特定の音場または音響信号を生成する可能性を提供するニーズが存在する。

このニーズは、独立請求項の特徴によって満たされる。従属請求項において、本発明の好ましい実施形態が説明される。

本発明の第１の局面に従って、室内の二人のユーザのうちの第１のユーザに対してユーザ特定の音場を提供する方法が提供され、一対のスピーカが二人のユーザの各々に対して提供される。本発明に従って、第１のユーザの頭の位置は追跡され、該第１のユーザに対するユーザ特定の両耳用の音響信号は、第１のユーザの追跡された頭の位置に基づいて、該第１のユーザに対するユーザ特定のマルチチャネル音響信号から生成される。さらに、クロストークキャンセルのユーザ特定の音響信号を生成するために、第１のユーザに対する追跡された頭の位置に基づいて、該第１のユーザに対するクロストークキャンセレーションが行われる。クロストークキャンセレーションにおいて、ユーザ特定の両耳用の音響信号は、そのクロストークキャンセルのユーザ特定の音響信号が第１のユーザの第１の耳に対して該第１のユーザの一対のスピーカのうちの１つのスピーカによって出力された場合、クロストークキャンセルのユーザ特定の音響信号が第１のユーザの第２の耳に対して抑制されるように処理される。さらに、ユーザ特定の両耳用の音響信号は、そのクロストークキャンセルのユーザ特定の音響信号が該第１のユーザの第２の耳に対して該一対のスピーカのうちのもう一方のスピーカによって出力された場合、クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの第１の耳に対して抑制されるように処理される。さらに、混線音場抑制が実行され、この場合、第２のユーザに対して提供される一対のスピーカによって第２のユーザに対して出力される音響信号は、第１のユーザの追跡された頭の位置に基づいて、第１のユーザの各耳に対して抑制される。本発明に従って、第１のユーザに対して提供される仮想のマルチチャネル音響信号に基づいて、その第１のユーザに対するユーザ特定の音響信号が生成される。ユーザ特定の両耳用の音響信号を用いることによって、クロストークキャンセレーションおよびユーザ特定の音場または音響信号の混線音場キャンセレーションが得られ得、ひとりのユーザが所望の音楽信号を追うことを可能にし、一方、もう一方のユーザは、該ひとりのユーザに対して提供されたスピーカを介して室内の該ひとりのユーザに対して出力される音楽信号によって邪魔されない。両耳用の音響信号は通常、ヘッドホンを用いて再生するように意図される。両耳用に記録された音響信号がヘッドホンによって再生される場合、音が生成された音の実際の位置をシミュレートする聴取効果が得られ得る。ヘッドホンを用いて通常のステレオ信号が再生された場合、聴取者は頭の中央で信号を受信する。しかしながら、ヘッドホンによって両耳用の音響信号が再生された場合、信号が最初に記録されたところからの位置がシミュレートされ得る。この場合、音響信号の出力は、ヘッドホンを用いて行なわれるのではなく、該室内／車両内において第１のユーザに対して提供される一対のスピーカを介して行われる。知覚される音響信号は聴くユーザの頭の位置に依存するので、ユーザの頭の位置は追跡され、クロストークキャンセレーションが実行され、１つのスピーカによって放出される音響信号が意図された耳に到達することを確実にし、一方、このスピーカの音響信号は、もう一方の耳に対して抑制され、この逆もまた同様である。さらに、混信音場抑制は、第２のユーザに対して提供される一対のスピーカによって第２のユーザに対して出力される音響信号を抑制することを助ける。

好ましくは、本方法は、ユーザ関連音場／座席関連音場または音響信号が生成され得る車両内において用いられる。車両内の聴取者の位置は比較的固定されているので、平行移動方向および回転方向への頭のほんの少しの動きが予期され得る。ユーザの頭は、顔追跡機構が標準のＵＳＢウェブカメラに対して公知であるので、顔追跡機構を用いて捕捉され得る。受動顔追跡を用いるので、ユーザがセンサを着用する必要はない。

本発明の好ましい実施形態に従って、第１のユーザに対するユーザ特定の両耳用の音響信号は、ダミーの頭を用いて該室内において決定された該室内における第１のユーザの一組のあり得る種々の頭の位置について該第１のユーザに対して決定される一組の所定の両耳用の室内インパルス応答（ＢＲＩＲ）に基づいて生成される。第１のユーザのユーザ特定の両耳用の音響信号は、次いで追跡された頭の位置の両耳用の室内インパルス応答を有するマルチチャネルユーザ特定の音響信号をフィルタリングすることによって生成され得る。この実施形態において、室内におけるユーザの種々の頭の位置の一組の所定の両耳用の室内インパルス応答は、ダミーの頭およびダミーの頭の耳に備え付けられた２つのマイクロホンを用いて決定される。一組の所定の両耳用の室内インパルス応答は、方法が適用されるべき室内または車両内において測定される。これは、頭関連の伝達関数およびスピーカから左耳または右耳までの信号経路における室内からの影響を決定することを助ける。室によって引き起こされる反射を無視する場合、ＢＲＩＲの代わりに頭関連の伝達関数を用いることが可能である。一組の所定の両耳用の室内インパルス応答は、種々のあり得る頭の位置に関するデータを含む。例として、頭の位置は、例えば、車両内における前後、左右、または上下の３つの異なる方向への平行移動を決定することによって追跡され得る。さらに、頭の３つのあり得る回転が追跡され得る。一組の所定の両耳用の室内インパルス応答は、次いで頭の種々のあり得る平行移動および回転に対するＢＲＩＲを含み得る。頭の位置を捕捉することによって、対応するＢＲＩＲは、選択され得、第１のユーザに対する両耳用の音響信号を決定するために用いられ得る。車両環境において、平行移動（左／右および後方／前方）および、例えばユーザが頭を左または右に向けたときなどの一回転のみに対して２度の自由度を考慮することは、十分であり得る。

該頭の位置における第１のユーザのユーザ特定の両耳用の音響信号は、該頭の位置に対して決定された両耳用のインパルス応答を用いて該ユーザに対するユーザ特定のマルチチャネル音響信号の畳み込みを決定することによって決定され得る。マルチチャネル音響信号は、１．０、２．０、５．１、７．１または他のマルチチャネル信号であり得、ユーザ特定の両耳用の音響信号は、２チャネル信号であり、１チャネルはユーザの各耳に対する１信号チャネルに対応する各スピーカ用であり、ヘッドホンと同等である（仮想ヘッドホン）。

第１のユーザに対するクロストークキャンセレーションに関して、頭の位置依存フィルタは、頭の追跡された位置に基づきかつ追跡された位置に対する両耳用の室内インパルスに基づいて、決定され得る。クロストークキャンセレーションは次いで、新しく決定された頭の位置依存フィルタを用いてユーザ特定の両耳用の音響信号の畳み込みを決定することによって決定され得る。頭追跡を用いるクロストークキャンセレーションが実行される仕方の１つの可能性は、ＴｏｂｉａｓＬｅｎｔｚによる、Ｊ．ＡｕｄｉｏＥｎｇ．Ｓｏｃ．，Ｖｏｌ．５４、Ｎｏ．４、２００６年４月、ページ２８３〜２０４における「ＤｙｎａｍｉｃＣｒｏｓｓｔａｌｋＣａｎｃｅｌｌａｔｉｏｎｆｏｒＢｉｎａｕｒａｌＳｙｎｔｈｅｓｉｓｉｎＶｉｒｔｕａｌＲｅａｌｉｔｙＥｎｖｉｒｏｎｍｅｎｔｓ」において説明される。クロストークキャンセレーションが実行される仕方のより詳細な分析に関して、この論文に参照がなされる。

好ましくは、第２のユーザの第２の信号もまたユーザ特定の音響信号であり、そのユーザ特定の音響信号に対して第２のユーザの頭の位置もまた追跡される。第２のユーザに対するユーザ特定の両耳用の音響信号は、第２のユーザに対するユーザ特定のマルチチャネル音響信号に基づき、かつ該第２のユーザの追跡された頭の位置に基づいて生成される。第２のユーザに関して、クロストークキャンセレーションは、第１のユーザに関して上記に言及されたように、第２のユーザの追跡された頭の位置に基づいて実行され、混線音場抑制が実行され、この場合、第１のユーザに対するスピーカによって第１のユーザに対して放出される音響信号は、第２のユーザの追跡された頭の位置に基づいて、第２のユーザの耳に対して抑制される。従って、クロストークキャンセレーションに関して、クロストークキャンセルのユーザ特定の音響信号は、そのクロストークキャンセルのユーザ特定の音響信号が第１の耳に対して第２のユーザの第１のスピーカによって出力された場合、第２のユーザの第２の耳に対して抑制され、クロストークキャンセルのユーザ特定の音響信号は、そのクロストークキャンセルのユーザ特定の音響信号が第２の耳に対して第２のユーザのもう一方のスピーカによって出力された場合、第２のユーザの第１の耳に対して抑制される。

第２のユーザに対するユーザ特定の両耳用の音響信号は、第２の位置におけるダミーの頭を用いて室内において種々の頭の位置について第２のユーザの位置に対して決定された一組の所定の両耳用の室内インパルス応答を提供することによって第１のユーザに対するように生成される。

混線音場キャンセレーションに関して、約４０ｄＢのもう一方のユーザに対するもう一方の音場の抑制は、車両環境において十分である。なぜなら、最大７０ｄＢの車両音は、もう一方のユーザの抑制された音場をカバーするからである。好ましくは、ユーザのうちのひとりに出力され、もう一方のユーザに対して抑制される音響信号の混線音場抑制は、第１のユーザの追跡された頭の位置および第２のユーザの追跡された頭の位置を用いて、かつ、第１のユーザおよび第２のユーザの頭の位置をそれぞれ用いる第１のユーザおよび第２のユーザに対する両耳用の室内インパルス応答を用いて決定される。

本発明は、ユーザ特定の音響信号を提供するシステムに関し、そのシステムは、ユーザの各々のための一対のスピーカと、第１のユーザの頭の位置を追跡するカメラとを含む。さらに、データベースが提供され、そのデータベースは、第１のユーザの種々のあり得る頭の位置に対する一組の所定の両耳用のインパルス応答を含む。処理装置が提供され、その処理装置は、ユーザ特定のマルチチャネル音響信号を処理し、ユーザ特定の両耳用の音響信号を決定し、上記に説明されるようにクロストークキャンセレーションおよび混線音場キャンセレーションを行うように構成される。ユーザ特定の音場がユーザの各々に対して出力される場合、第２のユーザに対して放出される音響信号は、第２のユーザの頭の位置に依存する。その結果、第１のユーザの混線音場キャンセレーションを実行するために、第１のユーザおよび第２のユーザの頭の位置が必要である。個別の音場が種々のユーザに対して決定されなければならなく、かつ各個別の音場がもう一方の音場の決定に影響するので、処理は、好ましくは、二人のユーザの追跡された頭の位置を受信する単一の処理装置によって行われる。

例えば、本発明は以下の項目を提供する。
（項目１）
室内における二人のユーザのうちの第１のユーザに対してユーザ特定の音響信号を提供する方法であって、一対のスピーカ（１Ｒ、１Ｌ；２Ｒ、２Ｌ）が該二人のユーザの各々に提供され、該方法は、
該第１のユーザの頭の位置を追跡するステップと、
該第１のユーザの該追跡された頭の位置に基づいて、該第１のユーザに対するユーザ特定のマルチチャネル音響信号から該第１のユーザに対するユーザ特定の両耳用の音響信号を生成するステップと、
クロストークキャンセルされたユーザ特定の音響信号を生成するために該第１のユーザの該追跡された頭の位置に基づいて、該第１のユーザに対するクロストークキャンセレーションを行うステップであって、該ユーザ特定の両耳用の音響信号は、クロストークキャンセルされた該ユーザ特定の音響信号が該第１のユーザの第１の耳に対して該第１のユーザの該一対のスピーカのうちの１つのスピーカによって出力された場合、該クロストークキャンセルされたユーザ特定の音響信号が該第１のユーザの第２の耳に対して抑制され、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの該第２の耳に対する該一対のスピーカのもう一方のスピーカによって出力された場合、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの該第１の耳に対して抑制されるように処理される、ステップと、
混線音場の抑制を行うステップであって、該第２のユーザに対して提供される該一対のスピーカによって該第２のユーザに対して出力される該音響信号は、該第１のユーザの該追跡された頭の位置に基づいて、該第１のユーザの各耳に対して抑制される、ステップと
を包含する、方法。
（項目２）
上記第１のユーザに対する上記ユーザ特定の両耳用の音響信号は、ダミーの頭によって決定された該室内における該第１のユーザの一組の種々の頭の可能性のある位置について該第１のユーザに対して決定される一組の所定の両耳用の室内インパルス応答に基づいて生成され、該第１のユーザの該ユーザ特定の両耳用の音響信号は、上記追跡された頭の位置の該両耳用の室内インパルス応答を有するマルチチャネルユーザ特定の音響信号をフィルタリングすることによって生成される、上記項目に記載の方法。
（項目３）
上記頭の位置は、三次元で上記頭の平行移動を決定することによって、該頭の３つの可能性のある回転軸に沿って該頭の回転を決定することによって追跡され、上記一組の所定の両耳用の室内インパルス応答は、該頭の該あり得る平行移動および回転に対する両耳用の室内インパルス応答を含む、上記項目のいずれかに記載の方法。
（項目４）
上記頭の位置における上記第１のユーザの上記ユーザ特定の両耳用の音響信号は、該頭の位置に対して決定された上記両耳用の室内インパルス応答によって該第１のユーザに対して上記ユーザ特定のマルチチャネル音響信号の畳み込みを決定することによって決定される、上記項目のいずれかに記載の方法。
（項目５）
上記第１のユーザに対する上記クロストークのキャンセレーションに対して、頭の位置依存フィルタは、該頭の追跡された位置を用い、該頭の位置の該追跡された位置に対する上記両耳用のインパルス応答を用いて決定され、該クロストークキャンセレーションは、該頭の位置依存フィルタを用いて上記ユーザ特定の両耳用の音響信号の畳み込みを決定することによって決定される、上記項目のいずれかに記載の方法。
（項目６）
上記第２のユーザの上記音響信号はまた、該第２のユーザの頭の位置が追跡されるユーザ特定の音響信号であり、該第２のユーザに対するユーザ特定の両耳用の音響信号は、該第２のユーザに対するユーザ特定のマルチチャネル音響信号に基づき、該第２のユーザの追跡された頭の位置に基づいて生成され、該第２のユーザに対するクロストークキャンセレーションは、該第２のユーザの追跡された頭の位置および混線音場抑制に基づいて実行され、該混線音場抑制において、上記第１のユーザの上記一対のスピーカによって該第１のユーザに対して放出された音響信号は、該第２のユーザの追跡された頭の位置に基づいて該第２のユーザの各耳に対して抑制される、上記項目のいずれかに記載の方法。
（項目７）
上記第２のユーザに対する上記ユーザ特定の両耳用の音響信号は、ダミーの頭を用いて上記室内における該第２のユーザの一組のあり得る種々の頭の位置について該第２のユーザに対して決定された一組の所定の両耳用の室内インパルス応答に基づき、追跡された上記頭の位置に基づいて生成され、該追跡された頭の位置の該両耳用の室内インパルス応答は、該頭の位置において該第２のユーザの該ユーザ特定の両耳用の音響信号を決定するために用いられる、上記項目のいずれかに記載の方法。
（項目８）
上記ユーザのうちのひとりに対して出力され、該ユーザの他の人に対して抑制される上記音響信号の混線音場抑制は、上記第１のユーザの上記追跡された頭の位置および上記第２のユーザの上記追跡された頭の位置に基づき、該第１のユーザの該追跡された頭の位置における該第１のユーザに対する上記両耳用の室内インパルスに基づき、該第２のユーザの該追跡された頭の位置における該第２のユーザに対する上記両耳用の室内インパルスに基づいて決定される、上記項目のいずれかに記載の方法。
（項目９）
上記室は車室であり、上記ユーザ特定の音響信号は車両座席位置関連の音場であり、上記一対のスピーカは固定して取り付けられる車両スピーカである、上記項目のいずれかに記載の方法。
（項目１０）
室内の二人のユーザのうちの第１のユーザに対するユーザ特定の音響信号を提供するシステムであって、該システムは、
該ユーザの各々に対してそれぞれに音響信号を出力する一対のスピーカ（１Ｒ、１Ｌ、２Ｒ、２Ｌ）と、
該第１のユーザの頭の位置を追跡するカメラ（２１、３１）と、
該室内における該第１のユーザの種々のあり得る異なる頭の位置に対する該第１のユーザに対して決定される一組の所定の両耳用の室内インパルス応答を含むデータベース（４１０）と、
処理装置（４００）であって、該第１のユーザに対する該ユーザ特定のマルチチャネル音響信号に基づき、該カメラによって提供される該第１のユーザの該追跡された頭の位置に基づいて該第１のユーザに対するユーザ特定の両耳用の音響信号を決定するためにユーザ特定のマルチチャネル音響信号を処理するように構成され、クロストークキャンセルのユーザ特定の音響信号を生成するために該第１のユーザの該追跡された頭の位置に基づいて該第１のユーザに対してクロストークキャンセレーションを行うように構成され、この場合、該ユーザ特定の両耳用の音響信号は、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの第１の耳に対して該第１のユーザの該一対のスピーカのうちの１つのスピーカによって出力された場合、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの該第２の耳に対して抑制されるように処理され、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの第２の耳に対して該一対のスピーカのうちのもう一方のスピーカによって出力された場合、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの該第１の耳に対して抑制されるように処理され、そして、該第２のユーザに対してスピーカによって該第２のユーザに対して放出される該音響信号が該第１のユーザの該追跡された頭の位置に基づいて該第１のユーザの各耳に対して抑制される混線音場抑制を行うように構成される、処理装置（４００）と
を備えている、システム。
（項目１１）
上記データベースは、上記室内における上記第２のユーザの種々の可能性のある異なる頭の位置に対する該第２のユーザに対して決定される一組の所定の両耳用の室内インパルス応答をさらに含む、上記項目に記載のシステム。
（項目１２）
上記第２のユーザの上記頭の位置を追跡する第２のカメラをさらに備え、上記処理装置は、上記第１のユーザの該追跡された頭の位置および該第２のユーザの該追跡された頭の位置に基づき、該第１のユーザに対する上記両耳用の室内インパルス応答および該第１のユーザの該追跡された頭の位置に基づき、そして該第２のユーザに対する該両耳用の室内インパルス応答および該第２のユーザの該追跡された頭の位置に基づいて、混線音場抑制を行う、上記項目のいずれかに記載のシステム。

（摘要）
（音響信号の個別化）
本発明は、室内における二人のユーザのうちの第１のユーザに対してユーザ特定の音響信号を提供する方法に関し、一対のスピーカ（１Ｒ、１Ｌ；２Ｒ、２Ｌ）が二人のユーザの各々に提供され、その方法は、
−該第１のユーザの頭の位置を追跡するステップと、
−該第１のユーザの追跡された頭の位置に基づいて、該第１のユーザに対するユーザ特定のマルチチャネル音響信号から該第１のユーザに対するユーザ特定の両耳用の音響信号を生成するステップと、
−クロストークキャンセルのユーザ特定の音響信号を生成するために該第１のユーザの追跡された頭の位置に基づいて、該第１のユーザに対するクロストークキャンセレーションを行うステップであって、この場合、ユーザ特定の両耳用の音響信号は、クロストークキャンセルのそのユーザ特定の音響信号が該第１のユーザの第１の耳に対して該第１のユーザの一対のスピーカのうちの１つのスピーカによって出力された場合、クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの第２の耳に対して抑制され、クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの第２の耳に対する一対のスピーカのもう一方のスピーカによって出力された場合、クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの第１の耳に対して抑制されるように処理される、ステップと、
−混線音場の抑制を行うステップであって、この場合、第２のユーザに対して提供される一対のスピーカによって第２のユーザに対して出力される音響信号は、該第１のユーザの追跡された頭の位置に基づいて、第１のユーザの各耳に対して抑制される、ステップと
を包含する。

本発明は、添付の図面を参照してさらに詳細に説明される。

図１は、車両内の二人のユーザの概略図であり、その二人のユーザに対して個別の音場が生成される。図２は、ヘッドホン、および例えば２．０または５．１ＢＲＩＲを有する畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）による両耳用に復号された音響信号を用いる聴取者と同じ聴取印象を有する音響信号を聴くユーザの概略図を示す。図３は、二人のユーザの音場の概略図を示し、その二人のユーザのうちのどのユーザに対してどの音場が抑制されるかを示す。図４は、処理装置のより詳細な図を示し、その処理装置において、マルチチャネル音響信号は、２つのスピーカを介して出力される場合ユーザ特定の音響信号が得られるように処理される。図５は、ユーザ特定の音響信号を生成するために必要な種々のステップを示すフローチャートである。

（詳細な説明）
図１において、車両１０は概略的に示され、車両１０においてユーザ特定の音響信号が第１のユーザ２０またはユーザＡおよび第２のユーザ３０またはユーザＢに対して生成される。第１のユーザ２０の頭の位置はカメラ２１を用いて追跡され、第２のユーザ３０の頭の位置はカメラ３１を用いて追跡される。カメラは、当該分野において公知の単純なウェブカメラであり得る。カメラ２１および３１は、頭を追跡することが可能であり、従って頭の正確な位置を決定することが可能である。頭追跡機構は、当該分野において公知であり、市販されており、詳細には開示されない。

さらにオーディオシステムが提供され、そのオーディオシステムにおいて、オーディオデータベース４１は、概略的に示され、二人のユーザに個別に出力されるべき種々のオーディオトラックを示す。処理装置４００が提供され、処理装置４００は、オーディオデータベース４１に提供される可聴信号に基づいて、ユーザ特定の音響信号を生成する。オーディオデータベースにおける可聴信号は、２．０ステレオ信号もしくは５．１もしくは７．１または別のマルチチャネルサラウンド音響信号であれ、任意のフォーマットで提供され得る（また高められた能力（ｅｌｅｖａｔｅｄｖｉｒｔｕｅ）のスピーカ２２．２もまた可能である）。ユーザＡに対するユーザ特定の音響信号は、スピーカ１Ｌおよび１Ｒを用いて出力され、一方、ユーザＢに対する可聴信号は、スピーカ２Ｌおよび２Ｒを用いて出力される。処理装置４００は、スピーカの各々に対してユーザ特定の音響信号を生成する。

図２において、車両システムの２つのスピーカを用いる仮想の３Ｄ音場が得られ得るシステムが示される。図２のシステムによって、可聴信号の空間聴覚表現を提供することが可能であり、この空間聴覚表現において、スピーカ１Ｌによって放出される両耳用の信号は左耳に伝えられ、一方、スピーカ１Ｒによって放出される両耳用の信号は右耳に伝えられる。この目的のために、クロストークキャンセレーションが必要であり、クロストークキャンセレーションにおいてスピーカ１Ｌから放出される可聴信号は、右耳に対して抑制されるべきであり、スピーカ１Ｒの可聴出力信号は左耳に対して抑制されるべきである。図２からわかり得るように、受信信号は、ユーザＡの頭の位置に依存する。この目的のために、カメラ２１（図示されていない）は、ユーザＡの頭回転および頭平行移動を決定することによって頭の位置を追跡する。カメラは三次元の平行移動および３つの異なるあり得る回転を決定し得るが、二次元の頭平行移動決定（左右および前後）に頭追跡を限定すること、およびあり得る３つの頭回転の１度または２度の自由度を用いることも可能である。図４に関連してさらに詳細に説明されるように、処理装置４００は、種々の頭平行移動および回転位置に対する両耳用の室内インパルス応答が格納されるデータベース４１０を含む。これらの所定のＢＲＩＲは、同じ室内またはこの室のシミュレーションにおいてダミーの頭を用いて決定された。ＢＲＩＲは、スピーカから鼓膜までの移動経路を考慮し、室内における可聴信号の反射を考慮する。マルチチャネル音響信号からのユーザＡに対するユーザ特定の両耳用の音響信号は、まず第１にユーザ特定の両耳用の音響信号を生成することによって、次いでクロストークキャンセレーションを行うことによって生成され得、そのクロストークキャンセレーションにおいて、スピーカ１Ｌから右耳への信号経路を示す信号経路１Ｌ−Ｒおよびスピーカ１Ｒの左耳への信号経路に対する信号経路１Ｒ−Ｌは抑制される。ユーザ特定の両耳用の音響信号は、追跡された頭の位置に対して決定された両耳用の室内インパルス応答によってマルチチャネル音響信号の畳み込みを決定することによって得られる。クロストークキャンセレーションは次いで、追跡された頭の位置に再び依存するクロストークキャンセレーションのための新しいフィルタ、すなわちクロストークキャンセレーションフィルタを計算することによって得られる。頭回転に依存するダイナミッククロストークキャンセレーションのより詳細な分析は、２００５年１０月の第１１９回ＡｕｄｉｏＥｎｇｉｎｅｅｒｉｎｇＳｏｃｉｅｔｙＣｏｎｖｅｎｔｉｏｎにおいて提出されたＡｕｄｉｏＥｎｇｉｎｅｅｒｉｎｇＳｏｃｉｅｔｙＣｏｎｖｅｎｔｉｏｎＰａｐｅｒ６５４１，７−１０においてＴ．Ｌｅｎｔｚ，Ｉ．ＡｓｓｅｎｍａｃｈｅｒおよびＪ．Ｓｏｋｏｌｌによる「ＰｅｒｆｏｒｍａｎｃｅｏｆＳｐａｔｉａｌＡｕｄｉｏＵｓｉｎｇＤｙｎａｍｉｃＣｒｏｓｓ−ＴａｌｋＣａｎｃｅｌｌａｔｉｏｎ」に説明されている。クロストークキャンセレーションは、新しく決定されたクロストークキャンセレーションフィルタを用いてユーザ特定の両耳用の音響信号の畳み込みを決定することによって得られる。この新しい計算されたフィルタを用いて処理した後、クロストークキャンセルのユーザ特定の音響信号はスピーカの各々に対して得られ、そのスピーカの各々は、ユーザ２０に出力されたとき、音楽信号の空間知覚を提供し、その音楽信号の知覚においてユーザは、スピーカ２２および２３の位置によって決定される方向からのみならず空間の任意の点から可聴信号を聞く効果を有する。

図３において、二人のユーザに対する特定の音場または個別の音場が示され、図１の実施形態におけるように、図３において、第１のユーザＡに対する２つのスピーカは第１のユーザＡに対するユーザ特定の音響信号を生成し、２つのスピーカは第２のユーザＢに対するユーザ特定の音響信号を生成する。２つのカメラ２１および３１は、それぞれ聴取者Ａおよび聴取者Ｂの頭の位置を決定するために提供される。第１のスピーカ１Ｌは、通常の状況下において、ＡＬおよびＡＲとして指示されるように聴取者Ａの左耳および右耳によって聞かれる可聴信号を出力する。聴取者Ａの左耳に対してスピーカ１Ｌから放出される信号に対応する音響信号１Ｌ、ＡＬは太線で示され、抑制されるべきではない。聴取者Ａの右耳に対するもう一方の音響信号１Ｌ、ＡＲは抑制されるべきである（破線で示される）。同じ方法で図２に関連して既に考察されたように、信号１Ｒ、ＡＲは、右耳に到達すべきであり、太線で示され、一方、左耳に対する信号１Ｒ、ＡＬは、抑制されるべきである（破線で示される）。しかしながらさらに、スピーカ１Ｌおよび１Ｒからの信号は通常、聴取者Ｂによって知覚される。混線（ｃｒｏｓｓ）音場キャンセレーションにおいて、これらの信号は抑制されるべきである。これは、スピーカ１Ｌから放出され、聴取者Ｂの左耳および右耳によって知覚される信号に対応する信号１Ｌ、ＢＲ；１Ｌ、ＢＬによって記号化される。同じ方法で、１Ｒ、ＢＲおよび１Ｒ、ＢＬによって記号化されるように、スピーカ１Ｒによって放出される信号は、聴取者Ｂの左耳および右耳によって知覚されるべきではない。

同じ方法で、スピーカ２Ｌおよび２Ｒによって放出される信号は、信号経路２Ｌ、ＡＲ、経路２Ｌ、ＡＬ、信号経路２Ｒ、ＡＲ、および信号経路２Ｒ、ＡＬによって記号化されるように、聴取者Ａに対して抑制されるべきである。クロストークキャンセレーションおよび混線音場キャンセレーションに関して、検出された頭の位置に対する両耳用の室内インパルス応答が決定されなければならない。なぜなら、聴取者ＡのこのＢＲＩＲおよび聴取者ＢのＢＲＩＲは、可聴化、クロストークキャンセレーションおよび混線音場キャンセレーションのために用いられるからである。

図４において処理装置４００のより詳細な図が示され、処理装置４００によって、図３において記号化される信号計算が実行され得る。聴取者の各々に関して、処理装置は、可聴信号Ａとして説明される、第１のユーザ、聴取者Ａに対する可聴信号を受信し、第２のユーザ、聴取者Ｂに対する可聴信号Ｂを受信する。上記に既に考察されたように、可聴信号は任意のフォーマットのマルチチャネル可聴信号である。図４において、本発明の理解を容易にするために、種々の計算ステップが種々のモジュールによって記号化される。しかしながら、処理が好ましくは図４において記号化された種々の計算モジュールを実行する単一の処理装置によって実行されることは理解されるべきである。処理装置は、二人のユーザの種々の頭の位置に対する一組の種々の両耳用の室内パルス応答を含むデータベース４１０を含む。処理装置は、入力４１１および４１２によって記号化されるように二人のユーザの頭の位置を受信する。各ユーザの頭の位置によって、頭の位置に対する対応するＢＲＩＲは、各ユーザに対して決定され得る。頭の位置自体は、モジュール４１３および４１４によって記号化され、さらなる処理のために種々のモジュールに出力される。第１の処理モジュールにおいて、マルチチャネル可聴信号は両耳用の可聴信号に変換され、その両耳用の可聴信号はヘッドホンによって出力された場合、聴く人に３Ｄの効果を与える。このユーザ特定の両耳用の音響信号は、追跡された頭の位置の対応するＢＲＩＲを用いてマルチチャネル可聴信号の畳み込みを決定することによって得られる。これは、モジュール４１５および４１６によって記号化されるように聴取者Ａおよび聴取者Ｂに対して行われ、モジュール４１５および４１６において可聴化が実行される。ユーザ特定の両耳用の音響信号は、次いでモジュール４１７および４１８によって記号化されるようにさらに処理される。両耳用の室内インパルス応答に基づいて、クロストークキャンセレーションフィルタは、ユーザＡおよびＢに対してそれぞれ装置４１９および４２０において計算される。クロストークキャンセレーションフィルタは、次いで該クロストークキャンセレーションフィルタを用いてユーザ特定の両耳用の音響信号の畳み込みを決定することによってクロストークキャンセレーションを決定するために用いられる。モジュール４１７および４１８の出力は、クロスロークキャンセルのユーザ特定の音響信号であり、そのユーザ特定の音響信号は、図２に示されるようにシステムにおいて出力された場合、ヘッドホンを用いてユーザ特定の両耳用の音響信号を聴く聴取者と同じ効果を聴取者に与える。次のモジュール４２１および４２２において、混線音場キャンセレーションが実行され、この場合、もう一方のユーザの音場は抑制される。もう一方のユーザの音場は、もう一方のユーザの頭の位置に依存するので、両ユーザのヘッド位置は、それぞれ装置４２３および４２４において混線音場キャンセレーションフィルタを決定するために必要である。混線音場キャンセレーションフィルタは、次いで、モジュール４２４および４２３のそれぞれによって決定されたフィルタを用いて、４１７または４１８から放出されるクロストークキャンセルのユーザ特定の音響信号の畳み込みを決定することによって混線音場キャンセレーションを決定するために、装置４２１および４２２において用いられる。フィルタリングされた可聴信号は、次いでユーザ特定の音響信号としてユーザＡおよびユーザＢに出力される。

図４に示されるように、３つの畳み込みが信号経路において実行される。可聴化のためのフィルタリング、クロストークキャンセレーションおよび混線音場キャンセレーションは、次々と実行され得る。別の実施形態において、３つの異なるフィルタリング動作は、事前に決定された１つのフィルタを用いて１つの畳み込みに結合され得る。ダイナミッククロストークキャンセレーションにおいて実行された種々のステップのより詳細な考察は、上記に考察されたＴ．Ｌｅｎｔｚの論文に見出され得る。ダイナミック混線音場キャンセレーションは、ダイナミッククロストークキャンセレーションと同じ方法で動作し、ダイナミッククロストークキャンセレーションにおいて、もう一方のスピーカによって放出された信号のみならずもう一方のユーザのスピーカからの信号も抑制されなければならない。

図５において、ユーザ特定の音場を決定する種々のステップが要約される。ステップ５１における方法の開始後、ユーザＡおよびユーザＢの頭は、ステップ５２および５３において追跡される。ユーザＡの頭の位置に基づいて、ユーザ特定の両耳用の音響信号がユーザＡに対して決定され、ユーザＢの追跡された頭の位置に基づいて、ユーザ特定の両耳用の音響信号がユーザＢに対して決定される（ステップ５４）。次のステップ５５および５６において、ユーザＡおよびユーザＢに対するクロストークキャンセレーションが決定される。ステップ５７において、混線音場キャンセレーションが両方のユーザに対して決定される。ステップ５７後の結果は、ユーザ特定の音響信号であり、第１のチャネルがユーザＡの第１のスピーカに対して計算され、第２のチャネルがユーザＡの第２のスピーカに対して計算されたことを意味する。同じ方法で、第１のチャネルがユーザＢの第１のスピーカに対して計算され、第２のチャネルがユーザＢの第２のスピーカに対して計算された。ステップ５８後に信号が出力されると、各ユーザに対する個別の音場が得られる。その結果、各ユーザは、自分の個別の音材料を選び得る。さらに、各ユーザに対して、個別の音設定が選ばれ得、個別の音圧レベルが選択され得る。上記に説明されたシステムは、二人のユーザに対するユーザ特定の音響信号について説明された。しかしながら、３人以上のユーザに対してユーザ特定の音響信号を提供することも可能である。そのような実施形態における混線音場キャンセレーションにおいて、上記に説明される例の場合のように、ひとりの他のユーザの音場のみならず、その他の複数のユーザにおいて提供される音場は、抑制されなければならない。しかしながら、原理は依然として同じである。

２０第１のユーザ
２１カメラ
２２スピーカ
２３スピーカ
３０第２のユーザ
３１カメラ
４１オーディオデータベース
４００処理ユニット
４１０データベース
４１７モジュール
４１８モジュール

Claims

室内における二人のユーザのうちの第１のユーザに対してユーザ特定の音響信号を提供する方法であって、一対のスピーカ（１Ｒ、１Ｌ；２Ｒ、２Ｌ）が該二人のユーザの各々に提供され、該方法は、
該第１のユーザの頭の位置を追跡するステップと、
該第１のユーザの該追跡された頭の位置に基づいて、該第１のユーザに対するユーザ特定のマルチチャネル音響信号から該第１のユーザに対するユーザ特定の両耳用の音響信号を生成するステップと、
クロストークキャンセルされたユーザ特定の音響信号を生成するために該第１のユーザの該追跡された頭の位置に基づいて、該第１のユーザに対するクロストークキャンセレーションを行うステップであって、該ユーザ特定の両耳用の音響信号は、クロストークキャンセルされた該ユーザ特定の音響信号が該第１のユーザの第１の耳に対して該第１のユーザの該一対のスピーカのうちの１つのスピーカによって出力された場合、該クロストークキャンセルされたユーザ特定の音響信号が該第１のユーザの第２の耳に対して抑制され、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの該第２の耳に対する該一対のスピーカのもう一方のスピーカによって出力された場合、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの該第１の耳に対して抑制されるように処理される、ステップと、
混線音場の抑制を行うステップであって、該第２のユーザに対して提供される該一対のスピーカによって該第２のユーザに対して出力される該音響信号は、該第１のユーザの該追跡された頭の位置に基づいて、該第１のユーザの各耳に対して抑制される、ステップと
を包含する、方法。
前記第１のユーザに対する前記ユーザ特定の両耳用の音響信号は、ダミーの頭によって決定された該室内における該第１のユーザの一組の種々の頭の可能性のある位置について該第１のユーザに対して決定される一組の所定の両耳用の室内インパルス応答に基づいて生成され、該第１のユーザの該ユーザ特定の両耳用の音響信号は、前記追跡された頭の位置の該両耳用の室内インパルス応答を有するマルチチャネルユーザ特定の音響信号をフィルタリングすることによって生成される、請求項１に記載の方法。
前記頭の位置は、三次元で前記頭の平行移動を決定することによって、該頭の３つの可能性のある回転軸に沿って該頭の回転を決定することによって追跡され、前記一組の所定の両耳用の室内インパルス応答は、該頭の該あり得る平行移動および回転に対する両耳用の室内インパルス応答を含む、請求項１または２に記載の方法。
前記頭の位置における前記第１のユーザの前記ユーザ特定の両耳用の音響信号は、該頭の位置に対して決定された前記両耳用の室内インパルス応答によって該第１のユーザに対して前記ユーザ特定のマルチチャネル音響信号の畳み込みを決定することによって決定される、請求項２または３に記載の方法。
前記第１のユーザに対する前記クロストークのキャンセレーションに対して、頭の位置依存フィルタは、該頭の追跡された位置を用い、該頭の位置の該追跡された位置に対する前記両耳用のインパルス応答を用いて決定され、該クロストークキャンセレーションは、該頭の位置依存フィルタを用いて前記ユーザ特定の両耳用の音響信号の畳み込みを決定することによって決定される、請求項１〜４のいずれかに記載の方法。
前記第２のユーザの前記音響信号はまた、該第２のユーザの頭の位置が追跡されるユーザ特定の音響信号であり、該第２のユーザに対するユーザ特定の両耳用の音響信号は、該第２のユーザに対するユーザ特定のマルチチャネル音響信号に基づき、該第２のユーザの追跡された頭の位置に基づいて生成され、該第２のユーザに対するクロストークキャンセレーションは、該第２のユーザの追跡された頭の位置および混線音場抑制に基づいて実行され、該混線音場抑制において、前記第１のユーザの前記一対のスピーカによって該第１のユーザに対して放出された音響信号は、該第２のユーザの追跡された頭の位置に基づいて該第２のユーザの各耳に対して抑制される、請求項１〜５のいずれかに記載の方法。
前記第２のユーザに対する前記ユーザ特定の両耳用の音響信号は、ダミーの頭を用いて前記室内における該第２のユーザの一組のあり得る種々の頭の位置について該第２のユーザに対して決定された一組の所定の両耳用の室内インパルス応答に基づき、追跡された前記頭の位置に基づいて生成され、該追跡された頭の位置の該両耳用の室内インパルス応答は、該頭の位置において該第２のユーザの該ユーザ特定の両耳用の音響信号を決定するために用いられる、請求項６に記載の方法。
前記ユーザのうちのひとりに対して出力され、該ユーザの他の人に対して抑制される前記音響信号の混線音場抑制は、前記第１のユーザの前記追跡された頭の位置および前記第２のユーザの前記追跡された頭の位置に基づき、該第１のユーザの該追跡された頭の位置における該第１のユーザに対する前記両耳用の室内インパルスに基づき、該第２のユーザの該追跡された頭の位置における該第２のユーザに対する前記両耳用の室内インパルスに基づいて決定される、請求項６または７に記載の方法。
前記室は車室であり、前記ユーザ特定の音響信号は車両座席位置関連の音場であり、前記一対のスピーカは固定して取り付けられる車両スピーカである、請求項１〜８のいずれかに記載の方法。
室内の二人のユーザのうちの第１のユーザに対するユーザ特定の音響信号を提供するシステムであって、該システムは、
該ユーザの各々に対してそれぞれに音響信号を出力する一対のスピーカ（１Ｒ、１Ｌ、２Ｒ、２Ｌ）と、
該第１のユーザの頭の位置を追跡するカメラ（２１、３１）と、
該室内における該第１のユーザの種々のあり得る異なる頭の位置に対する該第１のユーザに対して決定される一組の所定の両耳用の室内インパルス応答を含むデータベース（４１０）と、
処理装置（４００）であって、該第１のユーザに対する該ユーザ特定のマルチチャネル音響信号に基づき、該カメラによって提供される該第１のユーザの該追跡された頭の位置に基づいて該第１のユーザに対するユーザ特定の両耳用の音響信号を決定するためにユーザ特定のマルチチャネル音響信号を処理するように構成され、クロストークキャンセルのユーザ特定の音響信号を生成するために該第１のユーザの該追跡された頭の位置に基づいて該第１のユーザに対してクロストークキャンセレーションを行うように構成され、この場合、該ユーザ特定の両耳用の音響信号は、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの第１の耳に対して該第１のユーザの該一対のスピーカのうちの１つのスピーカによって出力された場合、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの該第２の耳に対して抑制されるように処理され、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの第２の耳に対して該一対のスピーカのうちのもう一方のスピーカによって出力された場合、該クロストークキャンセルのユーザ特定の音響信号が該第１のユーザの該第１の耳に対して抑制されるように処理され、そして、該第２のユーザに対してスピーカによって該第２のユーザに対して放出される該音響信号が該第１のユーザの該追跡された頭の位置に基づいて該第１のユーザの各耳に対して抑制される混線音場抑制を行うように構成される、処理装置（４００）と
を備えている、システム。
前記データベースは、前記室内における前記第２のユーザの種々の可能性のある異なる頭の位置に対する該第２のユーザに対して決定される一組の所定の両耳用の室内インパルス応答をさらに含む、請求項１０に記載のシステム。
前記第２のユーザの前記頭の位置を追跡する第２のカメラをさらに備え、前記処理装置は、前記第１のユーザの該追跡された頭の位置および該第２のユーザの該追跡された頭の位置に基づき、該第１のユーザに対する前記両耳用の室内インパルス応答および該第１のユーザの該追跡された頭の位置に基づき、そして該第２のユーザに対する該両耳用の室内インパルス応答および該第２のユーザの該追跡された頭の位置に基づいて、混線音場抑制を行う、請求項１１に記載のシステム。