JP2006515490A - 再生位置を決定するための装置及び方法 - Google Patents

Abstract

所定の幅を有する再生面(３４)と投影基準点を有する投影源とに関して複数の個々の画像から映画シーンを視聴覚再生するために音源(４０)の再生位置を決定するための装置は、該音源の記録位置(７２)と、記録中のカメラ位置と、記録中のカメラのアパーチャ角度とを提供するための手段を含む。更に、カメラ座標系における該音源の記録位置を得るために、該音源の該記録位置（７２）をカメラ・アパーチャと関連してその原点が定められるカメラ座標系に変換するための手段が設けられる。該投影基準点と関連して該音源の再生位置を計算するための手段は、該カメラのアパーチャ角度が所定アパーチャ角度に等しいか判定するとともに、音源が該カメラの視覚範囲内に位置するか否か判定する。もしカメラの現在のアパーチャ角度が該所定標準アパーチャ角度とは異なっていれば、該音源の再生位置は該標準アパーチャ角度の現在のアパーチャ角度に対する比に依存する距離だけ視聴者に近づけられまたは視聴者から遠ざけられる。これにより、波動場合成方法を使用する再生室内で視覚に関して現実的であるだけではなくて音響に関しても現実的な状態を提供するために自動化可能な音源位置調整が達成される。

Description

本発明は、オーディオ再生技術に関し、特に、波動場合成モジュールが、ビデオ再生向けに調整された音源位置調整を行うのに適するオーディオ再生技術に関する。

消費者電子装置の分野では、新しい技術および革新的製品に対する需要が高まっている。新しいマルチメディアシステムが成功するためには、最適の機能性或いは能力を提供することが重要な必要条件である。これは、ディジタル技術、特にコンピュータ技術の採用により達成される。その実例は、高度の近現実視聴覚印象を提供するいろいろなアプリケーションである。従来のオーディオシステムでは、１つの大きな欠点は、自然の、また仮想の環境の空間的音響再生の品質であった。

オーディオ信号のマルチチャネル・スピーカー再生方法は、遥か以前から知られていて規格化されている。ありふれた技術は、全て、スピーカーの場所と聴取者の位置との両方が、転送フォーマットに既に印象付けられているという欠点を有する。聴取者との関係でスピーカーが正しく配置されていなければ、オーディオ品質が顕著に低下する。最高の音は、再生スペースの１つの小さな領域、いわゆるスイートスポット、の中でのみ可能である。

オーディオ再生で、良好な自然な空間的印象は、明確な囲い込み或いは包み込みと同じく、新技術の助けにより達成されるであろう。この技術の原理、いわゆる波動場合成（ＷＦＳ）、はＴＵデルフト（ＴＵ Ｄｅｌｆｔ）で研究され、８０年代後半に初めて発表された（バークハウト、Ａ．Ｊ．（Ｂｅｒｋｈｏｕｔ，Ａ．Ｊ．）；ドフリース、Ｄ．（ｄｅ Ｖｒｉｅｓ，Ｄ．）;ヴォーゲル、Ｐ．（Ｖｏｇｅｌ，Ｐ．）の波動場合成による音響制御（Ａｃｏｕｓｔｉｃ ｃｏｎｔｒｏｌ ｂｙ Ｗａｖｅ−ｆｉｅｌｄ Ｓｙｎｔｈｅｓｉｓ）、ＪＡＳＡ ９３，９９３）。

この方法は、莫大なコンピュータパワーおよび転送速度を必要とするので、波動場合成は、今日まで実際には稀にしか採用されていない。今日、マイクロプロセッサ技術とオーディオ符号化の分野で達成された進歩だけが、この技術を現実のいろいろなアプリケーションに採用することを可能にしている。プロフェッショナル分野での最初の成果は、来年に期待されている。数年で、消費者分野の最初の波動場合成アプリケーションも市場に現れると考えられている。

ＷＦＳの基本的アイデアは、波動理論についてのホイヘンスの原理の適用に基づいている。

１つの波が当たった各々の点は、球状に或いは円形に伝播する要素波の出発点となる。

音響学に適用されたとき、入ってくる波面のどのような形状も、互いに隣接して配置された大量のスピーカー(いわゆるスピーカー・アレイ）によって再現され得る。再生される１つの音源と、直線状に配置された１群のスピーカーとを含む最も簡単な場合には、個々のスピーカーから放射された音場が正しく重なり合うように、各々のスピーカーのオーディオ信号は、時間遅延と振幅スケーリングを持って供給されなければならない。音源が幾つかある場合には、各々の音源について各スピーカーへの寄与が別々に計算され、その結果としての複数の信号が加え合わされる。反響性の壁を有する部屋の中に音源があるならば、いろいろな反響も付加的な音源としてスピーカー・アレイによって再生されなければならない。従って、計算費用は、音源の数、録音室の反響特性、およびスピーカーの数に高度に依存する。

特に、この技術の利点は、広い再生空間にわたって自然な空間的音響効果が可能であることである。公知のいろいろな技術とは対照的に、音源の方向および距離が非常に正確に再生される。或る限られた程度に、仮想音源は実際のスピーカー・アレイと聴取者との間にさえ位置し得る。

音場合成は、条件が知られている環境については良好に機能するけれども、その条件が変化したり、或いは実際の環境条件と調和しない環境条件に基づいて音場合成が実行されると不規則性が生じる．

しかし、視覚を対応する空間的聴覚によって補足するためにも、音場合成技術を有利に使用することもできる。以前は、バーチャル・スタジオでの制作においては、バーチャル・シーンの本物の視覚的効果を伝えることに強調が置かれていた。映像と調和する音響印象は、普通は後に、いわゆる後制作（ｐｏｓｔ−ｐｒｏｄｕｃｔｉｏｎ)中に手操作ステップでオーディオ信号に印象付けられるか、或いは、それを実行するのは費用と時間がかかりすぎるとされて無視される。従って、普通は個々の感覚の矛盾が生じ、その結果として、計画されたスペースが、すなわち、計画されたシーンが余り本物らしくないと知覚されることになる。

専門家刊行物「視聴覚システムにおいて空間化されたオーディオおよび２Ｄビデオ投影を組み合わせることの効果に関する主観的実験」（Ｓｕｂｊｅｃｔｉｖｅ ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ｔｈｅ ｅｆｆｅｃｔｓ ｏｆ ｃｏｍｂｉｎｉｎｇ ｓｐａｔｉａｌｉｚｅｄ ａｕｄｉｏ ａｎｄ ２Ｄ ｖｉｄｅｏ ｐｒｏｊｅｃｔｉｏｎ ｉｎ ａｕｄｉｏ−ｖｉｓｕａｌ ｓｙｓｔｅｍｓ）、Ｗ．ド・ブルージン（Ｗ ｄｅ Ｂｒｕｉｊｉｎ）およびＭ．ブーン（Ｍ．Ｂｏｏｎｅ）、ＡＥＳ大会論文５５８２、２００２年５月１０〜１３日、ミュンヘン、において、視聴覚システムにおいて空間的オーディオと２次元ビデオ投影とを組み合わせることの効果に関して実行された主観的実験が提示されている。特に、殆ど相前後してカメラから異なる距離にある二人の話者は、音場合成によってその二人の相前後して位置する人が、異なるバーチャル音源として解釈されて再現されれば、一人の観察者によってより良く理解されえるということが強調されている。この場合、主観的試験は、同時に話している二人の話者が互いに離れているならば、聴取者は、容易にその二人の話者の言うことを理解して該話者を識別できるということを明らかにした。

２００１年９月２４から２７日までのイルメナウにおける第４６回国際科学会議において、Ｕ．ライテル（Ｕ．Ｒｅｉｔｅｒ）、Ｆ．メルキオル（Ｆ．Ｍｅｌｃｈｉｏｒ）およびＣ．ザイデル（Ｃ．Ｓｅｉｄｅｌ）による「仮想空間における音響効果の自動調整」（Ａｕｔｏｍａｔｉｓｉｅｒｔｅ Ａｎｐａｓｓｕｎｇ ｄｅｒ Ａｋｕｓｔｉｋ ａｎ ｖｉｒｔｕｅｌｌｅ Ｒａｅｕｍｅ）と題された１つの会議論文において、音響後処理方法を自動化するアプローチが提示されている。この目的のために、部屋のサイズ、表面の質感或いはカメラおよび人物の位置などの視覚化に必要な映画セットのいろいろなパラメータが音響関連性に関して検査され、直ぐに対応する制御データが作られる。このデータは、カメラからの距離に対する話者の騒々しさ、或いは音量の依存性、或いは部屋のサイズおよび壁の性質に依存する残響時間の調整などの、後制作のために採用される効果および後処理方法に対して自動的に影響を及ぼす。ここで、目標は、現実性を高めるためにバーチャル・シーンの視覚的印象を強化することである。

目的は、“カメラの耳での聴覚”がシーンをより本物らしく見せることを可能にすることである。ここでの努力の目的は、映像中の音響事象の場所と、周りの領域における聴取事象の場所との相関をなるべく高めることである。このことは、音源の位置が、常に映像に合わせて調整されると考えられるということを意味する。ズームなどのカメラのパラメータは、２つのスピーカーＬおよびＲの位置と同じく音響制作に統合されなければならない。この目的のために、バーチャル・スタジオのトラッキング・データは、付随するシステム時間コードとともに１つのファイルに書き込まれる。同時に、映像、音響および時間コードが、ＭＡＺ上に記録される。カムダンプ・ファイル（ｃａｍｄｕｍｐ ｆｉｌｅ)は、コンピュータに送られ、該ガムダンプ・ファイルは、オーディオ・ワークステーションのための制御データを作り、これをコンピュータは該ＭＡＺから生じた映像と同時にＭＩＤＩインターフェースを介して出力する。周囲領域における音源の位置調整、および初期反響および残響の導入などの実際のオーディオ処理は、オーディオ・ワークステーションで実行される。信号は５．１サラウンド・スピーカー・システムのために再現される。

現実の映画セットでは、カメラ・トラッキング・パラメータは、記録セッティングにおける音源の位置とともに記録される。その様なデータはバーチャル・スタジオで作られても良い。

バーチャル・スタジオでは、俳優、或いはプレゼンターは録音室に一人でいる。特に、彼／彼女は、ブルーボックス、或いはブルーパネルとも称される青い壁の前に立つ。青色およびライトブルーのストライプのパターンが、この青い壁に付けられる。このパターンに関して特別なことは、該ストライプが変化する幅を有すること、従って、多数のストライプ組み合わせが生じることである。青い壁上の独特のストライプの組み合わせは、後処理において該青壁がバーチャル背景に取って代わられたときに、カメラがどの方向に向けられているか判定することを可能にする。この情報の助けで、コンピュータは、現在のカメラの視角のための背景を決定することができる。更に、付加的なカメラ・パラメータを検出して出力する、カメラに設けられたいろいろなセンサーも評価される。センサー技術によって検出されるカメラの典型的パラメータは、３つの並進運動度、ｘ、ｙ、ｚ、３つの回転度(ロール、チルトおよびパンとも称される)および焦点距離、或いはズームであり、これはカメラのアパーチャ角度に関する情報と同等である。

画像認識無しで、且つ高価なセンサー技術無しでもカメラの正確な位置を判定しえるように、カメラに取り付けられた１つの赤外線センサーの位置を決定する数個の赤外線カメラから成る１つのトラッキング・システムを使用することもできる。従って、カメラの位置も決定される。センサー技術によって提供されるカメラのパラメータにより、また画像認識により評価されたストライプ情報により、実時間コンピュータは、現在の画像のための背景を計算することができる。その後、青色の背景により表示される青の影が画像から取り除かれ、青色の背景がバーチャル背景に取って代わられる。

殆どの場合に、視覚的に描写されるシーンの全体としての音響印象が殆ど到達しかけている１つのコンセプトが執着される。このことを、画像構成の分野からの“全体的”発生という用語で言い換えることができる。物体の光学的視角は、殆どの場合に強く変動するけれども、この“全体的"音響印象は、１つのシーン内で全てのカメラ位置調整にわたって大抵一定のままである。従って、視覚的詳細は、対応する位置調整に依存して強調されても良いし強調されなくても良い。映画の対話の作成時に行われるカウンターショットは音響によりコピーされない。

従って、聴衆を視聴覚シーンに聴覚的に引き込む必要がある。ここで、スクリーン、或いは映像領域は視聴者の視線および視角を形成する。このことは、音響が、見られている映像に常に調和するように映像に従うことを意味する。このことは、特にバーチャル・スタジオのために重要になってきているが、それは、例えば、プレゼンテーションの音声、或いは節度とプレゼンターが身をおいている環境との間に通常は相関が無いからである。シーンの全体的視聴覚印象を得るためには、再現される映像と調和する空間的印象がシミュレートされなければならない。この様な音色的概念に不可欠の主観的特性は、この文脈では、例えば、映画スクリーンを見る人が知覚する音声の音源の位置である。

本発明の目的は、映画シーンの視聴覚再生時に音源の再生位置を決定するためのコンセプトを提供することであり、そのコンセプトは、記録から再生への音源位置のマッピングを効率的に提供する。

この目的は、請求項１に記載されている装置、請求項２０に記載されている方法、請求項２１に記載されているコンピュータ・プログラム、或いは請求項２２に記載されている映画シーンを再生するための装置によって達成される。

本発明は、カメラ座標系、すなわち、バーチャル・スタジオまたは現実の背景の中での記録をカメラが実行する座標系を、言わば、再生座標系と合併することができるという所見に基づいており、該再生座標系は、記録システムに基づいて再生システムで現実的な音源位置調整を提供するために、例えば、映画スクリーンであってよい再生面と、例えば、映画館の映写機であって良い再生源とによって表される。ここできわめて重要なことは、再生に関して、記録時にカメラのズーム位置調整が考慮されることである。本発明によれば、標準的ズーム位置調整、すなわち、カメラの標準アパーチャ角度が仮定されるが、これは視聴者の視覚系のアパーチャ角度と一致するようにセットされるのが好ましい。

人の視覚系は特定のアパーチャ角度を示し、それは約２７度である。人の目はズーム機能を持っていないということが知られている。従って、目のアパーチャ角度は、常に予め決まっている。もしカメラのアパーチャ角度が人の目のアパーチャ角度と一致するようにセットされれば、すなわち、もし再生シーンに関して記録シーンの１:１マッピングが得られれば、最適の観点のためには全ての角度および距離が歪み無しで再生される。

更に、本発明によれば、水平標準アパーチャ角度と再生面の水平幅寸法とにより予め調整される投影球が定められる。もしカメラのズーム位置調整が、最適観点において再生システムのアパーチャ角度に等しければ、カメラのアパーチャは、映写機のアパーチャに等しく調整される。一方、もしカメラのアパーチャ角度が標準アパーチャ角度に関して変更されれば、映写機のアパーチャとカメラのアパーチャとは離れる。

ここで、映写機のアパーチャは必ずしも人の目の、或いはカメラの標準アパーチャに等しくなくてもよいということが指摘されなければならない。例えば、より小さなアパーチャ角度を有する映写機がスクリーンから更に遠くに置かれれば、これは小角度にも関わらずにそれを達成するためであるが、映写機はスクリーン全体を満たすことになり、そのサイズおよび位置は通常は予め定められる。このとき、最適観点は、映写機のアパーチャから遠ざかって映写機アパーチャとスクリーンとの間に位置する。正確な最適観点は、標準的アパーチャ角度を持っていて、スクリーンの全幅を見ている視聴者、すなわち、スクリーンの全幅を自分のアパーチャ角度内に有する視聴者が、着席しているスクリーンの前の場所であることが判明する。

本発明によれば、更に、音源が再生面上に現れるか、すなわち、映画視聴者に見られ得るか、それとも音源が見えないかが区別される。例えば、二人の人が話し合っていて、その間カメラがその二人のうちの一方に向けられているとすると、現実的な再生のためには、他方の人も音源として配置されなければならないのは自明のことであり、その理由は、全体としての視聴覚印象では一人の人だけが見えていても、他方の人が出す物音も視聴者に聞こえることにある。本発明によれば、１つの音源が見える場合には、再生位置の計算はスクリーン上の該音源の位置に基づいて行われ、音源が見えない場合には、再生位置を得るために、該計算は、投影球上の位置に基づいて行われる。

本発明のコンセプトは、見えないけれども聞こえる音源を考慮し、また、カメラのアパーチャ角度の位置調整が、標準的アパーチャ角度から逸脱し得るということを考慮する現実的音源位置調整が達成されるという点において有益である。

更に、本発明のコンセプトは、コンピュータを使って自動化しえるという点において有益であり、このことは、その様なシステムがリアルタイムで動作し、従って広範な用途を獲得することを可能にする。

本発明の別の利点は、容易に入手し得る入力データだけが必要とされるという事実である。記録を行う目的として、記録セッティングにおける音源の位置と、記録セッティングにおけるカメラの位置と、カメラのアパーチャ角度とがある。再生環境を目的として、再生スクリーンの幅と、任意に、再生装置のアパーチャ角度と(該アパーチャ角度は、通常は再生装置の与えられた技術上の事実によって予め定められる)、再生面の幅と、再生面および再生源の間の距離とがある。

従って、本発明によれば、いろいろな記録状態に合わせて再生シーンを調節するために再生環境において音源の正確な位置調整が達成される。

結局、本発明は、合計で４つの場合の区別につながる２つの異なる場合の結果として、音源位置の調整は透明で、柔軟で、低費用で、また特に種々の精度要件を考慮することに関してスケーラブルであるという点において有利である。

スクリーンまたは投影球とのインターフェースの取り扱い方については、いろいろな可能性がある。単純で、従って、低費用で実行されえる計算のために、標準的アパーチャ角度の場合に、音源ベクトルの長さを考慮せずに音源をスクリーンまたは投影球上に置くことができる。アパーチャ角度が逸れる場合には、距離および差をこの値に基づいて計算することができる。

より正確ではあるけれども費用が増大する計算では、カメラの既存の標準的アパーチャ角度でも、スクリーンまたは球との交点までのベクトルを調整して、その長さをカメラ・セッティングからの音源ベクトルと同一にすることによって、音源をスクリーンまたは投影球の前または後ろに置くために、記録セッティングにおける音源ベクトルの長さが考慮される。もしカメラのアパーチャ角度が標準的アパーチャ角度から逸れていれば、音源の再生位置は、スクリーンまたは球の前または後ろにある位置から出発して、該差だけ移動される。

最適観点を大きくするために、スクリーンの前または後ろへの音源の配置、および／または音源の移動は、ズーム／広角位置調整のために非線形に実行されても良くて、スクリーンまたは投影球の前または後ろへの音源の移動は、選択可能な最大量までしか認められないという意味において、閾値を用いることも可能である。

次に、添付図面を参照して本発明の好ましい実施態様を詳しく説明する。

図１は、再生位置を決定するための本発明装置の概観ブロック図を示し、図２は、図１の再生位置を計算するための手段のより詳しい表示である。

特に、図１に示されている本発明装置および／または図１に図式的に描かれている本発明方法は、所定の幅を有する再生面に関して、また投影基準点を有する投影源に関して複数の個々の画像またはフレームからの映画シーンの視聴覚再生のために音源の再生位置を決定するために役立つ。再生面は、例えば、映画館のスクリーンであって良い。スクリーンの幅は、映画館ごとに違っている。しかし、いずれにせよ、それは前もって決められている、すなわち、当の映画館により指定されている。投影源は、いろいろな映画館やその他の施設で普通に使用されている映画フィルム映写機であって良い。或いは、投影源は、コンピュータで作成された映像を、例えば、映画フィルム・ロールとして存在させること無く直接に投影映像に変換するいわゆるビーマー(ｂｅａｍｅｒ）であっても良い。投影源が、映画映写機であるのかビーマーであるのかということに関わらずに、各投影源について投影基準点を定めることができ、その投影基準点において投影源からスクリーンへ送られて該スクリーンに入射する全てのビームが交差する。従って、カメラの基準点を定めることもでき、それは、ホールカメラのモデルによって、カメラに近づけることによって最善に説明され得る。ホールカメラは光学系を持たない非常に単純なカメラであって、フィルムは小さな穴を介して照明される。複雑なレンズ系を有する典型的なカメラでも、カメラのアパーチャ角度で対物レンズに入射して該対物レンズの後ろに配置されている変換器に当たる全てのビームが１点で、すなわち、カメラのアパーチャで、交差するという意味においてカメラのアパーチャを定義することができる。該変換器系は、未露光フィルム、ＣＣＤアレイ、或いは入射光情報を蓄積してそれを更なる処理のために利用する任意の類似物であって良い。

本発明装置は、最初は、複数の音源の記録位置と、カメラ位置と、記録中のカメラのアパーチャ角度とを提供するための手段１０を含む。この情報、すなわち、音源の記録位置、カメラ位置、およびカメラのアパーチャ角度、を各々の画像について蓄積するのが好ましいと指摘されなければならない。１つの画像と次の画像とに変化が無い場合、すなわち、個々の画像の系列が同じカメラ位置、同じ音源位置および同じアパーチャ角度を有する場合に限って、この指令から逸脱するべきである。

複数の音源の位置は、トラッキング・システムによって検出され得る。この様にすることによってのみ、それらは位置調整の過程において動くことができ、位置を自動的に追跡することが可能となる。このトラッキング・システムは、各フレームについて、音源の座標を、カメラの場所との関係での音源位置を計算するためのアルゴリズムに渡すことができる。代表的なバーチャル・スタジオ・システムは、例えば、プレゼンターに取り付けられた赤外線送信装置／受信装置によってこれを実行することを可能にし、従って、彼らがバーチャル空間内で動いて物体の背後に移動することさえ可能にする。

カメラのパラメータに関して、直接トラッキングのデータ収集と、後のトラッキングでのデータ収集とがあることを指摘しなければならない。後トラッキングでは、画像の任意のポイントを追跡することができ、収集されたデータをテキスト・ファイルに蓄積することができる。更に、このデータに基づいて、現実の記録において行われた任意のカメラ運動を２次元画像から計算することができる。これをその後にエクスポートして供給することができる。映画制作では、これらのツールは、いわゆる合成、すなわち、現実の画像をコンピュータ生成された画像と結合させることを実行するために使用されている。

直接トラッキングでは、カメラの位置と音源の位置とが画像記録中に追跡されて記録される。この方法は、パターン認識を有するシステムとセンサーに基づくシステムとにおいて実行され得る。この様なシステムでも、トラッキング・データを記録し、或いはネットワーク接続を介して生で送信することができる。これまでは放送の分野でのみ採用されてきたこの技術を応用する１つの更なる可能性は、セットにおける前視覚化（ｐｒｅｖｉｓｕａｌｉｚａｔｉｏｎ)のための映画制作段階での利用である。セットでのような早い段階での背景試写を伴う、青色スクリーンの前で記録された現実のシーンを供給することが可能である。これにより、シーンの効果を評価するために良好な位置にいられる可能性が、監督に与えられる。同時に、時には多大の努力を必要とする、トラッキング・データを後に収集する手続きを省くことができる。

収集されたトラッキング・データは、使用された方法によっては不完全である可能性がある。例えば、トラッキング・システムの不正確な校正は、ダイナミック・オフセット問題を生じさせる可能性がある。画像上では、その様なエラーは、例えば、カメラの運動が実行されるときなどに現実の物体がバーチャル・フロア上でぼやける可能性があるので、目立つ可能性がある。しかし、音声制作に関しては、その様なエラーはどちらかといえば無視しえるものであり、その理由は、その様な画像と音声との最小のずれが悪く、消極的に目立つはずは無いことである。更に、トラッキング・エラーに起因して、何らかのカメラ・パラメータの値に高周波数干渉が割り当てられる可能性がある。データをフィルタリングせずに使用すれば、これらの干渉は音源の振動によって目立つようになる。これは、音にビブラートのような変化およびトレモロのような変化を生じさせる可能性がある。トラッキング・データのこの様な欠陥のあるシーケンスは、データ準備の枠組みの中で使用される前にローパス・フィルタリングされるべきである。

手段１０の下流側には、音源の記録位置をカメラ座標系に変換するための手段１２がある。カメラ座標系の原点は、カメラのアパーチャに関して定義される。変換手段１２は、カメラ座標系における音源の記録位置を得るために、音源の記録位置のカメラ座標系(その原点はカメラ・アパーチャに関して定義される)への変換を提供する。

手段１２によって達成される変換を説明するために、図７は世界座標系とカメラ座標系との比較を示す。図７に示されている例では、世界座標系は、バーチャル・スタジオにおける青色スクリーン７０の位置として定義される。世界座標系の原点は、任意ではあるが固定されているバーチャル・スタジオ内の１つの点であって、図７では、青色スクリーン７０の左下隅である。点Ｐに位置する音源は、図７において７２により指示されている。カメラの位置は、図７においてベクトルＫにより指示されており、ベクトルＫは、カメラ原点７４を指している。図７に示されているシナリオでは、世界座標系とカメラ座標系とは、両方とも、直交座標系として描かれており、そこではベクトルはｘ成分、ｙ成分およびｚ成分によって明示される。或いは各座標系は、円筒座標系または球座標系として描かれても良い。しかし、表示が簡単であるために、カメラ座標系および世界座標系の両方についてデカルト座標系が想定される。手段１０は、世界座標系における音源７２の記録位置、すなわち、ベクトルＳを供給する。供給手段１０は、更に、世界座標系におけるカメラ位置、すなわち、図７のベクトルＫも更に供給する。後に、本書において、カメラのアパーチャ角度に言及する。

カメラ座標系に関して、カメラ座標系の原点７４として好ましく明示されるものはカメラのいわゆる節点であって、該節点は、ホール・カメラ・モデルのホールに、或いは一般的にはカメラのアパーチャ角度でカメラの対物レンズに入って画像変換器上に結像される全ての光線の交点に対応する。しかし、カメラ座標系において原点７４から既知距離だけ離れている他の任意の点も、該点からカメラの前記節点への変換も考慮されるならば、カメラ座標系の基準点として使用されて良いということが指摘されなければならない。

出発のための基礎として、カメラＫを指す(カメラの節点を指す)ベクトルと、点Ｐに位置する音源Ｓを指すベクトルとが、世界座標系において利用可能である。第１ステップでは、図７に“線形変換”という用語で描かれているように、音源ベクトルは、手段１２によってカメラ座標系に変換される。ここで、Ｓ’は、カメラ座標系における音源のベクトルである。Ｓは世界座標系における音源のベクトルであり、Ｋは世界座標系におけるカメラのベクトルである。

ここで、カメラは世界座標系において並進移動させられるだけではなくて、カメラ座標系の原点７４に関して３つの方向ｘ、ｙおよびｚの全てにおいて“ねじられ”ても良いことを指摘しなければならない。この様に、カメラは回転の３つの自由度を有する。空間内でのカメラ・アラインメントのこれら３つの角度は、当業者の間ではパン、チルトおよびロールと称されている。図７において、図の下に描かれている回転マトリックスＲｘ、ＲｙおよびＲｚによって、このアラインメントは、カメラ座標系の音源ベクトルＳ’に移される。回転変換については、音源のベクトルＳ’からカメラ座標系における音源のベクトルＳ”を作るために、図７の右側に描かれている方程式が使用され、ｘ、ｙおよびｚによるカメラの回転アラインメントがここで考慮される。

ベクトルＳ”は、カメラのアラインメントが考慮されるときのカメラ座標系における音源のベクトルである。

手段１２の下流側に、投影基準点に関して音源の再生位置を計算するための手段１４があり、計算手段１４は、投影点およびカメラ・アパーチャを共通出発点として使用するように構成されている。具体的には、再生位置を計算するための前記手段は、図２に図式的に描かれているように構成されている。

手段１４によって再生位置が計算されると、再生面と関連して音源の再生が、手段１６において出力される。

図２に描かれている装置は、再生環境において、すなわち、例えば映画スクリーンに関しての音源の再生位置を決定する。例えば映画館における視聴覚シーンの視覚的に３次元であるだけではなくて、聴覚的にも３次元である再生を達成するために、この様な再生位置は、波動場合成モジュールまたは音場合成モジュールによって使用され得る。特に、音場合成手段によって、シネマ・ミックス（ｃｉｎｅｍａ ｍｉｘ）で、印象的な音場を作ることができる。これは、特に画像との関係でのバーチャル音源の正確な位置調整によって達成され得る。主観的なカメラ位置調整で、映像と調和する音響予期は、聴衆がシーンに深く没入することを可能にする。スピーカーの位置調整に関してのこの様なシーンの混合は、本発明コンセプトによって単純化され、図２によって現されている個々のアルゴリズムによって自動化され得る。従って、現実のカメラ位置調整に依存し、且つ現実のセッティングにおける音源の位置に依存して音源を自動的に位置調整することが可能になるので、音声ミキサーは、カメラの耳で聞くというコンセプトの音声ミキサーによる実現が“容易にされる”。この目的のために、カメラのパラメータを追跡することによって操作が行われ、動く俳優がいる場合には、その人たちを追跡することに基づいて操作が行われる。

以下で、図３および４を参照して考察されるのは、カメラのアパーチャ角度が、所定の標準アパーチャ角度に一致するという事態である。しかし、図５および６は、シーンを記録している間にカメラの実際のアパーチャ角度が、該所定標準アパーチャ角度から逸脱する場合を描いている。

図３は、ｘ軸より上の、すなわち、正のｙ値を有する現実の記録セッティングを表し、またｘ軸より下の、すなわち、負のｙ値を有する現実のセッティング(正のｙ座標を有する)のシーンの再生を表すシナリオの平面図を示している。図３に示されているシナリオは、３次元シナリオの平面図であって、この図では、簡単のために、該平面図についてｚ＝０のｚ座標が想定されている。従って、ｚ軸は、図３が描かれている平面に対して垂直に伸びる。

音源７２は、はじめは世界座標系により明示される、記録セッティング内の特定の位置にある。しかし、図３に示されている座標系ｘ、ｙ、ｚは、今はカメラ座標系である。図３は、更に、複合カメラ／映写機手段３０を描いており、これは、一方では、すなわち、正のｙ座標でカメラの対物レンズを象徴し、他方では、負のｙ座標で映写機の対物レンズを表す。共通カメラ座標系／再生座標系の原点は、５０と称される。原点５０から音源７２へ伸びるベクトルは、音源ベクトルと称される。

図３に示されている場合には、カメラ対物レンズは、α_stdhまたは参照番号３２により示されている水平方向における標準アパーチャ角度を有する。アパーチャ角度３２は、カメラの“視覚範囲”を表す、すなわち、該水平アパーチャ角度内にある全てのものがカメラにより見られ、すなわち、画像変換器３４上に結像され、該水平アパーチャ角度３２の外側に位置する、すなわち、破線３６の外側に位置するものは全て画像変換器３４上に結像されない。

画像変換器３４は、例えばカメラの３５ｍｍフィルムと解されてもよいし、また、例えば、１０ｍの幅ｓ_wを有する映画館のスクリーンと解されてもよい。投影球３８は、その半径が、図３の上左に描かれているように生じるものであるが、説明上の理由からカメラ／映写機手段３０の周りに描かれている。図３に示されている実施態様では、カメラのアパーチャ角度は、例えば、２７から２８度の人の目の標準的アパーチャ角度に等しいので、投影球３８の中心は、カメラ座標系の原点と同一である。前に説明されたように、投影球３８の半径は、図３の左上に描かれている方程式により計算される。例証的に言えば、特定の映画館におけるスクリーン(該スクリーンはｓ_wと称される）の水平最大寸法が該球に“はまり込み”、該スクリーンから正および負のｚ座標までの該球の球面性のために、その隅だけが該球から後方へ“突出する”ように、該半径は選択される。

再生位置を計算するための手段１４は、始めにスクリーン３４上の位置４０’を決定し、これに基づいて音源７２のための再生位置４０が計算される。この目的のために、図３に示されているズーム・セッティングにおいて、投影球３８の原点５０と合致する音源の直線が、点７２および該節点を通るように作られる。音源の直線は、２次元空間内に位置するだけではなくて、図３の平面図から直ぐに明らかになるわけではないとしても、３次元空間内にも位置するということが指摘されなければならない。

標準的アパーチャ角度が、該シーンについてのカメラの水平アパーチャ角度に等しい場合には、音源の位置４０は、本発明によれば、音源の直線とスクリーン３４との交点４０’を通って伸びる音源の直線により特定される。音源の直線とスクリーンとの交点４０’は、音源の位置とカメラ座標系の原点５０とを通って伸びる直線を置くことによって計算されるが、その理由は、この原点５０が、ホールカメラのモデルにおいて、節点に、すなわち、全ての光線の交点に対応することにある。
（数１）
Ｒ_s＝Ｒ_1s＋λ・Ｓ”
ここで、
Ｒ_1sは、該直線の１点の位置ベクトルであり、
λは、実パラメータであり、
Ｒ_1sは、該直線上の現在の点の位置ベクトルであり、

である。

カメラの焦点距離位置調整に依存して、該節点と画像変換器平面ｆｌとの間の距離を次の方程式を用いて計算することができる。

ここで、
ｆｌは、焦点距離-画像変換器の該節点からの距離であり(この計算では、画像変換器は普通のスクリーンに対応する)、
ｓ_wは、スクリーンの幅であり、
α_hは、カメラの水平アパーチャ角度、
である。

従って、画像変換器平面３４についての方程式を立てることができる。
（数４）
Ｎ_L・（Ｒ_L−Ｒ_1L）＝０
ここで、
Ｎ_Lは、画像変換器平面の法線ベクトルであり、
Ｒ_Lは、該平面上の現在の点の位置ベクトルであり、
Ｒ_1Lは、画像変換器平面の位置ベクトルであり、

である。

一般的に、直線と平面との交点は次のように計算され得る。

ここで、

であり、ここで、
Ｓ_Vは、音源の直線の、画像変換器平面とのおよび／または投影球との交点(４０)(深さの無いバーチャル音源の位置）であり、
ｙ_s"は、Ｓ”の座標、
である。

画像変換器に関しての音源の位置は、該直線と画像変換器平面との交点４０’に基づく。ここで、考察されている場合については、上記方程式は、交点４０’という結果をもたらす。

上記計算に関して、カメラ座標系の原点と画像変換器平面３４との間の距離ｆｌは、一方では、スクリーンの幅により、他方では、標準的アパーチャ角度により、予め定められるということも付け加えられなければならない。対応する定義の方程式が、図４の左上に描かれている。もし、水平方向３２における標準的アパーチャ角度、すなわち、α_stdhが、角度αの代わりに挿入されたならば、１：１結像の場合について、すなわち、カメラのアパーチャ角度が、人の視覚系のアパーチャ角度に等しい場合についてのサイズｆｌ_stdhが得られる。

実施態様によっては、交点４０’は、再生位置と解されてもよい。この場合、音源ベクトルの長さ、すなわち、カメラから音源までの距離は、考慮されない。

しかし、この変数も考慮に入れるためには、交点４０’に基づいて再生位置４０を計算するのが好ましい。この目的のために、ベクトルＳ_vは、ベクトルＳ”と同じ長さを持つこととなるようにスケーリングされる。このことは、Ｓ”の長さとＳ_vの長さとを乗じ、後にベクトルＳ_vのｘｙｚ座標にベクトルＳ”の長さとベクトルＳ_vの長さとの比を乗じることによって達成される。これにより、図３で４０により示されている点が得られる。

或いは、該スケーリングは、非線形にされても良くて、例えば、４０’と４０との間の割合に大きな距離を減少させるために、および／または４０’と４０との間の距離を閾値を用いて１つの最大値に制限するために、スケーリング係数が、その大きさに応じて重み付けされる。

個々のスケーリングとは無関係に、交点４０’は、位置調整されるべき音源の方向が、すなわち、原点および点４０’（結局は再生位置がこの点４０’上に指定される)を通って伸びる音源の直線が、実施態様に依存して既に指定されていることを保証する。

図３との関係で記載されたように、ここで述べられている場合は、音源７２が、カメラのアパーチャ角度３２の中に位置する場合である。視覚的表示を目的として、事態は単純であって、カメラのアパーチャ角度の中に位置する物体はスクリーン上で示され、すなわち、該物体は目に見えるが、カメラのアパーチャ角度の外側に位置する物体はスクリーン上に示されない、すなわち、目に見えない。しかし、音響表現の場合は、この様に単純ではない。

普通、現実のセッティングにおいて、目には見えなくても、耳に聞こえる音源がある。このことの単純な実例は、二人の人が対話していてカメラがその二人のうちの一人に向けられているが、他方の人には向けられていないという状況である。この場合、一人、すなわち、該セッティングにおける１つの音源は見えるけれども、他方の人、すなわち、該セッティングにおける他方の音源は見えない。

この場合が、図４で説明的に描かれている本発明の計算で扱われており、この計算では、カメラの視覚範囲３６の外側に位置する音源７３とカメラの節点とを通って伸びる音源の直線の投影球３８との交点が、座標ｘ₂、ｙ₂、ｚ₂を有する位置４１として計算される。１つの直線と１つの球との交点４１’の詳しい計算は、当業者に知られており、図４に描かれている場合については、具体的には記載されないけれども、以下に記載されているように、もし、図５のパラメータＭが０にセットされれば、図５に示されている事例によって容易に再現され得る。

音源の直線が、画像変換器との交点を有するか否か判定することに関して、この目的のための効率的なアルゴリズムがあることが指摘されなければならない。しかし、画像変換器との交点が存在すると想定して、結局は妥当な結果が得られるか否かを見抜くために、この交点を計算することは、他の１つの単純なアプローチであろう。他の１つのアプローチは、始めに交点はないと想定し、すなわち、該直線と該球との交点を計算してから、得られた結果のｙ座標が音源の直線と該球との交点が１つだけ存在することを示しているか否か確かめるか、或いは始めに音源の直線と該球およびスクリーン３４との交点４１’があると想定するアプローチであり、この場合には、音源の直線とスクリーンとの交点は、音源の直線と“スクリーンの背後に”位置する投影球との交点より優先される。

画像変換器の大きさは分かっているので、音源がスクリーン上に結像されるか否か判定することもできる。この場合、それぞれの座標を再生システムへ出力することができる。さもなければ、再生システムへ出力されるのは、それぞれスクリーンに基づいて計算された座標４０および４０’ではなくて、それぞれ該球に基づいて計算された座標４１および４１’であり、波動場合成モジュールは、計算された位置４０または４１におけるバーチャル音源をシミュレート、すなわち、モデリングするために、対応する位相および振幅がセットされた信号を複数のスピーカーへ送る。

図３に記載されているものと同じ手続きを、交点４１に基づく位置４１’の決定に関して用いることができることが指摘されなければならない。

ここで、図３および４は、スクリーンへの画像の１:１投影が達成されているという事実に関連するということが指摘されなければならない。この場合、目のアパーチャ角度はカメラのアパーチャ角度、すなわち、所定の標準的アパーチャ角度α_stdhに等しくて、角度およびサイズの比は現実のそれ、すなわち人の目により知覚される現実のそれ、と正確に調和する。このことは、この場合には、スクリーンの外側に位置する音源についても、図４に関して説明されたように、視点との関係で角度が、１:１に結像されることを意味する。

もし種々のアパーチャ角度が、すなわち、種々の焦点距離またはズーム位置調整が、カメラで使用されれば、現実の比率は歪んで表示される。スクリーン上の物体は、現実より大きく或いは小さくなる。更に、実に見える画像の詳細が変化する。視聴者の環境全体にわたって一定の音の印象を得るためには、“オフ”すなわち、可視範囲の外の角度との関係で、３次元シーンは、引き伸ばされまたは圧縮されなければならない。この目的のために、予め定められる標準的ズーム位置調整の場合について、図４を参照して既に述べられたように、スクリーンで表示されない音源についての再生角度は、１つの球への投影によって計算される。

しかし、カメラのズーム位置調整のために、音源の直線を計算するためのカメラ・アパーチャ・ポイントは、図５においてベクトルＭによって説明されている距離だけ映写機から遠ざかる。しかし、図５において(また図６でも）投影球の半径は、依然として標準的アパーチャ角度とスクリーンとによって定められる。図５における映写機アパーチャ・ポイントに関してのカメラ・アパーチャ・ポイントのおよそベクトルＭだけのシフトは、図５に示されている例では図３または４に示されている例と比べて大きくなる、すなわち、標準的アパーチャ角度ｆｌ_stdhについての値より大きくなるｆｌ値の変化と同一である。

ここで、結局はスクリーン上に投影された画像を見て人の耳とともに、現実的な全体的印象を持つことになる人の目がズーム機能を持っていないので、標準的位置調整からずれたカメラのズーム位置調整を明確に考察する必要があることを指摘しなければならない。カメラが、物体のズーム位置調整を変更することによって簡単に達成するものを、人は物体に近づきまたは物体から遠ざかることによってのみ達成することができる。人が物体に近づくと、それは大きく見えるようになる。人が物体から遠ざかると、それは小さく見えるようになる。換言すれば、カメラのズーム機能によってズームインされ続けている、話している人の口などの目に見える音源は、映画館において視聴者に“近づく”必要がある。

しかし、実際にはそうはならない。なぜならば、映画館では、視聴者は動かずに着席していて、従ってスクリーンの方へ、或いは前もって計算された音の位置の方へ近づくことはできないからである。結局、このことはまったく無意味である。なぜなら、カメラにおける画像は、いずれにしても大きくなるからである。本発明によれば、逸脱する標準的ズーム位置調整の場合には、音源は、カメラをズームインまたはズームアウトする操作とあたかも同時であるように視聴者に近づくようにまたは視聴者から遠ざかるように動かされることを保証するために注意が払われる。

音源からの距離との関係で変化するのは騒々しさだけではなくて、音色も変化する。視聴者が音源から非常に離れている場合には、その音源についての視聴者の知覚は、周囲の室内音響効果に起因する大量の反響効果により特徴付けられることになるであろうが、視聴者が音源のすぐ近くにいる場合には、この音源は、割合に乾いた感じに、すなわち、室内音響効果に実質的に影響されずに、知覚されることになろう。従って、近くに位置する音源についての室内音響効果を多少除去することは、近くに位置する音源をより大きな音量でまたはより静かに再現するために十分であるだけではなくて、現実的な３次元画像全体のために、望ましくもあるが、遠くに位置する音源については室内音響効果、すなわち、反響効果をむしろ増幅するべきである。

投影球３８は、標準的角度(１：１投影の角度)でその中心点Ｍが、カメラの節点にあるように、且つ画像変換器の中心軸が、完全に該球内に位置するように選択される。

投影球は、下記の方程式によって記述され得る。
（数１０）
（Ｒ_K−Ｍ）²−ｒ²＝０
ここで、

である。

球と直線との交点は、該直線を指すベクトルに定数λを乗じることによって決定される。ここで、記述されている場合については、該方程式をλについて簡単化することができる。該方程式は２つの結果を与える。このアプリケーションについては、選択されなければならない値は、カメラ座標系の音源とは反対の象限内に位置する値である。

ここで、

（数１５）
Ｓ_v＝（λ_1/2・Ｓ”）−Ｍ
ここで、
Ｍは、投影球の中心点ベクトルであり、
ｒは、投影球の半径であり、
ｈは、高さであり、
α_stdhは、水平標準アパーチャ角度であり、
Ｒ_Kは、該球上の現在の点の位置ベクトル、
である。

音源の直線と該球との交点を指すベクトルを、前の方程式に従ってＳ_vについて計算することができる。カメラの焦点距離位置調整が変化する場合、該球は、画像変換器平面に類似してシフトされる。しかし、再生のための新しい音源ベクトルを計算するための基準点は、常に該球の中心点である。従って、中心点ベクトルが差し引かれる。

上記計算により、ベクトルＳ_vが、正確には、図５に示されている場合には、該球との交点５１として、計算される。この結果として、カメラ３０の原点から、音源とカメラの原点とを通って伸びる音源の直線の交点５１を指すベクトルが、ベクトルＭとＳ_vとの足し算として得られる。図５に描かれ上で記述された計算において、Ｍ＝０の場合が選択されたならば、図４の場合、すなわち、音源がカメラの視覚範囲３６の外側に位置していてスクリーン外で、すなわち、位置４１で投影球３８上に結像される場合を達成するために、値ＭはＭ＝０にセットされる。

図５の音源７２の投影球３８への結像についての前の計算は、基準点、すなわち、中心点５０との関係での音源７２の角度を示す。しかし、まだ考慮されていないのは、音源ベクトルＳ”の長さと、シーンがズームインされているかズームアウトされているかにより、音源が、視聴者に近づくか或いは視聴者から遠ざかるという効果とである。

基準点との関係での音源の角度が、補助点５１であると決定されれば、点５３’を得るためにスケーリングを実行することもでき、この点から出発して、本発明の実施態様に従って、音源の距離が、見られる画像印象でモデル化されることになる。

図５の差５２の計算は、人の視覚系が、可変焦点距離を持っていないという考慮に基づいている。その結果は、スクリーン上での物体の拡大表示は人の知覚に距離の変化、接近、および視点の位置の変化を信じさせるということである。このことは、カメラのアパーチャ角度のサイズが小さくされるときに、記録される物体が拡大されることを意味する。従って、対応する音源は、視聴者に近づく。

新しい距離を計算するために、本発明に従って標準角度が、基礎として使用される。標準角度の場合には、指定された距離に位置していてサイズ１を有する物体の、スクリーン上での結像サイズが決定される。セットされたズームでの結像サイズが調べられて、結像サイズが、標準角度で得られるそれと再び一致するまで、図５の“バーチャル・カメラ”３０がシフトされる。音源は、この距離変化だけシフトされ、その結果として新しい距離が得られる。カメラの後ろに位置する音源については、これは、ズームイン時に該音源がカメラから遠ざかるという挙動につながる。

この効果は、図５の差Δｄ５２によって考慮され、これは、図５の右下の方程式により述べられているように計算される。数学的表現では、下記の方程式はこのシフトをΔｄの差によって記述する。このことは、点５３を得るために、再生ベクトルに（すなわち、図５では、基準点６５から点５３’に向けられているベクトルに)適用されなければならない。

ここで、
Δｄは、バーチャル音源についての距離の変化であり、
ｄは、現実の音源の距離（Ｓ”の長さ)であり、
ｆｌ_stdhは、標準的アパーチャ角度での焦点距離であり、
ｆｌは、カメラの現在のアパーチャ角度での焦点距離、
である。

図６は、図５に類似している場合を示しているが、１シーンでのズームインにも関わらずに破線３６で画定されたカメラの視野内に位置する音源６０についての図である。図３との類似により、Ｓ”およびカメラのアパーチャ角度により画定される音源の直線のスクリーン３４との交点６３が、初めに角度結像を達成するために計算される。該角度結像は、スクリーン３４上の点６３を与える。

一実施態様では、次に、図３に関して既に記述されたように、種々のベクトルの長さに基づくスケーリングが行われる。このスケーリングにより、点６４’が得られる。音源の最終の再生位置６４を得るために、この点６４’はｘ軸の方向に差Δｄ６１だけシフトされる。

ここで、Δｄ５２または６１だけのシフトは、図５および６において択一的に実行され得ることが指摘されなければならない。図６を参照すると、シフトΔｄ６１は、カメラ座標系における現実の音源、すなわち、点６０、に適用されても良い。その後、得られたベクトルＳ”の新しい長さが計算される。この長さに基づいて、ベクトルＳ_vがスケーリングされ(ベクトルＳ_vには、例えば、Ｓ”と正確に同じ長さが与えられる)、再生位置について得られるのは、図６で点６４から逸脱した点である。実施態様に依存して、図５と関連して示されているΔｄだけのシフトは、“視野”外に位置する音源について、すなわち、図５の場合について、実行されても良く、そして図６の場合については、すなわち、視野内に位置する音源の場合については、上記の、逸脱する計算および／またはＳ”へのシフトの適用を用いることができる。再生面３４と関連して差Δｄだけのシフトを実行することによって、標準アパーチャ角度から逸脱する角度が考慮されるならば、図５および６の両方の場合について、この手続きを交換することもできる。

次に、図２と関連して、異なる場合の区別についての概観が与えられるが、該区別は、初めにブロック２０においてカメラの実際のアパーチャ角度、すなわち、α_hが標準的アパーチャ角度α_stdhと等しいか否かという区別が行われるという点で複合場合区別をもたらす。この問いに対する答えが肯定であれば、図３および４が関連する。

図３および４のどちらが関連するか区別するために、音源の直線と再生面との交点が存在するか否か更に判定が行われる(２１ａ）。この問いに対する答えが肯定であれば、図３と関連して述べられたように、この交点４０’に直接基づいて再生位置４０を計算して出力する(２２)ことができる。このことは、次のことを意味する、すなわち、もしカメラのアパーチャ角度が、所定アパーチャ角度に等しければ、カメラ座標系における音源の記録位置７２を通り、且つカメラ３０の共通出発点、すなわち、投影球３８の中心点を通って伸びる直線と再生面３４との交点４０’に基づいて、再生位置(４０または４０’)が決定されて出力されることを意味する。

しかし、もしブロック２１ａの問いに対する答えが否定であれば、カメラ座標系における音源の記録位置７３とカメラの節点とにより決定される音源の直線と投影球(３８)との交点４１’に基づいて、再生位置が計算されて出力される(ブロック２３および２４)。全ての場合に、特に図３の左上に位置する方程式から分かるように、投影球３８の半径ｒは、Ｓ_wで示されている画像変換器３４の幅と所定アパーチャ角度α_stdhとに依存することが指摘されなければならない。

しかし、もしブロック２０において実際のアパーチャ角度が、標準的アパーチャ角度に等しくないと判定されたならば、すなわち、ブロック２０の問いに対する答えが“ｎｏ（否）”であれば、ブロック２１ｂにおいて音源の直線が、再生面３４との交点を有するか否かが再び判定される。

もしこの問いに対する答えが否定であれば、図５が関連する。一方、この問いに対する答えが肯定であれば、図６が関連する。

本発明によれば、ブロック２１ｂの問いに対する答えが肯定である場合には(図６)、カメラ座標系における音源６０の記録位置と、共通出発点から距離Ｍだけ離れている定義点６５とを通って伸びる直線と再生面３４との交点６３が本発明に従って計算される。もし必要であれば、この値は、再生位置６４を計算するために、スケーリングされ(点６４’)、その後に差６１だけシフトされ、距離Ｍと差６１とは両方ともにカメラのアパーチャ角度α_hに依存する。従って、特に、距離Ｍは、最初に計算される(ブロック２５)。その後、定義点６５を通って伸びる音源の直線と画像変換器３４との交点６３が計算され、この交点は図６で６３により指示されている(ブロック２６)。その後、点６４’を得るために、この交点６３に基づいてスケーリングが実行され、該点６４’は、このとき図６で６１により指示されている差Δｄだけ負のｙ方向に(Δｄの符号は負であるから)シフトされる(ブロック２７)。この点６４は、映画館などの再生セッティングで音源の再生位置としてブロック２８において出力される。

一方、ブロック２１ｂの問いに対する答えが否定であれば、図５が関連することになる。始めに、距離Ｍが、音源７２と定義点６５とを通って伸びる音源の直線を計算するために再び計算され、定義点６５は、投影球の中心点５０から正のｙ方向に距離Ｍだけシフトされる。ブロック２９で示されているように、音源の直線と投影球３８との交点５１は（この点は、図５で５１により指示されている）後に計算される。この交点５１は、点５３’を得るためにブロック２７との類似によりスケーリングされ、該点５３’は、その後、結局は音源７２の位置５３を得て出力するために(ブロック２８)、図５で５２により指示されている差Δｄだけ正のｙ方向にシフトされる(ブロック２７)。

距離Ｍを計算し、交点を計算し、スケーリングをし、交点をΔｄだけシフトする操作のシーケンスは、図２に描かれているけれども、通常は単一の方程式を用いて実行され得るということが指摘されなければならない。例えば、ＤＳＰ内でのプロセッサに基づく実施では、この方程式は、当然に、図２に示されているように順次に実行され得る。しかし、該方程式は、中間結果をＤＳＰに中間蓄積することを必要とせずに“一気に”計算されても良い。

図５および６の距離Ｍは、距離Ｍがゼロでないために、図３および４においては、カメラ座標系の原点と一致していたカメラのアパーチャ・ポイントが投影球３８の中心点５０から離れるという事実につながり、カメラのアパーチャ・ポイントは、ゼロではない距離Ｍだけ投影球３８の中心点５０から離れる。この点は、図５および６において、基準点６５として描かれており、この基準点は、この場合には、それぞれ音源７２および６０とともに対応する音源の直線を定め、これとそれぞれスクリーン３４および投影球３８との交点は、標準的ズーム位置調整から逸脱した特定のズーム位置調整について、スケーリングとそれぞれ差５２および６１だけのシフトとを考慮して再生位置４０および６４をそれぞれ再現する。

音源の線は、図３および４において共通出発点を通る、すなわち、標準的なアパーチャの角度の位置調整では、音源の直線は異なるズーム位置調整で基準点を通る、すなわち、図５および６を考察したとき、基準点は、共通出発点から、拡大されたズーム位置調整については正のｙ方向に、広角位置調整については負のｙ方向に、距離Ｍだけシフトされる。

映画館セッティングにおける音源の再生位置を得るために、図２と関連して要約された上記の計算は、それぞれの映画館について個別に計算されても良い。しかし、本発明によれば、画像構成を標準の例えば２ｍのスクリーン幅に関連付けるのが好ましい。このことの結果として、再生面が２ｍの幅を有する再生室についての音源の再生位置が得られる。例えばｘ、ｙおよびｚで得られた位置座標を、再生面の幅が２ｍとは違う異なる再生シナリオに移すために、簡単にスケーリングすることができる。もし再生面の幅が、例えば、標準的再生面より小さければ、得られた再生位置を標準幅の実際の幅に対する比によって容易にスケーリングすることができる。実際の幅が、例えば、わずか１ｍである場合、全ての座標値を半分にしなければならない。しかし、実際の再生幅が、例えば、１０ｍである場合には、全ての座標に係数５を乗じなければならない。

このアプローチには、再生位置を前もって計算することができ、実際の映画館では、図２に描かれている計算全部を実行せずにスケーリングだけを実行すればよいという利点がある。

このことには、音声ミキサーが、例えば、前記映画館で再生位置を完全に計算しなくても、実際の映画館環境に合わせてスケーリングを迅速に、且つ確実に行えるという利点がある。

本発明のコンセプトは、音源が標準的スクリーン上にあるか否かを区別することに基づいている。もし音源が標準的スクリーン上に位置していれば、図３および６に基づいて、すなわち、架空アレイ光学を使用し、いわゆるリーキング・カメラ・モデル（ｌｅａｋｉｎｇ−ｃａｍｅｒａ ｍｏｄｅｌ)を計算することによって、計算が行われる。これは、スポット・ビームとスクリーンとの交点を決定する。

もし音源が、標準スクリーン上に位置していなければ、直線、すなわち、音源の直線と投影球との交点の決定が行われる。従って、音源位置と角度とが、この交点から得られる。投影球は、その中心点に関して、図５および６で見られるように、カメラのズーム位置調整に依存してシフトされる。特に、該球の中心点は、標準的ズーム位置調整についてはカメラの節点と同一である。この場合、角度は、実際のカメラ記録環境にあったときのように正確に再現される。この場合は、図３および４に描かれている。

遠い位置（ｔｅｌｅ ｐｏｓｉｔｉｏｎ）の場合、すなわち、ズームインの場合、見る人と音源との間の距離は、例えば、図６の６１に示されているように減少するが、広角位置調整の場合には、すなわち、人の目のアパーチャ角度より大きなアパーチャ角度の場合には、見る人と音源との間の距離は増大する。従って、図５および６の場合、音源は、その位置から投影球の中心点に関してΔｄだけスクリーンの後ろへシフトされる。音源の直線により決定される角度とともに、この距離は、音源が再生セッティングにおいてバーチャル音源として位置決めされるという結果をもたらす。その結果は、視聴者が、視覚的３次元の印象を得るだけではなくて、視覚的印象と調和する音声実現された３次元の印象も得るということである。

次に、図８と関連して、現実の映画館セッティングを説明するが、ここで、再び説明上の理由から、また図３，４，５および６との比較のために、投影球３８が描かれている。映画館には、映写機８０と観客領域８２とがある。波動場合成の目的上、スピーカー・アレイ８３，８４，８５も映画館の中に描かれており、それは、図８に示されている例では、映画館の３つの側に広がっている。例解を改善するために、映写機の背後にもスピーカー・アレイを取り付けるのが好ましい。映写機８０は、更に波動場合成モジュール８７も制御する全体制御装置８６によって制御される。波動場合成モジュール８７は、バーチャル音源の位置を位置判定手段８８から得るが、これも制御装置８６によって制御される。バーチャル音源は、図８で８９により指示されている。図８から、バーチャル音源が、スクリーンの前、スクリーンの後ろにあっても良いし、映画館の外でも良いし、また特に観客領域８２の前或いは後ろに位置しても良いということが分かろう。場所により、波動場合成モジュール８７は、アレイ８３、８４，８５の個々のスピーカーのために、対応する振幅調整および位相調整された信号を作る。個々のスピーカーから放射された音波の重ね合わせは、全てのスピーカーの全ての音波の重ね合わせを自分の耳で受け取る観客領域８２にいる観客は、音が複数の位置８９のうちの１つに位置するバーチャル音源から来るという印象を得るという結果をもたらす。

状況に依存して、再生位置を決定するための本発明の方法は、ハードウェアで或いはソフトウェアで実施され得る。実施は、ディジタル記憶媒体で、特に、電子的に読み出され得て、且つ該方法が実行されるようにプログラムで制御できるコンピュータ・システムと相互作用し得る制御信号を有するディスクまたはＣＤで達成され得る。一般に、本発明は、コンピュータプログラム製品が、コンピュータ上で動作するときに、本発明の方法を実行するための、機械読み出し可能なキャリアに蓄積されたプログラムコードを有するコンピュータプログラム製品にも存在する。換言すれば、本発明は、該コンピュータプログラムが、コンピュータ上で動作するときに、該方法を実行するためのプログラムコードを有するコンピュータプログラムとしても実現され得る。

図１は、音源の再生位置を決定するための本発明装置のブロック図である。 図２は、図１の再生位置を計算するための手段の、より詳しい表示である。 図３は、カメラが標準的ズーム位置にあって音源がカメラの視野内にあるときの再生位置の計算を説明するための図式的表示である。 図４は、図３に似ている表示であるが、この表示ではカメラの視野の外に音源が更に描かれている。 図５は、カメラのズーム位置調整が標準的位置調整から逸れていて音源がカメラの視野外にある場合の再生位置の計算を説明するための図式的表示である。 図６は、図５に似ている表示であるが、この表示ではカメラの視野内に位置する音源が更に描かれている。 図７は、世界座標系とカメラ座標系との関係の図式的表示である。 図８は、再生室の図式的表示であって、該再生室は、映画映写機と、波動場合成を用いて該再生室内でバーチャル音源を再現するためのスピーカーのアレイとを有する。

Claims (22)

1. 所定の幅（Ｓ_w）を有する再生面(３４)と投影基準点を有する投影源(８０)とに関して複数の個々の画像から映画シーンの視聴覚再生中に音源の再生位置(４０，４１，５３，６４)を決定するための装置であって、該装置は：
   該音源の記録位置(７２)と記録中のカメラ位置(７４)と、記録中のカメラのアパーチャ角度(α_h)とを提供するための手段(１０)と;
   カメラ座標系における該音源の記録位置を得るために、該音源の該記録位置をカメラ・アパーチャと関連してその原点が定められるカメラ座標系に変換するための手段(１２)と;
   該投影基準点と関連して該音源の再生位置を計算するための手段(１４)とを含んでおり、該計算手段は、該投影基準点と該カメラ・アパーチャとを共通出発点(５０)として用いるように構成され、
   該計算手段は、該カメラのアパーチャ角度が所定アパーチャ角度(α_stdh）に等しい場合には、
   該カメラ座標系における該音源(７２)の該記録位置を通り、且つ該共通出発点(５０)を通って伸びる直線と該再生面(３４)との交点(４０’)に基づいて該再生位置(４０)を計算し、或いは、その様な交点が存在しなければ、該直線と投影球(３８)との交点(４１’)に基づいて該再生位置(４１)を計算し、その中心点は、該共通出発点(５０)であり、その半径(ｒ)は、該再生面(３４)の幅と該所定アパーチャ角度(α_stdh)とに依存し、或いは、
   該計算手段は、該カメラのアパーチャ角度(α_h)が該所定アパーチャ角度(α_stdh)から逸脱している場合には、
   該記録位置(６０)、該カメラ座標系における該音源、および該共通出発点(５０)から距離(Ｍ)だけ離れている基準点(６５)を通って伸びる直線と該再生面(３４)との交点(６３)に基づいて、且つ該再生面(３４)に関して差(６１)だけのシフトに基づいて、該再生位置(６４)を計算し、該距離(Ｍ）と該差（６１）とは該カメラの該アパーチャ角度(α_h)に依存し、或いは、
   もし、その様な交点が存在しなければ、該計算手段は、該直線と、その中心点が該共通出発点に等しい投影球(３８)との交点(５１)に基づき、且つ該差(５２)だけのシフトに基づいて該再生位置(５３)を計算することを特徴とする、装置。
2. 該投影点は、映写機のアパーチャに、または、出力された光線が交差するビーマーの同等点に対応することを特徴とする、請求項１に記載の装置。
3. 該カメラ・アパーチャは、該カメラをモデリングし得るホール・カメラのホールに対応する点であることを特徴とする、請求項１または２に記載の装置。
4. 該所定アパーチャ角度は、該再生面(３４)の視聴者の平均アパーチャ角度に基づく標準位置調整におけるアパーチャ角度であることを特徴とする、上記請求項のうちのいずれかに記載の装置。
5. 該所定アパーチャ角度は、人の目のアパーチャ角度であって約２７度であることを特徴とする、上記請求項のうちのいずれかに記載の装置。
6. 該再生面（３４）は、映写機またはビーマーから所定距離だけ離れている映画スクリーンであることを特徴とする、上記請求項のうちのいずれかに記載の装置。
7. 記録中の該音源の該記録位置および該カメラ位置に関する情報が、各々の画像と関連付けられ、該情報は、現実の記録セットの１つの点またはバーチャル・スタジオ内の１つの点に原点を有する世界座標系に関連することを特徴とする、上記請求項のうちのいずれかに記載の装置。
8. 該変換手段(１２)は、該カメラ位置に加えて、該カメラ座標系の軸の周りの１つ以上の回転を考慮するように構成されていることを特徴とする、上記請求項のうちのいずれかに記載の装置。
9. 該投影球の半径(ｒ)は、次のように明示され:
   ｒ＝ｓ_w／（２・ｓｉｎ(α_stdh／２））、
   ここで、
   ｒは、該投影球の半径であり、
   ｓ_wは、該再生面の幅であり、
   α_stdhは、該所定アパーチャ角度であり、
   ｓｉｎは、正弦関数である、
   ことを特徴とする、請求項８に記載の装置。
10. 該距離（Ｍ）は、該再生面(３４)に垂直に伸び、次の方程式により明示され：
    Ｍ＝−（ｆｌ−ｒ＋ｈ）、
    ここで、
    Ｍは、該距離であり、
    ｆｌは、該基準点(６５)と該再生面(３４)との間の距離であり、
    ｈは、該基準点(６５)に関して該再生スクリーン(３４)の後ろに配置された該投影球の領域における該投影球(３８)と該再生面(３４)との間に位置する、
    ことを特徴とする、上記請求項のうちのいずれかに記載の装置。
11. 該距離(ｆｌ)は次の方程式により与えられ：
    ｆｌ＝ｓ_w／（２・ｔａｎ(α_h／２）、
    ここで、
    ｓ_wは、該再生面の幅であり、
    α_hは、該カメラのアパーチャ角度であり、
    ｔａｎは、正接関数を表す、
    ことを特徴とする、請求項１０に記載の装置。
12. 該距離（Ｍ）だけの逸脱と同時に該差(Δｄ)だけのシフトを行うことができることを特徴とする、請求項１１に記載の装置。
13. 該標準アパーチャ角度からの該カメラのアパーチャ角度の逸脱の符号に応じて該差を決定しえることを特徴とする、請求項１２に記載の装置。
14. 該カメラの現在のアパーチャ角度が、該所定アパーチャ角度より小さい場合には該差(Δｄ）は正であり、現在のアパーチャ角度(α_h)が、該所定アパーチャ角度より大きい場合には該差(Δｄ)は負であり、該差(Δｄ)が正であれば視聴者(８２)からの該音源(８９)の距離は減少し、該差(Δｄ)が負ならば該音源(８９)の該視聴者(８２)からの距離は増大することを特徴とする、上記請求項のうちのいずれかに記載の装置。
15. 該差(Δｄ）は、次の方程式により明示され：
    Δｄ＝ｄ・（１−ｆｌ_std／ｆｌ）、
    ここで、
    Δｄは、該差であり、
    ｄは、該カメラ座標系における該音源(７２)と該基準点(６５)との間の距離であり、
    ｆｌ_stdは、該共通出発点(５０)と該再生面(３４)との間の距離であり、
    ｆｌは、該基準点(５０)と該再生面(３４)との間の距離である、
    ことを特徴とする、請求項１から１４までのうちのいずれかに記載の装置。
16. 音源の再生位置を該再生面の標準幅で計算するように構成されているとともに、該再生面の標準幅と再生面の現実の幅との比に依存して現実の環境のもとでの再生のために該再生位置をスケーリングするように構成されていることを特徴とする、上記請求項のうちのいずれかに記載の装置。
17. 該計算手段(１４)は、該再生位置(４０，４１)または該シフト(５２，６１)の出発点(５３’、６４’)を得るために、該音源位置を指すベクトル(Ｓ”）の長さを用いて、交点(４０’、４１’、５１，６３)を指すベクトルをスケーリングするように構成されていることを特徴とする、上記請求項のうちのいずれかに記載の装置。
18. 該計算手段(１４)は、該ベクトル自体の長さで割られた該音源位置を指すベクトル（Ｓ”）の長さに等しいスケーリング・ファクターで該ベクトルをスケーリングするように構成されていることを特徴とする、請求項１７に記載の装置。
19. 該計算手段(１４)は、該交点(４０’、４１’、５１，６３)および該再生位置(４０，４１)、および／または該シフト(５２，６１)の該出発点(５３’、６４’)の間の距離を、該音源位置を指す該ベクトル（Ｓ”）の長さと関連して非線形にスケーリングするように、および／または該距離を１つの最大距離に限定するように構成されていることを特徴とする、請求項１７に記載の装置。
20. 所定の幅（Ｓ_w）を有する再生面(３４)と投影基準点を有する投影源(８０)とに関して複数の個々の画像から映画シーンの視聴覚再生中に音源の再生位置(４０，４１，５３，６４)を決定するための方法であって、該方法は：
    該音源の記録位置(７２)と記録中のカメラ位置(７４)と、記録中のカメラのアパーチャ角度(α_h)とを提供するステップ（１０）と;
    カメラ座標系における該音源の記録位置を得るために、該音源の該記録位置をカメラ・アパーチャと関連してその原点が定められるカメラ座標系に変換するステップ（１２)と;
    該投影基準点と関連して該音源の該再生位置を計算するための手段(１４)とを含んでおり、該計算手段は、該投影基準点と該カメラ・アパーチャとを共通出発点(５０)として用いるように構成され、
    該計算手段は、該カメラのアパーチャ角度が所定アパーチャ角度(α_stdh）に等しい場合には、
    該カメラ座標系における該音源(７２)の該記録位置を通り、且つ該共通出発点(５０)を通って伸びる直線と該再生面(３４)との交点(４０’)に基づいて該再生位置(４０)を計算し、
    或いは、その様な交点が存在しなければ、該直線と投影球(３８)との交点(４１’)に基づいて該再生位置(４１)を計算し、その中心点は該共通出発点(５０)であり、その半径(ｒ)は該再生面(３４)の幅と該所定アパーチャ角度(α_stdh)とに依存し、或いは、
    該計算手段は、該カメラのアパーチャ角度(α_h)が該所定アパーチャ角度(α_stdh)から逸脱している場合には、
    該記録位置(６０)、該カメラ座標系における該音源、及び該共通出発点(５０)から距離(Ｍ)だけ離れている基準点(６５)を通って伸びる直線と該再生面(３４)との交点(６３)に基づいて、且つ該再生面(３４)に関して差(６１)だけのシフトに基づいて、該再生位置(６４)を計算し、該距離(Ｍ）と該差（６１）とは該カメラの該アパーチャ角度(α_h)に依存し、或いは、
    もしその様な交点が存在しなければ、該計算手段は、該直線と、その中心点が該共通出発点に等しい投影球(３８)との交点(５１)に基づき、且つ該差(５２)だけのシフトに基づいて該再生位置(５３)を計算することを特徴とする、方法。
21. コンピュータ上で動作するときに請求項２０の方法を実行するためのプログラムコードを有する、コンピュータ・プログラム。
22. 複数の個々の画像を有する映画シーンを再生面上で再生するための装置であって：
    請求項１から１９までのうちのいずれかに記載されている音源の再生位置を提供するための手段(８８)と;
    観客領域(８２)に位置している観客のために音源のバーチャル再生位置（８９)をシミュレートするために１つ以上のスピーカー・アレイ(８３，８４，８５)のための制御信号を作る波動場合成手段(８７)と；
    を含むことを特徴とする、装置。

Images