JP2021090208A - プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム - Google Patents

Abstract

【課題】プレノプティック・カメラによりキャプチャされた画像をリフォーカシングするための方法及びシステムを提供する。【解決手段】オーディオ・キャプチャ・デバイスとともに処理を行うプレノプティック・カメラによる自動リフォーカシング機能を実行する方法は、画像に関連する支配的なオーディオ・ソースの方向を決定するステップと、支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号をフィルタで除くことにより、オーディオ・ズームを引き起こすステップと、引き起こされたオーディオ・ズームに基づいて画像の自動的なリフォーカシングを実行するステップと、を含む。【選択図】図１

Description

本開示は、一般にディジタル記録及び写真技術に関連し、特に、焦点面及び深度のオーディオに基づく選択を利用するプレノプティック・カメラによるディジタル記録及び写真技術に関連する。

写真技術は光又は他の電磁放射を記録することにより耐久性のある画像を作成する。画像は、画像センサを利用して電子的に又は感光材料を利用して化学的にキャプチャされる。典型的には、対象物から反射又は放出された光を、露出時間中にカメラの中で、感光面上の実像へ焦点を合わせるために、レンズが使用される。電子画像センサにより、電荷が各ピクセルで生成され、そして電荷は処理され、更なる利用のためにディジタル画像ファイルに保存される。古典的な写真技術では、焦点表面は近似的に平面又は焦点面(approximately a plane or focal plane)である。焦点表面はカメラの光軸に垂直であり、その面に沿って被写界深度は一定である。キャプチャされる画像は、被写界深度の焦点表面に対するこれらの規則に起因する範囲内に制限されるので、キャプチャされる画像は基本的なコンフィギュレーションである。これに対して、ライト・フィールド又はプレノプティック・カメラはより複雑なコンフィギュレーションを示す。

プレノプティック・カメラは、メイン・レンズの画像面内に配置され且つフォト・センサ・アレイの前方に配置されるマイクロ・レンズ・アレイを利用し、そのフォトセンサのアレイに1つのマイクロ画像(サブ画像とも呼ばれる)が投影される。従って、各マイクロ画像が、キャプチャしたシーンの或る領域を描き、そのマイクロ画像に関連する各ピクセルは、メイン・レンズの射出瞳における或るサブ・アパーチャ位置の観点から、その或る領域を見せる。そして、シーンのロー画像(The raw images)は、フォト・センサ・アレイの個々の部分から取得されるマイクロ画像全体の合計の結果として取得される。このロー画像は、ライト・フィールドの角度情報を含む。理論上及び計算上、プレノプティック・カメラは、古典的なカメラを使う場合には利用できない複雑なコンフィギュレーションを利用して、優れた画像キャプチャを提案する可能性を提示する。しかしながら、不都合なことに、プレノプティック・カメラを利用して実現されることが可能な実現性を考慮すると、従来技術を制限する多くの実用上の欠点が存在する。これらの制限は、ビデオ・コンテンツのキャプチャリングを試みる場合にいっそう深刻化している。

プレノプティック・カメラによりキャプチャされた画像をリフォーカシングするための方法及びシステムが提供される。一実施形態において、プレノプティック・カメラはオーディオ・キャプチャ・デバイスとともに処理を行う。本方法は、画像に関連する支配的なオーディオ・ソース(a dominant audio source)の方向を決定するステップ；支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号をフィルタで除くことにより、オーディオ・ズーム(an audio zoom)を引き起こすステップ；及び 引き起こされたオーディオ・ズームに基づいて画像の自動的なリフォーカシングを実行するステップを有する。

別の実施形態では、オーディオに基づくリフォーカシング画像システムが提供され、本システムは、ビデオ画像をキャプチャするプレノプティック・ビデオ・カメラと、キャプチャされた画像に関連するオーディオをキャプチャするオーディオ・キャプチャ手段と、支配的なオーディオ・ソースを決定する手段と、支配的なオーディオ・ソースの方向を決定するためにオーディオ信号分析を実行する手段と、支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別する手段と、支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号をフィルタで選択的に除くために、関心のあるオーディオ・シーンについてビームフォーミングを行うことにより、オーディオ・ズームを引き起こす手段と、引き起こされたオーディオ・ズームに基づいて画像の自動的なリフォーカスをもたらす手段とを有する。

追加的な特徴及び利点が本発明の技術により実現される。本発明の他の実施形態及び側面は、本願で詳細に記述されており、請求項に係る発明の一部として考えられる。利点及び特徴とともに本発明の更なる理解のために、詳細な説明及び図面が参照される。

本発明は、添付図面を参照しながら、非限定的に、以下の実施形態及び実行例を用いて更に理解及び説明される。

一実施形態による自動リフォーカシング機能を実行するためのステップを示すフローチャートを示す図。

図1の実施形態による処理ステップを実行する際に使用されるシステムのブロック図。 図1の実施形態による処理ステップを実行する際に使用されるシステムのブロック図。

一実施形態による関心のあるエリアの支配的なオーディオ方向及び推定された幅を示すブロック図。

一実施形態による関心のあるビデオ・コーン(a video cone of interest)を図式的に示す図。

分散したマイクロフォン・アレイ構成を有する別のシステムの実施形態を示す図。 分散したマイクロフォン・アレイ構成を有する別のシステムの実施形態を示す図。

図1の実施形態のうちのビームフォーミング・ステップのブロック図による説明図。

図2ないし図4に関連して説明されるようなシステムに従って実行されるもののようなビームフォーミング機能を表現する図。

図5及び図6に関連して説明されるシステムに従って実行されるもののようなビームフォーミング機能を表現する図。

別の実施形態による分散されたマイクロフォン・アレイを有するシステムのブロック図。

図1-10において、表現されているブロックは純粋に機能的なエンティティであり、物理的に別個のエンティティに必ずしも対応していない。即ち、ブロックはソフトウェアやハードウェアの形式で展開されることが可能であり、或いは、1つ以上のプロセッサを有する1つ又は幾つもの集積回路で実現されることが可能である。

同一又は類似するパーツを指すために、可能であれば、同じ参照番号が各図を通じて使用される。

本発明の図面及び説明は、本発明の明確な理解に関連する要素を示すように簡略化されている一方、簡明化のため、一般的なディジタル・マルチメディア・コンテンツ配信方法及びシステムに見受けられる多くの他の要素を除外していることが、理解されるべきである。しかしながら、そのような要素は当該技術分野で良く知られているので、そのような要素の詳細な議論は本願では与えられていない。ここでの開示は、そのような全ての変形及び修正に向けられている。

図1は、1つ以上のプレノプティック・カメラを利用して画像の自動リフォーカシングを行う方法を示す一実施形態のフローチャート表現である。一実施形態において、画像の適切な焦点面及び被写界深度を算出するために、オーディオ・コンポーネントが利用されることが可能である。そのような技術の1つが図1の方法を利用して議論される。図1の実施形態のステップは、理解を促すために、図2ないし10において与えられる実施形態のシステム構成に関連して説明される。

古典的な写真技術では、焦点表面はカメラの光軸に垂直な面である。プレノプティック・カメラを利用する場合において、静止画を撮影する場合、ユーザの相互作用はベーシック・レベルに留まるので、同様なリフォーカス・プロパティが利用されることが可能である。これは、プレノプティック・カメラを利用してビデオ・キャプチャ及びライブ画像ストリーミングを行う場合ではなく、なぜならその場合より複雑な演算が必要とされるからである。プレノプティック・カメラのレンズのアレイでキャプチャされるシーン及び画像は、様々な角度からキャプチャされ、且つ、シーン中の様々な画像の鮮明さの程度を選択するための様々なオプションが存在するので、様々なシーン及び画像のプロパティをフォーカシングすることは、困難になり得る。自動的なリフォーカシング技術を利用することは望まれるであろうが、焦点面が光軸に垂直のままそれを行うことは困難である。その理由は、多くの場合、焦点面は光軸に垂直のまま残ることはできないからであり、特に、常に変化するビデオ又はライブ・ストリーム・ブロードキャストの最中にはそうである。他の例も容易に想像できる。例えば、「オール・イン・フォーカス(all-in-focus)」モードが利用される場合を考察する。この場合、キャプチャされるシーンは、距離によらず全て意図的に鮮明のまま残らなければならない画像を生成する。これは、無限の被写界深度、及び、光軸に垂直でない任意の焦点面を意味し得る。別の例では、「インタラクティブ・フォーカス(interactive focus)」フィールドが使用され、これは関心のある対象をユーザが指示及び選択することを許容する。この場合、焦点の面は、各画像に対する正しい距離に、演算により、配置される必要がある。この場合、焦点は、鮮明な焦点に維持されなければならない対象に限り、光軸に垂直である。同様な場合において、近接した対象のみが、鮮明な画像を生成するために選択されても良い。そのような場合、被写界深度は小さな一定数として維持され、或る距離を隔てた全てのシーン要素は、近接したものとは別様に算出される。従って、対象が焦点から外れると、それらは意図的に不鮮明に見える。更に別の例では、焦点面が傾斜させられるようにカメラが配置され、従って、焦点面は光軸に垂直ではない。

図1の実施形態に戻り、ここで使用される技術は、一実施形態では、画像(以後、静止画又はビデオ・キャプチャとして定義される)が最適に投影されることが可能であるように、適用されることが可能である。画像/ビデオは、ブロードキャスト・ストリーム、静止画像、記録された画像として提供されることが可能であり、或いは、当業者に認められるように、ユーザ選択入力デバイスを介してユーザにより選択されることが可能である。何れにせよ、それに応じて、そのエリアの深度又は対象深度を識別するために、ライト・フィールド・セグメンテーションが実行される。そして、光軸に垂直な焦点面が規定され、それにより、関心のあるエリア又は対象は、意図されるように鮮明な焦点のまま残る。この技術は、フレーム間の時間的な一貫性を保証するために、(オブジェクト・トラッキングを行う又は行わない)ビデオ・キャプチャに拡張されることが可能である。図1の実施形態に示されるような個々のステップを議論する前に、そのようなステップを具現化するために使用されることが可能なシステムを考察することは有益であろう。図2A及び2Bは、本願の原理の一実施形態に関するシステムのブロック図を示す。

図2A及び2Bのシステムは、図1の実施形態により与えられる技術を適用するために利用されることが可能である。図2A及び2Bにおいて、自動リフォーカシング・システム200は、1つ以上のプレノプティック・カメラ及び関連する技術を利用しているように示されている。一実施形態では、ディスプレイ210が示されている。ディスプレイ210は、コンピュータ、テレビジョン・セット、投影スクリーン、モバイル・デバイス(例えば、スマート・フォン等)及びその他の当業者により認められるものに関連して使用されることが可能であるので、任意のサイズ又は形状のものであるとすることが可能である。図に示される例では、理解を促すために、投影スクリーン又はテレビジョン・ディスプレイのような大きなディスプレイが使用されているが、これは単なる一例に過ぎない。

図2Aは、一実施形態では図2Bのコンポーネントを全て組み込むことが可能である。代替的に、図2Bは、以後説明されるように、様々な独立したコンポーネントにより構成されることが可能である。理解を促すために、図2Bの実施形態が
説明されるが、その理由は、個々のコンポーネントが視覚的に識別可能であり、従って参照するのに容易だからである。

図2Bはディスプレイ210を有するシステム200を示す。一実施形態において、システム200は、プレノプティック又はカメラ・アレイ技術に基づくライト・フィールド・ビデオ・キャプチャ・デバイス230(単に、プレノプティック・カメラ230と言及されても良い)を有する。オーディオ・キャプチャ・デバイス220は、カメラ230と処理中に通信する。オーディオ・キャプチャ・デバイス220は、1つ又は複数の分散されたマイクロフォン・アレイにより構成される。一実施形態において、オーディオ・システム220(即ち、マイクロフォン)は、ビデオ・キャプチャ・デバイス又はプレノプティック・カメラ230に関連して概ね較正されている。図2A及び2Bに示される例では、参照場号290により指し示される1つ又は複数のプロセッサが提供されている。プロセッサ290は、破線で示されるように、ディスプレイ210、プレノプティック・カメラ230及びオーディオ・キャプチャ・デバイス220と処理中に通信する。1つより多いプロセッサが存在する場合、複数のプロセッサも互いに処理中に通信する。プロセッサは、ディスプレイ210、カメラ230、オーディオ・キャプチャ・デバイス220内の様々なエリアに組み込まれても良いし、代替的に図2A及び2Bの例に示されるように独立していても良い。従って、1つ又は複数のプロセッサがカメラ230及び/又はオーディオ・キャプチャ・デバイス220に組み込まれる一実施形態では、カメラ230及びオーディオ・キャプチャ・デバイス220は、互いにディジタル・データを送受信し、互いに処理中に通信することが可能である。更に、プロセッサは、他のコンピュータ又はコンピューティング環境及びネットワーク(図示せず)と通信することが可能である。

ここで図1に戻り、参照番号100で示されるステップでは、表示している画像に関連する支配的なオーディオ・ソース(又は音源)が決定される。一実施形態において、ライブの又は記録済みの番組及び/又は放送の中で、次々と速やかに続く画像又はビデオの形式で画像が素早く現れる場合、支配的なオーディオ・ソースは継続的な基準で決定されることが可能である。一実施形態では、当業者に認められるように、例えばオーディオ・ソース位置確認アルゴリズムによって、支配的なオーディオの方向を引き出すために、オーディオ処理技術が使用されることが可能である。参照番号110により示されるように、音声についての関心のある方向が決定されるように、支配的なオーディオ・ソースの方向が選択される。別の実施形態では、ステップ105及び110が1つのステップで組み合わせられても良く、それにより、オーディオ・ソース位置確認アルゴリズムは、リフォーカスされるターゲット・ソースとして後に考慮される支配的なオーディオ・ソースの方向を出力する。

図2A及び2Bの実施形態により議論される例に図1のステップ105ないし110を適用すると、図3に示されるようなシステムをもたらす結果となる。

図3は、支配的なオーディオ・ソースに関連するオーディオ方向を引き出すために(即ち、図1のステップ110)、オーディオ処理技術が使用される実施形態を示す。図3の実施形態では、少なくとも1つの支配的なオーディオ方向に関連する関心のある領域340が設定されている。参照番号302により示されるように、支配的なオーディオ方向が決定され、305で示されるように、関心のある領域の幅340も算出される。一例では、支配的なポイント・ソース(a dominant point source)に関して関心のある領域の幅が狭いということは、支配的な音声が単独の方向から来ている(例えば、単独の人が喋っている)ようなものである。別の例では、より広がった又は移動しているソースに対して、幅が大きく設定される。これは、支配的な音声が、幾つかの共存したソースから来ている場合であり、例えば、参照番号320により示されるような図3の右上隅に提供されるスクリーンに示されるようなステージ上の幾つもの楽器及びリード・ボイスを伴う音楽バンドから来ている場合である。

オーディオ・ソース位置確認アルゴリズムがオーディオ方向を更に設定するために使用される一例において、オーディオ信号分析は、関心のあるエリアの角度幅の近似的な推定を提供するように実行されても良い。オーディオ・ソース位置確認アルゴリズムは、関心のある領域の角度範囲を決定するように使用され、その結果、図4の410で示されるような「関心のあるコーン(cone of interest)」をもたらす。

一実施形態では、図5に示されるように、没入型ユーザ体感(the immersive user experience)が、最新技術の分散されたマイクロフォン・アレイ520を利用することにより更に改善されることが可能である。図6の実施形態では、自動的なオーディオ位置確認を改善するために、同様な分散されたマイクロフォン・アレイ・システム620が使用されることが可能である。図6では、図1のステップ110で説明されたような支配的なオーディオ・ソースは、関心のある方向を決定するために、オーディオ及びビデオ信号の双方を活用することにより、決定される。図4と同様に、関心のあるビデオ・コーン610が決定され、この場合ビデオ・コーンはマイクロフォン・アレイ620に起因して改善される。オーディオ信号を決定するために、位置確認アルゴリズムが使用され、支配的なオーディオ・ソースの方向は、関心のある方向として考えられる。ビデオ信号を決定するために、一実施形態では、オブジェクト・トラッキング・アルゴリズムを使用することが可能である。この場合、シーンの中で動いているオブジェクトの方向は、支配的なオーディオ・ソースに関連する関心のある方向として潜在的に考えることが可能である。一実施形態において、オーディオ及びビデオは、オーディオ及びビデオの場合に単独で検出されるように、後期融合候補(a late fusion of candidates)を提供するように組み合わせられることが可能であり、それに応じて、関心のある最適化された方向を見出す際にそれらは適用されることが可能である。

図1に戻り、参照番号115により参照される次のステップが実行される。ステップ115において、関心のあるオーディオ・シーンが決定され、このオーディオ・シーンに関し、ステップ120でオーディオ・フォーカス分析が実行される。オーディオ・フォーカス又はオーディオ・ズーム(an audio focus or an audio zoom)を実行するために、関心のあるオーディオ方向の決定の後に、オーディオ・シーンの中でオーディオ・ビーム(audio beams)が生成される。一実施形態では、当業者に認められるように、オーディオ・ビームはビームフォーミングを利用して生成される。ビームフォーミング又は空間フィルタリングは、空間的な選択性を達成するために指向性信号の送信又は受信を利用する信号処理技術である。これは、特定の角度において或る信号は建設的な干渉を経験するが、その他は破壊的な干渉を経験するような方法で、フェーズド・アレイ形式で素子を組み合わせることにより達成される。アレイの指向性を変更するために、信号の位相及び相対的な振幅が制御され、建設的及び/又は破壊的な電波干渉のパターンを形成する。最適空間フィルタリング及び干渉排除法を利用することにより、センサ・アレイの出力において関心のある信号を検出及び推定するために、適応ビームフォーミングが使用される。このように、所定の信号パターンのみについての、マイクロフォン・アレイからのオーディオ信号が、ターゲット・ソースに関して選択されることが可能である。オーディオ・フォーカスは、同時複数ビームを形成することが可能であり、アクティブ・スピーカを追跡することが可能である。ステップ120により提供されるようなビームフォーミングの概念は、図7のブロック図により更に示されている。

一実施形態では、図7に示されるように、オーディオ・ビームの幅は、マイクロフォン・アレイのサイズ及び設定に依存する。音を生成するターゲット・ソースは、図7の710で示されるように例示的に与えられている。ターゲット・ソース750は、760で示されるような音響ビームを生成する。音は、マイクロフォン・アレイ720により受信され、オーディオ・ビームフォーミング技術を利用して処理され、ビデオ及びオーディオの双方の観点から改善されたターゲット・ソースを提供する。ノイズ及びその他の干渉(780)は適切にフィルタで除去される。結果のオーディオ・ビーム760は、図2ないし4に示されるものに類似する実施形態では図8の図形表現で示され、(図5及び6に類似する)分散したマイクロフォン・アレイ構成の実施形態では図9の参照番号960で使用される図形表現で示される。

図10では、オーディオ・システムが分散されたマイクロフォン・アレイ・システム1020を有する別の実施形態が使用されている。支配的なオーディオ方向940が決定される。その後、参照番号1050により示されるように、関心のある領域同士の間の交わりを算出することにより、関心深度(interest depth)に関する別の情報を取得することが可能であり、それにより、図1のステップ120と同様なビームフォーミングのような他のステップが行われる。

(不図示の)代替的な実施形態では、ユーザ・インタラクション・システムを提供することが可能であり、ユーザは、(i)オーディオに基づいて識別される方向候補の中から方向、及び(ii)幅を選択する。この選択に基づいて、一実施形態では、特定の選択された方向から到来する音に照準を合わせるために、上述したもののようなオーディオ・ビームフォーミング技術を使用することが可能である。最終的な焦点表面及び被写界深度は、これまでのように方向及び幅の情報に応じて選択されレンダリングされる。

図8ないし10の実施形態では、ビームフォーミング出力信号はx(t)である。出力信号は、位置A及びBからの双方の音を含むが、ターゲットのズーミング面(the targeted zooming plane)は、位置Bからの音のみを含むかもしれない。この例の場合、位置B付近のマイクロフォンからのオーディオ信号が活用され、それにより、最終的なオーディオ出力は、一実施形態では次のように与えられる：
xx(t)=alpha*x(t) + (1-alpha)*y(t)
ここで、「alpha 」は重み付け因子である。この例では、数式に示されるように、「alpha」の値が高いと、ローカルなマイクロフォン位置Bから記録されたオーディオ信号が、最終的なオーディオ・フォーカスに大きく寄与することを意味する。

図1を再び参照すると、最終的なステップ130が実行されている。ステップ130は、関心のあるオーディオ・ソースにより駆動されるビデオ・リフォーカシング・ステップである。関心のあるコーンの中のシーン要素は焦点を合わせてレンダリングされ、残りの焦点表面(及び被写界深度)は自動的に有意義な方法で推定される。これは、焦点面及び被写界深度を自動的かつ動的に選択する新しいオーディオ・ベースの魅力的な方法にアクセスすることを可能にする。このように、オーディオ・ズーム機能が、強く関連するビデオ焦点とともに強化されることも可能である。

Claims (15)

1. 処理中にオーディオ・キャプチャ・デバイスと通信するプレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法であって、
   画像に関連する支配的なオーディオ・ソースの方向を決定するステップ；
   前記支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号をフィルタで除くことにより、オーディオ・ズームを引き起こすステップ；及び
   引き起こされたオーディオ・ズームに基づいて前記画像の自動的なリフォーカシングを実行するステップ；
   を有する方法。
2. 支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別するステップ；
   前記支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号を選択的にフィルタで除くために、前記関心のあるオーディオ・シーンについてビームフォーミングを実行することにより、前記オーディオ・ズームを達成するステップ；
   を更に有する請求項１に記載の方法。
3. 前記オーディオ・キャプチャ・デバイスが、マイクロフォン・アレイを更に有する、請求項１又は２に記載の方法。
4. 前記プレノプティック・カメラがビデオ・カメラであり、前記キャプチャされた画像がビデオ画像である、請求項３に記載の方法。
5. 前記オーディオ・キャプチャ・デバイスが、複数の場所に分散された複数のマイクロフォン・アレイを更に有する、請求項４に記載の方法。
6. 前記関心のあるオーディオ・シーンの角度及び幅を決定することを含むオーディオ信号分析を実行するステップを更に有する、請求項２又は４に記載の方法。
7. オーディオ・ソース位置確認法を利用することにより、オーディオ・ソースの方向を決定するステップを更に有する、請求項２に記載の方法。
8. オーディオに基づいて識別される候補方向の中で特定の方向をユーザが選択するユーザ入力部を更に有する、請求項１に記載の方法。
9. オーディオに基づいて識別される候補方向において特定の幅をユーザが選択するユーザ入力部を更に有する、請求項１に記載の方法。
10. オーディオに基づくリフォーカシング画像システムであって：
    ビデオ画像をキャプチャするプレノプティック・ビデオ・カメラ；
    キャプチャされた画像に関連する音をキャプチャするオーディオ・キャプチャリング手段；
    画像に関連する支配的なオーディオ・ソースを決定する手段；
    前記支配的なオーディオ・ソースの方向を決定するためにオーディオ信号分析を実行する手段；
    支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別する手段；
    前記支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号をフィルタで選択的に除くために、関心のあるオーディオ・シーンについてビームフォーミングを実行することにより、オーディオ・ズームを引き起こす手段；及び
    引き起こされたオーディオ・ズームに基づいて前記画像の自動的なリフォーカシングをもたらす手段；
    を有する、オーディオに基づくリフォーカシング画像システム。
11. 前記プレノプティック・カメラによりキャプチャされた画像を表示する表示手段を更に有する、請求項１０に記載のオーディオに基づくリフォーカシング画像システム。
12. 前記プレノプティック・カメラ、表示手段、及び前記オーディオ・キャプチャ・デバイスと通信するプロセッサを更に有する、請求項１０に記載のオーディオに基づくリフォーカシング画像システム。
13. 前記プロセッサは、支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別するように構成されている、請求項１２に記載のオーディオに基づくリフォーカシング画像システム。
14. 前記オーディオ・ズームは、前記関心のあるオーディオ・シーンについてビームフォーミングを実行することにより生じる、請求項１０又は１３に記載のオーディオに基づくリフォーカシング画像システム。
15. 前記プレノプティック・カメラはビデオ・カメラであり、前記キャプチャされた画像はビデオ画像である、請求項１０に記載のオーディオに基づくリフォーカシング画像システム。

Images