JP2018533271A - サラウンドビューを生じるためのシステムおよび方法 - Google Patents

Abstract

装置について記載する。この装置は、電子デバイスを含む。電子デバイスは、少なくとも1つの立体視ビュー範囲と少なくとも1つの平面視ビュー範囲の組合せに基づくサラウンドビューを提供するように構成される。方法についても記載する。方法は、それぞれの複数のレンズから複数の画像を取得するステップを含む。方法は、第1のレンダリング楕円体および第2のレンダリング楕円体を含む立体視サラウンドビューをレンダリングすることに基づいて、妨害レンズを回避するステップも含む。立体視サラウンドビューをレンダリングすることは、複数の画像のうちの第1の画像を第1のレンダリング楕円体の第1の範囲にネイティブマッピングすること、および第1の画像を第2のレンダリング楕円体の第2の範囲にネイティブマッピングすることを含む。

Description

関連出願
本出願は、2015年9月15日に出願された米国仮特許出願第62/218,792号、「SYSTEMS AND METHODS FOR PRODUCING A STEREOSCOPIC SURROUND VIEW FROM FISHEYE CAMERAS」に関し、その優先権を主張する。

本開示は全般に、電子デバイスに関する。より詳細には、本開示は、サラウンドビューを生じるためのシステムおよび方法に関する。

いくつかの電子デバイス(たとえば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ、テレビジョン、自動車、パーソナルカメラ、ウェアラブルカメラ、仮想現実デバイス(たとえば、ヘッドセット)、拡張現実デバイス(たとえば、ヘッドセット)、複合現実デバイス(たとえば、ヘッドセット)、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、ドローン、スマートアプリケーション、ヘルスケア機器、セットトップボックスなど)は、画像を取り込み、かつ/または利用する。たとえば、スマートフォンは、静止画像および/またはビデオ画像を取り込み、かつ/または処理することができる。画像は、処理され、表示され、記憶され、かつ/または送信され得る。画像は、たとえば、風景および/またはオブジェクトを含むシーンを描写し得る。

いくつかのケースでは、取り込まれたシーン奥行を描写することが困難な場合がある。たとえば、広いビューイング範囲にわたるシーン奥行を描写することが困難であり得る。

この考察からわかるように、広角画像の使用および/または処理を改善するシステムおよび方法が有益であり得る。

装置について記載する。装置は、少なくとも1つの立体視ビュー範囲と少なくとも1つの平面視ビュー範囲の組合せに基づくサラウンドビューを提供するように構成された電子デバイスを含む。

装置は、装置に結合された複数のレンズを含み得る。レンズは、少なくとも1つの立体視ビュー範囲および少なくとも1つの平面視ビュー範囲用に、複数の画像を取得するように構成され得る。電子デバイスは、装置に結合され得る妨害レンズのない、サラウンドビューの中の少なくとも1つの平面視ビュー範囲をレンダリングするように構成され得る。

装置は車両であり得る。車両は、車両に結合された複数のレンズを含み得る。複数のレンズは、サラウンドビューを形成するのに使われる少なくとも1つの立体視ビュー範囲を取得するように構成され得る。

装置は、車両に結合されたディスプレイを含み得る。ディスプレイは、サラウンドビューを出力するように構成され得る。

装置はモバイルデバイスであり得る。モバイルデバイスは、モバイルデバイスに結合された複数のレンズを含み得る。複数のレンズのうちの少なくとも2つは、サラウンドビューを形成するのに使われる少なくとも1つの立体視ビュー範囲を取得するように構成され得る。

装置は、拡張現実においてサラウンドビューを出力するように構成されたディスプレイを含み得る。装置は、少なくとも1つの立体視ビュー範囲のうちの少なくとも1つと、少なくとも1つの平面視ビュー範囲のうちの少なくとも1つとの間の重なりにおいて、フェードおよびブレンドのうちの少なくとも1つを実施するように構成されたプロセッサを含み得る。

電子デバイスは、サラウンドビューをレンダリングするように構成され得る。サラウンドビューは、第1の楕円ビューおよび第2の楕円ビューを含み得る。装置は、第1の楕円ビューと第2の楕円ビューとの間の、異なるレンズペアに対応する画像の入れ替えに基づいて逆立体視差を回避するように構成されたプロセッサを含み得る。

装置は、装置に結合された複数のレンズによって取得された複数の画像の投影に基づいて、画像の再整列を回避するように構成されたプロセッサを含み得る。装置は、先進運転支援システム(ADAS)において使われる車両であってよい。

装置についても記載する。装置は、少なくとも1つの立体視ビュー範囲と少なくとも1つの平面視ビュー範囲の組合せに基づくサラウンドビューを提供するための手段を含む。

方法についても記載する。方法は、それぞれの複数のレンズから複数の画像を取得するステップを含む。方法は、第1のレンダリング楕円体および第2のレンダリング楕円体を含む立体視サラウンドビューをレンダリングすることに基づいて、妨害レンズを回避するステップも含む。立体視サラウンドビューをレンダリングすることは、複数の画像のうちの第1の画像を第1のレンダリング楕円体の第1の範囲にネイティブマッピングすること、および第1の画像を第2のレンダリング楕円体の第2の範囲にネイティブマッピングすることを含み得る。

立体視サラウンドビューをレンダリングすることは、複数の画像を第1のレンダリング楕円体にネイティブマッピングすること、および複数の画像を第2のレンダリング楕円体にネイティブマッピングすることを含む、逆立体視差を回避することを含み得る。複数の画像は、第1のレンダリング楕円体および第2のレンダリング楕円体の異なる範囲にネイティブマッピングされ得る。

複数のレンズは、車両に搭載され得る。立体視サラウンドビューは、先進運転支援システム(ADAS)において使用されてよい。

複数のレンズは、1つまたは複数のドローンに搭載され得る。複数のレンズのうちの少なくとも1つは、180度よりも大きい視野を有し得る。

複数の画像は、第1の半楕円体、第2の半楕円体、第3の半楕円体、および第4の半楕円体を含み得る。第1のレンダリング楕円体は左レンダリング楕円体であってよく、第2のレンダリング楕円体は右レンダリング楕円体であってよい。左レンダリング楕円体は、第1の範囲内の第1の半楕円体の少なくとも一部分、第2の範囲内の第2の半楕円体の少なくとも一部分、第3の範囲内の第4の半楕円体の少なくとも一部分、および第4の範囲内の第3の半楕円体の少なくとも一部分を含み得る。右レンダリング楕円体は、第1の範囲内の第3の半楕円体の少なくとも一部分、第2の範囲内の第1の半楕円体の少なくとも一部分、第3の範囲内の第2の半楕円体の少なくとも一部分、および第4の範囲内の第4の半楕円体の少なくとも一部分を含み得る。

方法は、複数の画像のうちの少なくとも2つの間で、ブレンディングおよびフェージングのうちの少なくとも1つを実施するステップを含み得る。方法は、再整列を実施するのを回避するために、第1のレンダリング楕円体および第2のレンダリング楕円体に直接、複数の画像を投影するステップを含み得る。

コンピュータプログラム製品についても記載する。コンピュータプログラム製品は、命令を伴う非一時的有形コンピュータ可読媒体を含む。命令は、電子デバイスに、それぞれの複数のレンズから複数の画像を取得させるためのコードを含む。命令は、第1のレンダリング楕円体および第2のレンダリング楕円体を含む立体視サラウンドビューを電子デバイスにレンダリングさせるためのコードに基づいて、電子デバイスに妨害レンズを回避させるためのコードも含む。電子デバイスに立体視サラウンドビューをレンダリングさせるためのコードは、電子デバイスに複数の画像のうちの第1の画像を第1のレンダリング楕円体の第1の範囲にネイティブマッピングさせるため、および第1の画像を第2のレンダリング楕円体の第2の範囲にネイティブマッピングさせるためのコードを含む。

装置の一構成の例を示す図である。 本明細書において開示するシステムおよび方法による装置の構成の一例を示すブロック図である。 サラウンドビューを生じるためのシステムおよび方法が実装され得る装置の一例を示すブロック図である。 レンズの配置に基づくビュー範囲を示す図である。 半楕円体の入れ替えの例を示す図である。 半楕円体を入れ替えるための方法の一構成を示す流れ図である。 半楕円体の例を示す図である。 サラウンドビュー中の妨害レンズを回避することに関する追加詳細を示す図である。 半楕円体から妨害レンズを取り除くための手法の例を示す図である。 図9Aに関連して記載するように、妨害付きウェッジを無妨害ウェッジで置き換えた後の半楕円体の例を示す図である。 少なくとも1つの立体視ビュー範囲および少なくとも1つの平面視ビュー範囲を含むサラウンドビューの例を示す図である。 少なくとも1つの立体視ビュー範囲および少なくとも1つの平面視ビュー範囲をもつサラウンドビューをレンダリングするための方法の一構成の例を示す流れ図である。 半楕円体を入れ替えるための方法の一構成を示す流れ図である。 半楕円体を取得するための方法の一構成を示す流れ図である。 サラウンドビュー再生のための機能的手法を示す図である。 サラウンドビュー再生の一例を示す図である。 本明細書で開示されるシステムおよび方法の構成の例を示す図である。 本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。 立体視サラウンドビュー中の妨害物を回避するための方法の一構成を示す流れ図である。 立体視サラウンドビューを生じるようにレンダリングされ得るレンダリング形状の例を示す図である。 本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。 本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。 本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。 本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。 本明細書で開示するシステムおよび方法の様々な構成を実装するように構成された装置内に含まれ得る特定の構成要素を示す図である。

本明細書で開示するシステムおよび方法は、立体視サラウンド画像(たとえば、ビデオ)取込みおよび/または再生に関し得る。たとえば、本明細書で開示するシステムおよび方法は、立体視サラウンド(たとえば、水平および垂直方向の両方において360度)画像および/またはビデオ取込みのための手法を提供し得る。

広角画像取込みのためのいくつかの手法は、次のように記載される。一手法では、両面魚眼レンズカメラが、平面視ビュー中の(ただし、立体視ビュー中ではなく)360度の画像およびビデオを取り込むのに使われ得る。平面視画像は、奥行感をもたらすことができない。たとえば、それらの画像は、奥行情報を提供するための異なったパースペクティブを提供することができない(たとえば、左対右または前対後という概念を使用することができない)。

立体視画像のためのいくつかの手法は、車に魚眼レンズを置くことを含み得る(たとえば、左前(FL)カメラ、右前(FR)カメラ、左後(BL)カメラおよび右後(BR)カメラ)。ただし、レンズ/カメラの間の分離(D)は、数メートルの規模で離れてよい。したがって、いくつかの手法は、大きい形状因子(たとえば、魚眼レンズの間の大きい距離を使用し、かつ/または必要とする)をもつデバイスを使用することができる。

いくつかの手法は、(a)平面視(奥行なしか、または片目だけで見るようなもの)360度画像、(b)360度立体視ビューだが、上半球体のみに対する(周囲の半分だけを見るようなもの)または(c)360度ビューだが、ただ1つの高さにおけるもの(たとえば、0の仰角をもつだけ)のいずれかを生じるだけであり得る。

いくつかの画像取込みシステムでは、カメラレンズは同じ面に共設されてよく、ここで、個々のカメラレンズによって取り込まれたピクセルを合成すること、およびこれらのカメラレンズを分離する物理的距離に合わせて調節することによって、立体視楕円体(たとえば、球体)画像が形成され得るような物理的距離だけ、レンズが分離される。開示するシステムおよび方法のいくつかの構成は、楕円体画像を別個に合成するとともにレンズの物理的な分離した距離を考慮する必要なく、立体視楕円体画像を形成するための、ピクセルのネイティブマッピングを伴い得る。いくつかの画像取込みシステムは、ピクセルから直接、立体視楕円ビューを作成しないので、いくつかの画像システムはネイティブマッピングを使わない。そうではなく、いくつかの画像システムは、2つの取り込まれた画像をコピーすること、および立体視楕円ビューを形成するために、取り込まれた画像を合成することによって、立体視ビューを作成し得る。

ネイティブマッピングでは、たとえば、レンズからのピクセルは、カメラが、人間の目の分離距離にほぼ合致するように位置決めされ得るので、立体視画像情報をすでに取り込むことができる。ネイティブマッピングは、ジオメトリを、立体的に見えるようにするためにレンダリングすることだけを可能にし得る。合成(たとえば、取り込まれたビューの合成)では、シーンの何らかの種類の像差(たとえば、奥行)マップが計算され得る。像差(たとえば、奥行)マップは、ピクセルがどのように相補またはシフトされるかを判断するのに使われ得る。ピクセルは、人間の目の像差にほぼ合致するように合成される必要があり得る。

いくつかの画像取込みシステム(一定の距離だけ分離された、同じ平面にある2つのカメラをもつ)は、ピクセルを選択的に選ぶことによって、取り込まれた画像を合成する。これらのシステムは、第1のレンズが第2のレンズのビューにおいて取り込まれる画像をもたず、第1のレンズが、第2のレンズからの第2の画像取込みの後に続いて現れるビューにおいて取り込まれる画像をもたない。言い換えると、立体視楕円ビューは、ピクセルの選択的合成により、取込みレンズの視野にある「他方の」レンズの妨害物を含まない。レンズの間の距離を補償するための選択的合成なしで、ピクセルのネイティブマッピングが実施され得る。いくつかの画像取込みシステムは、他方のレンズの妨害物またはネイティブマッピングによる取込みレンズ視野における他のどの妨害物も取り除くことができない。

上記の説明からわかるように、サラウンドビュー(たとえば、立体視サラウンドビュー)を生じようと試みるとき、様々な問題が起こり得る。起こり得る1つの問題は、マッピング問題である。たとえば、デバイス(たとえば、スマートフォン)が、2つの前-後レンズペアを含むと仮定する。たとえば、電子デバイスが、デバイスの、前を向く一方のレンズおよび後を向く他方のレンズを含む、左側にあるレンズ(たとえば、魚眼レンズ)の第1のペアと、デバイスの、前を向く一方のレンズおよび後を向く他方のレンズを含む、右側にあるレンズの第2のペアとを含み得る。レンズの各々が、ほぼ半球状の画像データを提供し得る。したがって、レンズの各ペアが、ほぼ球状の画像を提供することができ、球状画像のパースペクティブは、互いからずらされる。

立体視サラウンドビューをレンダリングするための一手法は、左球状画像をユーザの左目にマッピングし、右球状画像をユーザの右目にマッピングする。球状画像の間のずれ(たとえば、視差)により、ユーザは、前方を眺めている間、奥行を知覚することができる。ただし、後方を眺めている(たとえば、球状画像の各々において視点を180°回転する)とき、球状画像はもはや、ユーザの目の位置に対応しない。たとえば、画像データは、ユーザの目の位置から反転され、そうすると左/右ビューが反転されることになる。逆立体視差は、目のパースペクティブに関して、ビューパースペクティブを反転することを意味し得る。逆立体視差では、たとえば、左目は右ビューパースペクティブを見て、右目は左ビューパースペクティブを見る。この問題は、レンダリングされたサラウンドビューを見つめているとき、ユーザにめまいを感じさせる場合がある。

本明細書で開示されるシステムおよび方法のいくつかの構成は、マッピング問題を緩和および/または解決し得る。たとえば、半楕円体(たとえば、半球状画像)が、レンズペアの間で入れ替えられ得る。たとえば、ユーザの左目に対応する左レンダリング形状(たとえば、楕円体、球体など)は、第1の前-後レンズペアに対応する半楕円体からの画像データ、および第2の前-後レンズペアに対応する半楕円体からの画像データでレンダリングされ得る。したがって、画像の視点は、前および後を眺めているとき、ユーザの目の位置に対応し得る。本明細書で使用する「半」という接頭辞は、厳密に半分を示す場合もまたは示さない場合もあることに留意されたい。たとえば、半楕円体は、完全楕円体に満たない場合があり、楕円体の厳密に半分であってもまたはなくてもよい。いくつかの構成では、半楕円体は、楕円体の半分よりも多く、または少なく広がり得る。たとえば、半楕円体は、160度、180度、220度、240度などに広がり得る。

サラウンドビューを生じようと試みるとき、像差問題が起こり得る。いくつかの手法が、異なる方向(たとえば、反対方向、前方向および後方向など)から、半球状画像を取り込むことができる。半球状画像の間に像差(たとえば、オフセット)が存在し得る。たとえば、一方のレンズは、他方に対して傾けられてよく、かつ/または他方に対して厳密に整列されなくてもよい。これが、半球状画像の間の像差(たとえば、垂直像差)を引き起こし得る。サラウンドビューを生じるために、いくつかの手法は、画像を整列し、像差を低減し、かつ/または画像をスティッチしようと試みる場合がある。たとえば、ピクセルは、複合画像をシームレスにしようと試みて、一方または両方の画像中で移動され(たとえば、シフトされ)得る。ただし、ピクセルが移動される先の見えない線は、カメラの間で一貫しない場合がある。像差が(たとえば、較正により)考慮に入れられない限り、像差(たとえば、垂直像差)は残り得る。像差および/または画像を整列するためのピクセルの移動は、ユーザに、めまいおよび/または気分の悪さを感じさせる場合がある。

本明細書で開示するシステムおよび方法のいくつかの構成では、再整列(たとえば、ピクセルの移動、スティッチングなど)が回避され得る。たとえば、本明細書で開示するシステムおよび方法のいくつかの構成は、各レンズ画像を球体に直接投影することによって、再整列(たとえば、ピクセルの移動および/またはスティッチング)を回避することができる。画像は次いで、(たとえば、画像エッジにおいて)ブレンドされてよい。

妨害物の取込みは、サラウンドビューを生じようと試みるときに起こり得るもう1つの問題であり得る。たとえば、レンズが、デバイスの一部(たとえば、デバイスハウジング、別のレンズなど)を含む画像を提供し得る。これにより、取り込まれることが求められるシーンを妨害する場合がある。

本明細書で開示するシステムおよび方法のいくつかの構成では、妨害物は、1つまたは複数の手法を使って回避され得る。いくつかの手法では、レンズからの(たとえば、魚眼レンズの1つのペアからの)妨害付き範囲が、別のレンズからの(たとえば、魚眼レンズの別のペアからの)無妨害範囲と置き換えられ得る。いくつかの手法では、サラウンドビューにおいて平面視ビュー範囲(たとえば、妨害付き範囲に対応する)および立体視ビュー範囲をレンダリングすることによって、妨害物が回避され得る。たとえば、いくつかの手法(たとえば、妨害物を回避し得る)では、1つまたは複数の立体視ビュー範囲と1つまたは複数の平面視ビュー範囲の混成として、サラウンドビューがレンダリングされ得る。これらの手法のうちの1つまたは複数が、レンズがほぼ180°の視野を有する、および/または2つ以上のレンズがほぼ共平面に搭載される、いくつかの構成において使われ得る。

本明細書で開示するシステムおよび方法のいくつかの構成では、重なる視野を使って、妨害物が回避され得る。たとえば、デバイス(たとえば、スマートフォン)に搭載された前-後魚眼レンズの2つのペアを仮定する。魚眼レンズの各々は、180°よりも大きい視野を有し得る。一実装形態では、たとえば、各魚眼レンズは、240度の視野を有し得る。魚眼レンズを背中合わせに搭載することによって、60度の重なりが達成され得る。ある程度の厚さがあり得るので、カメラは、背中合わせに搭載されているのにもかかわらず、像差を呈し得る。対象の領域(たとえば、重なる領域)が判断され得る。たとえば、対象の領域は、既知であり、かつ/またはカメラのセットアップに基づいて判断され得る。

対象の領域に基づいて、適切な左および右目ロケーション(たとえば、レンダリング楕円体(たとえば、球体))にピクセルがコピーされ得る。いくつかの手法では、画像(たとえば、色)を強調および/またはブレンドするために、1つまたは複数の変換が(たとえば、コピーに加え)実施され得る。いくつかの実装形態では、画像は妨害され得る。たとえば、異なるカメラ(たとえば、2つのカメラ)が互いを見ることができる。ピクセル(たとえば、末端の画像情報)が、妨害物(たとえば、レンズ、カメラなど)が現れるピクセルを置き換えるのに使用され得る。

広角カメラは少なくとも1つの広角レンズを含むことができ、ワイドFOVカメラは少なくとも1つのワイドFOVレンズを含むことができ、魚眼カメラは少なくとも1つの魚眼レンズを含むことができ、標準カメラは少なくとも1つの標準レンズを含むことができ、かつ/または長焦点カメラは少なくとも1つの長焦点レンズを含むことができる。標準カメラおよび/または標準レンズは、歪んでは見えない(または無視できる歪みのみを有する)標準画像を生じ得る。広角レンズおよびワイドFOVレンズ(たとえば、広角カメラ、ワイドFOVカメラ)は、標準レンズよりも短い焦点距離を有することができ、かつ/または拡張視野をもつ画像を生じることができる。広角レンズおよびワイドFOVレンズ(たとえば、広角カメラ、ワイドFOVカメラ)は、画像が曲がって見える(たとえば、シーン中の直線が、広角またはワイドFOVレンズで取り込まれた画像中で曲がって見える)遠近歪みをもつ画像を生じ得る。たとえば、広角レンズおよび/またはワイドFOVレンズは、広角画像、ワイドFOV画像、曲がった画像、球状画像、半球状画像、半楕円体画像、魚眼画像などを生じ得る。長焦点レンズおよび/または長焦点カメラは、標準レンズよりも長い焦点距離を有することができ、かつ/または収縮視野をもつ、および/もしくは拡大されて見える画像を生じることができる。

本明細書で使用するように、「魚眼レンズ」とは、広角および/または広視野(FOV)レンズの例であり得る。たとえば、魚眼カメラは、ほぼ100および240度の間の画角をもつ画像を生じることができる。たとえば、多くの魚眼レンズは、100度よりも大きいFOVを有し得る。いくつかの魚眼レンズは、少なくとも140度のFOVを有する。たとえば、先進運転支援システム(ADAS)コンテキストにおいて使われるいくつかの魚眼レンズは、140度以上のFOVを有し得る(ただし、それに限定されない)。魚眼レンズは、外見がパノラマおよび/またはほぼ楕円体(たとえば、球状、半球状、半楕円体など)である画像を生じ得る。魚眼カメラは、歪みが大きい画像を生成する場合がある。たとえば、魚眼カメラによって取り込まれたシーン中のいくつかの水平線は、真っ直ぐではなく曲がって見える場合がある。したがって、魚眼レンズは、他のレンズ(たとえば、通常のカメラ)と比較して、歪みおよび/または大きいFOVを呈し得る。

本明細書で開示するシステムおよび方法のいくつかの例は、魚眼レンズ、魚眼カメラおよび/または魚眼画像について記載される場合があることに留意されたい。本明細書で開示するシステムおよび方法は、追加または代替として、1つまたは複数の標準レンズ、広角レンズ、ワイドFOVレンズ、長焦点レンズ、標準カメラ、広角カメラ、ワイドFOVカメラ、長焦点カメラ、標準画像、広角画像、ワイドFOV画像および/または長焦点画像などとともに適用され得ることに留意されたい。したがって、1つまたは複数の「魚眼カメラ」、「魚眼レンズ」および/または「魚眼画像」を指す例は、追加または代替として、魚眼カメラ、魚眼レンズおよび/または魚眼画像ではなく、標準レンズ、広角レンズ、ワイドFOVレンズ、長焦点レンズ、標準カメラ、広角カメラ、ワイドFOVカメラ、長焦点カメラ、標準画像、広角画像、ワイドFOV画像および/または長焦点画像などを伴う他の対応する例を開示する場合がある。1つまたは複数の「カメラ」への全般的言及は、標準カメラ、広角カメラ、ワイドFOVカメラ、魚眼カメラおよび/または長焦点カメラなどのいずれかまたはすべてを指し得る。1つまたは複数の「レンズ」または「光学システム」への全般的言及は、標準レンズ、広角レンズ、ワイドFOVレンズ、魚眼レンズおよび/または長焦点レンズなどのいずれかまたはすべてを指し得る。1つまたは複数の「画像」への全般的言及は、標準画像、広角画像、ワイドFOV画像、魚眼画像および/または長焦点画像のいずれかまたはすべてを指し得る。

本明細書で開示するシステムおよび方法は、多くのコンテキスト、デバイスおよび/またはシステムにおいて適用され得る。たとえば、本明細書で開示するシステムおよび方法は、電子デバイス、車両、ドローン、カメラ、コンピュータ、セキュリティシステム、ウェアラブルデバイス(たとえば、アクションカメラ)、飛行機、ボート、レクリエーション車両、仮想現実(VR)デバイス(たとえば、VRヘッドセット)、拡張現実(AR)デバイス(たとえば、ARヘッドセット)などにおいて実装され得る。

魚眼カメラは、複数の位置に設置されてよい。たとえば、装置、電子デバイス、車両、ドローンなどの前に2つのカメラ、および後に2つのカメラのように、4つのカメラが位置決めされてよい。多くの他の位置が、本明細書で開示するシステムおよび方法に従って実装され得る。異なる魚眼カメラは、異なる傾斜角度を有し得る。魚眼カメラからの魚眼画像は、重なる領域を有し得る。いくつかの構成では、4つよりも多いか、または少ないカメラが設置され、360度の、または360度未満の、複合ビュー(たとえば、サラウンドビュー)の生成に使われ得る。複合ビューは、各個々の画像単独よりも大きい画角を与える、画像の組合せであってよい。サラウンドビューは、1つまたは複数のオブジェクト(たとえば、車両、ドローン、建物、スマートフォンなど)を部分的または全体的に囲む複合ビューであってよい。いくつかの構成では、広FOVカメラから生成された複合ビュー(たとえば、サラウンドビュー)は、立体視3次元(3D)複合ビュー(たとえば、サラウンドビュー)を生成するのに使われ得る。複合ビュー(たとえば、クリアな大きいFOV(360度など)サラウンドビュー)を生成するために、複数のレンズからの出力画像をどのようにつなげるかは、困難な問題を突きつける。

次に、類似の参照番号が機能的に類似の要素を示し得る図を参照して、様々な構成が説明される。本明細書で全般に図面で全般に説明され例示されるシステムおよび方法は、多種多様な異なる構成で配列および設計され得る。したがって、図面に表されるような、いくつかの構成の以下のより詳細な説明は、特許請求される範囲を限定することは意図されず、システムおよび方法を単に表すものである。

図1は、装置102の一構成の例を示す図である。本明細書で開示するシステムおよび方法のいくつかの構成では、魚眼レンズの2つのペア108a〜bが、装置102に結合され(たとえば、その中に含まれ)得る。本明細書で使用する「結合する」という用語は、直接または間接的に接続されることを意味し得る。「結合する」という用語は、機械および/または電子コンテキストにおいて使われ得る。たとえば、左前魚眼レンズ104が、装置102に機械結合され(たとえば、取り付けられ、搭載され、など)てよく、画像センサーが、プロセッサに電子結合されてよい。図面中の要素または構成要素の間の線および/または矢印が、結合を示し得る。

装置102のトップダウン図が、図1に示されている。この例では、装置102は、左前魚眼レンズ104、右後魚眼レンズ106、右前魚眼レンズ110および左後魚眼レンズ112を含む。

図1に示すように、装置102は、魚眼レンズペアA 108aおよび魚眼レンズペアB 108bを含み得る。魚眼レンズペアA 108aは、魚眼レンズペアB 108bから分離距離114の所に搭載され得る。たとえば、左前魚眼レンズ104と右後魚眼レンズ106は、魚眼レンズペアA 108a(たとえば、二重魚眼レンズ)を形成し得る。追加または代替として、右前魚眼レンズ110と左後魚眼レンズ112は、魚眼レンズペアB 108b(たとえば、二重魚眼レンズ)を形成し得る。

魚眼レンズ104、106、110、112は、立体視サラウンド画像および/または立体視サラウンドビデオを取り込むのに使用され得る。たとえば、2つの平面視360度画像およびビデオ取込み二重魚眼レンズが、立体視サラウンド画像を取り込むために、1つの一体型デバイス(たとえば、カメラ、スマートフォン、モバイルデバイス、車両、ドローンなど)上で比較的接近し合って搭載され得る。

図2は、本明細書において開示するシステムおよび方法による装置202の構成の一例を示すブロック図である。この例では、装置202は、4つの魚眼レンズカメラ216、画像信号プロセッサ(ISP)218、プロセッサ220およびメモリ222を含み得る。装置202は、本明細書で開示するシステムおよび方法に従って、立体視サラウンド画像(および/またはビデオ)を取り込むことができる。

魚眼レンズカメラ216の各々は、広角カメラであってよい。たとえば、魚眼レンズカメラの各々は、シーンのほぼ180度以上を取り込むことができる。魚眼レンズカメラの各々は、いくつかの構成では、画像情報を取り込むための画像センサーと光学システム(たとえば、1つのレンズまたは複数のレンズ)とを含み得る。魚眼レンズカメラ216は、ISP218に結合され得る。

たとえば、装置202は、いくつかの構成では、画像信号プロセッサ(ISP)218を含み得る。画像信号プロセッサ218は、魚眼レンズカメラ216から画像データ(たとえば、未加工センサーデータおよび/または前処理されたセンサーデータ)を受信し得る。画像信号プロセッサ218は、画像データに対して1つまたは複数の動作を実施し得る。たとえば、画像信号プロセッサ218は、圧伸解除、ローカルトーンマッピング(LTM)、フィルタリング、スケーリングおよび/またはクロッピングなどを実施することができる。画像信号プロセッサ218は、得られた画像データを、プロセッサ220および/またはメモリ222に与え得る。

メモリ222は、画像データを記憶することができる。たとえば、メモリ222は、ISP218および/またはプロセッサ220によって処理された画像データを記憶することができる。ISP218、プロセッサ220および/またはメモリ222は、本明細書で開示する方法、ステップ、手続きおよび/または機能のうちの1つまたは複数を実施するように構成され得る。

本明細書で開示するシステムおよび方法のいくつかの構成は、魚眼カメラからのサラウンドビュー(たとえば、立体視サラウンドビュー)生成を提供することができる。本明細書で使用するように、「魚眼カメラ」は、広角および/または広視野(FOV)カメラであってよい。たとえば、魚眼カメラは、画角がほぼ180度以上の画像を生じることができる。これにより、外見がパノラマおよび/または半楕円体(たとえば、半球状)である画像が生じ得る。

図3は、サラウンドビューを生じるためのシステムおよび方法が実装され得る装置302の一例を示すブロック図である。たとえば、装置302は、魚眼カメラからサラウンドビュー(たとえば、立体視サラウンドビュー)を生成するように構成され得る。装置302の例は、電子デバイス、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ(たとえば、デスクトップコンピュータ、ラップトップコンピュータなど)、タブレットデバイス、メディアプレーヤ、テレビジョン、車両、自動車、パーソナルカメラ、ウェアラブルカメラ、仮想現実デバイス(たとえば、ヘッドセット)、拡張現実デバイス(たとえば、ヘッドセット)、複合現実デバイス(たとえば、ヘッドセット)、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、航空機、ドローン、無人航空機(UAV)、スマートアプリケーション、ヘルスケア機器、ゲーム機、携帯情報端末(PDA)、セットトップボックス、電気製品などを含む。たとえば、装置302は、先進運転支援システム(ADAS)において使われる車両であってよい。装置302は、1つまたは複数の構成要素または要素を含み得る。構成要素または要素のうちの1つまたは複数は、ハードウェア(たとえば、回路構成)またはハードウェアとソフトウェアおよび/もしくはファームウェアの組合せ(たとえば、命令を有するプロセッサ)において実装され得る。

いくつかの構成では、装置302は、プロセッサ320、メモリ322、ディスプレイ342、1つもしくは複数の画像センサー324、1つもしくは複数の光学システム326、および/または1つもしくは複数の通信インターフェース334を含み得る。プロセッサ320は、メモリ322、ディスプレイ342、画像センサー324、光学システム326、および/または通信インターフェース334に結合され(たとえば、それらと電気通信し)得る。プロセッサ320は、汎用シングルチップマイクロプロセッサまたはマルチチップマイクロプロセッサ(たとえば、ARM)、専用マイクロプロセッサ(たとえば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ320は、中央処理ユニット(CPU)と呼ばれ得る。単一のプロセッサ320が装置302内に示されているが、代替の構成では、プロセッサの組合せ(たとえば、ISPとアプリケーションプロセッサ、ARMとDSP、など)が使われてもよい。プロセッサ320は、本明細書で開示する1つまたは複数の方法を実装するように構成され得る。たとえば、プロセッサ320は、魚眼画像からサラウンドビューを生じるように構成され得る。

いくつかの構成では、装置302は、図1〜図23のうちの1つまたは複数に関連して説明する機能、手続き、方法、ステップなどのうちの1つまたは複数を実施することができる。追加または代替として、装置302は、図1〜図23のうちの1つまたは複数に関連して説明する構造のうちの1つまたは複数を含み得る。

通信インターフェース334は、装置302が1つまたは複数の他の装置(たとえば、電子デバイス)と通信することを可能にし得る。たとえば、通信インターフェース334は、ワイヤード通信および/またはワイヤレス通信のためのインターフェースを提供し得る。いくつかの構成では、通信インターフェース334は、無線周波数(RF)信号を送信および/または受信するための1つまたは複数のアンテナ332に結合され得る。追加または代替として、通信インターフェース334は、1つまたは複数の種類のワイヤライン(たとえば、ユニバーサルシリアルバス(USB)、イーサネット(登録商標)など)通信を可能にしてもよい。

いくつかの構成では、複数の通信インターフェース334が実装および/または使用され得る。たとえば、1つの通信インターフェース334は、セルラー(たとえば、3G、ロングタームエボリューション(LTE)、CDMAなど)通信インターフェース334であってよく、別の通信インターフェース334は、イーサネット(登録商標)インターフェースであってよく、別の通信インターフェース334は、ユニバーサルシリアルバス(USB)インターフェースであってよく、さらに別の通信インターフェース334は、ワイヤレスローカルエリアネットワーク(WLAN)インターフェース(たとえば、米国電気電子技術者協会(IEEE)802.11インターフェース)であってよい。いくつかの構成では、通信インターフェース334は、別の装置またはデバイス(たとえば、車両、スマートフォン、カメラ、ディスプレイ、リモートサーバなど)に情報(たとえば、画像情報、サラウンドビュー情報など)を送り、かつ/またはそこから情報を受信することができる。

装置302は、1つまたは複数の画像(たとえば、デジタル画像、画像フレーム、ビデオなど)を取得することができる。たとえば、装置302は、画像センサー324と、光学システム326の視野内に位置するシーンおよび/またはオブジェクトの画像を画像センサー324上に集束させる光学システム326(たとえば、レンズ)とを含み得る。カメラ(たとえば、可視スペクトルカメラまたはその他)は、少なくとも1つの画像センサーおよび少なくとも1つの光学システムを含み得る。したがって、装置302は、1つもしくは複数のカメラであってよく、かつ/またはいくつかの実装形態では、1つもしくは複数のカメラを含み得る。いくつかの構成では、画像センサー324は、1つまたは複数の画像を取り込むことができる。光学システム326は、プロセッサ320に結合され、かつ/またはそれによって制御され得る。追加または代替として、装置302は、1つまたは複数の画像を、別の装置またはデバイス(たとえば、装置302に結合された1つまたは複数の外部カメラ、ネットワークサーバ、トラフィックカメラ、ドロップカメラ、車両カメラ、ウェブカメラなど)に対して要求し、かつ/またはそこから受信し得る。

いくつかの構成では、装置302は、通信インターフェース334を介して1つまたは複数の画像を要求および/または受信してもよい。たとえば、装置302は、カメラ(たとえば、画像センサー324、および/または光学システム326)を含んでも、または含まなくてもよく、1つまたは複数のリモートデバイスから画像を受信し得る。画像(たとえば、画像フレーム)のうちの1つまたは複数は、1つもしくは複数のシーンおよび/または1つもしくは複数のオブジェクトを含み得る。いくつかの例では、画像センサー324および/または光学システム326は、装置302に機械結合され得る(たとえば、スマートフォンの本体に、車のフードに取り付けられ得る、など)。画像センサー324および/または光学システム326は、ワイヤードおよび/またはワイヤレスリンクを介して装置302にリンクされ得る。たとえば、画像センサー324および/もしくは光学システム326は、車両中の制御機構(たとえば、プロセッサ320)に配線接続されてよく、または画像センサー324および/もしくは光学システム326によって取り込まれた情報は、制御機構(たとえば、プロセッサ320)にワイヤレスに送信され(たとえば、ストリーミングされ、またはそうでなければワイヤレスにトランスポートされ)てよい。

いくつかの構成では、光学システム326は、1つまたは複数の魚眼(たとえば、ワイドFOV)レンズを含み得る。したがって、光学システム326および画像センサー324は、装置302に結合されている(たとえば、その中に含まれる)1つまたは複数の魚眼(たとえば、ワイドFOV)カメラの構成要素であり得る。追加または代替として、装置302は、1つまたは複数の外部の魚眼(たとえば、広FOV)カメラに結合され、かつ/またはそれらと通信し得る。いくつかの実装形態では、2つ以上の光学システム(たとえば、レンズ)は、互いとほぼ共平面にあってよい。たとえば、2つのレンズが第1の平面にあって(たとえば、搭載されて)よく、2つの他のレンズが第2の平面にあってよい。2つ以上の平面が、いくつかの実装形態では、互いとほぼ平行であってよい。

いくつかの構成では、装置302は、画像データバッファ(図示せず)を含み得る。画像データバッファは、画像センサー324および/または外部カメラからの画像データをバッファリング(たとえば、記憶)することができる。バッファリングされた画像データは、プロセッサ320に提供されてよい。

いくつかの構成では、装置302は、カメラソフトウェアアプリケーションおよび/または1つもしくは複数のディスプレイ342を含み得る。カメラアプリケーションが稼働しているとき、光学システム326の視野内に位置するオブジェクトの画像が、画像センサー324によって取り込まれ得る。画像センサー324によって取り込まれている画像は、ディスプレイ342上に提示されてよい。たとえば、ディスプレイ342は、サラウンドビューを出力するように構成され得る。たとえば、1つまたは複数のサラウンドビュー(たとえば、立体視サラウンドビュー)画像が、ユーザによる閲覧のために、ディスプレイ342に送られ得る。いくつかの構成では、これらの画像は、前に取り込まれたシーンの画像データを含み得るメモリ322から再生され得る。装置302によって取得された1つまたは複数の画像は、1つもしくは複数のビデオフレームおよび/または1つもしくは複数の静止画像であり得る。いくつかの実装形態では、ディスプレイ342は、サラウンドビューを出力するように構成された拡張現実ディスプレイおよび/または仮想現実ディスプレイであってよい。

プロセッサ320は、画像取得器336を含み、かつ/または実装することができる。画像フレームのうちの1つまたは複数は、画像取得器336に提供されてよい。いくつかの構成では、画像取得器336は、図1〜図23のうちの1つまたは複数に関連して説明する手法、機能、手続き、ステップ、および/または構造のうちの1つまたは複数に従って動作し得る。画像取得器336は、1つまたは複数のカメラ(たとえば、標準カメラ、広角カメラ、魚眼カメラなど)から、画像(たとえば、魚眼画像、半楕円体、半球体など)を取得することができる。たとえば、画像取得器336は、1つもしくは複数の画像センサー324から、および/または1つもしくは複数の外部カメラから、画像データを受信し得る。画像は、(たとえば、異なるロケーションにある)複数のカメラから取り込まれ得る。上述したように、画像は、装置302中に含まれる画像センサー324(たとえば、魚眼カメラ)から取り込まれてよく、または1つもしくは複数のリモートカメラ(たとえば、リモート魚眼カメラ)から取り込まれてよい。

いくつかの構成では、画像取得器336は、1つまたは複数の画像(たとえば、魚眼画像、半楕円体、半球体など)を要求および/または受信し得る。たとえば、画像取得器336は、通信インターフェース334を介して、1つまたは複数の画像を、リモートデバイス(たとえば、外部カメラ、リモートサーバ、リモート電子デバイスなど)に対して要求し、かつ/またはそこから受信し得る。カメラから取得された画像は、サラウンドビュー(たとえば、立体視サラウンドビュー)を生じるように、プロセッサ320によって処理され得る。

「半楕円体」は、魚眼カメラによって取り込まれた画像データを、および/または湾曲面にマッピングされた画像データを指し得ることに留意されたい。たとえば、半楕円体は、半楕円体(たとえば、半球体)の形状が曲がって、および/または歪んで見える画像データを含み得る。いくつかの構成では、半楕円体は、2次元の(2D)画像データを含み得る。図7が、半楕円体の例を含む。

プロセッサ320は、レンダラ330を含み、かつ/または実装することができる。レンダラ330は、画像データ(たとえば、半楕円体)に基づいて、サラウンドビュー(たとえば、立体視および/または平面視ビュー)をレンダリングすることができる。たとえば、レンダラ330は、第1のレンダリング形状(たとえば、第1の楕円体、第1の楕円ビュー、第1のレンダリング球体、左レンダリング形状など)と、第2のレンダリング形状(たとえば、第2の楕円体、第2の楕円ビュー、第2のレンダリング球体、右レンダリング形状など)とを含むサラウンドビューをレンダリングし得る。レンダラ330は、画像マッパ338および/またはレンズコンシーラ340を含み得る。

プロセッサ320は、画像マッパ338を含み、かつ/または実装することができる。画像マッパ338は、画像をレンダリング形状にマッピングし得る。たとえば、画像マッパ338は、レンダリング形状の間で画像(たとえば、画像範囲、半楕円体など)を入れ替えることができる。これは、図4〜図6、図14、図17〜図18のうちの1つまたは複数に関して説明するように遂行され得る。たとえば、画像マッパ338は、第1のレンダリング形状(たとえば、第1の楕円ビュー)と第2のレンダリング形状(たとえば、第2の楕円ビュー)との間で、異なるレンズペアに対応する画像を入れ替えることができる。異なるレンズペアに対応する画像を入れ替えることで、逆立体視差を回避することができる。追加または代替として、画像マッパ338は、異なる視角で起こる、変化する焦点面シフトを助けるために、2つ以上の半楕円体を入れ替えてよい。

プロセッサ320は、レンズコンシーラ340を含み、かつ/または実装することができる。レンズコンシーラ340は、ビュー中で、魚眼レンズの外見を隠すことができる。いくつかの構成では、これは、図7〜図10および図15〜図22のうちの1つまたは複数に関して説明するように遂行され得る。いくつかの手法では、レンズコンシーラは、軸に対する範囲内を除いて、立体視ビューを(たとえば、すべての方向で)レンダリングし得る。たとえば、右前魚眼レンズが、軸に沿って(たとえば、ほぼ同じ平面において)左前魚眼レンズの隣に搭載されると仮定する。右前魚眼レンズは、左側の軸の周りの範囲内にビューがある、左前魚眼レンズを示す画像データを取り込むことができる。その範囲内の立体視ビューをレンダリングするのではなく、レンズコンシーラ340は、その範囲内の、(単一の魚眼レンズからの)平面視ビューに切り替えてよい。したがって、サラウンドビューは、いくつかの手法では、少なくとも1つの立体視ビュー範囲および少なくとも1つの平面視ビュー範囲を含み得る。

いくつかの構成では、レンダラ330(たとえば、レンズコンシーラ340)は、立体視ビューと平面視ビューとの間のフェードを実施することができ、かつ/または立体視ビューと平面視ビューとをブレンドすることができる。これは、立体視ビューと平面視ビューとの間の、より円滑な遷移を提供するのを助け得る。

いくつかの構成では、レンダラ330は、複数のレンズからの画像(たとえば、半楕円体)をレンダリング形状(たとえば、楕円体、楕円ビュー、球体など)に投影することができる。たとえば、レンダラ330は、(ビューを合成するのではなく)画像をレンダリング形状にネイティブマッピングする(たとえば、直接投影する)ことができる。このようにして、装置302は、いくつかの手法では、画像を整列し直すのを回避することができる。

プロセッサ320は、サラウンドビュー(たとえば、立体視ビューおよび/または平面視ビュー)を提供し得る。たとえば、プロセッサ320は、ビューを、表示のためにディスプレイ342に提供し得る。追加または代替として、プロセッサ320は、ビューを(たとえば、通信インターフェース334を介して)別のデバイスに送ってよい。

いくつかの構成では、サラウンドビュー(たとえば、立体視サラウンドビュー)は、ADASにおいて使用され得る。たとえば、サラウンドビューは、運転者が衝突を回避するのを支援するために、車両中のユーザに提示され得る。たとえば、サラウンドビューは、車両をバックさせている運転者に提示されてよく、これにより、運転者が、車両を、駐車場の中の別の車両または歩行者に衝突させるのを回避するのを助けることができる。立体視ビューを提供することにより、運転者を奥行認知で支援することができる。

ビューは、ある形状の中にレンダリングされ得る。たとえば、ビューは、楕円体(たとえば、球体)の内部としてレンダリングされ得る。

ビューは、ある視点(たとえば、パースペクティブ、カメラアングルなど)から提示され得る。たとえば、仮想現実ヘッドセットが、ビューのある部分を、特定のパースペクティブから見せることができる。視点は、レンダリングされた形状(たとえば、楕円体、球体など)の中心に置かれ得る。

いくつかの構成では、レンズコンシーラ340は、立体視サラウンドビューをレンダリングする際に、妨害レンズを避けることができる。たとえば、レンダラ330(たとえば、レンズコンシーラ340)は、(部分的または完全な)立体視サラウンドビューを提供しながら、妨害物が回避されるように、画像をレンダリング楕円体にネイティブマッピングすることができる。いくつかの手法では、レンズコンシーラ340は、第1の画像を、第1のレンダリング楕円体(たとえば、球体)の範囲にネイティブマッピングし、第1の画像を、第2のレンダリング楕円体の範囲にネイティブマッピングすることができる。レンダリング楕円体の各々は、ユーザの目に対応し得る。さらなる詳細が、図4〜図22のうちの1つまたは複数に関連して与えられる。

いくつかの構成では、レンダラ330(たとえば、画像マッパ338、レンズコンシーラ340など)は、逆立体視差を回避することができる。たとえば、レンダラ330は、複数の画像を第1のレンダリング楕円体にネイティブマッピングすることができ、複数の画像を第2のレンダリング楕円体にマッピングすることができ、ここで、複数の画像は、第1のレンダリング楕円体および第2のレンダリング楕円体の異なる範囲にネイティブマッピングされる。さらなる詳細が、図4〜図22のうちの1つまたは複数に関連して与えられる。

メモリ322は、命令および/またはデータを記憶することができる。プロセッサ320は、メモリ322にアクセスする(たとえば、そこから読み出し、かつ/またはそこに書き込む)ことができる。メモリ322によって記憶され得る命令および/またはデータの例は、画像データ(たとえば、半楕円体データ)、レンダリングデータ(たとえば、ジオメトリデータ、ジオメトリパラメータ、ジオメトリ視点データ、ジオメトリシフトデータ、ジオメトリ回転データなど)、範囲データ(たとえば、所定の範囲および/または画像データ中に妨害レンズが現れる範囲)、画像取得器336命令、レンダラ330命令、画像マッパ338命令、および/またはレンズコンシーラ340命令などを含み得る。

メモリ322は、画像と、プロセッサ320による動作を実施するための命令コードとを記憶することができる。メモリ322は、電子情報を記憶することが可能な任意の電子構成要素であってよい。メモリ322は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスク記憶媒体、光記憶媒体、RAMのフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、EPROMメモリ、EEPROMメモリ、レジスタなど、およびそれらの組合せを含んで具現化され得る。

データおよび命令は、メモリ322に記憶され得る。命令は、本明細書で説明する方法のうちの1つまたは複数を実装するためにプロセッサ320によって実行可能であり得る。命令を実行することは、メモリ322に記憶されたデータの使用を伴い得る。プロセッサ320が命令を実行すると、命令の様々な部分がプロセッサ320上にロードされてよく、データの様々な断片がプロセッサ320上にロードされてよい。

いくつかの構成では、装置302は、ディスプレイ342上にユーザインターフェース328を提示することができる。たとえば、ユーザインターフェース328は、ユーザが装置302と対話することを可能にし得る。いくつかの構成では、ユーザインターフェース328は、ユーザが選好(たとえば、ビュー設定)を示し、かつ/またはビューと対話することを可能にし得る。たとえば、ユーザインターフェース328は、サラウンドビューを変更する(たとえば、ズームインまたはアウトし、サラウンドビューを回転し、サラウンドビューをシフトし、サラウンドビュー形状を変更し、サラウンドビュー視点を変更する、など)ための1つまたは複数のコマンドを受信し得る。

ディスプレイ342は、装置302の中に統合されてよく、かつ/または装置302に結合されてよい。たとえば、装置302は、一体型ディスプレイ付きの仮想現実ヘッドセットであってよい。別の例では、装置302は、ディスプレイ342付きの仮想現実ヘッドセットに結合されているコンピュータであってよい。さらに別の例では、装置302は車両であり得る。車両は、サラウンドビューを生じるための画像を取得するように構成された複数のレンズを有し得る。いくつかの構成では、車両は、サラウンドビューを出力するように構成された1つまたは複数の一体型ディスプレイ342を有し得る。

装置302(たとえば、プロセッサ320)は、任意選択で、1つまたは複数の種類のデバイスに結合され、デバイスの一部であり(たとえば、デバイスに統合され)、デバイスを含み、かつ/またはデバイスを実装し得る。たとえば、装置302は、カメラを装備するドローンにおいて実装され得る。装置302は、ドローン上の複数の魚眼カメラによって取り込まれたシーンのサラウンドビューを提供することができる。別の例では、装置302(たとえば、プロセッサ320)は、(複数の魚眼カメラを含む)アクションカメラにおいて実装され得る。

電子デバイスの要素または構成要素のうちの1つまたは複数は組み合わされ、かつ/または分割され得ることに留意されたい。たとえば、画像取得器336、レンダラ330、画像マッパ338および/またはレンズコンシーラ340が組み合わされてよい。追加または代替として、画像取得器336、レンダラ330、画像マッパ338および/またはレンズコンシーラ340のうちの1つまたは複数は、それらの動作のサブセットを実施する要素または構成要素に分割されてよい。

図3に関して説明される要素または構成要素のうちの1つまたは複数は任意選択であり得ることに留意されたい。たとえば、装置302は、いくつかの構成では、画像センサー324、光学システム326、通信インターフェース334、アンテナ332、プロセッサ320、メモリ322および/またはディスプレイ342のうちの1つまたは複数を含まなくてよく、かつ/または実装しなくてよい。追加または代替として、装置302は、いくつかの構成では、画像マッパ338またはレンズコンシーラ340を実装しなくてよい。いくつかの実装形態では、画像マッパ338および/またはレンズコンシーラ340は、独立回路構成として(たとえば、プロセッサの一部としてではなく)実装され得る。いくつかの構成では、装置のグループ(たとえば、ドローンの大群、車両のグループなど)が、1つまたは複数のサラウンドビューを生じるように協調し得る。たとえば、装置302のセットが、画像データに基づいて1つまたは複数のサラウンドビューをレンダリングすることができる別の装置302に、画像データを提供し(たとえば、送り、送信し、など)得る。

図4は、レンズ(たとえば、魚眼レンズ)の配置に基づくビュー範囲(たとえば、視野)を示す図である。装置402(たとえば、魚眼レンズ)のトップダウン図を、図4に示す。図4に関して説明する装置402は、本明細書で説明される装置102、202、302のうちの1つまたは複数の、一例であり得る。この例では、装置402は、左前魚眼レンズ404、右後魚眼レンズ406、右前魚眼レンズ410および左後魚眼レンズ412を含む。図4に示すように、装置402は、魚眼レンズペアA 408aおよび魚眼レンズペアB 408bを含み得る。たとえば、左前魚眼レンズ404と右後魚眼レンズ406が、魚眼レンズペアA 408a(たとえば、二重魚眼レンズ)を形成し得る。追加または代替として、右前魚眼レンズ410と左後魚眼レンズ412が、魚眼レンズペアB 408b(たとえば、二重魚眼レンズ)を形成し得る。

図4に示す配置によると、ビューイング方向が前方であるとき、2つの前方レンズ404、410の位置が、ビューイング方向に対して直角にレイアウトされるので、立体視ビュー範囲A 446aが達成され得る。言い換えると、図4に示す立体視ビューの前方フィールドが達成され得る。その上、視点方向が後方であるとき、2つの後方レンズ406、412の位置が、ビューイング方向に対して直角にレイアウトされるので、立体視ビュー範囲B 446bが達成され得る。言い換えると、図4に示す立体視ビューの後方フィールドが達成され得る。

ただし、視点方向が、左または右のいずれかであるとき、2つのレンズの位置が、ビューイング方向にほぼ沿ってレイアウトされるので、平面視ビュー範囲A 444aまたは平面視ビュー範囲B 444bが生じられ得る。言い換えると、図4に示すモノビューの左フィールドおよびモノビューの右フィールドが生じられ得る。たとえば、右前魚眼レンズ410のパースペクティブから妨害左前魚眼レンズ404を見せるのを回避するために、平面視ビュー範囲A 444aの前部が、左前魚眼レンズ404からの画像を有して生じられ得る。

図5は、半楕円体の入れ替えの例を示す図である。具体的には、図5は、レンズ構成548の一例を示す。これは、図1に示した配置と同様である。たとえば、図1に関連して記載し、かつ/または図5のレンズ構成に示すように、装置(たとえば、360度立体視カメラ)が、4つの魚眼レンズ504、506、510、512を含み得る。

具体的には、装置の前側が、左前魚眼レンズ504および右前魚眼レンズ510を含み得る。図示されるように、左前魚眼レンズ504は第1の魚眼レンズペアにあってよく、右前魚眼レンズ510は第2の魚眼レンズペアにあってよい。さらに、デバイスの後側は、右後魚眼レンズ506および左後魚眼レンズ512を含み得る。右後魚眼レンズ506は第1の魚眼レンズペアにあってよく、左後魚眼レンズ512は第2の魚眼レンズペアにあってよい。ラベルA(1)、A(2)、B(1)、およびB(2)は、レンダリング形状における画像取込みレンズと画像レンダリング位置との間の対応を示す。

魚眼画像(たとえば、半楕円体)は、レンダリング形状(たとえば、楕円体、球体など)においてマッピングおよび/またはレンダリングされ得る。形状の各々は、サイド(たとえば、左目または右目)に対応し得る。たとえば、装置(たとえば、電子デバイス)が、ヘッドマウントディスプレイ(たとえば、仮想現実ヘッドセットなど)または他のディスプレイ(たとえば、3D TVなど)を用いて、立体視サラウンドビュー(たとえば、360度立体視ビュー)を3次元(3D)でレンダリングすることができる。カメラによって取り込まれた画像またはビデオを眺めるために、レンダリング形状(たとえば、仮想球体)が、レンダリングプロセスにおいて画像またはビデオを投影するのに使われ得る。

図5において、レンダリング構成A 550は、仮想球体を伴う3Dレンダリングの一例を示す。仮想球体は、左レンダリング球体A(たとえば、左目ビューイング球体)および右レンダリング球体A(たとえば、右目ビューイング球体)を伴ってレンダリングされ得る。第1の魚眼レンズペアが左レンダリング形状(たとえば、左目用の仮想球体)にマッピングされ、第2の魚眼レンズペアが右レンダリング形状(たとえば、右目用の仮想球体)にマッピングされる場合、レンダリング形状は、視点方向が後方であるとき、正しくない側に対応し得る。たとえば、ユーザが、レンダリングされたシーンを後への方向で眺める場合、左後魚眼レンズ512は、ユーザの右目用の画像を提供し、右後魚眼レンズ506は、ユーザの左目用の画像を提供する。この問題は、逆立体視差と呼ばれ得る。たとえば、半楕円体が入れ替えられない場合、右および左ビューは、視点方向が後方であるとき、反転される。レンダリング構成A 550は、この配置の例を示す。半楕円体を入れ替えることなく、左レンダリング球体A 554は、右後魚眼レンズ506からの画像データを含むことになり、右レンダリング球体A 556は、左後魚眼レンズ512からの画像データを含むことになる。この場合、後に向かう右側ビューはユーザの左目にマッピングされることになり、後に向かう左側ビューはユーザの右目にマッピングされることになる。

レンダリング構成B 552は、半楕円体の入れ替えを示す。たとえば、右後魚眼レンズ506および左後魚眼レンズ512からの半楕円体が入れ替えられ得る。たとえば、左レンダリング形状B 558(たとえば、左目ビュー)をレンダリングするとき、左前魚眼レンズ504および左後魚眼レンズ512によって取り込まれた半楕円体(たとえば、画像またはビデオ)は、左レンダリング形状B 558にマッピングされ得る。たとえば、左前魚眼レンズ504および左後魚眼レンズ512からの半楕円体が、左レンダリング形状B 558上にマッピングされたテクスチャ(たとえば、仮想球体用の左ビュー)として使われ得る。

右レンダリング形状B 560(たとえば、右目ビュー)をレンダリングするとき、右前魚眼レンズ510および右後魚眼レンズ506によって取り込まれた半楕円体(たとえば、画像またはビデオ)は、右レンダリング形状B 560にマッピングされ得る。たとえば、右前魚眼レンズ510および右後魚眼レンズ506からの半楕円体が、右レンダリング形状B 560においてマッピングされたテクスチャ(たとえば、仮想球体用の右ビュー)として使われ得る。半楕円体を入れ替えると、逆立体視差問題を緩和することができる。図5の左レンダリング形状B 558および右レンダリング形状B 560に示すカメラは、左レンダリング形状B 558および右レンダリング形状B 560における視角の例を示し得ることに留意されたい。

レンダリング中の視点ロケーションおよび/または方向(たとえば、仮想カメラロケーションおよびビューイング方向)は、ユーザの位置および配向の手動入力または自動検出のいずれかを通して、ユーザから受信された入力によって制御され得ることに留意されたい。両目用の仮想カメラロケーションおよびビューイング方向は、同期する必要があり得る。

両眼視でのゼロ像差平面は、異なるように、左目用および右目用のレンダリング形状(たとえば、球体)にマッピングされたテクスチャを回転することによって修正され得ることに留意されたい。たとえば、左ビュー(たとえば、左目ビュー)は、右ビュー(たとえば、右目ビュー)をレンダリングするときに比較的小さい角度をアルファに加えながら、視点方向アルファでレンダリングされ得る。アルファが正の値であるとき、これは、左目ビューポートおよび右目ビューポートを互いにより近くに移動することと等価であり得る。この結果、ゼロ像差平面をさらに離れて移動することになり得る。アルファが負のときは、ゼロ像差平面をより近くに移動することになり得る。

図6は、半楕円体を入れ替えるための方法600の一構成を示す流れ図である。方法600は、たとえば、1つまたは複数の図1〜図4に関連して説明した装置102、202、302、402のうちの1つまたは複数によって実施され得る。装置302は、602において、レンズ(たとえば、魚眼レンズ)から画像(たとえば、半楕円体)を取得し得る。これは、図1〜図3および図5のうちの1つまたは複数に関して説明したように遂行され得る。たとえば、装置302は、602において、複数のレンズから複数の画像を取得し得る。

装置302は、604において、レンダリング形状(たとえば、楕円体、楕円ビューなど)の間で、異なるレンズペアに対応する画像(たとえば、半楕円体)を入れ替えることができる。これは、逆立体視差を回避するために実施されてよい。たとえば、装置302は、604において、サラウンドビューをレンダリングするために、第2の半楕円体を第4の半楕円体と入れ替えることができる。これは、図3および図5のうちの1つまたは複数に関して説明したように遂行され得る。

装置302は、606において、レンダリング形状に基づいてサラウンドビューを提供し得る。これは、図3に関して説明されたように遂行され得る。たとえば、装置302(たとえば、プロセッサ320)は、サラウンドビューを、装置上の1つもしくは複数のディスプレイに提供してよく、かつ/またはサラウンドビューを別の装置もしくはデバイスに送ってよい。

図7は、半楕円体762、764、766、768の例を示す。具体的には、図7は、左前半楕円体762、右後半楕円体766、右前半楕円体764および左後半楕円体768を示す。図7において見ることができるように、左前魚眼レンズ704および右後魚眼レンズ706を含む第1の魚眼レンズペア(たとえば、魚眼レンズペアA 108aまたは第1の二重魚眼レンズ)が、(右前魚眼レンズ710から)右前半楕円体764および(左後魚眼レンズ712から)左後半楕円体768に取り込まれ得る。さらに、右前魚眼レンズ710および左後魚眼レンズ712を含む第2の魚眼レンズペア(たとえば、魚眼レンズペアB 108bまたは第2の二重魚眼レンズ)が、(左前魚眼レンズ704から)左前半楕円体762および(右後魚眼レンズ706から)右後半楕円体766に取り込まれ得る。右後半楕円体766および左後半楕円体768は、本明細書で開示するシステムおよび方法に従ってスワップされ(たとえば、入れ替えられ)得ることに留意されたい。

これらの半楕円体が、立体視画像を生成するのに使われていた場合、隣接カメラペアからの魚眼レンズは、得られた取込み立体視画像を妨害する。たとえば、レンダリングされた360度混成画像は、すべての4つの取り込まれた画像を複合する。レンダリングされた360度混成画像において視点方向が真っ直ぐ前(軸上)であるとき、他の魚眼レンズは可視的でない場合がある。ただし、ビュー方向が斜角にあるとき、他の二重魚眼レンズはビューを妨害し得る。

図8は、サラウンドビューにおける妨害レンズを避けることに関する追加詳細を示す図である。具体的には、図8は、左レンダリング形状858(たとえば、楕円体)および右レンダリング形状860(たとえば、楕円体)を示す。左レンダリング形状858はユーザの左目に対応してよく、右レンダリング形状860はユーザの右目に対応してよい。この例では、図5に関連して記載したレンズ構成548と同様のレンズ構成を使用し得る。たとえば、左前半楕円体862は左前レンズによって取得されてよく、右前半楕円体864は右前レンズによって取得されてよく、左後半楕円体868は左後レンズによって取得されてよく、右後半楕円体866は右後レンズによって取得されてよい。左前半楕円体862および左後半楕円体868は、左レンダリング形状858にマッピング(たとえば、ネイティブマッピング)され得る。右前半楕円体864および右後半楕円体866は、右レンダリング形状860にマッピング(たとえば、ネイティブマッピング)され得る。図8の左レンダリング形状858および右レンダリング形状860の中心に示すレンズは、左レンダリング形状858および右レンダリング形状860におけるビューイング起点の例を示し得ることに留意されたい。

この例では、レンダリング形状858、860は、第1の角度A 870aおよび第1の角度B 870b(たとえば、シーンの前の大部分)の重なる範囲内で、ならびに第3の角度A 874aおよび第3の角度B 874b(たとえば、シーンの後の大部分)の重なる範囲内で、立体視ビューを提供し得る。図8は、立体視サラウンドビュー(たとえば、360度立体視ビュー)レンダリング中に他の妨害レンズを見せるのを回避するための手法を示す。たとえば、この手法は、レンダリング形状(たとえば、仮想球体、仮想楕円体など)を用いた3Dレンダリング中に1つまたは複数の妨害レンズを見せ、かつ/またはレンダリングするのを回避することができる。

4つの魚眼レンズをもつ360度立体視カメラの配置の一例が、図1に関連して与えられる。図7に関連して記載した別のレンズ(たとえば、カメラ)を表示するのを回避するために、4つのセグメントが、レンダリング形状(たとえば、仮想楕円体、球体など)を用いる3Dビューレンダリング中に特別に扱われてよい。図8に示すように、左前魚眼レンズ804は第2の角度B 872bで現れてよく、右前魚眼レンズ810は第4の角度A 876aで現れてよく、右後魚眼レンズ806は第2の角度A 872aで現れてよく、左後魚眼レンズ812は第4の角度B 876bで現れてよい。

左レンダリング形状858における第2の角度A 872aは、ほぼ180度で始まり、右後魚眼レンズ806が可視的である終了角度までの角度範囲(または対応する負の角度範囲)であってよい。左レンダリング形状858について、視点方向が180度を超えて左を向いている場合、右後魚眼レンズ806は、左レンダリング形状858の第2の角度A 872aで現れる。ただし、右後半楕円体866は、その範囲内で無妨害である。

右レンダリング形状860における第2の角度B 872bは、左前魚眼レンズがほぼ180度まで可視的である所で始まる斜角である。右レンダリング形状860について、視点方向が左を向いている場合、左前魚眼レンズは、右レンダリング形状860の第2の角度B 872bで現れる。ただし、左前半楕円体862は、その範囲内で無妨害である。

右レンダリング形状860における第4の角度B 876bは、180度よりも大きい所で始まり、左後魚眼レンズ812が可視的であるほぼ360(または0)度までの角度範囲(または対応する負の角度範囲)であり得る。右レンダリング形状860について、視点方向が0度を過ぎて右を向いている場合、左後魚眼レンズ812は、右レンダリング形状860の第4の角度B 876bで現れる。ただし、左後半楕円体は、その範囲内で無妨害である。

左レンダリング形状858における第4の角度A 876aは、ほぼ0度で始まり、右前魚眼レンズ810が可視的である終了角度までの角度範囲(または対応する負の角度範囲)であってよい。左レンダリング形状858について、視点方向が右を向いている場合、右前魚眼レンズ810は、左レンダリング形状858の第4の角度A 876aで現れる。ただし、右前半楕円体は、その範囲内で無妨害である。

左レンダリング形状858(たとえば、左目ビューイング球体)について、左後半楕円体868中の1つのセグメントは、右後半楕円体866からの対応するセグメントで置き換えられてよい。追加または代替として、左前半楕円体862中のセグメントは、右前半楕円体864からの対応するセグメントで置き換えられてよい。

右レンダリング形状860(たとえば、右目ビューイング球体)について、右後半楕円体866中の1つのセグメントは、左後半楕円体868からの対応するセグメントで置き換えられてよい。追加または代替として、右前半楕円体864中のセグメントは、左前半楕円体862からの対応するセグメントで置き換えられてよい。

置換え手続きは、1つまたは複数の妨害レンズ(たとえば、カメラレンズ)を見せ、かつ/またはレンダリングするのを回避することができる。左および右ビューフィールドは、図4に関連して上述したように、平面視ビューであり得るので、置換え手続きはビューイング品質に影響しなくてよい。さらなる詳細が、図9A〜図9Cにおいて与えられる。

図9Aは、半楕円体から妨害レンズを取り除くための手法の例を示す図である。たとえば、装置302は、レンダリング中に、妨害付き画像範囲(妨害レンズが現れる)を無妨害画像範囲と置き換えることができる。

半楕円体A 978a(たとえば、左前半楕円体および左後半楕円体)ならびに半楕円体B 978b(たとえば、右前半楕円体および右後半楕円体)が、図9Aに示されている。半楕円体A 978aは第1のレンダリング形状(たとえば、楕円体、球体など)にマッピングされてよく、半楕円体B 978bは第2のレンダリング形状にマッピングされてよい。図9Aに示すように、半楕円体A 978aおよび半楕円体B 978bの各々は、妨害物(たとえば、妨害レンズ)が取り込まれる範囲(たとえば、角度範囲)を含み得る。これらの範囲は、妨害付きウェッジと呼ばれ得る。たとえば、妨害物は、図7〜図8に関連して記載した魚眼レンズであってよい。本明細書に記載する手法は、他の種類の妨害物(たとえば、電子デバイスの一部、デバイスハウジングの一部、ドローンプロペラ、壁など)に適用され得ることに留意されたい。たとえば、半楕円体A 978aは、第1の妨害付きウェッジA 982aおよび第2の妨害付きウェッジA 986aを含み得る。さらに、半楕円体B 978bは、第1の妨害付きウェッジB 982bおよび第2の妨害付きウェッジB 986bを含み得る。

その上、半楕円体A 978aおよび半楕円体B 978bの各々は、無妨害(たとえば、図8に関連して記載したように)である範囲(たとえば、角度範囲)を含み得る。これらの範囲は、無妨害ウェッジと呼ばれ得る。たとえば、半楕円体A 978aは、第1の無妨害ウェッジA 980aおよび第2の無妨害ウェッジA 984aを含み得る。さらに、半楕円体B 978bは、第1の無妨害ウェッジB 980bおよび第2の無妨害ウェッジB 984bを含み得る。

装置302は、画像データ中で、妨害魚眼レンズを排除するために、レンダリング中に妨害付きウェッジを無妨害ウェッジで置き換えることができる。たとえば、装置302は、第1の妨害付きウェッジA 982aを第1の無妨害ウェッジB 980bで置き換えることができ、第2の妨害付きウェッジA 986aを第2の無妨害ウェッジB 984bで置き換えることができ、第1の妨害付きウェッジB 982bを第1の無妨害ウェッジA 980aで置き換えることができ、かつ/または第2の妨害付きウェッジB 986bを第2の無妨害ウェッジA 984aで置き換えることができる。追加および/または代替の妨害付き範囲が、対応する無妨害範囲で置き換えられてよいことに留意されたい。

いくつかの構成では、この置換え手法は、図3〜図6に関連して記載した半楕円体入れ替え手法とともに実施され得る。たとえば、上述したように半楕円体を入れ替えると、妨害付き画像ウェッジは、対応する無妨害画像ウェッジで置き換えられ得る。

図9Bは、図9Aに関連して記載したように、妨害付きウェッジを無妨害ウェッジ980a〜b、984a〜bで置き換えた後の半楕円体978a〜bの例を示す。画像ウェッジ置換えの結果、スティッチング(たとえば、比較的軽微または最小のスティッチング)が行われ得ることに留意されたい。たとえば、図9Bにおいて破線で示すように、異なるハッチングエリアの間のスティッチングがあり得る。

図9Cは、少なくとも1つの立体視ビュー範囲988a〜bおよび少なくとも1つの平面視ビュー範囲990a〜bを含むサラウンドビューの例を示す図である。たとえば、図9A〜図9Bに関連して記載したウェッジ置換え手法は、1つまたは複数の立体視ビュー988a〜b(たとえば、視野の大部分を覆い得る)と、角度のある1つまたは複数の平面視ビュー990a〜b(たとえば、軸992の近く)との間の切り替えとして記載される場合がある。

図9Cに示すように、装置302は、少なくとも1つの立体視ビュー範囲988a〜bと少なくとも1つの平面視ビュー範囲990a〜bの組合せに基づいて、サラウンドビューを提供(たとえば、レンダリング)し得る。たとえば、装置302は、立体視ビュー範囲A 988aにおいて、および/または立体視ビュー範囲B 988bにおいて、立体視ビューをレンダリングし得る。さらに、装置302は、平面視ビュー範囲A 990aにおいて、および/または平面視ビュー範囲B 990bにおいて、平面視ビューをレンダリングし得る。平面視ビュー範囲A 990aおよび/または平面視ビュー範囲B 990bは、軸992に対する角度範囲であり得る。いくつかの構成では、平面視ビュー範囲990a〜bは、軸上に及び得る。置換え手法(たとえば、平面視および立体視混成手法)は、いくつかの構成では、ネイティブマッピングのコンテキストにおいて(たとえば、ビュー合成のコンテキストにおいてではなく)実施され得ることに留意されたい。

視点方向が真っ直ぐ前(たとえば、原点において軸992に対して直角)であるとき、レンダリングされたビューは立体であってよく、これにより、ビューに奥行感を与えることができる。ただし、軸992の近くで視点方向が右に、または左に向けられているとき、レンダリングされたビューは、1つまたは複数の妨害レンズがビューに現れることを回避するために、平面視ビューに切り替わる場合がある。平面視ビュー範囲は、妨害魚眼レンズが現れることになる範囲(たとえば、その範囲よりも大きいか、または等しい範囲)を含み得ることに留意されたい。サラウンドビュー(たとえば、水平および垂直角度の両方において360度に及ぶフルサラウンドビュー)はしたがって、1つまたは複数の立体視ビュー範囲988a〜bおよび1つまたは複数の平面視ビュー範囲988bを含み得る。

図10は、少なくとも1つの立体視ビュー範囲および少なくとも1つの平面視ビュー範囲をもつサラウンドビューをレンダリングするための方法1000の一構成の例を示す流れ図である。方法1000は、本明細書に記載する装置102、202、302のうちの1つまたは複数(たとえば、図2に関連して記載した装置202および/または図3に関連して記載した装置302)によって実施され得る。

装置302は、1002において、レンズ(たとえば、魚眼レンズ)から取得された(たとえば、取り込まれた)半楕円体を取得し得る。これは、図1〜図3および図5〜図8のうちの1つまたは複数に関して説明したように遂行され得る。

装置302は、1004において、少なくとも1つの立体視ビュー範囲をレンダリングし得る。これは、図9A〜図9Cのうちの1つまたは複数に関して説明されたように遂行され得る。たとえば、立体視ビューは、少なくとも2つのレンズ(たとえば、魚眼レンズ)において妨害レンズが現れない範囲内にレンダリングされ得る。

装置302は、1006において、少なくとも1つの平面視ビュー範囲をレンダリングし得る。これは、図9A〜図9Cのうちの1つまたは複数に関して説明されたように遂行され得る。たとえば、平面視ビューは、半楕円体において妨害レンズが現れる(または現れるはずである)範囲内にレンダリングされ得る。少なくとも1つの立体視ビュー範囲のレンダリング1004および少なくとも1つの平面視ビュー範囲のレンダリング1006は、サラウンドビューのレンダリングの一部として実施され得ることに留意されたい。たとえば、サラウンドビューは、少なくとも1つの立体視ビュー範囲および少なくとも1つの平面視ビュー範囲を含み得る。

装置302は、サラウンドビューを提供することができる。これは、図3に関して説明されたように遂行され得る。たとえば、装置302(たとえば、プロセッサ320)は、サラウンドビューを、デバイス上の1つもしくは複数のディスプレイに提供してよく、かつ/またはサラウンドビューを別のデバイスに送ってよい。追加または代替として、装置302は、サラウンドビューの一部分(たとえば、現在のビューイング方向に基づく、現在閲覧可能範囲内の部分)を提供し得る。

立体視ビュー範囲および平面視ビュー範囲を含むサラウンドビューをレンダリングするときに起こり得る1つの問題点は、立体視ビュー範囲と平面視ビュー範囲との間のハード遷移である。いくつかの構成では、装置302は、少なくとも1つの立体視ビュー範囲と少なくとも1つの平面視ビュー範囲との間でフェードを実施することができる。たとえば、装置302は、立体視ビュー範囲から平面視ビュー範囲に遷移する範囲内で置換え半楕円体をフェードインする間、妨害物を含む1つの半楕円体をフェードアウトすることができる。たとえば、無妨害ウェッジは、妨害付き範囲の近くでのフェージングおよび/またはブレンディングのためのある程度の重なりを可能にするために、妨害付き範囲よりも大きくてよい。追加または代替として、装置302は、平面視ビュー範囲から立体視ビュー範囲に遷移する範囲内で、立体視半楕円体をフェードインする間、1つまたは複数の平面視半楕円体をフェードアウトすることができる。いくつかの手法では、フェードは、立体視ビュー範囲および/または平面視ビュー範囲の一部分において実施され得る。たとえば、フェードは、立体視ビュー範囲と平面視ビュー範囲との間のバッファ領域において起こり得る。

いくつかの構成では、装置302は、少なくとも1つの立体視ビュー範囲と少なくとも1つの平面視ビュー範囲とをブレンドすることができる。たとえば、装置302は、立体視ビュー範囲から平面視ビュー範囲に遷移する範囲内で、および/または平面視ビュー範囲から立体視ビュー範囲に遷移する範囲内で、平面視ビュー範囲を立体視ビュー範囲とブレンドすることができる。いくつかの手法では、ブレンドは、立体視ビュー範囲および/または平面視ビュー範囲の一部分において実施され得る。たとえば、ブレンドは、立体視ビュー範囲と平面視ビュー範囲との間のバッファ領域において起こり得る。いくつかの構成では、ブレンドは重み付きブレンドであってよい。フェードイン/フェードアウト手法および/またはブレンド(たとえば、重み付きブレンド)手法は、平面視および立体視ビュー領域の間のよりソフトな遷移を提供するのを助け得る。

本明細書で開示するシステムおよび方法は、立体視サラウンド画像および/またはビデオを生じるときに起こり得る以下の問題点のうちの1つまたは複数を緩和することができる。いくつかの手法は、レンズ/魚眼レンズの間の大きい距離を必要とする、かつ/または平面視(奥行なし)サラウンド画像を生じるだけである、大きい形状因子を有する。立体視画像のレンダリング中、視線方向は、2D平面焦点深度に影響し得る。たとえば、真っ直ぐ前を見つめると、1つの奥行において焦点深度が生じ得る。視点方向が一定の角度で左(真っ直ぐ前に対して)を見つめると、焦点深度は、2Dシーンがより近くに見えるようにシフトする。視点方向が右を見つめる場合、焦点深度は、2Dシーンがさらに離れて見えるようにシフトする。取込み手続きの修正なしで、ユーザが、他の魚眼レンズペアが斜角で置かれている側を(レンダリングされた立体視画像を眺めるために)見つめているとき、他の魚眼レンズペアが、得られた取込み立体視画像中に取り込まれる。平面視および立体視ビューの間を切り替えるとき、ハード遷移が起こり得る。

図11は、半楕円体を入れ替えるための方法1100の一構成を示す流れ図である。たとえば、図11は、第1のレンダリング形状(たとえば、第1の楕円ビュー)と第2のレンダリング形状(たとえば、第2の楕円ビュー)との間の、異なるレンズペアに対応する画像の入れ替えに基づいて逆立体視差を回避するための方法1100を記載し得る。方法1100は、本明細書に記載する装置102、202、302のうちの1つまたは複数(たとえば、図2に関連して記載した装置202および/または図3に関連して記載した装置302)によって実施され得る。装置302は、1102において、レンズ(たとえば、魚眼レンズ)から取り込まれた半楕円体を取得し得る。これは、図1〜図3および図5のうちの1つまたは複数に関して説明したように遂行され得る。

装置302は、1104において、半楕円体をレンダリング形状にマッピングし(たとえば、ネイティブマッピングし)得る。たとえば、装置302は、1104において、レンズ(たとえば、第1の魚眼レンズペアに対応する第2の魚眼レンズ)からの画像データを、レンダリング形状(たとえば、第2の魚眼レンズペアに対応する第2のレンダリング形状)にマッピングし得る。これは、図3および図5のうちの1つまたは複数に関して説明したように遂行され得る。

装置302は、1106において、別の半楕円体を別のレンダリング形状にマッピングし(たとえば、ネイティブマッピングし)得る。たとえば、装置302は、1106において、別のレンズ(たとえば、第2の魚眼レンズペアに対応する第4の魚眼レンズ)からの画像データを、別のレンダリング形状(たとえば、第1の魚眼レンズペアに対応する第1のレンダリング形状)にマッピングし得る。これは、図3および図5のうちの1つまたは複数に関して説明したように遂行され得る。

図12は、半楕円体を取得するための方法1200の一構成を示す流れ図である。方法1200は、本明細書で説明する装置102、202、302のうちの1つまたは複数によって実施され得る。装置302は、1202において、第1の魚眼レンズから取り込まれた第1の半楕円体を取得し得る。たとえば、装置302は、装置302に結合されている(たとえば、その中に含まれる)第1の魚眼レンズ(たとえば、魚眼カメラ)で画像を取り込むことができる。代替として、装置302は、別のデバイスから画像を受信することができ、画像は、第1の魚眼レンズ(たとえば、魚眼カメラ)で取り込まれたものである。これは、図1〜図3のうちの1つまたは複数に関して上で説明したように遂行され得る。第1の魚眼レンズは、第1の方向に(たとえば、第1の魚眼レンズのベースまたは搭載軸に対してほぼ直角に)配向されてよいことに留意されたい。第1の魚眼レンズは、魚眼レンズのペアのうちの1つの魚眼レンズ(たとえば、二重魚眼レンズのうちの1つ)であってよい。

装置302は、1204において、第2の魚眼レンズから取り込まれた第2の半楕円体を取得し得る。たとえば、装置302は、装置302に結合されている(たとえば、その中に含まれる)第2の魚眼レンズ(たとえば、魚眼カメラ)で画像を取り込むことができる。代替として、装置302は、別のデバイスから画像を受信することができ、画像は、第2の魚眼レンズ(たとえば、魚眼カメラ)で取り込まれたものである。これは、図1〜図3のうちの1つまたは複数に関して上で説明したように遂行され得る。第2の魚眼レンズは、第2の方向(たとえば、第1の方向とはほぼ反対)に配向され得ることに留意されたい。第2の魚眼レンズは、魚眼レンズのペアのうちの1つの魚眼レンズ(たとえば、二重魚眼レンズのうちの1つ)であってよい。第1の魚眼レンズおよび第2の魚眼レンズは、ほぼ同じ軸上で互いの隣に搭載され得る。

装置302は、1206において、第3の魚眼レンズから取り込まれた第3の半楕円体を取得し得る。たとえば、装置302は、装置302に結合されている(たとえば、その中に含まれる)第3の魚眼レンズ(たとえば、魚眼カメラ)で画像を取り込むことができる。代替として、装置302は、別のデバイスから画像を受信することができ、画像は、第3の魚眼レンズ(たとえば、魚眼カメラ)で取り込まれたものである。これは、図1〜図3のうちの1つまたは複数に関して上で説明したように遂行され得る。第3の魚眼レンズは、第3の方向に(たとえば、第3の魚眼レンズのベースもしくは搭載軸に対してほぼ直角に、および/またはほぼ第1の方向に)配向され得ることに留意されたい。第3の魚眼レンズは、魚眼レンズのペアのうちの1つの魚眼レンズ(たとえば、二重魚眼レンズのうちの1つ)であってよい。

装置302は、1208において、第4の魚眼レンズから取り込まれた第4の半楕円体を取得し得る。たとえば、装置302は、装置302に結合されている(たとえば、その中に含まれる)第4の魚眼レンズ(たとえば、魚眼カメラ)で画像を取り込むことができる。代替として、装置302は、別のデバイスから画像を受信することができ、画像は、第4の魚眼レンズ(たとえば、魚眼カメラ)で取り込まれたものである。これは、図1〜図3のうちの1つまたは複数に関して上で説明したように遂行され得る。第4の魚眼レンズは、第4の方向(たとえば、第3の方向とはほぼ反対)に配向され得ることに留意されたい。第4の魚眼レンズは、魚眼レンズのペアのうちの1つの魚眼レンズ(たとえば、二重魚眼レンズのうちの1つ)であってよい。第3の魚眼レンズおよび第4の魚眼レンズは、ほぼ同じ軸上で互いの隣に搭載され得る。

図13は、サラウンドビュー再生のための機能的手法を示す図である。図13に関連して記載する再生のための手続きは、本明細書に記載する装置102、202、302のうちの1つまたは複数(たとえば、図2に関連して記載した装置202、図3に関連して記載した装置302または別の装置)によって実施され得る。

装置302は、1302において半楕円体を取得し得る。これは、図3に関して説明されたように遂行され得る。装置302は、1304において、半楕円体を1つまたは複数の形状の上にマッピングすることができる。たとえば、装置302は、1304において、半楕円体をレンダリング形状(たとえば、楕円体)の上にネイティブマッピングし得る。いくつかの構成では、装置302は、半楕円体を歪み補正し、かつ/またはレンダリング形状(たとえば、球体、楕円体など)に登録する。たとえば、装置302は、球体UVテクスチャ座標に画像登録を実施することができる。装置302は、1306において、フレームバッファにメッシュ1312(たとえば、レンダリング形状に対応するメッシュ)を描くことができる。図13に示すように、いくつかの構成では、像差調節は実施されなくてよい。

装置302は任意選択で、再生中に、左ビューと右ビューとの間の静的または動的較正を実施し得る。たとえば、装置302は、1308において、画像の間の垂直像差を削減するために、レンダリング形状(たとえば、楕円体、球体など)調節を実施し得る。たとえば、装置302は、垂直像差を削減するために球体UV調節を実施し得る。追加または代替として、装置302は、1310において、水平像差を削減するために、レンダリング形状(たとえば、楕円体、球体など)位置調節を実施し得る。たとえば、装置302は、水平像差を削減するために球体位置調節を実施し得る。装置302は、1306において、フレームバッファにメッシュ1312を描くことができる。フレームバッファは、提示のために1つまたは複数のディスプレイに設けられ得る。

図14は、サラウンドビュー(たとえば、立体視サラウンドビュー)再生の一例を示す図である。サラウンドビュー(たとえば、水平および垂直方向の両方において360度範囲を含むビュー)は、いくつかの手法では、仮想現実(VR)デバイス(たとえば、Google Cardboard)上で、または3D可能デバイス(たとえば、3D TV)上でなされ得る。いくつかの構成では、サラウンドビュー再生は、テクスチャとしてのサラウンドビュー画像またはビデオをもつ仮想楕円体(たとえば、球体)の3Dグラフィックスレンダリングに基づき得る。

サラウンドビューシーンの再生中、レンダリング形状は、その内壁にテクスチャを有して、仮想球体の内側に置かれ得る。視点は、仮想楕円体(たとえば、球体)内にあってよい。たとえば、図14の左レンダリング形状1458および右レンダリング形状1460の中心に示すカメラは、左レンダリング形状1458および右レンダリング形状1460におけるビューイング起点の例を示し得る。テクスチャは、上述したように取り込まれた画像またはビデオである。サラウンドビューは、同じデバイス上または異なるデバイス上で取り込まれ、レンダリングされ、かつ/または再生され得ることに留意されたい。

左レンダリング形状1458(たとえば、左ビュー)について、テクスチャは、左前半楕円体1462および左後半楕円体1468(たとえば、それぞれ、左前レンズおよび左後レンズによって取り込まれた画像)であり得る。各レンズは、楕円体(たとえば、球体)の前半分および後半分を覆い得る。右レンダリング形状1460(たとえば、右ビュー)について、テクスチャは、右前半楕円体1464および右後半楕円体1466(たとえば、それぞれ、右前レンズおよび右後レンズによって取り込まれた画像)であり得る。各レンズは、球体の前半分および後半分を覆い得る。各レンズは、楕円体(たとえば、球体)の前半分および後半分を覆い得る。

レンダリング中、ビューイング方向は、ビューイングデバイス上で3自由度(3DOF)の回転で、センサー(たとえば、ジャイロ、加速度計など)に従って調節され得る。レンダリング中、視点ロケーションは、ズームインのための前方移動コマンドおよび/またはズームアウトのための後方移動コマンドに従って調節され得る。

左および右ビューイング方向の両方が同期していてよい。左および右画像およびビデオ再生の両方が同期していてよい。前および後画像およびビデオ再生の両方が同期していてよい。

図15は、本明細書で開示されるシステムおよび方法の構成の例を示す図である。特に、図15は、車両1502に関係するサラウンドビュー1500を示す。車両1502は、たとえば、本明細書で説明する装置102、202、302のうちの1つまたは複数の、例であり得る。図15に示すように、いくつかのレンズ1504、1506、1510、1512が車両1502に結合されてよい。

この例では、左前レンズ1504、右後レンズ1506、右前レンズ1510および左後レンズ1512が、車両1502の上に結合される。車両1502(たとえば、車両1502中に含まれる電子デバイス)は、レンズ1504、1506、1510、1512から半楕円体を取り込み、半楕円体に基づいてサラウンドビュー1500をレンダリングすることができる。この例では、妨害レンズを示す半楕円体範囲が、本明細書に記載するように(たとえば、図9A〜図9Cのうちの1つまたは複数に関連して記載したように)半楕円体の無妨害範囲で置き換えられ得る。この手法の結果、サラウンドビュー1500は、立体視ビュー範囲A 1588a、立体視ビュー範囲B 1588b、平面視ビュー範囲A 1590aおよび平面視ビュー範囲B 1590bを含むことになる。

図16は、本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。特に、図16は、ドローン1602a〜dのグループに関係するサラウンドビュー1600を示す。ドローン1602a〜dは、本明細書に記載する装置102、202、302のうちの1つまたは複数の、例であり得る。図16に示すように、レンズ1604、1606、1610、1612が、ドローン1602a〜dの各々に結合され得る。

この例では、左前レンズ1604がドローンA 1602aに結合され、右後レンズ1606がドローンB 1602bに結合され、右前レンズ1610がドローンC 1602cに結合され、左後レンズ1612がドローンD 1602dに結合される。ドローン1602a〜dは、レンズ1604、1606、1610、1612から半楕円体を取り込むことができ、かつ/またはドローン1602a〜dのうちの1つもしくは複数が、半楕円体に基づいてサラウンドビュー1600をレンダリングすることができる。この例では、妨害ドローンを示す半楕円体範囲が、本明細書に記載するように(たとえば、図9A〜図9Cのうちの1つまたは複数に関連して記載したように)半楕円体の無妨害範囲で置き換えられ得る。この手法の結果、サラウンドビュー1600は、立体視ビュー範囲A 1688a、立体視ビュー範囲B 1688b、平面視ビュー範囲A 1690aおよび平面視ビュー範囲B 1690bを含むことになる。

図17は、立体視サラウンドビューにおける妨害物(たとえば、妨害レンズ)を避けるための方法1700の一構成を示す流れ図である。方法1700は、1つまたは複数の図1〜図3に関連して説明した装置102、202、302のうちの1つまたは複数によって実施され得る。装置302は、1702において、レンズ(たとえば、魚眼レンズ)から画像(たとえば、半楕円体)を取得し得る。これは、図1〜図3および図5のうちの1つまたは複数に関して説明したように遂行され得る。たとえば、装置302は、1702において、複数のレンズから複数の画像を取得し得る。レンズのうちの1つまたは複数は、いくつかの構成では、180度よりも大きい視野(たとえば、220度、240度など)を有し得る。

装置302は、1704において、画像をレンダリング楕円体にネイティブマッピングすることによって、立体視サラウンドビューをレンダリングし得る。たとえば、装置302は、立体視サラウンドビューのレンダリング1704に基づいて、妨害物(たとえば、妨害レンズ)を回避することができる。立体視サラウンドビューは、第1のレンダリング形状(たとえば、楕円体、球体など)および第2のレンダリング形状(たとえば、楕円体、球体など)を含み得る。立体視サラウンドビューをレンダリングすること1704は、第1の画像(たとえば、第1のレンズからの画像、第1の半楕円体など)を第1のレンダリング形状の第1の範囲にネイティブマッピングすること、および第1の画像を第2のレンダリング形状の第2の範囲にネイティブマッピングすることを含み得る。たとえば、第1の画像(たとえば、第1の画像の異なる範囲)は、第1のレンダリング形状および第2のレンダリング形状の異なる範囲にマッピングされ得る。いくつかの構成では、異なるマッピング(たとえば、レンズペアの間の入れ替え、画像スワッピングなど)が、(たとえば、前を向いている、後を向いている、などの)異なるビュー範囲に適用され得る。立体視サラウンドビューのレンダリング1704の例が、図18に関連して与えられる。

より具体的な例では、装置302は、第1のレンズの視野にある妨害物(たとえば、同じ平面に置かれたレンズの立体視ペアによって取り込まれた)を取り除くことができる。これは、立体視レンズペアの間で画像範囲をマッピングすること(たとえば、スワッピングすること、入れ替えることなど)によって遂行され得る。いくつかの構成では、マッピングは、ビュー配向(たとえば、頭の配向)に基づき得る。たとえば、ビューが後向きであるときは、ビューが前向きであるときに実施されるマッピングに対して、異なるマッピングが実施され得る。

いくつかの構成では、立体視サラウンドビューのレンダリング1704は、逆立体視差を回避し得る。たとえば、複数の画像は、レンダリング形状(たとえば、楕円体)にネイティブマッピングされ得る。複数の画像は、レンダリング形状(たとえば、楕円体)の異なる範囲にネイティブマッピングされ得る。

装置302は、1706において、サラウンドビューを提供することができる。これは、図3に関して説明されたように遂行され得る。たとえば、装置302(たとえば、プロセッサ320)は、サラウンドビューを、装置上の1つもしくは複数のディスプレイに提供してよく、かつ/またはサラウンドビューを別の装置もしくはデバイスに送ってよい。

図18は、立体視サラウンドビューを生じるようにレンダリングされ得るレンダリング形状1801、1803の例を示す図である。この例では、レンダリング形状1801、1803の各々は、4つの範囲を含む。たとえば、左レンダリング形状1801は、第1の範囲A 1805a、第2の範囲A 1807a、第3の範囲A 1809aおよび第4の範囲A 1811aを含む。右レンダリング形状1803は、第1の範囲B 1805b、第2の範囲B 1807b、第3の範囲B 1809bおよび第4の範囲B 1811bを含む。対応する範囲(たとえば、第1の範囲A 1805aおよび第1の範囲B 1805bなど)は、同じスパン(たとえば、角度)を有する場合も、またはそうでない場合もあることに留意されたい。いくつかのケースでは、取り込まれた画像の範囲のうちの1つまたは複数に、妨害物が取り込まれ得る。たとえば、左前レンズからの画像が、第4の範囲A 1811a内に妨害物(たとえば、妨害レンズ)を含む場合などがある。いくつかのケースでは、これは、図8に関連して記載した状況と同様であり得る。

本明細書で開示するシステムおよび方法のいくつかの構成では、フル立体視サラウンドビューが達成され得る。たとえば、装置302のレンズの各々は、180度よりも大きい視野を有し得る。これは、フル360回転において、少なくとも2つのレンズによる重なるカバレージを可能にし得る。レンズの各々が240度の視野を有する例では、レンズを背中合わせに搭載すると、ほぼ60度の重なりが達成され得る。

逆立体視差および/または妨害物を回避するために、レンズの各々からの画像が、レンダリング形状1801、1803の各々の異なる部分にマッピングされ得る。図18に示す例では、左前レンズからの画像(たとえば、半楕円体)が、第1の範囲A 1805aに、および第2の範囲B 1807bにマッピング(たとえば、ネイティブマッピング)され得る。追加または代替として、右後レンズからの画像(たとえば、半楕円体)が、第2の範囲A 1807aに、および第3の範囲B 1809bにマッピング(たとえば、ネイティブマッピング)され得る。追加または代替として、左後レンズからの画像(たとえば、半楕円体)が、第3の範囲A 1809aに、および第4の範囲B 1811bにマッピング(たとえば、ネイティブマッピング)され得る。追加または代替として、右前レンズからの画像(たとえば、半楕円体)が、第4の範囲A 1811aに、および第1の範囲B 1805bにマッピング(たとえば、ネイティブマッピング)され得る。

ネイティブマッピングは、妨害物(たとえば、妨害レンズ)を回避することができる。たとえば、特定のレンズからの画像中に妨害物が示される範囲内で、異なるレンズからの、妨害物のない画像が、レンダリング形状にマッピングされ得る。レンズの各々からの画像の間には十分な重なりがあるので、サラウンドビュー全体において立体視ビューが達成され得る。

異なるレンズ(たとえば、カメラ)が、様々なロケーションにおいて様々なオブジェクトおよび/またはデバイス(たとえば、車、ドローンなど)に結合され、かつ/またはそれらの上に搭載されてよいことに留意されたい。装置(たとえば、装置302)が、単一の(ビデオ)フレーム中でデータをストリーム出力しているとき、適切な目に画像がコピー(たとえば、スワップ)され得る。これが行われない場合、ユーザは逆立体視差を知覚し得る。他の手法(たとえば、前および後に平面視ビューを生じる)は、この問題点に遭遇しない。ただし、2つのレンズが並んで置かれているとき、ビューはもはや、単に前から後への平面視ビューではなく、ビューのペアが前を向き、ビューの別のペアが後を向いている。したがって、立体視ビューを生じる装置(たとえば、車両、スマートフォンなど)にとって、ストリーミングされたデータは、どのビューイング方向をユーザが眺めていても、適切な目にマッピングされる必要があり得る。

図19は、本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。特に、図19は、車両1902に関係する立体視サラウンドビュー1900を示す。車両1902は、たとえば、本明細書で説明する装置102、202、302のうちの1つまたは複数の、例であり得る。図19に示すように、いくつかのレンズ1904、1906、1910、1912が車両1902に結合されてよい。レンズ1904、1906、1910、1912の各々は、180度よりも大きい視野を有し得る。この例では、各視野境界が、各それぞれのレンズ1904、1906、1910、1912から発する破線または点線を有して示される。図19において見ることができるように、少なくとも2つの視野が各ビューイング方向を覆い得る。

この例では、左前レンズ1904、右後レンズ1906、右前レンズ1910および左後レンズ1912が、車両1902の隅に結合される。車両1902(たとえば、車両1902中に含まれる電子デバイス)は、レンズ1904、1906、1910、1912から画像(たとえば、半楕円体)を取り込み、画像(たとえば、半楕円体)に基づいてサラウンドビュー1900をレンダリングすることができる。いくつかの構成では、妨害レンズを示す画像範囲が、本明細書に記載するように(たとえば、図17〜図18のうちの1つまたは複数に関連して記載したように)、画像の無妨害範囲で置き換えられてよい。この手法により、立体視サラウンドビュー1900が生じる。

この例では、範囲A 1913、範囲B 1915、範囲C 1917および範囲D 1919が示されている。範囲1913、1915、1917、1919は、レンズ視野境界に対応するものとして示されているが、範囲1913、1915、1917、1919のうちの1つまたは複数は、少なくとも2つの視野によって覆われる(また、たとえば、視野境界に直接は対応しなくてよい)どの範囲を占めてもよいことに留意されたい。この例では、範囲A 1913内の立体視サラウンドビューは、左レンダリング形状用の左前レンズ1904および右レンダリング形状用の右前レンズ1910からの画像をネイティブマッピングすることによって生じられ得る。範囲B 1915内の立体視サラウンドビュー1900は、左レンダリング形状用の右後レンズ1906および右レンダリング形状用の左前レンズ1904からの画像をネイティブマッピングすることによって生じられ得る。範囲C 1917内の立体視サラウンドビュー1900は、左レンダリング形状用の左後レンズ1912および右レンダリング形状用の右後レンズ1906からの画像をネイティブマッピングすることによって生じられ得る。範囲D 1919内の立体視サラウンドビュー1900は、左レンダリング形状用の右前レンズ1910および右レンダリング形状用の左後レンズ1912からの画像をネイティブマッピングすることによって生じられ得る。

図20は、本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。特に、図20は、ドローン2002a〜dのグループに関係する立体視サラウンドビュー2000を示す。ドローン2002a〜dは、本明細書に記載する装置102、202、302のうちの1つまたは複数の、例であり得る。図20に示すように、レンズ2004、2006、2010、2012が、ドローン2002a〜dの各々に結合され得る。レンズ2004、2006、2010、2012の各々は、180度よりも大きい視野を有し得る。この例では、各視野境界が、各それぞれのレンズ2004、2006、2010、2012から発する破線または点線を有して示される。図20において見ることができるように、少なくとも2つの視野が各ビューイング方向を覆い得る。

この例では、左前レンズ2004がドローンA 2002aに結合され、右後レンズ2006がドローンB 2002bに結合され、右前レンズ2010がドローンC 2002cに結合され、左後レンズ2012がドローンD 2002dに結合される。ドローン2002a〜dは、レンズ2004、2006、2010、2012から画像(たとえば、半楕円体)を取り込むことができ、かつ/またはドローン2002a〜dのうちの1つもしくは複数が、画像(たとえば、半楕円体)に基づいてサラウンドビュー2000をレンダリングすることができる。いくつかの構成では、妨害物を示す画像範囲が、本明細書に記載するように(たとえば、図17〜図18のうちの1つまたは複数に関連して記載したように)、画像の無妨害範囲で置き換えられてよい。この手法により、立体視サラウンドビュー2000が生じる。

この例では、範囲A 2013、範囲B 2015、範囲C 2017および範囲D 2019が示されている。範囲2013、2015、2017、2019は、レンズ視野境界に対応するものとして示されているが、範囲2013、2015、2017、2019のうちの1つまたは複数は、少なくとも2つの視野によって覆われる(また、たとえば、視野境界に直接は対応しなくてよい)どの範囲を占めてもよいことに留意されたい。この例では、範囲A 2013内の立体視サラウンドビュー2000は、左レンダリング形状用の左前レンズ2004および右レンダリング形状用の右前レンズ2010からの画像をネイティブマッピングすることによって生じられ得る。範囲B 2015内の立体視サラウンドビュー2000は、左レンダリング形状用の右後レンズ2006および右レンダリング形状用の左前レンズ2004からの画像をネイティブマッピングすることによって生じられ得る。範囲C 2017内の立体視サラウンドビュー2000は、左レンダリング形状用の左後レンズ2012および右レンダリング形状用の右後レンズ2006からの画像をネイティブマッピングすることによって生じられ得る。範囲D 2019内の立体視サラウンドビュー2000は、左レンダリング形状用の右前レンズ2010および右レンダリング形状用の左後レンズ2012からの画像をネイティブマッピングすることによって生じられ得る。

図21は、本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。特に、図21は、車両2102に関係する立体視サラウンドビュー2100を示す。車両2102は、たとえば、本明細書で説明する装置102、202、302のうちの1つまたは複数の、例であり得る。図21に示すように、いくつかのレンズ2104、2106、2110、2112が車両2102に結合されてよい。レンズ2104、2106、2110、2112の各々は、180度よりも大きい視野を有し得る。この例では、各視野境界が、各それぞれのレンズ2104、2106、2110、2112から発する破線または点線を有して示される。図21において見ることができるように、少なくとも2つの視野が各ビューイング方向を覆い得る。

この例では、左前レンズ2104、右後レンズ2106、右前レンズ2110および左後レンズ2112が、車両2102の上に結合される。車両2102(たとえば、車両2102中に含まれる電子デバイス)は、レンズ2104、2106、2110、2112から画像(たとえば、半楕円体)を取り込み、画像(たとえば、半楕円体)に基づいてサラウンドビュー2100をレンダリングすることができる。いくつかの構成では、妨害レンズを示す画像範囲が、本明細書に記載するように(たとえば、図17〜図18のうちの1つまたは複数に関連して記載したように)、画像の無妨害範囲で置き換えられてよい。この手法により、立体視サラウンドビュー2100が生じる。

この例では、範囲A 2113、範囲B 2115、範囲C 2117および範囲D 2119が示されている。範囲2113、2115、2117、2119は、この例におけるレンズ視野境界に直接は対応しない。範囲2113、2115、2117、2119のうちの1つまたは複数は、少なくとも2つの視野によって覆われる(また、たとえば、視野境界に直接対応してもまたはしなくてもよい)どの範囲を占めてもよいことに留意されたい。この例では、範囲A 2113内の立体視サラウンドビューは、左レンダリング形状用の左前レンズ2104および右レンダリング形状用の右前レンズ2110からの画像をネイティブマッピングすることによって生じられ得る。範囲B 2115内の立体視サラウンドビュー2100は、左レンダリング形状用の右後レンズ2106および右レンダリング形状用の左前レンズ2104からの画像をネイティブマッピングすることによって生じられ得る。範囲C 2117内の立体視サラウンドビュー2100は、左レンダリング形状用の左後レンズ2112および右レンダリング形状用の右後レンズ2106からの画像をネイティブマッピングすることによって生じられ得る。範囲D 2119内の立体視サラウンドビュー2100は、左レンダリング形状用の右前レンズ2110および右レンダリング形状用の左後レンズ2112からの画像をネイティブマッピングすることによって生じられ得る。本明細書における例のうちの多くは、4つのレンズによって記載されているが、本明細書で開示するシステムおよび方法に従って、より多いか、または少ないレンズが実装されてよいことに留意されたい。

図22は、本明細書で開示されるシステムおよび方法の構成の別の例を示す図である。特に、図22は、ドローン2202に関係する立体視サラウンドビュー2200を示す。ドローン2202は、たとえば、本明細書で説明する装置102、202、302のうちの1つまたは複数の、例であり得る。図22に示すように、いくつかのレンズ2204、2206、2210、2212がドローン2202に結合されてよい。レンズ2204、2206、2210、2212の各々は、180度よりも大きい視野を有し得る。この例では、各視野境界が、各それぞれのレンズ2204、2206、2210、2212から発する破線または点線を有して示される。図22において見ることができるように、少なくとも2つの視野が各ビューイング方向を覆い得る。

この例では、左前レンズ2204、右後レンズ2206、右前レンズ2210および左後レンズ2212が、ドローン2202の隅に結合される。ドローン2202(たとえば、ドローン2202中に含まれる電子デバイス)は、レンズ2204、2206、2210、2212から画像(たとえば、半楕円体)を取り込み、画像(たとえば、半楕円体)に基づいてサラウンドビュー2200をレンダリングすることができる。いくつかの構成では、妨害レンズを示す画像範囲が、本明細書に記載するように(たとえば、図17〜図18のうちの1つまたは複数に関連して記載したように)、画像の無妨害範囲で置き換えられてよい。この手法により、立体視サラウンドビュー2200が生じる。

この例では、範囲A 2213、範囲B 2215、範囲C 2217および範囲D 2219が示されている。範囲2213、2215、2217、2219は、この例におけるレンズ視野境界に直接は対応しない。範囲2213、2215、2217、2219のうちの1つまたは複数は、少なくとも2つの視野によって覆われる(また、たとえば、視野境界に直接対応してもまたはしなくてもよい)どの範囲を占めてもよいことに留意されたい。この例では、範囲A 2213内の立体視サラウンドビューは、左レンダリング形状用の左前レンズ2204および右レンダリング形状用の右前レンズ2210からの画像をネイティブマッピングすることによって生じられ得る。範囲B 2215内の立体視サラウンドビュー2200は、左レンダリング形状用の右後レンズ2206および右レンダリング形状用の左前レンズ2204からの画像をネイティブマッピングすることによって生じられ得る。範囲C 2217内の立体視サラウンドビュー2200は、左レンダリング形状用の左後レンズ2212および右レンダリング形状用の右後レンズ2206からの画像をネイティブマッピングすることによって生じられ得る。範囲D 2219内の立体視サラウンドビュー2200は、左レンダリング形状用の右前レンズ2210および右レンダリング形状用の左後レンズ2212からの画像をネイティブマッピングすることによって生じられ得る。

図23は、本明細書で開示するシステムおよび方法の様々な構成を実装するように構成された装置2302内に含まれ得る特定の構成要素を示す。装置2302の例は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ(たとえば、デスクトップコンピュータ、ラップトップコンピュータなど)、タブレットデバイス、メディアプレーヤ、テレビジョン、車両、自動車、パーソナルカメラ、ウェアラブルカメラ、仮想現実デバイス(たとえば、ヘッドセット)、拡張現実デバイス(たとえば、ヘッドセット)、複合現実デバイス(たとえば、ヘッドセット)、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、航空機、ドローン、無人航空機(UAV)、スマートアプリケーション、ヘルスケア機器、ゲーム機、携帯情報端末(PDA)、セットトップボックスなどを含み得る。装置2302は、本明細書に記載する装置102、202、302、車両1502、1902、2102および/またはドローン1602、2002、2202などのうちの1つまたは複数に従って実装され得る。

装置2302はプロセッサ2341を含む。プロセッサ2341は、汎用シングルチップマイクロプロセッサまたはマルチチップマイクロプロセッサ(たとえば、ARM)、専用マイクロプロセッサ(たとえば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ2341は、中央処理ユニット(CPU)と呼ばれ得る。単一のプロセッサ2341が装置2302内に示されているが、代替の構成では、プロセッサの組合せ(たとえば、ARMおよびDSP)が実装されることが可能である。

装置2302は、メモリ2321も含む。メモリ2321は、電子情報を記憶することが可能な任意の電子構成要素であってよい。メモリ2321は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスク記憶媒体、光記憶媒体、RAMのフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、EPROMメモリ、EEPROMメモリ、レジスタなど、およびそれらの組合せを含んで具現化され得る。

データ2325aおよび命令2323aが、メモリ2321内に記憶され得る。命令2323aは、本明細書に記載する方法600、1000、1100、1200、1700、手続き、ステップ、および/または機能のうちの1つまたは複数を実装するように、プロセッサ2341によって実行され得る。命令2323aを実行することは、メモリ2321に記憶されたデータ2325aの使用を伴い得る。プロセッサ2341が命令2323を実行すると、命令2323bの様々な部分がプロセッサ2341上にロードされてよく、かつ/または様々なデータ2325bがプロセッサ2341上にロードされてよい。

装置2302は、装置2302との間の信号の送信および受信を可能にするための、送信機2331および/または受信機2333も含み得る。送信機2331および受信機2333は、トランシーバ2335と総称され得る。1つまたは複数のアンテナ2329a〜bは、トランシーバ2335に電気的に結合されてよい。装置2302は、(図示されない)複数の送信機、複数の受信機、複数のトランシーバ、および/または追加のアンテナも含み得る。

装置2302は、デジタル信号プロセッサ(DSP)2337を含み得る。装置2302は、通信インターフェース2339も含み得る。通信インターフェース2339は、1つまたは複数の種類の入力および/または出力を許可し、かつ/または可能にすることができる。たとえば、通信インターフェース2339は、他のデバイスを装置2302にリンクするための1つまたは複数のポートおよび/または通信デバイスを含み得る。いくつかの構成では、通信インターフェース2339は、送信機2331、受信機2333、またはその両方(たとえば、トランシーバ2335)を含み得る。追加または代替として、通信インターフェース2339は、1つまたは複数の他のインターフェース(たとえば、タッチスクリーン、キーパッド、キーボード、マイクロフォン、カメラなど)を含み得る。たとえば、通信インターフェース2339は、ユーザが装置2302と対話することを可能にし得る。

装置2302の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、1つまたは複数のバスによって互いに結合され得る。明確にするために、様々なバスは、バスシステム2327として図23に示されている。

「判断すること」という用語は、多種多様のアクションを包含し、したがって、「判断すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、検索すること(たとえば、テーブル、データベース、または別のデータ構造を検索すること)、確認すること、および類似物を含むことができる。また、「判断すること」は、受信すること(たとえば、情報の受信)、アクセスすること(たとえば、メモリ内のデータへのアクセス)、および類似物を含むことができる。また、「判断すること」は、解決すること、選択すること、選ぶこと、確立すること、および類似物を含むことができる。

「〜に基づいて」という句は、別段に明記されていない限り、「〜のみに基づいて」を意味しない。言い換えれば、「〜に基づいて」という句は、「〜のみに基づいて」と「少なくとも〜に基づいて」の両方を表す。

「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット(CPU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、コントローラ、マイクロコントローラ、状態機械などを包含するように広く解釈されるべきである。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)などを指す場合がある。「プロセッサ」という用語は、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連動する1つもしくは複数のマイクロプロセッサ、または他の任意のそのような構成など、処理デバイスの組合せを指し得る。

「メモリ」という用語は、電子情報を記憶することが可能な任意の電子構成要素を包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM)、フラッシュメモリ、磁気または光学のデータストレージ、レジスタなどの様々なタイプのプロセッサ可読媒体を指す場合がある。メモリは、プロセッサがそのメモリから情報を読み取り、かつ/またはそのメモリに情報を書き込むことができる場合に、プロセッサと電子通信していると言われる。プロセッサと一体のメモリは、プロセッサと電子通信している。

「命令」および「コード」という用語は、任意のタイプのコンピュータ可読ステートメントを含むように、広く解釈されるべきである。たとえば、「命令」および「コード」という用語は、1つまたは複数のプログラム、ルーチン、サブルーチン、関数、手続きなどを指す場合がある。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多数のコンピュータ可読ステートメントを含み得る。

本明細書で説明した機能は、ハードウェアによって実行されているソフトウェアまたはファームウェアで実装され得る。機能は、コンピュータ可読媒体に1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形な記憶媒体を指す。例として、限定はしないが、コンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形態において所望のプログラムコードを担持もしくは記憶するために使用されることが可能で、コンピュータによってアクセスされることが可能である任意の他の媒体を含み得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。コンピュータ可読媒体は、有形であり、非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理、または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わされたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。

ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者線(DSL)、または、赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してソフトウェアがウェブサイト、サーバ、または他のリモートソースから伝送される場合、同軸ケーブル、光ファイバケーブル、より対線、DSL、または、赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。

本明細書で開示された方法は、記載の方法を達成するための1つまたは複数のステップまたはアクションを含む。方法ステップおよび/または方法アクションは、特許請求の範囲から逸脱することなく互いに入れ替えられ得る。言い換えると、ステップまたはアクションの特定の順序が、説明されている方法の正しい動作のために必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく変更されてよい。

さらに、本明細書に記載の方法および技法を実施するためのモジュールおよび/または他の適切な手段は、デバイスによってダウンロードされ、かつ/または他の方法で取得され得ることを諒解されたい。たとえば、本明細書に記載された方法を実施するための手段の移動を容易にするために、デバイスがサーバに接続され得る。代替的に、本明細書で説明する様々な方法は、記憶手段(たとえば、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、コンパクトディスク(CD)またはフロッピーディスクなどの物理的記憶媒体など)をデバイスに結合または提供した後、デバイスが様々な方法を取得することができるように、記憶手段を介して提供される場合がある。

特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲の範囲から逸脱することなく、本明細書で説明されるシステム、方法、および装置の配置、動作、および詳細において、様々な修正、変更、および変形が行われ得る。

102 装置
104 左前魚眼レンズ、魚眼レンズ
106 右後魚眼レンズ、魚眼レンズ
108a 魚眼レンズのペア、魚眼レンズペアA
108b 魚眼レンズのペア、魚眼レンズペアB
110 右前魚眼レンズ、魚眼レンズ
112 左後魚眼レンズ、魚眼レンズ
202 装置
216 魚眼レンズカメラ
218 画像信号プロセッサ(ISP)
220 プロセッサ
222 メモリ
302 装置
320 プロセッサ
322 メモリ
324 画像センサー
326 光学システム
328 ユーザインターフェース
330 レンダラ
332 アンテナ
334 通信インターフェース
336 画像取得器
338 画像マッパ
340 レンズコンシーラ
342 ディスプレイ
402 装置
404 左前魚眼レンズ、前方レンズ
406 右後魚眼レンズ、後方レンズ
408a 魚眼レンズペアA
408b 魚眼レンズペアB
410 右前魚眼レンズ、前方レンズ
412 左後魚眼レンズ、後方レンズ
504 魚眼レンズ、左前魚眼レンズ
506 魚眼レンズ、右後魚眼レンズ
510 魚眼レンズ、右前魚眼レンズ
512 魚眼レンズ、左後魚眼レンズ
548 レンズ構成
550 レンダリング構成A
552 レンダリング構成B
554 左レンダリング球体A
556 右レンダリング球体A
558 左レンダリング形状B
560 右レンダリング形状B
704 左前魚眼レンズ
706 右後魚眼レンズ
710 右前魚眼レンズ
712 左後魚眼レンズ
762 半楕円体、左前半楕円体
764 半楕円体、右前半楕円体
766 半楕円体、右後半楕円体
768 半楕円体、左後半楕円体
804 左前魚眼レンズ
806 右後魚眼レンズ
810 右前魚眼レンズ
812 左後魚眼レンズ
858 左レンダリング形状、レンダリング形状
860 右レンダリング形状、レンダリング形状
862 左前半楕円体
864 右前半楕円体
866 右後半楕円体
868 左後半楕円体
978a 半楕円体A、半楕円体
978b 半楕円体B、半楕円体
980a 第1の無妨害ウェッジA、無妨害ウェッジ
980b 第1の無妨害ウェッジB、無妨害ウェッジ
982a 第1の妨害付きウェッジA
982b 第1の妨害付きウェッジB
984a 第2の無妨害ウェッジA、無妨害ウェッジ
984b 第2の無妨害ウェッジB、無妨害ウェッジ
986a 第2の妨害付きウェッジA
986b 第2の妨害付きウェッジB
988a 立体視ビュー範囲、立体視ビュー、立体視ビュー範囲A
988b 立体視ビュー範囲、立体視ビュー、立体視ビュー範囲B
990a 平面視ビュー範囲、平面視ビュー、平面視ビュー範囲A
990b 平面視ビュー範囲、平面視ビュー、平面視ビュー範囲B
992 軸
1458 左レンダリング形状
1460 右レンダリング形状
1462 左前半楕円体
1464 右前半楕円体
1466 右後半楕円体
1468 左後半楕円体
1500 サラウンドビュー
1502 車両
1504 レンズ、左前レンズ
1506 レンズ、右後レンズ
1510 レンズ、右前レンズ
1512 レンズ、左後レンズ
1588a 立体視ビュー範囲A
1588b 立体視ビュー範囲B
1590a 平面視ビュー範囲A
1590b 平面視ビュー範囲B
1600 サラウンドビュー
1602a ドローン、ドローンA
1602b ドローン、ドローンB
1602c ドローン、ドローンC
1602d ドローン、ドローンD
1604 レンズ、左前レンズ
1606 レンズ、右後レンズ
1610 レンズ、右前レンズ
1612 レンズ、左後レンズ
1688a 立体視ビュー範囲A
1688b 立体視ビュー範囲B
1690a 平面視ビュー範囲A
1690b 平面視ビュー範囲B
1801 レンダリング形状、左レンダリング形状
1803 レンダリング形状、右レンダリング形状
1805a 第1の範囲A
1805b 第1の範囲B
1807a 第2の範囲A
1807b 第2の範囲B
1809a 第3の範囲A
1809b 第3の範囲B
1811a 第4の範囲A
1811b 第4の範囲B
1900 サラウンドビュー、立体視サラウンドビュー
1902 車両
1904 レンズ、左前レンズ
1906 レンズ、右後レンズ
1910 レンズ、右前レンズ
1912 レンズ、左後レンズ
1913 範囲A、範囲
1915 範囲B、範囲
1917 範囲C、範囲
1919 範囲D、範囲
2000 立体視サラウンドビュー
2002a ドローン、ドローンA
2002b ドローン、ドローンB
2002c ドローン、ドローンC
2002d ドローン、ドローンD
2004 レンズ、左前レンズ
2006 レンズ、右後レンズ
2010 レンズ、右前レンズ
2012 レンズ、左後レンズ
2013 範囲A、範囲
2015 範囲B、範囲
2017 範囲C、範囲
2019 範囲D、範囲
2100 立体視サラウンドビュー、サラウンドビュー
2102 車両
2104 レンズ、左前レンズ
2106 レンズ、右後レンズ
2110 レンズ、右前レンズ
2112 レンズ、左後レンズ
2113 範囲A、範囲
2115 範囲B、範囲
2117 範囲C、範囲
2119 範囲D、範囲
2200 立体視サラウンドビュー、サラウンドビュー
2202 ドローン
2204 左前レンズ、レンズ
2206 右後レンズ、レンズ
2210 右前レンズ、レンズ
2212 左後レンズ、レンズ
2213 範囲A、範囲
2215 範囲B、範囲
2217 範囲C、範囲
2219 範囲D、範囲
2302 装置
2321 メモリ
2323a 命令
2325a データ
2327 バスシステム
2329a アンテナ
2329b アンテナ
2331 送信機
2333 受信機
2335 トランシーバ
2337 デジタル信号プロセッサ(DSP)
2339 通信インターフェース
2341 プロセッサ

Claims (30)

1. 少なくとも1つの立体視ビュー範囲と少なくとも1つの平面視ビュー範囲の組合せに基づくサラウンドビューを提供するように構成された電子デバイスを備える装置。
2. 前記装置に結合された複数のレンズをさらに備え、前記レンズは、前記少なくとも1つの立体視ビュー範囲および前記少なくとも平面視ビュー範囲用に、複数の画像を取得するように構成される、請求項1に記載の装置。
3. 前記電子デバイスは、前記装置に結合されている妨害レンズのない、前記サラウンドビューの中の前記少なくとも1つの平面視ビュー範囲をレンダリングするように構成される、請求項1に記載の装置。
4. 前記装置は車両であり、前記車両は、前記車両に結合された複数のレンズを備え、前記複数のレンズは、前記サラウンドビューを形成するのに使われる前記少なくとも1つの立体視ビュー範囲を取得するように構成される、請求項1に記載の装置。
5. 前記車両に結合されたディスプレイをさらに備え、前記ディスプレイは、前記サラウンドビューを出力するように構成される、請求項4に記載の装置。
6. 前記装置はモバイルデバイスであり、前記モバイルデバイスは、前記モバイルデバイスに結合された複数のレンズを備え、前記複数のレンズのうちの少なくとも2つは、前記サラウンドビューを形成するのに使われる前記少なくとも1つの立体視ビュー範囲を取得するように構成される、請求項1に記載の装置。
7. 拡張現実において前記サラウンドビューを出力するように構成されたディスプレイをさらに備える、請求項1に記載の装置。
8. 前記電子デバイスは、前記サラウンドビューをレンダリングするように構成され、前記サラウンドビューは第1の楕円ビューおよび第2の楕円ビューを含む、請求項1に記載の装置。
9. 前記第1の楕円ビューと前記第2の楕円ビューとの間の、異なるレンズペアに対応する画像の入れ替えに基づいて逆立体視差を回避するように構成されたプロセッサをさらに備える、請求項8に記載の装置。
10. 前記装置に結合された複数のレンズによって取得された複数の画像の投影に基づいて、画像の再整列を回避するように構成されたプロセッサをさらに備え、前記装置は、先進運転支援システム(ADAS)において使われる車両である、請求項8に記載の装置。
11. 前記少なくとも1つの立体視ビュー範囲のうちの少なくとも1つと、前記少なくとも1つの平面視ビュー範囲のうちの少なくとも1つとの間の重なりにおいて、フェードおよびブレンドのうちの少なくとも1つを実施するように構成されたプロセッサをさらに備える、請求項1に記載の装置。
12. 少なくとも1つの立体視ビュー範囲と少なくとも1つの平面視ビュー範囲の組合せに基づくサラウンドビューを提供するための手段を備える装置。
13. サラウンドビューを提供するための前記手段は、前記装置に結合されている妨害レンズのない、前記サラウンドビューの中の前記少なくとも1つの平面視ビュー範囲をレンダリングするための手段を備える、請求項12に記載の装置。
14. サラウンドビューを提供するための前記手段は、前記第1の楕円ビューと前記第2の楕円ビューとの間の、異なるレンズペアに対応する画像の入れ替えに基づいて逆立体視差を回避するための手段を備える、請求項12に記載の装置。
15. それぞれの複数のレンズから複数の画像を取得するステップと、
    第1のレンダリング楕円体および第2のレンダリング楕円体を含む立体視サラウンドビューをレンダリングすることに基づいて、妨害レンズを回避するステップであって、前記立体視サラウンドビューをレンダリングすることは、前記複数の画像のうちの第1の画像を前記第1のレンダリング楕円体の第1の範囲にネイティブマッピングすること、および前記第1の画像を前記第2のレンダリング楕円体の第2の範囲にネイティブマッピングすることを含む、ステップとを含む方法。
16. 前記立体視サラウンドビューをレンダリングすることは、前記複数の画像を前記第1のレンダリング楕円体にネイティブマッピングすること、および前記複数の画像を前記第2のレンダリング楕円体にネイティブマッピングすることを含む、逆立体視差を回避することを含み、前記複数の画像は、前記第1のレンダリング楕円体および前記第2のレンダリング楕円体の異なる範囲にネイティブマッピングされる、請求項15に記載の方法。
17. 前記複数のレンズは車両に搭載され、前記立体視サラウンドビューは先進運転支援システム(ADAS)において使用される、請求項15に記載の方法。
18. 前記複数のレンズは1つまたは複数のドローンに搭載される、請求項15に記載の方法。
19. 前記複数のレンズのうちの少なくとも1つは180度よりも大きい視野を有する、請求項15に記載の方法。
20. 前記複数の画像は、第1の半楕円体、第2の半楕円体、第3の半楕円体、および第4の半楕円体を含み、前記第1のレンダリング楕円体は左レンダリング楕円体であり、前記第2のレンダリング楕円体は右レンダリング楕円体であり、前記左レンダリング楕円体は前記第1の範囲内の前記第1の半楕円体の少なくとも一部分、前記第2の範囲内の前記第2の半楕円体の少なくとも一部分、第3の範囲内の前記第4の半楕円体の少なくとも一部分、および第4の範囲内の前記第3の半楕円体の少なくとも一部分を含み、前記右レンダリング楕円体は、前記第1の範囲内の前記第3の半楕円体の少なくとも一部分、前記第2の範囲内の前記第1の半楕円体の少なくとも一部分、前記第3の範囲内の前記第2の半楕円体の少なくとも一部分、および前記第4の範囲内の前記第4の半楕円体の少なくとも一部分を含む、請求項15に記載の方法。
21. 前記複数の画像のうちの少なくとも2つの間で、ブレンディングおよびフェージングのうちの少なくとも1つを実施するステップをさらに含む、請求項15に記載の方法。
22. 再整列を実施するのを回避するために、前記第1のレンダリング楕円体および前記第2のレンダリング楕円体に直接、前記複数の画像を投影するステップをさらに含む、請求項15に記載の方法。
23. 命令を有する非一時的有形コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令は、
    電子デバイスに、それぞれの複数のレンズから複数の画像を取得させるためのコードと、
    第1のレンダリング楕円体および第2のレンダリング楕円体を含む立体視サラウンドビューを前記電子デバイスにレンダリングさせるためのコードに基づいて、前記電子デバイスに妨害レンズを回避させるためのコードであって、前記電子デバイスに前記立体視サラウンドビューをレンダリングさせるための前記コードは、前記電子デバイスに、前記複数の画像のうちの第1の画像を前記第1のレンダリング楕円体の第1の範囲にネイティブマッピングさせるため、および前記第1の画像を前記第2のレンダリング楕円体の第2の範囲にネイティブマッピングさせるためのコードを含む、コードとを含む、コンピュータプログラム製品。
24. 前記電子デバイスに前記立体視サラウンドビューをレンダリングさせるための前記コードは、前記電子デバイスに前記複数の画像を前記第1のレンダリング楕円体にネイティブマッピングさせるため、および前記複数の画像を前記第2のレンダリング楕円体にネイティブマッピングさせるためのコードを含む、前記電子デバイスに逆立体視差を回避させるためのコードを含み、前記複数の画像は、前記第1のレンダリング楕円体および前記第2のレンダリング楕円体の異なる範囲にネイティブマッピングされる、請求項23に記載のコンピュータプログラム製品。
25. 前記複数のレンズは車両に搭載され、前記立体視サラウンドビューは先進運転支援システム(ADAS)において使用される、請求項23に記載のコンピュータプログラム製品。
26. 前記複数のレンズは1つまたは複数のドローンに搭載される、請求項23に記載のコンピュータプログラム製品。
27. 前記複数のレンズのうちの少なくとも1つは180度よりも大きい視野を有する、請求項23に記載のコンピュータプログラム製品。
28. 前記複数の画像は、第1の半楕円体、第2の半楕円体、第3の半楕円体、および第4の半楕円体を含み、前記第1のレンダリング楕円体は左レンダリング楕円体であり、前記第2のレンダリング楕円体は右レンダリング楕円体であり、前記左レンダリング楕円体は前記第1の範囲内の前記第1の半楕円体の少なくとも一部分、前記第2の範囲内の前記第2の半楕円体の少なくとも一部分、第3の範囲内の前記第4の半楕円体の少なくとも一部分、および第4の範囲内の前記第3の半楕円体の少なくとも一部分を含み、前記右レンダリング楕円体は、前記第1の範囲内の前記第3の半楕円体の少なくとも一部分、前記第2の範囲内の前記第1の半楕円体の少なくとも一部分、前記第3の範囲内の前記第2の半楕円体の少なくとも一部分、および前記第4の範囲内の前記第4の半楕円体の少なくとも一部分を含む、請求項23に記載のコンピュータプログラム製品。
29. 前記電子デバイスに、前記複数の画像のうちの少なくとも2つの間で、ブレンディングおよびフェージングのうちの少なくとも1つを実施させるためのコードをさらに含む、請求項23に記載のコンピュータプログラム製品。
30. 前記電子デバイスに、再整列を実施するのを回避するために前記第1のレンダリング楕円体および前記第2のレンダリング楕円体に直接、前記複数の画像を投影させるためのコードをさらに含む、請求項23に記載のコンピュータプログラム製品。

Images