JP2017521897A - １つ以上のカメラを含む、または、１つ以上のカメラとともに使用するための方法及び装置 - Google Patents

１つ以上のカメラを含む、または、１つ以上のカメラとともに使用するための方法及び装置 Download PDF

Info

Publication number
JP2017521897A
JP2017521897A JP2016568677A JP2016568677A JP2017521897A JP 2017521897 A JP2017521897 A JP 2017521897A JP 2016568677 A JP2016568677 A JP 2016568677A JP 2016568677 A JP2016568677 A JP 2016568677A JP 2017521897 A JP2017521897 A JP 2017521897A
Authority
JP
Japan
Prior art keywords
pair
camera
cameras
images
rig
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016568677A
Other languages
English (en)
Inventor
コール、デイビッド
モス、アラン・マッケイ
Original Assignee
ネクストブイアール・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ネクストブイアール・インコーポレイテッド filed Critical ネクストブイアール・インコーポレイテッド
Publication of JP2017521897A publication Critical patent/JP2017521897A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/08—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a vertical axis, e.g. panoramic heads
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
    • F16M11/242—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other by spreading of the legs
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)

Abstract

左と右の眼の画像ペア等の立体視画像データを取り込むことにおける使用のために十分に適したカメラ関連の方法と装置が記載される。様々な態様は、同時に複数のカメラを搭載するために用いられ得るカメラリグに関する。いくつかの実施形態において、カメラリグは、１２０度離れた３つの異なる方向に対応する３つの搭載位置を含む。搭載位置の１つ以上は、一時に使用され得る。１つのカメラペアが使用される場合、リグは、カメラペアが搭載されていない位置に対応する画像を取り込むために回転され得る。そして、それらの位置からの静止画像は、３６０度視野を生成するために、前方方向に対応する画像と組み合され得る。代替的に、カメラペア、または、個々のカメラは、複数の方向における映像を取り込むために、搭載位置の各々に含まれ得る。

Description

関連出願
[0001] 本願は、各々が参照によってその全体が明示的に組み込まれる、２０１４年５月２０日に出願された米国仮特許出願第６２／００１，０４９号、２０１４年５月２１日に出願された米国仮特許出願第６２／００１，１３７号、２０１５年３月５日に出願された米国仮特許出願第６２／１２８，８４４号の利益を主張する。
[0002] 種々の実施形態は、カメラの方法と装置に関連し、より具体的には、１つ以上の方向で、左と右の眼の画像のペア等の画像データを取り込むために十分に適したカメラの装置及び／または方法に関する。
[0003] 左右の眼は、ある距離だけ互いに離されている。
この分離の結果、人の左右の眼の各々は、個々の眼の位置に基づいて、周囲のわずかに異なる画像を知覚する。そして、左と右の眼の画像の間の差異は、人が、２つの個別の２次元画像ではなく、３次元（３Ｄ）画像を知覚するような深さ情報を与えるものとして、シーンを見ている人によって解釈される。
[0004] ３Ｄ映画や他のプログラムが普及してきたので、映画の一部として、広告として、プログラムとして、または、リアルタイムまたはほぼリアルタイムでのイベントの鑑賞のためでさえも用いられ得る、動画等の３Ｄコンテンツを生成する際に使用するのに適している画像の取り込みをサポートし得るカメラのハードウェアや装置への高まる欲求がある。
[0005] ほとんどのカメラリグは、単一の画像の取り込みをサポートすることを意図している。例えば、左と右の眼の画像として使用され得る画像のペア等の立体視画像データを取り込むための要求が増しているので、左と右の眼の画像のペアの取り込みを容易にするために使用され得る、改良されたカメラ関連装置への要求がある。
[0006] カメラの位置合わせは、左と右の眼の画像のペア等の立体視画像の有用な取り込みのために重要であり得る。このような位置合わせの課題は、単一のカメラが非立体視画像データを取り込むために使用される非立体視システムには存在しない。
[0007] 単方向での立体視画像取り込みは既存の機器を使用しては困難であり得るが、３６０度方向全てにおける周囲の画像を見ることができるとの期待をもって、ユーザが彼または彼女の頭を３６０度動かし得る（回転する等）状況のシミュレーションを容易にするために、複数の方向で立体視画像を取り込むことが望まれ得る。
[0008] ユーザが彼／彼女の頭を回転させたときに見られるのであろう周囲の状況をシミュレートすることに使用される、３６０度の領域をカバーする画像を取り込もうとしたとき、ユーザが実際の環境にいて、彼／彼女の頭を回転させていたとしたら、ユーザが見たであろうものに、取り込み画像が合理的に一致することが重要である。
[0009] ３６０度の領域に対応した立体視画像の取り込みが望まれる場合、立体視画像は、単一のカメラが完全な３６０度視野を取り込むことができないので、それらが繕い合わされることを可能にする方法で取り込まれる必要があり、カメラの位置合わせや位置決めに伴う複雑さが大幅に面倒である。
[00010] 位置合わせの課題に加え、少なくともいくつかの用途にとって、カメラリグが、より大きな固定または移動撮影用のカメラリグが合わないイベントの場所に持っていかれ、イベントの画像を取り込むために使用され得るように、比較的小さく、携帯可能であることが望まれる。例えば、多くのイベントの場合には、視界にイベントでの視聴者の中にいるシーンを与えように、視聴者またはスポーツファンが通常座っている位置にカメラリグを配置できることが望まれる。
[00011] 既存のカメラリグ及び装置は、それが単一方向または複数の方向であるかどうかにかかわらず、立体視画像を取り込むことに関連した要求の多くに対応していない。
[00012] 上記説明の観点では、急造品のカメラ関連の方法及び装置への要求があることが理解されるべきである。方法及び／または装置の少なくともいくつかが、カメラ位置合わせの容易さ、カメラリグのサイズ、カメラリグの軽便さ、及び／または、複数の異なる方向に対応する立体視画像ペアの取り込みの容易さ、等の立体視画像を取り込むことに関する上述の課題の１つ以上に対処したならば、それが望まれたであろう。
[00013] 左と右の眼の画像のペア等の１つ以上の方向における立体視画像データを取り込むことに使用するために十分に適しているカメラ関連の方法及び装置が記載される。
[00014] 様々な態様は、左と右の眼の画像を取り込むために使用されるカメラの１つ以上のペア等、同時に複数のカメラを搭載するために使用され得るカメラリグ及び／または搭載プラットフォームに関連する。使用中、カメラリグは、一時にカメラの１つ以上のペアを含むことができる。
[00015] いくつかの実施形態では、カメラリグは、各ペアが他の搭載位置の方向から１２０度の方向に面している、カメラの３つのペアのための搭載位置を含む。カメラペアで完全に定着されると、リグは３６０度で画像を取り込み得る。
[00016] ３つのカメラペアのフルセットよりも少なくて使用された場合、カメラペアの搭載位置を含む搭載プラットファームは、各方向での立体視画像データの取り込みを可能にして、回転され得る。取り込まれた画像は、記憶され、ユーザが彼または彼女の頭を映像が取り込まれていない部分に回転させる場合における背景及び／または側面視野を与えるために使用され得る。例えば、カメラの１つのペアは、カメラペアが静止画像として使用されている異なる画像取り込み位置に回転されたときに、以前に取り込まれた画像取り込みを用いて、左と右の眼の画像のシーケンス等の立体視映像を取り込むために使用され得る。
[00017] 高品質のカメラのコスト、及び、そのようなカメラを搬送し、設定することに関連するリスクを考えると、カメラの１つのペアや複数のカメラペアを使用する能力は、かなりの柔軟性を提供し得る。従って、単一の視野が重要であるイベントのために、カメラリグは、カメラの１つのペアとともに使用され得る。複数の視野に対応する映像が重要であるイベントにおいて、同じカメラのリグが使用され得、時には、映像の取り込みを可能にして設置されたカメラの複数のペアとともに使用されて、同時に１つ以上のカメラ位置を形成する。
[00018] いくつかの、必ずしも全てではない実施形態において、イベントにおいて見る者が、見る者の頭部がカメラ搭載プラットフォームの中心に位置していたとしたら見るに違いないものに類似の画像をカメラが取り込むように、カメラ搭載位置がカメラリグ上に位置付けられる。即ち、各カメラペアのレンズの中心間の距離は、見る者の瞳孔間の距離に近似するよう設定され、一方、カメラセンサーとカメラ搭載プラットフォームの中心との間の距離は、見る者の頭の水平方向の中心と見る者の網膜との間の距離に近似する。この方法では、カメラの取り込みも左右の眼の画像のペアは、カメラ搭載位置に座って、個々のカメラペアの方向に向かってユーザが見るに違いないものに類似する。
[00019] 簡単な搬送と組み立てを可能にするために、カメラは、適当に個別に、または、ペアとして、カメラから外され得る。ペア中のカメラの位置は、カメラリグ上のカメラペアの位置と同様に、調整され得る。これは、カメラリグの上部及び／または底部からアクセス可能なネジを緩め、ネジを再び締める前にカメラまたはカメラペアを動かすことによって、いくつかの実施形態において行われ得る。
[00020] リグにおいて使用されるカメラペアの数は、配置ごとに変わり得る。カメラペアを使用するよりもむしろ、カメラペア搭載位置の１つ、２つ、または、それ以上が、単一のカメラで定着され得る。例えば、いくつかの実施形態において、前方を見る視野に対応する位置が、立体視画像データを取り込むためにカメラペアで定着され、他方で、立体視画像データではなくモノ画像を取り込むために、左右後方等の他に向かうカメラ位置が、単一のカメラで定着される。
[00021] 立体視画像ペア及び／またはモノ画像データを取り込むことに加えて、カメラリグは、ステレオ音声を取り込むために使用されるマイクロフォンのペアを装備され得、いくつかの実施例では装備される。いくつかの実施形態において、前方に向かっているカメラペアの方向に垂直に位置付けられる耳の形状のデバイスに位置付けられる。このようにして、例えば、マイクロフォン、及び、マイクロフォンが配置され、似せて作られた耳等の音声取り込み装置が、マイクロフォンの間隔や方向、並びに、人間の耳の形状による外耳道の中への音響信号の方向に関する本当の人間の耳によって音声の取り込みをシミュレートする。
[00022] 音声取り込みの特徴は、全ての実施形態では使用されるのではないが、少なくともいくつかの実施形態では使用される。
[00023] 多数の追加の特徴、利点、及び、実施形態が、以下の詳細な説明に記載される。
[00024] 図１は、カメラリグを較正するために使用され得る較正ターゲットとともに、一実施形態に従って実装されたカメラリグを示す。 [00025] 図２は、カメラリグに搭載された、立体視画像データを取り込む３ペアのカメラ等の３ペアのカメラを有するカメラリグを示す。 [00026] 図３は、いくつかの例示的な実施形態に従って実装される例示的な保護カバーを有したカメラリグを示す。 [00027] 図４は、カメラリグの様々な要素を有する、例示的な実施形態に従って実装された他の例示的なカメラリグを示し、明瞭化のために、部分的に分解された形で示される。 [00028] 図５は、ステレオ音声を取り込むために使用されるマイクロフォンを含む耳の形状をしたデバイスを含む、音声取り込みデバイスとともにその上に搭載されるカメラを有した図４のカメラリグを示す。 [00029] 図６は、画像を取り込むために、図４及び図５に示された例示的なカメラリグを使用する方法を示すフローチャートである。 [00030] 図７は、他の図のいずれかに示されたカメラリグと組み合わせて使用されることができる例示的な符号化及びコンテンツ配信システムを示す。
詳細な説明
[00031] 例えば、左と右の眼の画像のペア等の立体視画像データを取り込むために十分に適しているカメラ装置及び／または方法を含むカメラ方法及び装置が記載される。様々な態様は、パノラマの立体視イメージの分野に関連し、より具体的には、例えば、高精細映像画像等の画像を取り込むのに適した装置に関連する。画像は、高ダイナミックレンジ、高フレームレートを有し、いくつかの実施形態では、３６０度のパノラマ映像をサポートし得る。様々な態様に従って実装されたカメラリグは、１つ以上のカメラのペア及び／またはカメラペアを、１つ以上の単一のカメラと組み合わせて使用することができる。リグは、最小限の数のカメラが小型サイズで合理的なコストの装置で所与の用途のために使用されることを可能にし、他方で、広範囲の用途のための重さや電力要件を満足する。
[00032] 立体視の３６０度のパノラマ映像コンテンツは、仮想現実表示装置に使用するための需要が高まっている。最終的な画像の鮮明さのために重要である４Ｋまたはそれ以上の解像度、低照明のコンテンツを記録するために重要である高いダイナミックレンジ、高速で動くコンテンツ（スポーツ等）における精細記録のために重要である高フレームレートを有する立体視の３６０度パノラマ映像コンテンツを生成するために、プロ級グレードの配列、大きなセンサー、映画カメラまたは好適な品質の他のカメラが、しばしば必要とされる。
[00033] カメラ配列が、立体視の仮想現実表示で見るための３６０度を立体視コンテンツを取り込むために有用であるために、見る者の頭がカメラと併置されていたとするならば、見る者が見ていたであろうものに結果が近似するように、カメラ配列はコンテンツを取得すべきである。特に、立体視カメラのペアは、それらの軸間の分離が６３ミリメートルの許容される人間モデルの平均からの許容可能なデルタ内にあるように構成されるべきである。加えて、パノラマ配列の中心点からカメラレンズの入射瞳までの距離が（別名、nodal offset：節オフセット）は、１０１ｍｍ（ミリメートル）の許容可能な人間モデルの平均からの許容可能なデルタ内にあるように構成されるべきである。
[00034] カメラ配列がコンパクトで目障りにならないことであるべきイベントや多くの観客が見るスポーツを取り込むためにカメラ配列が使用されるために、それは、広く多様な場所に配置され、運搬が必要とされるときに合理的なサイズの梱包で運搬されることを可能にする比較的小さい物理的なフットプリントで構成されるべきである。また、可能であれば、シーン要素が隣接するカメラの視界の外になることから、それらシーン要素が取り込まれない「死角（dead zone）」を最小限にするべく、配列の最小撮像距離が小さく、例えば、可能な限り小さく、なるように、カメラ配列は設計されるべきである。図１に示された本発明のカメラリグと他の様々な実施形態は、これらの設計目標の１つ以上に対処する。
[00035] リグに含まれるカメラ配列が、最も高い光学的歪みが生じる傾向がある（レンズの視野角が交差し、「及び」、レンズの最大の歪みが生じる）較正ターゲットを位置決めすることによって、光学的な整列のために較正され得るならば、効果的である。最も効果的な較正ターゲットの位置決めを容易にするために、ターゲット位置は、リグの設計から公式的な方法で決定されるべきであり、いくつかの実施形態では決定される。
[00036] 図１は、いくつかの実施形態で使用される例示的なカメラの構成を示す。図４及び図５に示される支持構造は、いくつかの実施形態で使用される図示のカメラペア構成のより良好な適用を可能にするために、図１には示されない。
[00037] いくつかの実施形態において、図１の例におけるように、３つのカメラペアが使用されるが、いくつかであるが全てではない実施形態において、リグのカメラ位置等のカメラ配列は、同時の３６０度の立体視映像をサポートするために用いられ得る合計６つのカメラの内の２つのみで定着される。カメラリグまたはアセンブリが、リグに搭載され得る６つのカメラ全てより少ないものを有して構成される場合、リグは、依然として、リアルタイムで、価値の高い前景の１８０度のシーン要素を取り込むことができ、他方、前景画像が取り込まれていない場合にリグを回転させることによって等で、価値の低い背景の１８０度シーン要素の静止画像を手動でとりこむ。例えば、いくつかの実施形態において、２つのカメラの配列が、カメラに対して０度の位置関係でのプレイフィールドのフットボールゲームを取り込むために使用される場合、配列は、手動で１２０度と２４０度の位置に、節点（nodal point）の周りを手動で回転される。これは、前面部分についてのリアルタイムステレオ映像と左や右の後方部分についての静止画像とを含むハイブリッド化されたパノラマを構築するために使用されるために、スポーツゲームや試合のフィールド上のアクション例えば、前景、がリアルタイムで取り込まれ、サイドラインや外野席、例えば、背景領域、が立体視静止画像として取り込まれることを可能にする。この方法では、カメラリグが、例えば、３６０度のシーン領域の異なる視野が取り込まれる時間の異なる点間の垂直の中心点であるその節軸（nodal axis）の周りを回転して、３６０度視野のいくつかの部分が時間における異なる点で取り込まれて、３６０度視野を取り込むために使用され得る。代替的に、単一のカメラが、第２及び第３のカメラペア搭載位置に搭載され、前述の領域のためにモノ（非立体視）映像が取り込まれてもよい。
[00038] カメラのコストが課題ではない他の場合には、２つ以上のカメラが、図１の例において６台までのカメラを保持するリグを用いて、リグに搭載され得る。この方法では、コストに影響するカメラの効果的使用は、取り込まれるべきパフォーマンスと、多数、例えば６台のカメラを輸送するユーザの必要性や能力、または、６台のカメラより少ない、例えば、２台のカメラを輸送するユーザの能力とに応じて達成され得る。
[00039] 図１は、時にリグまたはカメラ配列とも呼ばれる６台のカメラのアセンブリ１００を、較正ターゲット１１５とともに示す。図１に示されたカメラリグ１００は、示された位置にカメラ、立体視カメラ（１０１，１０３）、（１０５，１０７）、（１０９，１１１）の３つのペア１０２、１０４、１０６で合計６台のカメラを保持する支持構造（図４及び図５に示される）を含む。支持構造は、この中で搭載プレート（図４に示される要素７２０を参照）とも呼ばれる、カメラを支持し、カメラが搭載されるプレートが固定される基部７２０を含む。支持構造は、プラスチック、金属、または、グラファイトまたはガラス繊維等の複合材料で作られ得、また、カメラ間の間隔と関係を示すために用いられる三角形を形成する線によって表される。点線が交差する中心点は、カメラペア１０２、１０４、１０６が、いくつかの、ただし必ずしも全てではない実施形態においてその周りを回転されることができる中心節点（center nodal point）を表す。中心結節点は、いくつかの実施形態において、三角形の線によって表されたカメラ支持フレームがその周りを回転され得る、例えば、三脚基部の、金属ロッド、または、ネジ切りされたセンターマウントに対応する。支持フレームは、カメラが搭載されるプラスチックハウジング、または、三脚構造であってよい。
[00040] 図１において、カメラペア１０２、１０４、１０６の各々は、異なるカメラペア位置に対応する。第１のカメラペア１０２は、正面に向かう位置に対して０度前方に対応する。この位置は、通常、例えば、スポーツゲームがプレイされているフィールド、ステージ、または、主なアクションが発生する可能性があるいくつかの他の領域といった主たる関心領域に対応する。第２のカメラペア１０４は、１２０度のカメラ位置に対応し、右後方視野領域を取り込むために使用される。第３のカメラペア１０６は、２４０度の視野位置、及び、左後方の視野領域に対応する。３つのカメラ位置が１２０度離れていることを注記する。
[00041] 各カメラ視野位置は、図１の実施形態において１つのカメラペアを含み、各カメラペアが、画像を取り込むために使用される左カメラと右カメラとを含んでいる。左カメラは、時には左眼画像と呼ばれるものを取り込み、右カメラは、時には右眼画像と呼ばれるものを取り込む。画像は、ビューシーケンス（view sequence）の一部、または、１回以上の回数で取り込まれた静止画像であってよい。通常、少なくとも、カメラペア１０２に対応する正面カメラ位置は、高品質の映像カメラで定着される。他のカメラ位置は、高品質の映像カメラ、低品質の映像カメラ、または、静止またはモノ画像を取り込むために使用される単一のカメラで定着され得る。いくつかの実施形態において、第２及び第３のカメラの実施形態は、未定着のまま残され、第１のカメラペア１０２が３つのカメラ位置の全てに対応するが、異なる回に画像を取り込むことを可能にして、カメラが搭載される支持プレートが回転される。いくつかのこのような実施形態では、左と右の後方の画像が取り込まれ、記憶され、その後、前方カメラ位置の映像がイベント中に取り込まれる。取り込まれた画像は、リアルタイムで、例えば、イベントがまだ進行中である間、符号化され、１つ以上の再生デバイスにストリーミングされ得る。
[00042] 図１に示された第１のカメラペアは、左カメラ１０１と右カメラ１０３を含む。左カメラは、第１のカメラに固定された第１のレンズアセンブリ１２０を有し、右カメラ１０３は、右カメラ１０３に固定された第２のレンズアセンブリを有する。レンズアセンブリ１２０、１２０’は、取り込まれるべき広角の視界を可能にするレンズを含む。いくつかの実施形態では、各レンズアセンブリ１２０、１２０’は魚眼レンズを含む。従って、カメラ１０１、１０３の各々は、１８０度の視界、または、約１８０度を取り込むことができる。いくつかの実施形態では、１８０度未満が取り込まれるが、依然、いくつかの実施形態で隣接するカメラペアから取り込まれた画像中に、少なくともいくらかの重複が存在する。図１の実施形態では、カメラペアは、第１（０度）、第２（１２０度）、及び、第３（２４０度）のカメラ搭載位置の各々に設けられ、各ペアは、周囲の少なくとも１２０度またはそれ以上を取り込むが、多くの場合には、周囲の１８０度または約１８０度を取り込む。
[00043] 第２（１０４）及び第３（１０６）のカメラペアは、第１のカメラペア１０２と同じまたは同様であるが、正面０度の位置に対して１２０と２４０度のカメラ搭載位置に設けられる。第２のカメラペア１０４は、左カメラ１０５と、左レンズアセンブリ１２２と、右カメラ１０７と、右カメラレンズアセンブリ１２２’を含む。第３のカメラペア１０６は、左カメラ１０９と、左レンズアセンブリ１２４と、右カメラ１１１と、右カメラレンズアセンブリ１２４’を含む。
[00044] 図１において、Ｄは、カメラ１０１、１０３からなる第１（１０２）の立体視ペアの軸間距離を表す。図１の例では、Ｄは、平均的な人間の左右の眼の瞳孔間距離と同じが類似する１１７ｍｍ（ミリメートル）である。図１の破線１５０は、パノラマ配列の中心点から右カメラレンズ１２０’ の入射瞳までの距離（別名、節オフセット）を示す。例である図１に対応する一実施形態では、参照番号１５０で示される距離は３１５ｍｍ（ミリメートル）であるが、他の距離も可能である。
[00045] １つの特定の実施形態において、カメラリグ１００のフットプリントは、６４０ｍｍ２（平方ミリメートル）またはそれより小さい水平領域であって、比較的小さい。このような小さなサイズは、ファンまたは参加者が通常居るか位置する着座位置において等の聴衆の中にカメラリグが設置されることを可能にする。従って、いくつかの実施形態では、カメラリグは、見る者が聴衆のメンバーであるとの感覚を持つことを可能にし、そのような効果が望まれる聴衆エリアに設置される。いくつかの実施形態では、フットプリントは、いくつかの実施形態における中心支持ロッドを含む支持構造が搭載されるか、または、支持タワーが設けられている基部のサイズに対応する。理解されるように、いくつかの実施形態におけるカメラリグは、カメラの３つのペアの間の中心点に対応する基部の中心点の周りに回転することができる。他の実施形態では、カメラは固定されており、カメラ配列の中心の周りを回転しない。
[00046] カメラのリグは、比較的近いだけでなく、別個な被写体を取り込むことが可能である。特定の一実施形態において、カメラ配列の最小撮像距離は６４９ｍｍ（ミリメートル）であるが、他の距離も可能であり、この距離は決して重要ではない。
[00047] カメラアセンブリの中心から第１及び第３のカメラ部分の視野の交点１５１までの距離は、第１及び第２のカメラペアによって取り込まれる画像を較正するために使用され得る例示的な較正距離を表す。１つの特定の例示的な実施形態では、視野のレンズ角度が交差し、「及び」、レンズの最大歪みが生じる、最適な較正距離は、７４３ｍｍ（ミリメートル）である。ターゲット１１５は、最大歪みの領域に、または、わずかに超えて位置付けられるカメラペアからの既知の距離に置かれ得ることを注記する。較正ターゲットは、既知の固定された較正パターンを含む。較正ターゲットは、カメラペアのカメラによって取り込まれた画像の大きさを較正するために使用され得、使用される。較正ターゲットの大きさと位置が較正ターゲット１１５の画像を取り込むカメラに対して既知であるので、そのような較正が可能である。
[00048] 図２は、図１に示されたカメラ配列のより詳細な図２００である。カメラリグが再び６台のカメラとともに示されるが、いくつかの実施形態では、カメラリグは、例えば、カメラペア１０２といった２台のみのカメラで定着される。示されるように、各カメラペア搭載位置の間には１２０度の分離がある。例えば、各カメラペアの間の中心がカメラ取り付け位置の方向に対応する場合を考える。そのような場合には、第１のカメラ搭載位置は０度に対応し、第２のカメラ搭載位置は１２０度に対応し、第３のカメラ搭載位置は２４０度に対応する。従って、カメラ搭載位置の各々は１２０度によって分離される。これは、各カメラペア１０２、１０４、１０６の中心を通って延びる中心線が延長され、線間の角度が測定された如くにみられ得る。
[00049] 図２の例では、カメラのペア１０２、１０４、１０６は、カメラリグ基部の位置を変更する必要なく、異なる視野が異なる回に取り込まれることを可能にして、カメラリグの中心点の周りを回転し得、いくつかの実施形態では回転する。即ち、リグがただ２つのカメラで定着されるが、図２に示されたリグを使用して３６０度のシーン取り込みを可能にしつつ、カメラは、リグの中央支持の周りを回転し異なる回に異なるシーンを取り込むことを可能にされ得る。そのような構成は、立体視カメラのコストを考慮したコストの観点から特に好ましく、同じ視点からだが、スポーツイベントまたは他のイベントの間の主要なアクションを含む全面のシーンが起こり得る時とは異なる回に取り込まれる背景を示すことが望ましい多くの用途に良く適している。例えば、イベントの間、被写体が、メインイベント中に示されないことが好ましいであろうカメラの後ろに置かれ得ることを考える。そのようなシナリオでは、後ろの画像は、メインイベントの前に取り込まれ、画像データの３６０度のセットを与えるために、メインイベントのリアルタイム取り込み画像と共に利用可能にされることができ、時には、そうする。
[00050] 図３は、支持三脚がなく、カメラペア上に置かれたプラスチックカバー３０２をもった、図１及び図２のリグと同じ、または、類似の例示のカメラリグ３００を示す。プラスチックカバー３０２は、例えば、三脚上に置かれたとき、カメラリグ３０２を持ち上げ、または、回転させるために用いられることができるハンドル３０１、３１２、３１４含む。カメラリグは、レンズアセンブリ３２０、３２０’をもった第１のレンズペア３０１、３０２、レンズアセンブリ３２２、３２２’を含む第２のカメラペア、及び、レンズアセンブリ３２４、３２４’を含む第３のカメラペアである、カメラの３つのペアとともに示される。プラスチックカバーは、図４に示される１つ以上のスロットとねじ穴をもった平板として実装され得る、搭載プラットフォーム３１０に固定される。プラスチックカバーは、カバー３０２の簡単な取り外しまたは取付け、カメラペアのカメラへの簡単なアクセスを可能にするために、手で取り外され得る、または、締め付けられ得る、ナットまたはねじ３３０、３３１を用いて基部に固定される。６台のカメラが図３に示されたリグに含まれるが、単一のカメラペアが含まれ得、及び／または、カメラペアが搭載されないその他のカメラ搭載位置に１つ以上の個々のカメラを有して、単一のカメラペアが含まれてもよい。
[00051] 図４は、部品がどのように組み立てられるかをより良く見せることを可能にするために、部分的に分解された形式で示されたカメラリグアセンブリ７００の詳細図である。
[00052] カメラリグ７００は、１つの例示的な実施形態に従って実施され、図１及び図２に示されたカメラの構成を有し得る。図４に示された例において、カメラリグ７００の様々な要素は、明瞭かつ詳細のために分解された形で示される。図４から理解され得るように、カメラリグ７００は、カメラリグ７００の支持構造７２０上に搭載され得る、立体視カメラ等の３つのカメラのペア７０２、７０４、及び、７０６を含む。第１のカメラのペア７０２は、カメラ７５０、及び、７５０’を含む。第２のカメラのペア７０４は、カメラ７５２、及び、７５２’を含み、第３のカメラのペア７０６は、カメラ７５４、７５４’を含む。カメラ７５０、７５０’のレンズ７０１、７０１’が図７に見られる。要素７０１、及び、７０１’がレンズとして記載されているが、いくつかの実施形態では、それらはカメラ７５０、７５０’に固定されるレンズアセンブリであって、各レンズアセンブリは、摩擦篏合またはツイストロック接続を介してカメラ７５０、７５０’に固定されるレンズ鏡筒内に設置された複数のレンズを含んでいる。
[00053] いくつかの実施形態では、３つのカメラのペア（６台のカメラ）７０２、７０４、及び、７０６は、それぞれのカメラペア搭載プレート７１０、７１２、及び、７１４を介して、支持構造７２０に搭載される。支持構造は、スロットが設けられた搭載プレート７２０の形態であり得る。スロット７３８は、プレート７２０内のスロットのいくつかの例である。スロットは重さを減らすが、また、カメラペアを、または、いくつかの場合には単一のカメラを支持するために使用されるカメラ搭載プレート７１０、７１２、７１４の位置調節を可能にする。
[00054] 支持構造７２０は、立体視カメラペア７０２、７０４、７０６を搭載するために３つの異なる搭載位置を含み、各搭載位置は、隣の搭載位置の方向から１２０度の異なるオフセット方向に対応する。図７の図示された実施形態では、立体視カメラの第１のペア７０２は、３つの搭載位置の第１の１つ、例えば、正面位置、に搭載され、正面視野領域に対応する。立体視カメラ７０４の第２のペア７０４は、３つの搭載位置の第２の１つ、例えば、正面位置に対して時計回りに１２０度回転した背景位置に搭載され、異なる右後方視野領域に対応する。立体視カメラの第３のペア７０６は、３つの搭載位置の第３のひとつ、正面位置に対して時計回りに２４０度回転した背景位置に搭載され、左後方視野領域に対応する。各カメラ位置におけるカメラは、少なくとも１２０度視野領域を取り込むが、多くの場合、少なくとも１８０度視野を取り込み、結果、いくつかの実施形態では重複する位置のいくつかが切り取られた３６０度視野に画像を組み合わせることを容易にし得る、取り込まれた画像における重複となる。
[00055] 第１のカメラペア搭載プレート７１０は、ねじ切りされたねじ穴７４１、７４１’、７４１’’を含み、支持構造７２０にプレート７１０を固定するために、のそれらを介して、ねじ７０４、７４０’、７４０’’、７４０’’が、それぞれスロット７３８及び７３８を介して挿入され得る。スロットは、支持プレート７１０の位置の調整を可能にする。
[00056] 第１のカメラペアのカメラ７５０、７５０’は、プレート７０３、７０３’の底部を貫通し、カメラ７５０、７５０’の底部上のねじ切りされた穴の中に延びるねじを用いて、個々の対応するカメラ搭載プレート７０３、７０３’に固定される。
[00057] 一旦、個々の搭載プレート７０３、７０３’に固定されると、カメラ７５０、７５０’、及び、搭載プレート７０３、７０３’は、ねじを用いて、カメラペア搭載プレート７１０に固定され得る。ねじ７２５、７２５’、７２５’’（完全には表示されていない））、及び、７２５’’’は、カメラプレート７０３とカメラ７５０とをカメラペア搭載プレート７１０に固定するために、対応するスロット７２４を貫通し、カメラペア搭載プレート７１０のねじ切りされた穴７４５、７４５’、７４５’’、７４５’’’に入る。同様に、ねじ７２７、７２７’（完全には見えない）、７２７””、及び、７２７’’’は、カメラプレート７０３’とカメラ７５０’をカメラペア搭載プレート７１０に固定するために、対応するスロット７２６、７２６’、７２６’’、及び、７２６’’’を貫通し、カメラペア搭載プレート７１０のねじ切りされた穴７４６、７４６’、７４６’’、及び、７４６’’’の中に入る。
[00058] 支持構造７２０は、支持構造を通過して移動する物体が、それが近くで移動すると支持構造に引っかかるリスクを低減するために搭載された、スタンドオフローラ（standoff rollers）７３２、７３２’を有する。これは、支持構造への損傷のリスクを低減する。更に、ローラの後ろの内側に空洞領域を有することにより、支持ローラへの衝撃は、支持構造の主要部にほとんど伝えられない。即ち、ローラ７３２’の後ろの空隙は、カメラ搭載プレートを固定するために使用されるスロットを含む支持構造の主要部に損傷を与えることなく、スタンドオフローラ７３２’が搭載される支持構造の棒状部分のいくらかの変形を可能にする。
[00059] 様々な実施形態では、カメラリグ７００は、例えば、支持プレート７２０の中に基部の中央を通って伸びるシャフトまたはねじ切りされたロッドによって、支持構造７２０が回転可能に搭載される基部７２２を含む。従って、様々な実施形態において、支持構造７２０上のカメラアセンブリは、基部７２２の中心を貫通する軸の周りを３６０度回転され得る。いくつかの実施形態では、基部７２２は、三脚または他の搭載デバイスの一部とすることができる。三脚は、数ペアのチューブ（７４２、７４２’）、（７４２’’、７４２’’’）によって形成された脚、並びに、視線角度により図４では見えない追加の脚を含む。脚は、ヒンジによって基部７２２に固定され、運ぶために折りたためられ得る。
支持構造は、プラスチック、金属、または、グラファイト若しくはガラス繊維等の複合材料、または、それらのいくつかの組み合わせでできていてよい。カメラペアは、いくつかの実施形態において中心節点（center nodal point）と呼ばれることもある、中心点の周りに回転され得る。
[00060] 図４に示されたアセンブリ７００は、個々のカメラの位置が、個々のカメラ搭載プレートをカメラペア搭載プレートに固定しているねじを緩めて、そして、ねじを再度締める前にカメラ位置を調節することによって、上部から調整されることを可能にする。カメラペアの位置は、支持構造７２０の底部側からアクセス可能なねじを緩めた後、カメラペア搭載プレートを移動させ、プレートを動かし、その後ねじを再度締めることによって、調整され得る。従って、カメラペアの大まかな位置と方向が支持プレート７２０におけるスロットによって規定され、その位置と方向は、カメラリグが使用されるべきフィールドでカメラが支持構造７２０に固定されている間に、所望のカメラ配置を達成するために、カメラ較正プロセスの一部として細かく調整され得る。
[00061] 図５において、図４で用いられた番号と同じである参照番号は同じ要素を参照する。図５は、カメラペアの上部に追加された、追加の安定化プレート８０２、８０２’、８０４、８０４’、８０６と、安定化プレート接合バー８０３、８０５、８０７、８０９、８１１、８１３を用いて組み立てられた形態にある例示のカメラリグ７００を示す図８００を図示し、それらが所望の位置に調整された後、カメラペアの剛性と安定性を増大させる。
[00062] 図面８００において、カメラペア７０２、７０４、７０６は、示された図に見られるカメラペア搭載プレート７１０の少なくとも１つを用いて、支持構造７２０上に搭載されることが見て取れる。既に図７に関して上述されたカメラリグ７００の要素に加え、図面８００において、カメラリグ上に搭載された２つのシミュレートされた耳部７３０、７３２も見て取れる。これらのシミュレートされた耳部７３０、７３２は、人間の耳を模しており、いくつかの実施形態では、人間の耳の形状に成形されたシリコンまたはプラスチックから作られる。シミュレートされた耳部７３０、７３２は、平均的な人の耳の間の間隔に等しい、または、ほぼ等しい距離だけ互いに分離されている２つの耳を用いたマイクロフォンを含む。シミュレートされた耳部７３０、７３２に搭載されたマイクロフォンは、正面に向いているカメラペア７０２上に搭載せれるが、代替的に、プラットフォーム７２０等の支持構造上に搭載され得る。シミュレートされた耳部７３０、７３２は、人の耳が人の頭の眼の表面に対して垂直に位置付けられているので、同様に、カメラペア７０２の前面に垂直に配置される。シミュレートされた耳部７３０、７３２の側面の穴は、シミュレートされた耳の側部における音声入口穴として機能し、人の耳が人の耳に含まれた鼓膜に音声を向けるのと同様に、シミュレートされた耳部と穴は、シミュレートされた耳部の各一方に搭載されたマイクロフォンに向かって音声を向けるために組み合わせで動作する。左と右とのシミュレートされた耳部７３０、７３２におけるマイクロフォンは、カメラリグ８００の場所にいる人が、カメラリグの位置に在る場合の人の左と右の耳を介して知覚したであろうものに類似したステレオ音響取り込みを提供する。シミュレートされた耳部に搭載されたマイクロフォンの音声入力は、人の耳のセンサー部分が人間の顔に幾分か垂直であるのと同じに、正面に向いたカメラ７５０、７５０’の外側レンズの面に垂直である。シミュレートされた耳部は、人の耳が人の耳の鼓膜に向けて音波を向けるのと同じように、マイクロフォンに向かって音声を向ける。
[00063] シミュレートされた耳部７３０、７３２は、音声を取り込むためのマイクロフォンを含む支持バー８１０に搭載される。音声取り込みシステム７３０、７３２、８１０は、ハンドル８１５を介して移動させることができる可動アーム８１４によって支持されている。
[00064] 図４−５は３つの立体視カメラペアを有する例示的なカメラリグの一構成を示しているが、他の変形が可能であることが理解されるべきである。例えば、一実施態様では、カメラリグ７００は、異なる１２０度視野が異なる回に取り込まれることを可能にしつつ、カメラリグの中心点の周りを回転し得る立体視カメラの単一のペアを含む。従って、単一のカメラペアは、支持構造上に搭載され、リグの中央支持の周りを回転し、３６０度シーン取り込みを可能にしつつ、異なる回に異なるシーンを取り込むことを可能にし得る。
[00065] 他の実施形態では、カメラリグ７００は、単一の立体視カメラペア７０２と、通常は立体視カメラペアのために使用される第２と第３の位置の各々に搭載された１つのカメラとを含む。そのような実施形態では、単一のカメラが、第２のカメラペア７０４の代わりにリグに搭載され、カメラペア７０６の代わりに、他の単一のカメラがカメラリグに搭載される。従って、そのような実施形態において、第２のカメラペア７０４は、単一のカメラの代表であるとして考えることができ、カメラペア７０６は、追加信号カメラの例示であると考えることができる。
[00066] 一実施形態に従って、立体視カメラのペア７０２を含む、カメラリグ、例えば、カメラリグ７００、を使用する例示的な方法は：
立体視カメラのペア７０２が第１の方向、例えば、正面位置、に向いている間に、画像の第１の１２０度後方立体視カメラ７０２を取り込むことと；
立体視カメラのペアが第２の方向を向いている間に、画像の第２の１２０度後方立体視ペアを取り込むことと； 及び、
立体視カメラのペアが正面方向を向いている間に、画像の正面方向立体視ペアを取り込むことと；
を備える。
[00067] いくつかの実施形態では、方法は、更に：
立体視カメラのペア７０２が搭載されている支持構造７０２を、画像の第１の１２０度後方立体視ペアが取り込まれるときと、画像の第２の１２０度後方立体視ペアが取り込まれるときとの間で回転すること
を備える。
[00068] いくつかの実施形態では、方法は、更に：
立体視カメラのペア７０２が搭載される支持構造７２０を、画像の第２の１２０度後方立体視ペアが取り込まれるときと、画像の正面の１２０度ペアが取り込まれるときとの間で回転すること
を備える。
[00069] 図６は、例示的な実施形態によるカメラの少なくとも１つのペアを含む、例えば、図１−５に示されたもの等の、カメラリグを動作させる例示的な方法のステップを示すフローチャート６００を図示する。
[00070] いくつかの実施形態では、カメラの単一のペアがその上に搭載されたカメラリグが、フローチャート６００の方法を実装するために用いられ得る、及び、いくつかの実施形態では用いる。ステップ６１８−６３０までを含む動作経路はこのアプローチを記載する。いくつかの他の実施形態では、１より多いカメラペア、例えば、カメラの３ペア、が、カメラリグに搭載される。ステップ６１０（ステップ６１２、６１４、６１６）と、６３０とを含む経路がこのアプローチを記載する。
[00071] 例示的な方法は、ステップ６０２、例えば、カメラリグが動作のために設定されるために準備されることで開始する。動作は、開始ステップ６０２からステップ６０４に進み、カメラの１つ以上のペアをもったカメラリグが設定される。カメラリグの設定中に、カメラの単一のペア、または、複数のカメラペアが、カメラの搭載プラットフォーム上に搭載され得る。動作は、ステップ６０４からステップ６０６に進む。ステップ６０６において、カメラの単一のペア、または、カメラの複数のペアがカメラリグに実装されているかどうか決定される。複数のカメラペアが実装されていると決定された場合、動作は、ステップ６０６からステップ６１０に進み、そうでなければ、動作はステップ６１８に進む。
[00072] ステップ６１０において、画像のペアが、カメラリグに実装されたカメラの複数のペアを使用して、並行して取り込まれる。いくつかの実施形態では、ステップ６１０は、ステップ６１０を実装する部分として実行されるサブステップ６１２、６１４、及び、６１６を含む。サブステップ６１２において、画像の第１のペアが、カメラの第１のペアが第１の方向に向いている間に、第１のカメラペア搭載位置においてカメラリグのカメラ搭載プラットフォーム上に搭載されたカメラの第１のペアを使用して取り込まれる。サブステップ６１４において、カメラの第２のペアが第２の方向に向いている間に、第２のカメラペア搭載位置において、カメラリグのカメラ搭載プラットフォーム上に搭載されたカメラの第２のペアを使用して、画像の第２のペアが取り込まれる。サブステップ６１６において、カメラの第３のペアが第３の方向を向いている間に、第３のカメラペア搭載位置において、カメラリグのカメラ搭載プラットフォーム上に搭載されたカメラの第３のペアを使用して、画像の第３のペアが取り込まれる。従って、ステップ６１０において、画像の複数のペアが、カメラリグに搭載された複数のカメラペアを使用して、並行して取り込まれる。いくつかの実施形態では、画像の第１、第２、及び、第３のペアを取り込むことは、第１、第２、及び、第３のカメラペアを用いて、並行して、映像を取り込むことを含む。いくつかの実施形態では、第１、第２、及び、第３のカメラペアの各々に含まれたカメラは、第１、第２、及び、第３のカメラペアが広角視野を取り込むことを可能にする魚眼レンズを含む。いくつかの実施形態では、第１、第２、及び、第３の方向がお互いから１２０度離れている。動作は、ステップ６１０からステップ６３０に進む。
[00073] ここで、ステップ６１８で始まるフローチャート６００の代替経路に沿ったステップを参照する。ステップ６１８から６２６は、例示のカメラリグ上に搭載された単一のカメラペアが画像を取り込むために使用される実施形態において実行される。ステップ６１８において、カメラの第１のペアが第１の方向を向いている間に、第１のカメラペア搭載位置において、カメラリグのカメラ搭載プラットフォーム上に搭載されたカメラの第１のペアを使用して、画像の第１のペアが取り込まれる。動作は、ステップ６１８からステップ６２０に進む。ステップ６２０において、カメラの第１のペアを第２の方向に向かせるよう、カメラの第１のペアを第２のカメラ搭載位置に位置決めするために、画像の第１のペアが取り込まれた後、カメラマウントプラットフォームが回転される。
[00074] 動作は、ステップ６２０からステップ６２２に進む。ステップ６２２において、カメラの第１のペアが第２の方向に向いている間に、カメラの第１のペアを使用して、画像の第２のペアが取り込まれる。動作は、ステップ６２２からステップ６２４に進む。ステップ６２４において、カメラの第１のペアを第３の方向に向かせるように、カメラの第１のペアを第３のカメラ搭載位置に位置決めするために、画像の第２のペアを取り込んだ後、カメラ搭載プラットフォームが回転される。動作が、ステップ６２４からステップ６２６に進む。ステップ６２６において、カメラの第１のペアが第３の方向を向いている間に、カメラの第１のペアを使用して、画像の第３のペアが取り込まれる。従って、カメラの第１のペアが搭載されているカメラマウントを回転することによって、様々な異なる方向の画像、例えば、３６０度のシーン領域の異なる位置に対応、が取り込まれる。いくつかの実施形態において、第１の方向は正面方向であり、イベントが進行中である間に、正面方向に対応する画像の立体視ペアが、第１のカメラペアによってリアルタイムで取り込まれる。いくつかの実施形態では、第２と第３の方向が左と右後方であり、後方左と後方右に対応する立体視画像ペアが、イベントが進行中でないとき、例えば、イベントの開始前または何らかの他の時間に取り込まれる。いくつかの実施形態では、画像の取り込まれたペアは、カメラの左と右の眼のカメラによって取り込まれた関心のシーン領域の画像である。いくつかの実施形態において、カメラ搭載プラットフォームの回転と画像取り込みは、遠隔デバイスから送られる制御信号を介して制御される。いくつかの他の実施形態において、回転と画像取り込みは手動で行われる。いくつかの実施形態では、カメラ搭載プラットフォームの回転、カメラペアを介した画像取り込み制御、及び／または、他の動作は、事前にプログラムすることができ、従って、動作は、事前に構成された設定／命令に応じて自動的に行われ得る。動作は、ステップ６１０からステップ６３０に進む。
[00075] ここで、ステップ６３０に戻る。ステップ６３０において、１つ以上の取り込まれた画像、例えば、画像の第１、第２、第３のペア、が、例えば、メモリに記憶され、及び／または、インターフェースを介して外部デバイスに伝送され、及び／または、例えば、表示デバイスに出力される。いくつかの実施形態では、ステップ６３０はサブステップ６３２、６３４、及び、６３６を含み、それらの１つ以上は、いくつかの実施形態においてステップ６３０を実装する部分として実行される。サブステップ６３２において、取り込まれた画像ペアの１つ以上がメモリに記憶される。サブステップ６３４において、取り込まれた画像ペアの１つ以上が、更なる処理と他の受信デバイスへの配信のために、符号化及びコンテンツ配信デバイスに送られる。いくつかの実施形態では、ステップ６３４は、イベントの間にリアルタイムで取り込まれた、例えば、正面方向に対応する画像ペア等の正面画像ペア、及び、イベント前に取り込まれた少なくとも１つの後ろの画像ペアを、イベントが進行中の間、通信システムまたは再生デバイスに送ることを含む。サブステップ６３６において、取り込まれた画像ペアの１つ以上は、例えば、表示デバイス上に、表示される。様々な実施形態では、カメラリグ上に実装されたカメラペアにおいて、各カメラは、プロセッサとメモリと入出力インターフェースとを含む。いくつかの実施形態では、カメラの１つ、または、プロセッサとメモリを含むコンピュータシステムは、送信を制御すること、及び／または、前記カメラリグに搭載されたカメラによって取り込まれた立体視画像ペアの伝送及び／または記憶を制御する責任がある。実施形態に応じて、動作は、ステップ６３０からステップ６１０またはステップ６１８の１つに戻り、動作は、例えば、追加の画像を取り込むために、上述のように進み得る。
[00076] 図７は、本発明の特徴に従った例示的な符号化及びコンテンツ配信システム９００を示す。符号化及びコンテンツ配信システム９００は、１つ以上の搭載されたカメラペアを有するカメラリグ等の撮像装置から、例えば、画像ペア（または、複数の画像ペア）等の画像コンテンツを受け取り、処理するために使用され得る。処理システム９００は、立体視画像コンテンツを符号化し、ストリーミングするために使用され得るマルチレート符号化機能を含む。
[00077] システム９００は、本発明の特徴に従って、マルチレート符号化処理、記憶、伝送、及び／または、コンテンツ出力を行うために使用され得、いくつかの実施形態では使用される。システム９００は、また、例えば、オペレータに、処理された、及び／または、符号化された画像データを、復号し、表示する機能を含み得る。システム９００は、表示装置９０２、入力デバイス９０４、入力／出力（Ｉ／Ｏ）インターフェース９０６、プロセッサ９０８、ネットワークインターフェース９１０、及び、メモリ９１２を含む。システム９００の様々なコンポーネントは、データがシステム９００のコンポーネント間で通信されることを可能にするバス９０９を介して共に接続される。
[00078] メモリ９１２は、プロセッサ９０８によって実行されたときに、本発明に従った符号化、記憶、及び、ストリーミング／伝送、及び／または、出力の動作を実装するようにシステム９００を制御する各種ルーチン及びモジュールを含む。
[00079] 表示デバイス９０２は、画像、映像、システム９００の構成についての情報を表示するために、及び／または、処理デバイス上で実行されている処理の状態を示すために使用される、タッチスクリーンであり得、及び、いくつかの実施形態では、タッチスクリーンである。表示デバイス９０２がタッチスクリーンである場合には、表示デバイス９０２は、追加の入力デバイスとして、及び／または、例えば、ボタン９０６、等の別個の入力デバイス装置への代替として機能する。入力デバイス９０４は、情報、データ、及び／または、命令を入力するために使用され得る、例えば、キーパッド、タッチスクリーン、または、類似のデバイス等であり得る、及び、いくつかの実施形態ではそうある。
[00080] Ｉ／Ｏインターフェース９０６を介して、符号化及びコンテンツ配信システム９００は、外部デバイスに接続され得、例えば、本発明のカメラリグ、及び／または、カメラリグ上に搭載された１つ以上のカメラ等の外部デバイスと情報や信号を交換し得る。いくつかの実施形態において、Ｉ／Ｏインターフェース９０６を介して、符号化及びコンテンツ配信システム９００は、カメラリグ上に搭載されたカメラペアによって取り込まれた画像を受け取る。いくつかの実施形態では、Ｉ／Ｏインターフェース９０６を介して、処理システム９００は、例えば、カメラリグ及び／または１つ以上のカメラの動作を制御するためのコマンド／命令等の制御信号を送ることができる。
[00081] ネットワークインターフェース９１０は、システム９００を、例えば、ハイブリッド光ファイバ−同軸（hybrid fiber-coaxial：ＨＦＣ）ネットワーク、衛星ネットワーク、及び／または、インターネット等の通信ネットワークを通じて、外部デバイスと情報を受け取り、及び／または、送ることができるようにする。いくつかの実施形態におけるネットワークインターフェース９１０は、送信機と受信機を含む。送信機は、処理システム９００は、本発明に従ってカメラによって取り込まれた画像データを含むコンテンツの復号化や再生ができるデバイス等の様々な顧客デバイスに、複数の符号化された立体視データストリームを、送る、例えば、ブロードキャストする、または、ユニキャストする、ことを可能にする。いくつかの実施形態では、システム９００は、インターフェース９１０の送信機を介して、顧客デバイスに、例えば、正面部分、左後方部分、右後方部分等のシーンの異なる部分を送る。
[00082] メモリ９１２は、制御ルーチン９１４、画像符号化部（または、複数の符号化部）９１６、ストリーミングコントローラ９２０、例えば、立体視画像データ等の受け取られた画像ペア９２２、及び、符号化された画像ペア（または、複数のペア）を含む符号化された画像データ９２４を含む。
[00083] いくつかの実施形態では、モジュールは、ソフトウェアモジュールとして実装される。他の実施形態では、モジュールは、例えば、そのモジュールが対応する機能を実行するための回路として各モジュールが実施されている個別の回路等のハードウェアで実装される。さらに他の実施形態では、モジュールは、ソフトウェアとハードウェアとの組み合わせを使用して実装される。
[00084] 制御ルーチン９１４は、システム９００の動作を制御するために、デバイス制御ルーチン、及び、通信ルーチンを含む。符号化部（または、複数の符号化部）９１６は、例えば、本発明の態様に従ったカメラリグ上に搭載されたカメラの１つ以上のペアによって取り込まれたシーンの画像等の、受け取られた画像コンテンツを符号化するよう構成された複数の符号化部を含み得、いくつかの実施形態では含む。いくつかの実施形態では、符号化部（または、複数の符号化部）は、各符号化部がシーンの部分に対応する画像ペアを符号化するように構成されている、複数の符号化部を含む。符号化部（または、複数の符号化部）９１６の出力は、例えば、再生デバイス等の顧客デバイスへのストリーミングのためにメモリに記憶された、符号化された立体視画像データ９２４である。符号化されたコンテンツは、ネットワークインターフェース９１０を介して１つまたは複数の異なるデバイスにストリーミングされ得る。
[00085] ストリーミング制御部９２０は、符号化された画像コンテンツ（例えば、符号化された画像データ９２４の少なくとも一部）を、例えば、通信ネットワーク上で、１つ以上の顧客再生デバイスに配信するための符号化されたコンテンツ９２４のストリーミングを制御するように構成される。いくつかの実施形態では、ストリーミング制御部９２０は、例えば、ネットワークインターフェース９１０を介して、１つまたはそれ以上の顧客再生デバイスにシーン領域の深さマップを通信する、例えば、送信する、ように更に構成される。
[00086] 受け取られた立体視画像データ９２２は、１つ以上のカメラペアによって取り込まれ、システム９００によって受け取られた画像のペアを含む。符号化された立体視画像データ９２４は、符号化部（または、複数の符号化部）９１６によって符号化されている画像データの複数の組を含む。
[00087] 上述の方法及び装置の多数の変形が可能である。いくつかの実施形態では、支持基部７２０は、カメラリグを持ち上げる、及び／または、回転させるためのハンドルを含む。
[00088] 三脚支持構造を除くカメラリグ全体は、簡単な搬送に寄与するように、高さ２フィートより小さくあり得る、いくつかの実施例ではそうある。しかし、他の実施形態では、カメラリグはより背が高く、例えば、着座位置で３−５フィートの高さ、立位置で４と７フィートの間の高さ等、人の高さに近似したカメラリグ高さの結果となる支持タワーまたは基部を含む。搬送の目的のために、三脚基部は、通常、支持基部７２０から取り外し可能である。カメラも取り除かれ、輸送のための場合には梱包される。カメラは輸送のために搭載プレートに固定されたまま残されてもよい。
[00089] 図１−５に示された、三脚支持を除く、カメラリグは、三脚支持タワー上ではなく、使用中にテーブル、スツール、または、他の支持体上に置かれてもよい。
[00090] いくつかの実施形態において、前景カメラ位置は、シーンコンテンツに対して０度である。これは、少なくともいくつかの実施形態において、主たる関心領域を取り込むために使用される第１のカメラペアの２台のカメラが存在する位置である。再生の間、背景に対応する他の２つのカメラ位置が、多くの場合にリアルタイムイベントの前に静止画像として取り込まれた非リアルタイム画像で定着される場合には、第１のカメラペアがリアルタイムコンテンツを取り込むために使用される。
[00091] 位置２は、右１２０度の背景カメラ位置に対応する。第２の位置がリアルタイム画像を取り込むために使用されるカメラで定着されていない場合、これは、例えば、イベントの前、または、イベントの間に起こる休憩時間の間に、静止画像を取り込む目的で第１のカメラペアのカメラが回転される一時的な位置または方向とみられ得る。
[00092] いくつかの実施形態において、第３のカメラが、前方０度の方向に対して２４０度の背景カメラ位置である左後方向に対応する。第３の方向に対応するカメラ位置が１つ以上のカメラで定着されていない実施形態において、これは、例えば、イベントの前、または、イベントの間に起こる休憩時間の間に、第３の方向での静止画像を取り込む目的でカメラのペアが回転される一時的な位置である。
[00093] 図１における線１５０は、パノラマ配列の中心点から各立体視カメラペア上に見られるボルト穴に揃えられたデータ登録平面までの距離を表す１つの特定の例示の実施形態では、１１７ｍｍ（ミリメートル）の前方オフセット値を示す。一実施形態におけるこの所望の距離は、例示的な実施形態についての全ての３つの位置において、６台のカメラ配列（３ペア）の節オフセット（nodal offset）の適切なシミュレーションを達成するために維持されるべきである。しかし、この特定の距離は、全ての実施形態の限定ではない。
[00094] いくつかの実施形態では、カメラリグは、プロ級で、大規模センサーで、映画カメラの配列を使用して、４Ｋ以上の高い画像解像度、高ダイナミックレンジ、高フレームレートでもって、３６０度、立体視、パノラマ映像の取り込みを提供し、サポートする。
[00095] いくつかの実施形態では、リグは、リグが６台のカメラで完全で同時の３６０度パノラマを獲得することを可能にする配列の中に位置付けられたカメラの３つのペアを含む。少なくともいくつかのそのような実施形態では、カメラは、３６０度視野のリアルタイム画像取り込みを実行するために使用される。
[00096] いくつかの実施形態では２台のカメラで、および、他の実施形態では６台のカメラ等のそれより多くのカメラで定着され得るカメラリグに加えて、本発明は、例えば、顧客の要求、及び／または、時間の異なる点での他の要件に応じたカメラの異なる数等、異なる回でそのようなリグを使用する方法に向けられる。
[00097] 時間における１点で使用中に、いくつかの実施形態では、カメラ配列は、カメラリグのバックボーンを構成するカメラ支持アセンブリに含まれる６つの搭載位置の２つに２台のみのカメラで定着される。１つのそのような実施形態では、高い値の前景１８０度のシーン要素がリアルタイムで取り込まれ、他方、リアルタイムで取り込まれる正面シーンに正確に合わせられるがオフセットされている静止画像の取り込みを可能にするように、１２０度と２４０度方向に対応する２つの他のシーン視野が、例えば、カメラペアがカメラリグに搭載されている間に回転された後等の他の時間点において取り込まれる。２つの背景セグメントは、低い値のものであってよいが、リアルタイムで取り込まれた正面シーンと組み合されたとき、および／または、共に利用可能とされたとき、魅力ある３６０度立体視体験を提供し得る。
[00098] カメラリグのカメラ支持構造は、いくつかの実施形態では、６３ｍｍ（ミリメートル）から１２０ｍｍ（ミリメートル）までの範囲内に、各立体視カメラペアの軸間の分離を維持する。１つの特定の実施形態では、１１７ｍｍ（ミリメートル）の軸間の分離値が維持される。
[00099] 様々な特徴は、また、カメラ支持構造とカメラ構成が７５ｍｍ（ミリメートル）から３５０ｍｍ（ミリメートル）の範囲内の節オフセット距離を維持し得る、様々な実施形態では維持するという事実に関係する。特定の一実施形態では、３１５ｍｍ（ミリメートル）の節オフセット距離が維持される。
[000100] 支持構造は、いくつかの実施形態において、４００ｍｍ２（平方ミリメートル）から７００ｍｍ２（平方ミリメートル）の範囲内の全体領域（別名、フットプリント）を維持する。１つの特定の実施形態では、６４０ｍｍ２（平方ミリメートル）の全体面積（別名、フットプリント）が維持される。
[000101] カメラリグは、いくつかであるが全てではない実施形態において、４００ｍｍ（ミリメートル）から７００ｍｍ（ミリメートル）の範囲の最小撮像距離を有する。１つの特定の実施形態では、リグは６４９ｍｍ（ミリメータ）の最小撮像距離を有する。
[000102] １つの特定の実施形態において、配列の光学的較正距離は、視野のレンズ角度が交差し、「および」、レンズの最大歪みが発生する場所である。１つの特定の例示的な実施形態では、この距離は７４３ｍｍ（ミリメートル）である。
[000103] 上述したように、様々な実施形態において、例えば、リグ等のカメラ配列は、リアルタイムで高い値の前方１８０度のシーン要素を取り込み、一方で、低い値の背景１８０度のシーン要素の静止画像を手動で取り込むために、同時の３６０度立体視映像のために通常必要とされるのであろう合計６つのカメラの内の２台のみで定着される。
[000104] いくつかの実施形態において、画像の正面立体視ペアは、イベントが進行中にリアルタイムで取り込まれ、他方、第１及び第２の後方立体視画像ペアは、イベントが進行中でない時に取り込まれる。
[000105] いくつかの実施形態において、方法は、更に：
メモリ内に、取り込まれた画像ペアを記憶すること
を備える。
いくつかの実施形態では、方法は、更に：
イベントが進行中である間に、通信システムまたは再生デバイスに、イベント中にリアルタイムで取り込まれた正面画像ペアと、イベントの前に取り込まれた少なくとも一つの後方画像ペアとを送ること
を備える。
[000106] いくつかの実施形態では、例えば、カメラペア７０２、７０４、７０６における、各カメラは、プロセッサとメモリと出力インターフェースとを含む。いくつかの実施形態では、プロセッサとメモリとを含む、カメラの１つ、または、コンピュータシステムが、カメラリグに搭載されたカメラによって取り込まれた立体視画像ペアの伝送及び／または記憶を制御する責任がある。カメラペアは、カメラレンズが突出し、及び／または、光を取り込み得る開口部を有する保護カバーまたはケースで覆われる。
[000107] 様々な範囲と例示的な値が記載されているが、その範囲及び値は例示的なものである。いくつかの実施形態では、値の範囲は、上述の範囲よりも２０％大きい。他の実施形態では、範囲は、上述の例示的な範囲より２０％小さい。同様に、特定の値は、上記に特定された値よりも２０％まで大きくてもよく、および、時には大きいし、他方、他の実施形態では、値は、上記特定された値よりも２０％まで小さくなる。更に他の実施形態では、他の値が使用される。
[000108] いくつかの実施形態は、立体視映像を符号化し、圧縮するために、および／または、この中に記載された方法の１つ以上に従って動作するために１つ以上のデバイスを制御するために、コンピュータまたはその他のデバイスを制御するための、コンピュータが実行可能な命令等のソフトウェア命令の組を具現化する非一時的なコンピュータ読み取り可能な媒体に向けられる。他の実施形態は、プレーヤ側で映像を復号化し、解凍するために、コンピュータまたは他のデバイスを制御するための、例えば、コンピュータが実行可能な命令等のソフトウェア命令の組を具現化するコンピュータが読取り可能な媒体に向けられる。符号化及び圧縮が可能な別個の動作として述べられるが、符号化は圧縮を実行するために使用され得、従って、符号化することは、いくつかの実施形態において、圧縮を含み得ることが理解されるべきである。同様に、復号化することは解凍を含み得る。
[000109] 様々な実施形態の技術は、ソフトウェア、ハードウェア、及び／または、ソフトウェアとハードウェアの組合せを用いて実装され得る。様々な実施形態は、装置、例えば、画像取り込み及び／または画像データ処理システム、に向けられている。様々な実施形態は、また、例えば、画像データを処理する方法等の方法に向けられている。様々な実施形態は、また、コンピュータや、方法の１つ以上のステップを実装するために機械を制御するための機械が読出し可能な命令を含む、例えば、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスク、等の読出し可能な媒体等の非一時的な機械に向けられる。
[000110] 本発明の様々な特徴は、モジュールを使用して実施される。そのようなモジュールは、ソフトウェアモジュールとして実装されてもよく、いくつかの実施形態では実装される。他の実施形態において、モジュールはハードウェアで実装される。更に他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。いくつかの実施形態では、モジュールは、各モジュールが対応する機能を実行するための回路として実装されて、個別の回路として実装される。広範な実施形態は、例えば、いくつかがハードウェアで、いくつかがソフトウェアで、いくつかがハードウェアとソフトウェアとの組み合わせを用いている等、異なるモジュールが異なって実装されるいくつかの実施形態を含むようもくろまれる。また、汎用プロセッサ上で実行されるソフトウェアとは対照的に、ルーチン及び／またはサブルーチン、または、そのようなルーチンによって実行されるステップのいくつかが、専用のハードウェアに実装されてもよいことが注記される。そのような実施形態は、本発明の範囲内に留まる。上述の方法または方法ステップの多くは、例えば、追加のハードウェアの有る無しの汎用プロセッサ等の機械を制御するために、上述された方法の全てまたは部分を実装するために、ＲＡＭ、フロッピー（登録商標）ディスク、等のメモリデバイス等の機械が読出し可能な媒体に含まれた、ソフトウェア等の機械が実行可能な命令を使用して実装され得る。従って、他にもある中で、本発明は、例えば、プロセッサ及び関連するハードウェア等の機械に、上述された方法（または、複数）のステップの１つ以上を実行させるための機械が実行可能な命令を含む機械が読取り可能な媒体に向けられる。
[000111] 上述の様々な実施形態の方法及び装置における数多くの追加の変形が、上記の説明に鑑みて当業者に明らかである。そのような変形は、範囲内にあるとみなされるべきである。

Claims (20)

  1. カメラリグであって、
    ３つの搭載位置を含む支持構造を備え、
    各搭載位置は、異なる１２０度の方向に対応する、
    カメラリグ。
  2. 前記支持構造はカメラ搭載プレートを含み、
    前記カメラリグは、更に、
    前記支持構造が回転可能に搭載される支持タワー
    を備え、
    前記支持タワーは三脚基部を含む、
    請求項１に記載のカメラリグ。
  3. 前記３つの搭載位置の第１の１つに搭載されたカメラの第１のペアを更に備える、請求項１に記載のカメラリグ。
  4. 前記３つの搭載位置の第２の１つに搭載されたカメラの第２のペアを更に備える、請求項３に記載のカメラリグ。
  5. 前記３つの搭載位置の第３の１つに搭載されたカメラの第３のペアを更に備える、請求項４に記載のカメラリグ。
  6. 前記３つの搭載位置の各１つに搭載された単一のカメラを更に備える、請求項１に記載のカメラリグ。
  7. 各々が、カメラの前記第１のペアのレンズの面に垂直に位置決めされた音声入力をもった左と右とのマイクロフォンのペアを更に備える、請求項４に記載のカメラリグ。
  8. 少なくともカメラの第１のペアを含む立体視のカメラリグを用いる方法であって、
    カメラの前記第１のペアが第１の方向に向いている間に、第１のカメラペア搭載位置で前記カメラリグのカメラ搭載プラットフォームの上に搭載されたカメラの前記第１のペアを用いて、画像の第１のペアを取り込むことと、
    前記カメラ搭載プラットフォームの上に搭載されたカメラのペアを用いて、カメラの前記ペアが第２の方向に向いている間に、画像の第２のペアを取り込むことと、
    を備える方法。
  9. 前記カメラ搭載プラットフォームの上に搭載されたカメラのペアを用いて、カメラの前記ペアが第３の方向に向いている間に、画像の第３のペアを取り込むことを更に備える、請求項８に記載の方法。
  10. 前記カメラ搭載プラットフォームの上に搭載されたカメラのペアを用いて、カメラの前記ペアが第２の方向に向いている間に、画像の第２のペアを取り込むことは、
    第２のカメラペア搭載位置において前記カメラ搭載プラットフォームの上に搭載されたカメラの第２のペアを用いて、画像の前記第２のペアを取り込むこと
    を含む、請求項９に記載の方法。
  11. 前記カメラ搭載プラットフォームの上に搭載されたカメラのペアを用いて、カメラの前記ペアが第３の方向に向いている間に、画像の第３のペアを取り込むことは、
    第３のカメラペア搭載位置において前記カメラ搭載プラットフォームの上に搭載されたカメラの第３のペアを用いて、画像の前記３のペアを取り込むこと
    を含む、請求項１０に記載の方法。
  12. 画像の前記第１のペア、第２のペア、及び、第３のペアを取り込むことは、カメラの前記第１のペア、第２のペア、及び、第３のペアを並行に用いて映像を取り込むことを含む、請求項１１に記載の方法。
  13. カメラの前記第１のペア、第２のペア、及び、第３のペアの各々に含まれるカメラは、カメラの前記第１のペア、第２のペア、及び、第３のペアの各々の個々のカメラが広角の視野を取り込むことを可能にする魚眼レンズを含む、請求項１２に記載の方法。
  14. 前記第１の方向、第２の方向、及び、第３の方向は、お互いに１２０度離れている、請求項１１に記載の方法。
  15. 画像の前記第２のペアを取り込むために用いられるカメラの前記ペアは、カメラの前記第１のペアであり、
    前記第２の方向を向くようにカメラの前記第１のペアを位置決めするために、画像の前記第１のペアを取り込んだ後、前記カメラ搭載プラットフォームを回転すること
    を更に備える、請求項８に記載の方法。
  16. カメラの前記第１のペアを第３の方向を向くように位置決めするために、画像の前記第２のペアを取り込んだ後、前記カメラ搭載プラットフォームを回転することと、
    カメラの前記第１のペアが第３の方向を向いている間に、カメラの前記第１のペアを使用して、画像の第３のペアを取り込むことと
    を更に備える、請求項１５に記載の方法。
  17. 前記第１の方向、第２の方向、及び、第３の方向は、お互いから１２０度離れる、請求項１６に記載の方法。
  18. 前記第１の方向は正面方向であり、
    前記正面方向に対応する画像の立体視ペアは、イベントが進行中の間、カメラの前記第１のペアによってリアルタイムで取り込まれる、
    請求項１７に記載の方法。
  19. 前記第２の方向と前記第３の方向は、左と右との後方であり、
    前記左と右との後方に対応する画像の立体視ペアは、前記イベントが進行中でないときに取り込まれる、
    請求項１８に記載の方法。
  20. イベントの間にリアルタイムで取り込まれた前記正面方向に対応する画像の前記ペアと、前記イベントの前に取り込まれた少なくとも１つの後方画像ペアとを、前記イベントが進行中の間に、通信システムまたは再生デバイスに送ること
    を更に備える、請求項１９に記載の方法。
JP2016568677A 2014-05-20 2015-05-20 １つ以上のカメラを含む、または、１つ以上のカメラとともに使用するための方法及び装置 Withdrawn JP2017521897A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462001049P 2014-05-20 2014-05-20
US62/001,049 2014-05-20
US201462001137P 2014-05-21 2014-05-21
US62/001,137 2014-05-21
US201562128844P 2015-03-05 2015-03-05
US62/128,844 2015-03-05
PCT/US2015/031850 WO2015179574A1 (en) 2014-05-20 2015-05-20 Methods and apparatus including or for use with one or more cameras

Publications (1)

Publication Number Publication Date
JP2017521897A true JP2017521897A (ja) 2017-08-03

Family

ID=54554730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016568677A Withdrawn JP2017521897A (ja) 2014-05-20 2015-05-20 １つ以上のカメラを含む、または、１つ以上のカメラとともに使用するための方法及び装置

Country Status (4)

Country Link
US (2) US10027948B2 (ja)
JP (1) JP2017521897A (ja)
CN (1) CN106464785A (ja)
WO (1) WO2015179574A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018040941A (ja) * 2016-09-07 2018-03-15 株式会社シータ 撮像装置の固定具
US10915009B2 (en) 2016-04-15 2021-02-09 Sony Corporation Compound-eye camera module and electronic device
KR102404624B1 (ko) * 2021-10-07 2022-06-02 주식회사 벤타브이알 입체영상 촬영용 카메라 리그장치

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015179574A1 (en) * 2014-05-20 2015-11-26 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
EP3259739A4 (en) 2015-02-17 2018-08-29 NEXTVR Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
WO2016138043A1 (en) 2015-02-24 2016-09-01 NextVR, Inc. Calibration for immersive content systems
US20160253839A1 (en) 2015-03-01 2016-09-01 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
US20180063507A1 (en) * 2015-04-09 2018-03-01 Philippe Cho Van Lieu Apparatus for recording stereoscopic panoramic photography
US9948914B1 (en) * 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US10038887B2 (en) * 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
DE102015118997A1 (de) * 2015-11-05 2017-05-11 Berliner Kta Shareholder Gmbh Kamerahalterung für stereoskopische Panoramaaufnahmen
KR102632270B1 (ko) * 2015-11-27 2024-02-02 삼성전자주식회사 전자 장치 및 파노라마 영상 표시와 생성 방법
WO2017091019A1 (en) 2015-11-27 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
CN106817516A (zh) * 2015-11-30 2017-06-09 英业达科技有限公司 摄像整合系统及方法
CN106937135A (zh) * 2015-12-31 2017-07-07 幸福在线（北京）网络技术有限公司 一种游戏场景的实时播放方法及相关装置和系统
CN109076200B (zh) 2016-01-12 2021-04-23 上海科技大学 全景立体视频系统的校准方法和装置
CN105681638A (zh) * 2016-03-25 2016-06-15 北京电影学院 用于电影虚拟化制作的可控俯仰角全景摄影系统
US10187629B2 (en) 2016-04-06 2019-01-22 Facebook, Inc. Camera calibration system
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
FR3052949B1 (fr) * 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
CN109328460A (zh) * 2016-07-01 2019-02-12 脸谱公司 立体图像捕获
US9674435B1 (en) * 2016-07-06 2017-06-06 Lawrence Maxwell Monari Virtual reality platforms for capturing content for virtual reality displays
US10979607B2 (en) 2016-07-20 2021-04-13 Apple Inc. Camera apparatus and methods
US10151968B2 (en) * 2016-08-09 2018-12-11 Brandon T. Roots Multi-camera mount
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
USD824990S1 (en) 2016-08-30 2018-08-07 Freedom360 Llc Camera mount
US10025165B2 (en) 2016-08-30 2018-07-17 Freedom360 Llc Camera mount
US10447993B2 (en) * 2016-09-27 2019-10-15 Laduma, Inc. Stereoscopic 360 degree digital camera systems
CN106412397A (zh) * 2016-10-17 2017-02-15 成都观界创宇科技有限公司 摄像设备及用于识别摄像设备状态的方法及装置
WO2018136797A1 (en) 2017-01-19 2018-07-26 Indevr, Inc. Parallel imaging system
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
KR102386492B1 (ko) 2017-03-21 2022-04-15 삼성전자주식회사 렌즈 어셈블리 및 그를 포함하는 광학 장치
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
US10324360B2 (en) * 2017-05-09 2019-06-18 Jared Stanton Camera rig
US10401712B2 (en) * 2017-05-10 2019-09-03 Thomas George KEETON Multi-camera support bracket
TWI649610B (zh) * 2017-09-19 2019-02-01 晶睿通訊股份有限公司 鏡頭傳動機構及其攝影裝置
US10735709B2 (en) 2018-04-04 2020-08-04 Nextvr Inc. Methods and apparatus for capturing, processing and/or communicating images
EP3787278A4 (en) * 2018-04-26 2022-03-16 Tenntwo Co., Ltd. WIDE ANGLE IMAGE SUPPLY SYSTEM
US10687039B1 (en) * 2018-05-16 2020-06-16 Gopro, Inc. Systems and methods for identifying viewing directions for video content
US20190387165A1 (en) * 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device
CN111327838B (zh) * 2018-12-13 2021-09-24 杭州海康威视数字技术股份有限公司 摄像机
US11282231B2 (en) 2018-12-21 2022-03-22 Sony Group Corporation Camera rig with multiple sensors
CN109973790B (zh) * 2019-03-29 2020-08-25 李登平 一种防磁化的磁共振检查室用专业摄像头设备
CN112128565B (zh) * 2020-09-27 2021-12-24 深圳市走去科技集团有限公司 一种基于vr技术的实时双向调节装置
EP4020078A3 (en) * 2020-12-23 2022-08-03 A.p.p.a.r.a.t.u.s. LLC Support device
CN113163130B (zh) * 2021-03-25 2023-04-07 维沃移动通信有限公司 拍摄辅助设备、图像对采集的标定方法及电子设备
RU208789U1 (ru) * 2021-07-16 2022-01-13 Общество с ограниченной ответственностью "РАЙТ СЕКЬЮРИТИ СИСТЕМС" Оптическая система видеонаблюдения
US11951911B2 (en) * 2021-09-13 2024-04-09 Avery Oneil Patrick Mounting system, apparatus, and method for securing one or more devices to a vehicle window
AU2022200797A1 (en) * 2022-02-04 2023-08-24 Kelvin Chin Yeoh Lim All seeing eyes housing system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0348233A (ja) * 1989-07-17 1991-03-01 Sony Corp 立体映像記録及び投影装置
JPH07240945A (ja) * 1994-02-25 1995-09-12 Matsushita Electric Ind Co Ltd 仮想空間生成提示装置
JP2002171460A (ja) * 2000-11-30 2002-06-14 Sony Corp 再生装置
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
JP2012147137A (ja) * 2011-01-07 2012-08-02 Jvc Kenwood Corp 収音装置
US20140104378A1 (en) * 2011-04-08 2014-04-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Capturing panoramic or semi-panoramic 3d scenes

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2545465A (en) * 1946-12-18 1951-03-20 Clinton W Hough Stereoscopic apparatus
US6301447B1 (en) * 1991-05-13 2001-10-09 Interactive Pictures Corporation Method and system for creation and interactive viewing of totally immersive stereoscopic images
US5870642A (en) * 1997-08-13 1999-02-09 Eastman Kodak Company Panoramic support for camera permits horizontal-format and vertical-format image recordings
US6023588A (en) * 1998-09-28 2000-02-08 Eastman Kodak Company Method and apparatus for capturing panoramic images with range data
JP4017579B2 (ja) * 2003-09-19 2007-12-05 株式会社ソニー・コンピュータエンタテインメント 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
CN101027900A (zh) * 2004-09-24 2007-08-29 皇家飞利浦电子股份有限公司 包括或利用一个或多个相机以提供重叠图像的用于生成合成图像的系统和方法
US7791638B2 (en) * 2004-09-29 2010-09-07 Immersive Media Co. Rotating scan camera
US20060103723A1 (en) 2004-11-18 2006-05-18 Advanced Fuel Research, Inc. Panoramic stereoscopic video system
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
US7838991B1 (en) * 2007-02-05 2010-11-23 National Semiconductor Corporation Metallurgy for copper plated wafers
US8619127B2 (en) * 2007-05-10 2013-12-31 Assad F. Mora Stereoscopic three dimensional visualization system and method of use
CN101276465B (zh) * 2008-04-17 2010-06-16 上海交通大学 广角图像自动拼接方法
US8451320B1 (en) 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
CN101852979A (zh) * 2009-03-30 2010-10-06 鸿富锦精密工业（深圳）有限公司 全景相机
US8610757B2 (en) 2009-08-24 2013-12-17 Next3D, Inc. Stereoscopic video encoding and decoding methods and apparatus
US9213220B2 (en) * 2010-04-06 2015-12-15 Youbiq, Llc Camera control
US8896671B2 (en) * 2010-04-09 2014-11-25 3D-4U, Inc. Apparatus and method for capturing images
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
US9407902B1 (en) 2011-04-10 2016-08-02 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9485494B1 (en) 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9204127B1 (en) 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus
CN102665068A (zh) * 2012-04-26 2012-09-12 中南林业科技大学 一种基于随机更新策略的全景式运动目标监视方法
CA2890174A1 (en) * 2012-11-05 2014-05-08 360 Heros, Inc. 360 degree camera mount and related photographic and video system
CA2938159C (en) * 2013-02-04 2021-07-27 Valorisation-Recherche, Limited Partnership Omnistereo imaging
US9538160B1 (en) 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US20160344999A1 (en) * 2013-12-13 2016-11-24 8702209 Canada Inc. SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
WO2015179574A1 (en) * 2014-05-20 2015-11-26 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US9185391B1 (en) * 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
KR102632421B1 (ko) 2014-09-03 2024-02-01 네버마인드 캐피탈 엘엘씨 콘텐트를 캡처, 스트리밍, 및/또는 재생하기 위한 방법들 및 장치
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US11218682B2 (en) 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
JP2018514093A (ja) 2015-01-28 2018-05-31 ネクストブイアール・インコーポレイテッド ズーム関連方法および装置
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
US10692234B2 (en) 2015-02-12 2020-06-23 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
EP3259739A4 (en) 2015-02-17 2018-08-29 NEXTVR Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
WO2016138043A1 (en) 2015-02-24 2016-09-01 NextVR, Inc. Calibration for immersive content systems
US20160253839A1 (en) 2015-03-01 2016-09-01 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
EP3304195A1 (en) * 2015-05-27 2018-04-11 Google LLC Camera rig and stereoscopic image capture
US9821920B2 (en) 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US10715788B2 (en) 2016-07-15 2020-07-14 Nextvr Inc. Camera alignment and/or calibration methods and apparatus
US10979607B2 (en) 2016-07-20 2021-04-13 Apple Inc. Camera apparatus and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0348233A (ja) * 1989-07-17 1991-03-01 Sony Corp 立体映像記録及び投影装置
JPH07240945A (ja) * 1994-02-25 1995-09-12 Matsushita Electric Ind Co Ltd 仮想空間生成提示装置
JP2002171460A (ja) * 2000-11-30 2002-06-14 Sony Corp 再生装置
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
JP2012147137A (ja) * 2011-01-07 2012-08-02 Jvc Kenwood Corp 収音装置
US20140104378A1 (en) * 2011-04-08 2014-04-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Capturing panoramic or semi-panoramic 3d scenes

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915009B2 (en) 2016-04-15 2021-02-09 Sony Corporation Compound-eye camera module and electronic device
JP2018040941A (ja) * 2016-09-07 2018-03-15 株式会社シータ 撮像装置の固定具
KR102404624B1 (ko) * 2021-10-07 2022-06-02 주식회사 벤타브이알 입체영상 촬영용 카메라 리그장치
WO2023059147A1 (ko) * 2021-10-07 2023-04-13 주식회사 벤타브이알 입체영상 촬영용 카메라 리그장치

Also Published As

Publication number Publication date
CN106464785A (zh) 2017-02-22
US20190082165A1 (en) 2019-03-14
WO2015179574A1 (en) 2015-11-26
US10447994B2 (en) 2019-10-15
US20150341617A1 (en) 2015-11-26
US10027948B2 (en) 2018-07-17

Similar Documents

Publication Publication Date Title
US10447994B2 (en) Methods and apparatus including or for use with one or more cameras
US10531071B2 (en) Methods and apparatus for environmental measurements and/or stereoscopic image capture
US10692234B2 (en) Methods and apparatus for making environmental measurements and/or using such measurements
US11272150B2 (en) Methods and apparatus for supporting content generation, transmission and/or playback
US10750154B2 (en) Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
RU2665872C2 (ru) Стереопросмотр
EP4113991A1 (en) Methods and apparatus for capturing, streaming and/or playing back content
WO2019146425A1 (ja) 画像処理装置、画像処理方法、プログラム、および投影システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20191002