JP2022554408A - カメラ追跡におけるソースのフィルタリング及び平滑化 - Google Patents

カメラ追跡におけるソースのフィルタリング及び平滑化 Download PDF

Info

Publication number
JP2022554408A
JP2022554408A JP2022526779A JP2022526779A JP2022554408A JP 2022554408 A JP2022554408 A JP 2022554408A JP 2022526779 A JP2022526779 A JP 2022526779A JP 2022526779 A JP2022526779 A JP 2022526779A JP 2022554408 A JP2022554408 A JP 2022554408A
Authority
JP
Japan
Prior art keywords
tracking
tracking information
track
information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022526779A
Other languages
English (en)
Other versions
JP7467624B2 (ja
Inventor
フィリックス サウアーマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2022554408A publication Critical patent/JP2022554408A/ja
Application granted granted Critical
Publication of JP7467624B2 publication Critical patent/JP7467624B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

ビデオ処理は、複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムを使用して、第１の追跡情報を生成するステップであって、第１の追跡情報は、ショット内の複数のフレームに同期されるカメラの６自由度の運動についての情報を含む、ステップと、ビデオシーケンス中に移動するカメラに結合される第２の追跡システムを使用して、第２の追跡情報を生成するステップであって、第２の追跡情報は、ショット内の複数のフレームに同期されるカメラの６自由度の運動についての情報を含む、ステップと、追跡ツールによって、第１の追跡情報のための第１のトラックと第２の追跡情報のための第２のトラックとを含むタイムラインを生成するステップであって、追跡ツールは、第１の追跡システム及び第２の追跡システムに結合されて、第１の追跡情報及び第２の追跡情報を受け取る、ステップと、を含む。【選択図】図１

Description

[0001] 本開示は、ビデオデータの処理に関し、具体的には、カメラ追跡におけるソースのフィルタリング及び平滑化に関する。
[0002] ビデオ制作のための従来のシステムでは、単一のカメラ追跡システムを使用してカメラの空間座標を追跡すると、追跡データが欠落するか又は追跡データに異常が生じた時に、ビデオレンダリング動作の失敗を引き起こす可能性がある。
[0003] 本開示は、ビデオデータの処理を提供する。
[0004] １つの実装では、ビデオ処理のための方法を開示する。前記方法は、複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムを使用して、第１の追跡情報を生成するステップであって、前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ステップと、前記ビデオシーケンス中に移動する前記カメラに結合される第２の追跡システムを使用して、第２の追跡情報を生成するステップであって、前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ステップと、追跡ツールによって、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを生成するステップであって、前記追跡ツールは、前記第１の追跡システム及び前記第２の追跡システムに結合されて、前記第１の追跡情報及び前記第２の追跡情報を受け取る、ステップと、を含む。
[0005] １つの実装では、前記第１の追跡システムは、光学追跡システムである。１つの実装では、前記第２の追跡システムは、ハードウェアエンコードヘッドである。１つの実装では、前記方法は、前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにするステップ、を更に含む。１つの実装では、前記方法は、前記追跡ツールによって、前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させるステップ、を更に含む。１つの実装では、前記方法は、前記追跡ツールによって、前記第１のトラックの前記同期された第１の追跡情報と、前記第２のトラックの前記同期された第２の追跡情報とを使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化するステップ、を更に含む。１つの実装では、前記調整された追跡情報を生成するステップは、キーフレームを使用して、前記第１のトラックの前記同期された第１の追跡情報又は前記第２のトラックの前記同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成するステップ、を含む。１つの実装では、前記調整されたタイムラインを生成するステップは、前記タイムラインをリアルタイムで調整するステップを含む。１つの実装では、前記調整されたタイムラインを生成するステップは、前記タイムラインをポストプロダクションで調整するステップを含む。
[0006] 別の実装では、ビデオ処理のためのシステムを開示する。前記システムは、カメラと、前記カメラに接続される第１の追跡システムであって、前記第１の追跡システムは、前記カメラが複数のフレームを含むショットを形成するビデオシーケンス中に移動している時に、前記カメラについての第１の追跡情報を生成し、前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、第１の追跡システムと、第２の追跡システムであって、前記第２の追跡システムは、前記カメラが前記ビデオシーケンス中に移動している時に、前記カメラについての第２の追跡情報を生成し、前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、第２の追跡システムと、前記第１の追跡システム及び前記第２の追跡システムに接続されて、前記第１の追跡情報及び前記第２の追跡情報を受け取り、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを作成する追跡ツールと、を含む。
[0007] １つの実装では、前記第１の追跡システムは、光学追跡システムである。１つの実装では、前記第２の追跡システムは、ハードウェアエンコードヘッドである。１つの実装では、前記システムは、前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させるための同期化ツール、を更に含む。１つの実装では、前記システムは、前記同期化ツールから受け取られる、前記同期された第１の追跡情報及び前記同期された第２の追跡情報を使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化するためのトラックマネージャ、を更に含む。１つの実装では、前記システムは、キーフレームを使用して、前記第１のトラックの前記同期された第１の追跡情報又は前記第２のトラックの前記同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成するためのバイアス適用部、を更に含む。１つの実装では、前記システムは、前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにするためのミキサ、を更に含む。
[0008] 別の実装では、ビデオを取り込むためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を開示する。前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムから受け取られる追跡データから、第１の追跡情報を生成することであって、前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ことと、前記ビデオシーケンス中に移動する前記カメラに結合される第２の追跡システムから受け取られる追跡データから、第２の追跡情報を生成することであって、前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ことと、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを生成することと、を行わせる。
[0009] １つの実装では、前記プログラムは、前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させること、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記プログラムは、前記第１のトラックの前記同期された第１の追跡情報と、前記第２のトラックの前記同期された第２の追跡情報とを使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化すること、を前記コンピュータに行わせる実行可能命令を更に含む。１つの実装では、前記プログラムは、前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにすること、を前記コンピュータに行わせる実行可能命令を更に含む。
[0010] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。
[0011] 添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。
本開示の１つの実装によるビデオレンダリングのための方法のフロー図である。 本開示の１つの実装によるビデオシステムのブロック図である。 本開示の１つの実装による追跡ツールの詳細なブロック図である。 本開示の１つの実装による４つのトラックの位置追跡データのタイムライン図である。 本開示の実装による、コンピュータシステム及びユーザの図である。 本開示の実装による、ビデオ処理アプリケーションをホストするコンピュータシステムを示す機能ブロック図である。
[0018] 上記のように、（ビデオ制作のための従来のシステムにおいて）単一のカメラ追跡システムを使用してカメラの空間座標を追跡すると、追跡データが欠落するか又は追跡データに異常が生じた時に、ビデオレンダリング動作の失敗を引き起こす可能性がある。
[0019] 本開示の特定の実装は、ビデオデータを処理するための新しい技術を実装するための方法及びシステムを提供する。１つの実装では、複数のカメラ追跡システム及びエンコーダを使用して、カメラの空間座標を追跡する。したがって、複数のカメラ追跡システム及び／又はエンコーダを使用することは、追跡精度及び品質を精細化するのを助けることができ、また、万一カメラのうちの１又は２以上が失敗した場合には、冗長性を作成する。
[0020] 以下の説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。
[0021] 以下の実装で提供する特徴は、以下の項目のうちの１又は２以上を含むことができるが、これらに限定されない。例えば、１つの実装では、複数の追跡データ及び／又はエンコーダセットをツールにして、ツールは、全てのデータストリームを結合して同期させる。ツールは、タイムライン上のそれぞれのサブトラックを含むトラックとして、データセットを提示する。次に、オペレータは、誤ったデータの場合、データのどの部分又はトラックを使用すべきか又は平滑化すべきかを選択することができる。したがって、ツールは、データセットからマスタトラックを作成して、処理されたデータを（例えばｆｉｌｍｂｏｘ（ＦＢＸ）フォーマットで）エクスポートする能力を、オペレータに提供する。
[0022] 図１は、本開示の１つの実装によるビデオレンダリングのための方法１００のフロー図である。図１に示す実装では、ステップ１１０において、複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムによって、第１の追跡情報を生成する。１つの実装では、第１の追跡情報は、ショット内の複数のフレームに同期されるカメラの６自由度の運動についての情報を含む。
[0023] 次に、ステップ１２０において、ビデオシーケンス中に移動するカメラに結合される第２の追跡システムによって、第２の追跡情報を生成する。１つの実装では、第２の追跡情報は、ショット内の複数のフレームに同期されるカメラの６自由度の運動についての情報を含む。ステップ１３０において、第１の追跡情報及び第２の追跡情報を受け取り、次に、ステップ１４０において、追跡ツールによって、第１の追跡情報のための第１のトラックと第２の追跡情報のための第２のトラックとを含むタイムラインを作成する。
[0024] １つの実装では、カメラは、第１の追跡システム（例えば光学追跡システム）と、第２の追跡システム（例えばハードウェアエンコードヘッド）とを備える。更に、第１の追跡システムは、カメラについての第１の追跡情報を出力し、一方、第２の追跡システムは、カメラについての第２の追跡情報を出力する。１つの実装では、第１の追跡システム及び第２の追跡システムの各々は、カメラの６自由度及びワールドオフセットについての情報を配信する。
[0025] 第１の追跡システム及び第２の追跡システムからの追跡されたデータは、一般に良好であるが、システムのうちの１又は２以上からの入力データは、間欠的に欠落するか又はずれる場合がある。したがって、欠落／ずれは、ビデオシステムが単一の追跡システム又はヘッドからのデータにのみ依拠する場合、別の問題を引き起こす場合がある。したがって、ビデオシステムは、複数の追跡システムを含み、冗長性を提供する。ビデオシステムは、また、追跡ツール（又はソフトウェア）を含み、複数の追跡システムからの複数のデータセットを収集して、カメラデータの複数のトラックを含むタイムラインを生成することを可能にする。
[0026] １つの実装では、カメラトラックデータのトラックの全てが受け取られると、追跡ツールは、各トラックのカメラトラックデータをタイムコード（又はフレーム毎秒）に同期させる。ここで、ステップ１５０において、他のトラックからのカメラトラックデータを用いて、受け取られたデータの異常を認識、平滑化、及び補償するか、又は完全に消去することができる。ソフトウェアソリューションを介して、全てのトラック及びサブトラックを自由に混合して、新たなマスタトラックにすることもできる。これにより、キーフレーム又は他の同様の技術を使用して、トラックのいずれか１つにバイアスを適用することもできる。更に、１つの実装では、上記の技術は、ライブ（すなわちリアルタイム）及びポストプロダクションの両方に使用可能である。別の実装では、組み合わせて使用される追跡システムの数に制限がない。代替の実装では、様々な種類の追跡システム又は機構を使用することができる。キャプチャカメラの位置及び回転についての情報をユーザに与える任意のシステムを使用して、追加の追跡情報を提供することができる。
[0027] 図２Ａは、本開示の１つの実装によるビデオシステム２００のブロック図である。図２Ａに示す実装では、ビデオシステム２００は、ビデオ制作又はスタジオ環境で使用される。システム２００は、被写体及び／又はシーン２１０の画像取り込みのための１又は２以上のカメラ２２０、２２４と、カメラの空間座標（例えば、位置及び向き）を追跡するための１又は２以上のセンサ／トラッカ２３０、２３２と、カメラデータ及びセンサデータを処理するためのプロセッサ２４０とを含む。したがって、１つの実装では、システム２００は、２つのカメラトラッカ２３０、２３２を使用して、各カメラに対して２つのデータセット、合計で４つのトラックデータセットを作成する。
[0028] 図２Ａに示す実装では、トラッカ２３０、２３２の各々は、複数のフレームを有するショットを形成するビデオシーケンス中のカメラ２２０、２２４の空間座標を追跡する。１つの実装では、カメラの空間座標は、カメラの位置を含む。別の実装では、カメラの空間座標は、カメラの向きを含む。
[0029] １つの実装では、カメラ２２０、２２４の各々は、光学追跡システム及び／又はハードウェアエンコードヘッドを備える。例えば、カメラ２２０は、光学追跡システム２２２及び／又はヘッド２２３を含み、カメラ２２４は、光学追跡システム２２６及び／又はヘッド２２７を含む。１つの実装では、ヘッド２２３、２２７は、エンコードヘッド、リモートヘッド、又はクレーンを含む運動制御システムとすることができる。更に、追跡システム２２２、２２６及び／又はヘッド２２３、２２７は、カメラ２２０、２２４の６自由度及びワールドオフセットについての情報を配信する。１つの実装では、システム２２２、２２３、２２６、２２７からの追跡されたデータは、トラッカ２３０、２３２によって取り込まれる及び／又は検知される。
[0030] システム２２２、２２３、２２６、２２７からの追跡されたデータは、一般に良好であるが、システム２２２、２２３、２２６、２２７のうちの１つ（例えばシステム２２２）からの入力データは、間欠的に欠落するか又はずれる場合がある。したがって、欠落／ずれは、ビデオシステム２００が単一の追跡システム又はヘッドからのデータにのみ依拠する場合、別の問題を引き起こす場合がある。したがって、ビデオシステム２００は、複数の追跡システム２２２、２２３、２２６、２２７及び複数のトラッカ２３０、２３２を含み、冗長性を提供する。ビデオシステム２００は、また、プロセッサ２４０に結合される又はプロセッサ２４０内にある追跡ツール２４２（又はソフトウェア）を含み、トラッカ２３０、２３２からの複数のデータセットを収集して、カメラデータの複数のトラック及びそれぞれのサブトラックを含むタイムラインにすることを可能にする。
[0031] １つの実装では、（サブトラックを有する）各トラックは、以下のカメラデータを含む。例えば、第１のトラックデータは、光学追跡システム２２２からのデータを使用してトラッカ２３０によって追跡されるカメラ２２０の空間座標を含む。したがって、第１のトラックデータは、仮想カメラのワールドオフセットからの平行移動を追跡するために使用されるＸ，Ｙ，Ｚ座標を含む第１のサブトラックと、仮想カメラのローカル回転を追跡するために使用されるピッチ、ヨー及びロール軸を含む第２のサブトラックとを含む。１つの実装では、仮想カメラの原点（すなわち０，０，０）は、物理的レンズのノーダルポイント、又はフィルムプレーンの中心である。別の例では、第２のトラックデータは、光学追跡システム２２６からのデータを使用してトラッカ２３０によって追跡されるカメラ２２４の空間座標を含む。したがって、第２のトラックデータは、仮想カメラのワールドオフセットからの平行移動を追跡するために使用されるＸ，Ｙ，Ｚ座標を含む第１のサブトラックと、仮想カメラのローカル回転を追跡するために使用されるピッチ、ヨー及びロール軸を含む第２のサブトラックとを含む。以上の説明と同様に、追加のトラックデータを形成することができる。
[0032] １つの実装では、カメラトラックデータのトラックの全てが受け取られると、追跡ツール２４２は、各トラックのカメラトラックデータをタイムコード（又はフレーム毎秒）に同期させる。ここで、他のトラックのデータを用いて、誤ったデータを認識、平滑化、及び補償するか、又は完全に消去することができる。ソフトウェアソリューションを介して、全てのトラック及びサブトラックを自由に混合して、新たなマスタトラックにすることもできる。これにより、キーフレーム又は他の同様の技術を使用して、トラックのいずれか１つにバイアスを適用することもできる。更に、１つの実装では、上記の技術は、ライブ（すなわちリアルタイム）及びポストプロダクションの両方に使用可能である。別の実装では、組み合わせて使用されるシステムの数に制限がない。代替の実装では、様々な種類の追跡システム又は機構を使用することができる。キャプチャカメラの位置及び回転についての情報をユーザに与える任意のシステムを使用して、追加の追跡情報を提供することができる。
[0033] 図２Ａに示す実装では、プロセッサ２４０は、カメラ２２０、２２４に結合される。１つの実装では、プロセッサ２４０は、ショット中の各カメラ２２０又は２２４のレンズに対応するレンズデータを格納するレンズプロファイルを生成する。１つの実装では、レンズデータをショットのそれぞれのフレームに同期させる。別の実装では、レンズデータをタイムコードに同期させる。
[0034] １つの実装では、プロセッサ２４０は、制作中にリアルタイムで、レンズプロファイルを生成して、レンズデータの複数のトラックを取り込む。レンズデータは、（１）アクティブセンサの次元／フィルムプレーン／イメージャの測定、（２）ノーダルポイントまでのイメージプレーン距離、（３）ズーム及びレンズブリージングを考慮するカメラの焦点距離、（４）レンズ歪みプロファイル、（５）画像中心のずれ、（６）レンズ絞り、及び（７）フォーカス距離を含む。
[0035] １つの実装では、プロセッサ２４０は、また、カメラキャプチャデータの選択された（単複の）トラックからのカメラ２２０、２２４の移動を再トレースして、フレームごとにレンズ及びその特性を模倣して、レンダラ２４６を通じて被写体及び／又はシーン２１０のショットを仮想的に複製するためのレンダエンジン２４４を含む。
[0036] 図２Ｂは、本開示の１つの実装による追跡ツール２４２の詳細なブロック図である。図２Ｂに示す実装では、追跡ツール２４２は、トラックマネージャ２４２ａと、同期化ツール２４２ｂと、バイアス適用部２４２ｃと、ミキサ２４２ｄとを含む。１つの実装では、同期化ツール２４２ｂは、第１の追跡情報及び第２の追跡情報をタイムコードに同期させる。１つの実装では、トラックマネージャ２４２ａは、同期化ツールから受け取られる、同期された第１の追跡情報及び同期された第２の追跡情報を使用して、調整された追跡情報を生成して、第１の追跡情報内の異常データを平滑化する。１つの実装では、バイアス適用部２４２ｃは、キーフレームを使用して、第１のトラックの同期された第１の追跡情報又は第２のトラックの同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成する。１つの実装では、ミキサ２４２ｄは、第１のトラックの第１の追跡情報と、第２のトラックの第２の追跡情報とを混合して、新たなマスタトラックにする。
[0037] 図２Ｃは、本開示の１つの実装による４つのトラックの位置追跡データのタイムライン図２５０である。
[0038] 図２Ｃに示す実装では、タイムライン図２５０は、例えば、４つの異なる追跡システムからの位置追跡データ２６０、２７０、２８０、２９０を示す。第１の図は、第１の追跡システム（例えば、カメラ２２０上に配置される光学追跡システム２２２）からの第１のトラック位置データ２６０を示す。第２の図は、第２の追跡システム（例えば、カメラ２２４上に配置される光学追跡システム２２６）からの第２のトラック位置データ２７０を示す。第３の図は、第３の追跡システム（例えば、カメラ２２０上に配置されるヘッド２２３）からの第３のトラック位置データ２８０を示す。第４の図は、第４の追跡システム（例えば、カメラ２２４上に配置されるヘッド２２７）からの第４のトラック位置データ２９０を示す。
[0039] 図２Ｃに示す実装では、第１の位置追跡データ２６０は、データ欠落２６２を含む。したがって、追跡ツール２４２は、他のトラックからの位置追跡データ２７０、２８０、２９０をレビューして、データ欠落２６２を、第３又は第４のトラックからの位置追跡データ２８０、２９０に置き換えることを決定する。というのは、第２の追跡データ２７０は、第３又は第４のトラックのデータからずれているからである。
[0040] 図２Ｃに示す実装では、第２の位置追跡データ２７０は、データ欠落２７２を含む。したがって、追跡ツール２４２は、他のトラックからの位置追跡データ２６０、２８０、２９０をレビューして、データ欠落２７２を、第１、第３又は第４のトラックからの位置追跡データ２６０、２８０、２９０に置き換えることを決定する。というのは、第１、第３及び第４のトラックからのデータは、一致しているからである。
[0041] 図２Ｃに示す実装では、第３の位置追跡データ２８０は、（第１、第２及び第４のトラック上の追跡データからずれる）データずれ２８２を含む。したがって、追跡ツール２４２は、他のトラックからの位置追跡データ２６０、２７０、２９０をレビューして、データずれ２８２を、第１、第２又は第４のトラックからの位置追跡データ２６０、２８０又は２９０に置き換えることを決定する。というのは、第１、第２及び第４のトラックからのデータは、一致しているからである。
[0042] 図３Ａは、本開示の実装による、コンピュータシステム３００及びユーザ３０２の図である。ユーザ３０２は、コンピュータシステム３００を使用して、図１の方法１００及び図２Ａのシステム２００に関して図示及び説明されるようなカメラ追跡データの処理及びフィルタリングのためのアプリケーション３９０を実装する。
[0043] コンピュータシステム３００は、図３Ｂのビデオ処理アプリケーション３９０を記憶して実行する。更に、コンピュータシステム３００は、ソフトウェアプログラム３０４と通信することができる。ソフトウェアプログラム３０４は、ビデオ処理アプリケーション３９０のためのソフトウェアコードを含むことができる。ソフトウェアプログラム３０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。
[0044] 更に、コンピュータシステム３００は、ネットワーク３８０に接続することができる。ネットワーク３８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク３８０は、ビデオ処理アプリケーション３９０内で使用されるエンジン及びデータを協調させるサーバ３８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク３８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。
[0045] 図３Ｂは、本開示の実装による、ビデオ処理アプリケーション３９０をホストするコンピュータシステム３００を示す機能ブロック図である。コントローラ３１０はプログラマブルプロセッサであり、コンピュータシステム３００及びそのコンポーネントの動作を制御する。コントローラ３１０は、メモリ３２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御して、例えば、カメラ追跡データの処理及びフィルタリングを提供する。その実行において、コントローラ３１０は、ビデオ処理アプリケーション３９０にソフトウェアシステムを提供して、例えば、追跡データの複数のトラックを収集して使用する。代替的に、このサービスは、コントローラ３１０又はコンピュータシステム３００において別個のハードウェアコンポーネントとして実装することができる。
[0046] メモリ３２０は、コンピュータシステム３００の他のコンポーネントによって使用するためにデータを一時的に記憶する。１つの実装では、メモリ３２０はＲＡＭとして実装される。別の実装では、メモリ３２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。
[0047] ストレージ３３０は、コンピュータシステム３００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ３３０は、ビデオ処理アプリケーション３９０によって使用されるデータを記憶する。１つの実装では、ストレージ３３０は、ハードディスクドライブである。
[0048] メディアデバイス３４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。１つの実装では、例えば、メディアデバイス３４０は、光ディスクドライブである。
[0049] ユーザインターフェイス３５０は、コンピュータシステム３００のユーザからユーザ入力を受け取ってユーザ３０２に情報を提示するためのコンポーネントを含む。１つの実装では、ユーザインターフェイス３５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ３１０は、ユーザ３０２からの入力を使用して、コンピュータシステム３００の動作を調整する。
[0050] Ｉ／Ｏインターフェイス３６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。１つの実装では、Ｉ／Ｏインターフェイス３６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス３６０は、外部装置と無線で通信するための無線インターフェイスを含む。
[0051] ネットワークインターフェイス３７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。
[0052] コンピュータシステム３００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図３Ｂに具体的に示されていない。他の実装では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。
[0053] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。
[0054] 更なる変形及び実装も可能である。例えば、バーチャルプロダクション（例えば仮想現実環境）のためのビデオ制作に加えて、他の視覚効果（ＶＦＸ）制作又はビデオ制作が、複数の追跡システムを使用することもできる（例えばビデオゲーム開発）。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。
[0055] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。
１００ ビデオレンダリングのための方法
１１０ ビデオシーケンス中に移動するカメラに結合される第１の追跡システムを使用して、第１の追跡情報を生成
１２０ カメラに結合される第２の追跡システムを使用して、第２の追跡情報を生成
１３０ 第１の追跡情報及び第２の追跡情報を受け取る
１４０ 追跡ツールを使用して、第１の追跡情報のための第１のトラックと第２の追跡情報のための第２のトラックとを含むタイムラインを生成
１５０ 複数の追跡システムから追跡情報を受け取り処理して、追跡情報の異常を認識、平滑化、及び補償
２００ ビデオシステム
２１０ 被写体及び／又はシーン
２２０ カメラ
２２２ 光学追跡システム
２２３ ヘッド
２２４ カメラ
２２６ 光学追跡システム
２２７ ヘッド
２３０ センサ／トラッカ
２３２ センサ／トラッカ
２４０ プロセッサ
２４２ 追跡ツール
２４２ａ トラックマネージャ
２４２ｂ 同期化ツール
２４２ｃ バイアス適用部
２４２ｄ ミキサ
２４４ レンダエンジン
２４６ レンダラ
２５０ タイムライン図
２６０，２７０，２８０，２９０ 位置追跡データ
２６２ データ欠落
２７２ データ欠落
２８２ データずれ
３００ コンピュータシステム
３０２ ユーザ
３０４ ソフトウェアプログラム
３１０ コントローラ
３２０ メモリ
３３０ ストレージ
３４０ メディアデバイス
３５０ ユーザインターフェイス
３６０ Ｉ／Ｏインターフェイス
３７０ ネットワークインターフェイス
３８０ ネットワーク
３８５ サーバ
３９０ ビデオ処理アプリケーション

Claims (20)

  1. ビデオ処理のための方法であって、
    複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムを使用して、第１の追跡情報を生成するステップであって、
    前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ステップと、
    前記ビデオシーケンス中に移動する前記カメラに結合される第２の追跡システムを使用して、第２の追跡情報を生成するステップであって、
    前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ステップと、
    追跡ツールによって、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを生成するステップであって、
    前記追跡ツールは、前記第１の追跡システム及び前記第２の追跡システムに結合されて、前記第１の追跡情報及び前記第２の追跡情報を受け取る、ステップと、
    を含むことを特徴とする方法。
  2. 前記第１の追跡システムは、光学追跡システムであることを特徴とする、請求項１に記載の方法。
  3. 前記第２の追跡システムは、ハードウェアエンコードヘッドであることを特徴とする、請求項１に記載の方法。
  4. 前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにするステップ、
    を更に含むことを特徴とする、請求項１に記載の方法。
  5. 前記追跡ツールによって、前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させるステップ、
    を更に含むことを特徴とする、請求項１に記載の方法。
  6. 前記追跡ツールによって、前記第１のトラックの前記同期された第１の追跡情報と、前記第２のトラックの前記同期された第２の追跡情報とを使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化するステップ、
    を更に含むことを特徴とする、請求項５に記載の方法。
  7. 前記調整された追跡情報を生成するステップは、
    キーフレームを使用して、前記第１のトラックの前記同期された第１の追跡情報又は前記第２のトラックの前記同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成するステップ、
    を含むことを特徴とする、請求項６に記載の方法。
  8. 前記調整されたタイムラインを生成するステップは、前記タイムラインをリアルタイムで調整するステップを含むことを特徴とする、請求項７に記載の方法。
  9. 前記調整されたタイムラインを生成するステップは、前記タイムラインをポストプロダクションで調整するステップを含むことを特徴とする、請求項７に記載の方法。
  10. ビデオ処理のためのシステムであって、
    カメラと、
    前記カメラに接続される第１の追跡システムであって、前記第１の追跡システムは、前記カメラが複数のフレームを含むショットを形成するビデオシーケンス中に移動している時に、前記カメラについての第１の追跡情報を生成し、前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、第１の追跡システムと、
    第２の追跡システムであって、前記第２の追跡システムは、前記カメラが前記ビデオシーケンス中に移動している時に、前記カメラについての第２の追跡情報を生成し、前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、第２の追跡システムと、
    前記第１の追跡システム及び前記第２の追跡システムに接続されて、前記第１の追跡情報及び前記第２の追跡情報を受け取り、前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを作成する追跡ツールと、
    を含むことを特徴とするシステム。
  11. 前記第１の追跡システムは、光学追跡システムであることを特徴とする、請求項１０に記載のシステム。
  12. 前記第２の追跡システムは、ハードウェアエンコードヘッドであることを特徴とする、請求項１０に記載のシステム。
  13. 前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させるための同期化ツール、
    を更に含むことを特徴とする、請求項１０に記載のシステム。
  14. 前記同期化ツールから受け取られる、前記同期された第１の追跡情報及び前記同期された第２の追跡情報を使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化するためのトラックマネージャ、
    を更に含むことを特徴とする、請求項１０に記載のシステム。
  15. キーフレームを使用して、前記第１のトラックの前記同期された第１の追跡情報又は前記第２のトラックの前記同期された第２の追跡情報のうちの１つにバイアスを適用することによって、調整されたタイムラインを生成するためのバイアス適用部、
    を更に含むことを特徴とする、請求項１４に記載のシステム。
  16. 前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにするためのミキサ、
    を更に含むことを特徴とする、請求項１０に記載のシステム。
  17. ビデオを取り込むためのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは実行可能命令を含み、前記実行可能命令は、コンピュータに、
    複数のフレームを含むショットを形成するビデオシーケンス中に移動するカメラに結合される第１の追跡システムから受け取られる追跡データから、第１の追跡情報を生成することであって、
    前記第１の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ことと、
    前記ビデオシーケンス中に移動する前記カメラに結合される第２の追跡システムから受け取られる追跡データから、第２の追跡情報を生成することであって、
    前記第２の追跡情報は、前記ショット内の前記複数のフレームに同期される前記カメラの６自由度の運動についての情報を含む、ことと、
    前記第１の追跡情報のための第１のトラックと前記第２の追跡情報のための第２のトラックとを含むタイムラインを生成することと、
    を行わせる、
    ことを特徴とする非一時的コンピュータ可読記憶媒体。
  18. 前記第１の追跡情報及び前記第２の追跡情報をタイムコードに同期させること、
    を前記コンピュータに行わせる実行可能命令を更に含む、
    ことを特徴とする、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
  19. 前記第１のトラックの前記同期された第１の追跡情報と、前記第２のトラックの前記同期された第２の追跡情報とを使用して、調整された追跡情報を生成して、前記第１の追跡情報内の異常データを平滑化すること、
    を前記コンピュータに行わせる実行可能命令を更に含む、
    ことを特徴とする、請求項１８に記載の非一時的コンピュータ可読記憶媒体。
  20. 前記第１のトラックの前記第１の追跡情報と、前記第２のトラックの前記第２の追跡情報とを混合して、新たなマスタトラックにすること、
    を前記コンピュータに行わせる実行可能命令を更に含む、
    ことを特徴とする、請求項１７に記載の非一時的コンピュータ可読記憶媒体。
JP2022526779A 2019-12-13 2020-12-10 カメラ追跡におけるソースのフィルタリング及び平滑化 Active JP7467624B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962947702P 2019-12-13 2019-12-13
US62/947,702 2019-12-13
US16/990,274 2020-08-11
US16/990,274 US11064096B2 (en) 2019-12-13 2020-08-11 Filtering and smoothing sources in camera tracking
PCT/US2020/064248 WO2021119274A1 (en) 2019-12-13 2020-12-10 Filtering and smoothing sources in camera tracking

Publications (2)

Publication Number Publication Date
JP2022554408A true JP2022554408A (ja) 2022-12-28
JP7467624B2 JP7467624B2 (ja) 2024-04-15

Family

ID=76318355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022526779A Active JP7467624B2 (ja) 2019-12-13 2020-12-10 カメラ追跡におけるソースのフィルタリング及び平滑化

Country Status (7)

Country Link
US (1) US11064096B2 (ja)
EP (1) EP4055808A4 (ja)
JP (1) JP7467624B2 (ja)
KR (1) KR102657815B1 (ja)
CN (1) CN114026840A (ja)
CA (1) CA3150223A1 (ja)
WO (1) WO2021119274A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005719A1 (en) * 2017-06-29 2019-01-03 Open Space Labs, Inc. Automated spatial indexing of images based on floorplan features

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US8340349B2 (en) * 2006-06-20 2012-12-25 Sri International Moving target detection in the presence of parallax
US20080212835A1 (en) * 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
EP2153641B2 (en) 2007-04-13 2021-10-27 Ari M. Presler Digital cinema camera system for recording, editing and visualizing images
JP5698733B2 (ja) * 2009-05-04 2015-04-08 オブロング・インダストリーズ・インコーポレーテッド 三空間入力の検出、表現、および解釈：自由空間、近接、および表面接触モードを組み込むジェスチャ連続体
WO2012103649A1 (en) * 2011-01-31 2012-08-09 Cast Group Of Companies Inc. System and method for providing 3d sound
US9113130B2 (en) * 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
WO2014020364A1 (en) * 2012-07-30 2014-02-06 Zinemath Zrt. System and method for generating a dynamic three-dimensional model
KR102245648B1 (ko) * 2012-09-10 2021-04-29 에이매스, 아이엔씨. 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
US9674507B2 (en) * 2013-04-30 2017-06-06 Qualcomm Incorporated Monocular visual SLAM with general and panorama camera movements
US10791319B1 (en) * 2013-08-28 2020-09-29 Outward, Inc. Multi-camera 3D content creation
US9189711B2 (en) * 2013-10-28 2015-11-17 Eastman Kodak Company Method for aligning imaging systems
KR101608342B1 (ko) * 2014-02-26 2016-04-04 주식회사 포디월드넷 무인 부스 형태의 체감형 모션 라이딩 시스템과 그의 작동방법
US9607388B2 (en) * 2014-09-19 2017-03-28 Qualcomm Incorporated System and method of pose estimation
US20160140733A1 (en) * 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
GB201602877D0 (en) * 2016-02-18 2016-04-06 Landa Corp Ltd System and method for generating videos
CN108605098B (zh) * 2016-05-20 2020-12-11 深圳市大疆创新科技有限公司 用于卷帘快门校正的系统和方法
US10645366B2 (en) * 2016-06-10 2020-05-05 Lucid VR, Inc. Real time re-calibration of stereo cameras
WO2018088061A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム
US10552014B2 (en) * 2017-01-10 2020-02-04 Cast Group Of Companies Inc. Systems and methods for tracking and interacting with zones in 3D space
US10565802B2 (en) 2017-08-31 2020-02-18 Disney Enterprises, Inc. Collaborative multi-modal mixed-reality system and methods leveraging reconfigurable tangible user interfaces for the production of immersive, cinematic, and interactive content
GB201714289D0 (en) * 2017-09-06 2017-10-18 Simworx Ltd Modelling systems and methods for entertainment rides
US10902676B2 (en) * 2018-03-13 2021-01-26 Canon Kabushiki Kaisha System and method of controlling a virtual camera
JP7425745B2 (ja) * 2018-04-24 2024-01-31 シアヴィジョン・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 自動カメラヘッド
EP3785427A4 (en) * 2018-04-28 2021-05-12 SZ DJI Technology Co., Ltd. MOVEMENT ESTIMATE
US20190356885A1 (en) * 2018-05-16 2019-11-21 360Ai Solutions Llc Camera System Securable Within a Motor Vehicle
US10885657B2 (en) * 2018-10-31 2021-01-05 Disney Enterprises, Inc. Configuration for indicating image capture device position
KR102217414B1 (ko) 2019-12-24 2021-02-19 광운대학교 산학협력단 4d 영화 이펙트 자동 생성장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005719A1 (en) * 2017-06-29 2019-01-03 Open Space Labs, Inc. Automated spatial indexing of images based on floorplan features

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAMAZAKI K ET AL: "Object Shape Reconstruction and Pose Estimation by a Camera Mounted on a Mobile Robot", PROCEEDINGS OF 2004 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOT AND SYSTEMS, JPN6023020904, 28 September 2004 (2004-09-28), US, pages 4019 - 4025, XP010766317, ISSN: 0005066647, DOI: 10.1109/IROS.2004.1390043 *

Also Published As

Publication number Publication date
WO2021119274A1 (en) 2021-06-17
CA3150223A1 (en) 2021-06-17
KR102657815B1 (ko) 2024-04-17
EP4055808A1 (en) 2022-09-14
US20210185191A1 (en) 2021-06-17
CN114026840A (zh) 2022-02-08
EP4055808A4 (en) 2022-12-28
JP7467624B2 (ja) 2024-04-15
KR20220089710A (ko) 2022-06-28
US11064096B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
US8199211B2 (en) Camera direct dailies
JP2022510178A (ja) コースウェア記録方法及び装置、コースウェア再生方法及び装置、インテリジェントインタラクティブタブレット、並びに記憶媒体
US9369694B2 (en) Adjusting stereo images
CN104054023A (zh) 用于与机器人控制的物体映射的3d投影的系统和方法
JP2016095841A (ja) ドローンに搭載されたカメラの目標軌道を生成するための方法および対応するシステム
JP2022554415A (ja) バックプレートのレンダリング
JP2007004578A (ja) 三次元形状取得方法、三次元形状取得装置、及びプログラムの記録媒体
JP7467624B2 (ja) カメラ追跡におけるソースのフィルタリング及び平滑化
JP5044582B2 (ja) 撮影カメラ学習装置及びそのプログラム
GB2549723A (en) A system and method for video editing in a virtual reality enviroment
CN115914718A (zh) 截取引擎渲染内容的虚拟制片视频重映方法及系统
US20210390752A1 (en) Real-time animation motion capture
US20210287433A1 (en) Providing a 2-dimensional dataset from 2-dimensional and 3-dimensional computer vision techniques
KR101741150B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
US20200202571A1 (en) Calibrating volumetric rig with structured light
HanbyulJoo et al. Panoptic studio: A massively multiview system for social interaction capture
Daemen et al. Semi-automatic camera and switcher control for live broadcast
CN111031198A (zh) 一种实时电影生产技术
TWI815693B (zh) 資料處理系統、資料處理方法和電腦可讀儲存媒體
KR101725932B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법
KR20180111246A (ko) 콘텐츠 모션데이터 처리방법
Zhang et al. Toward synchronized, interference-free, distributed 3D multi-sensor real-time image capture
Grau et al. DELIVERABLE D5. 1.1 SPECIFICATION OF PLATFORM, ANIMATION MODULES AND INTERFACES
JP2022073647A (ja) 画像処理装置、画像処理方法、およびプログラム
Mehling et al. 360° Video Development and Application

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150