JP2012034365A - コンピュータ実行画像処理方法および仮想再生ユニット - Google Patents
コンピュータ実行画像処理方法および仮想再生ユニット Download PDFInfo
- Publication number
- JP2012034365A JP2012034365A JP2011165233A JP2011165233A JP2012034365A JP 2012034365 A JP2012034365 A JP 2012034365A JP 2011165233 A JP2011165233 A JP 2011165233A JP 2011165233 A JP2011165233 A JP 2011165233A JP 2012034365 A JP2012034365 A JP 2012034365A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- camera
- view
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】コンピュータ実行画像処理方法であって、ソース画像シーケンスからの基準ビューから基準キーフレームを規定するステップ(72)と、1つ以上のキーフレームから、1組以上の仮想カメラパラメータを自動的に算出するステップ(73)と、経時的仮想カメラパラメータの変化によって記述され、仮想カメラの動きおよび仮想ビューの対応する変化を規定する仮想カメラフライト経路を生成するステップ(76)と、仮想カメラフライト経路によって規定される仮想ビデオストリーム(V)をレンダリングおよび記憶するステップ(77)とを備える。
【選択図】図7
Description
発明の分野
本発明はデジタルビデオ画像処理の分野に関する。本発明は対応する独立クレームのプリアンブルに記載されているような、即時再生用の画像処理方法および装置に関する。
テレビ放送装置に即時再生機能を提供するために、デジタルビデオサーバが開発された。このようなサーバは、たとえば、多くの同時に入来するビデオストリームを記録および記憶し、いずれかの入力ストリームからなる、ライブでまたは処理された、1つ以上のビデオ出力ストリームを出力することを可能にする。処理は、記録されたビデオシーケンスの再生、スロー再生、静止画、このようなシーケンスおよび画像の注釈付きまたは強調されたものを作成することなどを含み得る。このようなビデオサーバの重要な特徴は、このような再生の作成を瞬時に、すなわち興味のある状況が起こった後、たった数秒または数分以内に、サポートすることである。以降では「即時」の用語はこのように理解されるべきである。
本発明の目的は、上記の不利点を克服するために、上記の種類の即時再生用の画像処理方法および装置をもたらすことである。
・入力ユニットは、ソース画像シーケンスからの基準ビューから基準キーフレームを規定するユーザ入力を受取り、基準キーフレームは、後に生成される仮想再生が行なわれてほしいとユーザが思う時点からのビデオ画像であり、
・画像取得ユニットは、ソース画像シーケンスの記録から基準キーフレームを抽出し、場面のさらなるソース画像シーケンスの記録からのさらなるビューから1つ以上のさらなるキーフレームを選択的に抽出し、各さらなるキーフレームは後でキーフレーム点と呼ばれる、基準キーフレームと同じ時点で記録され、
・パラメータ算出ユニットは1組以上の仮想カメラパラメータを自動的に算出し、各組は仮想カメラによる場面の仮想ビューを記述し、
・2組以上の仮想カメラパラメータが算出された場合、選択ユニットは後の処理ステップ用に1組を選択し、選択された組によって規定され仮想ビューは、後に選択された仮想ビューと呼ばれ、1組の仮想カメラパラメータしか算出されていない場合、対応する仮想ビューを選択された仮想ビューとして使用し、
・生成ユニットは、経時的仮想カメラパラメータの変化によって記述され、仮想カメラの動きおよび仮想ビューの対応する変化を規定する、仮想カメラフライト経路を生成し、
■第1のビューから選択された仮想ビューに変わり、第1のビューは基準ビューまたは任意的にさらなるビューの1つであり、つぎに
■選択された仮想ビューから第2のビューに変わり、第2のビューは基準ビューまたは任意的にさらなるビューの1つであり、
・レンダリングユニットは仮想カメラフライト経路によって規定される仮想ビデオストリームをレンダリングし、
・出力ユニットは、コンピュータ読取可能記憶装置に仮想ビデオストリームを記憶すること、および通信リンクを通して仮想ビデオストリームを送信すること、の少なくとも一方を行なう。
・場面におけるオブジェクトの位置を自動的に算出し、
・場面で観察される状況の分類を、特にこの分類を指定するユーザ入力を抽出することにより、定め、
・場面のオブジェクトの位置および状況の分類に基づき、少なくとも1組の仮想カメラパラメータを自動的に算出する。
・各仮想カメラパラメータの組に対して、場面の対応する仮想ビューおよび対応する仮想画像を自動的に生成し、これは後にこの時点における仮想キーフレームと呼ばれ、
・仮想キーフレームを画像表示装置に表示し、仮想キーフレームの1つを示すユーザの選択を入力し、関連する仮想ビューを後続の処理ステップ用の選択された仮想ビューとして用いる。
・特徴モデル、特に前景オブジェクトを背景に対して検出および分離するためのカラーモデルを作成し、これは前景オブジェクトの異なるクラスに対応するカラーモデルを含み、
・既知の特徴を有する場面を観察しているカメラから得られる複数の画像から、後のビデオ獲得の間変化しない固定カメラパラメータを定め、さらに
・後の画像処理において抽出しおよび使用するために、特徴モデルおよび固定カメラパラメータをコンピュータ読取可能記憶手段に記憶する。
・潜在的カメラ構成空間を網羅するビューから複数の画像をサンプリングし、これらの画像における特徴の位置を定めて識別し、これらのビューに対応するカメラパラメータを定め、基準情報としてそれぞれの画像に対する特徴および特徴の位置を記憶し、基準情報のカメラパラメータについての関連を画像特徴に基づく迅速なカメラ較正のために後で抽出するためにコンピュータ読取可能記憶手段に記憶する。
・1つのソース画像シーケンスしかない場合、第1および第2のビューを基準ビューと同じであるとして選択し;
・2つのソース画像シーケンスがある場合、少なくとも1つのビューを、他のソースカメラよりも観察場面により近くにあるソースカメラからのものであるとして選択する。
・第1のビュー、仮想ビューおよび第2のビューの異なる組み合わせに対して1組の仮想カメラフライト経路を生成し、
・各仮想カメラフライト経路の組について図形表示を画像表示装置に表示し、仮想カメラフライト経路の1つを示すユーザの選択を入力し、さらに
・選択された仮想カメラフライト経路を用いて、仮想ビデオストリームをレンダリングする。
・選択された仮想ビュー、第1のビューおよび第2のビューが与えられると、これらのビューを記述するカメラパラメータの組を抽出し、
・仮想カメラパラメータの組を補間し、これは第1のビューに対応するカメラパラメータの組からの値から始まり、選択された仮想ビューに対応するカメラパラメータの組の値に変化させ、さらに第2のビューに対応するカメラパラメータの組の値に変化させ、
・仮想カメラフライト経路に沿ったビューのすべてについて、またはサブセットについて、ビューのそれぞれの画像が、利用可能なキーフレームから画像情報がない領域を含むか否かをチェックし、
・これら1つ以上のビューにおいて欠落している画像情報の量(たとえば、領域)が所定の限界を超えた場合、自動的にまたはユーザの相互作用により、欠落している画像情報の量が、欠落している情報を有するビューよりも小さいかまたはゼロである1つ以上の中間キービューを定め、これらキービューを通過するように、仮想カメラフライト経路を算出する。
・仮想カメラを上昇させる、すなわち、画面のより大きな鳥瞰的ビューを提供する、
・仮想カメラを場面により近く動かす、
・ズームインする、すなわち、仮想カメラの視角を減少させる、
・上記のうちの2つ以上の組み合わせ。
−興味の点の平滑な動き、
−画像のほぼ中央にある興味の対象点、
−2台以上のカメラによって可視可能な興味の点、および
−オプションであって、対応するソース画像情報がない画像領域を最小化する。
・第1のソースカメラから、第1のビューのキーフレームに至り、そこで終了する第1のビデオシーケンスと、
・第1のビューのキーフレームで始まり、第2のビューのキーフレームで終わる仮想ビデオストリームと、
・第2のソースカメラから、第2のビューのキーフレームで始まるの第2のビデオシーケンスとを、この順序で含む。
・ビデオサーバは、1つのビデオ出力ストリームによって、または別の通信リンクによって、1つ以上のキーフレームを仮想再生ユニットに送信し、さらに
・仮想再生ユニットは仮想ビデオストリームを生成する。
・仮想再生ユニットは、仮想ビデオストリームを算出した後、第1のビデオシーケンスおよび第2のビデオシーケンスを仮想再生ユニットに送信するようにビデオサーバを制御し、仮想再生ユニットは、第1のビデオシーケンス、仮想ビデオストリームおよび第2のビデオシーケンスを連結する;または
・仮想再生ユニットは、仮想ビデオストリームを算出した後、仮想ビデオストリームをビデオサーバに送信し、第1のビデオシーケンス、仮想ビデオストリーム、および第2のビデオシーケンスを連結するようにビデオサーバを制御する。
・ビデオサーバは、仮想再生ユニットに、第1のビデオシーケンスおよび第2のビデオシーケンスを送り、ビデオサーバは、第1のビデオシーケンス、仮想ビデオストリーム、および第2のビデオシーケンスを連結するよう仮想再生ユニットを制御し;または
・仮想再生ユニットは、仮想ビデオストリームを算出した後、仮想ビデオストリームをビデオサーバに送り、ビデオシーケンス、仮想ビデオストリーム、および第2のビデオシーケンスを連結するようビデオサーバを制御する。
本発明の主題は、添付の図面に示される好ましい例示的実施例を参照して、以下でより詳細に説明される。
図1はある場面を観察しているビデオ生成および処理ユニットの構成を概略的に示す。
・特徴的場面部分、たとえば競技場のマーキング(ラインの位置、コーナー、円など)の検出に基づき、前処理段階で生成される事前位置情報、
・同様に特徴的場面部分に基づく、および/またはビデオストリームのフレーム間の違いに基づく、オンライン配向情報。
準備ステップ(オフライン)
・オペレータは、1つ以上の仮想ビューを生成するために、ある場面についての後の迅速な処理を可能にする、必要な情報を生成するために以下のステップを行なう:
○区分けのための特徴モデル作成。すなわち背景(典型的には競技場)に対して前景オブジェクト(典型的には競技者)の検出および分離。以下において、主にカラーモデルについて述べるが、形状モデルやエッジモデルのような他の特徴モデルをカラーモデルの代わりに、または組合せて、区分けのために用いることができる。
○(オンライン)処理の際の後の迅速較正検出のために、潜在的に利用可能なビューの組についてのカメラ較正:
■出力:各物理カメラに対して1つのカメラモデル。カメラモデルは、ある場面に対するカメラの位置および配向を記述するパラメータ、およびカメラの光学パラメータを含む。このようなパラメータの典型的な組は以下を含む:COP(すなわち、投影中心の位置):パン、ロールおよびティルト角度;ズーム(または焦点距離);異なる内部パラメータ(たとえば画像歪みを特徴付ける1つ以上のパラメータ)。同じ情報を表わす他の組のパラメータも代替的に用いることができる。本明細書において、「カメラ較正」および「カメラパラメータ」の用語は入れ換え可能に用いられる。「較正」または「較正検出」としての動詞は、カメラパラメータを定める作業を意味する。
■どのチームがどの方向に競技しているのかを手動で示し、または
■初期の情報に基づき、かつゲーム開始から経過した時間に従い、競技方向を算出する。
・入力:少なくとも1つのアングルまたはビューからあるスポーツ場面のビデオシーケンス。
以下で、オンライン処理がより詳細に説明される:
オプション:キーフレーム選択
・1つ以上のビデオストリームから、オペレータは異なる視点からの同じ瞬間を示す1つ以上のフレームを選択する(=KEYFRAME)。
○オプション:以下のビデオインフラストラクチャ付加情報に依存:
■KEYFRAMEごとのカメラソース識別。このソース識別は、マルチサーバ環境において特定のビデオストリームを一意的に識別するために、ネットワークまたはサーバ情報を含むことができる。
本発明の好ましい実施例において、仮想再生ユニット13はビデオサーバ15と動作可能に接続されている。キーフレーム定義は以下の態様で行なうことができる:
・一般的セットアップまたは構造:
○ビデオサーバ15インフラストラクチャが1つ以上の分離されたカメラストリームを並行に記録することができるのなら、仮想再生ユニット13は一つの点からこれらをアクセスすることができる:
■これは、たとえば1つの出力ストリーム(概念的に「プレーヤ」と呼ぶ)またはビデオ出力ストリーム22を提供するビデオサーバ15の(通信リンク25を通した)ネットワーク接続により行なわれる。仮想再生ユニット13はコントローラメカニズムまたは再生ユニット制御インターフェイス28(たとえば、コントローラケーブルおよびコントローラ通信プロトコル)を用いて1つ以上の出力ストリーム/プレーヤを制御して、仮想再生ユニット13によって定義されるビデオ信号を与える。コントローラメカニズム28はユーザの制御により、以下を行なうようビデオサーバ15を制御する:
・再生、早送り、早巻戻し、特定のタイムコードフレームへのジャンプにより、現在のビデオ出力を変える。
■コントローラメカニズムは、ビデオサーバ15が自分のコントローラによって、および(並行に)仮想再生ユニット13によって操作されるよう設定できる。
○プッシュ:ビデオサーバ15インフラストラクチャは、情報を仮想再生ユニット13にプッシュする手段を有することができる。たとえば、ビデオサーバ15制御ユニット29でのボタンを押すことにより、現在のフレームは、待ちモードにある仮想再生ユニット13にプッシュされる。
■ユーザは(ビデオサーバ15および/または仮想再生ユニット13の)コントローラユニット28、29を用いて、処理するべき基準キーフレームを与え、(たとえば、仮想再生ユニット13に取り付けられるキーボード上のボタンを押下することにより)処理を開始させる。
・入力:ビデオストリームおよびKEYFRAME
○オプション:カメラソースおよび/またはキーフレームごとのタイムコード情報
・処理:システムは、さらなるキーフレームとして、KEYFRAMEのビデオシーケンスの映像を抽出する。
・入力:キーフレーム映像、準備ステップからのカメラモデル。
○所与のキーフレーム映像がどの物理カメラからなのかの知識。遠隔作成環境では、ビデオソースはカメラに対して1:1の関係を示す。すなわち、各ビデオソースは1つの指定された物理カメラから来る、または一つの指定された物理カメラに接続される。したがって、ビデオソース識別が既知であるのなら、物理カメラも自動的に既知となる。ただしユーザがこの関係を前処理段階で規定していなければならない。
○または、カメラ特定データベースへの最適マッチを見つける。
・入力:キーフレーム映像
・任意入力:較正情報
・複数のビューがあるのなら、システムは好ましくは2つで働く。システムはユーザの好みに基づき利用可能なビューのうちの2つ(たとえば、先立って「メインカメラ」、「左18ヤード」、「右18ヤード」)を選択し、任意に、較正またはカメラパラメータからのビューにより選択する(たとえば、右側に向いている場合、「メイン」および「右18ヤード」)。
○2つしかない場合、これらを自動的に、仮想フライト補間用の開始および終了ビューとして選択することができる。
・入力:キーフレーム映像、特徴(たとえば色)モデル情報、較正情報。
○1つのビューにおいて相互作用でオブジェクトまたはチーム割当てを変える。→他のビューでも自動的に更新される。
・入力:OBBおよび特徴(たとえばカラー)モデル情報
・自動切出しおよびブロブ検出
・任意のユーザ入力:
○OBB映像に「描画」して、前景または背景である部分を記す。
・入力:分離されたオブジェクト、キーフレーム画像
・出力:オブジェクトがない、穴が埋められた背景画像
・処理:以下を用いた自動穴埋め
○背景画像からの情報
○前のまたは後の入力画像からの情報、および/または他のソースカメラ9、9′による画像からの情報。
・入力:キーフレーム映像、カメラ較正、分離マスクを含むOBB。さらに、解析タイプが予め定められる、またはユーザによって入力されてもよい。解析タイプは典型的にはゲーム状況に関連しており、1つ以上の潜在的な興味のある仮想ビュー(PIVV)に関連付けられる。処理:仮想再生ユニット13は以下を行なう:
○未知の部分の可視を避けて、潜在的に興味のある(解析タイプに依存)仮想ビューを定める。
■仮想再生ユニット13は、フライトが環境の未知の部分を示すフレームを含むか否かをチェックし、つぎに以下の1つ以上を行なう:
・人であるオペレータに知らせ、フライト経路20を修正する機会を与える。
○仮想再生ユニット13は複数の潜在的に興味のある(典型的には、キーフレーム点での)仮想ビューを定め、これをオペレータに表示して、そのうちの1つを選択させることができる。たとえば、ハイ、ノーマル、またはロービューもしくは角度、もしくはすべての競技者を含むビューなど。
■オプション:3D図形要素
■オプション:模擬図形注釈(たとえば、物理的に基づいたもの)。
○解析型「オフサイドライン」において、潜在的に興味のある仮想ビュー(PIVV)は、オフサイドラインの「上」にあるとして、すなわち、オフサイドラインの延長線上から競技場の境界上までまたは超えているとして、自動的に定められる。すなわち少なくとも線審のビューにほぼ対応する。
・他の特殊なケース、ゲーム状況、解析タイプおよび関連する可能なPIVVは以下のとおりである:
○フリーキック:
■PIVVは、ボールの後ろであって、ゴールに向いている;ゴールの後ろであって、ボールに向いている、または鳥瞰的視点。
○ゴール:
■PIVVは、ゴールの後ろであってボールに向いている;ゴールに向いている攻撃側の競技者の後ろ、ゴールに向いている攻撃側競技者の後ろであって、高い鳥瞰的視点。
■PIVVは、鳥瞰的視点であって、シュートをしている攻撃側の競技者および可能ならアシストしている競技者を含めて、ゴール方向に配向される。
○レフリー決定解析用のレフリービュー
○フォワードのビュー
○オブジェクト(ボール、競技者、レフリーなど)を追う
○ユーザが定義した経路を追う(競技場上の二次元または三次元)
○ユーザが定義したまたは自動的に定められた可視点(たとえば、競技者、領域など)
○アメリカンフットボール:
■アメリカンフットボールでのファーストダウンラインは、最初の準備ステップ(時間に依存するチームの競技方向)およびゲームのルールに従ったゲーム状況(ボールを持つチーム、およびオブジェクト/競技者14の位置)からの知識によって定められる。フライト経路生成を実施するための方法は、上記のオフサイド状況の場合と本質的に同じである。
■アイスホッケーでのブルーラインは最初の準備ステップ(時間に依存するチームの競技方向)およびゲームのルールに従ったゲーム状況(パックを持っているチームおよびオブジェクト/競技者14の位置)からの知識によって定められる。フライト経路生成を実施するための方法は、上記のオフサイド状況の場合と本質的に同じである。
・入力:PIVVを含めてリアルタイムでレンダリングするためのフライト動画情報
○オプション:開始カメラおよびフレーム(INカメラ、INフレーム:併せてIN点を規定)
○オプション:終了カメラ(OUTカメラ)
○オプション:キーフレームタイムコード
・処理:
○INカメラが規定されていなければ、システムは以下のようにINカメラを選択する:
■第1の利用可能なカメラをINカメラとして選択する。
■所定数のフレームを巻戻すことにより、
■または、オペレータに、(仮想再生ユニット13上、またはビデオサーバ15の制御ユニット28、29上で)、選択されたINカメラシーケンスの現在のフレームを続ける前のINフレームに移動させることを求める。
■第1の利用可能なカメラを、OUTカメラとして選択する。
■またはINカメラと本質的に同じ発見的態様で、OUTカメラはこのフライト用に選択されたINカメラと異なるというさらなる規則を有して、カメラパラメータを用いることにより、選択する。
○プリクリップ:IN点からシーケンスのKEYFRAMEまでのビデオシーケンス。任意的に、KEYFRAME前のビデオの再生の速度を落とす。
■所与の時間の間、仮想ビューにおけるフライトを任意的に止める。
○任意的に、次のKEYFRAMEに行く。
○任意の出力:
■たとえば、プロデューサーがある状況の所与の仮想ビューが満足できるものではないと判断すれば、システムは仮想フライトなしで、見方において注釈のみを有し、クロマキー(従来のシステムと類似)されているビデオシーケンスをプレイアウトすることができる。
7 特徴部分
8 場面
9、9′ ソースカメラ
10、10′ ソース画像シーケンス
11 仮想カメラ
12 仮想画像
13 仮想再生ユニット
14 実世界オブジェクト,競技者
15 ビデオサーバ
16 記憶ユニット
17 送信機
18 ビデオ表示装置
19 インターフェイスユニット
20 仮想カメラフライト経路
21 ビデオ入力ストリーム
22 ビデオ出力ストリーム
23 仮想再生ユニットへのビデオ(ストリーム)入力
24 仮想再生ユニットからのビデオストリーム出力
25 通信リンク
26 第1の制御リンク
27 第2の制御リンク
28 再生ユニット制御インターフェイス
29 サーバ制御インターフェイス
Claims (18)
- テレビ放映された事象からビデオシーケンスを自動的に生成するために、即時再生用のコンピュータ実行画像処理方法であって、少なくとも1台のソースカメラ(9)は、ある場面(8)のソース画像シーケンス(10)を提供し、前記カメラの姿勢および光学設定は、前記カメラのビューを規定するとともに、ある組のカメラパラメータによって記述され、前記方法は、前記方法のオンラインフェーズにおいて、
前記ソース画像シーケンス(10)からの基準ビューから基準キーフレームを規定するユーザ入力を入力するステップ(71)を備え、前記基準キーフレームは後に生成された仮想再生が行なわれてほしいとユーザが思う時点からのビデオ画像であり、
前記方法は、
前記ソース画像シーケンス(10)の記録から前記基準キーフレームを抽出するとともに(72)、場面(8)のさらなるソース画像シーケンス(10′)の記録から、さらなるビューからの1つ以上のさらなるキーフレームを任意に抽出するステップをさらに備え、各さらなるキーフレームは、前記基準キーフレームの時点と同じ時点で記録されており、後でキーフレーム点と呼ばれ、
前記方法は、
1組以上の仮想カメラパラメータを自動的に算出するステップ(73)をさらに備え、各組は仮想カメラ(11)による前記場面(8)の仮想ビューを記述し、
前記方法は、
2組以上の仮想カメラパラメータが算出された場合(74)、後の処理ステップ用に一組を選択し(75)、前記仮想ビューは、後で選択された仮想ビューと呼ばれる選択された組によって規定され、または1組の仮想カメラパラメータしか算出されない場合、対応する仮想ビューを前記選択された仮想ビューとして使用するステップと、
経時的仮想カメラパラメータの変化によって記述されるとともに、前記仮想カメラ(11)の動きおよび前記仮想ビューの対応する変化を規定する、仮想カメラフライト経路(20)を生成するステップ(76)をさらに備え、
前記仮想ビューは、
第1のビューから前記選択された仮想ビューに変わり、前記第1のビューは前記基準ビューまたは任意的にさらなるビューの1つであり、次に、前記仮想ビューは、
前記選択された仮想ビューから第2のビューに変わり、前記第2のビューは前記基準ビューまたは任意的に前記さらなるビューの1つであり、
前記方法は、
仮想カメラフライト経路によって規定される仮想ビデオストリーム(V)をレンダリングするステップ(77)と、
仮想ビデオストリーム(V)をコンピュータ読取可能記憶装置に記憶すること、および仮想ビデオストリーム(V)を通信リンク(24)を通して送信すること、の少なくとも一方を行なうステップ(78)とをさらに備える、方法。 - 前記1組以上の仮想カメラパラメータを自動的に算出するステップは、
前記場面(8)におけるオブジェクト(14)の位置を自動的に算出するステップと、
前記場面(8)で観察される状況の分類を、特にこの分類を特定するユーザ入力を抽出することにより定めるステップと、
前記場面(8)におけるオブジェクト(14)の位置および前記状況の分類に基づき、少なくとも1組の仮想カメラパラメータを自動的に算出するステップとを含む、請求項1に記載の方法。 - 前記後の処理ステップ用に選択された仮想ビューを規定する仮想カメラパラメータの組のうちの1つを選択するステップは、
各仮想カメラパラメータの組に対して、後でこの時点での仮想キーフレームと呼ばれる前記場面(8)の対応する仮想ビューおよび対応する仮想画像を自動的に生成するステップと、
前記仮想キーフレームを画像表示装置上に表示するとともに、前記仮想キーフレームの1つを示すユーザの選択を入力し、さらに関連する仮想ビューを後の処理ステップ用の選択された仮想ビューとして用いるステップとを含む、請求項1または2に記載の方法。 - 前記方法は、前記オンラインフェーズより前の準備フェーズで実行される、以下の、
特徴モデル、特に前景オブジェクトの異なるクラスに対応するカラーモデルを含む前景オブジェクトを背景に対して検出および分離するためのカラーモデルを作成するステップと、
既知の特徴(7)を有する場面(8)を観察しているカメラから得られる複数の画像から、後のビデオ取込みの間に変化しない固定カメラパラメータを定めるステップと、
後の画像処理において抽出および用いるために、前記特徴モデルおよび固前記定カメラパラメータをコンピュータ読取可能記憶手段に記憶するステップとをさらに備える、請求項1から3のいずれか1項に記載の方法。 - 前記方法は、前記オンラインフェーズより前の準備フェーズで実行される、以下の、
潜在的カメラ構成空間を網羅するビューから複数の画像をサンプリングし、これらの画像における特徴の位置を定めて識別し、これらのビューに対応するカメラパラメータを定め、基準情報としてそれぞれの画像に対する前記特徴および特徴位置を記憶し、前記基準情報の前記カメラパラメータに対する関連を、画像特徴に基づく迅速なカメラ較正のために後で抽出するために、コンピュータ読取可能記憶手段に記憶するステップをさらに備える、請求項1から4のいずれか1項に記載の方法。 - 前記方法は、準備フェーズにおいて、チームの競技方向、および前記競技方向が有効である時間を特定する関連する時間情報についての情報を入力するステップをさらに備える、請求項1から5のいずれか1項に記載の方法。
- 少なくとも2台のソースカメラ(9、9′)から少なくとも2つのソース画像シーケンス(10、10′)が処理される場合、前記ソース画像シーケンス(10)の1つから抽出された前景オブジェクトを1つ以上の残りのソース画像シーケンス(10′)の前景オブジェクトと自動的に同一視するとともに、さらに自動的に、ユーザ相互作用なしで、前記場面(8)におけるこれらの前景オブジェクトの位置を定めるステップをさらに含む、請求項1から6のいずれか1項に記載の方法。
- 前記仮想カメラフライト経路(20)を生成するステップにおいて、前記第1のビューおよび前記第2のビューを自動的に定めるために、
1つのソース画像シーケンス(10)のみが利用可能である場合、前記第1および第2のビューを前記基準ビューと同じであるとして選択するステップと、
2つのソース画像シーケンス(10)が利用可能である場合、少なくとも1つのビューを、他のソースカメラよりも観察場面により近くにあるソースカメラ(9)からのものであるとして選択するステップとを実行する、請求項1から7のいずれか1項に記載の方法。 - 前記ソースカメラ(9、9′)の1つが主要カメラであると指定され、前記主要カメラのビュー方向に従い、前記第1および第2のビューの少なくとも一方に用いられるソースカメラを自動的に選択し、これは好ましくは前記主要カメラが向いている、前記主要カメラの側に位置付けられるカメラとして前記ソースカメラを選択することによりなされる、請求項1から8のいずれか1項に記載の方法。
- 仮想カメラフライト経路(20)を生成するために、
第1のビュー、仮想ビュー、および第2のビューの異なる組合せに対して1組の仮想カメラフライト経路を生成するステップと、
各仮想カメラフライト経路の組について図形表示を画像表示装置上に表示し、仮想カメラフライト経路の1つを示すユーザ選択を入力するステップと、
選択された前記仮想カメラフライト経路を用いて仮想ビデオストリームをレンダリングするステップとが実行される、請求項1から9のいずれか1項に記載の方法。 - 前記仮想カメラフライト経路(20)を生成するステップは、
前記選択された仮想ビュー、前記第1のビュー、および前記第2のビューが与えられると、これらのビューを記述するカメラパラメータの組を抽出するステップと、
前記第1のビューに対応するカメラパラメータの組からの値から始まって、前記選択された仮想ビューに対応するカメラパラメータの組の値に変わり、さらに前記第2のビューに対応するカメラパラメータの組の値に変わるよう、仮想カメラパラメータの組を補間するステップと、
前記仮想カメラフライト経路(20)に沿ったビューのすべてまたはサブセットに対して、前記ビューのそれぞれの画像が、前記利用可能なキーフレームから画像情報がない領域を含むか否かを検証するステップと、
これら1つ以上のビューにおいて欠落している画像情報の量が所定の限界を超えた場合、自動的にまたはユーザ相互作用の手段により、欠落している画像情報の量が、欠落している情報を有するビューよりも小さいかまたはゼロである1つ以上の中間キービューを定めるとともに、これらキービューを通過するように、前記仮想カメラフライト経路(20)を算出するステップとを含む、請求項1から10のいずれか1項に記載の方法。 - 前記仮想カメラフライト経路(20)を生成するステップは、
仮想カメラパラメータの組を補間する場合、前記仮想フライト経路のビューのシーケンスにおいて、前記場面(8)における静止または移動している対象点について平滑な動きを維持するステップを含む、請求項11に記載の方法。 - 前記方法は、選択された画像ビューまたは満足のいく仮想カメラフライト経路(20)が仮想再生ユニット(13)によって定められていない、またはユーザによって選択されていない場合、前記基準キーフレームからまたはさらなるキーフレームの1つから強調した静止画を生成し、引き続いて強調した静止画を前記仮想ビデオストリームの代わりに用いるステップをさらに備える、請求項1から12のいずれか1項に記載の方法。
- 前記方法は、連結されたビデオシーケンス(aS1−V−cS2)を生成するステップをさらに備え、前記連結されたビデオシーケンスは、
第1のソースカメラ(9)から、第1のビューのキーフレームに至りかつそこで終わる第1のビデオシーケンス(aS1)と、
前記第1のビューのキーフレームから始まり、前記第2のビューのキーフレームで終わる前記仮想ビデオストリーム(V)と、
第2のソースカメラ(9′)から、前記第2のビューにおけるキーフレームから始まる第2のビデオシーケンス(cS2)とをこの順序で含む、請求項1から13のいずれか1項に記載の方法。 - 前記方法は、仮想再生ユニット(13)と相互作用するビデオサーバ(15)によって実施され、前記ビデオサーバ(15)は、ビデオ入力ストリーム(21)を記録および記憶するよう構成されるとともに、入来するおよび記憶されたビデオ入力ストリーム(21)からなるビデオ出力ストリーム(22)を出力するよう制御可能であり、前記仮想再生ユニット(13)は、同じ時点における前記場面(8)の異なるビューに対応する1つ以上のキーフレームから、前記仮想ビデオストリーム(V)を生成するよう構成されており、前記方法は、
前記ビデオサーバ(15)が前記仮想再生ユニット(13)に、ビデオ出力ストリーム(22)の1つまたは別個の通信リンク(25)のどちらかによって、1つ以上のキーフレームを送信するステップと、
前記仮想再生ユニット(13)が前記仮想ビデオストリーム(V)を生成するステップとを備える、請求項1から14のいずれか1項に記載の方法。 - 前記仮想再生ユニット(13)は、前記仮想再生ユニット(13)に1つ以上のキーフレーム(すなわち、前記基準キーフレームおよび任意のさらなるキーフレーム)を送信するようビデオサーバ(15)を制御し、さらに
以下の、
前記仮想再生ユニット(13)が、前記仮想ビデオストリーム(V)を算出した後、前記第1のビデオシーケンス(aS1)および前記第2のビデオシーケンス(cS2)を前記仮想再生ユニット(13)に送信するように前記ビデオサーバ(15)を制御し、前記仮想再生ユニット(13)は、前記第1のビデオシーケンス(aS1)、前記仮想ビデオストリーム(V)、および前記第2のビデオシーケンス(cS2)を連結するか、または
前記仮想再生ユニット(13)が、前記仮想ビデオストリーム(V)を算出した後、前記仮想ビデオストリーム(V)を前記ビデオサーバ(15)に送信し、前記第1のビデオシーケンス(aS1)、前記仮想ビデオストリーム(V)、および前記第2のビデオシーケンス(cS2)を連結するよう前記ビデオサーバ(15)を制御するかの、2つのグループのステップのうちの一方を実行する、請求項14または15に記載の方法。 - 前記ビデオサーバ(15)は、前記仮想再生ユニット(13)に1つ以上のキーフレームを送信し、
前記ビデオサーバ(15)は、好ましくは仮想ビデオストリーム(V)を算出するように前記仮想再生ユニット(13)をトリガすることによって前記仮想ビデオストリーム(V)を算出するように前記仮想再生ユニット(13)を制御し、さらに
以下の、
前記ビデオサーバ(15)が前記仮想再生ユニット(13)に、前記第1のビデオシーケンス(aS1)および前記第2のビデオシーケンス(cS2)を送信し、前記ビデオサーバ(15)が、前記第1のビデオシーケンス(aS1)、前記仮想ビデオストリーム(V)、および前記第2のビデオシーケンス(cS2)を連結するよう前記仮想再生ユニット(13)を制御するか、または
前記仮想再生ユニット(13)が、前記仮想ビデオストリームを算出した後、前記仮想ビデオストリーム(V)を前記ビデオサーバ(15)に送信し、前記第1のビデオシーケンス(aS1)、前記仮想ビデオストリーム(V)、および前記第2のビデオシーケンス(cS2)を連結するよう前記ビデオサーバ(15)を制御するかの、2つのグループのステップのうちの一方を実行する、請求項14から16のいずれか1項に記載の方法。 - 即時再生用の画像処理のための仮想再生ユニット(13)であって、1つ以上のプログラム可能コンピュータデータ処理ユニットを備え、1つ以上のキーフレームを入力するように、前記方法クレームのいずれかに従う方法におけるステップを実行するように、さらに方法クレームに従って生成された少なくとも1つの仮想ビデオストリームを出力するように、プログラミングされている、仮想再生ユニット。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP10405145.3 | 2010-07-29 | ||
EP10405145A EP2413286A1 (en) | 2010-07-29 | 2010-07-29 | Image processing method and device for instant replay |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012034365A true JP2012034365A (ja) | 2012-02-16 |
JP2012034365A5 JP2012034365A5 (ja) | 2014-08-14 |
JP5667943B2 JP5667943B2 (ja) | 2015-02-12 |
Family
ID=43128363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011165233A Active JP5667943B2 (ja) | 2010-07-29 | 2011-07-28 | コンピュータ実行画像処理方法および仮想再生ユニット |
Country Status (4)
Country | Link |
---|---|
US (1) | US8355083B2 (ja) |
EP (2) | EP2413286A1 (ja) |
JP (1) | JP5667943B2 (ja) |
ES (1) | ES2712650T3 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014036363A1 (en) * | 2012-08-31 | 2014-03-06 | Fox Sports Productions, Inc. | Systems and methods for tracking and tagging objects within a broadcast |
US9288545B2 (en) | 2014-12-13 | 2016-03-15 | Fox Sports Productions, Inc. | Systems and methods for tracking and tagging objects within a broadcast |
JPWO2016017121A1 (ja) * | 2014-07-28 | 2017-06-22 | パナソニックIpマネジメント株式会社 | 拡張現実表示システム、端末装置および拡張現実表示方法 |
JP2017112431A (ja) * | 2015-12-14 | 2017-06-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびコンピュータプログラム |
JP2017212591A (ja) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
JP2018046448A (ja) * | 2016-09-15 | 2018-03-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2018207336A (ja) * | 2017-06-06 | 2018-12-27 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP2019096996A (ja) * | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10939140B2 (en) | 2011-08-05 | 2021-03-02 | Fox Sports Productions, Llc | Selective capture and presentation of native image portions |
US11039109B2 (en) | 2011-08-05 | 2021-06-15 | Fox Sports Productions, Llc | System and method for adjusting an image for a vehicle mounted camera |
US11159854B2 (en) | 2014-12-13 | 2021-10-26 | Fox Sports Productions, Llc | Systems and methods for tracking and tagging objects within a broadcast |
US11758238B2 (en) | 2014-12-13 | 2023-09-12 | Fox Sports Productions, Llc | Systems and methods for displaying wind characteristics and effects within a broadcast |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201217921A (en) * | 2010-10-22 | 2012-05-01 | Hon Hai Prec Ind Co Ltd | Avoiding clamped system, method, and electrically operated gate with the system |
JP5096628B1 (ja) * | 2011-09-29 | 2012-12-12 | 徹平 江里口 | 動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システム |
CN103137026B (zh) * | 2011-11-29 | 2015-06-03 | 联想(北京)有限公司 | 一种电子设备及其成像方法 |
US10079710B2 (en) * | 2012-02-16 | 2018-09-18 | Brightcove, Inc. | System and method for dynamic file availability during encoding |
US10373376B2 (en) * | 2012-04-20 | 2019-08-06 | Skydoor Pte Ltd | Method for making a content sensitive video |
US9953213B2 (en) * | 2013-03-27 | 2018-04-24 | Microsoft Technology Licensing, Llc | Self discovery of autonomous NUI devices |
US10405065B2 (en) | 2013-04-05 | 2019-09-03 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Video processing system and method |
EP2787741A1 (en) * | 2013-04-05 | 2014-10-08 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Video processing system and method |
US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
CN103400018B (zh) * | 2013-07-12 | 2016-03-09 | 中国民用航空飞行校验中心 | 一种飞行程序校验及验证的系统和方法 |
US10500479B1 (en) * | 2013-08-26 | 2019-12-10 | Venuenext, Inc. | Game state-sensitive selection of media sources for media coverage of a sporting event |
CN103596059A (zh) * | 2013-11-21 | 2014-02-19 | 乐视致新电子科技(天津)有限公司 | 智能电视媒体播放器及其播放进度调整方法、智能电视 |
KR102187227B1 (ko) | 2014-02-19 | 2020-12-04 | 삼성전자주식회사 | 컨텐츠 생성 방법 및 그 전자 장치 |
US10002640B2 (en) | 2014-02-28 | 2018-06-19 | Microsoft Technology Licensing, Llc | Hyper-lapse video through time-lapse and stabilization |
US9912743B2 (en) | 2014-02-28 | 2018-03-06 | Skycapital Investors, Llc | Real-time collection and distribution of information for an event organized according to sub-events |
US9332285B1 (en) * | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
CN106664441A (zh) * | 2014-07-07 | 2017-05-10 | 汤姆逊许可公司 | 根据元数据增强视频内容 |
JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
US10015551B2 (en) | 2014-12-25 | 2018-07-03 | Panasonic Intellectual Property Management Co., Ltd. | Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device |
EP3278308A4 (en) * | 2015-04-02 | 2018-10-24 | Catapult Group International Ltd | Sports virtual reality system |
CN104867184B (zh) * | 2015-06-12 | 2017-06-23 | 哈尔滨工业大学 | 应用于飞行场景仿真的场景生成方法 |
US10257557B2 (en) * | 2015-06-25 | 2019-04-09 | At&T Intellectual Property I, L.P. | Customized media streams |
US9684993B2 (en) * | 2015-09-23 | 2017-06-20 | Lucasfilm Entertainment Company Ltd. | Flight path correction in virtual scenes |
EP3151554A1 (en) * | 2015-09-30 | 2017-04-05 | Calay Venture S.a.r.l. | Presence camera |
US10419788B2 (en) * | 2015-09-30 | 2019-09-17 | Nathan Dhilan Arimilli | Creation of virtual cameras for viewing real-time events |
US10791285B2 (en) * | 2015-10-05 | 2020-09-29 | Woncheol Choi | Virtual flying camera system |
US9782678B2 (en) | 2015-12-06 | 2017-10-10 | Sliver VR Technologies, Inc. | Methods and systems for computer video game streaming, highlight, and replay |
US10147235B2 (en) * | 2015-12-10 | 2018-12-04 | Microsoft Technology Licensing, Llc | AR display with adjustable stereo overlap zone |
JP6775969B2 (ja) * | 2016-02-29 | 2020-10-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6894687B2 (ja) * | 2016-10-11 | 2021-06-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
US9972122B1 (en) * | 2016-12-20 | 2018-05-15 | Canon Kabushiki Kaisha | Method and system for rendering an object in a virtual view |
CN110892455A (zh) * | 2017-07-14 | 2020-03-17 | 索尼公司 | 图像处理装置、用于图像处理装置的图像处理方法和程序 |
CN107543548B (zh) * | 2017-08-22 | 2020-11-06 | 京东方科技集团股份有限公司 | 活动人员定位装置及活动数据获取设备 |
CN109725956B (zh) * | 2017-10-26 | 2022-02-01 | 腾讯科技(深圳)有限公司 | 一种场景渲染的方法以及相关装置 |
JP7182865B2 (ja) * | 2017-11-28 | 2022-12-05 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP2019102907A (ja) * | 2017-11-30 | 2019-06-24 | キヤノン株式会社 | 設定装置、設定方法、及びプログラム |
EP3493162A1 (en) * | 2017-12-04 | 2019-06-05 | Canon Kabushiki Kaisha | Virtual viewpoint synthesis |
AU2017272325A1 (en) * | 2017-12-08 | 2019-06-27 | Canon Kabushiki Kaisha | System and method of generating a composite frame |
US11113887B2 (en) * | 2018-01-08 | 2021-09-07 | Verizon Patent And Licensing Inc | Generating three-dimensional content from two-dimensional images |
US10706509B2 (en) * | 2018-03-14 | 2020-07-07 | Adobe Inc. | Interactive system for automatically synthesizing a content-aware fill |
CN108921874B (zh) * | 2018-07-04 | 2020-12-29 | 百度在线网络技术(北京)有限公司 | 人体跟踪处理方法、装置及系统 |
JP7170441B2 (ja) * | 2018-07-12 | 2022-11-14 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN108765356A (zh) * | 2018-07-26 | 2018-11-06 | 杭州拓叭吧科技有限公司 | 一种防眩晕的模拟驾驶系统、方法及其驾驶舱 |
CN112292852A (zh) * | 2018-09-28 | 2021-01-29 | 英特尔公司 | 相机路径的自动生成 |
US10957027B2 (en) * | 2019-03-26 | 2021-03-23 | Intel Corporation | Virtual view interpolation between camera views for immersive visual experience |
WO2021199735A1 (ja) * | 2020-03-30 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、画像処理システム、情報処理方法 |
US11651473B2 (en) * | 2020-05-22 | 2023-05-16 | Meta Platforms, Inc. | Outputting warped images from captured video data |
CN113784148A (zh) * | 2020-06-10 | 2021-12-10 | 阿里巴巴集团控股有限公司 | 数据处理方法、系统、相关设备和存储介质 |
CN111913574B (zh) * | 2020-07-15 | 2024-04-30 | 抖音视界有限公司 | 用于控制设备的方法、装置、电子设备和计算机可读介质 |
CN113055547A (zh) * | 2020-08-26 | 2021-06-29 | 视伴科技(北京)有限公司 | 一种预演赛事活动的方法及装置 |
CN114900679B (zh) * | 2022-05-25 | 2023-11-21 | 安天科技集团股份有限公司 | 一种三维模型展示方法、装置、电子设备及可读存储介质 |
CN115994982B (zh) * | 2023-03-22 | 2023-07-07 | 中科星图测控技术股份有限公司 | 一种基于osg的巨型星座态势展示方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009064445A (ja) * | 2007-09-05 | 2009-03-26 | Sony United Kingdom Ltd | 画像処理装置及び方法 |
JP2009077394A (ja) * | 2007-09-05 | 2009-04-09 | Sony United Kingdom Ltd | 通信システム及び通信方法 |
JP2010041725A (ja) * | 2008-08-01 | 2010-02-18 | Sony United Kingdom Ltd | イベントログ生成装置及びイベントログ生成方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5850352A (en) | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
US5729471A (en) | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
US5621473A (en) * | 1995-06-07 | 1997-04-15 | Philips Electronics North America Corporation | Method and device for providing video instant replay in a picture-in-picture |
US6295094B1 (en) * | 1997-09-11 | 2001-09-25 | U.S. Philips Corporation | Instant replay of digital video optimized using non MPEG frame tags |
JP2000207549A (ja) * | 1999-01-11 | 2000-07-28 | Olympus Optical Co Ltd | 画像処理装置 |
US7027073B2 (en) * | 2001-09-24 | 2006-04-11 | International Business Machines Corporation | Virtual cameras for digital imaging |
JP4244040B2 (ja) * | 2005-03-10 | 2009-03-25 | 任天堂株式会社 | 入力処理プログラムおよび入力処理装置 |
TW200709681A (en) * | 2005-08-26 | 2007-03-01 | Cheertek Inc | Method and apparatus for instant replay of digital broadcast data |
EP1862969A1 (en) | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
-
2010
- 2010-07-29 EP EP10405145A patent/EP2413286A1/en not_active Withdrawn
-
2011
- 2011-07-18 EP EP11405287.1A patent/EP2413287B1/en active Active
- 2011-07-18 ES ES11405287T patent/ES2712650T3/es active Active
- 2011-07-22 US US13/189,136 patent/US8355083B2/en active Active
- 2011-07-28 JP JP2011165233A patent/JP5667943B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009064445A (ja) * | 2007-09-05 | 2009-03-26 | Sony United Kingdom Ltd | 画像処理装置及び方法 |
JP2009077394A (ja) * | 2007-09-05 | 2009-04-09 | Sony United Kingdom Ltd | 通信システム及び通信方法 |
JP2010041725A (ja) * | 2008-08-01 | 2010-02-18 | Sony United Kingdom Ltd | イベントログ生成装置及びイベントログ生成方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10939140B2 (en) | 2011-08-05 | 2021-03-02 | Fox Sports Productions, Llc | Selective capture and presentation of native image portions |
US11490054B2 (en) | 2011-08-05 | 2022-11-01 | Fox Sports Productions, Llc | System and method for adjusting an image for a vehicle mounted camera |
US11039109B2 (en) | 2011-08-05 | 2021-06-15 | Fox Sports Productions, Llc | System and method for adjusting an image for a vehicle mounted camera |
WO2014036363A1 (en) * | 2012-08-31 | 2014-03-06 | Fox Sports Productions, Inc. | Systems and methods for tracking and tagging objects within a broadcast |
JPWO2016017121A1 (ja) * | 2014-07-28 | 2017-06-22 | パナソニックIpマネジメント株式会社 | 拡張現実表示システム、端末装置および拡張現実表示方法 |
US9288545B2 (en) | 2014-12-13 | 2016-03-15 | Fox Sports Productions, Inc. | Systems and methods for tracking and tagging objects within a broadcast |
US11758238B2 (en) | 2014-12-13 | 2023-09-12 | Fox Sports Productions, Llc | Systems and methods for displaying wind characteristics and effects within a broadcast |
US11159854B2 (en) | 2014-12-13 | 2021-10-26 | Fox Sports Productions, Llc | Systems and methods for tracking and tagging objects within a broadcast |
JP2017112431A (ja) * | 2015-12-14 | 2017-06-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびコンピュータプログラム |
JP2017212591A (ja) * | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
JP2018046448A (ja) * | 2016-09-15 | 2018-03-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2018207336A (ja) * | 2017-06-06 | 2018-12-27 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP2019096996A (ja) * | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2413286A1 (en) | 2012-02-01 |
EP2413287B1 (en) | 2018-08-08 |
US20120188452A1 (en) | 2012-07-26 |
JP5667943B2 (ja) | 2015-02-12 |
US8355083B2 (en) | 2013-01-15 |
ES2712650T3 (es) | 2019-05-14 |
EP2413287A1 (en) | 2012-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5667943B2 (ja) | コンピュータ実行画像処理方法および仮想再生ユニット | |
US10771760B2 (en) | Information processing device, control method of information processing device, and storage medium | |
US11023736B2 (en) | Methods and systems of spatiotemporal pattern recognition for video content development | |
US11019283B2 (en) | Augmenting detected regions in image or video data | |
US20210350833A1 (en) | Play Sequence Visualization and Analysis | |
JP6719465B2 (ja) | 放送において風の特性及び影響を表示するためのシステム及び方法 | |
US7868914B2 (en) | Video event statistic tracking system | |
JP2012034365A5 (ja) | ||
JP2010183302A (ja) | 映像処理装置、映像処理方法及びプログラム | |
TWI586161B (zh) | 擷取方法及裝置 | |
WO2021241430A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2021017496A1 (zh) | 导播方法、装置及计算机可读存储介质 | |
TWI559760B (zh) | 擷取方法及裝置(二) | |
CN117581270A (zh) | 信息处理设备、信息处理方法以及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140626 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140626 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140626 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5667943 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |