JP2001506819A - 物理的なセンサーおよびパターン認識の結合を用いたビデオストリームへの画像挿入 - Google Patents

Abstract

(57)【要約】 生ビデオ挿入システムの１台以上のイベントカメラ（１１０）は、カメラのズーム、フォーカス、パンとチルトを検出するセンサ（１１３）を持っている。それぞれのカメラからのセンサデータは、ビデオシーン内に生ずる挿入のだいたいの指標を与えるために生ビデオ挿入システムに供給される。センサとタリーデータは、本来的に通常のパターン認識生ビデオ挿入システムのサーチモードに取って変わる。正確な挿入位置の最終的決定は、正確なビデオ画像の特徴および／または構造を解析することによって決定される。この解析は、挿入位置およびその周囲の共通の参照画像または以前の画像の該当位置でビデオフレーム内の特徴および／または構造の位置を比較する。

Description

【発明の詳細な説明】 名称 物理的なセンサーおよびパターン認識の結合を用いた ビデオストリームへの画像挿入 関連出願の参照 本出願は、「物理的なセンサーおよびパターン認識の結合を用いたビデオスト リームへの画像挿入」と称する１９９６年１１月２７日に出願されたアメリカの 暫定的な出願シリアル番号第６０／０３８，１４３号に関連し、その利益を主張 するものである。 本出願は、以下の共通に所有される出願中の出願にも関連する。 「ライブビデオ放送に静的および動的な画像を挿入するシステムと方法」と称 する１９９５年１１月２８日に出願されたシリアル番号第０８／５６３，５９８ 号、「ライブビデオ挿入システムの追跡シーン運動の方法」と称する１９９５年 １２月２９日に出願されたシリアル番号第０８／５８０，８９２号、「合成共通 参照画像を有する適応オクルージョンを用いたビデオへのリアルタイム挿入のシ ステムおよび方法」と称する１９９６年６月１２日に出願されたシリアル番号第 ０８／６６２，０８９号および「持続的に選択された画像構造テンプレートを用 いたカメラ追跡」と称する１９９６年１１月２７日に出願されたシリアル番号第 ６０／０３１，８８３号。前述の出願は、本願明細書に引用した全てである。 発明の背景 １．発明の技術分野 本発明は、ビデオ画像に現実的な指標を挿入する追跡画像フレームためのシス テムと方法に関する。 ２．関連技術の説明 ライブビデオ信号に電子画像を挿入するための電子装置は、例えば、米国特許 ５，２６４，９３３号において、ロッサー等によって説明されているように、主 にスポーツ大会といった放送イベントに広告および他の指標を挿入する目的で開 発され使用された。これらのデバイスは、オリジナルのシーンがズームされ、パ ンされ、逆にサイズや遠近が変わったとしても、継ぎ目なくそして現実的にロゴ または他の指標をリアルタイムにオリジナルビデオに組み込むことができる。そ の他の例としては、ハンナに与えられた米国特許第５，４８８，６７５号とクレ イトマン等に与えられた米国特許第５，４９１，５１７号がある。 挿入された指標が実際にシーン内に存在するかのように見せることは重要であ るが、その技術でこれを満足させるのには難しい状況にある。問題となる様相は 、平均的な視聴者の目がフィールドからフィールドまでの目標物の相対位置の僅 かな変化に非常に敏感であるということである。ＮＴＳＣテレビ画像の１画素の １／１０と同じくらの小さで挿入されたロゴの相対的な動きは、視聴者に認識で きるという事実が経験的にわかっている。放送環境に挿入された指標を配置した り、絶えず高精度に維持することは、商業上実用可能なビデオ挿入技術を作る上 で重要である。放送環境は、画像ノイズ、突然の速いカメラ移動の存在、画像の 重要なフラクションを不明瞭にする移動している目標物の離散的な発生、自然条 件やオペレータ調整のどちらでも誘発されるレンズ特性と光レベ ルの変化による画像の歪み、およびテレビジョン信号の垂直インタレースを含む 。 従来技術においては、画像移動の自動追跡は、一般的に２つの異なる方法によ って実行している。 第１の方法は、画像自体のパターン認識と、相関あるいは差分手法を用いてビ デオシーンの公知のランドマークを追跡し、または周知のオプティカルフロー手 法を用いて動きを計算するといういずれをも用いたものである。ホーン、Ｂ．Ｋ ．Ｐとシャンク、Ｂ．Ｇ．の「オプティカルフローの決定」、人工知能、ｐｐ１ ８５−２０３、（１９８１）参照。ランドマークは、一時的または永久のもので あるかもしれず、シーンの自然の部分または人工的に導かれるものであるかもし れない。ランドマークの形状および配置の変更は、要求された指標を挿入するた めに測定され用いられる。 第２の方法は、たとえば、Ｄ．Ｗ．クレインに特許された米国特許第４，０８ ４，１８４号に説明され、焦点距離、方位角、および高さの情報を提供するため にカメラに配置されたセンサを用いている。これらのセンサーは、与えられたカ メラの視野内において類似のランドマーク位置データを提供するために存在する 。 パターン認識システム ロッサー等によって開発された画像挿入システムのパターン認識のタイプは、 たとえば、２つのはっきりしたモードを持っている。１番目はサーチモードであ り、ライブビデオのそれぞれの新しいフレームは、個々のターゲット画像を検出 し確認するために探索される。２番目は追跡モードであり、ビデオの前のフレー ムにおいて、システムは、ターゲット画像が存在したということを知る。システ ムは、その前のフレームの位置および方向をいくつかの定義済み参照座標系に関 して更に知る。 ターゲット画像位置は、追跡され予め定義された参照座標系に関して最新のもの にされる。 サーチモードは、一定の画像を識別するためにパターン認識技法を使用する。 カメラセンサーを使用することに対向してパターン認識によって位置のデータを 得ることは、ビデオ放送チェーンのどんな位置ででも挿入できるライブビデオ挿 入システムとなるので、重大なシステム自在性を提供する。たとえば、実際の挿 入は、国あるいは世界中のスタジアムあるいはアリーナから、異なるビデオ供給 を受け取る中央側で実行できる。多様な供給は、衛星または電線または公知技術 のあらゆる他の手段によって受信することができる。一旦挿入が加えられると、 ビデオフィードは衛星または電線によってそれが始まる放送位置にまたは直接視 聴者に送り返される。 しかしながら、このようなパターン認識検索および追跡システムは、一部のイ ベントには実行することが難しく、ライブビデオ挿入システム操作の間のエラー の傾向がある非常に弱いものである。ここでの譲受人であるプリンストンビデオ イメージＩｎｃは、多くの会場や、たとえば野球、フットボール、サッカーおよ びテニスのイベントのための強力な検索を工夫しプログラムした。しかしながら 、類似した検索アルゴリズムを実行する時間とコストは、他のタイプのイベント に対しては非常に高くなる。パターン認識の検索は、会場の様子に対する大きな 変化が時間または落ち着いた日内でされるイベントにとっては困難である。これ は、会場の様子は不変ではないので、予め定義された会場の共通参照画像を得る ことが困難だからである。そのような場合、検索の問題に対するより有効な処置 は、カメラの一台以上にターゲットの位置データを得るために取り付けられたセ ンサーを利用することである。 カメラセンサシステム 単にカメラセンサーシステムだけに頼る欠点は、以下に詳述される。テレビ放 送された野球およびフットボールゲームの実地試験において、以前のシステムは 、以下に詳述する重大な問題に遭遇した。 １．カメラの動き たとえばフットボールや野球のような特有のスポーツにおいては、クローズア ップショットは、動作から数百ヤードの距離まで離れたところで長い焦点距離カ メラ操作で捕らえられる。これらの両スポーツとも、ボールを打ったり蹴ったり する突然の動作を有し、ゲーム中に静かなシーンから速く移動する動作のシーン に急に変わる。長い焦点距離のカメラがこの動作に反応するとき、記録される画 像は動きの追跡を困難にするいくつかの特徴を示す。例えば、画像の動きは１フ ィールド当たり１０画素と同じくらい速い。これは、１０×１０未満の画素ウイ ンドウを吟味するシステムの範囲外にとどまるだろう。加えて、静的な画像の１ ラインは数画素幅であり、ぼけているのは１０画素幅であるために、画像は焦点 が合わなくなり、ぼけている厳しい動きを被るかもしれない。これは、システム の追跡は狭いラインであり、実際に急速なパニングだけが発生してズームが変更 されると、突然に整合しなくなったり推定をしなくなったりすることを意味する 。ぼけている動きは、パターン構造と同様に、照明レベルおよび色の変化を引き 起こし、その全ては画像処理技術を基礎とするパターンを使用するシステムの問 題である。２フィールドと同じくらいの僅かなカメラの動きでさえ、ローカルな および大規模な画像の幾何学的構造の突然の変化を引き起こす。画像の照明レベ ルおよび色は、カメラ動きによっても影響を受ける。 ２．移動する目標物 スポーツシーンには通常、一般的に誰がいつ突然、意外な動きをするかもしれな い、予測性の一部の段階を追跡する多くの参加者がいる。これ は、現実のスポーツ大会のいかなる自動的な移動追跡でも画像のさまざまな部分 の突然のおよび予想外のオクルージョンに対処することが可能でなければならな いことを意味する。加えて、ユニフォームの相違およびプレイヤーによってゲー ムの間にとられるポーズは、シーンのどんな純粋な幾何学的なパターンでも追跡 する試みが、類似したパターンの多数の発生数に対抗することができなければな らないことを意味する。 ３．レンズ歪み 全ての実用的なカメラレンズは、それらの目標物が画像のエッジの方へ移動す るように、画像の目標物の相対位置を変える幾何学的なレンズ歪みがある。画素 精度の１０分の１が要求されるときに、これによって問題が生じる可能性がある 。 ４．信号のノイズ 実際のテレビジョン信号は、たとえばナイターのように、特にカメラが低光レ ベルのイベントを報道するために電子的に高められたときにノイズを示す。この ノイズは、信号の強度にかかわらず、これらの整合パターン形状のような標準の 正規化相関認識に依存する画像解析手法について大混乱を来す。ノイズの種類が ランダムであるので、ビデオ（あるいは特有の３時間ゲーム）の数十万フィール ドの間、ノイズパターンを実質上のパターンと間違える可能性があることは重大 な問題である。 ５．フィールド間インタレース 共にフレームを構成する２つの垂直にインタレースされたフィールドにおいて 、ＮＴＳＣおよびＰＡＬ規格のテレビ画像は伝送される。これは、テレビは画像 の単一のストリームではなく、密接に関係するが僅かに異なる画像の２つのスト リームであることを意味する。その問題は、特に狭い水平ライで顕著である。そ して、それはもう他方を除く一方のフィールドにあまり明らかでないかもしれな い。 ６．照度および色の変更 屋外のゲームは、特に照度と色が変化する傾向にある。典型的に夏のナイター は、明るい太陽光線の下で始まり、暗い照明灯の下で終わる。２つ以上の要素の 照度変化は、このような環境において特有である。加えて、自然から人工的な照 明への変更は、視野内の目標物の色を変える。たとえば、フロリダのプロプレー ヤ公園では、壁は、自然の照明の下では青く見え、人工照明の下では緑に見える 。 ７．差分の設定 カメラは、夜から夜への、小さいが検出可能な差分を準備するのに役立つ。た とえば、カメラのチルトは、プラスマイナス１％まで典型的に変化するが、これ は視聴者にとって直ちに明らかにはならない。しかしながら、これはプラスマイ ナス７画素を意味し、８画素×８画素の特有のテンプレートでの測定に対する問 題である。 カメラセンサの利点は、カメラがどこを示しているのか、カメラがどんな倍率 で画像を見ているのか、というカメラが使用されている合理的な確かな能力を含 むことである。ギアのバックラッシュのように、機械の本来の不確実性によるカ メラセンサデータの不正確があるかもしれないにもかかわらず、これらの不正確 は、決して大きくないであろう。たとえば、カメラセンサシステムは、審判員を ゴールポストとして誤認識したり、また、ズームアウトされたスタジアムの景色 が、後ろの壁の景色の拡大であると思うことはない。それは、決して前景におけ る目標物の移動をカメラ自体の移動と混同しないであろう。 必要ことは、不利な点の各々を除去しまたは最小限にする一方、探索するため のパターン認識システムおよびカメラセンサーシステムおよび追跡シーン移動の 利点を結合するシステムである。パターン認識／カメラセンサーハイブリッド挿 入システムを実現する際の第１の障害は、２ つの完全に異なる方法によって得られるデータとの間の結合および／または切替 である。正しく行なわれないとき、全体的な画像の中で、挿入された画像をひょ いと動かしたり、振動させたりするようなことを際立たせ、結合あるいはスイッ チは不安定な結果を与える。この問題点を克服することは、十分な放送品質のハ イブリッドシステム動作にとって至難である。 発明の要約 背景として、ＬＶＩＳ、またはライブビデオ挿入システムは、「ライブビデオ 放送に静的および動的画像を挿入するためのシステムと方法」と称する１９９５ 年１１月２８日に出願された共有の出願シリアル番号第０８／５６３，５９８号 において説明される。ＬＶＩＳは、現実的な様式のライブビデオ放送に、リアル タイムを基準に、静的又は動的画像を挿入するためのシステムと方法である。ま ず最初に、次の検出および追跡に適しているシーンの自然のランドマークが選ば れる。ランドマークは、パンしたりズームしたりするビデオカメラに見えるシー ン内で、好ましくは鋭い、太いおよび貴重な垂直、水平、斜めのまたはコーナー の機能を備える。典型的に、少なくとも３つ以上の自然のランドマークが選ばれ る。たとえば、野球場あるいはフットボールスタジアムのように、ランドマーク が全てのシーンの全体にわたって分配されることと、どんな瞬間でもカメラの視 野は通常はパンされる全部のシーンより小さいことは、よく理解されている。ラ ンドマークは、挿入領域は典型的に多数の定義可能なランドマークを含むにはあ まりに小さく、したがって、挿入可能な画像は動的なものであるかもしれず、そ れは一つの固定されたターゲットの行き先を持たないので、行き先位置あるいは 領域の外側にたびたび設置される。システムモデルは、変形可能な２次元のグリ ッ ド上で自然のランドマークを認識できる。特殊活字、非ランドマーク、参照点は 、シーン内で選択される。参照点は、数学上自然のランドマークと関連しておよ び挿入領域を設置するためにその後使用される。 挿入プロセスの前に、挿入される画像のアートワークは、配景、すなわち形状 のために調節される。システムが数学的な関係をシーンのランドマークとの間に 知覚するので、ズーム比と適用されなければならないＸ，Ｙ位置調整を自動的に 決めることができる。その後は、カメラが内と外にズームし、パンしながらその 視野を変更したときでも、ホーム視聴者が自然に見えるように、挿入可能な画像 は適切に基準化され、視野の他の機能に関連して調和される。システムは、シー ンの内外に動かすことができ、一部の従来技術システムの場合のような「ポップ アップ」よりはむしろシーン内に自然に現れる挿入可能な画像を有する。システ ムは、どんな位置ででも簡単に挿入可能な画像を配置できる。 本発明は、まさに他のものやターゲットデータを設置し、確認しおよび追うた めのカメラセンサデータと同様に説明されるパターン認識技術の結合を用いた複 合型ライブビデオ挿入システム（ＬＶＩＳ）である。カメラセンサーは、検索お よび検出、すなわち認識、パターン認識および「永続的に選択された画像構造テ ンプレートを用いたカメラ追跡」と称する１９９６年１１月２７日に出願された 出願中の暫定的な出願シリアル番号第６０／０３１，８８３号を含むランドマー ク追跡技術に対するＬＶＩＳの要求事項によく適合している。 本発明の背景の概念は、ビデオ画像の解析がカメラセンサデータを安定させ、 改良させるように、カメラセンサデータと光学パターン技術を結合することであ る。この安定化および改良は、ランドマークデータを探索し、追跡するために標 準のＬＶＩＳシステムで用いられる予測方式のためのカメラセンサデータを安定 化することによって、または標準の ＬＶＩＳシステムによって実行された模範的な計算において該当する重み関数で 他のランドマークのセットのカメラセンサデータを用いることによって行なわれ る。一旦カメラセンサーがシーンのランドマークに対応する必要なデータを得る と、データは、標準のＬＶＩＳの追跡関数について互換性がありおよび有用であ るフォーマットに変換され、残りの挿入プロセスは標準通りに実行される。 したがって、本発明はイベント位置の細部から独立している大きな検索能力を 有するＬＶＩＳを提供するためにカメラセンサデータを利用する。さらに、上記 のようなカメラセンサーシステムに関連する不利な点の多くは克服される。 本発明は、ズーム、レンズのフォーカス、固定された台に関するカメラのパン とチルトを検知するセンサーを含む１台以上のイベントカメラを有する特有のＬ ＶＩＳを構成する。不安定な位置のカメラのために、より安定なスタジアムの参 照に関して、実質的に固定された台の動きを測定する付加センサーが含まれる。 ハンドヘルドまたはモバイルカメラのため、予め決められた参照位置の設定に関 するカメラの位置と方向を測定するために、さらに設置されたセンサが含まれる 。それそれのカメラからのセンサデータ、必要ならば、プロダクションスイッチ ャからのタリーデータと一緒に、ＬＶＩＳによってランドマークデータを検索し 検出するために用いられ、現在画像において生ずべきだいたいの挿入の位置を示 すために用いられる。タリーデータは、ビデオスイッチャによって供給されるプ ログラムとしてカメラまたはビデオ供給源が出力する表示として電子的信号の形 式をとる。 センサーデータとタリーデータは、本質的に従来のパターン認識ライブビデオ 挿入システムのサーチモードにとって代わる。挿入位置の正確な最終的な決定は 、実際のビデオ画像の機能および／または構造解析を 使用することによって決められる。この解析は、「ライブビデオ挿入システムの ための追跡シーン移動の方法」と称する１９９５年１２月２９日に出願された出 願中の出願第０８／５８０，８９２号および「永続的に選択された画像構造テン プレートを用いたカメラ追跡」と称する１９９６年１１月２７日に出願された第 ６０／０３１，８８３号に記載されているように、ビデオフレーム内の特徴およ び／または構造の位置を、共通参照画像または前の画像の挿入位置および周囲に 対応する位置と比較する。 図面の簡単な説明 図１は、シーンの参照ビデオ画像を示す概略構成図である。 図２は、図１の参照ビデオ画像のライブビデオ画像を示している概略構成図で ある。 図３は、参照配列の特有の表現のエレメントを示すテーブルである。 図４は、インタレースビデオフィールド内のｙ画像位置に対する視野数の概略 構成図である。 図５ａは、ゼロ平均エッジテンプレートの横断面図である。 図５ｂは、ゼロ平均エッジテンプレートの平面図である。 図６は、相関面を示す図である。 図７は、表面の測定されたおよび予測された位置を示す図である。 図８は、トラック、参照および参照配列の階層が使用されるコードが適応参照 配列を管理する方法の模式的な流れ図である。 図９は、ランドマークとカラーベースのオクルージョンのために使用される関 連したセンサー位置の概略図である。 図１０は、カメラセンサーおよび画像追跡システムの結合を用いたイベント放 送の概略構成図である。 図１１は、カメラデータがランドマーク位置を予測するために用いられる本発 明のシステムを示すブロックダイヤグラムである。 図１２は、カメラデータがカメラデータエラーを補正するために適切に重み付 けされた特別な「仮想」ランドマークを提供するために使用される本発明のシス テムを説明するブロックダイヤグラムである。 図１３は、パン、チルト、ズーム、フォーカスのセンサーが取り付けられたカ メラを示す図である。 図１４は、光学的にエンコードされたセンサーからのデータ出力の表現を示す 図である。 図１５は、センサートラックＡの推移とセンサートラックＢの状態およびセン サーの時計回り（ＣＷ）、反時計回り（ＣＣＷ）の回転方向との間の関係を示す 図である。 図１６は、放送画像から取得される共通参照画像を示す図である。 図１７は、固定して保持されたレンズのフォーカスエレメントを有するＺ（カ ウンタからのカウント数がズームレンズのズームエレメントドライバに属する） に対するズーム（画像拡大）のプロットを示す。他の３つのプロットは、Ｚプロ ットに対してこれらの上にオーバーレイされる。３つのオーバーレイは、３つの Ｚ（ズームエレメントドライバからのカウント）のはっきりした異なるおよび固 定された設定でのＦ（計数器からのカウント数はズームレンズのフォーカスエレ メントドライバに属する）に対するズーム（画像拡大）のプロットを示す。 図１８は、カメラ動きを検出するための加速度計（センサー）を取り付けたカ メラを示す図である。 図１９は、送信機を付けているモバイルカメラの動きを追うために使用される ３つの固定された受信局を示す図である。 図２０は、イベントのカメラとテニスボールのような目標物の関心の いずれもが送信機に相応しい放送状況を示す図である。 好適な実施例の詳細な説明 この説明の過程を通じて、同一の符号は、本発明を説明する異なる図について 同一の要素を示すために用いられる。 「ライブビデオ挿入システムのための追跡シーン移動の方法」と称する１９９ ５年１２月２９日に出願されたシリアル番号０８／５８０，８９２号の標準ＬＶ ＩＳ検索／検出および追跡方法は、シーン内の予め指定されたランドマークのグ ループまたはグループの幾つかの部分集合を得るためにエッジのようなズームに 無関係のテンプレートのテンプレート相関を用いている。ランドマークのテンプ レート相関は、シーンの動きを得るために用いられる生の位置情報を提供する。 代表的に用いられるランドマークは、野球場の構造の一部であったりプレイのフ ィールド上のマーキングであったりする。そのシーンの理想的な数学的公式を創 造することは、追跡アルゴリズムのキー部分である。この理想的な数学的表示は 、参照配列として参照される単なるｘ、ｙ座標値のテーブルである。配列を連想 させる用語「画像」は、オペレータの便宜のためである。現在イメージまたはシ ーンは、この参照配列に関連する。典型的に、使用されるランドマークは、球場 の構成あるいはグラウンド上のマークの一部であるかもしれない。追われるシー ンの理想的な数学的な公式化をすることは、追跡アルゴリズムのキー部分である 。この理想的な数学的な表現は、参照配列と称される単なるｘ，ｙ座標値のテー ブルである。配列と関連する用語「画像」は、オペレータの都合のためにある。 参照配列の対応箇所に現在シーンの位置をマップする数学的な変換を定義する一 組のワープパラメータによって、現在画像またはシーンはこの参照配列に関係づ けられる。回転が無視されてあるいは一定にしておかれる 単純な場合において、現在画像は、次のように参照配列にマップされる。 ここで、ｘ’とｙ’は、現在シーンにおけるランドマークの座標、ｘとｙは、 参照配列における同じランドマークの座標、ｂは、参照配列と現在シーンとの間 の拡大、ａは、ｘ方向の移動、ｄは、参照配列と現在シーンとの間のｙ方向の移 動である。 実体の適応、地理的な階層的な追跡は、予期された模範的な推論された位置の 近くに見い出されるランドマークに対して最も多くの注意を払っている。 第１のステップは、予期された模範的な推論された位置を設定するために正確 な速度予測方式を得ることである。このような前のフィールドあるいはシーンか らのワープパラメータによる推定は、現在画像内にランドマークがなければでき ない。インタレースビデオの速度予測の第１の障害は、本発明は、前の同じフィ ールドからの位置を用いることによって、および最後の２つの異なるフィールド 間の相違する動きを用いることによってこれを取り扱う。 現在画像内で予測されたランドマークが持つべき１５×１５画素領域に渡るテ ンプレート相関は、この予測された位置の中心に置かれる。これらの相関パター ンは、スレッショルド基準を上回るファーストマッチを中央から外側に探索され る。さらにそれぞれのランドマークは、距離に反比例する値の重み関数を有し、 ランドマークは、その予期された模範的な推論された位置から離れる。現在シー ンに対する新しいワープパラメータを計算するときに、それぞれのランドマーク の現在位置は、この関数によって重み付けされて使用される。これは、予測され た位置に より接近しているランドマークにより多くの重みを与える。 シーンの動きのため、カメラの歪みを補正するのに必要なさらなるステップは 、それらの現在位置に基づいてランドマークの参照配列座標を動的に最新のもの にすることである。この更新は当てはまるランドマークだけにされ、それ自体距 離エラー重み関数によって重く重み付けされる。この適応参照配列は、ランドマ ークがレンズと歪んだ配景を通過したとしても、ランドマークの非常に正確な追 跡を許す。適応参照配列を有する際の危険は、それが汚染されるかもしれないと いうことである。この危険は参照座標の３つのセットを有することによって和ら げられる。そして、それらはコード、ゲームおよび追跡参照座標と称する。シス テムがまず最初にロードされるとき、コード参照座標はオリジナルの参照座標に セットされる。ゲームおよび追跡座標は、最初にコード参照座標と等しくセット される。一旦システムがシーンを設定して追跡を開始すると、追跡座標が使用さ れる。しかしながら、切れるシーンが発生するごとに、追跡座標は自動的にゲー ム参照座標にリセットされる。オペレータはいつでも、現在追跡座標をゲーム参 照座標と等しく設定したり、あるいはゲーム参照座標をコード参照座標に戻すこ とを選択できる。この方式は、オペレータの優先権限で適応参照の更新を許す。 追跡方式の最終的なエレメントは、システムのスプリアスデータを避けるため 、ランドマークがいくつかの目標物によって不明瞭にされたときに決定する方法 である。カラーベースのオクルージョン方法は、ランドマークが見い出される周 囲のパターン内の一組のセンサー位置を計算するために使用される。それらの領 域で予想された色とは異なることが判ったときは、ランドマークは遮られ、以降 の計算には使用されない。適したランドマークからのセンサー位置は、システム が、放送の過程の間、太陽光線から人工的な光に徐々に変更していくような状況 の変更に 適応できるように、予測されるセンサー位置の色に対する参照値を最新のものに するために使用される。 この戦略の適応、階層的な追跡は、実質的な生放送テレビの世界環境において 、雑音の多いビデオシーケンス内のランドマークの高精度および強力な追跡の手 段であることがわかった。 図１を参照すると、ビデオ画像の移動追跡は、本発明によって実践されるよう に継ぎ目のない挿入を許し、挿入が配置されるシーンの参照配列１０を起動する 。実際の画像を有することは有用な精神的補助であるにもかかわらず、この参照 配列は参照配列１０内で多くのキーランドマークセット１６および１８の位置を 表示する一組の理想とされたｘ，ｙ座標値以外の何物でもない。特有のテーブル は図３に示され、ｘあるいは水平座標３１を記載していることとｙあるいは垂直 座標位置３３を記載していることを示している。キーランドマークセット１６お よび１８の位置３１および３３は、動きが測定される参照としておよび挿入が正 しい位置に置かれる関係において、いずれも使用される。センターフィールドカ メラからの野球シーンの特有の参照配列１０は、ピッチャーマウンド１２、後ろ の璧１４、後ろの壁１４を作るパッドとの間の垂直ライン１５、後ろの壁と１組 の水平ランドマーク１８をセットするグラウンドとの間の水平ライン１７のよう な撮影場所の特徴から成る。 現在画像あるいはシーン２０は、現在考慮されているビデオシーケンスからの フィールドである。主な特徴または参照配列１０からのランドマークセット１６ および１８の位置もまた、位置２６および２８を測定したように、現在画像２０ において示される。測定された位置２６および２８は、セット１６および１８か ら一組のワープパラメータまでの一致する参照配列ランドマーク位置に関係があ る。一組のワープパラメータは、参照配列１０内の点の位置に、現在画像２０内 の点の位置を非常 に正確にマップするという数学的な変換として定義される。このようなマッピン グは数学上周知である。「デジタル画像処理における幾何学的な画像修正」Ｗ． Ｋ．プラット第２版、１９９１年、ジョンワイリーおよび息子（ＩＳＢＮ０−４ ７１−８５７６６）参照。 固定されたテレビジョンカメラ、特に、非常にスポーツ性の高いイベントにお いて合理的に長い焦点距離を有するカメラからの配景の追跡は、ある２次元面に 他の２次元面をマッピングするものとして考えることができる。画像に対する画 像移動、ズーム、ずれ、および回転を考慮したマッピングを果たす一般的な数学 的な変換は、以下の６つのパラメータモデルによって与えられる。 ここで、ｘとｙは、参照配列１０の座標であり、 ｘ’とｙ’は、現在画像１０の変換された座標であり、 ａは、ｘ方向における画像移動、 ｂは、ｘ方向における画像倍率 ｃは、ｘ方向における回転、スキューの結合、 ｄは、ｙ方向における画像移動、 ｅは、ｙ方向における回転、スキューの結合、 ｙは、ｙ方向における画像倍率である。 ここで論議される追跡アルゴリズムと方法は、他のより一般的な変換と同様に 上記の変換についても使用できる。しかしながら、経験では、動的に更新された 参照配列で示され、ずれまたは回転がないと仮定した単純なｘ、ｙマッピング機 能は満足される。したがって、回転が無視されるかまたは定数（ｃ＝ｅ＝０）を 保ち、およびｘ、ｙ方向の倍率が現 在画像２０内の点の同一（ｂ＝ｆ）位置である単純な場合には、以下の式を用い た参照配列１０内の点の位置にマップされる。 ここで、ｘ’とｙ’は、現在画像２０内のランドマークの座標であり、ｘとｙ は、参照配列１０内の同一ランドマークの座標であり、ｂは、参照配列１０と現 在画像２０の倍率であり、ａは、ｘ方向の移動であり、ｄは、ｙ方向の移動であ る。この単純なマッピング方式は、経験では、動的に更新された参照配列が使用 されるときに、テレビスポーツ放送内で示す限定されたずれ、回転および配景の 歪みを取り扱う強力な能力が あるために使用される。 動きの追跡は、現在画像２０のランドマークセット２６および２８の位置を測 定する方法であり、これらの測定量は、上式によって明らかにされたワープパラ メータａ，ｄ，ｂを計算するため使用される。適応性のある幾何学的な階層的な 追跡の重要な部分は、それぞれのランドマークに重みを割り当てる概念である。 重みは、それぞれのランドマークが、見い出されると予測され予期されるところ から離れて検出されるため、反比例して割り当てられる。より近いランドマーク は、予測される位置に見い出され、そのランドマークには、現在画像２０の位置 を参照配列１０の位置にリンクさせるワープパラメータの計算においてより大き な重みが与えられる。 第１ステップは、現在画像２０において、ランドマーク２６および２８がなけ ればならないところを予測している。これは、３つの前のフィールドのランドマ ーク位置を分析することによってなされる。前のモデルから推論されるランドマ ークの前の位置および速さは、現在画像２０ において現れるであろうランドマークを評価するために用いられる。位置および 速さの計算は、ＮＴＳＣおよびＰＡＬの両方の現在の標準的なテレビ伝送の方法 が複合され、２つの垂直にインタレースされたフィールドに送り出される。した がって、１つおきの水平走査は別々のフィールドに含まれ、慣習的に奇数および 偶数のフィールドと称される。ＮＴＳＣシステムにおいて、それそれのフィール ドは／６０秒（１６．６ｍｓｅｃ）ｄｅ送り出され、１つのフレームは１／３０ 秒ごとに結合される。 速さ推定の１つの重要な実際的な考察は、速さ推定において使用され、測定さ れた位置ではない前のフィールド（−１、−２および−３）のｘおよびｙ位置で あり、それらのフィールドのそれぞれにおいて、推論される最終的なワープパラ メータを用いて計算される位置であるということである。ランドマークの全ては 、現在および参照配列間にマッピングを与えるワープパラメータａ，ｂ，とｄの 単一のセットを推論するために使用される。ワープパラメータの単一のセットは 、現在画像２０に参照配列座標１０を投影するために使用され、現在画像におけ るランドマーク位置の理想的なセットを与える。それは、速さ予測において使用 される模範的な推論された位置と称されるそれぞれのフィールドのランドマーク 位置の理想的なセットである。 図４に示したように、ランドマークの現在ｙあるいは垂直位置は、前の３つの フィールドから予測される。現在フィールド（フィールド０）のｙ位置は、両方 のそれぞれが奇数あるいは均一である「同じ」フィールドであるフィールド−１ とフィールド−３のランドマークの模範的な推論された位置の差分として速さの ｙ成分を測定することにより予測される。ｙ速度成分は、それから現在フィール ドと「同じ」前のフィールドであるフィールド−２の模範的な推論されたｙ位置 に加えられ、現在 フィールドのランドマークを見い出すための推定に達する。 ｘ方向の予測は同じアルゴリズムを使用することができ、インタレースがない ので、ｘ方向の計算はより単純かつ僅かなものとすることができる。より単純な 方式において、速さのｘ成分は、フィールド−１のランドマークの模範的な推論 された位置とフィールド−２のランドマークの模範的な推論された位置との間の 差分として計算される。この差分は、フィールド−１の模範的な推論された位置 に加えられ、現在フィールドのランドマークを見い出すための推定に達する。 現在画像の全てのランドマークの予測された最も適当な位置を有し、ランドマ ークの位置は、その予測された位置で中央に位置された１５×１５画素領域の全 面に８×８画素テンプレートとの相関をとることによって見い出だされる。相関 あるいはテンプレートマッチングは周知の手法であって、その標準形において、 目標物の検出の最も基本的な手段のうちの１つである。Ｗ．Ｋ．プラットによる 「デジタル画像処理の画像検出および認識」（第２版、１９９１年、ジョンワイ リーおよび息子ＩＳＢＮ０−４７１−８５７６６）、２０章参照。テンプレート がそれが使用されているシーンの１部に近似しているために行なわれる相関ある いはテンプレートマッチングの多くの標準的な方法と違って、本発明のテンプレ ートは、合成でできたものであり、形状および値の両方において理想化されたも のであり、「ゼロ−平均」である。 たとえば、画像から捕られるゴールポストの部分に用いるよりもむしろ直立し たフットボールのゴールポストの追跡において、使用されるテンプレート５４は 、負に導かれるライン５６と正に導かれるライン５８の均一な値のエッジであり 、８×８のテンプレートの加算値は、図５ａの断面図と図５ｂの平面図に概略的 に示されるように、ゼロである。 このテンプレートは、独自のズームが存在する利点を有し、均一な輝 度の表面上にゼロ値を与えるだろう。この手法は、８×８画素テンプレートは限 定されず、１５×１５画素領域に限定して相関がとられる領域ではない。更に、 この手法は、ゼロ平均テンプレートにも限定されない。垂直および水平ラインと エッジだけが追われている状況において、水平の細部を理解するための（１×ｎ ）相関面と、垂直の細部を理解するための（ｎ×１）相関面とを有することによ って計算を減らすことが可能である。ここで、ｎは、通常、５〜５０画素の範囲 の合理的な値である。 理想とされた、ゼロー平均エッジテンプレート５４は、図６に概略的に示され るように、相関面６０を生成するために拡大され、フィールターにかけられ、１ ０分の１にされた複製または現在画像の１５×１５画素領域の全面に関連する。 この相関面６０は、１５×１５画素の配列から成り、この明るさは、その位置が 中央におかれたときに、テンプレートに対する画像の相関に対応する。典型的に 、ラインを含む画像の領域の全面に相関しているエッジテンプレート５４は、完 全な整合を示すポジティブゴーイングラインレスポンス６６と、不整合を示す該 当ネガティブゴーイングラインレスポンス６７との両方を与える。この不整合ラ イン６７は、ポジティブゴーイングマッチライン６６から離れたその位置および 距離がラインの幅の測定を与えるという点で、およびその周囲よりも明るいか暗 いかという点で用いることができる。加えて、現在画像の特徴のような明るいエ ッジに対応する相関面６０上の他の明るい画素６８がある。 適応性のある幾何学的な階層的な追跡方法の指導原理は、ランドマークをフォ ーカスすることであり、最も接近していると予測されるポテンシャルランドマー クの示す相関ピークである。１５×１５の相関面６０のどこかにピークを探すと いうよりも、これらのパターンはセンタから外へ探索される。最も単純に非常に 効果的にこれを行なう方法は、最初 に中央の３×３画素領域６４において中央の９画素値を見ることである。これら の画素のいずれかがスレッショルドより大きい相関値を有する場合、画素が探し 求めているランドマークを表示し、相関面の更なる調査がされないと仮定される 。スレッショルドは、通常予期される普通のランドマーク相関の５０パーセント である。この３×３の最初の検索は、マークされた画素６８がライン６６の画素 より明るいときのように、それらの明るさあるいは形状によるランドマーク相関 を混乱させるかもしれない近くの目標物の面前でも動きの追跡によって行なわれ る。一旦ピーク輝度を有する画素が見いだされると、出願中の米国特許出願番号 ０８／３８１，０８８号において論議されるように、副画素位置の推定は、三角 形を再構成する周知の方法を使用して見いだされる。より高い次数の曲線をデー タに付けるような使用がされるかもしれない他の副画素位置を評価する方法があ る。 加えて、あるシーンにおいて見い出されるそれぞれのランドマークは、予想さ れる位置からの距離に基づいた、関連するエラー重みを有している。ここで図７ を参照すれば、このエラー重みは、座標ｘｐ、ｙｐでの画像７０の予測位置と、 座標ｘｍ、ｙｍでの画像７２の測定位置とに基づき、次の一般的な式を使用して 計算される。 ここで、ｇ、ｈ、ｉ、ｊ、ｋおよびｌは、重み関数の強さを変化させるために 選択される定数である。 好適な実施形態において、式のパラメータは次の通りである。 しかしながら、特別な環境においては、重みの強調点を変化させるために、異 なる値をとるかもしれない。たとえば、定数ｉおよびｊは、短い距離の間一定を 保ち、それから急に低下する関数を提供するように変化するかもしれない。 このエラー重みは、それから、参照配列２０の位置に現在画像２０の位置を作 るワープパラメータの計算において、使用される。好適な実施形態において、こ の計算は、次のマトリックスを使用する重み付けされた最小二乗平均の適用操作 である。 ここにおいて、 である。 純粋に水平線上のランドマークの場合、ｎｘ＝０およびｎｙ＝１であり、純粋 に鉛直線上のランドマークの場合、ｎｘ＝ｌおよびｎｙ＝０である。より一般的 な場合、ｎｘおよびｎｙは、ランドマークの支配的な方向に対する法線を表示す るベクトルの方向余弦である。 動き追跡方式の適応性のある部分は、カメラひずみを考慮するのに必要である 。それは、システムが小さな遅い回転および／または切り取りを取り扱うことを 許容するのと同様に、システムが保存されている理想 的な参照配列と実際のシーンとの間の小さな相違を補うことを許容する。それは 、更に、システムが任意の小さなゆっくり発生する歪みも取り扱うことを許容す る。この適応は、参照配列座標をそれらの現在位置に基づいて動的に最新のもの にすることによってなされる。本発明では、動き追跡の適応性のある部分は、次 の基準により安定化される。１）それが起こることが許容されるとき、非常に慎 重であること。２）ランドマークが良好であるという点でシステムがどのように 確信的であるかに基づいて、いずれのランドマークが関与することを許容されて いるか選択すること。３）全体の計算を、距離エラー重み関数によって重く重み 付けして行うこと。加えて、参照配列は、どのシーンがカットされた後にもリセ ットされる。 異なる値が全てのこれらのパラメータに使用されるかもしれないけれども、好 適な実施形態において、参照配列座標の動的更新は、６フィールドの追跡後に開 始され、どのオクルージョンチェックでもフラグがあがらなかった、予想参照値 の２０％より大きく２００％より小さい相関値を有するランドマークでなされる だけである。 測定されたランドマーク位置は、現在フィールドの全ての良好なランドマーク により次式を用いて計算されるワープパラメータを使用して、参照配列の位置に 戻り投射される。 ここにおいて、 Ｘｍは、ランドマークの測定Ｘ座標、 Ｙｍは、ランドマークの測定Ｙ座標、 ａは、水平移行ワープパラメータ、 ｄは、鉛直移行ワープパラメータ、 ｂは、拡大ワープパラメータ Ｘｎｒは、このフィールドデータに基づき提案された新参照点の計算Ｘ座標、 Ｙｎｒは、このフィールドデータに基づき提案された新参照点の計算Ｙ座標、 ＸＯｒは、更新すべき旧参照点のＸ座標、 ＹＯｒは、更新すべき旧参照点のＹ座標、 Ｘｒは、新参照点としてテーブルに入れられるＸ座標、 Ｙｒは、新参照点としてテーブルに入れられるＹ座標、 インタレースビデオでの追跡性能を改善するために、奇数および偶数フィール ドに対して別々の追跡参照配列を使用することもまた可能である。適応性のある 参照配列の潜在的に不安定な性質のため、好適な実施形態は、コード参照、ゲー ム参照および追跡参照として言及される、３つの関連する参照配列を有している 。 図８の模式的な流れ図は、これらの３つの参照がどのように使用されるかを示 す。開始時に、最初のシステムがロードされるとき、全てのこれらの参照は、同 じに、すなわちコード参照、ゲーム参照および追跡参照が等しく、セットされ、 換言すれば、それそれの参照配列におけるランドマークのｘおよびｙ座標は、コ ード参照配列におけるランドマークの座標と同じものであるようにセットされる 。 動作時に、画像処理がなされるとき、３つの参照配列は、以下のように使用さ れる。ゲーム参照は、検索および検査モードにおいて使用され、そして追跡モー ドにおいて追跡参照が使用される。 まず最初に、追跡参照配列が、ゲーム参照配列と等しくセットされる。 これは、好適な実施形態において、追跡がなされる最初のフィールドで起こる。 次のフィールドにおいて、追跡参照は、上記で詳述したように変更される。別々 の追跡参照配列が奇数および偶数のフィールドに使用されている場合、それらは 両方ともまず最初に、ゲーム参照配列にセットされるであろう。 追跡モードの間はいつでも、オペレータは、例えばスクリーン、キーボード、 マウス、グラフィックユーザーインターフェース、トラックボール、タッチスク リーンあるいはこのようなデバイスの結合等の標準的なコンピュータインターフ ェースツールを用いて、現在の追跡参照をゲーム参照の中にコピーすることを選 ぶかもしれない。この機能は、ゲームの開始時に役に立つ。例えば、オペレータ は、特定のスタジアムで挿入を実行するライブビデオ挿入システムをセットアッ プしているかもしれない。コード参照座標は、そのスタジアムでの前のゲームに 基づいたランドマーク位置を有するが、そのランドマークの位置は、その間の時 間で僅かに変えられているかもしれない。しかしながら、コード参照は、ほとん どの間、検索および追跡に十分良好な状態に保たれる。選択的に、ショットを待 つこと、あるいは全てのランドマークが障害のないゲーム前にディレクターがセ ットアップすることによって、および追跡参照の調整を考慮することによって、 その特定のゲームのためのより正確なゲーム参照が実現され得る。 追跡あるいは検索モードにおいてはいつでも、オペレータは、ゲーム参照をコ ード参照にリセットすることを選ぶことができる。これは、だめになった追跡参 照を参照してゲーム参照をリセットするというオペレータエラーからの回復を与 える。 適応性のある参照プロセスの重要な部分は、プレーヤ等の対象によってオクル ードされないことがわかっているランドマークに更新すること を制限している。 好適な実施形態におけるこのランドマークオクルージョン検出に使用される方 法は、色をベースにしており、大部分のスポーツは、かなり統一された色でうま く定義された領域の面上で、あるいは、野球場の背壁のように統一された色の実 質的特徴を有するスタジアムの中で、プレーされる、という事実を利用している 。図９に示されるように、各ランドマーク９０は、それに関連したセンサポイン ト９２を有する。これらのセンサポイント９２は、好適な実施形態においてはラ ンドマーク９０につき３〜９個のセンサポイントに変化するが、それらが関連す るランドマークに近接した、あるいは好ましくは取り囲むあらかじめ決められた 位置の画素である。より重要なことには、センサポイントはすべて、合理的に統 一された色の領域上にある。ランドマークがオクルードされるかどうかの決定は 、センサポイントに注目してそれらの平均値からの偏差を測定することに基づく 。この偏差がプリセット値を上回る場合、ランドマークはオクルードされると考 えられる。一方、それは、例えばモデル計算や参照配列の更新等の他の計算用に 、利用可能である。 この点までの議論は、「ライブビデオ挿入システムのための追跡シーン移動の 方法」の名称で１９９５年１２月２９日に出願された同時係属中の米国出願第０ ８／５８０，８９２号のＬＶＩＳ検索／検出およびトラック機能を説明している 。 本発明の概念は、カメラセンサデータで標準的なＬＶＩＳの速度予測方式を論 じるものである。このような動作は些細に聞こえるかもしれない一方で、それは 事実、異なるデータフォーマット間での同時発生を要求する複合的な仕事である 。カメラセンサデータは、全画像配列が直ちにすなわち単一の瞬間に早く入れら れる二次元の画像座標配列に変えることが可能な、完全な画像フィールドの「ス ナップショット」を提供す る。換言すれば、配列の左側の画素は、同じ瞬間に、配列の右側の画素として表 示する。しかしながら、標準的なＬＶＩＳ技術を使用する動き追跡は、画像配列 座標に関して絶えず更新するプロセスである。したがって、いかなる与えられた 瞬間でも、画像配列の左側の画素は、画像配列の右側の画素として、時間の同じ 瞬間を表示しない。継ぎ目なく実行するための本発明のハイブリッドシステムに とって、このような矛盾は、説明され、補償されねばならない。 図１０を参照すれば、レンズ１１２を有するカメラ１１０が三脚１１１に取り 付けられ、テニスコート１１５上でのテニスマッチを記録するためにセットアッ プされる。カメラ１１０およびレンズ１１２には、レンズ１１２およびカメラ１ １０のパン、チルト、ズームおよびフォーカスを計測するように設計された、一 組のセンサ群１１３が装着される。センサ群１１３はまた、２倍拡大の光学部品 が使用されているかどうかを決定する。放送用カメラは、通常、ノブの回転で光 学素子のレンズ列を切り換えることができる「倍化」要素を有している。この倍 化の使用により、レンズのズーム要素のいかなる与えられたセッティングでも、 効果的に画像倍率を二倍にすることができる。これは、Ｚ（ズーム要素駆動部か らの計数）の一つの測定値が、ズームあるいは映像拡大の２つの異なる値に関連 しているということを意味する。データ捕集部１１４は、データインタプリタ１ １６を有するライブビデオ挿入システム（ＬＶＩＳ）１１８に同じものを供給す る前に、カメラセンサ群１１３からデータを受け取る。データインタプリタ１１ ６は、データ捕集部１１４によって送られるデータを、ＬＶＩＳシステムによっ て使用され得る形に変換する。センサ群を備えた他の類似のカメラが、動作の異 なるビューを記録するために、イベントサイトの全体にわたって配置される。 図１０はまた、テレビジョン制作に使用される例えばスイッチャ１２ ０等の、一般的な放送用設備のいくつかを示す。スイッチャにより、ディレクタ ーは、現在放送中のものとしていくつかのビデオソースの中から選択をすること ができる。図１０に示される他のビデオソースの例としては、付加したカメラ１ １０あるいはビデオ記憶装置１２２を含んでいる。スイッチャ１２０はまた、例 えばディジタルビデオ効果マシン等の効果マシンを含んでいてもよい。これによ り、ディレクターは、一方のビデオの供給からワーパを介して他方へ、あるいは 他の画像操作デバイスへ移すことができる。ワーパは、例えばズーム、パンある いはチルトにおける変化等のように、ある画像を、一の視界から他へ変換する画 像操作デバイスである。 プログラムの供給は、次にＬＶＩＳ１１８に送られる。典型的なライブビデオ 挿入システムの検索／検出、すなわち認識および追跡能力に加えて、本発明の好 適な実施形態のＬＶＩＳ１１８はさらに、データインタプリタ１１６を含んでい る。このデータインタプリタ１１６は、データ捕集部１１４からのカメラセンサ データと、スイッチャ１２０から受けとった照合情報とを解釈し、ＬＶＩＳ１１ ８にどのビデオソースが現在放送されているかを知らせる。ＬＶＩＳ１１８はさ らに、ソフトウェアおよびハードウェア決定モジュール１２６を備える。決定モ ジュール１２６は、ＬＶＩＳ１１８に、前述したパターン認識技術により得られ る伝統的な検索モードデータの代わりに、センサデータを使用することを許容す る。決定モジュール１２６は、従来のパターン認識追跡モード、あるいはカメラ センサデータとパターン認識との結合により追跡がなされるモードの間で切り換 えることができる。 一旦ビデオがＬＶＩＳ１１８を通過すると、指標１３６はビデオの流れにおい て、継ぎ目無く現実的に挿入される。挿入は、静的でも、動的でも、あるいは別 個のビデオソース１２８からのライブビデオ供給でも よい。結果ビデオ信号はそれから、衛星、アンテナ放送あるいはケーブル等であ る適切な手段１３０によって、挿入された指標１３６を有するシーン１３５が従 来のテレビジョン受信機１３４に表示されるホームレシーバ１３２に送られる。 ここで、図１３を参照すれば、カメラ１１０のパンおよびチルトを決定する一 組のセンサ群は、水平軸１４６および鉛直軸１４２のまわりの回転を測定するた めに設計された精密ポテンショメータあるいは光学式エンコーダを備えている。 類似のセンサはまた、レンズ１１２内での光学素子の移行を測定することによっ て、レンズ１１２のフォーカスとズームとを決定する。フォーカスおよびズーム の動きは、フォーカスおよびズームを規定する光学素子を動かす軸の回転を測定 することによって決定される。これは、ズームを変えるためにカメラオペレータ により使用されるハンドル１４８の軸１５０まわりの、およびフォーカスの変化 をきたすためにカメラオペレータにより使用されるハンドル１５２の軸１５４ま わりの回転を測定することによってなされる。 パンセンサ１４０、チルトセンサ１４４、ズームセンサ１４９およびフォーカ スセンサ１５３からのデータは、データ捕集部１１４によって集められる。デー タ捕集部１１４はそれから、種々のセンサにより発生させられる生の電圧および ／またはセンサパルスを受けとり、それらをＬＶＩＳ１１８のデータインタプリ タ１１６に伝達可能なフォーマットの一連の数に変換する。データインタプリタ １１６は、離れたところにあるいは現場に設置してもよい。データ捕集部１１４ は、例えば標準的なアナログ／デジタル（Ａ／Ｄ）コンバータカード等の適当な 通信および処理カードや、シリアルおよびパラレル通信ポートを備えたパーソナ ルコンピュータという形をとってもよい。 ズームセンサ１４９およびフォーカスセンサ１５３等のポテンショメ ータのデータに対し、データ捕集部１１４は、典型的には−３〜＋３ボルトのア ナログ電圧を、レンズの位置を表示する一連の数であるデジタル信号に変換する 。これらの数は、例えばビデオフィールドごとに１回あるいは各６ミリ秒に１回 の、あらかじめ決められた割合データで、ＬＶＩＳ１１８のデータインタプリタ １１６に送られる。あるいは、ＬＶＩＳ１１８は、使用される１またはそれ以上 のパラメータの更新を要求する命令を、データ捕集部１１４に送ってもよい。 典型的な光学式エンコーダからのデータを、図１４に３つのトラックで示す。 各トラックは、一連の２値パルスからなる。トラックＡおよびＢは、同一である が、お互いに４分の１周期だけ位相がずれている。１周期は、ローおよびハイの パルスの結合したものである。典型的な光学式エンコーダでは、３６０度を通過 するセンサ装置の１回転は、結果として、１カウントはエンコーダ出力が０から ＋１に、あるいは＋１から０になる各時間であるところの、概ね４０，０００カ ウントになる。４分の１周期だけ位相がずれた２つのデータトラックを有する理 由は、データインタプリタ１１６に、センサーがどの方向に回転させられている か知らせるためである。図１５に示されるように、トラックＡが遷移する場合、 そのときトラックＢの状態が、センサが時計まわりに回転しているか、反時計ま わりに回転しているかを決定する。例えば、トラックＡがハイ状態からロー状態 へ遷移し、トラックＢがハイ状態である場合、そのときセンサは時計まわりに回 転している。逆にトラックＢがロー状態である場合、そのときセンサは反時計ま わりに回転している。 トラックＡおよびＢを調査することによって、データ捕集部１１４は、必要に 応じてカウントを加えあるいは減ずることにより、簡単にセンサ位置を監視でき る。必要なことは、カウントを開始する参照ポイントだけである。参照ポイント は、トラックＣにより与えられる。トラックＣ は、＋１か０の２つの状態のみ有している。これにより、０度位置と１８０度位 置とを有効に規定することができる。実際には、据え付けられたカメラは、カメ ラが回転される角度が１８０度より小さい角度にセットアツプされるので、ゼロ 設定の場合を考慮するだけでよい。 トラツクＣの遷移を監視することによって、データ捕集部１１４は、回転カウ ンタをゼロにすることができ、それからトラックＡおよびＢを連続的に監視する ことによってカウンタを増加あるいは減少させることができる。例えばフィール ドごとに１回あるいは各６ミリ秒に１回等の適切な間隔で、光センサの回転位置 は、データインタプリタ１１６に転送され得る。選択的に、いつでも、ＬＶＩＳ １１８は、監視されている１またはそれ以上のパラメータの現在の測定のために 、データ捕集部１１４に要求を送ってもよい。 データインタプリタ１１６の機能は、デジタル化された位置および／またはデ ータ捕集部１１４からの回転の情報を、典型的なＬＶＩＳ追跡システムと互換性 があって使用可能なフォーマットに変換することである。図１６を参照すれば、 カメラおよびレンズからのセンサデータは、共通参照画像によって、ＬＶＩＳト ラッキングシステムと互換性があるようにされる。 共通参照画像は、共通して所有する「ライブビデオ挿入システムのための追跡 シーン移動の方法」の名称の米国出願第０８／５８０，８９２号に記載されてい るような従来のＬＶＩＳ追跡システムと、カメラセンサデータだけに頼るシステ ムとの間の、数学的なモデル化あるいは移行を許容する保存された画像である。 典型的には、共通参照画像は、選択された追跡方法、すなわち例えば適応性のあ る地理的、階層的、あるいはテクスチャ解析によってモデル化され、カメラセン サデータはその選択された追跡モデルに転換される。 共通参照画像についていくつかの重要な側面がある。第１は、原点である。原 点は、カメラレンズの光軸が共通参照画像を通過する位置に選択される。これは 、２つの理由で、典型的にはビデオ画像の中心ではない。第１に、レンズのズー ム素子の軸と主要なレンズ構成部品の光軸との間に、わずかな誤った位置合せが あるかもしれない。第２に、カメラのＣＣＤ配列は、レンズの光軸に対して正確 には垂直でないかもしれない。 このオフセットは、２つの方法のうちの一方で処理することができる。 第１に、ズームに従属するスキューパラメータを、データの解釈に加えることが 可能である。あるいは、第２に、共通参照画像内のゼロ点を、カメラレンズの光 軸が共通参照画像と交差する位置で定義することができる。ゼロ点は、実際には 多くの方法で決定され得る。好適な方法では、第１に、画像の中心に画像上の十 字マークをセットする。第２に、標準点でズームインする。標準点は、固定点あ るいは参照点である。次に、十字マークが標準点に中心合わせされるまで、パン あるいはチルトさせる。それからできるだけズームアウトする。ここで、画像上 の十字マークが再び標準点に中心合わせされるまで、十字マークを移動させる。 最後に、カメラをズームインおよびアウトさせたときに十字マークが標準点に中 心合わせされるまで、第２および第３のステップを繰り返す。今や標準点および 十字マークのｘ，ｙ座標は、共通参照画像の（０，０）ポイント、すなわち原点 である。 図１６に示される共通参照画像は、パン、チルト、ズームおよびフォーカスの カメラパラメータのよく知られた設定にて、ある中間ズームでとられたスタジア ムあるいはイベントの画像である。共通参照画像は、オペレータにとって好都合 である。便宜のために、我々は以下の定義を行う。ずなわち、Ｐ＝パンカウント （パンエンコーダ４０がデータイン タプリタに送信する数）、Ｔ＝チルトカウント（チルトエンコーダ４４がデータ インタプリタに送信する数）、Ｚ＝ズームカウント（ズームエンコーダ４９がデ ータインタプリタに送信する数）、およびＦ＝フォーカスカウント（フォーカス エンコーダ５３がデータインタプリタに送信する数）である。カメラセンサの読 みはまた、共通参照画像に同時に記録され、以下の指示が与えられる。すなわち 、Ｚ0 ＝共通参照画像をとるときのＺ、Ｆ0 ＝共通参照画像をとるときのＦ、 Ｔ0 ＝共通参照画像をとるときのＴ、Ｐ0 ＝共通参照画像をとるときのＺ、お よび（Ｘ0 ，Ｙ0 ）は上記で定義された（０，０）ポイントの共通参照画像に おける座標である。 ３つのキャリブレーション定数が、カメラセンサデータを従来のＬＶＩＳ画像 追跡システムにより使用可能な形に転換するために必要とされる。これらの定数 は、ｘｐ（Ｚ0 ，Ｆ0 においてパンセンサのカウントごとに移動されるｘ画素 の数）、ｙｔ（Ｚ0 ，Ｆ0 においてチルトセンサのカウントごとに移動される ｙ画素の数）、およびｚｆ（Ｚ0 においてＦカウントセンサと同等なＺカウン トの数）である。ｘｐおよびｙｔは、簡単な定数によって関係づけられるが、明 確さのため、別々に識別している。 図１７は、ｘ軸に沿ってズームカウンタからのカウントを取り、ｙ軸に沿って ズームを取った、Ｚの線状の並んだプロットである。共通参照画像でのズームの セッティングは、単一のズームである。破線で示すように、カメラフォーカス素 子を調整することの副作用は、画像の拡大あるいはズームにおける変化である。 その変化の性質は、ズーム調整によって生み出される画像の拡大における変化と 非常に類似している。しかしながら、全範囲にわたってフォーカス素子を調整す ることによっておよそもたらされる画像の拡大（ズーム）における変化は、全範 囲にわた ってカメラズーム素子を調整することによっておよそもたらされる画像の拡大に おける変化よりも、かなり小さい。 これは、２セットの図を考えることによって、視覚的に理解され得る。第１に 、画像の拡大（ズーム）と、ズームレンズのフォーカス素子が固定されたセッテ ィングに保たれた状態での（ズームレンズのズーム素子を動かすスクリューシャ フトの回転の数Ｚをカウントすることにより測定されるような）レンズのズーム 素子の調整と、の関係のグラフが作られる。この第１の図は、拡大対ズームの図 と称される。 第２に、画像の拡大と、ズーム素子の位置であるＺが数多く明瞭にセッティン グされる（ズームレンズのフォーカス素子を動かすスクリューシャフトの回転の 数Ｆをカウントすることにより測定されるような）レンズのフォーカス素子の調 整と、の関係の数多くのグラフが作られる。これらのグラフは、拡大対フォーカ スの図と称される。 それから拡大対フォーカスの図を、拡大対ズームの図に重ねることができる。 拡大対フォーカスの図のフォーカス軸を圧縮することにより、拡大対フォーカス のカーブの形状は、図１７に示されるように、拡大対ズームの図の局所的な曲率 に適合させることができる。 重要なポイントは、フォーカスカーブをズームカーブに適合させるために必要 なフォーカス軸の圧縮度合いは、Ｚが異なった固定値とされているにもかかわら ず、各々の拡大対フォーカスのカーブと同じであるということである。これは、 ズームおよびフォーカス調整を同様に扱うことによって、画像のサイズでのズー ムおよびフォーカスの相互作用の数学的処理の簡単化が可能であることを意味す る。特に、画像のサイズあるいは拡大を決定するとき、フォーカスセンサ（フォ ーカス素子の位置を測定するカウンタ）からのデータを、ズームセンサ（ズーム 素子の位置を測定するカウンタ）からのデータと同等に解釈することが可能であ る。ズームおよびフォーカスデータを同等にするために必要とされることは、一 つのオフセット値および一つの増幅要素によるフオーカスデータの簡単な変形だ けである。同等なズーム定数は、次式によって定義される。 ｚｆは、Ｚカウントに対するズームをプロットすることによって決められるキ ャリブレーション定数あり、個々のズームについてのＦカウントに対してズーム をオーバーレイしている。フォーカスからのズームがズームカーブにフィットす るようにＦカウントを調節することによって、一定のｚｆは、見いだされること ができる。同じことが、ズームとＺカウント間の関係を最初に決め、そして、ｚ ｆを調節することによって、Ｆカウントにズームをフィットするためにその関係 を使うことによって分析的にすることができる。 好適な実施例では、ズームは、以下の最小２乗を使用している指数関数が使う Ｚにフィットした。 ズームをロウズームに変換するルックアップテーブル、または、上の方程式の 式と同様でもよいルックアップテーブルと数学的な補間の結合もあってもよい。 キャリブレーション定数ｘｐおよびｙｔは、カメラを共通参照画像の一つ以上 の位置に向けることにより測定される。そして、すなわち十字マークをレンズの 光軸に集中させて、ＰおよびＴ値を記録する。選ばれた位置および（０、０）位 置との間で共通参照画像の画素距離を測定することによって、キャリブレーショ ン定数ｘｐおよびｙｔは以下の２つ の方程式によって計算される。 定数ｘｐ、ｙｔ、ｚｆ、ａ、ｂおよびｃは参照定数（Ｐ、Ｚ、ＴおよびＦを従 来のＬＶＩＳ画像追跡ソフトウェアに使われるアファイン係数と関係づけるため の、または、共通参照画像の参照配列に関して知られている現在画像の点の位置 を計算するためのＺ0、Ｆ0、Ｐ0、Ｔ0、Ｘ0およびＹ0）と使われる。 最も単純なアファイン表現で、回転を無視することとズームを仮定することは 、ｘおよびｙ方向の中で、方程式によって、対象の位置が共通参照画像での位置 と関係づけられるのと同じである： ｘｉおよびｙｉは、現在画像で、対象のｘおよびｙ位置にあり、ｘｒおよびｙ ｒは、共通参照画像で、同じ対象のｘおよびｙ位置にあり、Ｚは、現在画像およ び共通参照画像の間のズームであり、そして、ｔｘおよびｔｙは、現在画像およ び共通参照画像の間のｘおよびｙ移行である。従来のＬＶＩＳ追跡方程式では、 Ｚ、ｔｘおよびｔｙは、重み平均最小２乗を利用して、一組の知られているラン ドマークの位置を測定することによって解かれる。 見いだされたＺ、ｔｘおよびｔｙを有して、共通参照画像の他のどの位置も、 ｘｉおよびｙｉのための方程式を使用している現在画像にマップされうる。 以上の方程式から、Ｚは簡単にあることが分かる。 ここで、μはズームおよびフォーカスカウントを結合して以下のように定義さ れる。 ｔｘおよびｔｙは関係を使用しているカメラセンサーから見いだされる。 好適な実施例では、データ翻訳装置１１６は、ソフトウェアもしくはハードウ ェアインプリメンテーション、または、ソフトウェアとセンサーデータＰ、Ｔ、 Ｚ、ＦをＺ、ｔｘ、ｔｙに変換する方程式のハードウェアインプリメンテーショ ンとの結合であり、Ｐ0、Ｔ0、Ｚ0、Ｆ0、Ｘ0、Ｙ0、ｚｆ、ｘｐ、ｙｔを定義す ることによって調整される。 点のｘおよびｙ位置はＰ0、Ｔ0、Ｚ0、Ｆ0、Ｘ0、Ｙ0、ｚｆ、ｘｐ、ｙｔに関 して、以下の式によって直接表わされうる。 どのインプリメンテーションが使用されても、ハードウェアあるいは ソフトウェアのインプリメンテーションは、上で詳述される解析式、または明示 するルックアップテーブルもしくは近似式、実験データから推論された式、また は、ルックアップテーブル、解析式、実験データの結合によってあってもよい。 ＬＶＩＳは、現在多くの方法の翻訳されたカメラセンサーデータを使用できる 。しかしながら、どの方法が使用されても、使用されている個々のレンズのレン ズ歪みのために補正しなければならない。 翻訳されたカメラデータを使用する１つの方法は、検索のためだけのＺ、ｔｘ 、ｔｙのアファイン変換を使い、それから、従来の追跡への切り替えをすること である。この手段は、米国特許シリアル番号第０８／５６３５９８号および第０ ８／５８０８９２号の「ライブビデオ放送への静的動的画像の挿入のためのシス テムと方法」および「ライブビデオ挿入システムのための追跡シーン動作の方法 」とそれそれ名付けて共通に所有された出願中の出願で詳細に説明したように、 変形可能な共通参照画像を有することによって、一般的に、レンズの歪みを補正 することができる。 翻訳されたカメラデータを使用する第２の出願は、Ｚ、ｔｘ、ｔｙのアファイ ン変換を１つ以上の画像中心のランドマーク（それは常に見える。しかし、それ は常に約２つの画素のエラーを与える重み係数を有する。）を作成するために使 用し、システムの追跡能力を補うためにそれを使用し、それからマトリックスベ ースのランドマーク追跡システムに、シリアル番号第０８／５８０８９２号の「 ライブビデオ挿入システムのための追跡シーン動作の方法」と名付けた１９９５ 年１２月２９日に出願の出願中の特許出願細部で述べたように、これらの余分な ランドマークを供給する。フレキシブル共通参照画像は、フレキシブルカメラ参 照パラメータを含むために拡張されようとしなければならなかった。 翻訳されたカメラデータを使用する第３の方法は、予測または予測の一部とし てＺ、ｔｘ、ｔｙのアファイン変換を使用し（ここで、光学追跡ランドマークは 、現在画像になければならない）、システムの追跡能力を補うことであり、それ から、認識できる構成が得られるというほどに、現在画像を参照配列に関連づけ るために使用されているどんなモデルをも改善するために、ランドマークあるい はテクスチャ追跡を使用する。テクスチャ追跡は、シリアル番号第６０／０３１ ，８８３号の「持続的に選択された画像構造テンプレートを用いたカメラ追跡」 と称する１９９６年１１月２７日に出願の出願中の特許出願に記載されている。 この処理法は、フルアファインおよび背景を含むどんな表現モデルのためにも使 われうる。歪み補正は、特にもし補正がモジュラ形になったら、すなわち、利用 可能な、たとえば、ズーム、ｘオフセット（あるいは水平移行）、ｙオフセット （あるいは垂直移行）が、別々で、および、いかなる結合でもより難しくなる。 一つの強力な方法は、関数あるいは歪みをマップするルックアップテーブルを有 することである。 共通参照画像を現在画像に関連付ける決定されたモデルを有し、挿入オクルー ジョンを含むＬＶＩＳの剰余は、シリアル番号第０８／６６２，０８９号の「合 成共通参照画像を有する適応オクルージョンを使用しているビデオへのリアルタ イム挿入のシステム及び方法」と称する出願中の特許出願の細部にて説明したよ うに、通常、使用できる。 図１８において図示される本発明の別の実施例では、パン、チルト、ズームお よびすでに説明されるフォーカスセンサー１１３を加えて、２つの付加センサー １６０と１６４が推移モジュールの中にはめ込まれてあり、その推移モジュール によってカメラ１１０とレンズ１１２が三角形マウント１１１に取り付けられる 。これらの付加センサー１６０および１６４は、２つの直角の方向１６２および １６６の加速度を測定する 加速時計である。加速時計からのデータは、データ収集装置１１４に供給され、 データ収集装置でそのデータは、ｘおよびｙ方向でのカメラの現在変位を提供す る時間に関して２度統合される。変位データは、データ判断装置１１６に供給さ れる、データ判断装置で、変位データは、ある前もって決定されたキャリブレー ション定数によって増加され、翻訳されたアファイン変換のｔｘおよびｔｙ成分 に加えられ、または関連付けられた異なるキャリブレーション定数によって増加 され、そして画像座標に直接変換で使うためにパンおよびチルトカウントにそれ ぞれ直接加えられる。 この別の実施例の簡略なバージョンでは、垂直方向の加速度を測定している加 速度計１６０だけがパン、チルト、ズームおよびフォーカスセンサー１１３に加 えられ、仮定の固定された複数のカメラの共通の問題として、それらのカメラは 不安定なプラットホームや垂直シフトに取り付けられることが重大な問題である 。 別の実施例の簡略なバージョンの改良では、第２の加速度器１６３がレンズ１ １２の先頭に取り付けられるので、垂直方向のカメラコンプライアンスあるいは 振動（軸１４６についてのチルトから独立している）はまた、測定され、カメラ １１０およびレンズ１１２がどんな与えられた時間ででも位置する方向の確認の ために使用される。 他に、図１９に図示される本発明の別の実施例では、レンズ１１２に取り付け られるズームおよびフォーカスセンサー１４９と１５３は、好ましい実施例と同 じである。しかし、チルトおよびパンセンサー１４０と１４４は変更され、付加 回転センサー１７４と付加無線周波数（ＲＦ）送信機もしくは付加インフラレッ ド（ＩＲ）送信機１７０が取り付けてある。そのチルトセンサー１４４は、プラ ムボブ電位差計であり、地球の表面を重力で定義し、通常からローカルまでチル トを測定する。 その回転センサー１７４もまた、プラムボブ電位差計、または、軸１７６のまわ りをカメラの回転を測定するために設計された重力に敏感なゼロ表示を有する光 学エンコードセンサーである。そのパンセンサー１４０は、ローカルな磁軸から 離れて水平回転を測定する敏感な、電子コンパスである、磁軸とは、たとえばロ ーカルマグネチックノースであるかもしれない。ＲＦもしくはＩＲ送信機１７０ は、前もって決められた正確に一定な時間に、適当な形作られたパルスを出す、 そのパルスは、スタジアムの適切な位置に設置される２つ以上のレシーバ１７２ によって拾われる。レシーバ１７２でパルスの到着時間の差分を測定することに よって、スタジアム内のカメラの位置を２、３ミリメートルの範囲で計算するこ とができる。レシーバ１７２およびカメラセンサー１４０、１４４、１４９、１ ５３からのデータは、それからＬＶＩＳシステムのデータインタプリタ１１６に 供給される。データを結合することによって、レンズ１１２のフォーカスおよび ズームと同様に、システムは、カメラ１１０の位置と方位を計算することができ る。このような方法で、手で保持するカメラあるいはモバイルカメラは、適応す ることができる。アファイン表現モデルにおいて、以前の方程式は、回転を取り 扱うためのクロスタームを含むために拡張された。たとえば ここで（変数）は、手で保持するカメラによって許される余分な回転の自由度 を計算するための変換定数である。 他に、図２０に図示されている本発明の実施例では、システムは、手で保持す るカメラもしくはモバイルカメラを扱うことができ、プレイ中のスポーツのイン タレストの対象の位置を決めることができる。たとえ ば、コート１５でプレイ中のテニスの試合では、ボール８０は送信機を隠し得る 、その送信機は、単純な無線周波数（ＲＦ）あるいはインフラレッド（ＩＲ）送 信機であるかもしれない、それは、前もって決められた最適な形づくられたパル スを送り出し、タイミングか、振動数か、パルスの形か、他の適当な手段のどれ かによって、正確に計られた一定の時間とモバイルカメラ１１０に取り付けてあ る送信機１７０を識別する。 レシーバ１７２はスタジアムの適当な位置に設置され、今、カメラ送信機１７ ０およびオブジェクト送信機１８０によって出されるパルスの到着時間の両方の 差を測定する。システムは、今、送信機１８０でカメラ１１０とボールの両方の 瞬間的な位置を示すことができる。カメラ１１０およびレシーバからのデータは 、データ収集１１４およびそれからデータインタプリタ１１６に供給される。デ ータインタプリタ１１６は、今、カメラ１１０とレンズ１１２の位置、方位、ズ ームおよびフォーカスを推定でき、前に細部を説明したように、検索情報をＬＶ ＩＳシステムに提供しＬＶＩＳシステムのトラックモードの利点に使用されるか もしれない。さらに、データインタプリタ１１６がまた、現在画像のインタレス ト１８０の対象の位置についての情報を提供でき、それは、たとえば、インタレ ストの対象の直交切線１８２を示す最終的な出力で、グラフィック８４のような 高品質を視聴者に提供するために使用されてもよい。 ここで教示した装置および操作方法は、本発明の実例となることは理解された 。改良は、本発明の思想または有効範囲から逸脱することなく、当業者によって 、容易にされるかもしれない。

【手続補正書】特許法第１８４条の８第１項 【提出日】平成１０年１１月２４日（１９９８．１１．２４） 【補正内容】 請求の範囲 １． １つ以上のハードウエアセンサデバイスを備えた少なくとも１台のカメラ によってスキャンされた次々と関連するビデオ画像のフィールドからフィールド への追跡動作のための方法であって、 a) それぞれのランドマークが唯一のｘとｙ座標を持つ複数のランドマークを 有する参照配列を表す理想的なｘとｙ座標の配列を確立するステップと、 b) 現在画像のｘとｙ座標を前記参照配列の前記ｘとｙ座標にマッピングする ステップと、 c) 前記ハードウエアセンサデバイスからカメラの位置と方位を表すカメラセ ンサデータを取得するステップと、 d) 前記カメラセンサデータを用いて前記ランドマーク配列の将来の位置ｘ’ とｙ’を予測するステップとからなり、 予測の誤りは、(i)前記カメラセンサデータから計算されたランドマーク配列 におけるフィールド間の相違を(ii)それぞれ配置されたランドマーク位置ｘ，ｙ に加えることによって最小にされた２つの連続するフィールド間を変えることに よることを特徴とする方法。 ２． 前記マッピングは、以下の関係によって達成されることを特徴とする請求 の範囲第１項に記載の方法。 ここで、ｘは、参照配列の水平座標 ｙは、参照配列の垂直座標 ｘ’は、現在シーンの水平座標 ｙ’は、現在シーンの垂直座標 ａは、目的物をｘ方向に水平に移行するためのワープパラメー タ ｂは、現在配列と現在画像との間をｘ方向に拡大するためのワ ープパラメータ ｃは、ｘ方向における回転とスキューとの結合のためのワープ パラメータ ｄは、目的物をｙ方向に垂直に移行するためのワープパラメー タ ｅは、ｙ方向における回転とスキューとの結合のためのワープ パラメータ ｆは、現在配列と現在画像との間をｙ方向に拡大するためのワ ープパラメータ ３． 前記ビデオ画像は、似ているフィールドと似ていないフィールドの間を交 互にフィールドからフィールドまで垂直にインターレスされることを特徴とする 請求の範囲第２項に記載の方法。 ４． 前記インターレスされたビデオ画像のための予測する将来の前記ランドマ ーク座標ｘ’とｙ’は、所定の似ているフィールドから検出された前記ランドマ ークの位置の変化に基づくことを特徴とする請求の範囲第３項に記載の方法。 ５． 請求の範囲第４項に記載の方法は、 e) 前記ランドマークの予測位置を見渡す実在範囲に関して案内され、テンプ レートを使用した相関の手段によって前記現在画像における前記ランドマークの １つをサーチするステップと、 f) 重みづけされた相関面をもたらす前記ランドマークの予測位置への距離の 相関に近付くさらに大きな重みを与える重み関数によってステップ(e)における 前記相関サーチの結果を掛けるステップと、 g) 前記重みづけされた相関面のピーク値をサーチするステップとをさらに有 することを特徴とする方法。 ６． 請求の範囲第５項に記載の方法は、 h) ランドマークに対する前記重み関数によって重みづけされた現在画像内の ランドマークの現在位置に基づいて現在画像に対する新たなワープパラメータａ ，ｂ，ｃ，ｄ，ｅとｆを検出するステップをさらに有し、 重みは、ランドマークに与えられ、それらの予測位置に近付けることを特徴と する方法。 ７． 前記重み関数は、以下の関係を意味することを特徴とする請求の範囲第６ 項に記載の方法。 ここで、ｇ，ｈ，ｉ，ｊ，ｋ，とｌは、定数 ｘｐは、前記ランドマークの予測されたｘ座標位置 ｘｍは、前記ランドマークの測定されたｘ座標位置 ｙｐは、前記ランドマークの予測されたｙ座標位置 ｙｍは、前記ランドマークの測定されたｙ座標位置 ８． 請求の範囲第７項に記載の方法は、 i) 前記参照配列における前記ランドマークの位置を前記現在画像における前 記ランドマークの位置により最新のものにするステップをさらに含み、前記最新 のものにすることは、良く一致されるランドマークに 基づき、また、前記ランドマーク重み関数により実行されることを特徴とする方 法。 ９． 請求の範囲第８項に記載の方法は、 j) 以前の放送に含まれる (i) 前記参照ランドマーク座標と等しいランドマーク座標を持つ コード参照配列と、 (ii) 前記コード参照配列座標と等しく初期設定されたランドマー ク座標を持つゲーム参照配列と、 (iii) 前記コード参照配列座標と等しく初期設定されたランドマ ーク座標を持つ追跡参照配列と、 の３種類の参照配列を確立するステップからなることを特徴とする方法。 １０． 請求の範囲第９項に記載の方法は、 k) 前記追跡参照配列の座標を放送中に変化させるステップと、 l) シーンが切れた後に追跡参照配列の座標を前記ゲーム参照配列の座標にリ セットするステップとから構成されることを特徴とする方法。 １１． 前記ビデオシステムがオペレータによって制御される請求の範囲第１０ 項に記載の方法は、 m) 前記現在追跡参照配列の座標を前記ゲーム参照配列の座標に等しくセット したり、前記ゲーム参照配列の座標をコード参照配列の座標に戻してセットした りすることを選択的に選択するステップから構成され、 前記オペレータは、ゲームまたは追跡の参照配列の座標を最新のものにするか 無効にできることを特徴とする方法。 １２． 請求の範囲第１１項に記載の方法は、 n) それぞれの前記ランドマーク位置の周りのパターンにおける色と照度の変 化を検出できる前記センサ位置のセンサ位置のセットを確立す るステップと、 o) 前記センサ位置が予想された色または照度から色または照度において異な るかを決定するステップと、 p) 前記色または照度が予想されたものから大きく異なる場合に、前記ランド マークを将来の計算から除外するステップとから構成され、 前記ランドマークは、前記センサ位置における前記色または照度が予想された 色または照度から大きく異なる場合に、遮られることを特徴とする方法。 １３． 前記相関テンプレートは、１５×１５画素のウインドウであることを特 徴とする請求の範囲第１２項に記載の方法。 １４． 前記マッピングは、以下の関係によって達成されることを特徴とする請 求の範囲第１項に記載の方法。ここで、ｘは参照配列における水平座標 ｙは、参照配列における垂直座標 ｘ’は、現在シーンにおける水平座標 ｙ’は、現在シーンにおける垂直座標 ｂは、現在配列と現在画像との間をｘ方向に拡大するためのワ ープパラメータ ａは、目的物をｘ方向に水平に移行するためのワープパラメー タ ｄは、目的物をｙ方向に垂直に移行するためのワープパラメー タ １５． 請求の範囲第４項に記載の方法は、 q) サーチの開始位置が前記ランドマークの予測位置の実質的に中心に置かれ 、テンプレートを使用した相関の手段によって前記現在画像における前記ランド マークの１つをサーチするステップと、 r) 前記予測された位置から開始し調和を探して外に向かって進む前記サーチ を実行するステップと、 s) 前記調和がスレッショルド値を越えた時に前記ランドマークのサーチを停 止するステップとから構成されることを特徴とする方法。 １６． 前記重み関数は、以下の関係を意味することを特徴とする請求の範囲第 ６項に記載の方法。 ここで、ｘｐは、前記ランドマークの予測されたｘ座標位置 ｘｍは、前記ランドマークの測定されたｘ座標位置 ｙｐは、前記ランドマークの予測されたｙ座標位置 ｙｍは、前記ランドマークの測定されたｙ座標位置 １７． 第１のビデオストリームソースカメラの方位と設置を表すカメラセンサ データを安定にし改善するために、前記明らかな共通の原点を第１のビデオスト リームのパターン認識解析を用いることによって得られるようにし、カメラの方 位と設置が変化することによって第１のビデオストリームが調整されたとしても 、ビデオフィールドからビデオフィールドまで共通の原点を持つ結合されたビデ オストリームが現れるように第１のビデオストリームを第２のビデオストリーム の端に入れる方法であって、 t) 少なくとも１台のカメラに用意されたカメラの方位と設置を測定するハー ドウエアセンサからカメラセンサデータを取得するステップと、 u) カメラセンサデータを伝送するための適切なフォーマットに変換するステ ップと、 v) 変換されたカメラセンサデータを生ビデオ挿入システムに伝送するステッ プと、 w) カメラセンサデータをアファインフォームに変換するステップと、 x) 所定のビデオのフィールドにおけるランドマークが前記カメラセンサデー タを基礎とするビデオの現在フィールドにあるということを予測するステップと 、 y) カメラセンサデータによって予測されたランドマーク位置について中央に 位置されるランドマーク位置を検出するための相関を実行するステップと、 z) 全ての位置されたランドマークに対して適用する重み最小二乗法を用いて ビデオの現在フィールドに関係するビデオの参照フィールドのモデルを生成する ステップとから構成されることを特徴とする方法。 １８． 前記少なくとも１台のカメラの方位と設置は、フォーカス、ズーム、パ ン、チルトからなることを特徴とする請求の範囲第１７項に記載の方法。 １９． 伝送するための適切なフォーマットは、取得されたカメラセンサデータ をアナログベースからデジタルベースに変換することによって得られた数字列で あることを特徴とする請求の範囲第１７項に記載の方法。 ２０． 第１のビデオストリームソースカメラの方位と設置を表すカメラセンサ データを安定にし改善するために、前記明らかな共通の原点を第１のビデオスト リームのパターン認識解析を用いることによって得ら れるようにし、カメラの方位と設置が変化することによって第１のビデオストリ ームが調整されたとしても、ビデオフィールドからビデオフィールドまで共通の 原点を持つ結合されたビデオストリームが現れるように第１のビデオストリーム を第２のビデオストリームの端に入れる方法であって、 aa) 少なくとも１台のカメラに用意されたカメラの方位と設置を測定するハ ードウエアセンサからカメラセンサデータを取得するステップと、 bb) カメラセンサデータを伝送するための適切なフォーマットに変換するス テップと、 cc) 変換されたカメラセンサデータを生ビデオ挿入システムに伝送するステ ップと、 dd) カメラセンサデータをアファインフォームに変換するステップと、 ee) カメラセンサデータによって予測されたランドマーク位置について中央 に位置されるランドマーク位置を検出するための相関を実行するステップと、 ff) 前記カメラセンサデータを用いカメラセンサデータの誤りに対して適切 に重みづけされた仮想ランドマークを生成するステップと、 gg) 全ての位置された仮想ランドマークに対して適用する重み最小二乗法を 用いてビデオの現在フィールドに関係するビデオの参照フィールドのモデルを生 成するステップとから構成されることを特徴とする方法。 ２１． 前記少なくとも１台のカメラの方位と設置は、フォーカス、ズーム、パ ン、チルトからなることを特徴とする請求の範囲第２０項に記載の方法。 ２２． 伝送するための適切なフォーマットは、取得されたカメラセンサデータ をアナログベースからデジタルベースに変換することによって得られた数字列で あることを特徴とする請求の範囲第２０項に記載の方法。 ２３． １つまたはそれ以上のハードウエアセンサデバイスを備えた少なくとも １台のカメラによってスキャンされた次々と関連するビデオ画像のフィールドか らフィールドへの追跡動作のための方法であって、 hh) メモリ内に捕らえられている基準のおよび格納されている画像テンプレ ートと確実に合うイメージ現在ビデオ画像から画像テンプレートのセットを得る ステップと、 ii) 前記ハードウエアセンサデバイスからカメラの位置と方位を表すカメラ センサデータを取得するステップと、 jj) それぞれ格納された現在画像に関連する画像テンプレートの位置を決定 する前記カメラセンサデータを用いるステップと、 kk) 現在画像に関連する決定されたテンプレート位置を用いて参照位置デー タと現在画像位置データを一致させる変換モデルを計算するステップと、 ll) メモリから保持している基準とは確実に合わない画像テンプレートを一 掃するステップと、 mm) 一掃された画像テンプレートに代えて前記現在画像から新たな画像テン プレートを得るステップとから構成されることを特徴とする方法。 ２４． 加速時計を含むハードウエアセンサデバイスを備えた少なくとも１台の カメラによってスキャンされた次々と関連するビデオ画像のフィールドからフィ ールドへの追跡動作のための方法であって、 nn) それぞれのランドマークが唯一のｘとｙ座標を持つ複数のラン ドマークを有する参照配列を表す理想的なｘとｙ座標の配列を確立するステップ と、 oo) 現在画像のｘとｙ座標を前記参照配列の前記ｘとｙ座標にマッピングす るステップと、 pp) 前記ハードウエアセンサデバイスからカメラの位置、方位と振動を表す カメラセンサデータを取得するステップと、 qq) 前記カメラセンサデータを用いて前記ランドマーク配列の将来の位置ｘ ’とｙ’を予測するステップとからなり、 予測の誤りは、(i)前記カメラセンサデータから計算されたランドマーク配列 におけるフィールド間の相違を(ii)それぞれ配置されたランドマーク位置ｘ，ｙ に加えることによって最小にされた２つの連続するフィールド間を変えることに よることを特徴とする方法。 ２５． 第１のビデオストリームソースカメラの方位と設置を表すカメラセンサ データを安定にし改善するために、前記明らかな共通の原点を第１のビデオスト リームのパターン認識解析を用いることによって得られるようにし、カメラの方 位と設置が変化することによって第１のビデオストリームが調整されたとしても 、ビデオフィールドからビデオフィールドまで共通の原点を持つ結合されたビデ オストリームが現れるように第１のビデオストリームを第２のビデオストリーム の端に入れる方法であって、 rr) メモリ内に捕らえられている基準のおよび格納されている画像テンプレ ートと確実に合うイメージ現在ビデオ画像から画像テンプレートのセットを得る ステップと、 ss) 少なくとも１台のカメラに用意されたカメラの方位と設置を測定するハ ードウエアセンサからカメラセンサデータを取得するステップと、 tt) カメラセンサデータを伝送するための適切なフォーマットに変換するス テップと、 uu) 変換されたカメラセンサデータを生ビデオ挿入システムに伝送するステ ップと、 vv) カメラセンサデータをアファインフォームに変換するステップと、 ww) 所定のビデオのフィールドにおける画像テンプレートが前記カメラセン サデータを基礎とするビデオの現在フィールドにあるということを予測するステ ップと、 xx) カメラセンサデータによって予測された画像テンプレート位置について 中央に位置される画像テンプレート位置を検出するための相関を実行するステッ プと、 yy) 全ての画像テンプレーに対して適用する重み最小二乗法を用いてビデオ の現在フィールドに関係するビデオの参照フィールドのモデルを生成するステッ プと、 zz) メモリから保持している基準とは確実に合わない画像テンプレートを一 掃するステップと、 aaa) 一掃された画像テンプレートに代えて前記現在画像から新たな画像テン プレートを得るステップとから構成されることを特徴とする方法。 ２６． 第１のビデオストリームソースカメラの動きと方位と設置を表すカメラ センサデータを安定にし改善するために、前記明らかな共通の原点を第１のビデ オストリームのパターン認識解析を用いることによって得られるようにし、カメ ラの振動によっておよびカメラの方位と設置が変化することによって第１のビデ オストリームが調整されたとしても、ビデオフィールドからビデオフィールドま で共通の原点を持つ結合され たビデオストリームが現れるように第１のビデオストリームを第２のビデオスト リームの端に入れる方法であって、 bbb) 少なくとも１台のカメラに用意されたカメラの加速度と方位と設置を測 定するハードウエアセンサからカメラセンサデータを取得するステップと、 ccc) カメラセンサデータを伝送するための適切なフォーマットに変換するス テップと、 ddd) 変換されたカメラセンサデータを生ビデオ挿入システムに伝送するステ ップと、 eee) カメラセンサデータをアファインフォームに変換するステップと、 fff) 所定のビデオのフィールドにおけるランドマークが前記カメラセンサデ ータを基礎とするビデオの現在フィールドにあるということを予測するステップ と、 ggg) カメラセンサデータによって予測されたランドマーク位置について中央 に位置されるランドマーク位置を検出するための相関を実行するステップと、 hhh)全ての位置されたランドマークに対して適用する重み最小二乗法を用いて ビデオの現在フィールドに関係するビデオの参照フィールドのモデルを生成する ステップとから構成されることを特徴とする方法。 ２７． 第１のビデオストリームソースカメラの方位と設置を表すカメラセンサ データを安定にし改善するために、前記明らかな共通の原点を第１のビデオスト リームのパターン認識解析を用いることによって得られるようにし、カメラの方 位と設置が変化することによって第１のビデオストリームが調整されたとしても 、ビデオフィールドからビデオフィールドまで共通の原点を持つ結合されたビデ オストリームが現れるよう に第１のビデオストリームを第２のビデオストリームの端に入れる方法であって 、 iii) メモリ内に捕らえられている基準のおよび格納されている画像テンプレ ートと確実に合うイメージ現在ビデオ画像から画像テンプレートのセットを得る ステップと、 jjj) 少なくとも１台のカメラに用意されたカメラの方位と設置を測定するハ ードウエアセンサからカメラセンサデータを取得するステップと、 kkk) カメラセンサデータを伝送するための適切なフォーマットに変換するス テップと、 lll) 変換されたカメラセンサデータを生ビデオ挿入システムに伝送するステ ップと、 mmm) カメラセンサデータをアファインフォームに変換するステップと、 nnn) カメラセンサデータによって予測された画像テンプレート位置について 中央に位置される画像テンプレート位置を検出するための相関を実行するステッ プと、 ooo) 前記カメラセンサデータを用いカメラセンサデータの誤りに対して適切 に重みづけされた仮想画像テンプレートを生成するステップと、 ppp) 全ての位置されたおよび仮想の画像テンプレートに対して適用する重み 最小二乗法を用いてビデオの現在フィールドに関係するビデオの参照フィールド のモデルを生成するステップと、 qqq) メモリから保持している基準とは確実に合わない画像テンプレートを一 掃するステップと、 rrr) 一掃された画像テンプレートに代えて前記現在画像から新たな画像テン プレートを得るステップとから構成されることを特徴とする方 法。 ２８． 第１のビデオストリームソースカメラの加速度と方位と設置を表すカメ ラセンサデータを安定にし改善するために、前記明らかな共通の原点を第１のビ デオストリームのパターン認識解析を用いることによって得られるようにし、カ メラの振動によっておよびカメラの方位と設置が変化することによって第１のビ デオストリームが調整されたとしても、ビデオフィールドからビデオフィールド まで共通の原点を持つ結合されたビデオストリームが現れるように第１のビデオ ストリームを第２のビデオストリームの端に入れる方法であって、 sss) 少なくとも１台のカメラに用意されたカメラの加速度と方位と設置を測 定するハードウエアセンサからカメラセンサデータを取得するステップと、 ttt) カメラセンサデータを伝送するための適切なフォーマットに変換するス テップと、 uuu) 変換されたカメラセンサデータを生ビデオ挿入システムに伝送するステ ップと、 vvv) カメラセンサデータをアファインフォームに変換するステップと、 www) カメラセンサデータによって予測されたランドマーク位置について中央 に位置されるランドマーク位置を検出するための相関を実行するステップと、 xxx) 前記カメラセンサデータを用いカメラセンサデータの誤りに対して適切 に重みづけされた仮想ランドマークを生成するステップと、 yyy) 全ての位置されたおよび仮想ランドマークに対して適用する重み最小二 乗法を用いてビデオの現在フィールドに関係するビデオの参照フィールドのモデ ルを生成するステップとから構成されることを特徴と する方法。 ２９． 第１のビデオストリームソースカメラの方位と設置を表すカメラセンサ データを安定にし改善するために、前記明らかな共通の原点を第１のビデオスト リームのパターン認識解析を用いることによって得られるようにし、カメラの方 位と設置が変化することによって第１のビデオストリームが調整されたとしても 、ビデオフィールドからビデオフィールドまで共通の原点を持つ結合されたビデ オストリームが現れるように第１のビデオストリームを第２のビデオストリーム の端に入れる方法であって、 zzz) 少なくとも１台のカメラに用意されたカメラの方位と設置を測定するハ ードウエアセンサからカメラセンサデータを取得するステップと、 aaaa) カメラセンサデータを伝送するための適切なフォーマットに変換する ステップと、 bbbb) 変換されたカメラセンサデータを生ビデオ挿入システムに伝送するス テップと、 cccc) カメラセンサデータを生ビデオ挿入システムによって用いることがで きるフォームと座標系に変換するステップと、 dddd) ランドマークが前記カメラセンサデータを基礎とするビデオの現在フ ィールドにあるということを予測するステップと、 eeee) 全ての位置されたランドマークに対して適用する重み最小二乗法を用 いてビデオの現在フィールドに関係するビデオの参照フィールドのモデルを生成 するステップと、 ffff) メモリ内に捕らえられている基準のおよび格納されている画像テンプ レートと確実に合うイメージ現在ビデオ画像から画像テンプレートのセットを得 るステップと、 gggg) ビデオの後フィールドにおいて、格納された画像テンプレートそれぞ れの現在位置を決定するための開始点として前記画像テンプレートの予測位置を 用いるステップと、 hhhh) ビデオの後フィールドにおいて、これらの後フィールド内の参照位置 データを画像位置データに一致させるために決定されたテンプレート位置を用い て変換モデルを計算するステップと、 iiii) メモリから保持している基準とは確実に合わない画像テンプ レート を一掃するステップと、 jjjj) 一掃された画像テンプレートに代えて前記現在画像から新たな画像テ ンプレートを得るステップとから構成されることを特徴とする方法。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ， ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，Ｆ Ｉ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ， ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，Ｍ Ｘ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ， ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者 タン，ジ アメリカ合衆国，ニュージャージー州 08536，プレインスボロ，リンデン レイ ン 27 (72)発明者 ケネディ，スキップ アメリカ合衆国，ニュージャージー州 08690，ハミルトン スクウェア，クロッ クナー ロード 3278 (72)発明者 ジェファース，ジム アメリカ合衆国，ペンシルヴェニア州 19067，ヤードレイ，ウッドビュウ ロー ド 1423 (72)発明者 ディチコ，ダレル アメリカ合衆国，ニュージャージー州 08514，クリーム リッジ，ルート 539 251 (72)発明者 ゴン，キシミン アメリカ合衆国，ニュージャージー州 08873，サマセット，ローラー レイン 25エフ

Claims (1)

1. 【特許請求の範囲】 １． 少なくとも１台のカメラによってスキャンされた次々と関連するビデオ画 像のフィールドからフィールドへの追跡動作のための方法であって、 a) それぞれのランドマークが唯一のｘとｙ座標を持つ複数のランドマークを 有する参照配列を表す理想的なｘとｙ座標の配列を確立するステップと、 b) 現在画像のｘとｙ座標を前記参照配列の前記ｘとｙ座標にマッピングする ステツプと、 c) カメラの位置と方位を表すカメラセンサデータを取得するステップと、 d) 前記カメラセンサデータを用いて前記ランドマーク配列の将来の位置ｘ’ とｙ’を予測するステップとからなり、 予測の誤りは、(i)前記カメラセンサデータから計算されたランドマーク配列 におけるフィールド間の相違を(ii)それぞれ配置されたランドマーク位置ｘ，ｙ に加えることによって最小にされた２つの連続するフィールド間を変えることに よることを特徴とする方法。 ２． 前記マッピングは、以下の関係によって達成されることを特徴とする請求 の範囲第１項に記載の方法。 ここで、ｘは、参照配列の水平座標 ｙは、参照配列の垂直座標 ｘ’は、現在シーンの水平座標 ｙ’は、現在シーンの垂直座標 ａは、目的物をｘ方向に水平に移行するためのワープパラメー タ ｂは、現在配列と現在画像との間をｘ方向に拡大するためのワ ープパラメータ ｃは、ｘ方向における回転とスキューとの結合のためのワープ パラメータ ｄは、目的物をｙ方向に垂直に移行するためのワープパラメー タ ｅは、ｙ方向における回転とスキューとの結合のためのワープ パラメータ ｆは、現在配列と現在画像との間をｙ方向に拡大するためのワ ープパラメータ ３． 前記ビデオ画像は、似ているフィールドと似ていないフィールドの間を交 互にフィールドからフィールドまで垂直にインターレスされることを特徴とする 請求の範囲第２項に記載の方法。 ４． 前記インターレスされたビデオ画像のための予測する将来の前記ランドマ ーク座標ｘ’とｙ’は、所定の似ているフィールドから検出された前記ランドマ ークの位置の変化に基づくことを特徴とする請求の範囲第３項に記載の方法。 ５． 請求の範囲第４項に記載の方法は、 d) 前記ランドマークの予測位置を見渡す実在範囲に関して案内され、テンプ レートを使用した相関の手段によって前記現在画像における前記ランドマークの １つをサーチするステップと、 e) 重みづけされた相関面をもたらす前記ランドマークの予測位置への距離の 相関に近付くさらに大きな重みを与える重み関数によってステップ(d)における 前記相関サーチの結果を掛けるステップと、 f) 前記重みづけされた相関面のピーク値をサーチするステップとをさらに有 することを特徴とする方法。 ６． 請求の範囲第５項に記載の方法は、 g) ランドマークに対する前記重み関数によって重みづけされた現在画像内の ランドマークの現在位置に基づいて現在画像に対する新たなワープパラメータａ ，ｂ，ｃ，ｄ，ｅとｆを検出するステップをさらに有し、 重みは、ランドマークに与えられ、それらの予測位置に近付けることを特徴と する方法。 ７． 前記重み関数は、以下の関係を意味することを特徴とする請求の範囲第６ 項に記載の方法。 ここで、ｇ，ｈ，ｉ，ｊ，ｋ，とｌは、定数 ｘｐは、前記ランドマークの予測されたｘ座標位置 ｘｍは、前記ランドマークの測定されたｘ座標位置 ｙｐは、前記ランドマークの予測されたｙ座標位置 ｙｍは、前記ランドマークの測定されたｙ座標位置 ８． 請求の範囲第７項に記載の方法は、 h) 前記参照配列における前記ランドマークの位置を前記現在画像における前 記ランドマークの位置により最新のものにするステップをさらに含み、前記最新 のものにすることは、良く一致されるランドマークに 基づき、また、前記ランドマーク重み関数により実行されることを特徴とする方 法。 ９．請求の範囲第８項に記載の方法は、 i) 以前の放送に含まれる (i) 前記参照ランドマーク座標と等しいランドマーク座標を持つコード参 照配列と、 (ii) 前記コード参照配列座標と等しく初期設定されたランドマーク座標を 持つゲーム参照配列と、 (iii) 前記コード参照配列座標と等しく初期設定されたランドマーク座標 を持つ追跡参照配列と、 の３種類の参照配列を確立するステップからなることを特徴とする方法。 １０．請求の範囲第９項に方法は、 j) 前記追跡参照配列の座標を放送中に変化させるステップと、 k) シーンが切れた後に追跡参照配列の座標を前記ゲーム参照配列の座標にリ セットするステップとから構成されることを特徴とする方法。 １１． 前記ビデオシステムがオペレータによって制御される請求の範囲第１０ 項に記載の方法は、 l) 前記現在追跡参照配列の座標を前記ゲーム参照配列の座標に等しくセット したり、前記ゲーム参照配列の座標をコード参照配列の座標に戻してセットした りすることを選択的に選択するステップから構成され、 前記オペレータは、ゲームまたは追跡の参照配列の座標を最新のものにするか 無効にできることを特徴とする方法。 １２． 請求の範囲第１１項に記載の方法は、 m) それぞれの前記ランドマーク位置の周りのパターンにおける色と照度の変 化を検出できる前記センサ位置のセンサ位置のセットを確立す るステップと、 n) 前記センサ位置が予想された色または照度から色または照度において異な るかを決定するステップと、 o) 前記色または照度が予想されたものから大きく異なる場合に、前記ランド マークを将来の計算から除外するステップとから構成され、 前記ランドマークは、前記センサ位置における前記色または照度が予想された 色または照度から大きく異なる場合に、遮られることを特徴とする方法。 １３． 前記相関テンプレートは、１５×１５画素のウインドウであることを特 徴とする請求の範囲第１２項に記載の方法。 １４． 前記マッピングは、以下の関係によって達成されることを特徴とする請 求の範囲第１項に記載の方法。 ここで、ｘは参照配列における水平座標 ｙは、参照配列における垂直座標 ｘ’は、現在シーンにおける水平座標 ｙ’は、現在シーンにおける垂直座標 ｂは、現在配列と現在画像との間をｘ方向に拡大するためのワ ープパラメータ ａは、目的物をｘ方向に水平に移行するためのワープパラメー タ ｄは、目的物をｙ方向に垂直に移行するためのワープパラメー タ １５． 請求の範囲第４項に記載の方法は、 p) サーチの開始位置が前記ランドマークの予測位置の実質的に中心に置かれ 、テンプレートを使用した相関の手段によって前記現在画像における前記ランド マークの１つをサーチするステップと、 q) 前記予測された位置から開始し調和を探して外に向かって進む前記サーチ を実行するステップと、 r) 前記調和がスレッショルド値を越えた時に前記ランドマークのサーチを停 止するステップとから構成されることを特徴とする方法。 １６． 前記重み関数は、以下の関係を意味することを特徴とする請求の範囲第 ６項に記載の方法。 ここで、ｘｐは、前記ランドマークの予測されたｘ座標位置 ｘｍは、前記ランドマークの測定されたｘ座標位置 ｙｐは、前記ランドマークの予測されたｙ座標位置 ｙｍは、前記ランドマークの測定されたｙ座標位置 １７． 第１のビデオストリームソースカメラの方位と設置を表すカメラセンサ データを安定にし改善するために、前記明らかな共通の原点を第１のビデオスト リームのパターン認識解析を用いることによって得られるようにし、カメラの方 位と設置が変化することによって第１のビデオストリームが調整されたとしても 、ビデオフィールドからビデオフィールドまで共通の原点を持つ結合されたビデ オストリームが現れるように第１のビデオストリームを第２のビデオストリーム の端に入れる方法であって、 s) 少なくとも１台のカメラに用意されたカメラの方位と設置を測定するハー ドウエアセンサからカメラセンサデータを取得するステップと、 t) カメラセンサデータを伝送するための適切なフォーマットに変換するステ ップと、 u) 変換されたカメラセンサデータを生ビデオ挿入システムに伝送するステッ プと、 v) カメラセンサデータをアファインフオームに変換するステップと、 w) 所定のビデオのフィールドにおけるランドマークが前記カメラセンサデー タを基礎とするビデオの現在フィールドにあるということを予測するステップと 、 x) カメラセンサデータによって予測されたランドマーク位置について中央に 位置されるランドマーク位置を検出するための相関を実行するステップと、 y) 全ての位置されたランドマークに対して適用する重み最小二乗法を用いて 重み付けされた最小ビデオの現在フィールドに関係するビデオの参照フィールド のモデルを生成するステップとから構成されることを特徴とする方法。 １８． 前記少なくとも１台のカメラの方位と設置は、フォーカス、ズーム、パ ン、チルトからなることを特徴とする請求の範囲第１７項に記載の方法。 １９． 伝送するための適切なフォーマットは、取得されたカメラセンサデータ をアナログベースからデジタルベースに変換することによって得られた数字列で あることを特徴とする請求の範囲第１７項に記載の方法。 ２０． 第１のビデオストリームソースカメラの方位と設置を表すカメラセンサ データを安定にし改善するために、前記明らかな共通の原点を 第１のビデオストリームのパターン認識解析を用いることによって得られるよう にし、カメラの方位と設置が変化することによって第１のビデオストリームが調 整されたとしても、ビデオフィールドからビデオフィールドまで共通の原点を持 つ結合されたビデオストリームが現れるように第１のビデオストリームを第２の ビデオストリームの端に入れる方法であって、 z) 少なくとも１台のカメラに用意されたカメラの方位と設置を測定するセン サからカメラセンサデータを取得するステップと、 aa) カメラセンサデータを伝送するための適切なフォーマットに変換するス テップと、 bb) 変換されたカメラセンサデータを生ビデオ挿入システムに伝送するステ ップと、 cc) カメラセンサデータをアファインフォームに変換するステップと、 dd) カメラセンサデータによって予測されたランドマーク位置について中央 に位置されるランドマーク位置を検出するための相関を実行するステップと、 ee) 前記カメラセンサデータを用いカメラセンサデータの誤りに対して適切 に重みづけされた仮想ランドマークを生成するステップと、 ff) 全ての位置された仮想ランドマークに対して適用する重み最小二乗法を 用いて重み付けされた最小ビデオの現在フィールドに関係するビデオの参照フィ ールドのモデルを生成するステップとから構成されることを特徴とする方法。 ２１． 前記少なくとも１台のカメラの方位と設置は、フォーカス、ズーム、パ ン、チルトからなることを特徴とする請求の範囲第２０項に記載の方法。 ２２． 伝送するための適切なフォーマットは、取得されたカメラセンサデータ をアナログベースからデジタルベースに変換することによって得られた数字列で あることを特徴とする請求の範囲第２０項に記載の方法。