JP2004515832A - 画像系列の時空的正規化マッチング装置及び方法 - Google Patents

Abstract

それぞれ多様な画像を含む画像の複数系列を受け取る工程と、複数系列の一つに対応する空間時間容積中の少なくとも一点で該複数系列の少なくとも他の一つに対応する空間時間容積中の少なくとも一点に関する出力表示を与える工程から構成される画像の時間的に順序付けられた系列の時間と空間の少なくとも一方における正規化マッチング方法。

Description

【０００１】
発明の技術分野
本発明は系列間正規化マッチング装置及び方法に関する。
【０００２】
発明の背景
系列間正規化方法の現状及び他の関連技術は：

明細書中に挙げたすべての刊行物及びそれら刊行物において引用された刊行物による開示は本願中に引用されている。
【０００３】
発明の要約
本発明は画像系列間にパラメトリックな時空的正規化マッチングを与える装置及び方法を提供するものである。
【０００４】
本願発明の好ましい実施態様では、多数の画像系列の受け取りを含めて時間的に順序づけられた画像系列を少なくとも時間と空間の一方において正規化マッチングする方法が提供されている。各系列には多様な画像が含まれ、複数の系列の各々は空間時間容積を限定し及び複数系列の一つに対応する空間時間容積中の少なくとも一点に関する出力表示を前記複数系列の少なくとも他の一つに対応する空間時間容積中の少なくとも一点へと与える。
【０００５】
さらに本発明の好ましい実施態様においては、出力表示の供与には前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程が含まれ、前記少なくとも１つの広域正規化マッチングは前記第一空間時間容積中の複数の位置で起こる時空的変化を前記第二空間時間容積中の複数の位置で起こる時空的変化へ一致させる。
【０００６】
さらに本発明の好ましい実施態様において、出力表示の供与には前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程が含まれ、前記少なくとも１つの広域的正規化マッチングは前記第一空間時間容積中の複数の位置で起こる時空的変化を前記第二空間時間容積中の複数の位置で起こる時空的変化へ相関させる。
【０００７】
さらに本発明の好ましい実施態様において、出力表示の供与には前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程が含まれ、前記少なくとも１つの広域正規化マッチングは前記第一空間時間容積中の複数の位置で起こる少なくとも時間変化を前記第二空間時間容積中の複数の位置で起こる少なくとも時間変化へ一致させる。
【０００８】
さらに本発明の好ましい実施態様において、出力表示の供与には前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程が含まれ、前記少なくとも１つの広域正規化マッチングは前記第一空間時間容積中の複数の位置で起こる少なくとも時間変化を前記第二空間時間容積中の複数の位置で起こる少なくとも時間変化へ相関させる。
【０００９】
さらに本発明の好ましい実施態様においては、前記時間及び空間の少なくとも一方において少なくとも１つの広域正規化マッチングを見つける工程には時間における少なくとも１つの広域正規化マッチングを見つける工程が含まれる。
【００１０】
さらに本発明の好ましい実施態様においては、前記時間及び空間の少なくとも一方において少なくとも１の広域的配列を見つける工程には空間における少なくとも１の広域的配列を見つける工程が含まれる。
【００１１】
さらに本発明の他の好ましい実施態様においては、時間的に順序づけられた画像系列を時間と空間の少なくとも一方において正規化マッチングするシステムが提供されていて、該システムには各系列が多様な画像を含み空間時間容積を限定している複数の画像系列を受け取る空間時間容積発生装置と、前記複数系列の一つに対応する空間時間容積中の少なくとも一点に関する出力表示を前記複数系列の少なくとも他の一つに対応する空間時間容積中の少なくとも一点へと与えるアライナーが備えられている。
【００１２】
さらに本発明の他の好ましい実施態様においては、前記アライナーには、前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける一致ベースの広域正規化マッチング探知装置が備えられ、該探知装置においては少なくとも１つの広域正規化マッチングが前記第一空間時間容積中の複数の位置で起こる時空的変化を前記第二空間時間容積中の複数の位置で起こる時空的変化へ一致させている。
【００１３】
さらに本発明の他の好ましい実施態様においては、前記アライナーには、前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける相関ベースの広域正規化マッチング探知装置が備えられ、前記探知装置においては少なくとも１つの広域正規化マッチングが前記空間時間容積中の複数の位置で起こる時空的変化を前記第二空間時間容積中の複数の位置で起こる時空的変化と相関させている。
【００１４】
さらに本発明の他の好ましい実施態様においては、前記アライナーには、前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける一致ベースの広域正規化マッチング探知装置が備えられ、前記探知装置においては少なくとも１つの広域正規化マッチングが前記空間時間容積中の複数の位置で起こる少なくとも時間的変化を前記第二空間時間容積中の複数の位置で起こる時空的変化へ一致させている。
【００１５】
さらに本発明の他の好ましい実施態様においては、前記アライナーには、前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける相関ベースの広域正規化マッチング探知装置が備えられ、前記探知装置においては少なくとも１つの広域正規化マッチングが前記空間時間容積中の複数の位置で起こる少なくとも時間的変化を前記第二空間時間容積中の複数の位置で起こる時空的変化と相関させている。
【００１６】
以下のパラグラフにおいて四角の括弧中の数字は、発明の背景の欄において列挙された刊行物を参照するものである。
【００１７】
本発明では同一動的シーンの二つの異なるビデオ／画像系列間の時間と空間における一致を確立する方法が構成されている。本方法は有効な時空情報を用いて二つの系列間の空間的配列と時間的配列を同時に予測する。画像フレーム（動的対象あるいは場面照明の変化等）間の時間的変化は標準的な画像間正規化マッチング技術では活用できない正規化マッチングにとって有力な合図である。空間的及び時間的合図を単一の正規化マッチングへと包み込むことによって、従来の画像間正規化マッチング方法にとっての生得的曖昧状態は系列間正規化マッチングによってしばしば唯一無二的に解消される。画像間正規化マッチングに関わる問題点は、２以上の画像（単一の移動カメラで撮影されたものと複数カメラで撮影されたもののいずれか）間で１画像中の各画素（ｘ，ｙ）についての局部一致を緻密に評価し、他の画像中の対応画素（ｘ’，ｙ’）＝（ｘ＋ｕ，ｙ＋ｖ）（ここで（ｕ，ｖ）は空間的ずれを示す）見つける際の問題点に言及している文献「画像間正規化マッチング」において詳しく研究されている。本発明は、別の問題点である（複数画像に対向する）複数系列間での時間と空間双方における一致を確立する「系列間正規化マッチング」の課題を扱うものである。すなわち、１の系列中の各フレーム（時間）ｔ中の各画素について、それに対応するフレームｔ’及び他の系列（ｘ’，ｙ’，ｔ’）＝（ｘ＋ｕ， ｙ＋ｖ， ｔ＋ｗ）（ここで（ｕ，ｖ，ｗ）は時空的ずれである）中の画素（ｘ’，ｙ’）を見つける。多くの実世界のシナリオにおいては、複数のビデオカメラが一定時間にわたって同一場面についての情報を記録する。その例としては数組の報道クルーによって共同的に報道されるニュース記事、異なる視点から少なくとも１０数台のカメラで同一場面を記録するスポーツ競技が挙げられる。複数系列に及ぶ情報の正規化マッチングは、動的場面分析、広範囲な監視、マルチセンサ共同作動、共通場面に基づく表示の組み立て（すなわち多系列モザイク）、多系列圧縮、多センサ融合、系列強調等を含む広範多様な動的場面への適用には有益である。
【００１８】
従来の画像間正規化マッチング方法は個々の画像に含まれた情報、すなわち（シーンの外観に対応する）画像内の空間的変化に本来的に制限される。しかし、画像内に十分な空間的情報がない場合であっても確かな画像正規化マッチングができる場合がある。しかしながら、ビデオ系列には個々のフレームが持っている情報よりずっと多くの情報が含まれている。特に、シーン動学（移動対象物、照明変化等）についての情報はそのシーンに生得的な所有物であり、従って異なる画像形成装置から取り出されたすべての系列に共通のものである。かかる情報は正規化マッチングにとって付加的に有力な合図となる。
【００１９】
画像間正規化マッチングを系列間正規化マッチング技術へ拡大することは有益である。系列間正規化マッチングの問題点を扱う勾配ベースの方法が記載されている。この方法は直接画像正規化マッチング方法を一般化したものである。この例では系列が一定の（但し未知である）内部及び外部パラメーターをもつ静止型のビデオカメラで撮影されている。本願に係る方法は局部一致の事前予測、フレーム一致、移動対象物検出あるいは照明変化の検出を必要とせずに空間的及び時間的な正規化マッチングパラメーターを同時に予測するものである。
【００２０】
実施例の形で扱われているシナリオは、ビデオカメラが静止している場合、一定の（但し未知の）内部及び外部パラメーターを伴っている。記録されたシーンは動的に変化できる。すなわち、該シーンには移動対象、時間的な照明変化、及び／または他の時間的変化を含めることができる。時間的な誤正規化マッチングは、二つの入力された系列を異なるフレーム速度（例えばＰＡＬ及びＮＴＳＣ）にできること、あるいは該二系列間に時間的ずれ（オフセット）があってもよい（例えば複数のカメラが同時に作動していない場合）ことに起因するものである。この時間的ずれはサブフレーム単位で起こり得る。この種の時間的誤正規化マッチングは時間の１−Ｄアフィン変換によってモデル化できる。空間的誤正規化マッチングは二つのカメラが異なる位置にあり、かつ異なる内部校正パラメーターをもつことに起因する。これらパラメーターは２Ｄパラメトリック変換からより一般的な３Ｄ変換までの範囲をとることができる。
【００２１】
画像系列は二次元画像｛ｘ，ｙ｝^Ｎ _ｔ−１の一組としてではなく三次元データ（ｘ，ｙ，ｔ）の容積として取り扱われる。しかしながら、標準の３Ｄ容積測定正規化マッチングと異なって、空間（ｘ，ｙ）及び時間（ｔ）成分は異なる動きをとる。典型例として、これら成分は別個に扱われ、相互に混ぜ合わせることはできない。
【００２２】
系列間正規化マッチングに対する画像間正規化マッチング
系列間正規化マッチングは同様に他の正規化マッチング方法へも適用できる。それゆえ、ここでの議論目的は系列間正規化マッチングのパラダイムであって単にここに記載した特定方法ではない。系列間正規化マッチングは画像間正規化マッチングを一般化したものである。この一般化について二つ共通の正規化マッチング取り組み方法、すなわち（ｉ）直接的方法及び（ｉｉ）特徴ベースの方法との関連において検討する。さらに、空間情報のみあるいは時間情報のみを用いることに起因する正規化マッチングにおける曖昧性を系列間正規化マッチングパラダイムによって解消できることについて示す。かかる曖昧性の解消は直接的及び特徴ベースの両系列間正規化マッチングについて示されている。
【００２３】
直接的系列間正規化マッチング
前記直接法においては、シーンに時間的変化がないならば、系列内の時間的導関数はゼロＳ_ｔ≡０である。従って、いずれかの空間・時間点（ｘ，ｙ，ｔ）に関して、下記式（１）の誤差限界点は減少する。

式中、Ｉ（ｘ，ｙ）＝Ｓ（ｘ，ｙ，ｔ）は時間ｔにおける画像フレームである。従って、下記式（Ｉ）のＳＳＤ関数はすべてのフレームについて平均化された画像間正規化マッチング目的関数まで減少する。
【００２４】
シーンが時間的変化を含んでいる場合、系列間正規化マッチングは、画像間正規化マッチングがアクセスしている情報より多くの空間的正規化マッチングに関する情報を用いる。特に、系列間正規化マッチングのみが解消できる曖昧なシナリオが画像間正規化マッチングについて存在する。図７Ａ−７Ｅは画像間正規化マッチングに関して曖昧である場合を示している。動くボールを伴う均質な背景シーンについて考慮する（図７Ａ及び７Ｂ）。いずれか所定のフレームにおいて、すべての空間的傾斜は非常に小さな画像領域中（動くボール）へ集中している。このような場合、画像間正規化マッチングは正しい空間転移を唯一無二的に測定できない（図７Ｃ）。他方、前記空間転移は典型例として二つの系列にわたるすべての対応フレームを正規化マッチングさせるため、すなわち二つの軌跡が典型例として正規化マッチング状態にあるため、系列間正規化マッチングにはこの場合空間的曖昧性の欠点がない。さらに、（ｉ）系列間正規化マッチングは（サブフレーム精度で）時間的誤正規化マッチングを回復し、及び（ｉｉ）画像間正規化マッチングは二つの系列間のフレームのみにアクセスできより正確な空間的正規化マッチングを得るので、系列間正規化マッチングは空間的転移について解釈する点では画像のすべての組からのすべての空間的制限を用いるよりもより有功である。しかしながら、前記二つの系列間のサブフレームの時間的誤正規化マッチングのため正確に時間において対応するフレームは存在しない。
【００２５】
特徴ベースの系列間正規化マッチング
系列間パラダイムは直接法のみに限定されず、特徴ベースの方法を用いる場合にも同様に役立つ。特徴ベースの方法はまず近距離オペレーターによる画像上の特異点の検出に応用される（例えばＨａｒｒｉｓコーナ検出器）［１１］。二組の特異点が一旦抽出されたら、ＲＡＮＳＡＣ［６］等のロバスト推定法［７］を用いて対応点を見つけ及び正規化マッチングパラメーターを抽出する（［２５］のレビューを参照）。
【００２６】
画像の代わりに系列を扱うために、特徴の引き出しを特徴の点から特徴の軌跡へと拡大する。つまり各系列内の各フレーム上の位置を示す点の軌跡である。従って第二段階では（特徴ｘ，ｙが系列に沿って調和する）点の軌跡間の一致を見つけることが行われる。尚、系列間正規化マッチングにおいては、これら軌跡は必ずしも移動対象物にのみ属するとは限らず静止対象物に属する顕著な特徴が含まれてもよい。これによりいかなる意味でも確実で一定した軌跡が得られる。
【００２７】
特徴ベースの系列間正規化マッチングは特徴ベースの画像間正規化マッチングを一般化したものである。移動対象物のないシーンを想定したならば、すべての軌跡は静止対象物の軌跡となるので後者は前者と同一となる。
【００２８】
他方移動対象物の特徴だけを選ぶことの欠点は正規化マッチングに曖昧性が起こり得ることである。この点については図８Ａ−８Ｄにおいて説明されている。前記移動対象物情報（例えば飛行機の軌跡）のみが考慮される場合、何らかの時間的変動について二つの系列間には一貫した空間転移が存在し、図８Ｃ及び８Ｄの二つの軌跡を正規化マッチングする。すなわち、このシナリオにおいては、移動対象物正規化マッチング（軌跡間正規化マッチング）は多数の有効な時空転移を無限に見つけることになる。系列間正規化マッチングは静的及び動的情報の双方を用いなければならず、空間及び時間情報双方を同時に前記二系列にわたって正規化マッチングするのでこの場合における曖昧性を唯一無二的に解消する。
【００２９】
画像間正規化マッチングの特徴ベースの方法に対する直接方法の賛否はここでも適用され、特徴ベースの取扱方法を二系列にわたる基本的マトリックス抽出へ容易に拡大することができる。
【００３０】
特徴ベースの系列間正規化マッチングに対する上記取扱方法は移動対象物による動的変化の活用にのみ用いられる。しかしながら、照明の変化等の他の時間的変化あるいは特徴そのものに影響する変化（高度に軟式である動作）はこの特徴ベースの系列間正規化マッチングによっては捕らえられない。他方直接法による系列間正規化マッチングは時間的導関数を介して特徴によるこれら変化の明確なモデル化なしにいかなる種類の動的変化をも捕らえる。従って、この配列では極めて複雑な変遷を扱うことが可能である。特に、時間的正規化マッチングの測定には光源を暗くしたりあるいは明るくすることで十分なことが多い。さらに、画像領域が均質であってもこの場合における時間的制限に寄与する。このことは、照明における広域変化が顕著な時間的導関数を生ずるので、たとえこれら領域の空間導関数がゼロであっても事実である。
【００３１】
尚、一般的には照明の変化は広域的である必要はない。例えば、一部曇りの日における戸外シーンあるいはスポットライトを当てた室内シーンを照明の局所変化として感光させることが可能である。かかる局所変化は空間的正規化マッチングパラメーターにおける付加的制約となる。
【００３２】
系列間正規化マッチングのパラダイムは特定方法を超えて拡大する。該パラダイムは系列にわたる特徴ベースのマッチングあるいは他の形式のマッチング測定にも同様に適用できる。
【００３３】
発明の詳細な説明
図１は、異なる方位の非同調カメラから捉えられ、それゆえに各画像はボールの軌跡に異った知覚を起こし、また最終的に、時間的解像度の向上した組合せ系列中の知覚されたボールの奇跡が競技の種々の画像系列を空間的時間的に正規化マッチングし及び組合せることによって本発明の好ましい実施態様に従って生成されている、前記競技の数個の画像系列の簡略ブロック図である。
【００３４】
図２Ａは図１のボール投げ競技を図１のカメラのうち第一カメラから撮った第一入力映画の簡略説明図である。図２Ｂは図２Ａの第一入力映画においてボールが知覚される軌跡の簡略説明図である。
【００３５】
図３Ａは図１のボール投げ競技を図１のカメラのうち第二カメラから撮った第二入力映画の簡略説明図である。図３Ｂは図３Ａの第二入力映画においてボールが知覚される軌跡の簡略説明図である。
【００３６】
図４Ａは図１のボール投げ競技を図１のカメラのうち第三カメラから撮った第三入力映画の簡略説明図である。図４Ｂは図４Ａの第三入力映画においてボールが知覚される軌跡の簡略説明図である。
【００３７】
図５は、一緒に取り出され、改善された時間的解像度をもつフレームの組合せ系列を形成する正規化マッチングされたフレームの簡略説明図である。符号２００、２１０及び２２０は仮想でありそれぞれ図１に示した３台のカメラのいずれによっても捉えられなかったボール部分４、９及び１０に対応する。
【００３８】
図６は本発明の好ましい実施態様に係る画像系列を副サンプリングし正規化マッチングする好ましい方法を示す図であり、図中Ｓ’_０は元の画像系列であり、Ｓ’_１はここで述べたＳ’_０によって副サンプリングされ、Ｓ’_２は同様にＳ’_１から副サンプリングされ、以下同様である。
【００３９】
図６は好ましい階層性の時空的正規化マッチング構成を説明している。各入力しについて容積測定ピラミッドが構成され、一つ（右側）は基準系列用であり、一つは（左側）は第二系列用である。時空的正規化マッチング推定量が各レベルにおいて反復適用される。該推定量は基準容積と（斜め立方体で描かれた）第二容積のワーピング版間の残差誤正規化マッチングに基づく概算を精密化する。最新レベルの出力は次レベルへと伝搬されて最初の推定値として用いられる。
【００４０】
図７Ａ−７Ｅは画像間正規化マッチングにおける空間的曖昧性を説明する図であり、図７Ａ−７Ｂは前記二系列からの二つの対応するフレームを示す図である。前記二つのフレーム間には厖大な数の有効な画像間正規化マッチングがあり、それらのいくつかが図７Ｃに示されている。図７Ｄ−７Ｅは動くボールの二つの連続を示している。それらのうちの一方のみがボールの二つの軌跡を正規化マッチングしている。
【００４１】
図８Ａ−８Ｄは時間情報のみを用いる場合の正規化マッチングにおける時空的曖昧性を説明する図である。小型飛行機が２台のカメラで見ているシーンを横切る様子を示している。この飛行機の軌跡は正規化マッチングパラメーターを唯一無二的に測定するには十分ではない。任意の時間的ずれは飛行機の移動方向に沿った適当な空間移動によって補正できる。他方系列間正規化マッチングは、該マッチングがシーン変化（異なる位置の飛行機）及びシーン概観（静的地面）の双方を用いるのでこの曖昧性を唯一無二的に取り除くことができる。尚、この場合においても空間情報だけでは十分でない。
【００４２】
本発明の好ましい実施態様が特に目的とするのは、好ましくは組合せに際して互いに補足しあうように画質を相違させた複数の画像形成処理によって生じた情報を適当に組み合わせることによって個々の画像形成処理の制限を克服することによって個々の画像形成処理の制限による影響を減じることである。
【００４３】
前記画像形成処理が適当に組み合されるならば画像形成処理の相互補足を可能とする画像形成処理間の相違には、以下に限定されないが、時間のずれ、時間及び空間解像度、空間位置及び定位角度、ズーム及び口径寸法、焦点レンズ、露出時間及びスペクトル反応等の画像捕獲装置の物理的特性のいずれかまたは組合せが含まれる。
【００４４】
例えば、図１に示すように、典型例として、同一シーン１８０を画像形成する異なる画像捕獲装置によって捕獲された該図示された実施態様における３つの系列５０、９０及び１２０のような複数の画像系列が受け取られる。前記図示した実施態様において、前記画像捕獲装置は符号２０、３０及び４０でもそれぞれ参照されているカメラＩ、ＩＩ及びＩＩＩである。各系列は図示したように、順番付けられた多様な画像を含むものである。例えば、カメラ２０によって画像形成された系列は説明の便宜上３画像６０、７０及び８０を含むものとして示している。
【００４５】
ここに示され説明されている本発明の好ましい実施態様の著しい利点は、図１に示すように、それぞれ制限のある画像形成処理がそれら制限のため実際に人を誤らせるほど不完全に競技を表示できることである。例えば、図１に示すように、３つの画像形成装置２０、３０及び４０それぞれによって用いられた不十分な時間のサンプリングによって前記装置のいずれもが実際のシーン１８０中でボールに実際に追いかけられるＳ字形軌跡を正確に表示できない。図２Ａ−２Ｂに示した第一カメラ２０はボールがほぼ直線に沿って落ちる位置１、６及び１１でのみボールを画像形成するので該カメラ２０は直線状の軌跡を知覚する。図３Ａ−３Ｂに示した第二カメラ３０はボールがほぼバナナ状曲線に沿って落ちる位置２、５及び８でのみボールを画像形成するので該カメラ３０はバナナ状の軌跡を知覚する。図４Ａ−４Ｂに示した第三カメラ４０はボールがほぼ逆バナナ状曲線に沿って落ちる位置３、７及び１１でのみボールを画像形成するので該カメラ４０は逆バナナ状の軌跡を知覚する。
【００４６】
図１の実施態様は本発明を適用できる唯一の例であると認識される。より一般化して言えば、極めて広範にわたる画像形成処理制限の影響を本願において説明されている画像系列組合せ方法によって減じることができる。図１は時間的解像度の特定な制限の補正に適するが、この制限は例示によってのみ図１中に図解されている。
【００４７】
複数のそれぞれ異なる制限をもつ画像形成処理によって生じた適当に組合わされた情報によって個々の画像形成処理の制限を克服するため、種々個別の画像形成処理によって生じた画像系列は典型例として図５に示すように空間及び時間的に正規化マッチングされる。一般的には画像系列は空間的かあるいは時間的の一方でのみ誤って正規化マッチングされることがあるが、図１の３つの画像系列は空間的にも時間的にも誤って正規化マッチングされている。
【００４８】
図５には、図１のカメラＩから始まるタイプＩのフレーム、カメラＩＩから始まるタイプＩＩのフレーム及びカメラＩＩＩから始まるタイプＩＩＩのフレームの３つの異なるフレームの方位によって明示されたように空間的に正規化マッチングされた系列が図示されている。図示したように、タイプＩのフレームはそれらの上部右角が上方へ旋回して斜めになっており、タイプＩＩＩのフレームはそれらの上部左角が下方へ旋回して斜めになっており、またタイプＩＩのフレームはタイプＩとタイプＩＩＩのフレーム間の中間で斜めになっている。図１に図示された特定の誤った空間的正規化マッチングは単なる例示であってこれに限定される意図ではない。図５に図示した正規化マッチングを遂行するためのコンピュータによる方法がここでは詳しく説明されている。
【００４９】
図５では、フレームの連結系列内のフレームの順序づけによって及びフレーム内に散在され前記連結系列中で正しい間隔が維持されていることを示す３つの仮想上の時間スペーサー２００、２１０及び２２０によって分かるように、系列が時間的に正規化マッチングされることが図示されている。図１では、ボールの位置１−１１はカメラＩ、ＩＩ、ＩＩＩ、なし、ＩＩ、Ｉ、ＩＩＩ、ＩＩ、なし、なし、ＩＩＩによってそれぞれ画像形成される。従って、これらのボール位置に対応するフレームは正に上記した順序で前記連結系列内に現れる。図５において仮想上の時間空間２００、２１０及び２２０によって描かれている前記連結系列中のフレーム間の一様でない間隔は、それら時間位置でのボール位置、すなわち図１のいずれの画像形成処理によっても捕らえられないボール位置４、９及び１０が抜けているために生じている。
【００５０】
図１−５の時間の次元に沿って等しく間隔を空けたボール位置１−１１は、成分画像形成処理の時間解像度及びいかにそれらが失われるかを図解するために単に説明しやすくするために図示したものである。この説明目的のため、他のものではなく、これらのボール位置を選択することは重要ではない。
【００５１】
系列間正規化マッチングは情報の結合に連関する他の用途にも用いられる。例えば、数台のカメラを用いて異なる角度から同時にスポーツ競技の画像形成を行うことができる。ゴール等の事象は系列間正規化マッチングによれば手動で記録できなければ系列の中から見つけることができるし、また他のすべての系列から探し出せる。
【００５２】
正規化マッチングはまた複数の系列内の特定事象あるいは対象物の認識に連関する用途にも有用である。例えば、商業広告用途において、正規化マッチングは動くロゴ等の対象の確認への利用が望ましい。ここで示され記載された類似性基準は上記確認作業を容易にするために用いることができる。
【００５３】
本発明の好ましい実施態様によれば、各画像系列は単なる二次元（ｘ，ｙ）フレームの集合としてよりも競技全体に対応するデータ（ｘ，ｙ，ｚ）の三次元容積の表示あるいはサンプルとして扱われる。前記出力データ（ｘ，ｙ，ｔ）の三次元容積は、いくつかの画像処理を結びつけ、また一般的には分離操作におけるいずれかの画像処理よりもよい、空間及び時間において競技全体を表示することによって生成される。かかる表示はここでは競技の「空間時間容積」あるいは「時空容積」と呼ばれる。各画像系列は競技の全体を表示する実際の空間時間容積の不完全かつ時には不正確な表示である空間時間容積（画像系列に対応する空間時間容積）に対応するものである。より一般的には、１またはそれ以上のｎ次元画像形成処理によって画像形成された競技を表示する空間時間容積の次元はｎ＋１である。単純な例を挙げれば、ある事象において、ディスク表面に対して直交する直線に沿った空間中を移動する円形ディスクはその事象を表示する三次元（ｘ，ｙ，ｔ）空間時間容積中にシリンダーを生成する。他の例では、ある事象において、空間中を移動する線がその事象を表示する三次元（ｘ，ｙ，ｔ）空間容積中に平面を生成する。
【００５４】
ここで示され説明されている正規化マッチング処理では図５に例示した競技を捕らえるいくつかの画像処理のそれぞれに対応する時空容積を空間的及び／または時間的に正規化マッチングすることが好ましい。ここで示され記載された前記正規化マッチング処理の出力は第一系列に対応する第一空間時間容積中の少なくとも１点（より典型的にはその第一空間時間容積中の複数フレームそれぞれの内部の各画素あるいはすべての画素に対応する多様な点）を第二系列に対応する少なくとも第二空間時間容積中の対応する数の点へ関係付ける出力表示である。前記系列それぞれについて前記出力を与えること、すなわち各系列が前記第一系列として順に機能することを含め、種々画像系列の空間時間容積間での稠密な一致を生ずることが好ましい。画像処理間での副画素・副フレーム速度解像度正規化マッチングが得られることが好ましい。
【００５５】
本発明の好ましい実施態様によれば、実質的に同一競技を捕らえる画像処理間での空間時間的な誤った正規化マッチングは前記画像処理自体の出力、例えば後に詳しく述べる種々の画像処理によって捕らえられたフレームに起因する。それゆえ、画像処理間の空間的な誤った正規化マッチングあるいは時間的な誤った正規化マッチングを特定する外部出力を受け取ることは一般的には必要ではなく、従って画像捕獲装置について空間次元において個々あるいは相互に対応させる必要はなく、また時間次元と同調させる必要もない。複数の画像処理間の誤った正規化マッチングを引き出すために、正規化マッチングされる複数画像処理のうちの少なくとも一組に対応する空間時間容積の代表的部分間の時間及び／または空間における広域正規化マッチングが、空間時間容積の少なくとも一方の内部に起こる空間時間変化あるいは少なくとも時間変化を少なくとも１つの他の空間時間容積内に起こる空間時間変化あるいは少なくとも時間変化と一致させる本願記載の処理を一致させるかあるいは少なくとも相関させることによって見つけ出される。
【００５６】
ここで正規化マッチング輝度エラーについて図６の方法中のコア・インナーループ工程を参照して説明する。

【００５９】
（ｕ，ｖ，ｗ）は直接画像間正規化マッチングにおいて提案された２Ｄ及び３Ｄ変換の階層に類似する方法でより一般的な３Ｄ変換によって同様に表現することができる。
【００６０】
従来技術においては、空間的正規化マッチングパラメーターは画像輝度変化から直接回復され、粗性微細性の推定はガウス像ピラミッドを用いて行った。この操作は系列輝度変化から直接空間及び時間的正規化マッチングパラメーターを回復するために一般化され、前記粗性微細性の推定は容積測定系列ピラミッド内において行われる。マルチスケール分析は図６に図示したように空間と時間の双方において行われる。
【００６１】

は系列Ｓの時空勾配を表す。式（３）は未知のずれ（ｕ，ｖ，ｗ）を系列内の測定可能な輝度変化と直接関連づける。大きな時空的ずれ（ｕ，ｖ，ｗ）の余裕をみて、式（１）及び（３）の最小化はここで述べる反復ワープが粗いものから細かいものに及ぶフレームワーク内で行われる。
【００６２】

【００６３】
尚、カメラは静止しているのでＨはすべてのフレームについて共通である。２台のカメラが（ＮＴＳＣ及びＰＡＬ等の）異なるフレーム比及びおそらくは時間のずれをもつ場合、１−Ｄアフィン変換は二つの系列間へ時間的な誤った正規化マッチング： ｗ（ｔ）＝ｄ_１ｔ＋ｄ_２（式中ｄ_１及びｄ_２は実数である）を十分設計させ得る。２つの異なる時空パラメトリック正規化マッチングモデルが記載されているが、これらに限定する意図ではない。
【００６４】

【００６５】

【００６６】

【００６７】
上記条件においてＰはパラメトリック変換であると仮定する。しかしながら、提示された構成はより一般的であり、パラメトリック変換のみに限定されない。（ｕ，ｖ，ｗ）は３Ｄパラメーター（エピポール、フォモグラフィー及び形状［１３，１８，１４，１０］）の条件で同様に表現できる。［１］は可能な空間的正規化マッチングモデルの階層を示唆している。
【００６８】
時空容積測定ピラミッド（任意的）
上記推定工程は反復ワープの粗性微細性推定構成中に嵌め込まれている。この工程は時空容積測定ピラミッド内において実施されることが好ましい。マルチスケール分析は３つの利点、（ｉ）大きな誤った正規化マッチングが扱える、（ｉｉ）収束速度が速い、及び（ｉｉｉ）局部最小元中に捕われることから回避させる、を与える。これら３つの利点は［１］において空間的正規化マッチングの場合について検討されている。ここでは同様にその時間領域へも拡大されている。
【００６９】
ガウス画像ピラミッド［３］はガウス系列（容積測定）ピラミッドへ一般化されるものである。あるいはラプラシアンピラミッドを用いることもできる。最大の解像度レベルが入力系列として定まる。低域濾過（ＬＰＦ）及びそれに続く３つすべての次元ｘ，ｙ，ｔ中の２の因数による副サンプリングによって空間及び時間における連続的な低解像度レベルが得られる。従って、例えば前記容積測定系列ピラミッドの一解像度レベルがサイズ２５６８ｘ２５６画素６４フレームの系列を含むならば、次の解像度レベルにはサイズ１２８ｘ１２８等の画素３２フレームの系列が含まれる［４］。最高レベルでの時空容積の最小サイズは射影変換に関しては１００ｘ１００画素ｘ１００フレーム以上、翻訳等の単純変換の場合は２０ｘ２０画素ｘ４フレーム以上であることが好ましい。
【００７０】
処理の要約

【００７１】

【００７２】
ここに示し記載した実施態様においては、説明を明瞭にするため、カメラの内部及び外部パラメーターは固定されていると仮定する。しかし必ずしもそうでなくともよい。例えば、カメラが回転したが移動しないならば、各カメラは下記刊行物［２７］に記載されたモザイクベース処理におけるように固定座標系へ独立して配列される。続いて固定パラメーターカメラに適する本願記載の前記方法を適用することができる。さらに、本願記載の方法はさらに各画像系列の少なくとも一部が単一座標系へ正規化マッチングできる用途にも用いることが可能である。
【００７３】
本願記載の特徴ベースの正規化マッチングはさらに基本行列の計算にも適している。
【００７４】
本願記載の方法は一般的に利用でき、２Ｄ変換のみならず３Ｄ変換にも適用できる。本発明が適用できる変換には、以下に限定されないが、先に参照したＢｅｒｇｅｎら［１］の引例に記載された変換階層、［５］に記載されたエピポール、ホモグラフィー及び形状パラメーター表示を含む３Ｄパラメーター条件で表現された変換、及び先に参照したＩｒａｎｉ ＆ Ａｎａｎｄａｎ（１９９６年）、Ｋｕｍａｎら（１９９４年）、Ｈａｒｐｒｅｅｔ Ｓｃａｗｈｎｅｙ（１９９４年）及びＳｚｅｌｉｓｋｉ ＆ Ｓｈｕｍ（１９９７年）の引例に記載されたプレーン＋パララックスパラメーター表示条件で表現された変換が含まれる。
【００７５】
ＳＳＤ目的関数を最小化することによって得られるここに示すエラー機能は単なる例示であり限定する意図ではない。上記に代えて、画像間正規化マッチングにおける使用が知られる［２８］に記載の正規化された相関性あるいは［２９］に記載の相互情報基準等及びこれらに限定されないその他の類似性基準を用いることもできる。
【００７６】
ガウスピラミッドの使用は必須ではないと認識される。これに代えて、例えばラパシアンピラミッドあるいは方向性導関数を用いることができる。
【００７７】
明瞭性のため異なる実施態様によって記載された本発明の種々の特徴を単一の実施態様において組み合わせて提供することもできる。逆に簡潔を期して、単一の実施態様において記載された本発明の種々特徴を個別にあるいは適当なサブコンビネーションの形態で提供することもできる。
【００７８】
本発明が特定的に示し記載された記載に限定されないことは当業者によって認識されるところである。本発明範囲は後述される特許請求の範囲によってのみ限定されると言うべきである。
【図面の簡単な説明】
本発明は下記に説明する図面を用いた詳細な説明から理解され正しく認識される。
【図１】異なる方位のカメラから捉えられ、それゆえに各画像はボールの軌跡の異なるかつ誤り導く知覚を生じ、また最終的に時間的に正確に組合された系列の知覚されたボールの軌跡が競技の種々の画像系列を空間的時間的に正規化マッチングし及び組合せることによって本発明の好ましい実施態様に従って生成されている、前記競技の数個の画像系列の簡略ブロック図である。
【図２Ａ】図１のボール投げ競技を図１のカメラのうち第一カメラから撮った第一入力映画の簡略説明図である。
【図２Ｂ】図２Ａの第一入力映画においてボールが知覚される軌跡の簡略説明図である。
【図３Ａ】図１のボール投げ競技を図１のカメラのうち第二カメラから撮った第二入力映画の簡略説明図である。
【図３Ｂ】図３Ａの第二入力映画においてボールが知覚される軌跡の簡略説明図である。
【図４Ａ】図１のボール投げ競技を図１のカメラのうち第三カメラから撮った第三入力映画の簡略説明図である。
【図４Ｂ】図４Ａの第三入力映画においてボールが知覚される軌跡の簡略説明図である。
【図５】図１に示されたより高いサンプリング濃度で一緒に取り出されたフレームの組合せ系列を形成する正規化マッチングされたフレームの簡略説明図である。
【図６】本発明の好ましい実施態様に係る画像系列を副サンプリングし正規化マッチングする好ましい方法を示す図である。
【図７Ａ及び図７Ｂ】二つの未配列の系列からの対応フレームの説明図である。
【図７Ｃ】図７Ａ及び７Ｂのフレーム間のいくつかの可能な正規化マッチングの説明図である。
【図７Ｄ及び７Ｅ】図７Ａ−７Ｂのフレーム中に現れた動くボールの二つの系列の説明図であって、一方の系列のみがボールの二つの軌跡を正規化マッチングしている図である。
【図８Ａ】第一カメラから見た飛行機のシーンである。
【図８Ｂ】第二カメラから見た図８Ａの飛行機のシーンである。
【図８Ｃ】第一カメラから見た飛行機の軌跡である。
【図８Ｄ】第二カメラから見た前記飛行機の軌跡である。
【図９】本発明の好ましい実施態様により構成され作動する好ましい画像系列正規化マッチング方法を説明するための簡略フローチャートである。

Claims (13)

1. それぞれ多様な画像を含む画像の複数系列を受け取る工程と、
   前記複数系列の一つに対応する空間時間容積中の少なくとも一点で前記複数系列の少なくとも他の一つに関する出力表示を与える工程から構成される、時間的に順序付けられた画像系列の時間と空間の少なくとも一方における正規化マッチング方法。
2. 前記出力表示を与える工程には、
   前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部との間で、前記第一空間時間容積中の複数の位置で起こる空間時間的変化を前記第二空間時間容積中の複数の位置で起こる空間時間的変化へ一致させる時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程が含まれることを特徴とする請求項１項記載の正規化マッチング方法。
3. 前記出力表示を与える工程には、
   前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部との間で、前記第一空間時間容積中の複数の位置で起こる空間時間的変化を前記第二空間時間容積中の複数の位置で起こる空間時間的変化へ相関させる時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程が含まれることを特徴とする請求項１項記載の正規化マッチング方法。
4. 前記出力表示を与える工程には、
   前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部との間で、前記第一空間時間容積中の複数の位置で起こる少なくとも時間的変化を前記第二空間時間容積中の複数の位置で起こる少なくとも時間的変化へ一致させる時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程が含まれることを特徴とする請求項１項記載の正規化マッチング方法。
5. 前記出力表示を与える工程には、
   前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部との間で、前記第一空間時間容積中の複数の位置で起こる少なくとも時間的変化を前記第二空間時間容積中の複数の位置で起こる少なくとも時間的変化へ相関させる時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程が含まれることを特徴とする請求項１項記載の正規化マッチング方法。
6. 前記時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程には、少なくとも１の時間における広域正規化マッチングを見つける工程が含まれることを特徴とする請求項２項記載の方法。
7. 前記時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける工程には、少なくとも１の空間における広域正規化マッチングを見つける工程が含まれることを特徴とする請求項２項記載の方法。
8. それぞれの系列が多様な画像を含みかつ空間時間容積を限定する複数の画像系列を受け取る空間時間容積発生装置、及び、
   前記複数系列の一つに対応する空間時間容積中の少なくとも一点を前記複数系列の少なくとも他の一つに対応する空間時間容積中の少なくとも一点へ関係付ける出力表示を与えるアライナーから構成される時間的に順序付けられた画像系列の時間と空間の少なくとも一方における正規化マッチング方法。
9. 前記アライナーには、前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部との間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける一致ベースの広域正規化マッチング探知装置が含まれ、前記少なくとも１つの広域正規化マッチングは前記第一空間時間容積中の複数の位置で起こる空間時間的変化を前記第二空間時間容積中の複数の位置で起こる空間時間的変化へ一致させることを特徴とする請求項８項記載の正規化マッチングシステム。
10. 前記アライナーには、前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部との間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける相関ベースの広域正規化マッチング探知装置が含まれ、前記少なくとも１の広域正規化マッチングは前記第一空間時間容積中の複数の位置で起こる空間時間的変化を前記第二空間時間容積中の複数の位置で起こる空間時間的変化へ相関させることを特徴とする請求項８項記載の正規化マッチングシステム。
11. 前記アライナーには、前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部との間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける一致ベースの広域正規化マッチング探知装置が含まれ、前記少なくとも１つの広域正規化マッチングは前記第一空間時間容積中の複数の位置で起こる少なくとも時間的変化を前記第二空間時間容積中の複数の位置で起こる空間時間的変化へ一致させることを特徴とする請求項８項記載の正規化マッチングシステム。
12. 前記アライナーには、前記複数系列の一つに対応する第一空間時間容積の少なくとも一部と前記複数系列の少なくとも他の一つに対応する第二空間時間容積の少なくとも一部との間で時間と空間の少なくとも一方における少なくとも１つの広域正規化マッチングを見つける相関ベースの広域正規化マッチング探知装置が含まれ、前記少なくとも１つの広域正規化マッチングは前記第一空間時間容積中の複数の位置で起こる少なくとも時間的変化を前記第二空間時間容積中の複数の位置で起こる空間時間的変化へ相関させることを特徴とする請求項８項記載の正規化マッチングシステム。
13. 前記画像がカラー画像を含むことを特徴とする請求項１項記載の方法。