JP2002535894A - カメラ動きパラメータを推定する方法 - Google Patents
カメラ動きパラメータを推定する方法Info
- Publication number
- JP2002535894A JP2002535894A JP2000594255A JP2000594255A JP2002535894A JP 2002535894 A JP2002535894 A JP 2002535894A JP 2000594255 A JP2000594255 A JP 2000594255A JP 2000594255 A JP2000594255 A JP 2000594255A JP 2002535894 A JP2002535894 A JP 2002535894A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- camera
- vector
- frames
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
本発明は、カメラの動きパラメータを推定する方法に関するものである。該方法はブロックに分割された連続するフレームの系列に適用されるもので、該系列から２つのフレーム間の動きに対応するベクトルであって、カメラの速度場を形成するような動きベクトルを抽出するステップと、斯様にして得られたカメラの速度場を前処理して、抽出された動きベクトルのデータの量及び不均一さを低減するステップと、フレームの各対に対して上記前処理された場から２つの考慮されているフレームの間のカメラ特徴を推定するステップと、該推定に基づいて、長期動き解析を実行して推定されたカメラ動きパラメータに対応する動き記述子を得るステップとを有する。用途としては、MPEG-7内での記述子の実施化が挙げられる。
Description
【０００１】
本発明は、カメラ動きパラメータの推定方法に関するもので、これらパラメー
タはMPEG-7ビデオ索引付け枠組み内での記述子になることを意図するものである
。
タはMPEG-7ビデオ索引付け枠組み内での記述子になることを意図するものである
。
【０００２】
最近の十年間は、多くの人にアクセス可能な情報の大きなデータベースの発展
を見た。これらのデータベースは、テキスト、画像、音等の幾つかの型式のメデ
ィアからなっている。斯かる情報の特徴付け、表現、索引付け、記憶、伝送及び
検索は、この技術の有効性における重要な問題を構成する。ビデオ索引付けが意
図されているのがどの様なレベルの副分割であるとしても、各情報副分割は、意
味情報内容、情景属性、カメラ動きパラメータ等々の、幾つかの評価規準に従っ
て索引付けすることができる。“マルチメディア内容記述インターフェース”と
も呼ばれ、内容に基づく検索問題に焦点を当てたMPEG-7は、マルチメディア題材
に関連するであろう記述子及び記述体系を用いて斯かるマルチメディア内容を記
述する汎用方法を標準化し、これにより、テキスト、色、テクスチャ、動き及び
意味内容等の種々の型式の特徴に基づいて高速且つ効率的な検索を可能にしよう
とするものである。この規格は、記憶する（オンライン又はオフラインで）又は
ストリーム処理する（例えば、放送又はインターネットにおけるビデオ）ことが
でき、並びにリアルタイム及び非リアルタイムの両方の環境で動作することがで
きる用途に取り組むであろう。
を見た。これらのデータベースは、テキスト、画像、音等の幾つかの型式のメデ
ィアからなっている。斯かる情報の特徴付け、表現、索引付け、記憶、伝送及び
検索は、この技術の有効性における重要な問題を構成する。ビデオ索引付けが意
図されているのがどの様なレベルの副分割であるとしても、各情報副分割は、意
味情報内容、情景属性、カメラ動きパラメータ等々の、幾つかの評価規準に従っ
て索引付けすることができる。“マルチメディア内容記述インターフェース”と
も呼ばれ、内容に基づく検索問題に焦点を当てたMPEG-7は、マルチメディア題材
に関連するであろう記述子及び記述体系を用いて斯かるマルチメディア内容を記
述する汎用方法を標準化し、これにより、テキスト、色、テクスチャ、動き及び
意味内容等の種々の型式の特徴に基づいて高速且つ効率的な検索を可能にしよう
とするものである。この規格は、記憶する（オンライン又はオフラインで）又は
ストリーム処理する（例えば、放送又はインターネットにおけるビデオ）ことが
でき、並びにリアルタイム及び非リアルタイムの両方の環境で動作することがで
きる用途に取り組むであろう。
【０００３】 図１に図示され、何らかのマルチメディア内容を処理するために設けられた、
可能性のあるMPEG-7処理連鎖の概略ブロック図は、符号化側に、上記内容に対し
て動作する特徴抽出サブアセンブリ１１と、MPEG定義言語を生じるモジュール12
1及びMPEG-7記述子及び記述体系を定義するモジュール122を含む規範サブアセン
ブリ１２と、標準記述サブアセンブリ１３と、符号化サブアセンブリ１４とを含
んでいる。MPEG-7規格の範囲は、サブアセンブリ１２であり、本発明はサブアセ
ンブリ１２及び１３に配置される。図１は復号側も示しており、該復号側は復号
サブアセンブリ１６（符号化されたデータの送信、又はこれらの記憶されたデー
タの読出動作の直後）と、ユーザにより制御される作用に応答して動作する検索
エンジン１７とを含んでいる。
可能性のあるMPEG-7処理連鎖の概略ブロック図は、符号化側に、上記内容に対し
て動作する特徴抽出サブアセンブリ１１と、MPEG定義言語を生じるモジュール12
1及びMPEG-7記述子及び記述体系を定義するモジュール122を含む規範サブアセン
ブリ１２と、標準記述サブアセンブリ１３と、符号化サブアセンブリ１４とを含
んでいる。MPEG-7規格の範囲は、サブアセンブリ１２であり、本発明はサブアセ
ンブリ１２及び１３に配置される。図１は復号側も示しており、該復号側は復号
サブアセンブリ１６（符号化されたデータの送信、又はこれらの記憶されたデー
タの読出動作の直後）と、ユーザにより制御される作用に応答して動作する検索
エンジン１７とを含んでいる。
【０００４】 MPEG-7の枠組みにおいては、情景解析又は動き解析、及び特にカメラの動き特
徴抽出のための方法のような多くの主題に対して効率的なツールを開発しなけれ
ばならない。動きの表現に関しては、２つの解決策が全体的動きの記述子抽出と
して提案することができる。即ち、透視モデル及びブロック整合方法である。前
者はカメラの全体的動きには適しているが、可能な都度明確に記述されねばなら
ない三次元的並進を表すことができない。
徴抽出のための方法のような多くの主題に対して効率的なツールを開発しなけれ
ばならない。動きの表現に関しては、２つの解決策が全体的動きの記述子抽出と
して提案することができる。即ち、透視モデル及びブロック整合方法である。前
者はカメラの全体的動きには適しているが、可能な都度明確に記述されねばなら
ない三次元的並進を表すことができない。
【０００５】 ブロック整合動き補償は、ビデオ系列を符号化するのに要する情報の量を低減
するためにビデオ伝送において広く使用されている予測符号化処理の一部として
使用されている。確かに、画像の極く小さな断片しか或るフレームから後続のフ
レームへは変化せず、該先のフレームからの直截な予測を可能とする。更に詳細
には、各フレーム（ｉ＋１）は、一定数のブロック（通常は正方形）に分割され
る。各ブロック（典型的には、８ｘ８画素）に対して、所定の領域にわたり、先
の基準フレーム（ｉ）における最も類似したブロックの検索が行われる。該検索
の評価規準は、通常、普通は平均絶対差（例えば、平均二乗差よりも計算するの
が容易である）として算出される最小予測エラーを与えるような、最良整合ブロ
ックの検索である。この場合、（ｘ，ｙ）に位置する各ブロック（本例では、８
ｘ８画素の）に対して、予測画像（ｉ＋１）は、画像（ｉ）から、 B(i+1)[x,y]=B(i)[x-dx,y-dy] (1) なる関係（１）により算出され、ここで、（ｄｘ，ｄｙ）＝ｖ(矢印)＝画像（ｉ
）におけるＢ（ｉ）から、画像（ｉ＋１）におけるＢ（ｉ＋１）への動きベクト
ルである。
するためにビデオ伝送において広く使用されている予測符号化処理の一部として
使用されている。確かに、画像の極く小さな断片しか或るフレームから後続のフ
レームへは変化せず、該先のフレームからの直截な予測を可能とする。更に詳細
には、各フレーム（ｉ＋１）は、一定数のブロック（通常は正方形）に分割され
る。各ブロック（典型的には、８ｘ８画素）に対して、所定の領域にわたり、先
の基準フレーム（ｉ）における最も類似したブロックの検索が行われる。該検索
の評価規準は、通常、普通は平均絶対差（例えば、平均二乗差よりも計算するの
が容易である）として算出される最小予測エラーを与えるような、最良整合ブロ
ックの検索である。この場合、（ｘ，ｙ）に位置する各ブロック（本例では、８
ｘ８画素の）に対して、予測画像（ｉ＋１）は、画像（ｉ）から、 B(i+1)[x,y]=B(i)[x-dx,y-dy] (1) なる関係（１）により算出され、ここで、（ｄｘ，ｄｙ）＝ｖ(矢印)＝画像（ｉ
）におけるＢ（ｉ）から、画像（ｉ＋１）におけるＢ（ｉ＋１）への動きベクト
ルである。
【０００６】 カメラの移動を推定するためにブロック整合動きベクトルから開始すると、主
たる問題は、これらベクトルの推定器の効率が符号化判定規準に関してのみしか
測定されない点である。動きベクトルは、当該情景の実際の動きに必ずしも対応
するものではない。例えば、当該情景内の一様なテクスチャの領域においては、
その動きベクトルが全体的動きを表していなくても、上記推定器は該テクスチャ
内のブロックの何れかを選択し得る。しかしながら、ブロック整合が常に一貫す
るとは限らない動きを表すとしても、この方法は好ましい。何故なら、並進は可
能な都度に明確に記述されねばならず、透視モデルは、それを行うことはできな
いからである。この様にして決定された動きベクトルから開始し、次いで、幾つ
かのカメラパラメータが定義される。対応する定義方法を説明する前に、本説明
に使用されるカメラモデルを先ず提示する。
たる問題は、これらベクトルの推定器の効率が符号化判定規準に関してのみしか
測定されない点である。動きベクトルは、当該情景の実際の動きに必ずしも対応
するものではない。例えば、当該情景内の一様なテクスチャの領域においては、
その動きベクトルが全体的動きを表していなくても、上記推定器は該テクスチャ
内のブロックの何れかを選択し得る。しかしながら、ブロック整合が常に一貫す
るとは限らない動きを表すとしても、この方法は好ましい。何故なら、並進は可
能な都度に明確に記述されねばならず、透視モデルは、それを行うことはできな
いからである。この様にして決定された動きベクトルから開始し、次いで、幾つ
かのカメラパラメータが定義される。対応する定義方法を説明する前に、本説明
に使用されるカメラモデルを先ず提示する。
【０００７】 静止環境を経て移動する一眼カメラを考える。図２に見られるように、Ｏを当
該カメラの光学中心とし、ＯＸＹＺを該カメラに対して固定された外部座標系と
し、ＯＺを光学軸とする。Ｔｘ，Ｔｙ，Ｔｚを当該情景に対するＯＸＺＹの並進
速度とし、Ｒｘ，Ｒｙ，Ｒｚを、それらの角速度とする。（Ｘ，Ｙ，Ｚ）が当該
三次元情景における点Ｐの瞬時座標であるとすると、Ｐの速度成分は、
該カメラの光学中心とし、ＯＸＹＺを該カメラに対して固定された外部座標系と
し、ＯＺを光学軸とする。Ｔｘ，Ｔｙ，Ｔｚを当該情景に対するＯＸＺＹの並進
速度とし、Ｒｘ，Ｒｙ，Ｒｚを、それらの角速度とする。（Ｘ，Ｙ，Ｚ）が当該
三次元情景における点Ｐの瞬時座標であるとすると、Ｐの速度成分は、
【数４】 となる。Ｐの画像位置、即ちｐ、は当該画像面内において、
【数５】 なる関係(5)により与えられ（ここで、ｆは当該カメラの焦点距離である）、該
画像面を横切って、
画像面を横切って、
【数６】 なる誘発速度で移動するであろう。幾つかの計算及び代入の後、下記関係が得ら
れる、
れる、
【数７】 これは、下記のように書くこともできる：
【数８】 更に、当該カメラモデルにズームを含めるために、ズームは角度ドメインにおけ
る単一の倍率により近似することができると仮定する。斯様な仮説は、当該情景
における最も近い対象の距離が、通常はそうであるが、該ズームを生成するのに
使用される焦点距離の変化と較べて大きい場合に有効である。
る単一の倍率により近似することができると仮定する。斯様な仮説は、当該情景
における最も近い対象の距離が、通常はそうであるが、該ズームを生成するのに
使用される焦点距離の変化と較べて大きい場合に有効である。
【０００８】 純粋なズームが図３で考察される。当該画像面において時点ｔでは（ｘ，ｙ）
上に、次の時点t’では（x’，y’）上に位置する点を与えると、該ズームによ
り誘発されるｘに沿う画像速度ｕｘ＝ｘ’−ｘは以下に示すようにＲzoom（Ｒzo om は、図３に示すように(θ’-θ)/θなる関係により定義される）の関数として
表すことができる。
上に、次の時点t’では（x’，y’）上に位置する点を与えると、該ズームによ
り誘発されるｘに沿う画像速度ｕｘ＝ｘ’−ｘは以下に示すようにＲzoom（Ｒzo om は、図３に示すように(θ’-θ)/θなる関係により定義される）の関数として
表すことができる。
【０００９】 確かに、tan(θ’)=x’/f及びtan(θ)=x/fとなり、これは、 ux=x’-x=[tan(θ’)-tan(θ)]・f (13) となる。tan(θ’)なる式は、
【数９】 と書くことができる。次いで、角度差(θ’-θ)が小さい、即ちtan(θ’-θ)は(
θ’-θ)により近似することができ、且つ、(θ’-θ)・tanθ<<1であると仮定す
ると、
θ’-θ)により近似することができ、且つ、(θ’-θ)・tanθ<<1であると仮定す
ると、
【数１０】 が得られる。これは、 ux=x’-x=f・θ・Rzoom(1+tan2θ) (18) と実質的に等価である。この結果は、 ux=f・tan-1(x/f)・Rzoom・(1+x2/f2) (19) と書き換えることができ、同様に、ｕｙは、 uy=f・tan-1(y/f)・Rzoom・(1+y2/f2) (20) で与えられる。速度ｕ＝(ｕx,ｕy)は、当該画像面内で単一のズームにより誘発
された動きに対応する。次いで、全ての回転、並進（Ｘ及びＹ軸に沿う）及びズ
ームを考慮に入れた汎用モデルを論理的に定義することができる。
された動きに対応する。次いで、全ての回転、並進（Ｘ及びＹ軸に沿う）及びズ
ームを考慮に入れた汎用モデルを論理的に定義することができる。
【００１０】 この汎用モデルは、回転的及びズームの動きを表す回転速度と、Ｘ及びＹ並進
（即ち、各々トラッキング及びブーミング）を表す並進速度との和として、
（即ち、各々トラッキング及びブーミング）を表す並進速度との和として、
【数１１】 なる式で書くことができ、これら式において並進項のみが被写体距離Ｚに依存す
る。
る。
【００１１】 パターン認識、第３０巻、第４号、１９９７年、第５９３〜６０５頁のM.V. S
rinivasan他による“ビデオ系列からのカメラ動きパラメータの質的推定”なる
文献は、画像の系列からカメラ動きパラメータの抽出に関して、カメラ式(21)な
いし(23)を用いた技術を記載している。更に詳細には、この技術の基本原理は上
記文献の第３部（第５９５〜５９７頁）に説明されている。元の光学流れ場（op
tical flow field）から減算された場合に全てのベクトルが平行となる残留流れ
場となるような流れ場を生成するＲｘ、Ｒｙ、Ｒｚ及びＲzoomの最良値を見付け
ることにより実施化される該技術は、上記残留流れベクトルの平行さからのずれ
を有利な区域に基づく評価規準を用いて最小化する反復方法を使用している。
rinivasan他による“ビデオ系列からのカメラ動きパラメータの質的推定”なる
文献は、画像の系列からカメラ動きパラメータの抽出に関して、カメラ式(21)な
いし(23)を用いた技術を記載している。更に詳細には、この技術の基本原理は上
記文献の第３部（第５９５〜５９７頁）に説明されている。元の光学流れ場（op
tical flow field）から減算された場合に全てのベクトルが平行となる残留流れ
場となるような流れ場を生成するＲｘ、Ｒｙ、Ｒｚ及びＲzoomの最良値を見付け
ることにより実施化される該技術は、上記残留流れベクトルの平行さからのずれ
を有利な区域に基づく評価規準を用いて最小化する反復方法を使用している。
【００１２】 この反復方法の各ステップにおいて、現在のカメラ動きパラメータによる光学
的流れが、２つの異なるカメラモデルの一方に基づいて計算される。第１のモデ
ルは視野（又は焦点距離ｆ）の角度寸法が既知であると仮定する。即ち、このこ
とは、式(23)における比x/f及びy/fが当該画像の各点につき計算することが可能
で、上記各式が正確に光学的流れを算出するのを可能にすることを意味する。
的流れが、２つの異なるカメラモデルの一方に基づいて計算される。第１のモデ
ルは視野（又は焦点距離ｆ）の角度寸法が既知であると仮定する。即ち、このこ
とは、式(23)における比x/f及びy/fが当該画像の各点につき計算することが可能
で、上記各式が正確に光学的流れを算出するのを可能にすることを意味する。
【００１３】 第２のモデルは当該カメラの視野が未知であると仮定する。この場合は、式(2
3)を適用する前に小さな場の近似（x/f及びy/fは１より非常に小である）が必要
であり、これは下記式(24)及び(25)となる。
3)を適用する前に小さな場の近似（x/f及びy/fは１より非常に小である）が必要
であり、これは下記式(24)及び(25)となる。
【数１２】 パンニング又は傾き（チルティング：tilting）の歪みを考慮に入れた上記第
１のモデルの方が、カメラの視野が大きく且つ既知である場合は一層正確な結果
を生じるように思われる。残念ながら焦点距離は通常未知であり、これは、第２
のモデルを、視野が大きいと推測される場合に当該画像の限られた領域上でのみ
使用することになる。しかしながら、この第２のモデルは満足のゆく解決策では
ない。何故なら、トラッキングをパンニングから区別することが不可能であるか
らである。
１のモデルの方が、カメラの視野が大きく且つ既知である場合は一層正確な結果
を生じるように思われる。残念ながら焦点距離は通常未知であり、これは、第２
のモデルを、視野が大きいと推測される場合に当該画像の限られた領域上でのみ
使用することになる。しかしながら、この第２のモデルは満足のゆく解決策では
ない。何故なら、トラッキングをパンニングから区別することが不可能であるか
らである。
【００１４】 水平及び垂直方向のトラッキングは、全てのベクトルが真に平行であるような
流れ場を生成するが、これは、当該カメラの視野が例えば２０度ｘ２０度（大き
な視野は、当該結像表面の平坦な幾何学形状から生じる速度場の歪みに繋がる）
のように小さくない限りパン及びチルトには当てはまらない。ズームにより生成
される流れ場も歪む（中心から遠く離れると、動きベクトルは最早放射方向の向
きではなくなる）。視野が大きい場合は、結果としての歪みは、並進運動がパン
及びチルトから固有に区別されるのを可能にするのに使用することができる。
流れ場を生成するが、これは、当該カメラの視野が例えば２０度ｘ２０度（大き
な視野は、当該結像表面の平坦な幾何学形状から生じる速度場の歪みに繋がる）
のように小さくない限りパン及びチルトには当てはまらない。ズームにより生成
される流れ場も歪む（中心から遠く離れると、動きベクトルは最早放射方向の向
きではなくなる）。視野が大きい場合は、結果としての歪みは、並進運動がパン
及びチルトから固有に区別されるのを可能にするのに使用することができる。
【００１５】
従って、本発明の一つの目的は、物理的に可能である毎にトラッキングとパン
ニングとの間を区別すると共に、視野が大きい場合は該視野が未知であっても、
これらを別々に実行する一方、該視野が小さい場合は上記区別を行わないで実行
することが可能なカメラ動きパラメータを推定する方法を提案することにより、
動きベクトルからカメラ動き特徴を推定する構成を改善することにある。
ニングとの間を区別すると共に、視野が大きい場合は該視野が未知であっても、
これらを別々に実行する一方、該視野が小さい場合は上記区別を行わないで実行
することが可能なカメラ動きパラメータを推定する方法を提案することにより、
動きベクトルからカメラ動き特徴を推定する構成を改善することにある。
【００１６】 この目的のため、本発明は、ブロックに分割された連続したビデオフレームの
系列を考察すると共に該系列を処理するために設けられるカメラ動きパラメータ
を推定する方法において、上記処理動作が、 − 前記ビデオ系列から２つの連続するフレームの間の動きに対応するベクトル
であって、カメラ速度場を形成するような動きベクトルを抽出するステップと、
− 前記カメラ速度場を前処理して、前記抽出された動きベクトルのデータの量
及び不均一さを低減するステップと、 − フレームの各対に対して、前記前処理された場から前記２つの考察されてい
るフレームの間のカメラ特徴を推定するステップと、 − 前記推定に基づき、長期動き解析を実行して前記推定されたカメラ動きパラ
メータに対応する動き記述子を得るステップと、 を有していることを特徴とするカメラ動きパラメータを推定する方法に関係する
。
系列を考察すると共に該系列を処理するために設けられるカメラ動きパラメータ
を推定する方法において、上記処理動作が、 − 前記ビデオ系列から２つの連続するフレームの間の動きに対応するベクトル
であって、カメラ速度場を形成するような動きベクトルを抽出するステップと、
− 前記カメラ速度場を前処理して、前記抽出された動きベクトルのデータの量
及び不均一さを低減するステップと、 − フレームの各対に対して、前記前処理された場から前記２つの考察されてい
るフレームの間のカメラ特徴を推定するステップと、 − 前記推定に基づき、長期動き解析を実行して前記推定されたカメラ動きパラ
メータに対応する動き記述子を得るステップと、 を有していることを特徴とするカメラ動きパラメータを推定する方法に関係する
。
【００１７】 主たる思想は、大きな視野が殆どの場合において速度場に歪みを発生させると
したら、該歪みも有用であるということである。言い換えると、焦点距離（又は
視野、これは画像寸法のスケールファクタにとり同一の情報である）が、前述し
た第１モデルを使用する最小化処理に含まれるとすると、視野が小さ過ぎない場
合、及びズーム、パン、チルト又はロールモーション成分の１つが実際に存在す
る場合に（現実の場合の重要な部分を表す。即ち、この焦点距離の推定は視野が
小さ過ぎるか又はトラッキングの動きしかない場合は無意味である）、該焦点距
離が正確に推定されるであろうということである。
したら、該歪みも有用であるということである。言い換えると、焦点距離（又は
視野、これは画像寸法のスケールファクタにとり同一の情報である）が、前述し
た第１モデルを使用する最小化処理に含まれるとすると、視野が小さ過ぎない場
合、及びズーム、パン、チルト又はロールモーション成分の１つが実際に存在す
る場合に（現実の場合の重要な部分を表す。即ち、この焦点距離の推定は視野が
小さ過ぎるか又はトラッキングの動きしかない場合は無意味である）、該焦点距
離が正確に推定されるであろうということである。
【００１８】
以下、本発明を添付図面を参照して例示として説明する。
【００１９】 本発明による推定方法を実施化する完全な構成が図４に示されている。MPEG-7
はマルチメディア内容記述規格となるであろうから、特定の符号化型式は指定し
ていないことに注意すべきであろう。従って、記述子形成の処理は、全ての型式
の符号化されたデータ（圧縮された又は圧縮されていない何れに）に対しても作
用しなければならない。けれども、入力フレームから得られるビデオデータの殆
どは、通常、ＭＰＥＧフォーマット（従って、圧縮されて存在する）で利用可能
であるので、ＭＰＥＧ動き補償により提供される動きベクトルを直接利用するの
が有利である。当該ビデオデータが非圧縮ドメインで得られる場合は、ブロック
整合方法が動きベクトル発生装置４１において実施化される。
はマルチメディア内容記述規格となるであろうから、特定の符号化型式は指定し
ていないことに注意すべきであろう。従って、記述子形成の処理は、全ての型式
の符号化されたデータ（圧縮された又は圧縮されていない何れに）に対しても作
用しなければならない。けれども、入力フレームから得られるビデオデータの殆
どは、通常、ＭＰＥＧフォーマット（従って、圧縮されて存在する）で利用可能
であるので、ＭＰＥＧ動き補償により提供される動きベクトルを直接利用するの
が有利である。当該ビデオデータが非圧縮ドメインで得られる場合は、ブロック
整合方法が動きベクトル発生装置４１において実施化される。
【００２０】 何れの場合にせよ、一旦動きベクトルが当該ビデオ系列（２つの連続するフレ
ームの間）から読み取られ又は抽出されたら、ダウンサンプリング及びフィルタ
処理装置４２が用意される。速度場の該フィルタ処理の目標は、データ量及び動
きベクトルの不均一さを低減することである。この処理には、装置４３における
カメラ特徴の即時推定が続く。この推定は、前述した方法に基づくもので、動き
ベクトルを使用すると共に前記最小化処理に焦点距離を含めるように改善され、
且つ、各対のフレームに対して１つの特徴ベクトルに繋がるものである。次いで
、全ての考慮された系列内での特徴ベクトルの集合が、長期動き解析装置４４に
より最終的に入力され、該装置は、特にMPEG-7ビデオ索引付け枠組み内で、内容
に基づく検索状況においてカメラ動きに関して当該系列を索引付けするのに使用
することができる動き記述子を出力する。
ームの間）から読み取られ又は抽出されたら、ダウンサンプリング及びフィルタ
処理装置４２が用意される。速度場の該フィルタ処理の目標は、データ量及び動
きベクトルの不均一さを低減することである。この処理には、装置４３における
カメラ特徴の即時推定が続く。この推定は、前述した方法に基づくもので、動き
ベクトルを使用すると共に前記最小化処理に焦点距離を含めるように改善され、
且つ、各対のフレームに対して１つの特徴ベクトルに繋がるものである。次いで
、全ての考慮された系列内での特徴ベクトルの集合が、長期動き解析装置４４に
より最終的に入力され、該装置は、特にMPEG-7ビデオ索引付け枠組み内で、内容
に基づく検索状況においてカメラ動きに関して当該系列を索引付けするのに使用
することができる動き記述子を出力する。
【００２１】 ２つの主たる問題が装置４２における上記前処理ステップを正当化する。即ち
、とりわけ、当該画像の低周波数部分における又はテクスチャが非常に一様な場
所における動きベクトルの不均一さ、及びブロックの寸法が小さ過ぎることであ
る。該ダウンサンプリング及びフィルタ処理は、元のフィールドをダウンサンプ
リングすると同時に、全体の情報によれば一貫していないベクトルを排除するこ
とによりベクトルの量を低減するために設けられている。各ベクトルに対して算
出された信頼性マスクが使用される。即ち、該マスクは各動きベクトルの信頼性
のレベルに従って０と１との間で変化し、当該ベクトルが考慮されるか否かを判
断するのを可能にする評価規準である。信頼性マスクの一例は、如何なる理論上
のカメラの動きに対しても動きベクトルは過多には変化することができない、即
ち近いベクトルは近い値を有するということを考慮することであり得る。この場
合、各ベクトルから該ベクトルの近隣への距離に従って信頼性レベルを測定する
ことができ、該レベルは、例えば、その平均値又は、好ましくは、中間値（何故
なら、大きな孤立したエラーに対して余り感知的でないからである）とすること
ができる。従って、信頼性マスクＣi,jは下記式(26)により定義される。
、とりわけ、当該画像の低周波数部分における又はテクスチャが非常に一様な場
所における動きベクトルの不均一さ、及びブロックの寸法が小さ過ぎることであ
る。該ダウンサンプリング及びフィルタ処理は、元のフィールドをダウンサンプ
リングすると同時に、全体の情報によれば一貫していないベクトルを排除するこ
とによりベクトルの量を低減するために設けられている。各ベクトルに対して算
出された信頼性マスクが使用される。即ち、該マスクは各動きベクトルの信頼性
のレベルに従って０と１との間で変化し、当該ベクトルが考慮されるか否かを判
断するのを可能にする評価規準である。信頼性マスクの一例は、如何なる理論上
のカメラの動きに対しても動きベクトルは過多には変化することができない、即
ち近いベクトルは近い値を有するということを考慮することであり得る。この場
合、各ベクトルから該ベクトルの近隣への距離に従って信頼性レベルを測定する
ことができ、該レベルは、例えば、その平均値又は、好ましくは、中間値（何故
なら、大きな孤立したエラーに対して余り感知的でないからである）とすること
ができる。従って、信頼性マスクＣi,jは下記式(26)により定義される。
【数１３】
【００２２】 図５は、上記フィルタ処理技術を図示している。即ち、フィルタ処理された場
（右側）は元の場（左側）より４倍少ないブロックしか有していない。新たなブ
ロックの動きを表すベクトルは、４つの元のブロックの動きベクトルに基づいて
算出され、それらの信頼性レベルは図示のように近隣のものに基づいて算出され
る。該新たなブロックに対する動きベクトルは、古い小さなブロックの加重平均
である。即ち、
（右側）は元の場（左側）より４倍少ないブロックしか有していない。新たなブ
ロックの動きを表すベクトルは、４つの元のブロックの動きベクトルに基づいて
算出され、それらの信頼性レベルは図示のように近隣のものに基づいて算出され
る。該新たなブロックに対する動きベクトルは、古い小さなブロックの加重平均
である。即ち、
【数１４】
【００２３】 各対のフレームに対して、上記のフィルタ処理された動きベクトル場から、２
つの考察されているフレームの間のカメラ動き情報を含む特徴ベクトルを算出す
るために設けられた装置４３は、以下に詳述する推定アルゴリズムを実施する。
つの考察されているフレームの間のカメラ動き情報を含む特徴ベクトルを算出す
るために設けられた装置４３は、以下に詳述する推定アルゴリズムを実施する。
【００２４】 先ず、式(26)から信頼性マスクが算出される。次いで、平行化処理が開始する
。動きベクトルが費用関数の又は合成ベクトルの計算において考慮される毎に、
該ベクトルは、その信頼性マスクにより重み付けされる。この場合、以下の式が
、全てのベクトルが平行となる残留場を与えるようなＲｘ、Ｒｙ、Ｒｚ、Ｒzoom 及び焦点距離ｆの最良の値を算出するのを可能にする。
。動きベクトルが費用関数の又は合成ベクトルの計算において考慮される毎に、
該ベクトルは、その信頼性マスクにより重み付けされる。この場合、以下の式が
、全てのベクトルが平行となる残留場を与えるようなＲｘ、Ｒｙ、Ｒｚ、Ｒzoom 及び焦点距離ｆの最良の値を算出するのを可能にする。
【数１５】 大きな視野における非並進運動の場合、上記残留ベクトルは平行ではないが、理
想的には零に近くなくてはならない。この注目事項は、下記式(32)により与えら
れるβ比を算出することに繋がる。
想的には零に近くなくてはならない。この注目事項は、下記式(32)により与えら
れるβ比を算出することに繋がる。
【数１６】 該比は上記残留場の平行さを示す。これは、残留流れベクトルの合力の大きさの
、残留流れベクトルの大きさの和に対する比である。即ち、β＝１は残留ベクト
ルが完全に整列していることを意味し、β＝０は残留ベクトルが互いにランダム
に配向されていることを意味する。更に、当該カメラの動きにおける重大なトラ
ッキング成分の存在を検査するために、残留流れ場の強度が、次式(33)により与
えられる下記の比αを計算することにより、元の流れ場のものと比較される。
、残留流れベクトルの大きさの和に対する比である。即ち、β＝１は残留ベクト
ルが完全に整列していることを意味し、β＝０は残留ベクトルが互いにランダム
に配向されていることを意味する。更に、当該カメラの動きにおける重大なトラ
ッキング成分の存在を検査するために、残留流れ場の強度が、次式(33)により与
えられる下記の比αを計算することにより、元の流れ場のものと比較される。
【数１７】 “mean(*)”なる演算子は、上記信頼性マスクによる、その引数の加重平均を表
す。これらの２つの比は、以下に示すように、トラッキング成分の存在及び量を
チェックすることを可能にする。 Ａ）β〜０なら、トラッキングの動きはない、 Ｂ）β〜１なら： α〜０なら、無視できるほどのトラッキング動き、 α〜１なら、大きなトラッキング動き、即ち：
す。これらの２つの比は、以下に示すように、トラッキング成分の存在及び量を
チェックすることを可能にする。 Ａ）β〜０なら、トラッキングの動きはない、 Ｂ）β〜１なら： α〜０なら、無視できるほどのトラッキング動き、 α〜１なら、大きなトラッキング動き、即ち：
【数１８】 である。これらの比は、結果関連性の概念も与える。
【００２５】 並進運動の推定された成分、即ち
【数１９】 は、前記第１のモデルの正確な成分は表さず、f・Tx/z及びf・Ty/zの全画像内の加
重平均を表すことに注意されたい。何故なら、各ブロックの深さは未知であるか
らである。しかしながら、それらは当該画像内の見かけ上のトラッキング運動の
良好な表現である。
重平均を表すことに注意されたい。何故なら、各ブロックの深さは未知であるか
らである。しかしながら、それらは当該画像内の見かけ上のトラッキング運動の
良好な表現である。
【００２６】 上記平行費用関数（parallelism cost function）に対しては、山登りシンプ
レックス最小化アルゴリズム（downhill simplex minimization algorithm）が
選択された。何故なら、該アルゴリズムは、元の場が費用関数の一部であるので
ここでは不可能であるような、導関数の計算を含まないからである。上記山登り
シンプレックス法は、全ての勾配に基づくもののような多くの他の方法とは異な
り、導関数ではなく、関数評価のみを必要とする多次元方法である。ここでは、
それは本質的な点である。何故なら、費用関数の解析的形態は存在しないからで
ある。シンプレックスは、Ｎ次元では、Ｎ＋１の点（即ち、頂点）及びそれらを
相互接続する線分、多角面等からなる幾何学図形であり、二次元ではシンプレッ
クスは三角形となり、三次元では四面体となり、等々である。通常、非退化（即
ち、有限のｎ次元体積を囲むもの）のシンプレックスのみが考慮される。シンプ
レックスの何れかの点が原点とされると、他のＮ点は当該Ｎ次元ベクトル空間に
広がるベクトル方向を規定する。一次元最小化においては、隔離の成功が保証さ
れるように、極小を夾叉する（２分法）ことがあり得る。
レックス最小化アルゴリズム（downhill simplex minimization algorithm）が
選択された。何故なら、該アルゴリズムは、元の場が費用関数の一部であるので
ここでは不可能であるような、導関数の計算を含まないからである。上記山登り
シンプレックス法は、全ての勾配に基づくもののような多くの他の方法とは異な
り、導関数ではなく、関数評価のみを必要とする多次元方法である。ここでは、
それは本質的な点である。何故なら、費用関数の解析的形態は存在しないからで
ある。シンプレックスは、Ｎ次元では、Ｎ＋１の点（即ち、頂点）及びそれらを
相互接続する線分、多角面等からなる幾何学図形であり、二次元ではシンプレッ
クスは三角形となり、三次元では四面体となり、等々である。通常、非退化（即
ち、有限のｎ次元体積を囲むもの）のシンプレックスのみが考慮される。シンプ
レックスの何れかの点が原点とされると、他のＮ点は当該Ｎ次元ベクトル空間に
広がるベクトル方向を規定する。一次元最小化においては、隔離の成功が保証さ
れるように、極小を夾叉する（２分法）ことがあり得る。
【００２７】 多次元空間における類似の手順が存在しないとしても、上記山登りシンプレッ
クス法は該思想に最も適したものである。該アルゴリズムは、試行する最初の点
として独立変数のＮベクトルで開始し、次いで、囲むべき極小、少なくとも局部
のものに出会うまで当該空間を介して自身の道を辿って下るものとされる。該方
法は単一の点で開始しなければならないのではなく、最初のシンプレックスを規
定するＮ＋１点で開始しなければならない。次いで、各ステップにおいて、新た
なシンプレックスが構成される。図６に示すように（左側）、殆どのステップは
、当該シンプレックスの関数が最大である点“最高点”を、該シンプレックスの
反対の面を介して、より低い点へ移動させる（反射）。この種のステップは、当
該シンプレックスの体積を保存する。拡大及び縮小の手順は、該シンプレックス
法が改善の成功する道に沿って加速するのを可能にすると共に、最適の条件に進
むのを可能にする。該アルゴリズムは、所要の対象が到達された時に、実際には
関数値の減少が何らかの許容誤差εより僅かに小さい場合に停止する。
クス法は該思想に最も適したものである。該アルゴリズムは、試行する最初の点
として独立変数のＮベクトルで開始し、次いで、囲むべき極小、少なくとも局部
のものに出会うまで当該空間を介して自身の道を辿って下るものとされる。該方
法は単一の点で開始しなければならないのではなく、最初のシンプレックスを規
定するＮ＋１点で開始しなければならない。次いで、各ステップにおいて、新た
なシンプレックスが構成される。図６に示すように（左側）、殆どのステップは
、当該シンプレックスの関数が最大である点“最高点”を、該シンプレックスの
反対の面を介して、より低い点へ移動させる（反射）。この種のステップは、当
該シンプレックスの体積を保存する。拡大及び縮小の手順は、該シンプレックス
法が改善の成功する道に沿って加速するのを可能にすると共に、最適の条件に進
むのを可能にする。該アルゴリズムは、所要の対象が到達された時に、実際には
関数値の減少が何らかの許容誤差εより僅かに小さい場合に停止する。
【００２８】 使用された完全なアルゴリズムが、図７に示すフローチャートに図示されてい
る。初期化（START動作）及び関数値によるランク付け（ステップ６２）の後、
判断(f(.)<f(.)?)６３、６４、６５、６６、６７、６８が実行される。即ち、 1) f(R) < f(W') ? a) if yes (Y), f(R) < f(B') ? i) if yes (Y), f(E) < f(B') ? - if yes (Y), WをEで置換 (出力 71) ; - if no (N), WをRで置換 (出力 72) ; ii) if no (N), WをRで置換 ; b) if no (N), f(R) < f(W) ? i) if yes (Y), WをRで置換 ; ii) if no (N), Cは(34)式により(COMPUTE C)と定義 : C = arg min [f(x)] pour x ε {C(+), C(-)} (34) そして、更なる判断が実行される。即ち、 2) f(C) < f(W) ? (a) if yes (Y), WをCにより置換 (出力 73) (b) if no (N), 多重縮小をする (出力 74) ; 3) 出力71 〜 74の後, f(W) - f(B) < ε ? - if no (N), ステップ 62 への帰還接続 ; - if yes (Y), アルゴリズムの終了 (STOP). ここで、各表記は、 - f = RN → R, 最小化する関数（ここでは、平行関数） ; - W, C(-), C(+), R, E：Ｎ次元の点（図６の右側に示すように、C(-) = 負の
縮小、C(+) = 正の縮小、R = 反射、E = 拡張） - W', B, B'：ｆの２番目に悪い、最良の及び２番目に良い値の前件（その場合
、f(B) < f(B') <…< f(W') < f(W)）、 可能性のある終着点は、
る。初期化（START動作）及び関数値によるランク付け（ステップ６２）の後、
判断(f(.)<f(.)?)６３、６４、６５、６６、６７、６８が実行される。即ち、 1) f(R) < f(W') ? a) if yes (Y), f(R) < f(B') ? i) if yes (Y), f(E) < f(B') ? - if yes (Y), WをEで置換 (出力 71) ; - if no (N), WをRで置換 (出力 72) ; ii) if no (N), WをRで置換 ; b) if no (N), f(R) < f(W) ? i) if yes (Y), WをRで置換 ; ii) if no (N), Cは(34)式により(COMPUTE C)と定義 : C = arg min [f(x)] pour x ε {C(+), C(-)} (34) そして、更なる判断が実行される。即ち、 2) f(C) < f(W) ? (a) if yes (Y), WをCにより置換 (出力 73) (b) if no (N), 多重縮小をする (出力 74) ; 3) 出力71 〜 74の後, f(W) - f(B) < ε ? - if no (N), ステップ 62 への帰還接続 ; - if yes (Y), アルゴリズムの終了 (STOP). ここで、各表記は、 - f = RN → R, 最小化する関数（ここでは、平行関数） ; - W, C(-), C(+), R, E：Ｎ次元の点（図６の右側に示すように、C(-) = 負の
縮小、C(+) = 正の縮小、R = 反射、E = 拡張） - W', B, B'：ｆの２番目に悪い、最良の及び２番目に良い値の前件（その場合
、f(B) < f(B') <…< f(W') < f(W)）、 可能性のある終着点は、
【数２０】 で与えられるように算出される。それらの最適化性能に対する影響は扱うのが困
難であるので、係数は、それらの最も単純な値に設定された、即ち、γ＝２、β (+) ＝β(-)＝０.５。
難であるので、係数は、それらの最も単純な値に設定された、即ち、γ＝２、β (+) ＝β(-)＝０.５。
【図１】 図１は、可能性のあるMPEG-7処理連鎖の概念的ブロック図である。
【図２】 図２は、カメラに関し該カメラと共に移動する外部座標系ＯＸＹＺを図示する
と共に、焦点距離ｆに関して当該三次元情景内の点Ｐに対応する網膜座標(x,y)
を示す。
と共に、焦点距離ｆに関して当該三次元情景内の点Ｐに対応する網膜座標(x,y)
を示す。
【図３】 図３は、当該カメラモデルに含まれるズームモデルを示す。
【図４】 図４は、本発明による推定方法を実施する完全なカメラ動き解析システムの概
要を示す。
要を示す。
【図５】図５は、本発明によるシステムで使用されるフィルタ処理技術を図
示する。
示する。
【図６】 図６は、山登りシンプレックス法を実施する場合に、どの様にして新たなシン
プレックスが構成されるかを図示する。
プレックスが構成されるかを図示する。
【図７】 図７は、平行費用関数用に使用される山登りシンプレックスアルゴリズムを示
すフローチャートである。
すフローチャートである。
４１…動きベクトル発生装置 ４２…ダウンサンプリング及びフィルタ処理装置 ４３…カメラ特徴推定装置 ４４…長期動き解析装置
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK36 MA00 NN21 NN27 NN28 NN37 NN47 PP04 SS06 SS12 SS14 SS19 UA02
Claims (5)
- 【請求項１】 ブロックに分割された連続したビデオフレームの系列を考察
すると共に該系列を処理するために設けられるカメラ動きパラメータを推定する
方法において、 − 前記ビデオ系列から２つの連続するフレームの間の動きに対応するベクトル
であって、カメラ速度場を形成するような動きベクトルを抽出するステップと、 − 前記カメラ速度場を前処理して、前記抽出された動きベクトルのデータの量
及び不均一さを低減するステップと、 − フレームの各対に対して、前記前処理された場から前記２つの考察されてい
るフレームの間のカメラ特徴を推定するステップと、 − 前記推定に基づき、長期動き解析を実行して前記推定されたカメラ動きパラ
メータに対応する動き記述子を得るステップと、 を有していることを特徴とするカメラ動きパラメータを推定する方法。 - 【請求項２】 請求項１に記載の方法において、前記前処理するステップが
前記ベクトルの量を低減するために、 − 前記動きベクトルの元の速度場をダウンサンプリングする副ステップと、 − 同時に、全体の情報によれば一貫していないベクトルを排除する副ステップ
と、 を有していることを特徴とする方法。 - 【請求項３】 請求項２に記載の方法において、前記前処理するステップの
副ステップが、４つの元のブロック及び関連する信頼性レベルの動きベクトルに
基づき新たなブロックの動きを表すベクトルを計算する動作を含むことを特徴と
する方法。 - 【請求項４】 請求項３に記載の方法において、前記信頼性レベルが各ベク
トルから当該ベクトルの近隣のものへの距離により与えられることを特徴とする
方法。 - 【請求項５】 請求項４に記載の方法において、前記近隣のものは、平均値
又は中間値のような値、 【数１】 により表され、信頼性マスクが、 【数２】 なる型式の表現を有する値Ｃi,jとなり、ここで、(i,j)は元のブロックを規定し
、 【数３】 は、該元のブロックの元の動きベクトルを規定することを特徴とする方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP99400065 | 1999-01-12 | ||
| EP99400065.1 | 1999-01-12 | ||
| PCT/EP1999/010409 WO2000042771A1 (en) | 1999-01-12 | 1999-12-24 | Camera motion parameters estimation method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002535894A true JP2002535894A (ja) | 2002-10-22 |
Family
ID=8241853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000594255A Withdrawn JP2002535894A (ja) | 1999-01-12 | 1999-12-24 | カメラ動きパラメータを推定する方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6349114B1 (ja) |
| EP (1) | EP1062815A1 (ja) |
| JP (1) | JP2002535894A (ja) |
| KR (1) | KR20010041862A (ja) |
| CN (1) | CN1224264C (ja) |
| WO (1) | WO2000042771A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182830A (ja) * | 2003-12-23 | 2005-07-07 | Genesis Microchip Inc | 質量中心の繰り返し使用によるカメラパンベクトルのロバスト推定 |
| JP2007064836A (ja) * | 2005-08-31 | 2007-03-15 | Kyushu Institute Of Technology | カメラキャリブレーションの自動化アルゴリズム |
| US8422853B2 (en) | 2004-08-10 | 2013-04-16 | Sony Corporation | Information signal processing method and apparatus, and computer program product |
| US8634699B2 (en) | 2004-08-10 | 2014-01-21 | Sony Corporation | Information signal processing method and apparatus, and computer program product |
| JP2016197234A (ja) * | 2015-04-02 | 2016-11-24 | アクシス アーベー | 画像安定化方法及びシステム |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE230140T1 (de) * | 1998-09-07 | 2003-01-15 | Thomson Multimedia Sa | Bewegungsschätzungsverfahren zur reduzierung der übertragungskosten von bewegungsvektoren |
| GB9920256D0 (en) * | 1999-08-26 | 1999-10-27 | Wave Limited M | Motion estimation and compensation in video compression |
| US6477326B1 (en) | 2000-08-31 | 2002-11-05 | Recon/Optical, Inc. | Dual band framing reconnaissance camera |
| US6785427B1 (en) * | 2000-09-20 | 2004-08-31 | Arcsoft, Inc. | Image matching using resolution pyramids with geometric constraints |
| US20020196854A1 (en) * | 2001-06-15 | 2002-12-26 | Jongil Kim | Fast video encoder using adaptive hierarchical video processing in a down-sampled domain |
| KR20030049642A (ko) | 2001-12-17 | 2003-06-25 | 한국전자통신연구원 | 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법 |
| KR100453222B1 (ko) | 2001-12-17 | 2004-10-15 | 한국전자통신연구원 | 카메라 움직임 판별 장치 및 방법 |
| IL162879A0 (en) * | 2002-07-05 | 2005-11-20 | Dmatek Ltd | A method and system for effectively performing event detection in a large number of concurrent imagesequences |
| US7346226B2 (en) * | 2003-12-16 | 2008-03-18 | Genesis Microchip Inc. | Method and apparatus for MPEG artifacts reduction |
| US7499494B2 (en) * | 2003-12-23 | 2009-03-03 | Genesis Microchip Inc. | Vector selection decision for pixel interpolation |
| US7480334B2 (en) * | 2003-12-23 | 2009-01-20 | Genesis Microchip Inc. | Temporal motion vector filtering |
| US7346109B2 (en) * | 2003-12-23 | 2008-03-18 | Genesis Microchip Inc. | Motion vector computation for video sequences |
| US8331723B2 (en) * | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
| US9826159B2 (en) | 2004-03-25 | 2017-11-21 | Clear Imaging Research, Llc | Method and apparatus for implementing a digital graduated filter for an imaging apparatus |
| US10721405B2 (en) | 2004-03-25 | 2020-07-21 | Clear Imaging Research, Llc | Method and apparatus for implementing a digital graduated filter for an imaging apparatus |
| EP2243117B1 (de) | 2004-06-23 | 2012-11-14 | Hewlett-Packard Development Company, L.P. | Vorrichtung und verfahren zum ermitteln einer bewegung von aufnahmebildern |
| US20060215036A1 (en) * | 2005-03-25 | 2006-09-28 | Multivision Intelligent Surveillance (Hk) Ltd. | Method and apparatus for video stabilization |
| KR100814715B1 (ko) * | 2006-06-26 | 2008-03-18 | 한국산업기술대학교산학협력단 | 동영상 부호화기, 복호화기 및 그 방법 |
| US8154604B2 (en) * | 2006-08-11 | 2012-04-10 | Mavs Lab. Inc. | Camera motion parameter retrieving system and solving process |
| KR100793838B1 (ko) * | 2006-09-27 | 2008-01-11 | 한국전자통신연구원 | 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법 |
| KR101266362B1 (ko) * | 2009-10-22 | 2013-05-23 | 한국전자통신연구원 | 카메라 트래킹 시스템, 트래킹 방법 및 이를 이용한 실사영상 합성 시스템 |
| US9179047B2 (en) * | 2011-06-13 | 2015-11-03 | University Of Florida Research Foundation, Inc. | Systems and methods for estimating the structure and motion of an object |
| US9936128B2 (en) * | 2015-05-20 | 2018-04-03 | Google Llc | Automatic detection of panoramic gestures |
| CN109410254B (zh) * | 2018-11-05 | 2020-07-28 | 清华大学深圳研究生院 | 一种基于目标和相机运动建模的目标跟踪方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2677312B2 (ja) * | 1991-03-11 | 1997-11-17 | 工業技術院長 | カメラワーク検出方法 |
| US5259040A (en) * | 1991-10-04 | 1993-11-02 | David Sarnoff Research Center, Inc. | Method for determining sensor motion and scene structure and image processing system therefor |
| DE4342305A1 (de) * | 1993-12-11 | 1995-06-29 | Thomson Brandt Gmbh | Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal |
-
1999
- 1999-12-24 EP EP99969231A patent/EP1062815A1/en not_active Withdrawn
- 1999-12-24 WO PCT/EP1999/010409 patent/WO2000042771A1/en not_active Application Discontinuation
- 1999-12-24 CN CNB998061298A patent/CN1224264C/zh not_active Expired - Fee Related
- 1999-12-24 JP JP2000594255A patent/JP2002535894A/ja not_active Withdrawn
- 1999-12-24 KR KR1020007010156A patent/KR20010041862A/ko not_active Application Discontinuation
-
2000
- 2000-01-06 US US09/478,474 patent/US6349114B1/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182830A (ja) * | 2003-12-23 | 2005-07-07 | Genesis Microchip Inc | 質量中心の繰り返し使用によるカメラパンベクトルのロバスト推定 |
| US8422853B2 (en) | 2004-08-10 | 2013-04-16 | Sony Corporation | Information signal processing method and apparatus, and computer program product |
| US8634699B2 (en) | 2004-08-10 | 2014-01-21 | Sony Corporation | Information signal processing method and apparatus, and computer program product |
| JP2007064836A (ja) * | 2005-08-31 | 2007-03-15 | Kyushu Institute Of Technology | カメラキャリブレーションの自動化アルゴリズム |
| JP2016197234A (ja) * | 2015-04-02 | 2016-11-24 | アクシス アーベー | 画像安定化方法及びシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1062815A1 (en) | 2000-12-27 |
| CN1224264C (zh) | 2005-10-19 |
| CN1300503A (zh) | 2001-06-20 |
| US6349114B1 (en) | 2002-02-19 |
| WO2000042771A1 (en) | 2000-07-20 |
| KR20010041862A (ko) | 2001-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002535894A (ja) | カメラ動きパラメータを推定する方法 | |
| US7508990B2 (en) | Apparatus and method for processing video data | |
| EP0959626B1 (en) | Motion vector search method and apparatus | |
| EP0440218B1 (en) | A moving video image estimation system | |
| CA2326816C (en) | Face recognition from video images | |
| JP4139853B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN112509047B (zh) | 基于图像的位姿确定方法、装置、存储介质及电子设备 | |
| Ma et al. | Depth from zooming | |
| KR20010108160A (ko) | 비디오/오디오 신호 처리 방법 및 비디오/오디오 신호처리 장치 | |
| CA2654513A1 (en) | Apparatus and method for processing video data | |
| WO2023109221A1 (zh) | 确定单应性矩阵的方法、装置、介质、设备和程序产品 | |
| US20050265452A1 (en) | Temporal classified filtering for video compression | |
| CN1293782A (zh) | 视频序列描述符和使用该描述符的影像检索系统 | |
| KR100950617B1 (ko) | 이미지 시퀀스에서의 도미넌트 모션을 추정하는 방법 | |
| CN115239763A (zh) | 一种基于中心点检测和图匹配的平面目标跟踪方法 | |
| CN113592706B (zh) | 调整单应性矩阵参数的方法和装置 | |
| JP2003030645A (ja) | 画像照合装置 | |
| CN110390336B (zh) | 一种提高特征点匹配精度的方法 | |
| Chung et al. | Fast motion estimation with search-center prediction | |
| JPH0961705A (ja) | オートフォーカス装置 | |
| Spampinato et al. | Adaptive low cost algorithm for video stabilization | |
| Spampinato et al. | Low cost rototranslational video stabilization algorithm | |
| KR102335817B1 (ko) | 사용자 위치 연산 장치 | |
| Shukla et al. | A new composite multi-constrained differential-radon warping approach for digital video affine motion stabilization | |
| Zhang et al. | Diff-Tracker: Text-to-Image Diffusion Models are Unsupervised Trackers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070306 |