JP2008118638A - デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する方法、デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する装置、およびデジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定するコンピュータ・プログラムを具現するコンピュータが読み取り可能な媒体 - Google Patents

デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する方法、デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する装置、およびデジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定するコンピュータ・プログラムを具現するコンピュータが読み取り可能な媒体 Download PDF

Info

Publication number
JP2008118638A
JP2008118638A JP2007278535A JP2007278535A JP2008118638A JP 2008118638 A JP2008118638 A JP 2008118638A JP 2007278535 A JP2007278535 A JP 2007278535A JP 2007278535 A JP2007278535 A JP 2007278535A JP 2008118638 A JP2008118638 A JP 2008118638A
Authority
JP
Japan
Prior art keywords
jitter
pixel
video
search area
video frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007278535A
Other languages
English (en)
Other versions
JP2008118638A5 (ja
JP5012413B2 (ja
Inventor
Mikhail Brusnitsyn
ブラスニッツェン ミカイル
Clark Ian
クラーク イアン
Hui Zhou
ゾウ フイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2008118638A publication Critical patent/JP2008118638A/ja
Publication of JP2008118638A5 publication Critical patent/JP2008118638A5/ja
Application granted granted Critical
Publication of JP5012413B2 publication Critical patent/JP5012413B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】デジタル・ビデオのジッタを推定し補正する方法及び装置。
【解決手段】デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタ
を推定し補正する方法は一方のビデオ・フレームにおけるピクセル・サブセットを他方の
ビデオ・フレームにおける検索区域内のピクセル・サブセットの合致候補と比較して仮合
致のピクセル・サブセットを得ることを含む。仮合致のピクセル・サブセットの位置に基
づき、適合検索区域が形成され、適合検索区域内で比較が続けられ、最終的な合致ピクセ
ル・サブセットが得られる。最終合致に基づきビデオ・フレーム間の動きが計算され、そ
れによりジッタが推定される。ビデオ・フレームは次に推定ジッタに基づき変換される。
【選択図】図１

Description

本発明は全般的に画像処理に関し、より具体的にはデジタル・ビデオ・シーケンスにお
いてビデオ・フレーム間のジッタを推定し補正する方法および装置に関する。
デジタル・ビデオ・カメラなどのビデオ取り込み装置は生産コストの削減およびそれに
より消費者に対するコストの削減、ならびに品質の向上も手伝って非常に人気が出ている
。同様にこれらの要因はビデオ機能が携帯電話および携帯端末（ＰＤＡ）など他の消費者
向け電子装置に内蔵される結果をもたらした。
ジッタはデジタル・ビデオ・シーケンスの取り込み中デジタル・ビデオ取り込み装置が
望ましくなく動いた結果起こる。未経験のビデオ撮影者またはユーザがビデオ取り込み中
にジッタを避けるのはしばしば困難である。その結果、デジタル・ビデオ取り込み装置は
ジッタを扱うために通常ビデオ安定化を用いる。ビデオ安定化の目的は連続ビデオ・フレ
ーム間の動きを推定し、ビデオ・フレームの逐次表示の前に推定された動きに対し補正を
提供して望ましくないジッタを低減または排除することである。
デジタル画像シーケンスにおける連続ビデオ・フレーム間の動きを推定する方法につい
ては、特にシーケンス圧縮の目的に関し、多く書かれている。例えばＬｅｅ他の米国特許
第６５３５２４４号明細書は例えばキャムコーダを用いて取り込んだ画像シーケンスの画
像を安定化する装置を開示している。特定の照明条件下のフレームにおける動きの検出に
適した最適なビットプレーンを最適ビットプレーン検出器が判定する。最適なビットプレ
ーンを選択する場合、低照明条件下ではより低いビットプレーンが選択され、より高い照
明条件下ではより高いビットプレーンが選択される。選択されたビットプレーンの動きベ
クトル検出領域におけるバイナリー・ピクセルが先行フレームの複数の検出ウィンドウと
比較される。相関値が最小である位置を動きベクトル計算器が判定し、複数の動きベクト
ルの各々が対応する複数の動きベクトル領域の各々に対し計算される。複数の動きベクト
ル検出領域に対する動きベクトルの平均値が全体動きベクトルとして判定される。
Ｂｏｕｒｄｏｎ他の米国特許第５７３７４４７号明細書は画像をある階層レベルに対応
する決定サイズのマクロブロックに仕切る画像動き推定器を開示している。３つの画像シ
ーケンス・メモリが対応する３つの連続画像の各々、および後続画像において変位したピ
クセルを囲むピクセルのグループの輝度値を格納する。輝度値および所定の初期変位ベク
トルに基づき、画像シーケンスに関し変位したフレーム間差異および勾配が計算される。
後続する階層レベルにある動きベクトルを用いて先行する階層レベルにある動きベクトル
が更新され、漸次「最良」の変位が得られる。最良変位は次に伝送用に画像シーケンスの
ビットレートを削減するために基準フレームに結び付けて格納される。
Ｋｏｂａｙａｓｈｉ他の米国特許第５９０９２４２号明細書は取り込み中意図的でない
動きに起因するデジタル・ビデオ・シーケンスにおける画像を安定化する方法および装置
を開示している。動き検出回路は４つの選択された検出区域内各々におけるいくつかの代
表的な点の位置および輝度データを格納する代表点メモリを含む。各検出区域はいくつか
の領域に分割され、各々代表点を有する。減算回路が領域の輝度差を蓄積して現行フィー
ルドおよび先行フィールド間の輝度差を評価する。各検出区域に対し最小相関値が計算さ
れ、最小相関値を有するピクセルの位置データが評価される。位置データおよび相関値に
基づき全画面、すなわち画像フィールド、の動きベクトルが次に計算される。各検出区域
に対し平均相関値を最小相関値で割り、結果を閾値と比較して検出区域各々に対する動き
ベクトルが間違って検出されたか判定される。
Ｋｏｎｄｏの米国特許第５９２６２１２号明細書は画像信号処理装置用の動きベクトル
検出回路およびカメラ振動検出回路を開示している。１つの画像平面の画像データが複数
のブロックに分割される。ブロック照合方法により動きベクトルが検出され、その際、基
準フレームの照合ブロックが先行フレームの所定検索区域における照合ブロックと比較さ
れる。ブロックの動きは基準フレームの照合ブロックにおけるピクセルと先行フレームの
照合ブロックにおける対応ピクセルとの間の差を蓄積することにより計算される。基準フ
レームの照合ブロックに対し先行フレームで最も良く合致する照合ブロックの位置を用い
てフレーム間の相対的動きが判定される。あるいは、カメラの振動は全画像平面を用い、
または基準フレームの比較的大きなブロックを先行フレームの検索区域における照合ブロ
ックに比較されることに基づき補正される。先行フレームの検索区域は照合ブロックより
水平方向に±４ピクセル分大きく、垂直方向に±３ピクセル分大きい。基準フレームのブ
ロックおよび各々の検索ブロック間のフレームの絶対差合計を計算することにより絶対差
の最小合計に対応するフレームが判定される。不動の照合ブロックが少なくとも１つある
と判定された場合、カメラの振動は起こらなかったとみなされる。
Ｓｕｇｉｙａｍａの米国特許第６２０５１７６号明細書は画像シーケンスにおける動き
を補正する画像シーケンスを符号化し復号化する方法を開示する。動きベクトルの符号化
工程の際、先行ブロックおよび現行ブロックにおける動きベクトルの水平成分の差および
先行ブロックおよび現行ブロックにおける動きベクトルの垂直成分の差が求められる。差
の値はハフマン・コードで符号化され、マルチプレクサに供給される。符号化用の動きベ
クトルの予測エラーは、特に画像の高周波成分が極めて少ない場合、削減される。
Ｊａｎｄｅｌの米国特許第６２２６４１３号明細書は冗長を利用してより低いシーケン
ス伝送のビット・レートをもたらすことによりデジタル・ビデオ・シーケンスにおける動
きを推定する方法を開示している。オブジェクト・ベースの増分区分けに基づくビットプ
レーン符号化手法を用いて異なったビットプレーンにおける動きが推定される。画像シー
ケンスの推定はビットプレーンの重要度の降順で行なわれ、増分動き推定および区分けは
各ビットプレーンの伝送後実施される。
Ｅｄｅｌｓｏｎの米国特許第６３５１５４５号明細書はビデオ・ストリームにおける連
続フレーム間の密な動きベクトル・フィールドを判定し、判定された動きベクトル・フィ
ールドに基づきフレームを補間して低フレーム・レートの動画においてぎくしゃくした動
きを除去するシステムを開示する。第１フレームの画像要素における各ピクセルに対しベ
クトル値が生成され、後続フレームにおいて対応画像要素がどこに移動したかを示す。決
定されたベクトル値の大きさはフレームが補間される際、位置に対応するようスケールさ
れる。
Ｙａｓｕｎａｒｉ他の米国特許第６５９１０１５号明細書は各々のフレームにおける目
標ブロックおよび候補ブロック間の相関を評価するブロック照合手法を用いるビデオ符号
化方法を開示している。各目標ブロックに対し候補ブロックから距離および方向を表す動
きベクトルが提供される。フェーディング効果が動きの検出に悪影響を及ぼすような場合
、等化手順が動きの正確な検出を促進する。
Ｋａｗａｈａｒａの米国特許第６７３４９０２号明細書はビデオ・カメラ用の振動補正
装置を開示している。動きベクトル検出回路および角速度検出センサの出力が結合され、
意図的でない手の動きによる振動を補正する。動きベクトル検出回路は画像輝度に基づき
動きベクトルを検出し、ブロック照合方法を用いる。ブロック照合方法は入力画像信号を
複数のブロックに分割し、各ブロックに対しそのピクセルおよび先行フィールドまたはフ
レームのピクセル間の差を計算し、先行フィールドまたはフレームで差の絶対値の合計が
最小であるブロックを検索することを含む。合致するブロックの相対的変位が動きベクト
ルを決定する。全体の動きベクトルは例えば各々のブロックの動きベクトルを平均化する
など、各々のブロックの動きベクトルから判定される。角速度検出センサは望ましいパン
操作を明らかにするために単位時間毎の動きベクトル・データに基づきパンおよびティル
トを識別する。
Ｃｏｏｋの米国特許第６７０７８５３号明細書はビデオの動きを補正する回路を開示し
ている。データのマクロブロックはそれらマクロブロックに関する関連補正データを有す
る１つ以上の動き補正命令にコード変換される。回路は複数の動き補正モードをサポート
する。
Ｐａｒｋの米国特許出願番号第２００２／０２２３６４４号明細書は画像取り込みの際
、望ましくない揺れまたは振動に起因する画像の動きを補正する装置および方法を開示し
ている。方法は取り除かない場合は符号化を必要とする望ましくない振動に起因するデー
タを除去することにより圧縮の効率を向上させる。動き推定器／検出器が所定ブロックの
単位で動きベクトルを検出し、検出された動きベクトルを用いて所定の動き推定範囲の平
均動きベクトルを計算の上、平均動きベクトルを用いて圧縮する画像区域を補正する。
Ｋｕｄｏの米国特許出願番号第２００３／０００３０７２８号明細書はビデオ・カメラ
により取り込まれたビデオ・データにおける望ましくない動きを補正する方法を開示して
いる。画像動き検出回路が画像区域内の複数の位置において画像の特徴点を抽出し、異な
った時間における複数画像間の特徴点の変化から動きベクトルを計算することにより画像
区域全体の動きを検出する。ぼやけ検出装置はビデオ・カメラの振動を検出する角速度セ
ンサを含む。ぼやけ検出装置は動きがビデオ・カメラの望ましくない振動の結果かどうか
判定するために画像動き検出回路に入力を提供する。
Ｖｅｌｌａ他の米国特許出願番号第２００４／００２７４５４号明細書は画像シーケン
スの安定化方法を開示している。比較される画像の部分の検索区域における適合ブロック
を評価するブロック照合方法が用いられる。個々のブロックの動きベクトルを用いてグロ
ーバルな動きベクトルが評価される。第１画像における領域が複数のピクセル・ブロック
に小分けされ、各ピクセル・ブロックに各々の不均質性測定に基づき計算された加重係数
が割り当てられる。前記猟奇の動きベクトルは同領域の各ピクセル・ブロックに割り当て
られた加重係数に基づき推定される。不均質性の尺度はピクセル・ブロック各々の周波数
内容に基づきグローバルな動きの推定における信頼性を評価するために用いられる。画像
の動きに関し信頼できる情報を提供できないピクセル・ブロックはブロックの動きベクト
ルを計算する前に切り捨てられる。
Ｋａｊｉｋｉ他の米国特許出願番号第２００５／０１００２３３号明細書は高圧縮予測
符号化を用いて画像の動き情報を圧縮する方法およびシステムを開示している。フレーム
のピクセルは空間的または時間的に隣接するフレームの対応ピクセルと比較され、差分情
報が生成される。差分情報は画像シーケンス・データを効率的に符号化するために用いら
れる。
米国特許第５７３７４４７号明細書
上記に例示したごとく、ジッタを推定し補正する手法は知られているが、このような手
法の向上が望まれる。従って本発明の一目的はデジタル・ビデオ・シーケンスにおけるフ
レーム間のジッタを推定し補正する新規な方法および装置を提供することにある。
一態様により、デジタル・ビデオ・シーケンスの２つのビデオ・フレーム間のジッタを
推定する方法が提供され、一方のビデオ・フレームのピクセル・サブセットを他方のビデ
オ・フレームの検索区域内の候補ピクセル・サブセットと比較し、候補ピクセル・サブセ
ットから仮合致のピクセル・サブセットを判定すること、前記検索区域に対する仮合致の
ピクセル・サブセットの位置に基づき他方のビデオ・フレームから実際合致のピクセル・
サブセットを判定すること、前記ピクセル・サブセットおよび実際合致のピクセル・サブ
セットに基づきグローバル・ジッタ・ベクトルを計算することによりジッタを推定するこ
と、を含む。
一実施形態で、判定は検索区域の境界に対する仮合致のピクセル・サブセットの位置に
基づく。判定は仮合致のピクセル・サブセットが検索区域の境界に隣接しているかを判定
することを含む。隣接していない場合、仮合致のピクセル・サブセットは実際合致のピク
セル・サブセットと指定される。隣接する場合は検索区域を移動し、ピクセル・サブセッ
トは移動した検索区域内の候補ピクセル・サブセットと比較され、実際合致のピクセル・
サブセットが判定される。
ピクセル・サブセットを比較する前にビデオ・フレームは調節可能な輝度閾値に基づい
て白黒に転換される。さらにグローバル・ジッタ・ベクトルを計算する前に実際合致のピ
クセル・サブセットの信頼性も確認される。
グローバル・ジッタ・ベクトルを計算することに加え、ビデオ・フレーム間の回転ジッ
タも計算される。回転ジッタは蓄積エラーに対し補正される。グローバル・ジッタ・ベク
トルも意図的なパンに対し補正される。
ビデオ・フレームは推定ジッタに基づき変換され、推定ジッタに従いビューポートが変
換ビデオ・フレームと位置合わせされる。ビデオ・フレームは次にビデオ・フレームの非
対応部分をクロップして表示される。
別の態様により、デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間の
ジッタを推定する装置が提供され、一方のビデオ・フレームのピクセル・サブセットを他
方のビデオ・フレームの検索区域内の候補ピクセル・サブセットと比較し、候補ピクセル
・サブセットから仮合致のピクセル・サブセットを判定するフレーム・コンパレータと、
前記検索区域に対する仮合致のピクセル・サブセットの位置を判定する合致位置推定器、
合致位置推定器により判定された位置に基づきフレーム・コンパレータは他方のビデオ・
フレームから実際合致のピクセル・サブセットを判定することと、ピクセル・サブセット
および実際合致のピクセル・サブセットに基づきグローバル・ジッタ・ベクトルを計算す
るジッタ推定器、を含む。
さらに別の態様により、デジタル・ビデオ・シーケンスにおける２つのビデオ・フレー
ム間のジッタを推定するコンピュータ・プログラムを具現するコンピュータ読み取り可能
な媒体が提供され、コンピュータ・プログラムは、一方のビデオ・フレームのピクセル・
サブセットを他方のビデオ・フレームの検索区域内の候補ピクセル・サブセットと比較し
、候補ピクセル・サブセットから仮合致のピクセル・サブセットを判定するコンピュータ
・プログラム・コードと、前記検索区域に対する仮合致のピクセル・サブセットの位置に
基づき他方のビデオ・フレームから実際合致のピクセル・サブセットを判定するコンピュ
ータ・プログラム・コードと、ピクセル・サブセットおよび実際合致のピクセル・サブセ
ットに基づきグローバル・ジッタ・ベクトルを計算することによりジッタを推定するコン
ピュータ・プログラム・コードとを含む。
本発明の一態様である、デジタル・ビデオ・シーケンスにおける２つのビデオ・フレー
ム間のジッタを推定する方法は、一方のビデオ・フレームのピクセル・サブセットを他方
のビデオ・フレームの検索区域内の候補ピクセル・サブセットと比較し、前記候補ピクセ
ル・サブセットから仮合致のピクセル・サブセットを判定するステップと、前記検索区域
に対する前記仮合致のピクセル・サブセットの位置に基づき他方のビデオ・フレームから
実際合致のピクセル・サブセットを判定するステップと、前記ピクセル・サブセットおよ
び前記実際合致のピクセル・サブセットに基づきグローバル・ジッタ・ベクトルを計算す
ることにより前記ジッタを推定するステップと、を含むことを特徴とする。
また、前記判定ステップは前記検索区域の境界に対する前記仮合致のピクセル・サブセ
ットの位置に基づくものであってもよい。
また、前記判定ステップは、前記仮合致のピクセル・サブセットが前記検索区域の境界
に隣接しているかを判定するステップと、隣接していない場合、前記仮合致のピクセル・
サブセットを前記実際合致のピクセル・サブセットと指定するステップと、隣接する場合
は前記検索区域を変更するステップと、前記ピクセル・サブセットを、移動した前記検索
区域内の候補ピクセル・サブセットと比較し、実際合致のピクセル・サブセットを判定す
るステップと、を含むものであってもよい。
また、前記変更ステップは、前記検索区域を前記仮合致のピクセル・サブセットの方向
に移動させるステップとを含むものであってもよい。
また、前記仮合致のピクセル・サブセットが前記検索区域の境界と一致する境界を有し
ない場合前記仮合致のピクセル・サブセットは前記実際合致のピクセル・サブセットと指
定されるものであってもよい。
また、前記検索区域は前記一方のビデオ・フレームにおける前記ピクセル・サブセット
に対応するピクセルとそれらを囲むピクセルの帯を含むものであってもよい。
また、前記帯の前記幅は検索区域が移動される距離に等しいものであってもよい。
また、前記ピクセル・サブセットはピクセル・ブロックのセットを含み、前記ピクセル
・ブロックは前記一方のビデオ・フレームにわたり分布しているものであってもよい。
また、前記比較ステップは前記一方のビデオ・フレームのピクセル・ブロックを他方の
ビデオ・フレームにおける検索区域内の対応ピクセル・ブロックと比較してピクセル・ブ
ロックの仮合致セットを判定することを含むものであってもよい。
また、前記ピクセル・ブロック比較ステップの際、前記ピクセル・ブロックのピクセル
と前記検索区域のピクセルとの間の絶対差が計算され蓄積され、それによりピクセル・ブ
ロックの前記仮合致セットを判定するものであってもよい。
また、前記ピクセル・ブロックは前記一方のビデオ・フレームにわたり均一に分布して
いるものであってもよい。
また、前記比較ステップの前に、前記ビデオ・フレームを白黒に転換するステップとを
含むものであってもよい。
また、前記転換ステップは、輝度閾値に対する各ピクセルの輝度に基づき前記ビデオ・
フレームの各ピクセルを黒または白に転換すること、を含むものであってもよい。
また、前記輝度閾値は調節可能であるものであってもよい。
また、前記輝度閾値は、前記一方のビデオ・フレームにおけるピクセルの平均輝度があ
る閾値量を越えて前記輝度閾値と異なる場合調節されるものであってもよい。
また、前記転換ステップは、前記各ビデオ・フレームの全体輝度測度を計算するステッ
プと、前記全体輝度測度の平均に基づきビットプレーンを選択するステップと、前記選択
されたビットプレーンに基づき前記ビデオ・フレームの各ピクセルを黒および白のいずれ
かに設定するステップと、を含むものであってもよい。
また、前記全体輝度測度はビデオ・フレームの輝度平均であるものであってもよい。
また、前記実際合致のピクセル・サブセットの前記信頼性を調べるステップと、前記実
際合致のピクセル・サブセットが信頼できるとみなされた場合にのみ前記グローバル・ジ
ッタ・ベクトルを計算するステップと、を含むものであってもよい。
また、前記実際合致のピクセル・サブセットの信頼性はフレーム・コントラスト測度お
よび峻度測度の少なくとも１つに基づくものであってもよい。
また、前記ビデオ・フレーム間の回転ジッタを計算するステップとを含むものであって
もよい。
また、前記回転ジッタに補正係数を掛けて蓄積エラーを補正するステップとを含むもの
であってもよい。
また、前記グローバル・ジッタ・ベクトルから先行するＭビデオ・フレームの加重グロ
ーバル・ジッタ平均を差し引き、デジタル・ビデオ・シーケンス取り込みにおける意図的
なパンに対し調整するステップとを含むものであってもよい。
また、前記推定ジッタに基づき前記ビデオ・フレームを変換するステップとを含むもの
であってもよい。
また、前記変換ステップは、前記推定ジッタに基づいて、ビューポートを前記ビデオ・
フレームと位置合わせするステップとを含むものであってもよい。
また、前記ビデオ・フレームを表示し、表示の際、前記ビデオ・フレームの非対応部分
はクロップされるステップとを含むものであってもよい。
本発明の一態様である、デジタル・ビデオ・シーケンスにおける２つのビデオ・フレー
ム間のジッタを推定する装置は、一方のビデオ・フレームのピクセル・サブセットを他方
のビデオ・フレームの検索区域内の候補ピクセル・サブセットと比較し、前記候補ピクセ
ル・サブセットから仮合致のピクセル・サブセットを判定するフレーム・コンパレータと
、前記検索区域に対する前記仮合致のピクセル・サブセットの位置を判定する合致位置推
定器であって、前記合致位置推定器により判定された位置に基づきフレーム・コンパレー
タは他方のビデオ・フレームから実際合致のピクセル・サブセットを判定する合致位置推
定器と、前記ピクセル・サブセットおよび前記実際合致のピクセル・サブセットに基づき
グローバル・ジッタ・ベクトルを計算し、前記ジッタを推定するジッタ推定器と、を含む
ことを特徴とする。
また、前記推定ジッタに基づき前記ビデオ・フレームを変換するジッタ補正器を含むも
のであってもよい。
また、前記ジッタ補正器はさらに回転ジッタ・ベクトルを計算するものであってもよい
。
本発明の一態様である、デジタル・ビデオ・シーケンスにおける２つのビデオ・フレー
ム間のジッタを推定するコンピュータ・プログラムを具現するコンピュータ読み取り可能
な媒体は、前記コンピュータ・プログラムが、一方のビデオ・フレームのピクセル・サブ
セットを他方のビデオ・フレームの検索区域内の候補ピクセル・サブセットと比較し、前
記候補ピクセル・サブセットから仮合致のピクセル・サブセットを判定するコンピュータ
・プログラム・コードと、前記検索区域に対する前記仮合致のピクセル・サブセットの位
置に基づき他方のビデオ・フレームから実際合致のピクセル・サブセットを判定するコン
ピュータ・プログラム・コードと、前記ピクセル・サブセットおよび前記実際合致のピク
セル・サブセットに基づきグローバル・ジッタ・ベクトルを計算することにより前記ジッ
タを推定するコンピュータ・プログラム・コードと、を含むことを特徴とする。
また、前記推定ジッタに基づき前記ビデオ・フレームを変換するコンピュータ・プログ
ラム・コードを含むものであってもよい。
ジッタ推定および補正方法および装置は先行技術に比較して必要とされる計算量が削減
されることから利点を提供する。さらに、ピクセル・サブセット照合を判定するために、
白黒のビデオ・フレームを全体的な絶対ピクセル差の比較と組み合わせて用いることによ
り必要なメモリ域は削減され、性能は維持され、充分な正確さが達成される。
以下に添付図面を参照して実施形態をさらに詳しく説明する。以下の説明において、デ
ジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定し補正す
る方法、装置、およびコンピュータ・プログラムを具現するコンピュータ読み取り可能な
媒体が開示される。ジッタ推定の際、一方のビデオ・フレームのピクセル・サブセットが
他方のビデオ・フレームの検索区域内にある候補ピクセル・サブセットと比較され、候補
ピクセル・サブセットから仮合致のピクセル・サブセットを判定する。検索区域に対する
仮合致のピクセル・サブセットの位置に基づき他方のビデオ・フレームから実際合致のピ
クセル・サブセットが判定される。ピクセル・サブセットおよび実際合致のピクセル・サ
ブセットに基づきグローバル・ジッタ・ベクトルが計算され、それによりジッタが推定さ
れる。ビデオ・フレームは次に推定されたジッタに基づき変換され、ジッタに対し補正が
なされる。
方法および装置はパソコン、例えばデジタル・カメラ、ビデオ・カメラ、もしくはビデ
オ機能を有する電子装置などのデジタル・ビデオ取り込み装置、または他の演算システム
環境を含むがこれらに限定されない処理装置で実行されるコンピュータ実行可能な命令を
含むソフトウェア・アプリケーションに具現されることができる。ソフトウェア・アプリ
ケーションは独立してデジタル・ビデオ・ツールとして実行されるか、または他の利用可
能なデジタル・ビデオ・アプリケーションに組み入れられこれらのデジタル画像ビデオ・
アプリケーションの機能を向上させることができる。ソフトウェア・アプリケーションは
ルーチン、プログラム、オブジェクト・コンポーネント、データ構造等々を含むことがで
き、コンピュータ読み取り可能な媒体に格納されるコンピュータ読み取り可能なプログラ
ム・コードとして具現されることができる。コンピュータ読み取り可能な媒体は後にコン
ピュータ・システムにより読み取られることのできるデータを格納し得る任意のデータ記
憶装置である。コンピュータ読み取り可能な媒体の例としては例えば読み取り専用メモリ
、ランダムアクセス・メモリ、ＣＤ−ＲＯＭ、磁気テープおよび光データ記憶装置が含ま
れる。コンピュータ読み取り可能なプログラム・コードはさらに、コンピュータ読み取り
可能なプログラム・コードが分散的に格納され実行されるよう結合コンピュータ・システ
ムを含むネットワーク上に分散することができる。次に図１〜図２０を参照してジッタ推
定および補正の実施形態を説明する。
次に図１を見ると、デジタル・ビデオ・シーケンスにおけるビデオ・フレーム間のジッ
タを推定し補正するために行なう全般的な工程を示すフローチャート９０で特定される。
ジッタ推定および補正の際、連続ビデオ・フレームの各ペアについてビデオ・フレームは
まず白黒に転換され（ステップＳ１００）、フレーム間のグローバル・ジッタが推定され
る（ステップＳ２００）。フレーム間の回転ジッタが次に推定され（ステップＳ３００）
、フレーム間のグローバルおよび回転ジッタ推定は意図的動きおよび蓄積エラーに対し補
正される（ステップＳ４００）。補正されたフレーム間のグローバルおよび回転ジッタ推
定に基づき、ビデオ・フレームはジッタを補正すべく変換され、表示される（ステップＳ
５００）。
図２はステップＳ１００においてビデオ・フレームを白黒に転換する際、実施される工
程を示すフローチャートである。最初に、各ビデオ・フレームにおけるピクセルの輝度（
Ｙ）チャンネルが得られ（ステップＳ１１０）、各ビデオ・フレームの平均ピクセル輝度
が判定される（ステップＳ１１２）。平均輝度は０〜２５５の間で、ゼロ（０）（最も有
意でないビット）〜７（最も有意なビット）の番号をつけられた８ビットプレーンで表さ
れる。
次に各ビデオ・フレームの平均ピクセル輝度を調べ、平均ピクセル輝度が黒に近いか白
に近いか（すなわち７未満か２４８を越えているか）を判定する（ステップＳ１１４）。
各ビデオ・フレームの平均ピクセル輝度が７未満であるか２４８を越えている場合（すな
わちその値が０番目から３番目または８番目のビットプレーンに対応する場合）、ビデオ
・フレーム間のジッタは比較的目立たないのでフレーム間のジッタ補正は不必要とみなさ
れる（ステップＳ１１６）。それ以外の場合、ビデオ・フレームの平均ピクセル輝度に基
づき下記の表１に従い４番目、５番目、または６番目のビットプレーンが各ビデオ・フレ
ームに対し選択される（ステップＳ１１８）。
次にビデオ・フレームの平均ピクセル輝度を比較して（ステップＳ１２０）平均ピクセ
ル輝度が差異閾値を超えて異なるか判定する（ステップＳ１２２）。この状態はビデオ取
り込み中にフラッシュまたは自動輝度調節があった結果生じ得る。平均ピクセル輝度が差
異閾値以上の場合、７番目のビットプレーンが選択される（ステップＳ１２６）。ステッ
プＳ１２２において、平均ピクセル輝度間の差異が差異閾値未満の場合、選択されたビッ
トプレーンが双方のビデオ・フレームに対し利用可能であるかを判定するために確認され
る（ステップＳ１２４）。選択されたビットプレーンが双方のビットプレーンに対し利用
可能の場合、選択されたビットプレーンは保持される（ステップＳ１２８）。そうでない
場合、７番目のビットプレーンが選択される。ステップＳ１２６またはステップＳ１２８
に続き、一旦、ビットプレーンが選択されるとビデオ・フレーム各々のピクセルは選択さ
れたビットプレーン上のピクセルのビット値に基づき白黒に（すなわち黒または白に）転
換される。特に、選択されたビットプレーン上のピクセルの値がゼロ（０）の場合、その
ピクセルは純粋な黒と指定される。しかしピクセルのビット値が１の場合、ピクセルは純
粋な白と指定される。差異閾値の値は実施の要件に基づき選択されることが理解されよう
。
上述のような方法でビットプレーンを選択するとノイズが低減されたビットプレーンお
よび有用なビデオ・フレーム情報をもたらす。ビデオ・フレームの比較に１ピクセルに対
し８ビット用いる代わりに単一のビットプレーンを用いるとビデオ・フレーム比較のコス
トおよび複雑さを相当削減する。例えばピクセルによるビデオ・フレームの比較は高速な
排他的ＯＲ演算を用いて行なうことができる。
図３はステップＳ２００において白黒ビデオ・フレームおよび調節可能な検索区域を用
いてフレーム間のグローバル・ジッタを推定するフレーム照合の際、実施される工程を示
すフローチャートである。最初にビデオ・フレームのサイズにより第１ビデオ・フレーム
を９個の３×３の長方形領域、１６個の４×４の長方形領域、または２５個の５×５の長
方形領域に分割して第１フレームにおけるピクセル領域が決定される（ステップＳ２１０
）。この実施形態では、第１ビデオ・フレームは９個の３×３の長方形ピクセル領域に分
割される。
ピクセル領域が決定された後、第１ビデオ・フレームに渡り全般的に均一に分布される
ピクセル・ブロックのセットを含むピクセル・サブセットが選択される（ステップＳ２１
２）。セットにおける各ピクセル・ブロックはｎ×ｎ（すなわち８×８または１６×１６
）ピクセルを含み、複数のピクセル・ブロックが各ピクセル領域に位置している。
図４は第１ビデオ・フレームが９個の３×３のピクセル領域に分割されているところを
示しており、各領域は中に間を空けて９個の分離したピクセル・ブロックを有する。ピク
セル領域はＡ〜Ｉまでの符号が付けられ、対応ピクセル・ブロックはピクセル・ブロック
Ａ１〜Ａ９，Ｂ１〜Ｂ９，Ｃ１〜Ｃ９，・・・，Ｉ１〜Ｉ９等々の符号が付けられる。
続くビデオ・フレームにおいて第１ビデオ・フレームにおける各ピクセル・ブロックに
対する検索区域が次に定義される。各検索区域は結び付けられたピクセル・ブロックのピ
クセルに対応するピクセルに加え周囲にＮ個の狭いピクセル帯を含み、ここでＮは小さい
数である。この実施形態では、Ｎは８に等しく、帯は８ピクセルの厚みを有する。具体的
に、各検索区域は結び付けられたピクセル・ブロックより１６ピクセル分広く、かつ１６
ピクセル分高い（水平および垂直方向双方に−８〜＋８の範囲に相当する）。
図５は続くビデオ・フレームを示し、第１ビデオ・フレームからピクセル・ブロックＡ
１，Ａ２，Ａ４が各々の検索区域７０６に重ねられている。図示されていないが、ピクセ
ル・ブロックＡ３およびピクセル・ブロックＡ５からピクセル・ブロックＩ９に対する検
索区域７０６も同様に定義される。個々の検索区域７０６は集合すると、以下に説明する
ようにフレームおよび領域照合用の全体的な検索区域を形成する。
次に１７×１７のグローバル・アキュムレータ・アレーが定義される。さらに、第１ビ
デオ・フレームにおける各ピクセル領域に対し領域アキュムレータ・アレーが定義される
。この実施形態では、９個のピクセル領域Ａ〜Ｉに対応する９個の１７×１７の領域アキ
ュムレータ・アレーが定義される。グローバルおよび領域アキュムレータの寸法は各ピク
セル・ブロックがその結び付いた検索区域７０６内でピクセル・ブロックを検索区域全体
にわたりパンする際に可能な異なった位置の数に対応する。
第１ビデオ・フレームにおけるピクセル・ブロックは次に続くビデオ・フレームにおい
て結び付いた検索区域７０６内の対応ピクセル・ブロックと比較され、仮合致のピクセル
・ブロックのセットを判定する（ステップＳ２１４）。このプロセスで、第１ビデオ・フ
レームに対し定義されたピクセル・ブロックＡ１は図６（ａ）に示すように結び付いた検
索区域７０６の左上の隅に配置される（結びついた検索区域７０６の（−８，−８）位置
に相当する）。ピクセル・ブロックＡ１のピクセルは次に結び付いた検索区域７０６の対
応ピクセルと比較され、絶対ピクセル差が計算される。次にピクセル・ブロックＡ１のピ
クセルが結び付いた検索区域７０６における対応ピクセルと比較され、絶対ピクセル差が
計算される。ピクセル・ブロックＡ１に関し計算された絶対ピクセル差は次に蓄積されピ
クセル領域Ａ用に定義された領域アキュムレータ・アレーの位置（１，１）に格納される
。
（−８，−８）位置におけるピクセル・ブロックＡ１の絶対ピクセル差が蓄積され格納
されると、ピクセル・ブロックＡ１は図６（ｂ）に示すように検索区域７０６内で１ピク
セル分移動され（結び付いた検索区域７０６における（−８，−７）ピクセル・ブロック
位置に相当）、上記工程が再度行なわれる。位置（−８，−７）におけるピクセル・ブロ
ックＡ１の計算された絶対ピクセル差は蓄積されピクセル領域Ａ用に定義された領域アキ
ュムレータ・アレーの位置（１，２）に格納される。図６（ｃ）、図６（ｄ）および図６
（ｅ）等々順に示されるように検索区域７０６内のピクセル・ブロックの移動は検索区域
７０６内のピクセルの組み合わせがすべて上述のように処理されるまで再度行なわれる。
図６（ｆ）はピクセル・ブロックＡ１が検索区域７０６内でその最終位置（＋８，＋８）
まで移動したところを示す。このピクセル・ブロックの位置で、計算された絶対ピクセル
差は蓄積されピクセル領域Ａ用に定義された領域アキュムレータ・アレーの位置（１７，
１７）に格納されることが理解されよう。この実施形態では水平および垂直方向双方に１
７の検索可能な位置があるので、１７×１７＝２８９のピクセル・ブロック位置が処理さ
れる。
一旦、ピクセル・ブロックＡ１のピクセル比較が完了すると、ピクセル・ブロックＡ２
に対し同様のプロセスが実施される。このプロセスで、ピクセル・ブロックＡ２は最初に
図７（ａ）に示すようにその結び付けられた検索区域７０６の左上の隅に配置される（結
び付いた検索区域７０６の位置（−８，−８）に相当）。次にピクセル・ブロックＡ２の
ピクセルが検索区域７０６の対応ピクセルと比較され、絶対ピクセル差が計算される。ピ
クセル・ブロックＡ２用に計算された絶対ピクセル差は蓄積され次にピクセル領域Ａ用に
定義された領域アキュムレータ・アレーの位置（１，１）に加算される。
（−８，−８）位置におけるピクセル・ブロックＡ２の絶対ピクセル差が計算され領域
アキュムレータ・アレーに加算されると、ピクセル・ブロックＡ２は図７（ｂ）に示すよ
うに検索区域７０６内で１ピクセル分移動され（結び付いた検索区域７０６における（−
８，−７）ピクセル・ブロック位置に相当）、上記工程が再度行なわれる。位置（−８，
−７）におけるピクセル・ブロックＡ２の計算された絶対ピクセル差は蓄積され次にピク
セル領域Ａ用に定義された領域アキュムレータ・アレーの位置（１，２）に加算される。
図７（ｃ）、図７（ｄ）および図７（ｅ）等々順に示されるように検索区域７０６内のピ
クセル・ブロックの移動は検索区域７０６内のピクセルの組み合わせがすべて上述のよう
に処理されるまで再度行なわれる。図７（ｆ）はピクセル・ブロックＡ２が検索区域７０
６内でその最終位置（＋８，＋８）まで移動したところを示す。このピクセル・ブロック
の位置で、計算された絶対ピクセル差は蓄積されピクセル領域Ａ用に定義された領域アキ
ュムレータ・アレーの位置（１７，１７）に格納された絶対ピクセル差に加算される。
一旦、ピクセル・ブロックＡ２のピクセル比較が完了すると、ピクセル・ブロックＡ３
に対し同様のプロセスが実施される。上記のプロセスはピクセル領域Ａ内の残りのピクセ
ル・ブロックＡ４〜Ａ９に対しピクセル比較が完了するまで続けられる。
一旦、ピクセル領域Ａ内のすべてのピクセル・ブロックに対し処理が完了すると、ピク
セル領域Ａのピクセル・ブロックに対する処理が同様に実施される。ピクセル領域Ｂにお
けるピクセル・ブロックの処理の際、計算された絶対ピクセル差は蓄積され、ピクセル領
域Ｂ用に定義された領域アキュムレータ・アレーに格納される。ピクセル領域Ｂのピクセ
ル・ブロックが処理されると、残りのピクセル領域Ｃ〜Ｉ各々におけるピクセル・ブロッ
クに対し同様のプロセスが実施される。上記手順の結果、各ピクセル領域Ａ〜Ｉ用に定義
された領域アキュムレータ・アレーに値が入る。
上記に続き、領域アキュムレータ・アレーに蓄積された絶対ピクセル差値を用いて前に
定義されたグローバル・アキュムレータ・アレーに値を入れる。特に、９つの領域アキュ
ムレータ・アレーが合計され、その結果のグローバルな蓄積された絶対ピクセル差値を用
いてグローバル・アキュムレータ・アレーに入れる。従って、例えばピクセル領域Ａ〜Ｉ
に対し定義された領域アキュムレータの位置（１，１）における値が加算され、合計の値
がグローバル・アキュムレータ・アレーの位置（１，１）に入れられる。一旦、グローバ
ル・アキュムレータ・アレーに値が入ると、グローバル・アキュムレータ・アレーにおい
て最も低いグローバルな絶対ピクセル差を有する位置が判定される。
フレーム照合の際、すべてのピクセルを照合することが最も正確な結果を提供するが、
性能およびコストなど現実的な条件によりフレーム照合の際、実行し得るピクセル比較の
数は制限される。検索区域のサイズはフレーム照合の速度および質に影響を与えることが
理解されよう。例えば、周囲にＮピクセルの帯がある場合、最適な合致を見出すためには
（２Ｎ＋１）2の絶対ピクセル差を計算しなければならない。周囲のピクセル帯が２Ｎと
倍になった場合、計算しなければならない絶対ピクセル差の合計数は４倍になる。従って
演算速度が非常に影響を受ける。
ステップＳ２１４に続き、グローバル・アキュムレータ・アレーで最も低いグローバル
な絶対ピクセル差を有する位置から検索区域７０６に関してピクセル・ブロックの仮合致
セットの位置が判定される。例えば、最も低いグローバルな絶対ピクセル差がグローバル
・アキュムレータ・アレーにおいて位置（１，１）にある場合、仮合致セットのピクセル
・ブロックは各々の検索区域７０６において位置（−８，−８）にあるものに対応する。
次に仮合致セットのピクセル・ブロックが各々の検索区域の境界と少なくとも１辺が一致
しているか判定される（ステップＳ２１６）。図８（ａ）〜図８（ｈ）は図５の連続ビデ
オ・フレームの一部の図で、ピクセル・ブロックＡ１，Ａ２，Ａ４が各々の検索区域７０
６にいて少なくとも１辺を各々の検索区域７０６の境界と一致させている様々な位置を図
示している。
仮合致セットにおけるピクセル・ブロックの位置が各々の検索区域７０６で（−７，−
７）〜（＋７，＋７）の範囲内にある場合、ピクセル・ブロックの仮合致セットにおける
ピクセル・ブロックは各々の検索区域７０６の境界と一致する辺を有しないことが理解さ
れよう。仮合致セットにおけるピクセル・ブロックが各々の検索区域の境界と一致する辺
を有しない場合、ピクセル・ブロックの仮合致セットはピクセル・ブロックの実際合致セ
ットであるとみなされる（ステップＳ２１８）。逆に仮合致セットにおけるピクセル・ブ
ロックが各々の検索区域の境界と一致する辺を少なくとも１つ有する場合、検索区域はピ
クセル・ブロックの仮合致セットの方向にＮピクセル分移動される（ステップＳ２２０）
。図９は検索区域の移動を示す。この場合、検索区域７０６はＮピクセル分右に移動され
、移動検索区域７０６Ａとなる。
一旦、検索区域が移動すると、ステップＳ２１４に関連して上記に説明したものに類似
したピクセル・ブロックの比較が次に実施される。この場合第１ビデオ・フレームにおけ
るピクセル・ブロックは連続するビデオ・フレームの結び付けられた移動検索区域７０６
Ａ内の対応ピクセル・ブロックと比較され、ピクセル・ブロックの実際合致セットを判定
する（ステップＳ２２２）。
一旦、ピクセル・ブロックの実際合致セットがステップＳ２１８またはステップＳ２２
２で指定されると、指定されたピクセル・ブロックの実際合致セットが信頼できる合致で
あるかの確認が行なわれる（ステップＳ２２４）。指定されたピクセル・ブロックの実際
合致セットが信頼できる合致であるかを判定するために、グローバル・アキュムレータ・
アレーにおけるグローバルな絶対ピクセル差の平均が判定される。グローバルな絶対ピク
セル差の平均は次にピクセル・ブロックの実際合致セットにおけるピクセルの総数で割ら
れ、次の方程式１に従いフレーム・コントラスト測度が得られる。
フレーム・コントラスト測度が本実施形態では０．０８に等しいコントラスト閾値以上
である場合、指定されたピクセル・ブロックの実際合致セットは信頼できるとみなされる
。逆に、フレーム・コントラスト測度がコントラスト閾値未満である場合、グローバル・
アキュムレータ・アレーにおけるグローバルな絶対ピクセル差の平均をグローバルな絶対
ピクセル差の最小で割り、次の方程式２に従い峻度測度が得られる。
次に峻度測度にフレーム・コントラスト測度を乗じ、次の方程式３に従い積が得られる
。
積が本実施形態では１／６に等しい積閾値を越える場合、指定されたピクセル・ブロッ
クの実際合致セットは信頼できるとみなされる。そうでない場合、指定されたピクセル・
ブロックの実際合致セットは信頼できないとみなされる。この場合フレーム間のグローバ
ル・ジッタはゼロとみなされる（ステップＳ２２８）。
ステップＳ２２４において、指定されたピクセル・ブロックの実際合致セットが信頼で
きるとみなされた場合、グローバルな最小絶対ピクセル差を格納するグローバル・アキュ
ムレータ・アレーにおける位置に基づき二次元のフレーム間のグローバル・ジッタ・ベク
トルが判定される（ステップＳ２２６）。例えば、グローバルな最小絶対ピクセル差がグ
ローバル・アキュムレータ・アレーにおいて位置（１，１）に格納されている場合、実際
合致セットのピクセル・ブロックは各々の検索区域７０６において位置（−８，−８）に
あるものに対応する。二次元のフレーム間のグローバル・ジッタ・ベクトルは従って（−
８，−８）となる。サブ・ピクセルの精度を実現するために、ピクセルの実際合致セット
およびとなりの４つの位置に基づく補間が行なわれる。
ステップＳ２２０において検索区域７０６が移動した場合、移動方向にＮをフレーム間
のグローバル・ジッタ・ベクトルに加える。
上記に説明したピクセル比較の一般原理は１つのビデオ・フレームにおけるピクセル・
サブセットと続くビデオ・フレームにおける複数のピクセル・ブロックの照合候補セット
との輝度差を比較することが係わる。続くビデオ・フレームにおいて最初のビデオ・フレ
ームのピクセル・サブセットと最も違いが少ないピクセル・ブロックの照合候補セットが
合致とみなされ、これを基にフレーム間のグローバル・ジッタが推定される。白黒フレー
ム照合の信頼性はビデオ・フレーム間の全体的絶対ピクセル差を比較することにより向上
する。全体的絶対ピクセル差を用いるため、複数ブロックのジッタ・ベクトルを集約する
必要はない。むしろ、ビデオ・フレーム間の動きに対する人間の知覚と呼応して、フレー
ム間のグローバル・ジッタは連続ビデオ・フレーム間の大多数のピクセルの動きに基づい
て計算される。また、特定条件の下でのみ移動する検索区域を用いることにより、フレー
ム照合計算はせいぜい２倍となる。
図１０は領域照合の際、フレーム間の回転ジッタを推定するために実施される工程を示
すフローチャートである。領域照合はビデオ・フレームの中心に近接していないピクセル
領域に対してのみ行なわれ（すなわち図４においてピクセル領域Ｅを除くすべてのピクセ
ル領域）、これは相当な回転があってもビデオ・フレームの中心領域におけるピクセル・
ブロックの大多数は異なった領域合致を見せるほどビデオ・フレーム間で回転することは
ないためである。従って、領域照合の際、中心領域のピクセル・ブロックから得られる回
転情報は余りない。
フレーム間の回転ジッタを推定の際、ピクセル領域Ａ〜Ｉに対し定義された領域アキュ
ムレータ・アレー各々における最小絶対ピクセル差が判定され、そのピクセル領域におい
てピクセル・ブロックの領域最良合致セットに相当すると指定される（ステップＳ３１０
）。但し上記の理由からピクセル領域Ｅは除外される。
あるピクセル領域に対する領域アキュムレータ・アレーにおいて最小絶対ピクセル差で
等しいものが３つを越え、従ってピクセル・ブロックの最良合致セットの可能性が３つを
超えてある場合、そのピクセル領域は信頼できないものとして無視される（ステップＳ３
１２）。残りのピクセル領域各々とそのピクセル・ブロックの領域最良合致セットがピク
セル領域およびそのピクセル・ブロックの領域最良合致セットの相対位置に基づいて計算
される（ステップＳ３１４）。例えば、ピクセル領域Ａの領域最小絶対ピクセル差が領域
アキュムレータ・アレーの位置に（１，１）に格納されている場合、ピクセル・ブロック
の領域最良合致セットは各々の検索区域における位置（−８，−８）のものに相当する。
従ってピクセル領域Ａにおける領域のフレーム間動きベクトルは（−８，−８）となる。
ステップＳ２２０で検索区域がＮピクセル分移動した場合、領域のフレーム間動きベク
トル各々に対し移動方向にＮが加えられる。
次に前以て得られたフレーム間のグローバル・ジッタ・ベクトルが領域のフレーム間動
きベクトル各々から差し引かれ各々の回転のフレーム間動きベクトルが得られる（ステッ
プＳ３１６）。次に回転角正接ベクトルが以下の方程式４に示される関係に従って計算さ
れる（ステップＳ３１７）。
ここで、
αiは領域ｉの回転角、（ｘi，ｙi）はビデオ・フレームの中心に対する領域ｉの座標
、（Δｘi，Δｙi）は領域ｉのフレーム間動きベクトルである。
回転角正接ベクトルはメジアン・フィルタされ上位２５％および下位２５％の角正接を
有するものを切り捨て（ステップＳ３１８）、残りの回転角正接ベクトルの平均がフレー
ム間の回転ジッタ・ベクトルとみなされ、それによりフレーム間の回転ジッタを推定する
（ステップＳ３２０）。
図１１はフレーム間のグローバルおよび回転ジッタ・ベクトルの補正の際、意図的な動
きおよび蓄積エラーに対し調整するために行なわれる工程を示すフローチャートである。
パンによる意図的な動きを補正するために、Ｍの先行ビデオ・フレーム（すなわち「パン
ニング・ウィンドウ」）について計算されたフレーム間のグローバル・ジッタ・ベクトル
の加重平均がフレーム間のグローバル・ジッタ・ベクトルから差し引かれる（ステップＳ
４１０）。パンニング・ウィンドウ値Ｍはビデオ・フレームの取り込み速度および２つの
連続ビデオ・フレーム間の不確定部分の許容可能な最大幅に部分的に依存する。不確定部
分はビデオ・フレームにおいてジッタまたは意図的なパンにより対応しない部分を表す。
５からビデオ・フレーム取り込み速度との間にあるパンニング・ウィンドウ値Ｍが通常適
切である。パンニング・ウィンドウ値Ｍは動きが停止してから不確定部分が完全に消滅す
るまでに必要なビデオ・フレーム数に基づき選択することができる。Ｍの先行ビデオ・フ
レームに対し計算したフレーム間のグローバル・ジッタ・ベクトルの加重平均を差し引く
ことは線形動きの推定においてあり得る蓄積エラーのも削減する。
加重係数は円滑な意図的動きを提供するよう選択され、それらの合計は１に等しくなる
。例えばパンニング・ウィンドウ値Ｍ＝５の場合、選択される係数は１／８、１／４、１
／４、１／４、および１／８であることができる。
フレーム間の回転ジッタ・ベクトルにおける蓄積エラーを補正するには、回転角の正接
に１未満の値を有する補正因数を掛ける（ステップＳ４１２）。本実施形態で、補正値は
０．９に等しい。
図１２はジッタを補正してビデオ取り込み装置による表示の状態にビデオ・フレームを
置くためにビデオ・フレームを変換する際に行なわれる工程を示すフローチャートである
。判定されたフレーム間のグローバルおよび回転ジッタに基づき、ビューポート（すなわ
ちビデオ・フレームの後に表示される部分）はビデオ取り込み装置の動きに追従するため
に変換される（ステップＳ５１０）。つまり、ビューポートはフレーム間のグローバルお
よび回転ジッタ推定に従って移動され回転され、それによりフレームからフレームへのジ
ッタをキャンセルする。ビューポート内の残りの不確定部分（すなわち第１ビデオ・フレ
ームに合致する対応部分がない部分）はクロップされ（ステップＳ５１２）、その結果ビ
デオ・フレームはより小さいサイズで表示される。ジッタが補正されたビデオ・フレーム
は次に通常の方法で表示される（ステップＳ５１４）。
連続ビデオ・フレーム間のジッタ推定および補正の実施形態が上記で説明されたが、当
業者であれば変形が可能であることを理解しよう。例えば、図１３は輝度閾値を用いてビ
デオ・フレームを白黒に転換するための別のステップＳ１００Ａを示すフローチャートで
ある。この実施形態で、輝度閾値は最初に１２７に等しいデフォルト値に設定される。双
方のビデオ・フレームのＹ−チャンネルが次に得られ（ステップＳ１５０）、ビデオ・フ
レームのピクセルは輝度値に対するＹ−チャンネルに基づき黒または白のいずれかに転換
される（ステップＳ１５２）。例えばあるピクセルのＹ−チャンネル値が輝度閾値以上で
ある場合、ピクセルは純粋な白に転換される。そうでない場合ピクセルは純粋な黒に転換
される。次に輝度値を調べ、後続ビデオ・フレームの白黒転換のために初期値を調節する
必要があるか判定する（ステップＳ１５４）。
図１４は輝度閾値の調節の際、行なわれる工程を示すフローチャートである。最初にビ
デオ・フレームにおけるピクセルの平均輝度が判定され（ステップＳ１５６）、現在の輝
度閾値と比較される（ステップＳ１５８）。平均輝度と輝度閾値との差が差異閾値以上で
ある場合（ステップＳ１６０）、輝度閾値は平均輝度値の方に少量調節される（ステップ
Ｓ１６４）。調節量は通常実験的に決定される。逆に平均輝度と輝度閾値との差が差異閾
値未満である場合、輝度閾値の調節は必要でない（ステップＳ１６２）。
図１５は上記に説明した方法に従ってビデオ・シーケンスにおけるビデオ・フレーム間
のジッタを推定し補正する装置１０００を示すブロック図である。この実施形態で、装置
１０００は色転換器１００２、フレーム・コンパレータ１０１０、合致位置推定器１０１
８、検索区域調節器１０２０、ジッタ推定器１０２２、ジッタ補正器１０５０、および表
示ジェネレータ１０５２を含む。
色転換器１００２は輝度計算器１００４、オプションのビットプレーン選択器１００６
、および輝度閾値アダプタ１００８を含む。フレーム・コンパレータ１０１０はピクセル
・サブセット定義器１０１２、領域ジェネレータ１０１４、および差異アキュムレータ・
モジュール１０１６を含む。ジッタ推定器１０２２はグローバル・ジッタ推定器１０２４
、グローバル・ジッタ信頼性モジュール１０２６、計算器１０２８、閾値コンパレータ１
０３０、パンニング補正器１０３２、および回転ジッタ推定器１０３４を含む。
回転ジッタ推定器１０３４は領域コンパレータ１０３６、領域動き信頼性モジュール１
０３８、領域動き計算器１０４０、正接計算器１０４２、メジアン・フィルタ１０４４、
平均化計算器１０４６、および回転コンポーネント・エラー補正器１０４８を含む。
装置１０００の働きを次に説明する。以下の説明において、フレームの白黒への転換は
ビットプレーン選択ではなく、調節可能な輝度閾値を用いて実施される。従って色転換器
１００２のビットプレーン選択器１００６は用いられない。
作動中、連続ビデオ・フレームのペアが照合され、ジッタを推定し補正する場合、フレ
ーム・コンパレータ１０１０は第１フレームのピクセル・ブロックのセットを続くフレー
ムにおける各々の検索区域内におけるピクセル・ブロックの合致候補セットと比較し、ピ
クセル・ブロックの仮合致候補セットを判定する。合致位置推定器１０１８は候補ピクセ
ル・ブロックの仮合致セットの検索区域における位置に基づきピクセル・ブロックの仮合
致候補セットをピクセル・ブロックの実際合致セットと指定するか、別のピクセル・ブロ
ックの合致セットをピクセル・ブロックの実際合致セットとして選択するかを判定する。
フレーム・コンパレータ１０１０は合致位置推定器１０１８に応答してピクセル・ブロッ
クの実際合致セットを判定する。次にジッタ推定器１０２２がフレーム間グローバルおよ
び回転ジッタ・ベクトルを計算し、それによりフレーム間グローバルおよび回転ジッタを
推定する。ジッタ補正器１０５０は推定ジッタに従いビデオ取り込み装置のビューポート
をビデオ・フレームと位置合わせしてジッタを補正またはキャンセルすることにより、推
定ジッタに基づきビデオ・フレームを変換する。表示ジェネレータ１０５２は次にビデオ
・フレームの非対応部分をクロップした上、ビデオ・フレームを表示する。
本実施形態におけるフレーム・コンパレータ１０１０は上述のように動作する。その結
果、色転換器１００２はが調べられる連続ビデオ・フレームを受信する。輝度計算器１０
０４は各ビデオ・フレームにおける各ピクセルの輝度値を計算し、色転換器１００２は輝
度閾値に対する各ピクセルの輝度値に基づきビデオ・フレーム各々における各ピクセルを
黒または白に転換する。輝度閾値アダプタ１００８は第１フレームにおけるピクセルの平
均輝度が差異閾値を越えて輝度閾値と異なる場合、輝度閾値を調節する。
領域ジェネレータ１０１４は長辺形領域およびそれらに対応する領域アキュムレータ・
アレーを定義する。領域ジェネレータはさらにグローバル・アキュムレータ・アレーを定
義する。ピクセル・サブセット定義器１０１２は続くビデオ・フレームの検索区域におけ
るピクセル・ブロックの候補セットと比較すべき第１ビデオ・フレームのピクセル・ブロ
ックを定義する。
差異アキュムレータ・モジュール１０１６は、ピクセル・ブロックのセットが検索区域
の各位置に対するピクセル・ブロックの各候補セットと比較されるにつれ、領域の絶対ピ
クセル差各々を領域アキュムレータ・アレーに蓄積する。差異アキュムレータ・モジュー
ル１０１６はさらに検索区域の各位置に対する領域アキュムレータ・アレーからグローバ
ルな絶対ピクセル差をグローバル・アキュムレータ・アレーに蓄積し、ピクセル・ブロッ
クの仮合致セットの判定を可能にする。合致位置推定器１０１８は検索区域におけるピク
セル・ブロックの仮合致セットの位置を判定し、ピクセル・ブロックの仮合致セットをピ
クセル・ブロックの実際合致セットと指定するか判定する。必要であれば合致位置推定器
１０１８は検索区域を移動させ、移動された検索区域における領域およびグローバルな絶
対ピクセル差を計算するよう差異アキュムレータ・モジュールを調整し、それによりピク
セル・ブロックの実際合致セットを判定する。
グローバル・ジッタ信頼性モジュール１０２６はピクセル・ブロックの実際合致セット
の信頼性を前記に説明したように判定する。グローバル・ジッタ信頼性モジュール１０２
６はグローバルな絶対ピクセル差を計算する計算器１０２８を含む。計算器１０２８はグ
ローバルな絶対ピクセル差の平均を合致ピクセル・ブロックの実際のセットにおけるピク
セル合計数で割り、フレーム・コントラスト測度を得る。閾値コンパレータ１０３０はフ
レーム・コントラスト測度がコントラスト閾値以上である場合、ピクセル・ブロックの実
際合致セットが信頼できるとみなす。
フレーム・コントラスト測度がコントラスト閾値未満である場合、閾値コンパレータ１
０３０は計算器１０２８にグローバルな絶対ピクセル差の平均をグローバルな最小絶対ピ
クセル差で割らせ、峻度測度を得る。計算器１０２８は峻度測度およびフレーム・コント
ラスト測度の積を計算する。閾値コンパレータ１０３０は積が積閾値以上である場合、実
際合致ピクセル・ブロックは信頼できるとみなす。
ビデオ・フレーム間におけるフレーム間の回転ジッタを推定するために、領域コンパレ
ータ１０３６は領域アキュムレータ・アレーから連続ビデオ・フレームにおける１つ以上
の領域の合致を判定する。領域動き計算器１０４０は各領域とその領域合致間の領域動き
を計算する。領域動き信頼性モジュール１０３８は領域が３つを越えた可能な領域合致を
有する場合それを信頼できない領域として無視する。正接計算器１０４２はフレーム間の
グローバル・ジッタ・ベクトルを各領域動きベクトルから差し引き各々の回転角正接を得
る。メジアン・フィルタ１０４４は回転角正接をフィルタし、上位２５％および下位２５
％の角正接を切り捨て、平均化計算器１０４６は残りの回転角正接を平均化し、フレーム
間の回転ジッタ・ベクトルを得る。
回転コンポーネント・エラー補正器１０４８はフレーム間の回転ジッタ・ベクトルに補
正因数を掛けて蓄積エラーを補正する。パンニング補正器１０３２は先行フレームに対し
計算されたフレーム間のグローバル・ジッタ・ベクトルの加重平均をフレーム間のグロー
バル・ジッタ・ベクトルから差し引き、デジタル・ビデオ・シーケンスの取り込みにおけ
る意図的なパンに対し調整する。補正されたフレーム間グローバルおよび回転ジッタ・ベ
クトルが推定ジッタを表す。
ジッタ補正器１０５０は推定ジッタに基づきビューポートを変換してビデオ取り込み装
置に追従させることによりビデオ・フレームを変換させる。つまり、ビューポートはフレ
ーム間のグローバルおよび回転ジッタ推定に従い移動され回転される。表示ジェネレータ
１０５２はビューポート内の不確定部分（すなわち第１フレームに合致する対応部分を有
しない部分）をクロップすることを含み、ビデオ・フレームを表示する。
ビデオ・フレームの白黒への転換がビットプレーン選択を用いて実施される場合、ビッ
トプレーン選択器１００６が輝度計算器１００４により計算された平均輝度測度に応答し
てビットプレーンを選択する。色転換器１００２が次に選択されたビットプレーンに基づ
き第１および後続のビデオ・フレームの各ピクセルを黒および白のいずれかに設定する。
図１６はピクセル・ブロックの比較を行ないフレーム間のグローバル・ジッタを推定す
る代わりのステップＳ２００Ａを示すフローチャートである。この実施形態によると、ス
テップＳ２１０およびステップＳ２１２の次に図１７（ａ）に示すように第１ビデオ・フ
レームにおけるピクセル・ブロックの最初の半分に対する検索区域が続くビデオ・フレー
ムにおいて定義される（すなわちピクセル・ブロックＡ１，Ａ３，Ａ５，Ａ７，Ａ９，Ｂ
２，Ｂ４，Ｂ６，Ｂ８，Ｃ１，Ｃ３，Ｃ５，Ｃ７，Ｃ９，・・・，Ｉ１，Ｉ３，Ｉ５，Ｉ
７，Ｉ９等々に対し）。第１ビデオ・フレームにおけるピクセル・ブロックの最初の半分
は次に続くビデオ・フレームにおける各々の検索区域７０６内の対応するピクセル・ブロ
ックと比較され、領域およびグローバル・アキュムレータ・アレーに値を入れてピクセル
・ブロックの仮合致セットが判定される（ステップＳ２５４）。
ステップＳ２５４に続き、仮合致セットのピクセル・ブロックが各々の検索区域の境界
と一致する少なくとも１辺を有しているか判定する（ステップＳ２１６）。
仮合致セットのピクセル・ブロックが各々の検索区域の境界と一致する少なくとも１辺
を有していない場合、ピクセル・ブロックの実際合致セットは既存の検索区域７０６の各
々の中にあると予期され、ピクセル・ブロックの他方の半分（すなわちピクセル・ブロッ
クＡ２，Ａ４，Ａ６，Ａ８，Ｂ１，Ｂ３，Ｂ５，Ｂ７，Ｂ９，Ｃ２，Ｃ４，Ｃ６，Ｃ８，
・・・，Ｉ２，Ｉ４，Ｉ６，Ｉ８等々）が検索区域７０６各々において対応するピクセル
・ブロックと比較される（ステップＳ２６０）。ピクセル・ブロックの他半分は図１７（
ｂ）に示される。
各々の検索区域７０６内の各位置における他半分のピクセル・ブロックの絶対ピクセル
差は値を対応する領域アキュムレータ・アレーに格納され蓄積される。ピクセル・ブロッ
クの仮合致セットは次にピクセル・ブロックの実際合致セットとして指定される。
逆に仮合致セットのピクセル・ブロックが各々の検索区域の境界と一致する少なくとも
１辺を有している場合、検索区域はピクセル・ブロックの仮合致セットの方向にＮピクセ
ル分移動され、ピクセル・ブロックの仮合致セットに対する蓄積は計算された領域および
グローバルな絶対ピクセル差すべてとともに切り捨てられる（ステップＳ２５８）。つま
り、領域およびグローバル・アキュムレータ・アレーにおけるすべての位置はゼロに設定
される。図１７（ｂ）に示されるピクセル・ブロックの他半分にあるピクセル・ブロック
（すなわちピクセル・ブロックＡ２，Ａ４，Ａ６，Ａ８，Ｂ１，Ｂ３，Ｂ５，Ｂ７，Ｂ９
，Ｃ２，Ｃ４，Ｃ６，Ｃ８，・・・，Ｉ２，Ｉ４，Ｉ６，Ｉ８等々）が次に各々移動され
た検索区域内の対応ピクセル・ブロックと比較され、絶対ピクセル差を計算してピクセル
・ブロックの実際合致セットを判定する（ステップＳ２６０）。
検索区域の移動が上述のように行なわれた場合、ピクセル・ブロックの実際合致セット
を求めるために比較されるピクセル・ブロックの合計数と計算される絶対ピクセル差の合
計数は前記に説明した実施形態の約半分となることが特記される。これは一旦、移動され
た検索区域が決定されると、蓄積はピクセル・ブロックの他半分に対してのみ処理される
からである。
ステップＳ２５８において検索区域がＮピクセル分移動された場合、フレーム間のグロ
ーバル・ジッタ・ベクトルおよび領域のフレーム間動きベクトルに対しＮが移動方向に加
えられる。
ピクセル・ブロックの比較は別の順序で実施し得ることが理解されよう。例えば、上述
の実施形態で、ピクセル・ブロックＡ２の比較をその検索区域内の各位置において計算す
る前にまずピクセル・ブロックＡ１の比較をその検索区域内の各位置においてまず計算し
、ピクセル領域Ａの領域アキュムレータ・アレーにおいて対応する位置の蓄積が格納され
、以下同様である。しかし望ましい場合は、ピクセル・ブロックＡ１に対しその検索区域
内の特定位置において１つの比較を行なうことができ、次にピクセル・ブロックＡ２に対
しその検索区域内の特定位置において１つの比較を、次にピクセル・ブロックＡ３に対し
その検索区域内の特定位置において１つの比較を、以下、ピクセル・ブロックＩ９に対し
その特定位置において１つの比較が行なわれるまで同様である。一旦、ピクセル・ブロッ
クＡ１からＩ９に対し特定位置における比較がすべて処理されると、ピクセル・ブロック
の位置は各々の検索区域において変更され、ピクセル・ブロックＡ１からＩ９に対し変更
された位置において比較が行なわれる。これはピクセル・ブロックが検索区域全体にわた
りパンされるまで続けられる。
図１８は図４に示すものに類似した第１ビデオ・フレームを示し、ウィンドウ７０８が
ピクセル・ブロックのセットを囲んでいる。ウィンドウ７０８に対応するピクセルととも
にそれらを囲むＮピクセルの帯を含む検索区域７１０が続くビデオ・フレームにおいて定
義され、ここでＮは小さな数である。図１９は続くビデオ・フレームにおける検索区域７
１０にウィンドウ７０８を重ねたところを示す。領域およびグローバル・アキュムレータ
・アレーは上述のように定義される。
第１ビデオ・フレームに対し定義されたウィンドウ７０８は次に図２０（ａ）に示すよ
うに検索区域７１０の左上の隅に置かれる（検索区域の（−８，−８）のウィンドウ位置
に相当）。各ピクセル・ブロックのピクセルは次に検索区域７１０における対応ピクセル
と比較され、各々の絶対ピクセル差が計算される。絶対ピクセル差は蓄積され、領域アキ
ュムレータ・アレーの各々の位置に格納される。
（−８，−８）のウィンドウ位置におけるピクセル・ブロックに対する領域の各絶対ピ
クセル差が判定されると、ウィンドウ７０８は図２０（ｂ）に示すように検索区域７１０
内で１ピクセル分移動され（検索区域の（−８，−７）のウィンドウ位置に相当）、上述
の工程が再度行なわれる。その結果得られた絶対ピクセル差は蓄積され、領域アキュムレ
ータ・アレーの各々の位置に格納される。検索区域７１０内でのウィンドウの移動は図２
０（ｃ）に示すようにまた行なわれ、以下、検索区域７１０内でサイズがウィンドウ７０
８に対応するすべてのピクセルの組み合わせが処理され、各領域アキュムレータ・アレー
に値が入るまで行なわれる。
上記に続き、領域アキュムレータ・アレーに格納された蓄積値を合計することによりグ
ローバル・アキュムレータ・アレーに値が入れられ、先に説明したようにフレーム間のグ
ローバルおよび回転ジッタが判定される。
あるいは、ピクセル・ブロックの比較はピクセル領域単位で完了することができる、す
なわちピクセル領域Ｂのピクセル・ブロックの処理を開始する前にピクセル領域Ａのピク
セル・ブロックを処理することができる、等々である。
上記に説明した閾値、ビット値、ピクセル・ブロックおよびピクセル領域サイズ、パン
ニング・ウィンドウ値、等々は典型例であることが理解されよう。また当業者であればこ
れらの値およびサイズはジッタ推定および補正が用いられる特定の環境に合わせて変更で
きることを理解しよう。
例えば、上述の実施形態では９つの同サイズのピクセル領域を有しているように説明さ
れるが、ビデオ・フレームのサイズに基づき別数の同サイズのピクセル領域を選択できる
。さらに、ピクセル領域毎に９つのピクセル・ブロックが説明されているが、各ピクセル
・ブロックにおけるピクセル数により、ピクセル領域毎により多いまたはより少ないピク
セル・ブロックを選択できることが理解されよう。本実施形態ではビデオ・フレームが白
黒に転換されるので、比較するピクセルが少なすぎると信頼できる結果を得られない。他
方、比較するピクセルが多すぎると処理速度が遅くなる。従ってピクセル・領域毎のピク
セル・ブロック数はバランスを実現するように選択される。
比較前にビデオ・フレームを白黒に転換することは処理時間および必要な格納域を削減
することで有利であるが、上述のフレームおよび領域照合は白黒に転換されていないビデ
オ・フレームに対しても行なえることが理解されよう。
さらに、上述の実施形態ではフレーム間グローバルおよび回転ジッタ双方が計算された
。しかし、フレーム間の回転ジッタが望まれない場合、計算された絶対ピクセル差の値を
直接グローバル・アキュムレータ・アレーに入れることによりフレーム間のグローバル・
ジッタを計算することができる。この場合、領域アキュムレータ・アレーは必要ない。
実施形態が説明されたが、当業者であれば添付クレームで定義される精神および範囲を
逸脱することなく変形および変更が可能であることを理解しよう。
デジタル・ビデオ・シーケンスにおけるビデオ・フレーム間のジッタを推定し補正する工程を示すフローチャート。 ビットプレーンを選択することによりビデオ・フレームを白黒に転換する工程を示すフローチャート。 白黒のビデオ・フレームおよび調節可能な検索区域を用いてフレーム照合を行ない、フレーム間のグローバル・ジッタを推定する工程を示すフローチャート。 各々複数のピクセル・ブロックを有する領域に分割された第１ビデオ・フレームの図。 続くビデオ・フレームで図４のピクセル・ブロックの内３つが各々の検索区域に重ねられた状態を示す図。 （ａ）〜（ｆ）は、図５における続くビデオ・フレームの一部で、フレーム照合の際、第１ビデオ・フレームからの第１ピクセル・ブロックがその対応検索区域内で順に配置されていく図。 （ａ）〜（ｆ）は、図５における続くビデオ・フレームの一部で、フレーム照合の際、第１ビデオ・フレームからの第２ピクセル・ブロックがその対応検索区域内で順に配置されていく図。 （ａ）〜（ｈ）は、図５における続くビデオ・フレームの一部で、第１ビデオ・フレームからのピクセル・ブロックの少なくとも１側面が各々の検索区域の境界に一致している場合にピクセル・ブロックの各々の対応検索区域内における位置を示す。 図５における続くビデオ・フレームの一部で、選択量の分だけ検索区域を移動させたところを示す。 領域照合を行ないフレーム間の回転ジッタを推定する工程を示すフローチャート。 意図的動きおよび蓄積エラーに対し補正する工程を示すフローチャート。 推定グローバルおよびフレーム間の回転ジッタに基づきビデオ・フレームを変換し表示する工程を示すフローチャート。 輝度閾値を用いてフレームを白黒に転換する代替工程を示すフローチャート。 図１３の代替工程の際、輝度閾値を適合させる工程を示すフローチャート。 デジタル・ビデオ・シーケンスにおけるビデオ・フレーム間のジッタを推定し補正する装置のブロック図。 フレーム照合を行ないフレーム間のグローバル・ジッタを得る代替工程を示すフローチャート。 （ａ）および（ｂ）は、図４の第１ビデオ・フレームを領域に分割した図で、各領域は複数のピクセル・ブロックを有し、複数のピクセル・ブロックは図１６の代替工程による初期比較のために２つの半分に分割されている。 第１ビデオ・フレームを領域に分割した図で、各領域は複数のピクセル・ブロックおよび複数のピクセル・ブロックを囲むウィンドウを有する。 図１８における複数のピクセル・ブロックを囲むウィンドウが続くビデオ・フレームの単一の検索区域に重ねられているのを示す図。 （ａ）〜（ｃ）は、続くビデオ・フレームで、フレーム照合の際、図１８におけるウィンドウ内のすべてのピクセル・ブロックが単一の検索区域で順に配置されていく図。
符号の説明
９０…フローチャート、７０６，７１０…検索区域、７０６Ａ…移動検索区域、７０８
…ウィンドウ、１０００…装置、１００２…色転換器、１００４…輝度計算器、１００６
…ビットプレーン選択器、１００８…輝度閾値アダプタ、１０１０…フレーム・コンパレ
ータ、１０１２…ピクセル・サブセット定義器、１０１４…領域ジェネレータ、１０１６
…差異アキュムレータ・モジュール、１０１８…合致位置推定器、１０２０…検索区域調
節器、１０２２…ジッタ推定器、１０２４…グローバル・ジッタ推定器、１０２６…グロ
ーバル・ジッタ信頼性モジュール、１０２８…計算器、１０３０…閾値コンパレータ、１
０３２…パンニング補正器、１０３４…回転ジッタ推定器、１０３６…領域コンパレータ
、１０３８…領域動き信頼性モジュール、１０４０…領域動き計算器、１０４２…正接計
算器、１０４４…メジアン・フィルタ、１０４６…平均化計算器、１０４８…回転コンポ
ーネント・エラー補正器、１０５０…ジッタ補正器、１０５２…表示ジェネレータ、Ａ〜
Ｉ…ピクセル領域、Ａ１〜Ａ９，Ｂ１〜Ｂ９，Ｃ１〜Ｃ９，・・・，Ｉ１〜Ｉ９…ピクセ
ル・ブロック、ｉ…領域、Ｍ…パンニング・ウィンドウ値、Ｓ１００…ステップ；ビデオ
・フレームを白黒に転換、Ｓ２００…ステップ；フレーム間のグローバル・ジッタを推定
、Ｓ３００…ステップ；フレーム間の回転ジッタを推定、Ｓ４００…ステップ；意図的動
きおよび蓄積エラーに対し補正、Ｓ５００…ステップ；推定ジッタに基づき各フレームを
変換し表示。

Claims (30)

  1. デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する
    方法で、
    一方のビデオ・フレームのピクセル・サブセットを他方のビデオ・フレームの検索区域
    内の候補ピクセル・サブセットと比較し、前記候補ピクセル・サブセットから仮合致のピ
    クセル・サブセットを判定するステップと、
    前記検索区域に対する前記仮合致のピクセル・サブセットの位置に基づき他方のビデオ
    ・フレームから実際合致のピクセル・サブセットを判定するステップと、
    前記ピクセル・サブセットおよび前記実際合致のピクセル・サブセットに基づきグロー
    バル・ジッタ・ベクトルを計算することにより前記ジッタを推定するステップと、
    を含むデジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推
    定する方法。
  2. 前記判定ステップは前記検索区域の境界に対する前記仮合致のピクセル・サブセットの
    位置に基づくことを特徴とする請求項１に記載のデジタル・ビデオ・シーケンスにおける
    ２つのビデオ・フレーム間のジッタを推定する方法。
  3. 前記判定ステップは、
    前記仮合致のピクセル・サブセットが前記検索区域の境界に隣接しているかを判定する
    ステップと、
    隣接していない場合、前記仮合致のピクセル・サブセットを前記実際合致のピクセル・
    サブセットと指定するステップと、
    隣接する場合は前記検索区域を変更するステップと、
    前記ピクセル・サブセットを、移動した前記検索区域内の候補ピクセル・サブセットと
    比較し、実際合致のピクセル・サブセットを判定するステップと、
    を含むことを特徴とする請求項１に記載のデジタル・ビデオ・シーケンスにおける２つ
    のビデオ・フレーム間のジッタを推定する方法。
  4. 前記変更ステップは、
    前記検索区域を前記仮合致のピクセル・サブセットの方向に移動させるステップと
    を含むことを特徴とする請求項３に記載のデジタル・ビデオ・シーケンスにおける２つ
    のビデオ・フレーム間のジッタを推定する方法。
  5. 前記仮合致のピクセル・サブセットが前記検索区域の境界と一致する境界を有しない場
    合前記仮合致のピクセル・サブセットは前記実際合致のピクセル・サブセットと指定され
    ることを特徴とする請求項４に記載のデジタル・ビデオ・シーケンスにおける２つのビデ
    オ・フレーム間のジッタを推定する方法。
  6. 前記検索区域は前記一方のビデオ・フレームにおける前記ピクセル・サブセットに対応
    するピクセルとそれらを囲むピクセルの帯を含むことを特徴とする請求項５に記載のデジ
    タル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する方法。
  7. 前記帯の前記幅は検索区域が移動される距離に等しいことを特徴とする請求項６に記載
    のデジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する
    方法。
  8. 前記ピクセル・サブセットはピクセル・ブロックのセットを含み、前記ピクセル・ブロ
    ックは前記一方のビデオ・フレームにわたり分布していることを特徴とする請求項６に記
    載デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する
    方法。
  9. 前記比較ステップは前記一方のビデオ・フレームのピクセル・ブロックを他方のビデオ
    ・フレームにおける検索区域内の対応ピクセル・ブロックと比較してピクセル・ブロック
    の仮合致セットを判定することを含むことを特徴とする請求項８に記載のデジタル・ビデ
    オ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する方法。
  10. 前記ピクセル・ブロック比較ステップの際、前記ピクセル・ブロックのピクセルと前記
    検索区域のピクセルとの間の絶対差が計算され蓄積され、それによりピクセル・ブロック
    の前記仮合致セットを判定することを特徴とする請求項９に記載のデジタル・ビデオ・シ
    ーケンスにおける２つのビデオ・フレーム間のジッタを推定する方法。
  11. 前記ピクセル・ブロックは前記一方のビデオ・フレームにわたり均一に分布しているこ
    とを特徴とする請求項８に記載のデジタル・ビデオ・シーケンスにおける２つのビデオ・
    フレーム間のジッタを推定する方法。
  12. 前記比較ステップの前に、前記ビデオ・フレームを白黒に転換するステップと
    を含むことを特徴とする請求項１に記載のデジタル・ビデオ・シーケンスにおける２つ
    のビデオ・フレーム間のジッタを推定する方法。
  13. 前記転換ステップは、
    輝度閾値に対する各ピクセルの輝度に基づき前記ビデオ・フレームの各ピクセルを黒ま
    たは白に転換すること、
    を含むことを特徴とする請求項１２に記載のデジタル・ビデオ・シーケンスにおける２
    つのビデオ・フレーム間のジッタを推定する方法。
  14. 前記輝度閾値は調節可能であることを特徴とする請求項１２に記載のデジタル・ビデオ
    ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する方法。
  15. 前記輝度閾値は、前記一方のビデオ・フレームにおけるピクセルの平均輝度がある閾値
    量を越えて前記輝度閾値と異なる場合調節されることを特徴とする請求項１３に記載のデ
    ジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する方法
    。
  16. 前記転換ステップは、
    前記各ビデオ・フレームの全体輝度測度を計算するステップと、
    前記全体輝度測度の平均に基づきビットプレーンを選択するステップと、
    前記選択されたビットプレーンに基づき前記ビデオ・フレームの各ピクセルを黒および
    白のいずれかに設定するステップと、
    を含むことを特徴とする請求項１３に記載のデジタル・ビデオ・シーケンスにおける２
    つのビデオ・フレーム間のジッタを推定する方法。
  17. 前記全体輝度測度はビデオ・フレームの輝度平均であることを特徴とする請求項１６に
    記載のデジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定
    する方法。
  18. 前記実際合致のピクセル・サブセットの前記信頼性を調べるステップと、
    前記実際合致のピクセル・サブセットが信頼できるとみなされた場合にのみ前記グロー
    バル・ジッタ・ベクトルを計算するステップと、
    を含むことを特徴とする請求項４に記載のデジタル・ビデオ・シーケンスにおける２つ
    のビデオ・フレーム間のジッタを推定する方法。
  19. 前記実際合致のピクセル・サブセットの信頼性はフレーム・コントラスト測度および峻
    度測度の少なくとも１つに基づくことを特徴とする請求項１８に記載のデジタル・ビデオ
    ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する方法。
  20. 前記ビデオ・フレーム間の回転ジッタを計算するステップとを含むことを特徴とする請
    求項１に記載のデジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッ
    タを推定する方法。
  21. 前記回転ジッタに補正係数を掛けて蓄積エラーを補正するステップと
    を含むことを特徴とする請求項２０に記載のデジタル・ビデオ・シーケンスにおける２
    つのビデオ・フレーム間のジッタを推定する方法。
  22. 前記グローバル・ジッタ・ベクトルから先行するＭビデオ・フレームの加重グローバル
    ・ジッタ平均を差し引き、デジタル・ビデオ・シーケンス取り込みにおける意図的なパン
    に対し調整するステップと
    を含むことを特徴とする請求項１に記載のデジタル・ビデオ・シーケンスにおける２つ
    のビデオ・フレーム間のジッタを推定する方法。
  23. 前記推定ジッタに基づき前記ビデオ・フレームを変換するステップと
    を含むことを特徴とする請求項１に記載のデジタル・ビデオ・シーケンスにおける２つ
    のビデオ・フレーム間のジッタを推定する方法。
  24. 前記変換ステップは、
    前記推定ジッタに基づいて、ビューポートを前記ビデオ・フレームと位置合わせするス
    テップと
    を含むことを特徴とする請求項２３に記載のデジタル・ビデオ・シーケンスにおける２
    つのビデオ・フレーム間のジッタを推定する方法。
  25. 前記ビデオ・フレームを表示し、表示の際、前記ビデオ・フレームの非対応部分はクロ
    ップされるステップと
    を含むことを特徴とする請求項２４に記載のデジタル・ビデオ・シーケンスにおける２
    つのビデオ・フレーム間のジッタを推定する方法。
  26. デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する
    装置で、
    一方のビデオ・フレームのピクセル・サブセットを他方のビデオ・フレームの検索区域
    内の候補ピクセル・サブセットと比較し、前記候補ピクセル・サブセットから仮合致のピ
    クセル・サブセットを判定するフレーム・コンパレータと、
    前記検索区域に対する前記仮合致のピクセル・サブセットの位置を判定する合致位置推
    定器であって、前記合致位置推定器により判定された位置に基づきフレーム・コンパレー
    タは他方のビデオ・フレームから実際合致のピクセル・サブセットを判定する合致位置推
    定器と、
    前記ピクセル・サブセットおよび前記実際合致のピクセル・サブセットに基づきグロー
    バル・ジッタ・ベクトルを計算し、前記ジッタを推定するジッタ推定器と、
    を含むことを特徴とするデジタル・ビデオ・シーケンスにおける２つのビデオ・フレー
    ム間のジッタを推定する装置。
  27. 前記推定ジッタに基づき前記ビデオ・フレームを変換するジッタ補正器
    を含むことを特徴とする請求項２６に記載のデジタル・ビデオ・シーケンスにおける２
    つのビデオ・フレーム間のジッタを推定する装置。
  28. 前記ジッタ補正器はさらに回転ジッタ・ベクトルを計算することを特徴とする請求項２
    ７に記載のデジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを
    推定する装置。
  29. デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する
    コンピュータ・プログラムを具現するコンピュータが読み取り可能な媒体で、前記コンピ
    ュータ・プログラムは、
    一方のビデオ・フレームのピクセル・サブセットを他方のビデオ・フレームの検索区域
    内の候補ピクセル・サブセットと比較し、前記候補ピクセル・サブセットから仮合致のピ
    クセル・サブセットを判定するコンピュータ・プログラム・コードと、
    前記検索区域に対する前記仮合致のピクセル・サブセットの位置に基づき他方のビデオ
    ・フレームから実際合致のピクセル・サブセットを判定するコンピュータ・プログラム・
    コードと、
    前記ピクセル・サブセットおよび前記実際合致のピクセル・サブセットに基づきグロー
    バル・ジッタ・ベクトルを計算することにより前記ジッタを推定するコンピュータ・プロ
    グラム・コードと、
    を含むことを特徴とするデジタル・ビデオ・シーケンスにおける２つのビデオ・フレー
    ム間のジッタを推定するコンピュータ・プログラムを具現するコンピュータが読み取り可
    能な媒体。
  30. 前記推定ジッタに基づき前記ビデオ・フレームを変換するコンピュータ・プログラム・
    コードを含むことを特徴とする請求項２９に記載のデジタル・ビデオ・シーケンスにおけ
    る２つのビデオ・フレーム間のジッタを推定するコンピュータ・プログラムを具現するコ
    ンピュータが読み取り可能な媒体。
JP2007278535A 2006-11-02 2007-10-26 ジッタの推定方法およびジッタを推定する装置 Expired - Fee Related JP5012413B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/556,092 US8130845B2 (en) 2006-11-02 2006-11-02 Method and apparatus for estimating and compensating for jitter in digital video
US11/556092 2006-11-02

Publications (3)

Publication Number Publication Date
JP2008118638A true JP2008118638A (ja) 2008-05-22
JP2008118638A5 JP2008118638A5 (ja) 2010-10-07
JP5012413B2 JP5012413B2 (ja) 2012-08-29

Family

ID=39359711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007278535A Expired - Fee Related JP5012413B2 (ja) 2006-11-02 2007-10-26 ジッタの推定方法およびジッタを推定する装置

Country Status (2)

Country Link
US (1) US8130845B2 (ja)
JP (1) JP5012413B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445009B1 (ko) * 2009-08-12 2014-09-26 인텔 코오퍼레이션 공통 프로세싱 요소들에 기초하여 비디오 안정화를 수행하고 비디오 샷 경계를 검출하는 기법
JP2022160646A (ja) * 2021-09-18 2022-10-19 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオジッタの検出方法、装置、電子機器および記憶媒体

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006014723D1 (de) * 2005-11-30 2010-07-15 Nippon Kogaku Kk Bewegungsvektorschätzung
WO2007074774A1 (ja) * 2005-12-26 2007-07-05 Kyocera Corporation ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法
US8792556B2 (en) * 2007-06-19 2014-07-29 Samsung Electronics Co., Ltd. System and method for correcting motion vectors in block matching motion estimation
JP5045320B2 (ja) * 2007-09-05 2012-10-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN101953167B (zh) * 2007-12-20 2013-03-27 高通股份有限公司 减少光晕的图像插值
KR101540138B1 (ko) * 2007-12-20 2015-07-28 퀄컴 인코포레이티드 적응적 조사영역을 갖는 모션추정 장치 및 방법
US8295359B2 (en) * 2008-03-18 2012-10-23 Auratechnic, Inc. Reducing differentials in visual media
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
US20100303301A1 (en) * 2009-06-01 2010-12-02 Gregory Micheal Lamoureux Inter-Frame Motion Detection
US8526500B2 (en) * 2009-08-11 2013-09-03 Seiko Epson Corporation System and method for global inter-frame motion detection in video sequences
TW201120812A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Stabilization method for vibrating video frames
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
JP2011227153A (ja) * 2010-04-15 2011-11-10 Canon Inc 画像表示装置、画像表示方法
JP6890944B2 (ja) * 2016-10-07 2021-06-18 キヤノン株式会社 像ぶれ補正装置およびその制御方法、撮像装置
US11513361B2 (en) * 2019-10-31 2022-11-29 Texas Instruments Incorporated Apparatus and method for frame cropping and shifting
CN112150496B (zh) * 2020-09-24 2023-06-02 平安科技（深圳）有限公司 照片处理方法、装置、电子设备及可读存储介质
CN114245176A (zh) * 2021-12-16 2022-03-25 北京数码视讯技术有限公司 多媒体流的传输检测装置和方法
CN115801973B (zh) * 2022-11-09 2024-04-12 北京航空航天大学 一种基于fpga的瀑流式视频数据实时电子稳像系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JP2005303984A (ja) * 2004-03-18 2005-10-27 Sanyo Electric Co Ltd 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置
JP2006311059A (ja) * 2005-04-27 2006-11-09 Olympus Imaging Corp 動きベクトル検出回路及びその検出方法並びにブレ補正装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2700037B1 (fr) 1992-12-24 1995-01-27 Thomson Csf Dispositif d'estimation hiérarchique du mouvement de séquence d'images.
EP0632649B1 (en) 1993-06-29 2001-10-31 SANYO ELECTRIC Co., Ltd. Video camera with electronic picture stabilizer and generation of addition data
US5835138A (en) 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
SE507410C2 (sv) 1995-11-08 1998-05-25 Ericsson Telefon Ab L M Förfarande och anordning för rörelseestimering
JPH09322057A (ja) 1996-05-28 1997-12-12 Canon Inc 撮像装置
JP2897763B2 (ja) 1997-07-28 1999-05-31 日本ビクター株式会社 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
KR100252080B1 (ko) * 1997-10-10 2000-04-15 윤종용 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법
JP3466895B2 (ja) 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
US6591015B1 (en) * 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
US6351545B1 (en) 1999-12-14 2002-02-26 Dynapel Systems, Inc. Motion picture enhancing system
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US6707853B1 (en) 2000-01-10 2004-03-16 Intel Corporation Interface for performing motion compensation
TW515192B (en) 2000-06-06 2002-12-21 Noa Kk Off Compression method of motion picture image data and system there for
US7916794B2 (en) * 2001-04-28 2011-03-29 Microsoft Corporation System and process for broadcast and communication with very low bit-rate bi-level or sketch video
US7050502B2 (en) * 2001-09-18 2006-05-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for motion vector detection and medium storing method program directed to the same
KR100477647B1 (ko) 2002-06-01 2005-03-23 삼성전자주식회사 영상의 움직임 보정 장치 및 방법
EP1376471A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
US7869516B2 (en) * 2003-03-31 2011-01-11 Hewlett-Packard Development Company, L.P. Motion estimation using bit-wise block comparisons for video compresssion
US7242812B2 (en) 2003-06-26 2007-07-10 Academia Sinica Coding and decoding of video data
US7558405B2 (en) * 2005-06-30 2009-07-07 Nokia Corporation Motion filtering for video stabilization
US20070076982A1 (en) * 2005-09-30 2007-04-05 Petrescu Doina I System and method for video stabilization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JP2005303984A (ja) * 2004-03-18 2005-10-27 Sanyo Electric Co Ltd 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置
JP2006311059A (ja) * 2005-04-27 2006-11-09 Olympus Imaging Corp 動きベクトル検出回路及びその検出方法並びにブレ補正装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101445009B1 (ko) * 2009-08-12 2014-09-26 인텔 코오퍼레이션 공통 프로세싱 요소들에 기초하여 비디오 안정화를 수행하고 비디오 샷 경계를 검출하는 기법
JP2022160646A (ja) * 2021-09-18 2022-10-19 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオジッタの検出方法、装置、電子機器および記憶媒体

Also Published As

Publication number Publication date
US20080107186A1 (en) 2008-05-08
US8130845B2 (en) 2012-03-06
JP5012413B2 (ja) 2012-08-29

Similar Documents

Publication Publication Date Title
JP5012413B2 (ja) ジッタの推定方法およびジッタを推定する装置
US8325812B2 (en) Motion estimator and motion estimating method
KR101830804B1 (ko) 적응 필터링을 이용한 디지털 이미지 안정화 방법
US8442318B2 (en) Method and apparatus for modifying a moving image sequence
US7605845B2 (en) Motion stabilization
US8860829B2 (en) Image processing device, image processing method, and image processing program
JP4215266B2 (ja) 画像生成装置および画像生成方法
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
US8204126B2 (en) Video codec apparatus and method thereof
US20120093231A1 (en) Image processing apparatus and image processing method
US20090067509A1 (en) System And Method For Displaying A Digital Video Sequence Modified To Compensate For Perceived Blur
US8274602B2 (en) Image processing apparatus and image processing method with redundant frame detection
JP2008060927A (ja) 画像合成装置及び方法並びに撮像装置
KR20080033094A (ko) 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의구현을 위한 디바이스
WO2008152951A1 (en) Method of and apparatus for frame rate conversion
KR20070063369A (ko) 움직임 추정 기반 프레임 보간을 위한 장치 및 방법
EP2656312B1 (en) Method for producing a panoramic image on the basis of a video sequence and implementation apparatus.
Auberger et al. Digital video stabilization architecture for low cost devices
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
KR100829098B1 (ko) 움직임 추정장치 및 움직임 추정방법
EP2656311B1 (en) Method for producing a panoramic image and implementation apparatus.
JP4250807B2 (ja) フィールド周波数変換装置および変換方法
KR100949137B1 (ko) 영상 보간 장치와 그 방법 및 그 방법이 기록된 컴퓨터로읽을 수 있는 기록매체
KR20060123237A (ko) 이미지 식별 방법 및 장치, 이미지의 움직임을 결정하는방법 및 장치, 이미지 안정화 방법 및 장치, 컴퓨터프로그램 제품

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100820

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5012413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees