JP2003524903A - 背景情報を挿入することによりリアルタイム安定化画像から空白領域を排除する装置と方法 - Google Patents

背景情報を挿入することによりリアルタイム安定化画像から空白領域を排除する装置と方法

Info

Publication number
JP2003524903A
JP2003524903A JP2000538504A JP2000538504A JP2003524903A JP 2003524903 A JP2003524903 A JP 2003524903A JP 2000538504 A JP2000538504 A JP 2000538504A JP 2000538504 A JP2000538504 A JP 2000538504A JP 2003524903 A JP2003524903 A JP 2003524903A
Authority
JP
Japan
Prior art keywords
image
frame
background
video frame
current video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000538504A
Other languages
English (en)
Inventor
マイケル， ダブリュー． ハンセン，
ルーカス， ケー． マクドーウェル，
Original Assignee
サーノフ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーノフ コーポレイション filed Critical サーノフ コーポレイション
Publication of JP2003524903A publication Critical patent/JP2003524903A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 画像安定器は、背景画像からの画像データを選択的に現在の画像に付加し、前の画像に対する現在の画像の突然のシフトのため欠けている現在の画像中のデータを補償する。現在の画像は、背景画像の座標系にワーピング統合され、ついでワーピングされた現在の画像が背景画像とマージされ、現在の画像内のいかなる空白領域を、背景画像からの対応する画素値に入れ替える。ワーピングされた現在の画像に入れ替えられるべき背景画像からの画像データは、現在のワーピング画像とマージされる前に、低域濾過操作を受ける。現在のワーピング画像が、背景画像とマージされ、修正背景画像が形成され、この画像がついで現在のワーピング画像とマージされる。背景画像がワーピングされた現在の画像にマージされる前に現在の画像を得る際に、背景画像自体がワーピングされ、カメラの運動を追跡する。

Description

【発明の詳細な説明】
【０００１】 本出願は、1999年3月23日出願の米国仮特許出願第601079044号の出願日の利益
を主張するものである。
【０００２】 本発明は、映像の安定化に関し、特に安定化画像を既存の背景情報とマージ適
応させ、安定化画像内の空白領域を隠す装置と方法に関する。
【０００３】 画像安定化は、ニュースレポート、映画作成、映像監視、動補償画像コーディ
ング等多くのアプリケーションで望ましいことである。これら全てのアプリケー
ションにおいて、連続するソース映像のフレーム間で好ましくないジッタを排除
することが望ましい。テレビニュース番組の作成者は、視聴者に見せる前に、手
持ちカメラからの映像を安定化させることを望んでいる。揺動、または回転プラ
ットフォーム、あるいは移動車両に搭載された監視カメラからの映像が、観察者
（人間）に提示される前にコンピュータで分析できるよう安定化されることが望
ましい。
【０００４】 安定画像を得る方法の1つは、機械的安定化されたプラットフォームにカメラ
を搭載することである。このようなプラットフォームでは、通常、ジャイロスコ
ープを使いプラットフォームの回転を検知し、また回転を補償するのにモータが
使われる。安定化プラットフォームは、比較的高価な傾向があり、フィードバッ
ク制御システムに基づくため、カメラの早い動きをうまく補償しない。
【０００５】 機械的安定化されたプラットフォームで補正不可能なカメラの動きを補償する
には、撮像装置移動センサによる電子の安定化が利用できる。電子安定化システ
ムでは、電子機械フィードバックシステムでは補正できないプラットフォームの
動きが探知される。探知された残余運動が、変換パラメータに変換され、次にこ
のパラメータを使い、現在の画像をワーピングしてその残余運動を取り除き、安
定化出力画像が生成される。電子機械的安定化されたプラットフォームなしに、
電子安定化システムを使い、撮像装置運動の補償を行ってもよい。このようなタ
イプのシステムでは、カメラの動きは、ジャイロスコープ、加速時計等の機械運
動センサにより検知してもよいし、あるいは連続画像フレームの所定成分を分析
し、相互に関連付けることにより、画像データから直接探知するようにしてもよ
い。
【０００６】 映像を安定化することにより、不安定なカメラから得られる映像を処理するの
に多くの利点が提供される。映像の安定化で、視聴者（人間）は映し出されたシ
ーンの内容をもっとよく理解できるようになり、画像の動きに隠されてしまい気
づかれないまま終わってしまうような詳細を検知できるようになる。映像の安定
化が必要な多くのアプリケーションは、リアルタイムで動作する必要もあるため
、そのアプリケーション用に行われる映像の安定化操作も、リアルタイムで行わ
れることが重要である。電子および電子機械映像安定化方法の例が、米国特許第
5,629,988号「電子画像安定化のためのシステムとその方法」（バード（Burt）
等）に述べられている。本明細書では、映像の安定化技術における当該特許の教
示を参照という形で記載する。
【０００７】 電子映像安定化の方法の1つは、前の映像フレームからの情報を使い、現在の
映像フレームを所定表示座標系に整合する。この操作を行うには、映像プロセッ
サにより、座標系に対する現在の画像の配向、現在の画像の変換を決定すること
が望ましく、現在の画像は、その変換によって座標系と整合される。正しい整合
が決定されると、前記プロセッサは、決定された変換により現在のフレームを「
ワーピング」し、座標系に整合させ、これにより現在のフレーム内オブジェクト
と前のフレーム内オブジェクトとの整合が可能となる。ワーピングプロセスの例
は、前記参照の米国特許に開示されている。整合されたフレームは、次に、視聴
者（人間）用にモニタ表示されるか、またはさらなる処理用に使用される。
【０００８】 視聴者（人間）用に行われる映像の安定化は、表示縁に空白領域が現れる等、
望ましくない副作用をもたらすことがある。このような空白領域は、カメラが大
きく動き、その結果、前の画像から比較的大きな距離をおいて表示される画像を
生成する際に生じる。空白領域とは、現在のフレームが前の映像フレームと合う
ように整合された後、前記現在のフレーム内におけるある領域に関して何ら情報
がないため、映像プロセッサが、今そこに何を表示すべきかの情報を持たない領
域を指す。このアーティファクトを、図1、2、3を参照し説明する。時間T0にお
いて、カメラは、帆船100が画面中央に示される図1の映像フレームを提供する。
この画像は、帆船100に対して、所定の座標系と整合される。時間T0後の時間T1
前に、図2の時間T1に示す画像フレームが提供されるようカメラが移動する。こ
のフレームでは、帆船100はフレーム中央に位置しておらず、実質的に右側にシ
フトされている。時間T1で受けた画像を、時間T0で受けた画像の座標系と整合さ
せるため、映像プロセッサは、図2に示すフレームを、左側にある画素数Nだけシ
フト（「ワーピング」）する必要があると決定する。
【０００９】 したがって、図2に示すフレームが、表示用にワーピングされると、フレーム
右側から画素N個分の幅の領域は表示されず、一方フレーム左縁上の画素N個分の
幅の領域120は空白となる。これは、図1に示すフレームからの情報が1つもなく
、この領域を埋めることができないためである。帆船100を中心とする現在の映
像での表示領域は安定しているが、画像右側に、問題となる空白領域120が存在
する。空白領域は画像右側に示されているが、どの側、全表示側に現れてもよく
、カメラの移動タイプ、量、方向に応じ急速に変化することがある。
【００１０】 表示信号のタイプによるが、この信号が、通常の表示では見えない有効映像デ
ータを含む場合、空白領域を生成することなくある量の運動を安定化することが
できる。例えば、標準NTSC映像では、表示可視領域周辺に境界を形成する大量の
有効映像データが存在する。このデータは、画像のオーバースキャン部を表す。
テレビ設計者は、一般に、このオーバースキャンを表示画像に組み込むことによ
り、アセンブリのバラツキを補償し、また表示画像を拡大、縮小、またはシフト
させる傾向にある地球磁界の局所強度を補償する。画面可視領域より大きい領域
上にデータを表示するようテレビ受信機を設計することにより、前記のような画
像シフトは、視聴者が気づくどのようなアーティファクトも表示することなく調
節可能となる。このオーバースキャンデータは、特殊表示モニタが、「アンダー
スキャン」モードで操作される際見ることができる。映像プロセッサは、このオ
ーバースキャンデータを使い、図3に示すような空白映像領域を補償することが
できる。図1を参照すると、例えば、テレビ受信機上のオーバースキャンで、点
線で示す領域110のみ表示された場合、時間T0、T1間で起こる画像シフトは、そ
の画像を左にシフトすることにより調節され、それにより画像右側のオーバース
キャンが排除可能となる。通常表示される領域に右側にN個の画素が存在する場
合、画像が右に画素N個分だけシフトされると、オーバースキャン領域から画素
数N分表示可視領域内にシフトされ、空白領域は存在しない。
【００１１】 もちろん、オーバースキャンデータの有用性には限界がある。多量運動を補償
するのに大きな画像シフトが必要な場合、オーバースキャン領域からの撮像装置
データにより、空白領域の大きさを縮小可能であろうが、運動の全大きさを補償
することはできない。可視画像各側に、画素P個のオーバースキャンデータがあ
る場合、P個を超える画素の運動シフトは、表示上に空白領域を生成することに
なる。
【００１２】 さらに、映像信号のオーバースキャン領域は、視聴者には見えないデータを表
すため、この領域をできるだけ小さく保持することが好ましい。したがって、オ
ーバースキャン領域のデータを、大きな画像シフト補償に使うことはできなくな
る。
【００１３】 従来、空白排除の方法として、電子ズームの使用を試みた人もいる。この方法
は、表示画像を小さい率だけズームをかけることにより、オーバースキャン領域
の大きさを人為的に増加する方法である。表示可視領域にあるはずの映像データ
部が、オーバースキャン領域の一部になる。これによりオーバースキャン領域の
大きさが大幅に増加し、したがって空白領域を埋めるのに使えるより大きなバッ
ファが提供される。しかし、この技術には深刻な問題が存在する。第1に、空白
領域を表示することなくより大きなカメラ運動を処理可能となるが、それでも補
償可能な運動量には限界がある。第2に、映像画像のズームにより、視野が減少
し、画質が劣化してしまう。これは、最上質の映像が必要とされる場合大きな欠
点となる。
【００１４】 上述の技術は、全て現在の映像フレームを操作することにより、表示から空白
領域を排除しようとするものである。本発明の目的は、前の映像フレームからの
情報を使い、画質、視野を犠牲にすることなく、空白であるはずの表示領域を埋
める方法を提供することである。
【００１５】
【発明の概要】
本発明の実施形態によれば、背景画像からの画像データを選択的に現在の画像
に付加し、それにより前の画像に対する現在の画像の突然のシフトのため欠けて
いる現在の画像中のデータを補償する画像安定器が提供される。
【００１６】 本発明の様態によれば、現在の画像が、背景画像の座標系にワーピング統合さ
れ、ついで、ワーピングされた現在の画像が背景画像とマージされ、現在の画像
中のどのような空白領域でも、背景画像からの対応する画素値に入れ替わる。
【００１７】 本発明の別の様態によれば、現在のワーピング画像と入れ替わる背景画像から
の画像データが、現在のワーピング画像とマージする前に、低域濾過操作を受け
る。
【００１８】 本発明のさらに別の様態によれば、現在のワーピング画像が背景画像とマージ
され、ついでマージ画像が低域濾過操作を受け、その後現在のワーピング画像と
マージされる。
【００１９】 本発明の別の様態によれば、背景画像が現在のワーピング画像とマージされる
前に、背景画像がワーピングされ、現在の画像を得る際のカメラ運動を追跡する
。
【００２０】
【詳しい説明】
図4は、本発明に係る画像安定化システムの例を示す図である。このシステム
では、カメラ410により提供される画像データが安定化される。カメラには、イ
メージアナライザ414に任意の運動信号、CM（ファントムで示す）を与える機械
的安定化されたプラットフォーム（図示せず）、または運動センサ（図示せず）
を含んでよい。任意の信号CMにより、前のフレームから現在のフレームまでのカ
メラ運動が大まかに推定される。
【００２１】 カメラ410からの画像データは、フレームメモリ412に記憶される。メモリ412
は、カメラ410から受信した画像、つまり現在の画像を、イメージアナライザ414
に提供するよう結合される。イメージアナライザ414は、背景フレーム記憶416に
保持される規準、または背景画像からの画像データも受信する。以下記載するよ
うに、本発明の実施形態では、この背景画像は、所定の座標系と整合される。イ
メージアナライザ414は、現在の画像を背景画像と比較し、その現在の画像を背
景画像に整合させる変換を決定する。本発明実施形態では、この変換は、他のパ
ラメトリック変換も使用できると考えられるが、アフィン変換である。
【００２２】 イメージアナライザは、前記米国特許（バート他）のように動作してもよいし
、またはここで画像登録に関しその教示を参照する米国特許出願第09148,661号
「統合タイミング情報を有するディジタル信号処理回路機成」（ヴァン・デル・
ワル(Vandel War)等）に記載のように、現在の画像を背景画像と比較するように
してもよい。参照の特許出願には、現在の画像を背景画像と整合させるのに使用
できるパラメトリック変換を決定する専用プロセッサが記載されている。
【００２３】 参照特許出願には、勾配ベース直接画像登録技術を実施するのに使われるプロ
セッサが記載されている。この技術は、２画像の部分時空間導関数を使いその画
像間運動を計算し、画像を登録するパラメトリック変換を産出する。パラメトリ
ック変換は、同様の方法を使い他のパラメトリック変換も容易に導出できるが、
通常アフィン変換である。
【００２４】 解くべき変換は次の形態である。 I(x,y,t) = I(x+du, y+dv,t+1) du=a+bx+cy and dv = d+ex+fy 直接方法を使った変数a,b,…,f,の変換解を式(1)に示す。
【００２５】
【数1】
【００２６】 ここで、2画像の全空間範囲上で総和が取られることを仮定している。
【００２７】 汎用プロセッサを使い(1)に示す式系を解くことは容易には行われない。この
解の最も高価な計算部分は、画像全範囲上の値の蓄積を通しての式係数の計算で
ある。この蓄積は、全画像上の画像画素値検査を含むだけでなく、2〜4回の高精
度逓倍と蓄積計算に頼っている。これらは、インテル社のペンティアムMMXプロ
セッサシリーズや、他のマルチメディア加速器等の「マルチメディア向上」プロ
セッサを使用したとしても、最適化された履行にそれほどよく適合した計算では
ない。
【００２８】 勾配ベース画像登録は、ハードウェアで効率よく実施可能である。画像部分導
関数、画像ピラミッド、画像ワーピング計算は全て、標準映像フレームよりずっ
と速い速度で実施可能である。計算時間に関して、勾配ベース登録の実施に唯一
限定を加える要素は、式(1)における係数の推定である。
【００２９】 式(1)での望ましい係数は、以下の画像データ値の全関数である。 ・ Ix、水平方向における入力画像の部分導関数 ・ Iy、垂直方向における入力画像の部分導関数 ・ It、登録すべき2画像間の差 ・ x、水平位置カウンタ ・ y、垂直位置カウンタ 3つの画像導関数、Ix、Iy、Itは、ソース画像と所望導関数近似核とのたたみ
こみを行うことにより算出される。この目的には、 社製PYR-2等のASICが
適当である。水平、垂直位置カウンタx、yは、イメージアナライザ414がメモリ4
12、416から画像データを取り込むとき、その内部に生成される。
【００３０】 係数計算は、図10に示すプログラム可能な逓倍アキュムレータに、信号x、y、
Ix、Iy、Itを信号x、y、In1、In2、In3として印加することにより実施できる。
係数計算の全段階において、5個の8ビット入力のうち1つが、マルチプレクサを
通して選ばれる。この選定は、プログラム可能制御レジスタを利用し、ソフトウ
ェア制御の下で行われる。
【００３１】 図10は、例えば電界プログラム可能ゲートアレイ(FPGA)を使用して実施できる
、プログラム可能逓倍アキュムレータ回路の例を示すブロック図である。この回
路例では、5個の入力信号、X、Y、IN1、IN2、IN3が、マルチプレクサ1010、1012
、1060、1062に平行して印加される。マルチプレクサ1010、1012の出力信号は、
2出力値の積を形成する乗算器1014に印加される。この出力値は、アキュムレー
タ1016、さらにマルチプレクサ1020、1030、1050、1070に印加される。同様に、
マルチプレクサ1060、1062提供の出力信号は、乗算器1064に印加される。乗算器
1064では、アキュムレータ1066マルチプレクサ1020、1030、1050、1070に印加さ
れる出力値信号が生成される。
【００３２】 入力値X、Y、IN1、IN2、IN3（まとめてD1と称する）は、遅延要素1084に印加
され、そこでマルチプレクサ1010、1012、1060、1062を通して処理遅延が補償さ
れ、信号D2が生成される。信号D21は、乗算器1014、1064を通して処理遅延を補
償する補償遅延要素1086に印加される。遅延要素1086の出力信号は、マルチプレ
クサ1018、1028、1048、1068に印加される信号D3となる。遅延要素1084、1086と
平行して、信号D1内にいつ有効データが存在するかを示すタイミング信号T1が、
遅延要素1094、1096により遅延される。遅延要素1096の出力信号は、タイミング
信号T3となり、この信号は、例えばアキュムレータ1016に印加され、アキュムレ
ータレジスタ（図示せず）が、乗算器1014により提供される値を、記憶された累
積値に付加することが可能となる。
【００３３】 マルチプレクサ1018、1028、1048、1068の出力信号は、第2級の乗算器1022、1
032、1052、1072に印加される。これらの乗算器は結合され、それにより一方の
入力ポートで複合信号D3に含まれる信号から選ばれる1つが受信され、他方の入
力ポートで、乗算器1014、または1064提供の出力信号の1つが受信される。乗算
器1016、1064の出力信号は、各マルチプレクサ1020、1030、1050、1070を介し乗
算器1022、1032、1052、1072に印加される。
【００３４】 乗算器1022、1032、1052、1072の出力信号は、各アキュムレータ1023、1033、
1053、1073に印加される。これらの出力信号は、第3級の各乗算器1026、1036、1
056、1076の一方の入力ポートにも印加される。信号D3は、遅延要素1088、1090
により遅延されて信号D5を生成する。信号D5は、マルチプレクサ1018、1028、10
48、1068の処理遅延を補償し、乗算器1022、1032、1052、1072を通して遅延され
る。遅延要素1090の出力信号は、マルチプレクサ1024、1034、1054、1074に印加
される信号D5となる。
【００３５】 遅延要素1088、1090と平行して、遅延要素1098、1100が配置される。これらの
遅延要素により、遅延要素1090提供のタイミング信号T3が遅延され、各アキュム
レータ1023、1033、1053、1073に印加されるタイミング信号T5が生成される。前
述のように、タイミング信号T5を使うことにより、乗算器1022、1032、1052、10
72により有効データが提供されるときアキュムレータレジスタが動作可能となる
。
【００３６】 複合信号D5として提供される遅延信号X、Y、IN1、IN2、IN3から選ばれた信号
は、各マルチプレクサ1024、1034、1054、1074により、各乗算器1026、1036、10
56、1076の第2入力ポートに印加される。これら乗算器の出力信号は、プログラ
ム可能逓倍アキュムレータ回路の各出力信号OUT1、OUT2、OUT3、OUT4となる。乗
算器1026、1036、1056、1076の出力信号は、各アキュムレータ1027、1037、1057
、1077にも印加される。これらのアキュムレータも結合されて、マルチプレクサ
1024、1034、1054、1074、また乗算器1026、1036、1056、1076を通して処理遅延
が補償される遅延要素1102からの遅延タイミング信号T6を受信する。
【００３７】 図10に示すプログラム可能逓倍アキュムレータを使用し、それぞれ因数を4個
含む積を4個同時に形成可能である。さらに、これら因数の計算をパイプライン
化することもできる。これにより、4個の積から成る連続したグループに、単一
の乗算器を通してパイプライン遅延とほぼ等しい遅延が設定される。図10に示す
回路機構において、4個より少ない因数で積が形成される場合、入力信号の1つが
1に設定され、後の乗算器演算用に選ばれる。あるいは、各乗算器が、入力信号
の1つをこの目的で使う必要がなくなるよう、別の単位入力を有し構成してもよ
い。
【００３８】 図10に示すプログラム可能逓倍アキュムレータは、式(1)に示す係数を4個の画
像パスで計算可能である。各パスにおいて、逓倍アキュムレータへの入力画像は
、Ix、Iy、I1とする。各パスで計算された係数を以下に示す。
【００３９】
【数２】
【００４０】 一例としての逓倍アキュムレータが33MHzで画素処理を行う場合、各パスでは
次の実行時間が計算できる。
【００４１】 時間・パス＝（水平 サイズ+32）（垂直 サイズ+2）*30n秒+250(秒 この関係は、32画素の水平ブランキング時間、2ラインの垂直ブランキング時
間、制御レジスタセットアップの250マイクロ秒を反映するものである。この関
係を用い、一対の256(256画素サイズ画像の係数が、8ミリ秒で計算できる。同様
に、一対の128(128画素サイズ画像は、実行時間2.5ミリ秒であり、一対の64(64
画素サイズ画像は、実行時間1.8ミリ秒となる。
【００４２】 ある画像から次の画像へのカメラ移動が小さいと分かっている、または、カメ
ラにより、粗カメラ運動に関する情報を含む信号CM等の運動信号が提供される場
合、パラメトリック変換は、現在の画像と背景画像のみに基づき計算できる。し
かし、変換処理を行う前に、各画像での縁強調のため、現在の画像と背景画像の
両方が高域濾過操作を受ける（例、各画像のラプラシアン計算を行う）ことが望
ましい。
【００４３】 各画像が粗画像運動を受け、カメラにより現在のフレームの画素を越えてどの
ような運動情報も提供されない場合、現在の画像と背景画像の両方が、互いに整
合されようとする前に、数段階のピラミッド濾過操作を受けることが望ましい。
この場合、PYR-2等のピラミッドプロセッサを使い、各画像の数ピラミッドレベ
ルにおいて、ラプラシアン画像が生成可能である。次に、最高ピラミッドレベル
において、ラプラシアン画像に対してパラメトリック整合プロセスを適用するこ
とにより、粗整合が得られる。現在の画像は背景画像と整合されるまで、この租
整合に対応するようワーピングされ、次の低ピラミッドレベルのラプラシアン画
像を使いこのプロセスを繰り返すこともできる。
【００４４】 図4に示す例に戻るが、上述のようにイメージアナライザ414でパラメトリック
変換が算出され、この変換がワーピングプロセッサ418に加えられる。例のワー
ピング回路は、ここでディジタル画像のワーピングに関しその教示が参照される
、米国特許出願第081838,101号「計算効率のよいディジタル画像ワーピング」（
ローメヤ（Lohmeyer）等、1997年4月15日申請）開示のタイプでよい。このロー
メヤ特許出願に記載されるワーピング技術では、1〜Mの因数で入力画像がアップ
サンプリングされ、入力、出力画像両方のナイキスト限度を超える多くのサンプ
ルが生成される。アップサンプリングされた画像は、次に前濾過操作を受け、そ
れにより補間プロセス中に起こる可能性のある低域濾過が補償される。次に、例
えば簡単な双一次補間器を使い、ワーピング機能が適用される。そしてこの結果
が適当な因数でダウンサンプリングされ、出力画像が生成される。本発明の実施
形態では、実行されるワーピング操作が、画像スケーリングに対して画像シフト
が優勢の場合、入力サンプルが2〜1の因数でアップサンプルされ、補間器により
提供される出力サンプルが、1〜2の因数でダウンサンプルされる。パラメトリッ
ク変換に、画像ズーム等の画像スケーリングが含まれる場合、アップサンプリン
グ、ダウンサンプリング因数を非対称的に使い、スケーリング操作を実施するこ
とができる。
【００４５】 ワーピングプロセッサ418による現在の画像のワーピング後は、背景画像の座
標系に対して、マージ回路420により、現在の画像が背景画像からの画像画素と
選択的にマージされる。本発明の実施形態では、マージ回路420はイメージアナ
ライザ414の制御の下で動作し、現在のワーピング画像内にある空白画素位置で
、背景フレーム記憶メモリ416からの画像画素が代入される。これら画像画素の
数、位置は、イメージアナライザにより計算されるパラメトリックワーピング関
数から決定できる。例えば、現在の画像がオーバースキャン領域を1つも有さず
、画像ワーピング器により、現在の画像が、拡大なしに上に10画素位置、左に20
画素位置シフトされるべきと決定される場合、マージ回路420が、背景画像低部
から10行分の画素、背景画像右側から20列分の画素を現在のワーピング画像内に
挿入するよう指令を受ける。現在の画像が既知のサイズのオーバースキャン領域
を有する場合、オーバースキャン領域内の画素数が、シフトされた画素数から減
じられ、背景画像から現在の画像内に代入すべき画素数が決定される。マージ回
路420により提供される画像は、新しい背景画像になり、背景フレーム記憶メモ
リ416に書き込まれる。
【００４６】 あるいは、前記画素位置は、実際の画素値自体から決定できる。本実施におい
て、画像ワーピング器418により、現在の画像から決定されなかったワーピング
画像の各画素に対して、無効画素値が提供される。本実施では、マージ回路は、
クロマキーシステムと同じように動作し、ワーピング画像内の無効画素値が、背
景フレーム記憶416からの画像画素に入れ替えられる。
【００４７】 前記図4を参照し記載された空白排除のための第1技術では、前のフレームから
の情報からなる背景が、他の場合表示空白となるその領域内に挿入される。背景
が現在のフレームと整合され、表示用に単一の一貫フレームが生成されるよう、
この挿入は行われる。
【００４８】 背景画像は、再帰的に生成される。初めに、時間T0で受信されるフレームは背
景である。各フレーム時間Tにおいて、現在の背景が現在のワーピングフレーム
の空白領域内に挿入され、マージ結果が表示される。最後に、マージされた現在
のフレームが新しい背景フレームになる。表示全体を埋める時間T0でのある背景
から開始し、次にこの処理を繰り返すことにより、空白領域が1つもない表示が
可能となる。
【００４９】 容認できる安定化画像を生成するためには、表示の際に背景を現在の映像フレ
ームと整合させることが望ましい。しかし、この整合は、安定化プロセスで自動
的に扱われる。イメージアナライザ414、ワーピングプロセッサ418が映像フレー
ムを登録する際、これらフレームは、表示座標系の基準に効果的に整合される。
本発明実施形態では、この座標系は、時間T0で受信されるフレームの画像成分に
より定義される。各映像フレームは同じ座標系に整合されるため、連続する映像
フレームがお互いに整合される。したがって、新しい映像フレームが同じ座標系
内の前の映像フレームから構成される背景フレームとマージされるとき、新しい
フレームは既にその背景と整合しており、一貫した表示が生成される。
【００５０】 この方法では空白画素が1つもなく画像が生成されるが、大きなアーティファ
クトを有する画像が生成される場合もある。図1〜3の例に戻り、図7および8では
、図4に示す装置を使い生成される安定化画像が示されている。画像102部分がワ
ーピングされた現在の画像に対応して、104画像部分が、現在の画像とマージさ
れるべき背景画像部分に対応する。前述のように、背景画像の座標系は、帆船10
0の位置から決定される。時間T0で受信したフレームと、時間T1で受信したフレ
ーム間において、雲112が帆船に対して左側に移動しており、よってマージ画像
には不連続性が見られる。さらに、時間T0とT1間で、帆船が、2波間の谷に入っ
ており、よって現在の画像の水平線116が、背景画像の水平線118より高く見える
。したがって、現在の画像が帆船100の座標系にワーピングされ、背景画像とマ
ージされた後でも、複合画像に不連続性がある場合もある。背景画像は再帰的に
定義されるため、画像運動が1方向に継続する場合、背景画像には多重の不連続
性が存在することも考えられる。不連続性が一貫した方向での運動により引き起
こされる場合、背景画像の縁により近い不連続性のほうが、縁から離れた不連続
性よりも大きくなる。図8では、マージされた102、104の例が示されている。こ
のマージ画像の雲112、水平線116における不連続性は明らかである。
【００５１】 図5は、上述のようなタイプの不連続性を軽減し、同時に背景画像部分が古く
なるにつれてのその関連性を減ずる画像安定化装置の例を示す。図5の装置が、
背景データを、新しいフレームとマージされる前に低域フィルタ510で濾過する
ことを除いて、図5に示される装置は、図4に示す装置と同一のものである。例え
ば、フィルタ510は、背景画像の目立ったぼけを生成する標準ガウス2次元フィル
タでよい。
【００５２】 この技術はいくつかの利点を有する。背景がぼけると、十分なデータとテクス
チャを背景内に残し、視聴者にその周辺背景を提供しながら、背景内のどのよう
な非一貫性も認知されることが少なくなる。
【００５３】 背景は各時間ステップで濾過されるため、背景各領域の鮮鋭度によりデータ年
齢が反映される。つまり、長い間背景内にあり、何度も濾過されたデータは、大
変ぼけているが、最近のデータはより鮮明である。このことは、より古いデータ
内の不連続性がより新しいデータ内の不連続性より大きい可能性があるため、特
に有利である。
【００５４】 背景がぼけると、視聴者は、表示中央のライブ部により容易に集中できるよう
になる。表示中のぼけた縁は、ある種周辺視野となり、視聴者は主な注意の焦点
から気をそらさずに、より表示からの情報を識別することができるようになる。
現在の画像は濾過されないため、その鮮明さは維持され、低域フィルタ510によ
る劣化も起きない。図9は、図5に示すような装置で生成可能な出力画像の例を示
す。前記のぼけのため、曇り12、水平線116における不連続性は、図8ほど目立っ
ていない。
【００５５】 図5に示される装置により空白排除の問題の多くが解決されたが、それでも新
しく挿入されたフレームと、（ぼけた）背景間には、まだ目につく縁が残ってい
る。非濾過ライブデータと濾過背景データ間では、よりシームレスな遷移が望ま
しい。しかし、このような遷移は、表示された現在の画像の質を減ずることなく
行われるべきである。現在の画像と背景画像間の遷移をより目立たなくする方法
の1例に、図6に示す装置を使った画像処理がある。
【００５６】 図6は、図5のシステム要素全てを含む画像安定化システムの例を示す。また、
図6のシステムは、別のマージプロセッサ610、任意の遅延要素614、任意のワー
ピングプロセッサ612も含む。図6に示す装置は、フィルタ510で背景画像を濾過
する前に背景画像が現在のワーピングフレームとマージされる点において、図5
の装置と異なる。次に、フィルタ510は、マージされたフレームに作用する。濾
過されたマージフレームは、ついでマージプロセッサ420において再びマージさ
れ、出力フレーム、新しい背景フレームが生成される。第2のマージプロセッサ4
20において、マージプロセッサ610提供の濾過されたマージフレームは、図5に示
す装置の背景画像と同じように扱われる。つまり、ワーピングプロセッサ418提
供のワーピングフレームからの画素が、可能であればいつでも使用される。さも
なければ、フィルタ510提供の濾過されたマージフレームから画素が取られる。
任意の遅延要素614は、マージプロセッサ610を通して処理遅延を補償するのに必
要な補償遅延である。この補償遅延は、ワーピングプロセッサ418により提供さ
れる画像と、プロセッサ610により提供されるマージ画像の両方がマージプロセ
ッサ420に加えられるとき、両画像が適切に互いに整合するよう行われる。
【００５７】 現在のフレームは、不連続性が濾過操作を受けるよう、フィルタ510での濾過
の前に背景フレームとマージされる。この処理により、現在の画像と背景画像間
の境界近傍で、現在の画像の一部が濾過された背景画像に効果的に注入される。
したがって、マージプロセッサ420により生成されるマージ画像における、どの
ような不連続性でも、図5に示す装置により生成されるマージ画像に対してスム
ーズにされる。結果として得られる表示フレームは、入手可能な現在のフレーム
からの非濾過データのみ有する。しかし、背景が濾過されているため、一旦現在
のフレームが挿入されると、現在の画像と背景画像間の境界に隣接する背景画像
領域は、現在の画像と背景画像両方の情報を含むことになる。したがって、現在
のフレームからのどのデータも劣化させることなく、図6に示す装置は、ライブ
データから背景へのよりスムーズな遷移をもたらす。図11は、図6の装置を使い
生成可能なマージ画像の例を示す。
【００５８】 マージ出力画像での円滑遷移をもたらす別の可能性には、図4に示すマージブ
ロック420に代わり、2入力空間フィルタ（図示せず）の使用が含まれる。この例
のフィルタでは、例えば2次元濾過を実施するため、各画像からの多くのライン
が使用される。各画像からの使用ライン数は、プロセッサ420が行うマージ処理
の場合と同じであってよい。現在の画像入力がある領域で完全に定められると、
フィルタはこの入力を修正することなく通過させる。一方、第1の入力がたたみ
こみ中の領域の所定部に定められていない場合、現在の画像からの画素が、2入
力フィルタの核スパンのため、背景画像からの画素で濾過される。本発明の実施
形態では、画像は、現在の画像と背景画像間境界を横断する領域のみで濾過され
る。これによりマージ画像内に、水平、垂直スミヤ領域が見えるようになるが、
一方マージ画像境界は濾過されず、よって焦点が合うことになる。
【００５９】 図6に示す装置への可能な改善は、第2ワーピングプロセッサ612を含めること
である。常に固定背景画像をマージする代わりに、ワーピングプロセッサ612に
より背景画像がワーピングされ、現在の画像の長期運動を追跡する。ワーピング
プロセッサ612は、イメージアナライザ414により提供される信号に応答し、通常
は表示基準座標系に記憶される背景画像を、現在の画像の長期運動に追随させて
もよい。例えば、カメラ410がフレーム毎1210画素の割合である場面をパンする
場合、数フレーム後、ワーピングプロセッサ612は、背景画像が、現在の画像を
より遅い速度だが、より安定した速度で追随するように例えばフレーム毎に5画
素づつ背景画像をワーピングすることができる。カメラ運動がスムーズではない
が、長時間に渡り明確な方向が定まっている場合、イメージアナライザ414は、
数フレームのフレーム間運動ベクトルを平均化することによってこの方向を決定
し、ワーピングプロセッサ612に、背景画像の座標をゆっくりと調整させ、カメ
ラ運動を追跡させる。あるいは、スムーズな画像調整が必要でない場合、イメー
ジアナライザ414は、現在の画像座標系と背景画像座標系間の変位を蓄積し、所
定の相違が数フレーム上で蓄積されると、直ちに背景フレーム座標系を現在のフ
レーム座標系に調整するようにしてもよい。これは、多くのフレーム間上で最も
良く行われ、少なくとも短期の安定性を示す画像が提供される。いずれにせよ、
背景画像がワーピングされると、表示基準座標系が、同量分変化される。あるい
は、表示基準座標系が変化すると、背景画像がワーピングされ、その変化の償い
を行う。
【００６０】 一連の現在の画像の生成において、背景画像がカメラの長期運動を追跡できる
ようにすることは、画像内で空白画素領域を隠すのにも有効である。表示座標系
がゆっくりと変化する場合、背景構成でのエラーは小さくなり、それほど目立た
なくなる。背景をぼかすための濾過操作により、これら非一貫要素が深刻な問題
となることが防がれる。
【００６１】 例示の実施形態の見地から本発明を説明したが、本発明は、添付請求の範囲内
で上述したように実施できると考える。
【図面の簡単な説明】
【図１】 規準座標系と整合する映像フレームの画像図である。
【図２】 突然移動した後のカメラにより提供される映像フレームの画像図である。
【図３】 図１の映像フレームと整合する図２の映像フレームの画像図である。
【図４】 本発明の第１実施形態による画像安定化システムの１例を示すブロック図であ
る。
【図５】 本発明の第２実施形態による画像安定化システムの１例を示すブロック図であ
る。
【図６】 本発明の第３実施形態による画像安定化システムの１例を示すブロック図であ
る。
【図７】 図４、５、６に示される本発明各実施形態の動作を説明するのに有益な画像図
である。
【図８】 図４、５、６に示される本発明の実施形態の動作を説明するのに有益な画像図
である。
【図９】 図５、６に示される本発明の実施形態の動作を説明するのに有益な画像図であ
る。
【図１０】 図４、５、６に示されるようなイメージアナライザを実施するのに有益な逓倍
アキュムレータを示すブロック図である。
【図１１】 図６に示される本発明の１つの別実施形態の動作を説明するのに有益な画像図
である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＢＲ，ＣＮ，Ｊ Ｐ，ＫＲ Ｆターム(参考） 5C022 AB02 CA01 5L096 FA22 GA55 HA04

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 現在の映像フレームを表す映像信号を受信する端子と、 背景映像信号のフレームを保持するメモリと、 前記現在の映像フレームと前記背景映像フレームに応じ、前記現在の映像フ
    レームを前記背景映像フレームに整合させるため、現在の映像フレームに加える
    べき変換を決定するイメージアナライザと、 前記イメージアナライザにより決定された変換を加え、少なくとも１つの縁
    に沿って空白画素を有し、前記背景映像フレームと整合する変換された現在の映
    像フレームを生成する画像ワーピングプロセッサと、 前記変換された現在の映像フレーム内の空白画素を前記背景フレームからの
    画素に入れ替え、出力映像フレームを生成する画像マージプロセッサとを備える
    画像安定器。
  2. 【請求項２】 前記イメージアナライザが前記画像ワーピングプロセッサを
    制御し、前記変換された現在の映像フレームの空白画素に代わり、前記背景フレ
    ームからの画素を挿入する請求項１に記載の画像安定器。
  3. 【請求項３】 前記メモリと前記画像マージプロセッサ間に結合され、前記
    変換された現在の映像フレーム内の空白画素を前記背景フレームからの画素に入
    れ替える前に、前記背景フレームに対して、空間低域フィルタ周波数応答特性を
    加える空間低域フィルタをさらに備える請求項１に記載の画像安定器。
  4. 【請求項４】 前記変換された現在の映像フレーム内の空白画素を前記背景
    フレームからの画素に入れ替え、前記空間低域フィルタに加える修正背景フレー
    ムを生成するマージプロセッサをさらに備える請求項３に記載の画像安定器。
  5. 【請求項５】 前記イメージアナライザが、数フレーム上での前記現在の映
    像フレームのフレームからフレームの変位を決定し、それにより前記数フレーム
    上での前記映像フレームのフレームからフレームの平均変位を定め、前記画像安
    定器が、前記フレームからフレームの平均変位により前記背景フレームをワーピ
    ングし、前記画像マージプロセッサに加えられるワープされた背景フレームを生
    成するさらなる画像ワーピングプロセッサをさらに備える請求項１に記載の画像
    安定器。
  6. 【請求項６】 前記さらなる画像ワーピングプロセッサと前記画像マージプ
    ロセッサ間に結合され、前記ワープされた背景フレームが前記画像マージプロセ
    ッサに加えられる前に、前記ワープされた背景フレームに空間低域フィルタ周波
    数応答特性を加える空間低域フィルタをさらに備える請求項６に記載の画像安定
    器。
  7. 【請求項７】 前記変換された現在の映像フレーム内の空白画素を前記ワー
    プされた背景フレームからの画素に入れ替え、前記空間低域フィルタに加える修
    正ワープされた背景フレームを生成するさらなるマージプロセッサをさらに備え
    る請求項６に記載の画像安定器。
  8. 【請求項８】 現在の映像フレームを表す映像信号を受信する端子と、 背景映像信号のフレームを保持するメモリと、 前記現在の映像フレームと前記背景映像フレームに応じ、前記現在の映像フ
    レームを前記背景映像フレームに整合させるため、前記現在の映像フレームに加
    えるべき変換を決定するイメージアナライザと、 前記イメージアナライザによって決定された変換を加え、少なくとも１縁に
    沿って空白画素を有し、前記背景映像フレームと整合する変換された現在の映像
    フレームを生成する画像ワーピングプロセッサと、 前記濾過された画素値が、前記現在の映像フレームからの非空白画素、前記
    背景映像フレームからの画素の両方を処理することにより形成される、前記現在
    の映像フレームの画素が空白画素でないときに前記現在のフレームの画素を提供
    し、前記現在の映像フレームの画素が空白画素であるときに濾過された画素値を
    提供して出力映像フレームを作成する２入力画像濾過プロセッサとを備える画像
    安定システム。
  9. 【請求項９】 背景映像信号のフレームを記憶し、 前記背景映像フレームを前記現在の映像フレームと比較し、前記現在の映像
    フレームに加えられ、前記現在の映像フレームを前記背景映像フレームに整合さ
    せる変換を決定し、 前記決定された変換にしたがい前記現在の映像フレームをワーピングし、少
    なくとも１つの縁に沿って空白画素を有する変換された現在の映像フレームを生
    成し、 前記背景映像フレームを前記現在の映像フレームとマージし、前記変換され
    た現在の映像フレーム内の空白画素を、前記背景フレームからの対応画素に入れ
    替えることを備える現在のフレームを安定化させる方法。
  10. 【請求項１０】 前記変換された現在のフレーム内の空白画素を前記背景フ
    レームからの画素に入れ替える前に、前記背景フレームに空間低域フィルタ周波
    数応答特性を加えることをさらに備える請求項９に記載の方法。
  11. 【請求項１１】 前記背景映像フレームを前記現在の映像フレームとマージ
    し、前記変換された現在の映像フレーム内の空白画素を前記背景フレームからの
    対応画素に入れ替えて、前記低域フィルタ周波数応答特性が加えられる修正背景
    映像フレームを生成することをさらに備える請求項１０に記載の方法。
  12. 【請求項１２】 数フレーム間隔上で、前記背景映像フレームに対する前記
    現在の映像フレームのフレームからフレームの変位を決定し、前記数フレーム間
    隔上でのフレームからフレームの平均変位を定め、 前記フレームからフレームの平均変位により前記背景フレームをワーピング
    し、前記現在の映像フレームとマージされるワープされた背景フレームを生成す
    ることをさらに備える請求項９に記載の方法。
JP2000538504A 1998-03-23 1999-03-23 背景情報を挿入することによりリアルタイム安定化画像から空白領域を排除する装置と方法 Pending JP2003524903A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US7904498P 1998-03-23 1998-03-23
US60/079,044 1998-03-23
US09/274,064 US6211913B1 (en) 1998-03-23 1999-03-22 Apparatus and method for removing blank areas from real-time stabilized images by inserting background information
US09/274,064 1999-03-22
PCT/US1999/006388 WO1999049657A1 (en) 1998-03-23 1999-03-23 Apparatus and method for removing blank areas from real-time stabilized images by inserting background information

Publications (1)

Publication Number Publication Date
JP2003524903A true JP2003524903A (ja) 2003-08-19

Family

ID=26761571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000538504A Pending JP2003524903A (ja) 1998-03-23 1999-03-23 背景情報を挿入することによりリアルタイム安定化画像から空白領域を排除する装置と方法

Country Status (4)

Country Link
US (1) US6211913B1 (ja)
EP (1) EP1064784A1 (ja)
JP (1) JP2003524903A (ja)
WO (1) WO1999049657A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102518A (ja) * 2006-10-17 2008-05-01 Seiko Epson Corp ヘッドアップディスプレイ、ヘッドアップディスプレイシステムを有する乗り物、非平坦面に歪みの無い画像を提供することができるディジタル方式のヘッドアップディスプレイシステム

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631734A (en) * 1994-02-10 1997-05-20 Affymetrix, Inc. Method and apparatus for detection of fluorescently labeled materials
WO1999067949A1 (fr) * 1998-06-22 1999-12-29 Fuji Photo Film Co., Ltd. Imageur et procede
US6570612B1 (en) * 1998-09-21 2003-05-27 Bank One, Na, As Administrative Agent System and method for color normalization of board images
WO2000060869A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Perspective-corrected video presentations
US6778211B1 (en) * 1999-04-08 2004-08-17 Ipix Corp. Method and apparatus for providing virtual processing effects for wide-angle video images
JP2001054013A (ja) * 1999-08-13 2001-02-23 Fuji Photo Film Co Ltd 撮像信号処理装置およびその処理方法
US7221395B2 (en) * 2000-03-14 2007-05-22 Fuji Photo Film Co., Ltd. Digital camera and method for compositing images
US7062092B2 (en) 2000-08-22 2006-06-13 Affymetrix, Inc. System, method, and computer software product for gain adjustment in biological microarray scanner
GB2372391A (en) * 2001-02-16 2002-08-21 Hewlett Packard Co Removal of specular reflection
US6643015B2 (en) 2001-04-26 2003-11-04 Affymetrix, Inc. System, method, and product for symmetrical filtering in scanning of biological materials
US6490533B2 (en) 2001-04-26 2002-12-03 Affymetrix, Inc. System, method, and product for dynamic noise reduction in scanning of biological materials
US6650411B2 (en) 2001-04-26 2003-11-18 Affymetrix, Inc. System, method, and product for pixel clocking in scanning of biological materials
US7079701B2 (en) * 2001-09-07 2006-07-18 Intergraph Software Technologies Concealed object recognition
ATE467115T1 (de) 2002-03-15 2010-05-15 Affymetrix Inc System und verfahren zur abtastung von biologischen materialien
KR100477654B1 (ko) * 2002-07-16 2005-03-22 삼성전자주식회사 재생 영상 선택 장치 및 그 방법
US7177483B2 (en) * 2002-08-29 2007-02-13 Palo Alto Research Center Incorporated. System and method for enhancement of document images
US20040100560A1 (en) * 2002-11-22 2004-05-27 Stavely Donald J. Tracking digital zoom in a digital video camera
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7317415B2 (en) 2003-08-08 2008-01-08 Affymetrix, Inc. System, method, and product for scanning of biological materials employing dual analog integrators
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
US20050213662A1 (en) * 2004-03-29 2005-09-29 James Owens Method of compression and digital imaging device employing compression algorithm
US8184923B2 (en) * 2004-04-19 2012-05-22 Semiconductor Energy Laboratory Co., Ltd. Image analysis method, image analysis program, pixel evaluation system having the image analysis method, and pixel evaluation system having the image analysis program
US9210312B2 (en) 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
US20050270372A1 (en) * 2004-06-02 2005-12-08 Henninger Paul E Iii On-screen display and privacy masking apparatus and method
US20060120615A1 (en) * 2004-12-06 2006-06-08 Huiqiong Wang Frame compensation for moving imaging devices
EP1718065A1 (en) * 2005-04-30 2006-11-02 STMicroelectronics (Research & Development) Limited Method and apparatus for processing image data
US8009889B2 (en) 2006-06-27 2011-08-30 Affymetrix, Inc. Feature intensity reconstruction of biological probe array
US20080263322A1 (en) * 2007-04-19 2008-10-23 L3 Communications Integrated Systems, L.P. Mac architecture for pipelined accumulations
EP2209086A1 (en) * 2009-01-15 2010-07-21 Telefonaktiebolaget L M Ericsson (publ) Image processing
US9286691B2 (en) * 2009-04-17 2016-03-15 The Hong Kong University Of Science And Technology Motion estimation and compensation of feature-motion decorrelation
US9767342B2 (en) 2009-05-22 2017-09-19 Affymetrix, Inc. Methods and devices for reading microarrays
US8493454B1 (en) * 2010-02-17 2013-07-23 Ambarella, Inc. System for camera motion compensation
US8861893B2 (en) * 2011-09-27 2014-10-14 The Boeing Company Enhancing video using super-resolution
US9600100B2 (en) * 2012-01-11 2017-03-21 Smart Technologies Ulc Interactive input system and method
US9230185B1 (en) 2012-03-30 2016-01-05 Pierce Biotechnology, Inc. Analysis of electrophoretic bands in a substrate
US9471833B1 (en) * 2012-04-03 2016-10-18 Intuit Inc. Character recognition using images at different angles
US9232139B2 (en) * 2012-07-24 2016-01-05 Apple Inc. Image stabilization using striped output transformation unit
CN107079111B (zh) * 2014-09-19 2020-04-21 英特尔公司 用于视频稳定化的轨迹规划
US10175487B2 (en) * 2016-03-29 2019-01-08 Microsoft Technology Licensing, Llc Peripheral display for head mounted display device
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
US11798146B2 (en) 2020-08-06 2023-10-24 Apple Inc. Image fusion architecture

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2013033A1 (en) 1989-03-31 1990-09-30 Frederick M. Waltz Method and apparatus for fast generation of warping coefficients
GB9001468D0 (en) 1990-01-23 1990-03-21 Sarnoff David Res Center Computing multiple motions within an image region
JP2989364B2 (ja) 1992-03-12 1999-12-13 シャープ株式会社 画像処理装置及び画像処理方法
DE69426232T2 (de) 1993-06-04 2001-05-17 Sarnoff Corp System und verfahren zur elektronischen bildstabilisierung
US5627905A (en) 1994-12-12 1997-05-06 Lockheed Martin Tactical Defense Systems Optical flow detection system
US5704836A (en) 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
US6061477A (en) 1996-04-18 2000-05-09 Sarnoff Corporation Quality image warper
EP0895429A4 (en) * 1996-12-26 2002-05-02 Sony Corp DEVICE AND METHOD FOR SYNTHESIZING IMAGES

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102518A (ja) * 2006-10-17 2008-05-01 Seiko Epson Corp ヘッドアップディスプレイ、ヘッドアップディスプレイシステムを有する乗り物、非平坦面に歪みの無い画像を提供することができるディジタル方式のヘッドアップディスプレイシステム

Also Published As

Publication number Publication date
US6211913B1 (en) 2001-04-03
WO1999049657A1 (en) 1999-09-30
EP1064784A1 (en) 2001-01-03

Similar Documents

Publication Publication Date Title
JP2003524903A (ja) 背景情報を挿入することによりリアルタイム安定化画像から空白領域を排除する装置と方法
US7511730B2 (en) Image processing apparatus and method and image pickup apparatus
KR100424600B1 (ko) 방향성에지보간을사용한모션적응스캔-율변환
US7092016B2 (en) Method and system for motion image digital processing
JP3092024B2 (ja) 画像処理方法
EP1110381B1 (en) Method and apparatus for electronically enhancing images
US7929031B2 (en) Image processing apparatus and image processing method
US7092582B2 (en) Systems and methods for multi-dimensional enhancement using fictional border data
JP2000032465A (ja) ブロッキングア―チファクト等のノイズを除去するための非線形適応性イメ―ジフィルタ
CA2342318A1 (en) Method and apparatus for processing images
US5812139A (en) Method and apparatus for graphic processing including anti-aliasing and flicker removal
JP3193833B2 (ja) 動ベクトル処理装置
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
US8107760B2 (en) Systems and methods for image enhancement in multiple dimensions
US9401010B2 (en) Enhancing perceived sharpness of images
JPH01215185A (ja) 輪郭補償回路
CN113766114A (zh) 图像处理方法、装置、电子设备及存储介质
Keller et al. Temporal super resolution using variational methods
KR20050012773A (ko) 샤프니스 예측 드리프트를 줄이기 위한 후-처리를 가지는비디오 디코딩 시스템 및 방법
EP0648046B1 (en) Method and apparatus for motion compensated interpolation of intermediate fields or frames
CN109754370B (zh) 图像去噪方法及装置
US20090161978A1 (en) Halo Artifact Removal Method
JP3292233B2 (ja) 補間処理回路
JP2810814B2 (ja) 動きベクトル検出装置及びカメラ一体型手振れ補正装置
JP2791134B2 (ja) ノイズ軽減回路