JP2000152073A - ひずみ補正方法 - Google Patents
ひずみ補正方法Info
- Publication number
- JP2000152073A JP2000152073A JP11299012A JP29901299A JP2000152073A JP 2000152073 A JP2000152073 A JP 2000152073A JP 11299012 A JP11299012 A JP 11299012A JP 29901299 A JP29901299 A JP 29901299A JP 2000152073 A JP2000152073 A JP 2000152073A
- Authority
- JP
- Japan
- Prior art keywords
- equation
- motion
- distortion
- parameters
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims description 48
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000008859 change Effects 0.000 abstract description 15
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 24
- 238000013519 translation Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 238000005286 illumination Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000009795 derivation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 取り込まれた画像の幾何学的レンズひずみ
および照度ひずみを補正する。 【解決手段】パラメトリック運動推定を使用して、取り
込まれた画像の幾何学的レンズひずみおよび照度変化を
補正する。まず、運動推定を使用して、第１および第２
の取り込まれた画像の中のひずみをモデル化し、１組の
非線形方程式を形成する。最初のパラメータ組を選択
し、このパラメータ組を中心として非線形方程式系を線
形化する。例えばテイラー展開を利用する。線形方程式
系を解いて、更新されたパラメータ組を得る。このよう
な線形化するステップおよび線形方程式系を解くステッ
プは、制限されたステップ数または所定の収束の基準が
満たされるまで繰り返される。補正パラメータを使用し
て、上記取り込まれた画像からひずみを取り除く。
および照度ひずみを補正する。 【解決手段】パラメトリック運動推定を使用して、取り
込まれた画像の幾何学的レンズひずみおよび照度変化を
補正する。まず、運動推定を使用して、第１および第２
の取り込まれた画像の中のひずみをモデル化し、１組の
非線形方程式を形成する。最初のパラメータ組を選択
し、このパラメータ組を中心として非線形方程式系を線
形化する。例えばテイラー展開を利用する。線形方程式
系を解いて、更新されたパラメータ組を得る。このよう
な線形化するステップおよび線形方程式系を解くステッ
プは、制限されたステップ数または所定の収束の基準が
満たされるまで繰り返される。補正パラメータを使用し
て、上記取り込まれた画像からひずみを取り除く。
Description
【０００１】
【発明の属する技術分野】この発明は、撮像システムに
おけるひずみの補正に関し、特に、画像取込およびビデ
オ会議のような応用に使用されるスキャナおよびカメラ
内のシステムに関する。
おけるひずみの補正に関し、特に、画像取込およびビデ
オ会議のような応用に使用されるスキャナおよびカメラ
内のシステムに関する。
【０００２】
【従来の技術】廉価な撮像センサの出現によって、ビデ
オ会議および遠隔画像取込のような応用が広く普及して
いる。製造業者が提供する撮像システムの価格が低くな
るにつれ、特に提供される光学系の中で妥協が行われ、
幾何学的レンズひずみをもつシステムを生じる。これら
のシステムが配置される場所が多くなるにつれ、照明状
態の変化および撮像システム自体の中の自動輝度制御の
効果の両方の結果として照度の問題が生じる。
オ会議および遠隔画像取込のような応用が広く普及して
いる。製造業者が提供する撮像システムの価格が低くな
るにつれ、特に提供される光学系の中で妥協が行われ、
幾何学的レンズひずみをもつシステムを生じる。これら
のシステムが配置される場所が多くなるにつれ、照明状
態の変化および撮像システム自体の中の自動輝度制御の
効果の両方の結果として照度の問題が生じる。
【０００３】運動推定の分野は、例えば連続する重なり
合う画像を縫い合わせて単一化されたモザイクを形成す
るため、画像処理を取り扱う。これらの運動推定技法
は、ピクセルのアレイを取り扱い、１つのフレームの中
のピクセル・グループと第２フレームの中の新しい位置
の同じピクセルとの間の運動を導くことによって機能す
る。運動推定の成功のため、２つのフレーム間の照度レ
ベルすなわちピクセル強度は同一でなければならず、フ
レームは、比較的幾何学的ひずみから解放された状態で
なければならない。
合う画像を縫い合わせて単一化されたモザイクを形成す
るため、画像処理を取り扱う。これらの運動推定技法
は、ピクセルのアレイを取り扱い、１つのフレームの中
のピクセル・グループと第２フレームの中の新しい位置
の同じピクセルとの間の運動を導くことによって機能す
る。運動推定の成功のため、２つのフレーム間の照度レ
ベルすなわちピクセル強度は同一でなければならず、フ
レームは、比較的幾何学的ひずみから解放された状態で
なければならない。
【０００４】
【発明が解決しようとする課題】運動推定において幾何
学的レンズひずみの影響を補正し、ピクセル密度に影響
を及ぼす照度の変化を補正する方法が必要とされてい
る。
学的レンズひずみの影響を補正し、ピクセル密度に影響
を及ぼす照度の変化を補正する方法が必要とされてい
る。
【０００５】
【課題を解決するための手段】この発明の課題は、次の
方法によって解決される。第１および第２の取り込まれ
た画像をもつ撮像システムにおけるひずみを補正する方
法であって、運動推定を使用して上記第１および第２の
取り込まれた画像の中のひずみをモデル化し、１組の非
線形方程式を生成するステップと、上記非線形方程式系
を解いて１組の補正パラメータを生成するステップと、
上記補正パラメータを使用して、上記取り込まれた画像
のうち一方または両方からひずみを除去するステップ
と、を含む方法。
方法によって解決される。第１および第２の取り込まれ
た画像をもつ撮像システムにおけるひずみを補正する方
法であって、運動推定を使用して上記第１および第２の
取り込まれた画像の中のひずみをモデル化し、１組の非
線形方程式を生成するステップと、上記非線形方程式系
を解いて１組の補正パラメータを生成するステップと、
上記補正パラメータを使用して、上記取り込まれた画像
のうち一方または両方からひずみを除去するステップ
と、を含む方法。
【０００６】運動推定技法およびオプティカルフロー方
程式(OFE)を利用して、撮像システム内のひずみを補正
する。幾何学的レンズひずみは、新しい光学補正モデル
を使用して補正される。照度変化は、単純なモデルおよ
びけられ(Vignetting:口径食)モデルの両方を使用して
補正される。解法は、一組の非線形方程式を解くことを
伴う。これらの方程式の一般的な解法は計算上高価であ
る。反復的な線形化の解法を提示する。
程式(OFE)を利用して、撮像システム内のひずみを補正
する。幾何学的レンズひずみは、新しい光学補正モデル
を使用して補正される。照度変化は、単純なモデルおよ
びけられ(Vignetting:口径食)モデルの両方を使用して
補正される。解法は、一組の非線形方程式を解くことを
伴う。これらの方程式の一般的な解法は計算上高価であ
る。反復的な線形化の解法を提示する。
【０００７】
【発明の実施の形態】この発明は、特定の典型的な実施
例に関して記述され、添付の図面を参照する。
例に関して記述され、添付の図面を参照する。
【０００８】廉価な撮像センサは、例えばビデオ会議お
よび画像走査のような撮像技術のより多くの応用を可能
にしている。センサ設計およびセンサ配置の妥協は、結
果として得られる画像にひずみを生じさせる。
よび画像走査のような撮像技術のより多くの応用を可能
にしている。センサ設計およびセンサ配置の妥協は、結
果として得られる画像にひずみを生じさせる。
【０００９】運動推定技法は、例えば連続する重なり合
った画像を縫い合わせて単一化されたモザイクを形成す
るため、画像処理を取り扱う。この技法は、例えば撮像
センサの複数パスを使用して大きい面積の走査された画
像を組み立てる際に使用される。運動推定は、重なり合
いが認識され、それぞれのパスからの小さい画像が縫い
合わせられ、大きい単一化されたモザイクを形成するこ
とを可能にする。同様の技法は、テレビ会議の中で、テ
レビ会議カメラを移動させたり、テレビ会議カメラを使
用して書類を走査するときに使用される。
った画像を縫い合わせて単一化されたモザイクを形成す
るため、画像処理を取り扱う。この技法は、例えば撮像
センサの複数パスを使用して大きい面積の走査された画
像を組み立てる際に使用される。運動推定は、重なり合
いが認識され、それぞれのパスからの小さい画像が縫い
合わせられ、大きい単一化されたモザイクを形成するこ
とを可能にする。同様の技法は、テレビ会議の中で、テ
レビ会議カメラを移動させたり、テレビ会議カメラを使
用して書類を走査するときに使用される。
【００１０】成功させるため、運動推定は、照度、従っ
て重なり合う画像部分のピクセル密度が同じであり、画
像が幾何学的ひずみを受けないことを前提とする。廉価
な光学系は、幾何学的ひずみを生じさせ、さらに、けら
れのような照度差すなわち画像センサの中心軸から離れ
たところで照度または画像密度の段階的な減衰を生じさ
せることがある。更なる照度ひずみは、画像センサ内の
自動輝度制御、およびその環境における乏しいまたは不
均等な照度によって生じる。
て重なり合う画像部分のピクセル密度が同じであり、画
像が幾何学的ひずみを受けないことを前提とする。廉価
な光学系は、幾何学的ひずみを生じさせ、さらに、けら
れのような照度差すなわち画像センサの中心軸から離れ
たところで照度または画像密度の段階的な減衰を生じさ
せることがある。更なる照度ひずみは、画像センサ内の
自動輝度制御、およびその環境における乏しいまたは不
均等な照度によって生じる。
【００１１】２次元運動推定とは、あるフレームから他
のフレームへのピクセルの変位または速度を求めること
をいう。運動は、３次元空間の対象物の表面上の同じ物
理的な点が異なる時間に撮像平面の異なる位置にマップ
されるときに生じる。これは、サンプリングされた画像
領域(ドメイン)の中に異なるピクセル指数(pixel indic
es)を生じさせる。フレームの一方に対して得られるこ
のピクセル指数の差は、それら２つのフレーム間の当該
ピクセルにおける「運動ベクトル(motion vector)」と
呼ばれる。画像内の各ピクセルは、水平および垂直変位
を表す２次元の運動ベクトルをもつ。すべての運動ベク
トルの集まりは、「運動ベクトル場(motion vector fie
ld)」または単に「運動の場(motion field)」と呼ばれ
ることがある。用語「場(field)」は、「ベクトル場」
の厳密な数学的定義に限定されず、広い意味で解釈され
るべきである。画像のシーケンスからの運動推定は、例
えばA.M.TekalpによるDigital Video Processing, Pren
tice Hall Signal Processing Series、M.I.Sezanおよ
びR.L.LagendijkによるMotion Analysis and ImageSequ
ence Processing,Norwell,MA:Kluwer,1993、および、J.
K.AggarwalおよびN.Nandhakumarによる「On the comput
ation of motion from sequences of images-A revie
w」Proc.IEEE,vol.76,pp.917-935,Aug.1988の中に記述
されている。
のフレームへのピクセルの変位または速度を求めること
をいう。運動は、３次元空間の対象物の表面上の同じ物
理的な点が異なる時間に撮像平面の異なる位置にマップ
されるときに生じる。これは、サンプリングされた画像
領域(ドメイン)の中に異なるピクセル指数(pixel indic
es)を生じさせる。フレームの一方に対して得られるこ
のピクセル指数の差は、それら２つのフレーム間の当該
ピクセルにおける「運動ベクトル(motion vector)」と
呼ばれる。画像内の各ピクセルは、水平および垂直変位
を表す２次元の運動ベクトルをもつ。すべての運動ベク
トルの集まりは、「運動ベクトル場(motion vector fie
ld)」または単に「運動の場(motion field)」と呼ばれ
ることがある。用語「場(field)」は、「ベクトル場」
の厳密な数学的定義に限定されず、広い意味で解釈され
るべきである。画像のシーケンスからの運動推定は、例
えばA.M.TekalpによるDigital Video Processing, Pren
tice Hall Signal Processing Series、M.I.Sezanおよ
びR.L.LagendijkによるMotion Analysis and ImageSequ
ence Processing,Norwell,MA:Kluwer,1993、および、J.
K.AggarwalおよびN.Nandhakumarによる「On the comput
ation of motion from sequences of images-A revie
w」Proc.IEEE,vol.76,pp.917-935,Aug.1988の中に記述
されている。
【００１２】図１は、運動推定を実施するためのシステ
ムを示す。バス100は、画像取込装置110を中央処理装置
(CPU)120と相互接続する。記憶階層130は、命令および
データの記憶装置を提供し、情報取込装置110からのデ
ータがあればフレームの記憶を含み、一般にはRAM、ROM
および永久ディスク記憶装置の混合を含む。ディスプレ
イおよびネットワーク接続のような他の一般的な要素は
図示されていない。画像取込装置110は、適当なフレー
ム取込ハードウェアを有するテレビカメラのような装
置、またはテレビ会議カメラ、CCD画像センサ、スキャ
ナ等のような他の撮像装置でありうる。
ムを示す。バス100は、画像取込装置110を中央処理装置
(CPU)120と相互接続する。記憶階層130は、命令および
データの記憶装置を提供し、情報取込装置110からのデ
ータがあればフレームの記憶を含み、一般にはRAM、ROM
および永久ディスク記憶装置の混合を含む。ディスプレ
イおよびネットワーク接続のような他の一般的な要素は
図示されていない。画像取込装置110は、適当なフレー
ム取込ハードウェアを有するテレビカメラのような装
置、またはテレビ会議カメラ、CCD画像センサ、スキャ
ナ等のような他の撮像装置でありうる。
【００１３】オプティカルフロー 原則として、画像内のすべてのピクセルは、時間を経て
所与の軌跡をたどると考えることができる。ある基準時
間の初期位置が与えられると、所与のピクセルの軌跡
は、時間に沿ってパラメータ化することができる。基準
時間をt=t1とすると、 c(t;x,y,t1)=(x(t;x,y,t1),y(t;x,y,t1),t), ここで、cは、(x,y,t1)から出発するピクセルがたどる
軌跡を表す。後の進展のため、x(t;x,y,t1)はx(t)と略
記され、y(t)およびc(t)についても同様の略記を用い
る。通常、物理的状態が近隣ピクセルの軌跡の間の変動
を制限するとしても、閉塞(occulusion)および覆われて
いない背景のような状況が、近隣ピクセル間の自由な
(独立した)軌跡を生じさせることがある。この処理の中
で、閉塞および覆われていない背景は無視される。
所与の軌跡をたどると考えることができる。ある基準時
間の初期位置が与えられると、所与のピクセルの軌跡
は、時間に沿ってパラメータ化することができる。基準
時間をt=t1とすると、 c(t;x,y,t1)=(x(t;x,y,t1),y(t;x,y,t1),t), ここで、cは、(x,y,t1)から出発するピクセルがたどる
軌跡を表す。後の進展のため、x(t;x,y,t1)はx(t)と略
記され、y(t)およびc(t)についても同様の略記を用い
る。通常、物理的状態が近隣ピクセルの軌跡の間の変動
を制限するとしても、閉塞(occulusion)および覆われて
いない背景のような状況が、近隣ピクセル間の自由な
(独立した)軌跡を生じさせることがある。この処理の中
で、閉塞および覆われていない背景は無視される。
【００１４】さらに、１つのピクセルの強度/カラー値
が、運動軌跡に沿って時間と共に変化しないと仮定する
と、I(x,y,t)が強度関数を表す場合、次のようになる。
が、運動軌跡に沿って時間と共に変化しないと仮定する
と、I(x,y,t)が強度関数を表す場合、次のようになる。
【００１５】
【数１】 ベクトル計算の連鎖法則を使用すると、式(1)は、
【数２】 と書くことができる。
【００１６】
【数３】 とすると、次のようになる。
【数４】 ここで、IxおよびIyは、空間的画像勾配であり、Itは、
時間的画像勾配であり、x'およびy'は、それぞれ水平お
よび垂直速度成分である。式(4)は、オプティックフロ
ー方程式(OFE)と呼ばれ、次のように省略することがで
きる。 Ixx'+Iyy'+It=0. (5)
時間的画像勾配であり、x'およびy'は、それぞれ水平お
よび垂直速度成分である。式(4)は、オプティックフロ
ー方程式(OFE)と呼ばれ、次のように省略することがで
きる。 Ixx'+Iyy'+It=0. (5)
【００１７】式(４)を２つの同等の方法で使用して先に
進むことができる。第１の方法で、(４)の両辺をtに関
してt1からt2まで積分する。Ix(x,y,t)およびIy(x,y,t)
が共に時間に関して一定であると仮定すると、次式が得
られる。
進むことができる。第１の方法で、(４)の両辺をtに関
してt1からt2まで積分する。Ix(x,y,t)およびIy(x,y,t)
が共に時間に関して一定であると仮定すると、次式が得
られる。
【００１８】 Ix(x,y,t)(x(t2)-x(t1))+Iy(x,y,t)(y(t2)-y(t1))+(I(x,y,t2)-I(x,y,t1))=0. (6) 便宜上、 I2(x,y)=I(x,y,t2), I1(x,y)=I(x,y,t1), I21(x,y)=I2(x,y)-I1(x,y) (7) および u(x,y)=x(t2)-x(t1), v(x,y)=y(t2)-y(t1) (8) とすると、次式が得られる。 Ix(x,y)u(x,y)+Iy(x,y)v(x,y)+I21(x,y)=O. (9)
【００１９】IxおよびIyが、t1からt2までの時間に関し
て一定であると仮定する結果として、表記から時間依存
が落とされる。第２に、強度連続性の仮定および式(１)
を一緒にしたこの仮定は、It(x,y,t)がt1とt2の間で一
定であることを暗示する。これは、この間隔のIt(x,y,
t)の自明な積分を与える。結論として、IxおよびIyの推
定は、[t1,t2]上のどこで得てもよい。t1およびt2のち
ょうど２つのフレームから始める場合、どちらのフレー
ムを使用してもIxおよびIyを離散的に推定することがで
きるので、これに注目することは重要である。
て一定であると仮定する結果として、表記から時間依存
が落とされる。第２に、強度連続性の仮定および式(１)
を一緒にしたこの仮定は、It(x,y,t)がt1とt2の間で一
定であることを暗示する。これは、この間隔のIt(x,y,
t)の自明な積分を与える。結論として、IxおよびIyの推
定は、[t1,t2]上のどこで得てもよい。t1およびt2のち
ょうど２つのフレームから始める場合、どちらのフレー
ムを使用してもIxおよびIyを離散的に推定することがで
きるので、これに注目することは重要である。
【００２０】式(5)から進行する第２の方法は、１次の
差分によって与えられる導関数を近似して(t2-t1)を乗
じることである。そして、再びt1およびt2に２つのフレ
ームをもつ場合、いずれかのフレームを使用して離散的
にIxおよびIyを推定することができ、前進あるいは後退
近似のいずれを用いるにせよ、この量を解析して導関数
を推定する。
差分によって与えられる導関数を近似して(t2-t1)を乗
じることである。そして、再びt1およびt2に２つのフレ
ームをもつ場合、いずれかのフレームを使用して離散的
にIxおよびIyを推定することができ、前進あるいは後退
近似のいずれを用いるにせよ、この量を解析して導関数
を推定する。
【００２１】ここまで、画像強度分布の明白な時間的進
展があると仮定された。この仮定を強化するため、連鎖
法則が、強度分布の時間的導関数に適用された。しか
し、同等に、完全に離散的な視点(perspective)から開
始し、代わりに２次元空間のテイラー(Taylor)級数近似
を適用することによって進むことができる。その目的の
ため、最初に、時間t1およびt2の２つの取り込まれたフ
レームをもつと仮定する。ここで、強度不変性の概念は
次のように表現される(照度変化の影響は無視する)。
展があると仮定された。この仮定を強化するため、連鎖
法則が、強度分布の時間的導関数に適用された。しか
し、同等に、完全に離散的な視点(perspective)から開
始し、代わりに２次元空間のテイラー(Taylor)級数近似
を適用することによって進むことができる。その目的の
ため、最初に、時間t1およびt2の２つの取り込まれたフ
レームをもつと仮定する。ここで、強度不変性の概念は
次のように表現される(照度変化の影響は無視する)。
【００２２】 I1(x1,y1)=I2(x2,y2), (10) ここで、I1(x1,y1)は、時間t1に取り込まれた第１フレ
ーム内のピクセル(x1,y1)の画像強度を示し、I2(x2,y2)
は、時間t2に取り込まれた第２フレーム内の点(x2,y2)
の強度を示す。(x1,y1)は、整数評価されるが、(x2,y2)
は、実数値である。I1およびI2は共にxおよびyに関して
連続かつ微分可能な関数である。運動ベクトルの定義を
使用して、次のように書くことができる。
ーム内のピクセル(x1,y1)の画像強度を示し、I2(x2,y2)
は、時間t2に取り込まれた第２フレーム内の点(x2,y2)
の強度を示す。(x1,y1)は、整数評価されるが、(x2,y2)
は、実数値である。I1およびI2は共にxおよびyに関して
連続かつ微分可能な関数である。運動ベクトルの定義を
使用して、次のように書くことができる。
【００２３】 x2=x1+u(x1,y1) y2=y1+v(x1,y1) (11) ここで、u(.,.)およびv(.,.)は、それぞれ水平および垂
直運動ベクトルである。
直運動ベクトルである。
【００２４】方程式(10)および(11)を組み合わせて、微
分可能関数のテイラー級数展開を使用すると、次のよう
になる。
分可能関数のテイラー級数展開を使用すると、次のよう
になる。
【数５】
【００２５】テイラー級数は、ピクセル(x1,y1)を中心
に展開される。u(x1,y1)およびv(x1,y1)は小さい量であ
り、高次の項はすべてゼロであると仮定すると、方程式
(12)の高次の項を無視することができ、次の式が得られ
る。
に展開される。u(x1,y1)およびv(x1,y1)は小さい量であ
り、高次の項はすべてゼロであると仮定すると、方程式
(12)の高次の項を無視することができ、次の式が得られ
る。
【００２６】
【数６】 上記の進展と同じ表記を使用することによって、次のよ
うに書くことができることに注意されたい。 Ix(x,y)u(x,y)+Iy(x,y)v(x,y)+I21(x,y)=0, (14) これは、すでに得られた結果(９)と同じである。
うに書くことができることに注意されたい。 Ix(x,y)u(x,y)+Iy(x,y)v(x,y)+I21(x,y)=0, (14) これは、すでに得られた結果(９)と同じである。
【００２７】パラメトリック運動モデル 多くの現実の撮像シナリオの中で、２次元の運動の場
は、カメラの移動または剛体運動を受けている３次元の
世界の対象物のいずれかによって生じる。これらの影響
はそれぞれ、滑らかに変化する２次元の運動の場をもた
らす(対象物の深さは撮像装置までの距離に比例して速
く変化しないものとする)。運動の場が滑らかに変化し
ていることに注目し、パラメトリックモデルを使用して
それを説明する試みがある。すなわち、任意のピクセル
の運動ベクトルは、いくつかのパラメータによって特徴
づけられるモデルに従う必要がある。それゆえ、ピクセ
ルの運動ベクトルは、モデル・パラメータおよびその位
置によって完全に表現される。
は、カメラの移動または剛体運動を受けている３次元の
世界の対象物のいずれかによって生じる。これらの影響
はそれぞれ、滑らかに変化する２次元の運動の場をもた
らす(対象物の深さは撮像装置までの距離に比例して速
く変化しないものとする)。運動の場が滑らかに変化し
ていることに注目し、パラメトリックモデルを使用して
それを説明する試みがある。すなわち、任意のピクセル
の運動ベクトルは、いくつかのパラメータによって特徴
づけられるモデルに従う必要がある。それゆえ、ピクセ
ルの運動ベクトルは、モデル・パラメータおよびその位
置によって完全に表現される。
【００２８】モデル・パラメータのベクトルをaとする
と、運動は、u(x,y)=f(x,y;a)およびv(x,y)=g(x,y;a)と
表現される。モデル・パラメータを推定するため、次の
費用関数を定義する。
と、運動は、u(x,y)=f(x,y;a)およびv(x,y)=g(x,y;a)と
表現される。モデル・パラメータを推定するため、次の
費用関数を定義する。
【数７】
【００２９】パラメータ推定プロシージャは、aの各要
素に関してΨの導関数をとり、それらの導関数をゼロに
設定し、結果として得られる１組の方程式を解くことで
ある。非線形モデルfおよびgについて、線形化ステップ
が一般に使用される。
素に関してΨの導関数をとり、それらの導関数をゼロに
設定し、結果として得られる１組の方程式を解くことで
ある。非線形モデルfおよびgについて、線形化ステップ
が一般に使用される。
【００３０】以下で、パラメトリック運動モデル、すな
わち1)並進運動、2)アフィン運動、3)双一次運動、およ
び4)視点運動(perspective motion)を考察する。これら
のパラメトリック運動モデルは、異なる投影モデルの
下、平面のような単純な３次元対象物の運動の２次元撮
像平面への投影として示すことができる。最後に、式(1
5)は、アプリオリな情報を含むように拡張され、その結
果を利用して、強いられる包括的な並進運動を推定す
る。
わち1)並進運動、2)アフィン運動、3)双一次運動、およ
び4)視点運動(perspective motion)を考察する。これら
のパラメトリック運動モデルは、異なる投影モデルの
下、平面のような単純な３次元対象物の運動の２次元撮
像平面への投影として示すことができる。最後に、式(1
5)は、アプリオリな情報を含むように拡張され、その結
果を利用して、強いられる包括的な並進運動を推定す
る。
【００３１】並進運動推定 運動ベクトル場で課せられうる最も単純なモデルの１つ
は、すべての運動ベクトルが同一であり、すなわち画像
内のあらゆるピクセルが同じ方向に同じ量だけ移動する
ものである。この運動モデルは、通常「包括的な並進運
動」と呼ばれる。しかし、並進運動は、３次元(実際)の
世界の対象物が並進することを必ずしも意味しないこと
に注意すべきである。３次元の並進運動は、３次元の対
象物が平らな対象物であって、正射(orthographic)カメ
ラモデルが利用されるという仮定の下でのみ、２次元の
並進モデルに変形することができる。加えて、包括的な
並進運動は、「遠い」シーンが撮像されている間のカメ
ラの並進によって引き起こされることがある。非常に限
定的な運動モデルに思われるかもしれないが、このモデ
ルが完全に適合する応用例がある。一つの例は、スキャ
ナ応用に関するマルチフレーム解像度向上技術であり、
その中で、平坦なページの複数走査は、それぞれの走査
間で並進シフトが行われるように実施される。
は、すべての運動ベクトルが同一であり、すなわち画像
内のあらゆるピクセルが同じ方向に同じ量だけ移動する
ものである。この運動モデルは、通常「包括的な並進運
動」と呼ばれる。しかし、並進運動は、３次元(実際)の
世界の対象物が並進することを必ずしも意味しないこと
に注意すべきである。３次元の並進運動は、３次元の対
象物が平らな対象物であって、正射(orthographic)カメ
ラモデルが利用されるという仮定の下でのみ、２次元の
並進モデルに変形することができる。加えて、包括的な
並進運動は、「遠い」シーンが撮像されている間のカメ
ラの並進によって引き起こされることがある。非常に限
定的な運動モデルに思われるかもしれないが、このモデ
ルが完全に適合する応用例がある。一つの例は、スキャ
ナ応用に関するマルチフレーム解像度向上技術であり、
その中で、平坦なページの複数走査は、それぞれの走査
間で並進シフトが行われるように実施される。
【００３２】この場合の運動モデル制約は、次の通りで
ある。 u(x,y)=ug v(x,y)=vg (16) ここで、ugおよびvgは、包括的な水平および垂直変位を
示す。それから、uおよびvに関して式(15)の導関数をと
り、それらをゼロに設定すると、次のようになる。
ある。 u(x,y)=ug v(x,y)=vg (16) ここで、ugおよびvgは、包括的な水平および垂直変位を
示す。それから、uおよびvに関して式(15)の導関数をと
り、それらをゼロに設定すると、次のようになる。
【数８】 方程式(17)は、次のような行列形式で書き直すことがで
きる。
きる。
【数９】 方程式(18)を解いて、包括的な変位パラメータを推定す
ることができる。
ることができる。
【００３３】アフィン運動 アフィン運動は、もう１つの一般に使用される運動であ
る。それは、包括的な回転、並進、ズームおよびスキュ
ー(skew:ねじれ)のような２次元変換を説明することが
できる。物理的に、３次元シーンが平面であって、２つ
の画像が正射影法の下で異なる撮像平面位置によって取
り込まれるとき、２つの画像間にアフィン運動が生じ
る。アフィン運動モデルは、次のように示される。
る。それは、包括的な回転、並進、ズームおよびスキュ
ー(skew:ねじれ)のような２次元変換を説明することが
できる。物理的に、３次元シーンが平面であって、２つ
の画像が正射影法の下で異なる撮像平面位置によって取
り込まれるとき、２つの画像間にアフィン運動が生じ
る。アフィン運動モデルは、次のように示される。
【００３４】 u(x,y)=a1x+a2y+a3 v(x,y)=a4x+a5y+a6 (19) ここで、a1,a2,a3,a4,a5,a6は、モデル・パラメータ
(「アフィン・パラメータ」とも呼ばれる)であり、(x,
y)は、ピクセル位置である。包括的な並進運動は、a1,a
2,a4,およびa5がすべてゼロであるときに生じることに
注意されたい。
(「アフィン・パラメータ」とも呼ばれる)であり、(x,
y)は、ピクセル位置である。包括的な並進運動は、a1,a
2,a4,およびa5がすべてゼロであるときに生じることに
注意されたい。
【００３５】最適なアフィン・パラメータについて最小
２乗法で解くため、式(15)を次のように展開する。
２乗法で解くため、式(15)を次のように展開する。
【数１０】
【００３６】上述したように、Ψは、アフィン・パラメ
ータa1,a2,a3,a4,a5,a6に関する導関数をとり、それぞ
れの導関数をゼロに等しく設定することによって最小化
することができる。代数を行なった後、次の線形行列式
を得ることができる。
ータa1,a2,a3,a4,a5,a6に関する導関数をとり、それぞ
れの導関数をゼロに等しく設定することによって最小化
することができる。代数を行なった後、次の線形行列式
を得ることができる。
【数１１】
【００３７】双一次運動 包括的な双一次変換が、アフィン変換の能力を改善する
ため使用されるが、なお線形推定の問題がある。アフィ
ン変換の場合、平行線は、常に平行なままである。透視
投影撮像モデルによって生じる運動の場合はそうではな
い。しかし、次に扱われる視点モデルは、非線形問題を
生む。双一次変換は、水平および垂直な直線を直線に変
換する点でよい妥協であるが、所与の平行な対の線に対
して平行線をもたらさない。双一次変換を使用する際の
潜在的な問題は、水平でないまたは垂直でない線がある
曲率をつように変換されることである。曲率がひどくな
る場合、変換は、実際の運動および撮像システムを表わ
さないことがある。
ため使用されるが、なお線形推定の問題がある。アフィ
ン変換の場合、平行線は、常に平行なままである。透視
投影撮像モデルによって生じる運動の場合はそうではな
い。しかし、次に扱われる視点モデルは、非線形問題を
生む。双一次変換は、水平および垂直な直線を直線に変
換する点でよい妥協であるが、所与の平行な対の線に対
して平行線をもたらさない。双一次変換を使用する際の
潜在的な問題は、水平でないまたは垂直でない線がある
曲率をつように変換されることである。曲率がひどくな
る場合、変換は、実際の運動および撮像システムを表わ
さないことがある。
【００３８】包括的な双一次運動モデル推定の導出は、
アフィン運動モデル推定と全く同様である。詳しく述べ
ると、運動の場は、次式によって支配される。 u(x,y)=a1+a2x+a3y+a4xy v(x,y)=a5+a6x+a7y+a8xy (20)
アフィン運動モデル推定と全く同様である。詳しく述べ
ると、運動の場は、次式によって支配される。 u(x,y)=a1+a2x+a3y+a4xy v(x,y)=a5+a6x+a7y+a8xy (20)
【００３９】式(20)を式(15)に代入して、モデル・パラ
メータに関する導関数をゼロに等しく設定することによ
って次式が得られる。
メータに関する導関数をゼロに等しく設定することによ
って次式が得られる。
【数１２】
【００４０】視点運動 視点運動モデルは、これまで使用されてきた最も用途の
広い運動モデルである。物理的に、視点モデルは、異な
る焦点平面位置の下、３次元における平面の透視投影画
像の中から引き起こされる２次元マッピングを考慮に入
れる。面倒な問題は、視点モデルがそのモデル・パラメ
ータの中で非線形であることである。
広い運動モデルである。物理的に、視点モデルは、異な
る焦点平面位置の下、３次元における平面の透視投影画
像の中から引き起こされる２次元マッピングを考慮に入
れる。面倒な問題は、視点モデルがそのモデル・パラメ
ータの中で非線形であることである。
【００４１】包括的な視点モデルの運動の場は、次の式
によって支配される。
によって支配される。
【数１３】 これらのモデル・パラメータを式(15)の中で使用する前
に、それらは、最初に、デフォルトの視点パラメータa=
(1,0,0,0,1,0,0,0)を中心に線形化され、次式が得られ
る。
に、それらは、最初に、デフォルトの視点パラメータa=
(1,0,0,0,1,0,0,0)を中心に線形化され、次式が得られ
る。
【数１４】 最適の視点運動モデル・パラメータについて最小二乗法
で解くため、式(22)を式(15)にあてはめて次式を得る。
で解くため、式(22)を式(15)にあてはめて次式を得る。
【数１５】
【００４２】Ψを最小化するため、視点パラメータa1,a
2,a3,a4,a5,a6,a7およびa8に関するΨの導関数をとり、
それらをゼロに等しく設定する。代数を行なった後、次
の線形行列式が得られる。
2,a3,a4,a5,a6,a7およびa8に関するΨの導関数をとり、
それらをゼロに等しく設定する。代数を行なった後、次
の線形行列式が得られる。
【数１６】 ここで、 η=x2Ix+xyIy μ=xyIx+y2Iy
【００４３】全ての以前の導出と対照的に、テイラー級
数近似を２度利用することに注意されたい。この時点ま
では、強度関数の線形化だけが必要とされてきた。しか
し、式(23)の線形行列式の形式を導くため、さらに運動
モデルを線形化しなければならなかった。この追加され
る線形化ステップのため、視点パラメータ推定は、正確
さおよび安定性が比較的低い。
数近似を２度利用することに注意されたい。この時点ま
では、強度関数の線形化だけが必要とされてきた。しか
し、式(23)の線形行列式の形式を導くため、さらに運動
モデルを線形化しなければならなかった。この追加され
る線形化ステップのため、視点パラメータ推定は、正確
さおよび安定性が比較的低い。
【００４４】いくつかの応用で、運動モデルパラメータ
に関連するアプリオリな情報をもつことができる。その
ような情報は、例えばモデル・パラメータの確率分布で
ありうる。この追加の情報は、費用関数(15)を次のよう
に修正することによって考慮される。
に関連するアプリオリな情報をもつことができる。その
ような情報は、例えばモデル・パラメータの確率分布で
ありうる。この追加の情報は、費用関数(15)を次のよう
に修正することによって考慮される。
【００４５】
【数１７】 ここで、アプリオリな情報は、
【数１８】 を使用して具体化される。
【００４６】このような制約の下、方程式を導いて、包
括的な並進運動モデル・パラメータを推定すればよい。
この場合、上述と同様に進んで次式を得る。
括的な並進運動モデル・パラメータを推定すればよい。
この場合、上述と同様に進んで次式を得る。
【数１９】
【００４７】この時点で、制約費用関数は、uおよびvで
２次関数であると仮定する。この仮定を行なって、最適
の運動パラメータ推定のための線形行列式を得る。どん
な微分可能な費用関数も受け入れられるが、モデル・パ
ラメータ解法は、高価な非線形最適化技法を必要とす
る。詳しく述べると、制約費用関数は、次の形式であ
る。
２次関数であると仮定する。この仮定を行なって、最適
の運動パラメータ推定のための線形行列式を得る。どん
な微分可能な費用関数も受け入れられるが、モデル・パ
ラメータ解法は、高価な非線形最適化技法を必要とす
る。詳しく述べると、制約費用関数は、次の形式であ
る。
【数２０】
【００４８】式(25)は、次のように書き直すことができ
る。
る。
【数２１】
【００４９】この単純な２×２行列式は、所与の２次の
制約費用関数の下、最適の並進運動モデル・パラメータ
ugおよびvgを与える。次の費用関数は特に重要である。
制約費用関数の下、最適の並進運動モデル・パラメータ
ugおよびvgを与える。次の費用関数は特に重要である。
【数２２】 ここで、期待される並進パラメータは既知である。
【００５０】強度変化 上記のすべての方法は、ピクセルの強度が運動軌跡に沿
って変化しないという前提で導かれている。前に説明し
たように、これは常に真実というわけではない。外部照
度は変化することがあり、画像取込装置の利得/オフセ
ットは、取り込まれたフレーム間で異なることがある。
これらの影響を考慮するため、式(10)を次のように変形
する。 κ1I1(x1,y1)+κ2=I2(x2,y2) (29)
って変化しないという前提で導かれている。前に説明し
たように、これは常に真実というわけではない。外部照
度は変化することがあり、画像取込装置の利得/オフセ
ットは、取り込まれたフレーム間で異なることがある。
これらの影響を考慮するため、式(10)を次のように変形
する。 κ1I1(x1,y1)+κ2=I2(x2,y2) (29)
【００５１】ここから、パラメータκ1およびκ2を同様
に推定する必要があることを除いて、最適化はまさに上
述と同様に進行する。ここで、仮定(29)の下、アフィン
運動モデル・パラメータ推定方程式が導かれる。導出の
概要は、他の運動モデルについてそれぞれのケースで非
常に似ているので、それらのにいての導出は繰り返さな
い。式(19)によって与えられるアフィン運動モデル方程
式を式(29)に組み込んで次のように書くことができる。 κ1I1(x,y)+κ2=I2(x+a1x+a2y+a3,y+a4x+a5y+a6), (30) これから、テイラー級数展開は次の結果になる。
に推定する必要があることを除いて、最適化はまさに上
述と同様に進行する。ここで、仮定(29)の下、アフィン
運動モデル・パラメータ推定方程式が導かれる。導出の
概要は、他の運動モデルについてそれぞれのケースで非
常に似ているので、それらのにいての導出は繰り返さな
い。式(19)によって与えられるアフィン運動モデル方程
式を式(29)に組み込んで次のように書くことができる。 κ1I1(x,y)+κ2=I2(x+a1x+a2y+a3,y+a4x+a5y+a6), (30) これから、テイラー級数展開は次の結果になる。
【数２３】
【００５２】未知のパラメータについて解くため、費用
関数Ψを次のように定義する。
関数Ψを次のように定義する。
【数２４】
【００５３】ここで、アフィン・パラメータa1,a2,a3,a
4,a5,a6および照度変化モデル・パラメータκ1,κ2に関
してΨを偏微分し、それらをゼロに等しく設定する。代
数ステップを実施した後、次式が得られる。
4,a5,a6および照度変化モデル・パラメータκ1,κ2に関
してΨを偏微分し、それらをゼロに等しく設定する。代
数ステップを実施した後、次式が得られる。
【数２５】
【００５４】レンズひずみ 廉価なレンズ系は、撮像システムの中に幾何学的ひずみ
をもたらす。これは、図２に示される。幾何学的ひずみ
は、ひずんでいない第１フレーム210内に示される点
が、幾何学的にひずんだ画像220内のわずかに異なる位
置に現れるようにする。この同じひずみは、ひずんでい
ない第２フレーム230内のこの点が明らかに移動して、
ひずんだ第２フレーム240内に示される位置に現れるよ
うにする。
をもたらす。これは、図２に示される。幾何学的ひずみ
は、ひずんでいない第１フレーム210内に示される点
が、幾何学的にひずんだ画像220内のわずかに異なる位
置に現れるようにする。この同じひずみは、ひずんでい
ない第２フレーム230内のこの点が明らかに移動して、
ひずんだ第２フレーム240内に示される位置に現れるよ
うにする。
【００５５】このセクションで、幾何学的ひずみを与え
る不完全なレンズを使用して取り込まれた画像間の運動
推定の方法を詳しく説明する。ガンマ要素および外部照
度変化も考慮される。ひずみパラメータについて解くた
めの非線形最適化の枠組みを取り入れる。このモデルの
線形化は、OFEのような方程式を与える。
る不完全なレンズを使用して取り込まれた画像間の運動
推定の方法を詳しく説明する。ガンマ要素および外部照
度変化も考慮される。ひずみパラメータについて解くた
めの非線形最適化の枠組みを取り入れる。このモデルの
線形化は、OFEのような方程式を与える。
【００５６】幾何学的レンズひずみは、次のようにモデ
ル化することができる。
ル化することができる。
【数２６】 ここで、κ7は、レンズの幾何学的ひずみパラメータで
あり、(xg,yg)は、ひずんだピクセル位置であり、(x,y)
は、補正されたピクセル位置である。
あり、(xg,yg)は、ひずんだピクセル位置であり、(x,y)
は、補正されたピクセル位置である。
【００５７】式(33)および(34)を使用して、次のように
書くことができる。
書くことができる。
【数２７】 式(35)を式(33)に入れると次のようになる。
【数２８】 この２次方程式に対する２つの解がある。
【数２９】
【００５８】κ7が0に近づくにつれて、yはygに近づく
べきである。
べきである。
【００５９】
【数３０】 であるので、これは解になりえない。他方、第２の解
は、この要求を満たすので真の解である。
は、この要求を満たすので真の解である。
【００６０】
【数３１】
【００６１】一方のフレームから他方にピクセルをマッ
プする多数のパラメトリック運動モデルがある。このセ
クションの引き続く導出のため、アフィン・モデルを使
用する。並進、双一次および視点モデルは、まさに同じ
プロシージャに従うので、スペースの都合上取り扱わな
い。
プする多数のパラメトリック運動モデルがある。このセ
クションの引き続く導出のため、アフィン・モデルを使
用する。並進、双一次および視点モデルは、まさに同じ
プロシージャに従うので、スペースの都合上取り扱わな
い。
【００６２】式(33)によって与えられる幾何学的ひずみ
モデルを使用して次のように書くことができる。
モデルを使用して次のように書くことができる。
【数３２】 ここで、 x'=κ1x(xg,yg)+κ2y(xg,yg)+κ3 y'=κ4x(xg,yg)+κ5y(xg,yg)+κ6 (40) ここで、x(xg,yg)およびy(xg,yg)は、式(37)によって与
えられるものと同様である。
えられるものと同様である。
【００６３】従って、一方のフレームから他方のフレー
ムへの７つのパラメータによって特徴付けられる非線形
マッピングを得る。強度が運動軌跡に沿って変化しない
と仮定すると、次のように書くことができる。 I1(xg,yg)=I2(x'g,y'g) (41).
ムへの７つのパラメータによって特徴付けられる非線形
マッピングを得る。強度が運動軌跡に沿って変化しない
と仮定すると、次のように書くことができる。 I1(xg,yg)=I2(x'g,y'g) (41).
【００６４】非線形幾何学的補正 次式によって与えられる費用関数を定義することができ
る。
る。
【００６５】
【数３３】 これは、アフィンおよびレンズひずみパラメータ、 k=(κ1,κ2,κ3,κ4,κ5,κ6,κ7). の関数である。
【００６６】多変数の非線形最適化のためのパウエル(P
owell)方法の変形を使用して、費用関数を最小化するパ
ラメータを見つける。従来技術で知られている他の多変
数の非線形最適化方法を使用することもできる。計算を
速めるため、すべてのxg,yg∈I1上で合計するのではな
く、画像内のいくつかの小さい矩形領域上で合計を実施
することができる。アルゴリズムの性能は、使用される
領域の大きさ、位置および数に依存する。推定の正確さ
は、均一な領域ではなく角(コーナー)のような特徴をも
つ領域を選び、画像の周囲(反り(warping)が一層顕著で
ある)に近い領域を選択することによって改善すること
ができる。さらに、非線形最適化方法は、良い最初の推
測(guess)から利益を得る。アフィン・パラメータの最
初の推定のため、アフィン運動推定方法は、画像の中央
部分(反りが比較的穏やか)で使用される。
owell)方法の変形を使用して、費用関数を最小化するパ
ラメータを見つける。従来技術で知られている他の多変
数の非線形最適化方法を使用することもできる。計算を
速めるため、すべてのxg,yg∈I1上で合計するのではな
く、画像内のいくつかの小さい矩形領域上で合計を実施
することができる。アルゴリズムの性能は、使用される
領域の大きさ、位置および数に依存する。推定の正確さ
は、均一な領域ではなく角(コーナー)のような特徴をも
つ領域を選び、画像の周囲(反り(warping)が一層顕著で
ある)に近い領域を選択することによって改善すること
ができる。さらに、非線形最適化方法は、良い最初の推
測(guess)から利益を得る。アフィン・パラメータの最
初の推定のため、アフィン運動推定方法は、画像の中央
部分(反りが比較的穏やか)で使用される。
【００６７】xg=x(1+κ7(x2+y2))によって与えられる一
般に使用されるレンズひずみモデルは、レンズの物理的
特性のより粗い近似であるばかりでなく、３次多項式の
根の計算を必要とする一層複雑な方程式を与える。
般に使用されるレンズひずみモデルは、レンズの物理的
特性のより粗い近似であるばかりでなく、３次多項式の
根の計算を必要とする一層複雑な方程式を与える。
【００６８】６つのアフィン運動パラメータを推定する
アフィン運動推定方法と、レンズひずみパラメータを推
定する１次元の非線形最適化技法の間を交互する複合型
システムが、最適化のために使用される。１次元の最適
化のため、「ゴールデン・サーチ(Golden Search)」方
法を使用して費用関数Ψを最小化する。ここで、費用関
数は、留められたアフィン・パラメータ(κ1,κ2,κ3,
κ4,κ5,κ6)をもつ単一のパラメータκ7の関数とみな
される。
アフィン運動推定方法と、レンズひずみパラメータを推
定する１次元の非線形最適化技法の間を交互する複合型
システムが、最適化のために使用される。１次元の最適
化のため、「ゴールデン・サーチ(Golden Search)」方
法を使用して費用関数Ψを最小化する。ここで、費用関
数は、留められたアフィン・パラメータ(κ1,κ2,κ3,
κ4,κ5,κ6)をもつ単一のパラメータκ7の関数とみな
される。
【００６９】幾何学的補正の線形化 さらにテイラー級数近似を使用して、閉じた形式の解を
もつ一組の線形方程式を得る。このプロセスを図3に示
す。非線形モデルが選択され(310)、非線形方程式系を
生成すると、最初のパラメータ組が選択される(320)。
パラメータ組が得られると、非線形方程式系は、パラメ
ータ組を中心に線形化され(330)、線形系を与える。方
程式のこの線形系は、標準的な技法を使用して解かれ(3
40)、新しいパラメータ組を得る。非線形方程式系をパ
ラメータ組を中心に線形化し、結果として得られる線形
解法を解くプロセスは、収束の基準が満たされるまでま
たは設定されたステップ数について繰り返される(35
0)。線形化(330)は、前述したようにテイラー級数展開
によって行われる。以前のセクションで行われたよう
に、パラメータ組kdef=(1,0,0,0,1,0,0)を中心にテイラ
ー級数を位置づける場合、
もつ一組の線形方程式を得る。このプロセスを図3に示
す。非線形モデルが選択され(310)、非線形方程式系を
生成すると、最初のパラメータ組が選択される(320)。
パラメータ組が得られると、非線形方程式系は、パラメ
ータ組を中心に線形化され(330)、線形系を与える。方
程式のこの線形系は、標準的な技法を使用して解かれ(3
40)、新しいパラメータ組を得る。非線形方程式系をパ
ラメータ組を中心に線形化し、結果として得られる線形
解法を解くプロセスは、収束の基準が満たされるまでま
たは設定されたステップ数について繰り返される(35
0)。線形化(330)は、前述したようにテイラー級数展開
によって行われる。以前のセクションで行われたよう
に、パラメータ組kdef=(1,0,0,0,1,0,0)を中心にテイラ
ー級数を位置づける場合、
【数３４】 であるため、レンズひずみパラメータκ7に関する情報
は得られない。これが期待されるのは、kdef=(1,0,0,0,
1,0,0)がゼロ運動を導き、運動がない場合に画像は両方
とも同じだからである。従って、レンズひずみパラメー
タを回復させる希望はない。同様に、ひずみは半径方向
なので、画像の中心を軸とする回転に対応するパラメー
タ組を中心としたテイラー級数近似は、レンズひずみに
関する情報を与えない。しかし、他のアフィン・パラメ
ータ組(κ1,κ2,κ3,κ4,κ5,κ6)は、レンズひずみパ
ラメータに関する注目すべき系を与える。より明確に述
べると、I2(x'g,y'g)のパラメータkw=(κ1,κ2,κ3,
κ4,κ5,κ6)を中心としたテイラー級数近似は、次のよ
うになる。
は得られない。これが期待されるのは、kdef=(1,0,0,0,
1,0,0)がゼロ運動を導き、運動がない場合に画像は両方
とも同じだからである。従って、レンズひずみパラメー
タを回復させる希望はない。同様に、ひずみは半径方向
なので、画像の中心を軸とする回転に対応するパラメー
タ組を中心としたテイラー級数近似は、レンズひずみに
関する情報を与えない。しかし、他のアフィン・パラメ
ータ組(κ1,κ2,κ3,κ4,κ5,κ6)は、レンズひずみパ
ラメータに関する注目すべき系を与える。より明確に述
べると、I2(x'g,y'g)のパラメータkw=(κ1,κ2,κ3,
κ4,κ5,κ6)を中心としたテイラー級数近似は、次のよ
うになる。
【００７０】
【数３５】 ここで、
【数３６】
【００７１】前述の方法は、アフィン・パラメータの最
初の推定のために使用される。これらアフィン・パラメ
ータは、テイラー級数展開の中心として使用される。最
初の推定がほぼ完全に並進である場合、最初の推定のち
ょうど並進成分を中心にテイラー級数を展開して計算を
簡潔にすることができ、ここでkw=(1,0,κ3,0,1,κ6,0)
とする。これは次式を与えるが、
初の推定のために使用される。これらアフィン・パラメ
ータは、テイラー級数展開の中心として使用される。最
初の推定がほぼ完全に並進である場合、最初の推定のち
ょうど並進成分を中心にテイラー級数を展開して計算を
簡潔にすることができ、ここでkw=(1,0,κ3,0,1,κ6,0)
とする。これは次式を与えるが、
【数３７】 運動に対して実質的に並進でない側面がある場合、不正
確な結果を与えることがある。式(43)を式(42)に代入
し、その導関数をとり、それらをゼロに等しく設定する
と、以下の線形行列式が得られる。
確な結果を与えることがある。式(43)を式(42)に代入
し、その導関数をとり、それらをゼロに等しく設定する
と、以下の線形行列式が得られる。
【００７２】
【数３８】 ここで、
【数３９】 およびIw=I2(x,y)-I1(xw,yw)である。xwおよびywは、kw
=(κ1,κ2,κ3,κ4,κ5,κ6,0)によって与えられる変換
の下、xおよびyの画像である。
=(κ1,κ2,κ3,κ4,κ5,κ6,0)によって与えられる変換
の下、xおよびyの画像である。
【００７３】照度補正 上で説明したように取込装置内の外部照度の変化および
オフセット変化を組み込むとき、式(41)は次のように変
更され、 κ8I1(xg,yg)+κ9=I2(x'g,y'g) (44) 運動、レンズひずみ、および照度変化のパラメータに関
する費用関数を次のように再定義する。
オフセット変化を組み込むとき、式(41)は次のように変
更され、 κ8I1(xg,yg)+κ9=I2(x'g,y'g) (44) 運動、レンズひずみ、および照度変化のパラメータに関
する費用関数を次のように再定義する。
【数４０】
【００７４】けられの影響に対処するため、けられ補正
関数を取り入れる。式(44)は次のように変更される。
関数を取り入れる。式(44)は次のように変更される。
【数４１】 ここで、
【数４２】 ここで、fは、カメラの焦点距離であり、(xw,yw)は、ピ
クセル(xg,yg)のカメラ撮像平面座標である。
クセル(xg,yg)のカメラ撮像平面座標である。
【００７５】こうして、(κ1,κ2,κ3,κ4,κ5,κ6,
κ7,κ8,κ9,κ10)に関して費用関数を次のように定義
することができる。
κ7,κ8,κ9,κ10)に関して費用関数を次のように定義
することができる。
【数４３】
【００７６】この費用関数は、再び、非線形最適化技法
を通して最小化することができる。または、テイラー級
数近似を実施して、簡単に解くことができる１組の線形
方程式を得ることができる。
を通して最小化することができる。または、テイラー級
数近似を実施して、簡単に解くことができる１組の線形
方程式を得ることができる。
【００７７】この発明の前述の詳細な説明は、説明の目
的で与えられたものであって網羅的なものではなく、ま
たは、この発明を開示した厳密な実施例に限定しない。
的で与えられたものであって網羅的なものではなく、ま
たは、この発明を開示した厳密な実施例に限定しない。
【００７８】本発明は例として次の実施態様を含む。
【００７９】（１）第１および第２の取り込まれた画像
をもつ撮像システムにおけるひずみを補正する方法であ
って、運動推定を使用して第１および第２の取り込まれ
た画像の中のひずみをモデル化し、１組の非線形方程式
を形成するステップと、非線形方程式系を解き、１組の
補正パラメータを生成するステップと、補正パラメータ
を使用して、取り込まれた画像の一方または両方からひ
ずみを取り除くステップと、を含む方法。
をもつ撮像システムにおけるひずみを補正する方法であ
って、運動推定を使用して第１および第２の取り込まれ
た画像の中のひずみをモデル化し、１組の非線形方程式
を形成するステップと、非線形方程式系を解き、１組の
補正パラメータを生成するステップと、補正パラメータ
を使用して、取り込まれた画像の一方または両方からひ
ずみを取り除くステップと、を含む方法。
【００８０】（２）上記ひずみは、幾何学的レンズひず
みである、上記(１)に記載の方法。
みである、上記(１)に記載の方法。
【００８１】（３）幾何学的レンズひずみに対して使用
されるモデルは、次の変換によって与えられる、上記
(2)に記載の方法。
されるモデルは、次の変換によって与えられる、上記
(2)に記載の方法。
【数４４】 ここで、(x,y)は、補正されたピクセル位置であり、
(xg,yg)は、ひずんだピクセル位置であり、κ7は、ひず
み率である。
(xg,yg)は、ひずんだピクセル位置であり、κ7は、ひず
み率である。
【００８２】（４）上記ひずみは、照度変化によって生
じる、上記(1)に記載の方法。
じる、上記(1)に記載の方法。
【００８３】（５）照度変化に対して使用されるモデル
は、線形モデルである、上記(4)に記載の方法。
は、線形モデルである、上記(4)に記載の方法。
【００８４】（６）照度変化に対して使用されるモデル
は、けられ(Vignetting)モデルである、上記(4)に記載
の方法。
は、けられ(Vignetting)モデルである、上記(4)に記載
の方法。
【００８５】（７）非線形方程式系を解く方法は、多変
数の非線形最適化方法である、上記(1)に記載の方法。
数の非線形最適化方法である、上記(1)に記載の方法。
【００８６】（８）非線形方程式系を解くステップはさ
らに、最初の解決パラメータ組を選択し、上記方程式系
を解決パラメータ組を中心に線形化し、線形方程式系を
解いて、更新された解決パラメータ組を取得し、上記線
形化して解くステップを、制限されたステップ数につい
てまたは所定の収束の基準が満たされるまで繰り返す、
上記(1)に記載の方法。
らに、最初の解決パラメータ組を選択し、上記方程式系
を解決パラメータ組を中心に線形化し、線形方程式系を
解いて、更新された解決パラメータ組を取得し、上記線
形化して解くステップを、制限されたステップ数につい
てまたは所定の収束の基準が満たされるまで繰り返す、
上記(1)に記載の方法。
【００８７】（９）非線形方程式系は、幾何学的レンズ
ひずみの補正を含む、上記(8)に記載の方法。
ひずみの補正を含む、上記(8)に記載の方法。
【００８８】（１０）非線形方程式系は、照度変化の補
正を含む、上記(8)に記載の方法。
正を含む、上記(8)に記載の方法。
【００８９】（１１）非線形方程式系は、幾何学的レン
ズひずみおよび照度変化の補正を含む、上記(8)に記載
の方法。
ズひずみおよび照度変化の補正を含む、上記(8)に記載
の方法。
【００９０】（１２）照度変化のためのモデルは、線形
モデルである、上記(11)に記載の方法。
モデルである、上記(11)に記載の方法。
【００９１】（１３）照度変化のためのモデルは、けら
れモデルである、上記(11)に記載の方法。
れモデルである、上記(11)に記載の方法。
【００９２】（１４）幾何学的レンズひずみのためのモ
デルは、次の変換によって与えられる、上記(11)に記載
の方法。
デルは、次の変換によって与えられる、上記(11)に記載
の方法。
【数４５】 ここで、(x,y)は、補正されたピクセル位置であり、
(xg,yg)は、ひずんだピクセル位置であり、κ7は、ひず
み率である。
(xg,yg)は、ひずんだピクセル位置であり、κ7は、ひず
み率である。
【００９３】（１５）上記(11)を実施するようにコンピ
ュータをプログラムする命令を記憶するコンピュータ記
憶媒体。
ュータをプログラムする命令を記憶するコンピュータ記
憶媒体。
【００９４】
【発明の効果】本発明によれば、撮像システムにおい
て、取り込まれた画像の幾何学的レンズひずみおよび照
度ひずみを補正することができる。
て、取り込まれた画像の幾何学的レンズひずみおよび照
度ひずみを補正することができる。
【図１】撮像システムのブロック図。
【図２】幾何学的レンズひずみを示す図。
【図３】線形化解法のフローチャート。
１１０ 画像取込装置 １２０ 中央処理装置 １３０ 記憶階層
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アンドリュー・パティ アメリカ合衆国94086カリフォルニア州サ ニーヴェイル、ホルブルック・プレイス 788
Claims (1)
- 【請求項１】第１および第２の取り込まれた画像をもつ
撮像システムにおけるひずみを補正する方法であって、 運動推定を使用して上記第１および第２の取り込まれた
画像の中のひずみをモデル化し、１組の非線形方程式を
生成するステップと、 上記非線形方程式系を解いて１組の補正パラメータを生
成するステップと、 上記補正パラメータを使用して、上記取り込まれた画像
のうち一方または両方からひずみを除去するステップ
と、を含む方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US183820 | 1998-10-30 | ||
| US09/183,820 US6597816B1 (en) | 1998-10-30 | 1998-10-30 | Correcting distortion in an imaging system using parametric motion estimation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000152073A true JP2000152073A (ja) | 2000-05-30 |
| JP2000152073A5 JP2000152073A5 (ja) | 2005-08-18 |
Family
ID=22674419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11299012A Pending JP2000152073A (ja) | 1998-10-30 | 1999-10-21 | ひずみ補正方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6597816B1 (ja) |
| EP (1) | EP0998139A3 (ja) |
| JP (1) | JP2000152073A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100456632B1 (ko) * | 2002-09-05 | 2004-11-10 | 한국전자통신연구원 | 영상 기반 렌즈 왜곡 보정 장치 및 방법 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7067473B1 (en) * | 1998-07-14 | 2006-06-27 | Janssen Pharmaceutica N.V. | Neurotrophic growth factor |
| US7023472B1 (en) * | 1999-04-23 | 2006-04-04 | Hewlett-Packard Development Company, L.P. | Camera calibration using off-axis illumination and vignetting effects |
| JP3681157B2 (ja) * | 2000-06-27 | 2005-08-10 | 株式会社東芝 | 電子透かし検出方法、電子透かし検出装置、領域決定方法、および、記憶媒体 |
| KR100421740B1 (ko) * | 2000-11-14 | 2004-03-10 | 삼성전자주식회사 | 객체 활동 모델링 방법 |
| JP3557168B2 (ja) * | 2000-11-27 | 2004-08-25 | 三洋電機株式会社 | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US7046401B2 (en) * | 2001-06-01 | 2006-05-16 | Hewlett-Packard Development Company, L.P. | Camera-based document scanning system using multiple-pass mosaicking |
| GB2380887A (en) * | 2001-10-13 | 2003-04-16 | Isis Innovation | Lens distortion correction using correspondence points within images which are constrained to lie on the same epipolar curve |
| US7113630B2 (en) * | 2002-02-19 | 2006-09-26 | Credence Systems Corporation | PICA system detector calibration |
| US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
| JP4310645B2 (ja) * | 2004-12-28 | 2009-08-12 | ソニー株式会社 | 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置 |
| JP4755490B2 (ja) * | 2005-01-13 | 2011-08-24 | オリンパスイメージング株式会社 | ブレ補正方法および撮像装置 |
| US7634152B2 (en) * | 2005-03-07 | 2009-12-15 | Hewlett-Packard Development Company, L.P. | System and method for correcting image vignetting |
| US20080101713A1 (en) * | 2006-10-27 | 2008-05-01 | Edgar Albert D | System and method of fisheye image planar projection |
| EP2157800B1 (en) * | 2008-08-21 | 2012-04-18 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for increasing the frame rate of a video signal |
| CN101930622B (zh) * | 2009-09-29 | 2012-03-28 | 北京航空航天大学 | 浅水水波的真实感建模与绘制 |
| DE102011007644A1 (de) * | 2011-04-19 | 2012-10-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Bestimmung von zur Entzerrung eines Bildes geeigneten Werten und zur Entzerrung eines Bildes |
| US8582821B1 (en) * | 2011-05-23 | 2013-11-12 | A9.Com, Inc. | Tracking objects between images |
| TWI466538B (zh) * | 2012-01-20 | 2014-12-21 | Altek Corp | 影像處理方法及其裝置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3177543B2 (ja) * | 1992-07-22 | 2001-06-18 | トウシバビデオプロダクツ プライベート リミテッド | 映像信号のノイズ低減装置 |
| DE69611113T3 (de) * | 1995-03-06 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zur Videorauschreduktion |
| US6173087B1 (en) * | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
-
1998
- 1998-10-30 US US09/183,820 patent/US6597816B1/en not_active Expired - Fee Related
-
1999
- 1999-10-21 JP JP11299012A patent/JP2000152073A/ja active Pending
- 1999-10-25 EP EP99308405A patent/EP0998139A3/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100456632B1 (ko) * | 2002-09-05 | 2004-11-10 | 한국전자통신연구원 | 영상 기반 렌즈 왜곡 보정 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0998139A3 (en) | 2001-08-01 |
| EP0998139A2 (en) | 2000-05-03 |
| US6597816B1 (en) | 2003-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| JP2000152073A (ja) | ひずみ補正方法 | |
| US6173087B1 (en) | Multi-view image registration with application to mosaicing and lens distortion correction | |
| Litvin et al. | Probabilistic video stabilization using Kalman filtering and mosaicing | |
| US8175399B2 (en) | Multiple-resolution image processing apparatus | |
| Capel | Image mosaicing | |
| Tai et al. | Richardson-lucy deblurring for scenes under a projective motion path | |
| Capel et al. | Computer vision applied to super resolution | |
| Sawhney et al. | Robust video mosaicing through topology inference and local to global alignment | |
| US20090052743A1 (en) | Motion estimation in a plurality of temporally successive digital images | |
| Shimizu et al. | Super-resolution from image sequence under influence of hot-air optical turbulence | |
| US20060072851A1 (en) | Deghosting mosaics using multiperspective plane sweep | |
| JP4887376B2 (ja) | ステレオビジョンにおいて密な視差場を求める方法 | |
| JP2007257287A (ja) | 画像レジストレーション方法 | |
| CN110415186B (zh) | 一种图像去抖动的方法和设备 | |
| JP6202879B2 (ja) | ローリングシャッタ歪み補正と映像安定化処理方法 | |
| KR100996897B1 (ko) | 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법 | |
| JP3557168B2 (ja) | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Caner et al. | Local image registration by adaptive filtering | |
| JP4128123B2 (ja) | 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP6505501B2 (ja) | ローリングシャッタ回転歪み補正と映像安定化処理方法 | |
| Dellaert et al. | Mosaicing a large number of widely dispersed, noisy, and distorted images: A bayesian approach | |
| Tamaki et al. | A method for compensation of image distortion with image registration technique | |
| CN114972517B (zh) | 一种基于raft的自监督深度估计方法 | |
| Cho et al. | A fast CIS still image stabilization method without parallax and moving object problems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050203 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080304 |