JP2005100407A - 複数のソース画像からパノラマ画像を作成するシステム及び方法 - Google Patents
複数のソース画像からパノラマ画像を作成するシステム及び方法 Download PDFInfo
- Publication number
- JP2005100407A JP2005100407A JP2004277002A JP2004277002A JP2005100407A JP 2005100407 A JP2005100407 A JP 2005100407A JP 2004277002 A JP2004277002 A JP 2004277002A JP 2004277002 A JP2004277002 A JP 2004277002A JP 2005100407 A JP2005100407 A JP 2005100407A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- transformation
- corners
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000009466 transformation Effects 0.000 claims description 90
- 238000011156 evaluation Methods 0.000 claims description 28
- 238000002156 mixing Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000013519 translation Methods 0.000 claims description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 9
- 238000000844 transformation Methods 0.000 claims description 7
- 230000014616 translation Effects 0.000 description 14
- 241001465754 Metazoa Species 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【解決手段】上記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするステップを含んでいる。隣接する画像の各対の間の変換が、上記共通の特徴を用いて評価される。各画像が上記系列における指定された画像へ、上記画像に関連すると共に上記各画像と上記指定された画像との間の画像に関連する評価された変換を用いて投影される。投影された画像の重なり合う部分が結合されて、パノラマ画像が形成される。
【選択図】 図1
Description
transform)を用いて発生されたガウス混合マスクによるラプラシアンピラミッド混合法を用いて混合される。
前記系列における画像の隣接する対を、該画像の隣接する対内の共通の特徴(feature)に基づいて位置合わせするステップと、
画像の各隣接する対の間の変換を前記共通の特徴を用いて評価するステップと、
各画像を前記系列における指定された画像へ、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するステップと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するステップと、
を有するような方法が提供される。
前記系列における画像の各隣接する対における角部を位置合わせするステップと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するステップと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するステップと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するステップと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるステップと、
を有するような方法が提供される。
前記系列における画像の隣接する対を、これら画像の隣接する対内の共通の特徴に基づいて位置合わせする手段と、
画像の隣接する対の間の変換を前記共通の特徴を用いて評価する手段と、
各画像を前記系列における指定された画像に、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影する手段と、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成する手段と、
を有するようなデジタル画像編集ツールが提供される。
前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするコンピュータプログラムコードと、
隣接する画像の各対の間の変換を、前記共通の特徴を用いて評価するコンピュータプログラムコードと、
各画像を前記系列における指定された画像へ、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するコンピュータプログラムコードと、
を有するようなコンピュータ読み取り可能な媒体が提供される。
前記系列における画像の各隣接する対における角部を位置合わせするコンピュータプログラムコードと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するコンピュータプログラムコードと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するコンピュータプログラムコードと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるコンピュータプログラムコードと、
を有するようなコンピュータ読み取り可能な媒体が提供される。
ここで、
c(x,y)は検出される角部;
y及びxは、当該画像の左上角が座標(0,0)であると仮定した場合の該画像におけるピクセルの座標;
Ix及びIyは方向導関数を各々示し(隣接画素間の輝度差に関する関数);
εはオーバーフローを防止するための小さな数であり;
画像Iにおける各角部cに対して、画像I’における全ての角部c’に対する相関がなされる。これは、画像Iの各角部cに対して画像I’全体を検索することと等価である。角部c及びc’に中心を合わされたウインドウが、角部c及びc’の間の相関を決定するために使用される。画像Iにおける角部c(u,v)と画像I’における角部c’(u’,v’)との間の相関点数を計算するために、正規化された相互相関NCCが使用される。正規化された相互相関NCCは:
画像Iの各角部cが画像I’の候補一致角部の群と一致したら、一致する角部を明確にするために緩和技術が使用される。緩和の目的のために、候補となる一致する角部の対(c,c’)が存在し、cは画像Iにおける角部であり、c’は画像I’における角部であると仮定する。ここで、Ψ(c)及びΨ(c’)が、角部c及びc’のNxMピクセルの近傍内での近隣の角部であるとする。候補一致角部対(c,c’)が良好な一致であるならば、gをΨ(c)の角部とし、g’をΨ(c’)の角部とした場合、角部cに対する角部gの位置が、角部g’の角部c’に対する位置と類似するような多くの他の一致角部対(g,g’)が当該近傍内で見られるであろう。対照的に、候補一致角部対(c,c’)が良くない一致であるなら、当該近傍内には僅かな一致対しか又は何の一致対も見られないであろう。
により、候補となる一致する角部c及びc’が実際に同一の角部である確度を測定するために使用される(角部c及びc’からの距離の概念が含まれる)。上記式において、
NCC(g,g’)は上述した相関点数であり;
K=5.0は一定の重みであり;
との間の角度をチェックして該角度が60度より大きいかを判断し、もし大きいなら、δ(c,c’;g,g’)はゼロなる値をとる(実験の結果導き出された)。当該群における一致の点数SMが最大となる候補一致角部c’が、一致する角部として選択される。
線形方程式は以下の通り。
I’ =P・I
ベクトルI’: I’=(x’,y’)
ベクトルI : I=(x ,y)
射影変換行列P(2×2の行列、4つの要素で構成)
次いで、該評価された射影変換を用いて、他の対の一致する角部についても評価する。この処理は、他の群のランダムに選択されたN対の一致する角部を使用して実行される。最大数の角部の一致を支持する射影変換が選択される。特に、上述した処理は下記の手順に従って実行される:
1.MaxN←0
2.Iteration(反復)←0
3.ランダムに選択されたN対の一致する角部の各群に対して、ステップ4ないし10を実行する。
4.Iteration←Iteraton+1
5.(Iteration>MaxIteration)なら、ステップ11に進む。
6.適切な群の線形方程式を解くことにより、射影変換を評価する。
7.該射影変換を支持する一致した角部の対の数Nを計算する。
8.(N>MaxN)なら、ステップ9及び10を実行し、それ以外の場合はステップ3に進む。
9.MaxN←N
10.最適変換←現在の変換
11.(MaxN>5)なら、成功で戻り、それ以外では失敗で戻る。
なる形の変換行列Mに対しては、Mは下記の制約を満足しなければならない:
|a11|∈(0.5,1.7),|a12|<0.8,|a13|<W,
|a21|<0.8,|a12|∈(0.5,1.7),|a23|<H,
|a31|<0.1,|a23|<0.1
ここで、W及びHは、各々、当該画像の幅及び高さである。
なる式に従い、ここで、
Pは正しい解が存在することを保証する確率であり;
Xは誤った一致する角部の対の割合であり;
ηは解のために必要な一致する角部の数(アフィンの場合は8、射影の場合は10)であり、
mはランダム反復の最大数である。
1.MaxN←0
2.一致する角部の各対に対して、ステップ2ないし7を実行する。
3.一致した角部の間で平行移動を計算する。
4.該平行移動を支持する一致した角部の対の数Nを計算する。
5.N>MaxNなら、ステップ5ないし7を実行し、それ以外なら、ステップ2に進む。
6.MaxN←N
7.最適な平行移動←現在の平行移動
8.MaxN>3なら、成功で戻り、それ以外の場合は、失敗で戻る。
なる形の標準の線形混合方程式を用いて混合される。
重みの値は、現在の画像の外側縁においてゼロに近づくと共に最も最近に合成された画像の外側縁において1に近づくような指数ランプ関数を用いて計算される。下記の式が重み(weight)の値を計算するために使用され:
図5は、当該デジタル画像編集ツールのグラフィックユーザインターフェースを示すスクリーン写真である。図に示すように、グラフィックユーザインターフェース300は、パノラマ画像を形成するために結合されるべきデジタルソース画像が表示されるパレット302を含んでいる。結果としてのパノラマ画像も、該パレット302内において上記デジタル画像の系列の上に表示されている。ツールバー306が、パレット302の上部に沿って延び、多数のユーザ選択可能なボタンを含んでいる。詳細には、ツールバー306は、デジタルファイルを開くボタン310、デジタル画像セーブボタン312、ズームインボタン314、ズームアウトボタン316、1:1ボタン318、パレットに合わせるボタン320、画像結合を実行するボタン322及びクロッピングボタン324を含んでいる。ズームインボタン314を選択すると、パレット302内に表示されたパノラマ画像が拡大される。ズームアウトボタン316を選択すると、パレット302に表示されたパノラマ画像が縮小する。パレットに合わせるボタン320を選択すると、全体のパノラマ画像がパレット302の大きさに合わされる。クロッピングボタン324の選択は、ユーザが、パレット302内に表示されたパノラマ画像の一部を長方形により輪郭をとり、該長方形の外部の画像を削除するのを可能にする。
206 差分画像、208 ローパスフィルタ、210 差分画像
300 グラフィックユーザインターフェース、302 パレット、306 ツールバー
Claims (41)
- ソース画像の系列からパノラマ画像を作成する方法において、
前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするステップと、
隣接する画像の各対の間の変換を、前記共通の特徴を用いて評価するステップと、
各画像を前記系列における指定された画像へ、当該画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するステップと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するステップと、
を有していることを特徴とする方法。 - 請求項1に記載の方法において、前記位置合わせするステップの間に、隣接する画像における一致する角部が決定されることを特徴とする方法。
- 請求項2に記載の方法において、前記変換が射影変換であることを特徴とする方法。
- 請求項2に記載の方法において、前記評価するステップの後に、前記変換が、前記隣接する画像の対における前記投影するステップ前に移動しないピクセルを用いて再評価されることを特徴とする方法。
- 請求項1に記載の方法において、前記結合するステップの間に、前記投影された画像の重なり合う部分が周波数混合されることを特徴とする方法。
- 請求項4に記載の方法において、前記一致する角部による位置合わせが、前記投影するステップのエラーを補正するために使用されることを特徴とする方法。
- 請求項6に記載の方法において、前記結合するステップの間に、前記投影された画像の重なり合う部分が周波数混合されることを特徴とする方法。
- 請求項7に記載の方法において、前記評価するステップの間に、射影、アフィン及び平行移動変換のうちの1つが評価されることを特徴とする方法。
- 請求項1に記載の方法において、隣接する画像I及びI’の各対を位置合わせするステップが、
前記画像I及びI’の各々における高曲率点に対応する特徴を抽出するステップと、
前記特徴に隣接する角部を決定するステップと、
画像Iの前記角部を画像I’の対応する角部に一致させ、これにより前記画像I及びI’を位置合わせするステップと、
を有していることを特徴とする方法。 - 請求項9に記載の方法において、前記決定するステップの間において、前記特徴を囲む近傍内の角部が検出されることを特徴とする方法。
- 請求項10に記載の方法において、前記決定するステップが、閾数の角部が検出されるまで実行されることを特徴とする方法。
- 請求項11に記載の方法において、前記一致させるステップの間において、画像I’における検出された各角部を画像Iにおける検出された各角部と比較して、前記画像I及びI’における一致する角部を決定することを特徴とする方法。
- 請求項12に記載の方法において、前記比較するステップが、画像I’における検出された各角部と画像Iにおける検出された各角部との間の相関を決定して、画像I内の各角部が画像I’内の候補となる一致する角部の群を有するような角部のリストを生じさせるステップと、
前記群における前記候補となる一致する角部の各々が画像I内の関連する角部に対応する確度を測定するステップと、
前記群における前記候補となる一致する角部の1つを選択するステップと、
を含むことを特徴とする方法。 - 請求項13に記載の方法において、前記相関を決定するステップの間において、画像I’内の検出された各角部と画像I内の検出された各角部との間の相関の点数を計算するために正規化された相互相関が使用され、閾レベルより高い相関点数が候補となる一致する角部を意味することを特徴とする方法。
- 請求項14に記載の方法において、前記相関を決定するステップが閾数の候補となる一致する角部が決定されるまで実行され、これにより前記群が形成されることを特徴とする方法。
- 請求項15に記載の方法において、前記測定するステップの間において、前記群の候補となる一致する角部の各々が画像Iの関連する角部と対応する確度を測定するために、一致されている角部を囲む近傍内の他の一致する角部の対に基づく一致の点数が使用されることを特徴とする方法。
- 請求項9に記載の方法において、前記評価するステップが、
N対の一致する角部を選択するステップと、
前記変換をモデル化する一群の線形方程式を解くことにより、前記一致する角部の間の変換操作を詳述する変換を評価するステップと、
を含んでいることを特徴とする方法。 - 請求項17に記載の方法において、前記評価するステップが、
前記評価された変換を一致する角部の選択されていない対に適用して、該変換の精度を評価するステップと、
前記選択し、解き及び適用するステップの反復を繰り返して最も正確な変換を決定するステップと、
を更に含んでいることを特徴とする方法。 - 請求項18に記載の方法において、前記評価するステップの間において、射影、アフィン及び平行移動変換のうちの1つが評価されることを特徴とする方法。
- 請求項19に記載の方法において、前記評価される変換がアフィン変換であり、この評価が閾より高い精度を持つアフィン変換を生じない場合は、該評価が平行移動を決定するように再実行されることを特徴とする方法。
- 請求項19に記載の方法において、前記評価される変換がアフィン変換であり、この評価が閾より高い精度を持つ射影変換を生じない場合は、該評価が平行移動を決定するように再実行されることを特徴とする方法。
- 請求項17に記載の方法において、前記隣接する各画像対に関する前記変換の評価に続いて、前記変換が、前記隣接する画像対における移動しないピクセルのみを用いて再評価されることを特徴とする方法。
- 請求項22に記載の方法において、前記投影するステップの間に、各画像が、前記各画像に関連すると共に該各画像と前記指定された画像との間の画像に関連する前記変換の積から導出される射影行列を用いて前記指定された画像に投影され、前記射影行列が前記一致する角部の位置合わせを用いてエラー補正されることを特徴とする方法。
- 請求項23に記載の方法において、前記結合するステップの間に、前記画像の重なり合う部分が周波数混合されることを特徴とする方法。
- 請求項24に記載の方法において、前記周波数混合の間に、前記重なり合う部分の異なる周波数内容が異なる重み関数で混合されることを特徴とする方法。
- ソース画像の系列からパノラマ画像を作成する方法において、
前記系列における画像の各隣接する対における角部を位置合わせするステップと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するステップと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するステップと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するステップと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるステップと、
を有していることを特徴とする方法。 - 請求項26に記載の方法において、前記周波数混合するステップの間に、前記重なり合う部分の異なる周波数内容が異なる重み関数で混合されることを特徴とする方法。
- 請求項26に記載の方法において、前記評価する及び再評価するステップの間に、射影変換が評価されることを特徴とする方法。
- 請求項28に記載の方法において、前記評価するステップの間に、閾より高い精度を持つ射影変換を決定することができない場合に、平行移動が評価及び再評価されることを特徴とする方法。
- 請求項26に記載の方法において、前記評価する及び再評価するステップの間に、アフィン変換が評価されることを特徴とする方法。
- 請求項30に記載の方法において、前記評価するステップの間に、閾より高い精度を持つ射影変換を決定することができない場合に、平行移動が評価及び再評価されることを特徴とする方法。
- ソース画像の系列からパノラマ画像を作成するデジタル画像編集ツールにおいて、
前記系列における画像の隣接する対を、これら画像の隣接する対内の共通の特徴に基づいて位置合わせする手段と、
画像の隣接する対の間の変換を前記共通の特徴を用いて評価する手段と、
各画像を前記系列における指定された画像に、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影する手段と、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成する手段と、
を有していることを特徴とするデジタル画像編集ツール。 - 請求項32に記載のデジタル画像編集ツールにおいて、前記位置合わせする手段は、画像の隣接する対における角部を一致させることを特徴とするデジタル画像編集ツール。
- 請求項33に記載のデジタル画像編集ツールにおいて、前記評価する手段は、各変換を前記画像の隣接する対における移動しないピクセルを用いて再評価することを特徴とするデジタル画像編集ツール。
- 請求項34に記載のデジタル画像編集ツールにおいて、前記結合する手段は、前記投影された画像の重なり合う部分を周波数混合することを特徴とするデジタル画像編集ツール。
- 請求項35に記載のデジタル画像編集ツールにおいて、前記評価する手段は、射影、アフィン及び平行移動変換のうちの1つを評価することを特徴とするデジタル画像編集ツール。
- ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体において、前記コンピュータプログラムが、
前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするコンピュータプログラムコードと、
隣接する画像の各対の間の変換を、前記共通の特徴を用いて評価するコンピュータプログラムコードと、
各画像を前記系列における指定された画像へ、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するコンピュータプログラムコードと、
を有していることを特徴とするコンピュータ読み取り可能な媒体。 - ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体において、前記コンピュータプログラムが、
前記系列における画像の各隣接する対における角部を位置合わせするコンピュータプログラムコードと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するコンピュータプログラムコードと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するコンピュータプログラムコードと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるコンピュータプログラムコードと、
を有していることを特徴とするコンピュータ読み取り可能な媒体。 - ソース画像の系列からパノラマ画像を作成する方法において、
前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするステップと、
各画像を前記系列における指定された画像へ投影するステップと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するステップと、
を備え、
前記結合するステップの間に、前記投影された画像の重なり合う部分が周波数混合され、
当該周波数混合の間に、前記重なり合う部分の異なる周波数内容が、異なる重み関数で混合されることを特徴とする方法。 - 請求項39に記載の方法において、前記重なり合う部分の周波数内容が低い周波数帯域の場合には混合領域を広くし、前記重なり合う部分の周波数内容が高い周波数帯域の場合には混合領域を狭くすることを特徴とする方法。
- ソース画像の系列からパノラマ画像を作成する方法において、
前記系列における画像の各隣接する対における角部を位置合わせするステップと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するステップと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するステップと、
前記再評価された前記変換を用いて、前記パノラマ画像を生じさせるステップと、
を有していることを特徴とする方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/669,828 US20050063608A1 (en) | 2003-09-24 | 2003-09-24 | System and method for creating a panorama image from a plurality of source images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005100407A true JP2005100407A (ja) | 2005-04-14 |
Family
ID=34313764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004277002A Withdrawn JP2005100407A (ja) | 2003-09-24 | 2004-09-24 | 複数のソース画像からパノラマ画像を作成するシステム及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20050063608A1 (ja) |
JP (1) | JP2005100407A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100790887B1 (ko) | 2006-09-22 | 2008-01-02 | 삼성전자주식회사 | 영상 처리장치 및 방법 |
KR100790890B1 (ko) | 2006-09-27 | 2008-01-02 | 삼성전자주식회사 | 파노라마 영상 생성장치 및 방법 |
JP2009075825A (ja) * | 2007-09-20 | 2009-04-09 | Tokyo Univ Of Science | 画像幾何学的歪補正方法、プログラム、及び画像幾何学的歪補正装置 |
JP2010514041A (ja) * | 2006-12-20 | 2010-04-30 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | 複数画像レジストレーション装置及び方法 |
JP2010182305A (ja) * | 2009-02-05 | 2010-08-19 | Seiko Epson Corp | 画像処理方法、画像処理装置およびコンピューター読み取り可能な媒体 |
JP2012022716A (ja) * | 2011-10-21 | 2012-02-02 | Fujifilm Corp | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 |
JP2012048523A (ja) * | 2010-08-27 | 2012-03-08 | Toshiba Corp | 対応付け装置 |
JP2012150826A (ja) * | 2012-03-09 | 2012-08-09 | Casio Comput Co Ltd | 画像合成装置及びプログラム |
WO2013121897A1 (ja) * | 2012-02-17 | 2013-08-22 | ソニー株式会社 | 情報処理装置および方法、画像処理装置および方法、並びにプログラム |
JP2013186853A (ja) * | 2012-03-12 | 2013-09-19 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
WO2014061221A1 (ja) * | 2012-10-18 | 2014-04-24 | 日本電気株式会社 | 画像部分領域抽出装置、画像部分領域抽出方法および画像部分領域抽出用プログラム |
JP2015087941A (ja) * | 2013-10-30 | 2015-05-07 | オリンパス株式会社 | 特徴点マッチング処理装置、特徴点マッチング処理方法、およびプログラム |
WO2016013634A1 (ja) * | 2014-07-24 | 2016-01-28 | 国立研究開発法人科学技術振興機構 | 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム |
JP2017174105A (ja) * | 2016-03-23 | 2017-09-28 | Kddi株式会社 | 幾何検証装置及びプログラム |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7692703B2 (en) * | 2003-04-28 | 2010-04-06 | Olympus Corporation | Image pick-up apparatus |
CN100576251C (zh) * | 2005-04-19 | 2009-12-30 | 皇家飞利浦电子股份有限公司 | 呈现单元、呈现方法以及图像处理设备 |
US7593599B2 (en) * | 2005-06-30 | 2009-09-22 | Corning Incorporated | Method of assembling a composite data map having a closed-form solution |
US20070031063A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a composite image from a set of images |
US7860343B2 (en) * | 2006-04-10 | 2010-12-28 | Nokia Corporation | Constructing image panorama using frame selection |
KR101264804B1 (ko) * | 2006-08-16 | 2013-05-15 | 삼성전자주식회사 | 최적의 촬영위치를 알릴 수 있는 파노라마 촬영 방법 및장치 |
GB0616907D0 (en) * | 2006-08-25 | 2006-10-04 | Univ Bath | Image construction |
US8073196B2 (en) * | 2006-10-16 | 2011-12-06 | University Of Southern California | Detection and tracking of moving objects from a moving platform in presence of strong parallax |
US8368720B2 (en) * | 2006-12-13 | 2013-02-05 | Adobe Systems Incorporated | Method and apparatus for layer-based panorama adjustment and editing |
CN101583974B (zh) * | 2006-12-13 | 2012-11-14 | 杜比实验室特许公司 | 用于拼接数字图像的方法和设备 |
WO2008075061A2 (en) * | 2006-12-20 | 2008-06-26 | Mitsubishi Electric Information Technology Centre Europe B.V. | Multiple image registration apparatus and method |
US8588547B2 (en) | 2008-08-05 | 2013-11-19 | Pictometry International Corp. | Cut-line steering methods for forming a mosaic image of a geographical area |
US8270770B1 (en) * | 2008-08-15 | 2012-09-18 | Adobe Systems Incorporated | Region-based dense feature correspondence |
US8194993B1 (en) | 2008-08-29 | 2012-06-05 | Adobe Systems Incorporated | Method and apparatus for matching image metadata to a profile database to determine image processing parameters |
US8842190B2 (en) | 2008-08-29 | 2014-09-23 | Adobe Systems Incorporated | Method and apparatus for determining sensor format factors from image metadata |
US8340453B1 (en) | 2008-08-29 | 2012-12-25 | Adobe Systems Incorporated | Metadata-driven method and apparatus for constraining solution space in image processing techniques |
US8391640B1 (en) * | 2008-08-29 | 2013-03-05 | Adobe Systems Incorporated | Method and apparatus for aligning and unwarping distorted images |
US8724007B2 (en) * | 2008-08-29 | 2014-05-13 | Adobe Systems Incorporated | Metadata-driven method and apparatus for multi-image processing |
US8368773B1 (en) | 2008-08-29 | 2013-02-05 | Adobe Systems Incorporated | Metadata-driven method and apparatus for automatically aligning distorted images |
WO2011047731A1 (en) * | 2009-10-22 | 2011-04-28 | Tele Atlas B.V. | Method for creating a mosaic image using masks |
KR20110052124A (ko) * | 2009-11-12 | 2011-05-18 | 삼성전자주식회사 | 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기 |
IT1399094B1 (it) * | 2010-03-26 | 2013-04-05 | Tenova Spa | Metodo e sistema di rilevamento e di determinazione di caratteristiche geometriche, dimensionali e posizionali di prodotti trasportati da un trasportatore continuo, in particolare prodotti siderurgici grezzi, sgrossati, sbozzati o semilavorati. |
JP5696419B2 (ja) * | 2010-09-30 | 2015-04-08 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
CN101984463A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
JP2012105145A (ja) * | 2010-11-11 | 2012-05-31 | Canon Inc | 画像処理装置、画像処理方法、及び、プログラム |
US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
US8587665B2 (en) * | 2011-02-15 | 2013-11-19 | DigitalOptics Corporation Europe Limited | Fast rotation estimation of objects in sequences of acquired digital images |
US8705894B2 (en) | 2011-02-15 | 2014-04-22 | Digital Optics Corporation Europe Limited | Image rotation from local motion estimates |
US8587666B2 (en) * | 2011-02-15 | 2013-11-19 | DigitalOptics Corporation Europe Limited | Object detection from image profiles within sequences of acquired digital images |
WO2013001143A2 (en) | 2011-06-30 | 2013-01-03 | Nokia Corporation | Method, apparatus and computer program product for generating panorama images |
US20150154736A1 (en) * | 2011-12-20 | 2015-06-04 | Google Inc. | Linking Together Scene Scans |
US9135678B2 (en) | 2012-03-19 | 2015-09-15 | Adobe Systems Incorporated | Methods and apparatus for interfacing panoramic image stitching with post-processors |
WO2013144437A2 (en) * | 2012-03-28 | 2013-10-03 | Nokia Corporation | Method, apparatus and computer program product for generating panorama images |
EP2680586A3 (en) | 2012-06-27 | 2014-01-29 | Nokia Corporation | Method, apparatus and computer program product for processing of images |
JP5719480B2 (ja) * | 2012-07-13 | 2015-05-20 | 富士フイルム株式会社 | 画像変形装置およびその動作制御方法 |
CN103871036B (zh) * | 2012-12-12 | 2017-11-28 | 上海联影医疗科技有限公司 | 用于三维数字减影血管造影图像的快速配准和拼接方法 |
TWI520095B (zh) | 2013-10-21 | 2016-02-01 | 財團法人工業技術研究院 | 影像索引方法、影像索引裝置及電腦可讀取媒體 |
US9934222B2 (en) | 2014-04-22 | 2018-04-03 | Google Llc | Providing a thumbnail image that follows a main image |
USD780777S1 (en) | 2014-04-22 | 2017-03-07 | Google Inc. | Display screen with graphical user interface or portion thereof |
USD781318S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
USD781317S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
US9972121B2 (en) * | 2014-04-22 | 2018-05-15 | Google Llc | Selecting time-distributed panoramic images for display |
US10176452B2 (en) | 2014-06-13 | 2019-01-08 | Conduent Business Services Llc | Store shelf imaging system and method |
US9922261B2 (en) * | 2015-04-16 | 2018-03-20 | Regents Of The University Of Minnesota | Robotic surveying of fruit plants |
US9721350B2 (en) * | 2015-06-26 | 2017-08-01 | Getalert Ltd. | Methods circuits devices systems and associated computer executable code for video feed processing |
WO2017049597A1 (en) * | 2015-09-25 | 2017-03-30 | SZ DJI Technology Co., Ltd. | System and method for video broadcasting |
US10289990B2 (en) * | 2016-10-17 | 2019-05-14 | Conduent Business Services, Llc | Store shelf imaging system and method |
US10210603B2 (en) * | 2016-10-17 | 2019-02-19 | Conduent Business Services Llc | Store shelf imaging system and method |
CN106504194B (zh) * | 2016-11-03 | 2019-06-21 | 重庆邮电大学 | 一种基于最佳拼接平面和局部特征的图像拼接方法 |
US10497094B2 (en) * | 2016-12-28 | 2019-12-03 | Nokia Technologies Oy | Method and apparatus for multi-band blending of a seam in an image derived from multiple cameras |
CN109934772B (zh) * | 2019-03-11 | 2023-10-27 | 影石创新科技股份有限公司 | 一种图像融合方法、装置及便携式终端 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6415878A (en) * | 1987-07-09 | 1989-01-19 | Sanyo Electric Co | Corner detector |
JPH03166667A (ja) * | 1989-11-27 | 1991-07-18 | Shinko Electric Co Ltd | コーナー検出方法 |
JPH05103249A (ja) * | 1991-10-07 | 1993-04-23 | Fujitsu Ltd | 相関追尾装置 |
JPH1091765A (ja) * | 1996-09-10 | 1998-04-10 | Canon Inc | 画像合成装置及びその方法 |
JPH11112790A (ja) * | 1997-10-06 | 1999-04-23 | Canon Inc | 画像合成装置および方法 |
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JPH11259637A (ja) * | 1998-03-06 | 1999-09-24 | Canon Inc | 画像合成装置、画像合成方法および記憶媒体 |
JPH11331696A (ja) * | 1998-03-10 | 1999-11-30 | Canon Inc | 画像処理方法、装置および記録媒体 |
JP2000215317A (ja) * | 1998-11-16 | 2000-08-04 | Sony Corp | 画像処理方法及び画像処理装置 |
US6359617B1 (en) * | 1998-09-25 | 2002-03-19 | Apple Computer, Inc. | Blending arbitrary overlaying images into panoramas |
JP2003115052A (ja) * | 2001-10-09 | 2003-04-18 | National Institute Of Advanced Industrial & Technology | 画像処理方法及び画像処理装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US634915A (en) * | 1899-02-10 | 1899-10-17 | Robert Schofield | Device for putting on belts. |
US5185808A (en) * | 1991-06-06 | 1993-02-09 | Eastman Kodak Company | Method for merging images |
US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
US6104840A (en) * | 1996-11-08 | 2000-08-15 | Ricoh Company, Ltd. | Method and system for generating a composite image from partially overlapping adjacent images taken along a plurality of axes |
US6249616B1 (en) * | 1997-05-30 | 2001-06-19 | Enroute, Inc | Combining digital images based on three-dimensional relationships between source image data sets |
JP3773011B2 (ja) * | 1997-06-20 | 2006-05-10 | シャープ株式会社 | 画像合成処理方法 |
US6044181A (en) * | 1997-08-01 | 2000-03-28 | Microsoft Corporation | Focal length estimation method and apparatus for construction of panoramic mosaic images |
US6128108A (en) * | 1997-09-03 | 2000-10-03 | Mgi Software Corporation | Method and system for compositing images |
US6552744B2 (en) * | 1997-09-26 | 2003-04-22 | Roxio, Inc. | Virtual reality camera |
US6424752B1 (en) * | 1997-10-06 | 2002-07-23 | Canon Kabushiki Kaisha | Image synthesis apparatus and image synthesis method |
US6333749B1 (en) * | 1998-04-17 | 2001-12-25 | Adobe Systems, Inc. | Method and apparatus for image assisted modeling of three-dimensional scenes |
JP4146938B2 (ja) * | 1998-09-08 | 2008-09-10 | オリンパス株式会社 | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 |
US6271847B1 (en) * | 1998-09-25 | 2001-08-07 | Microsoft Corporation | Inverse texture mapping using weighted pyramid blending and view-dependent weight maps |
US6411742B1 (en) * | 2000-05-16 | 2002-06-25 | Adobe Systems Incorporated | Merging images to form a panoramic image |
-
2003
- 2003-09-24 US US10/669,828 patent/US20050063608A1/en not_active Abandoned
-
2004
- 2004-09-24 JP JP2004277002A patent/JP2005100407A/ja not_active Withdrawn
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6415878A (en) * | 1987-07-09 | 1989-01-19 | Sanyo Electric Co | Corner detector |
JPH03166667A (ja) * | 1989-11-27 | 1991-07-18 | Shinko Electric Co Ltd | コーナー検出方法 |
JPH05103249A (ja) * | 1991-10-07 | 1993-04-23 | Fujitsu Ltd | 相関追尾装置 |
JPH1091765A (ja) * | 1996-09-10 | 1998-04-10 | Canon Inc | 画像合成装置及びその方法 |
JPH11112790A (ja) * | 1997-10-06 | 1999-04-23 | Canon Inc | 画像合成装置および方法 |
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JPH11259637A (ja) * | 1998-03-06 | 1999-09-24 | Canon Inc | 画像合成装置、画像合成方法および記憶媒体 |
JPH11331696A (ja) * | 1998-03-10 | 1999-11-30 | Canon Inc | 画像処理方法、装置および記録媒体 |
US6359617B1 (en) * | 1998-09-25 | 2002-03-19 | Apple Computer, Inc. | Blending arbitrary overlaying images into panoramas |
JP2000215317A (ja) * | 1998-11-16 | 2000-08-04 | Sony Corp | 画像処理方法及び画像処理装置 |
JP2003115052A (ja) * | 2001-10-09 | 2003-04-18 | National Institute Of Advanced Industrial & Technology | 画像処理方法及び画像処理装置 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100790887B1 (ko) | 2006-09-22 | 2008-01-02 | 삼성전자주식회사 | 영상 처리장치 및 방법 |
KR100790890B1 (ko) | 2006-09-27 | 2008-01-02 | 삼성전자주식회사 | 파노라마 영상 생성장치 및 방법 |
JP2010514041A (ja) * | 2006-12-20 | 2010-04-30 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | 複数画像レジストレーション装置及び方法 |
JP2009075825A (ja) * | 2007-09-20 | 2009-04-09 | Tokyo Univ Of Science | 画像幾何学的歪補正方法、プログラム、及び画像幾何学的歪補正装置 |
JP2010182305A (ja) * | 2009-02-05 | 2010-08-19 | Seiko Epson Corp | 画像処理方法、画像処理装置およびコンピューター読み取り可能な媒体 |
JP2012048523A (ja) * | 2010-08-27 | 2012-03-08 | Toshiba Corp | 対応付け装置 |
JP2012022716A (ja) * | 2011-10-21 | 2012-02-02 | Fujifilm Corp | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 |
WO2013121897A1 (ja) * | 2012-02-17 | 2013-08-22 | ソニー株式会社 | 情報処理装置および方法、画像処理装置および方法、並びにプログラム |
JP2012150826A (ja) * | 2012-03-09 | 2012-08-09 | Casio Comput Co Ltd | 画像合成装置及びプログラム |
JP2013186853A (ja) * | 2012-03-12 | 2013-09-19 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
WO2014061221A1 (ja) * | 2012-10-18 | 2014-04-24 | 日本電気株式会社 | 画像部分領域抽出装置、画像部分領域抽出方法および画像部分領域抽出用プログラム |
JP2015087941A (ja) * | 2013-10-30 | 2015-05-07 | オリンパス株式会社 | 特徴点マッチング処理装置、特徴点マッチング処理方法、およびプログラム |
WO2016013634A1 (ja) * | 2014-07-24 | 2016-01-28 | 国立研究開発法人科学技術振興機構 | 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム |
JPWO2016013634A1 (ja) * | 2014-07-24 | 2017-06-01 | 国立研究開発法人科学技術振興機構 | 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム |
KR101909006B1 (ko) * | 2014-07-24 | 2018-10-17 | 고쿠리츠켄큐카이하츠호진 카가쿠기쥬츠신코키코 | 화상 위치 맞춤 장치, 화상 위치 맞춤 방법, 및 화상 위치 맞춤 프로그램 |
US10628948B2 (en) | 2014-07-24 | 2020-04-21 | Japan Science And Technology Agency | Image registration device, image registration method, and image registration program |
JP2017174105A (ja) * | 2016-03-23 | 2017-09-28 | Kddi株式会社 | 幾何検証装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20050063608A1 (en) | 2005-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005100407A (ja) | 複数のソース画像からパノラマ画像を作成するシステム及び方法 | |
US7317558B2 (en) | System and method for image processing of multiple images | |
Jia et al. | Image stitching using structure deformation | |
Matsushita et al. | Full-frame video stabilization with motion inpainting | |
US7119816B2 (en) | System and method for whiteboard scanning to obtain a high resolution image | |
US9317773B2 (en) | Patch-based synthesis techniques using color and color gradient voting | |
EP1234278B1 (en) | System and method for rectified mosaicing of images recorded by a moving camera | |
US9576403B2 (en) | Method and apparatus for fusion of images | |
US10909703B2 (en) | Image processing method, electronic device and computer-readable storage medium | |
EP1299850B1 (en) | Merging images to form a panoramic image | |
US8831382B2 (en) | Method of creating a composite image | |
US20060072852A1 (en) | Deghosting mosaics using multiperspective plane sweep | |
US8619098B2 (en) | Methods and apparatuses for generating co-salient thumbnails for digital images | |
US9824486B2 (en) | High resolution free-view interpolation of planar structure | |
JP4209938B2 (ja) | 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ | |
US8023743B2 (en) | Image processing apparatus and image processing method | |
EP2328125A1 (en) | Image splicing method and device | |
US20070053586A1 (en) | Image processing apparatus and image processing method | |
JP2002305647A (ja) | 画像結合装置 | |
US8009899B2 (en) | Image filling methods | |
JP5251410B2 (ja) | カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法 | |
KR100934211B1 (ko) | 휴대용 단말기의 파노라마 이미지 생성 방법 | |
Poleg et al. | Alignment and mosaicing of non-overlapping images | |
JPH10126665A (ja) | 画像合成装置 | |
CN117173012A (zh) | 无监督的多视角图像生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100531 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100908 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101202 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20101210 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20110210 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110707 |