JP2005100407A - 複数のソース画像からパノラマ画像を作成するシステム及び方法 - Google Patents

複数のソース画像からパノラマ画像を作成するシステム及び方法 Download PDF

Info

Publication number
JP2005100407A
JP2005100407A JP2004277002A JP2004277002A JP2005100407A JP 2005100407 A JP2005100407 A JP 2005100407A JP 2004277002 A JP2004277002 A JP 2004277002A JP 2004277002 A JP2004277002 A JP 2004277002A JP 2005100407 A JP2005100407 A JP 2005100407A
Authority
JP
Japan
Prior art keywords
image
images
transformation
corners
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004277002A
Other languages
English (en)
Inventor
Clark Ian
クラーク イアン
Graham Sellers
セラーズ グラハム
Zain Adam Yusuf
アダム ユスフ ザイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2005100407A publication Critical patent/JP2005100407A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】ソース画像の系列からパノラマ画像を作成するシステム及び方法。
【解決手段】上記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするステップを含んでいる。隣接する画像の各対の間の変換が、上記共通の特徴を用いて評価される。各画像が上記系列における指定された画像へ、上記画像に関連すると共に上記各画像と上記指定された画像との間の画像に関連する評価された変換を用いて投影される。投影された画像の重なり合う部分が結合されて、パノラマ画像が形成される。
【選択図】 図1

Description

本発明は、広くは画像処理に係り、更に詳細には複数のソース画像からパノラマ画像を作成するシステム及び方法に関する。
デジタルカメラは益々普及してきており、結果として写真撮影者がデジタル画像を編集するのを可能にするような画像処理ソフトウェアに対する需要が存在する。多くの場合、写真撮影者にとってはデジタル画像内に所望の全体の情景を捕捉すると共に所望の品質及びズームを維持することは困難であるか又は不可能である。結果として、写真撮影者は、しばしば、情景の一連の重なり合う画像を撮影し、次いで斯かる重なり合う画像を一緒に繋ぎ合わせてパノラマ画像を形成する必要がある。
一連の重なり合う画像からパノラマ画像を作成する多くの技術が考察されている。例えば、Cokの米国特許第5,185,808号は重なり合う縁のアーチファクトを除去するような画像を併合する方法を開示している。重なり合う画像を境界において徐々に混合するために、重なり合う画像の混合割合を決定するような修正マスクが使用される。
Burt他の米国特許第5,649,032号、第5,999662号及び第6,393,163号は画像を自動的に整列させてモザイク画像を形成するシステムを開示している。画像は隣り合う/隣接する画像に対して先ず粗く整列されて、各画像に対する複数の整列パラメータを生じさせる。粗整列は、最初は低解像度で、次いで、各画像に対して計算されたラプラシアン画像ピラミッドを用いて、より高い解像度で実行される。
Szeliski他の米国特許第6,044,181号は、パノラマモザイク画像の構築のための焦点距離推定方法及び装置を開示している。画像の各重なり合う対の間で平面透視変換が計算され、当該対における各画像の焦点距離が上記変換に従って計算される。画像間の位置合わせ誤差は、当該画像の対の一方の回転変換を漸増的に変形させることにより低減される。画像は、ジッタ及び光学的捻れによる位置合わせの間の平行移動的運動に対して、水平の及び垂直の平行移動を推定することにより調整される。2つの画像の間の輝度誤差は、最小二乗計算を用いて最小化される。大きな初期変位は、粗/精細最適化により処理される。
Herman他の米国特許第6,075,905号は、画像の整列が隣接する位置合わせというよりは同時に実行されるような、モザイク画像構築のための方法及び装置を開示している。画像は自動的に又は手動により選択され、整列は、斯かる選択された画像を共通の座標系に移動させるような幾何学的変換を用いて実行される。重なり合う整列される画像の領域は、隣接する画像の間の適切な切断線を見つけることにより、当該モザイクに含めるよう選択され、これら画像は隣接するものに対して類似するように向上される。次いで、斯かる画像は併合され、結果としてのモザイクがフォーマットされると共にユーザに対して出力される。
Ejiri他の米国特許第6,104,840号は、複数の軸に沿ってとられた部分的に重なり合う隣接する画像から、合成画像を発生させる方法及びシステムを開示している。重なり合う画像の間の角度的関係が、これら画像の重なり合う部分における共通のパターンに基づいて決定される。
Hashimotoの米国特許第6,249,616号は、デジタル画像をソース画像データ組間の三次元的関係に基づいて結合する方法を開示している。整列は、画像輝度相互相関及びラプラシアンピラミッド画像レベルを使用して実行される。コンピュータが、画像データ組間の三次元的関係を決定すると共に、これら画像データ組を該三次元的関係に基づいて単一の出力画像に結合する。
Teoの米国特許第6,349,153号及び第6,385,349号は、重なり合う領域を持つデジタル画像を結合する方法を開示している。画像は互いに整列され、位置合わせされる。垂直方向の整列は、これら画像の1つの他のものに対する当該重なり合う領域における垂直方向のねじれを計算することにより更に改善される。この結果、当該ねじれた画像に関する2次元の垂直方向歪マップが得られ、該マップが該画像を他の画像と整列させるために使用される。次いで、重なり合う領域における当該ねじれ線に沿って残された歪空間は線形補間により充填される。
Xiongの米国特許第6,359,617号は、仮想現実環境に使用するための、複数の重なり合う画像から完全な360度パノラマを作成する方法を開示している。上記の重なり合う画像は、階調(gradient)に基づく最適化方法と相関に基づく線形検索との組み合わせを用いて位置合わせされる。これら画像のパラメータが全体の最適化を介して校正され、重なり合う領域における全体としての画像の矛盾点を最小化する。次いで、これら画像はパノラマに投影され、整列誤りを除去するためにグラスファイヤ変換(grassfire
transform)を用いて発生されたガウス混合マスクによるラプラシアンピラミッド混合法を用いて混合される。
上述した文献は画像を一緒に縫い合わせてパノラマ画像を形成する技術を開示しているが、勿論、改善が必要である。
従って、本発明の目的は、複数のソース画像からパノラマ画像を作成する新規なシステム及び方法を提供することにある。
本発明の一態様によれば、ソース画像の系列からパノラマ画像を作成する方法であって、
前記系列における画像の隣接する対を、該画像の隣接する対内の共通の特徴(feature)に基づいて位置合わせするステップと、
画像の各隣接する対の間の変換を前記共通の特徴を用いて評価するステップと、
各画像を前記系列における指定された画像へ、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するステップと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するステップと、
を有するような方法が提供される。
好ましくは、前記位置合わせするステップの間に、隣接する画像における一致する角部が決定される。また、前記評価するステップの後に、前記変換が、前記隣接する画像の対における移動しないピクセルを用いて再評価されることが好ましい。前記結合するステップの間においては、前記投影された画像の重なり合う部分が周波数混合されることが好ましい。
本発明の他の態様によれば、ソース画像の系列からパノラマ画像を作成する方法であって、
前記系列における画像の各隣接する対における角部を位置合わせするステップと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するステップと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するステップと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するステップと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるステップと、
を有するような方法が提供される。
また、本発明の更に他の態様によれば、ソース画像の系列からパノラマ画像を作成するデジタル画像編集ツールであって、
前記系列における画像の隣接する対を、これら画像の隣接する対内の共通の特徴に基づいて位置合わせする手段と、
画像の隣接する対の間の変換を前記共通の特徴を用いて評価する手段と、
各画像を前記系列における指定された画像に、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影する手段と、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成する手段と、
を有するようなデジタル画像編集ツールが提供される。
また、本発明の更に他の態様によれば、ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムが、
前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするコンピュータプログラムコードと、
隣接する画像の各対の間の変換を、前記共通の特徴を用いて評価するコンピュータプログラムコードと、
各画像を前記系列における指定された画像へ、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するコンピュータプログラムコードと、
を有するようなコンピュータ読み取り可能な媒体が提供される。
また、本発明の更に他の態様によれば、ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムが、
前記系列における画像の各隣接する対における角部を位置合わせするコンピュータプログラムコードと、
前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するコンピュータプログラムコードと、
画像の隣接する対における動かないピクセルを用いて前記変換を再評価するコンピュータプログラムコードと、
変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するコンピュータプログラムコードと、
前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるコンピュータプログラムコードと、
を有するようなコンピュータ読み取り可能な媒体が提供される。
本発明は、各画像を指定された画像に関連させる変換を自動的に計算し、各画像を共通の二次元面上に投影し、これら画像の重なり合う部分を継ぎ目のない態様で混合することにより、複数の重なり合う画像が一緒に継ぎ合わされて、継ぎ目のないパノラマ画像を形成するという利点を提供する。更に、本発明は、変換が位置合わせパラメータの強固な組を生じさせる高速且つ効率的な態様で計算されるという利点を提供する。
以下、本発明の実施例を、添付図面を参照して更に詳細に説明する。
本発明は、広くは、複数の重なり合うソース画像の系列を一緒に繋ぎ合わせて単一の継ぎ目のないパノラマ画像を作成するシステム及び方法に関するものである。当該方法において、ユーザにより、関連し且つ重なり合うソース画像の系列が選択され、左から右へ又は右から左に並べられる。画像の隣接する対の間の最初の位置合わせは、特徴(フィーチャ)に基づく位置合わせ方法を用いて実施され、各画像に関する変換が評価される。最初の変換評価の後、各対の画像が動きに関して解析され、各画像対における動かない画像ピクセルのみを用いて各画像に関する変換が再評価される。次いで、該再評価された変換が使用されて、各画像を当該系列における指定された画像上に投影される。次いで、投影された画像の重なり合う部分が結合及び混合されて、コラージュ又はパノラマ画像を形成し、該パノラマ画像がユーザに対して表示される。
本発明は、好ましくは、パーソナルコンピュータ等の処理ユニットにより実行されるソフトウェアアプリケーションとして実施化される。該ソフトウェアアプリケーションは、独立したデジタル画像編集ツールとして動作することができるか、又は他の利用可能なデジタル画像編集アプリケーションに組み込まれて斯かるデジタル画像編集アプリケーションに強化された機能を提供することもできる。以下、本発明の好ましい実施例を図1ないし5を参照して更に詳細に説明する。
図1を参照すると、本発明によるソース画像の系列からパノラマ画像を作成する方法を示すフローチャートが図示されている。図示されているように、最初にユーザは、グラフィックユーザインターフェースを介して、パーソナルコンピュータのハードドライブ等のメモリに記憶された関連する重なり合うデジタル画像の系列を表示するために選択する(ステップ100)。一旦選択されたら、ユーザは、これらデジタル画像の系列を、隣接する画像の各対が重なり合う部分を含むように、左から右へ又は右から左への順序に配置する(ステップ102)。画像の並び替えに続いて、画像の位置合わせ及び投影処理が実行されて、当該系列における画像の隣接する対を位置合わせする一方、当該系列における画像の隣接する対の間の変換操作を詳細に記述すると共に当該系列における各画像が該系列の中央画像上に投影されるのを可能にするような変換を計算する(ステップ104)。該画像位置合わせ及び投影処理が一旦完了すると、画像混合処理が実行されて、重なり合う画像を結合すると共に、当該重なり合う画像領域における複数の入力ピクセルから単一のピクセル値を計算する(ステップ106)。画像混合が完了すると、パノラマ画像が結果として得られ、該パノラマ画像がユーザに対して表示される(ステップ108)。
図1ではユーザがデジタル画像の系列を配置する例を挙げて説明しているが、デジタル画像の系列を自動的に配列するようにしても良く、デジタル画像の系列を自動的に配列にした後、ユーザが配列し直すようにしても良い。
ステップ104における上記画像位置合わせ及び投影処理の間において、当該系列の“最左端”画像から開始して、各画像Iは、順番上右に隣接する画像I’に、特徴に基づく位置合わせ方法を用いて位置合わせされる(図2のステップ120参照)。隣接する画像の対の特徴に基づく位置合わせの間において、これら隣接する画像I及びI’における高曲率点に対応する特徴が抽出されると共に、これら特徴内の角部(corners)が検出される。グレイスケール・ハリス角部検出法が採用され、下記の演算子に基づくものである:
Figure 2005100407

ここで、
c(x,y)は検出される角部;
y及びxは、当該画像の左上角が座標(0,0)であると仮定した場合の該画像におけるピクセルの座標;
及びIは方向導関数を各々示し(隣接画素間の輝度差に関する関数);
εはオーバーフローを防止するための小さな数であり;
Figure 2005100407

はI及びIに対するボックスフィルタ平滑演算である。
なお、以下の手段を講じることで、上記演算の付加を減らすことができる。
7x7のピクセルウインドウが、各特徴を囲む小さな近傍内の閉じた角部をフィルタ除去するために使用される。隣接する画像I及びI’の各々において検出された最初の三百の角部c(x,y)が使用される。隣接する画像I及びI’における検出された角部の数が三百より少ない場合は、検出された角部の全てが使用される。
つまり、狭い領域に複数の角部が存在する場合は、フィルタリングして1つの角部を選択し、隣接する画像I及びI’に三百以上の角部が存在する場合は演算に利用する角部を三百までとすることで、演算対象の角部を減らし、結果的に演算負荷を軽くできる。
画像Iにおける各角部cに対して、画像I’における全ての角部c’に対する相関がなされる。これは、画像Iの各角部cに対して画像I’全体を検索することと等価である。角部c及びc’に中心を合わされたウインドウが、角部c及びc’の間の相関を決定するために使用される。画像Iにおける角部c(u,v)と画像I’における角部c’(u’,v’)との間の相関点数を計算するために、正規化された相互相関NCCが使用される。正規化された相互相関NCCは:
Figure 2005100407

のように表される。
相互相関関数NCCは、角部c、c’の周り15画素×15画素範囲内に類似する角部がどれくらい存在するかを示す関数である。
相関点数は、全く類似しない2つの相関ウインドウに対するマイナス1から、同一である2つの相関ウインドウに対する1までの範囲である。一致する角部の対を選択するために閾が適用される。本実施例では、0.6に等しい閾値が使用されるが、特定のアプリケーション毎に、該閾値は変化し得る。最初の角部の一致処理の後、角部のリストが得られ、該リストにおいて画像Iの各角部cは、画像I’における候補となる一致する角部c’の群を有する。好ましい実施例においては、候補となる一致角部の許容される最大数が20に設定されているので、画像Iの各角部cは、画像I’において0ないし20の候補となる一致角部リストが得られる。
以下では、複数の角部候補から1つの角部を選択する手順を記す。
画像Iの各角部cが画像I’の候補一致角部の群と一致したら、一致する角部を明確にするために緩和技術が使用される。緩和の目的のために、候補となる一致する角部の対(c,c’)が存在し、cは画像Iにおける角部であり、c’は画像I’における角部であると仮定する。ここで、Ψ(c)及びΨ(c’)が、角部c及びc’のNxMピクセルの近傍内での近隣の角部であるとする。候補一致角部対(c,c’)が良好な一致であるならば、gをΨ(c)の角部とし、g’をΨ(c’)の角部とした場合、角部cに対する角部gの位置が、角部g’の角部c’に対する位置と類似するような多くの他の一致角部対(g,g’)が当該近傍内で見られるであろう。対照的に、候補一致角部対(c,c’)が良くない一致であるなら、当該近傍内には僅かな一致対しか又は何の一致対も見られないであろう。
一致の点数SMが、
Figure 2005100407

により、候補となる一致する角部c及びc’が実際に同一の角部である確度を測定するために使用される(角部c及びc’からの距離の概念が含まれる)。上記式において、
NCC(g,g’)は上述した相関点数であり;
K=5.0は一定の重みであり;
Figure 2005100407

ここで、d(c,gi)は角部c及びgの間のユークリッド距離であり、d(c’,g’j)は角部c’及びg’jの間のユークリッド距離であり;
Figure 2005100407

ここで、
Figure 2005100407

λ=0.3は相対距離差に基づく閾である。
画像面内での回転角は60度未満であると仮定される。ベクトル
Figure 2005100407

とベクトル
Figure 2005100407

との間の角度をチェックして該角度が60度より大きいかを判断し、もし大きいなら、δ(c,c’;g,g’)はゼロなる値をとる(実験の結果導き出された)。当該群における一致の点数SMが最大となる候補一致角部c’が、一致する角部として選択される。
上記緩和技術の実行の後には、画像Iの角部cが画像I’の1つの角部c’のみに対応するような曖昧さのない一致する角部のリストが存在することになり、これにより、画像Iにおける角部cを隣接する画像I’における対応する角部c’に位置合わせするような各画像Iに対する位置合わせ行列(射影変換行列、アフィン変換行列、平行移動変換行列)を生じる。
隣接する画像I及びI’における角部c及びc’が位置合わせされると、隣接する画像の各対に対する一致する角部のリストに基づく変換が評価される(ステップ122)。特に2つの隣接する画像I及びI’が小さな重なり合う部分しか有さない場合は、多数の誤った角部の一致が存在し得るから、強力な変換評価技術が使用される。
好ましい実施例においては、各対の隣接する画像の間の変換を詳細に記述する変換を評価するために、射影(projective)変換評価ルーチンがデフォルトにより選択される。他の例として、ユーザが当該画像の系列には非投影的動きしか存在しないと信ずる場合は、当該変換を評価するためにアフィン(affine)変換評価ルーチン又は平行移動(translation)評価ルーチンの何れかを選択することもできる。理解されるように、アフィン変換又は平行移動を評価することは容易であり、従って射影的変換を評価するより高速である。
射影変換評価ルーチンの実行の間において、ランダムサンプル一致アルゴリズム(RANSAC)型技術が使用される。最初に、N対の一致する角部が前記位置合わせ行列から選択され、斯かる一致する角部の間の変換を詳細に記述する射影変換が、該射影変換をモデル化する一群の線形方程式を解くことにより評価される。
線形方程式は以下の通り。
I’ =P・I
ベクトルI’: I’=(x’,y’)
ベクトルI : I=(x ,y)
射影変換行列P(2×2の行列、4つの要素で構成)
次いで、該評価された射影変換を用いて、他の対の一致する角部についても評価する。この処理は、他の群のランダムに選択されたN対の一致する角部を使用して実行される。最大数の角部の一致を支持する射影変換が選択される。特に、上述した処理は下記の手順に従って実行される:
1.MaxN←0
2.Iteration(反復)←0
3.ランダムに選択されたN対の一致する角部の各群に対して、ステップ4ないし10を実行する。
4.Iteration←Iteraton+1
5.(Iteration>MaxIteration)なら、ステップ11に進む。
6.適切な群の線形方程式を解くことにより、射影変換を評価する。
7.該射影変換を支持する一致した角部の対の数Nを計算する。
8.(N>MaxN)なら、ステップ9及び10を実行し、それ以外の場合はステップ3に進む。
9.MaxN←N
10.最適変換←現在の変換
11.(MaxN>5)なら、成功で戻り、それ以外では失敗で戻る。
理論的には、射影変換を評価するには(4つの要素を決定するために線形方程式を解くためには)、4対の一致する角部が必要となる。一致する角部の一つの対が従属的(dependent)である可能性があり、これは当該行列を特異にさせる。これを防止するため、成功裏の射影変換評価が決定されるためには少なくとも5対の一致する角部が必要となる。上記線形方程式の群を解くために最小二乗LSQRソルバが使用され、発見的制約が適用される。即ち、評価された射影変換行列が発見的制約により満足されない場合は、当該射影変換評価は不良であって、該変換を支持するような一致する角部は存在しないと見なされる(実験により導かれる)。
Figure 2005100407

なる形の変換行列Mに対しては、Mは下記の制約を満足しなければならない:
|a11|∈(0.5,1.7),|a12|<0.8,|a13|<W,
|a21|<0.8,|a12|∈(0.5,1.7),|a23|<H,
|a31|<0.1,|a23|<0.1
ここで、W及びHは、各々、当該画像の幅及び高さである。
反復の最大数(MaxIteration)も、発見的に与えられる(実験により導かれる)。好ましい実施例においては、反復の最大数は、
Figure 2005100407

なる式に従い、ここで、
Pは正しい解が存在することを保証する確率であり;
Xは誤った一致する角部の対の割合であり;
ηは解のために必要な一致する角部の数(アフィンの場合は8、射影の場合は10)であり、
mはランダム反復の最大数である。
当該方法を高速化するために、2段階評価が使用される。最初に、射影変換評価のために250なる最大数の反復が実行される。該評価が失敗した場合は、射影変換評価のために2000の反復が実行される。該評価処理が成功しない場合は、後述するように平行移動を近似しようと試みて平行移動評価ルーチンが実行される。
ユーザがアフィン変換評価ルーチンを選択すると、上述した手順は、アフィン変換をモデル化した線形方程式の適切な組を使用して実行される。理論的には、アフィン変換を評価するためには、3対の一致する角部が必要である。一致する角部の或る対が依存的で、結果として特異行列となるような状況を回避するために、本実施例においては、成功裏のアフィン変換評価が決定されるために少なくとも4対の一致する角部が必要となる。2段階評価方法の間において、最初に、100なる最大数の反復が実行される。該評価が失敗すると、1000の反復が実行される。該評価処理が依然として成功しない場合は、平行移動評価ルーチンが実行される。
上述したように、射影又はアフィン変換評価が失敗するか、又はユーザが平行移動評価ルーチンを選択すると、平行移動評価が実行される。該平行移動評価ルーチンの実行の間においては、1対の一致する角部のみを必要とするような2つのパラメータdx及びdyを決定する必要がある。多くの誤った角部の一致が存在し得ることを考慮して、平行移動を決定するために以下のルーチンが実行される:
1.MaxN←0
2.一致する角部の各対に対して、ステップ2ないし7を実行する。
3.一致した角部の間で平行移動を計算する。
4.該平行移動を支持する一致した角部の対の数Nを計算する。
5.N>MaxNなら、ステップ5ないし7を実行し、それ以外なら、ステップ2に進む。
6.MaxN←N
7.最適な平行移動←現在の平行移動
8.MaxN>3なら、成功で戻り、それ以外の場合は、失敗で戻る。
上述した手順は、最大数の一致した角部の対により支持される平行移動を評価する。一致する角部の対は、画像I’内の平行移動された角部が、画像I内の対応する角部の3x3ピクセルの近傍内に入る場合、且つ、このような場合にのみ該平行移動を支持する。
以下では、隣接する対の画像I及びI’内に動物が違う姿勢で存在する場合の評価について説明している(画像Iと画像I’で動物が違う姿勢で撮影された場合)。各隣接する対の画像I及びI’の間の変換が決定され、結果として各画像Iを隣接する画像I’へ投影する変換行列が得られると、隣接する画像対が動きに関して解析される(ステップ124)。この処理の間において、隣接する画像の間の移動物体を記述するマスクが発生され、パノラマ画像において物体が二重になるのを防止する。整列された画像におけるピクセルは、一般的に、照明の僅かな差を除いて非常に類似しているであろう。隣接する画像の各対に対して、差分画像が発生され、隣接する画像において移動したピクセルを決定するために閾が適用される。該差分画像における黒いピクセルは移動しないピクセルを表し、該差分画像における白いピクセルは移動するピクセルを表す。次いで、各隣接画像の間の変換が、隣接する画像における移動するピクセルを除外して、再評価される(ステップ126)。
位置合わせ及び変換行列の決定に続いて、当該画像系列における中央画像が決定され該中央画像に単位行列が割り当てられる(ステップ128)。即ち、該中央画像は当該系列におけるint(N/2)位置にあるものとして決定される。次いで、当該系列における各画像Iに関して当該画像Iを上記中央画像に投影する射影行列が、画像Iに関連する位置合わせ行列と、画像Iと中央画像との間の画像に関連する変換行列の系列との積内積を計算することにより、決定される(ステップ130)。結果としての射影行列は、当該系列における画像Iを上記中央画像の面に投影する。この処理の間において、各変換、即ち行列積によりエラーが累積する。順次の隣接する画像を介しての、これら隣接する画像に関連する位置合わせ行列を使用しての角部対角部の一致を、数学的行列計算の結果と比較することにより、エラーを決定することができる。このように、斯かるエラーを考慮するために、上記位置合わせ行列が使用されて、画像を中央画像に投影する結果としての射影行列を修正する(ステップ132)。次いで、エラー補正された該射影行列が使用されて、当該系列の画像を、概ねエラーの無い形で、中央画像の面に投影し、結果として位置合わせされた画像の重なり合う系列が得られる(ステップ134)。
ステップ106における画像混合の間において、上記画像の重なり合う区域が結合される場合、複数の入力ピクセルから単一の出力ピクセルが計算される。これは、位置合わせされた画像の重なり合う領域を周波数混合することにより達成される。
周波数混合は、大きなカラー領域が滑らかに混合され、精細な領域における滑らかな混合を防止することを可能にする。これを達成するために、結合された画像は多数の異なる周波数帯域に分解され(ステップ140)、図4に示すように、各周波数帯域に対する狭い領域の混合が実行される。次いで、混合された帯域は加算され、結果としてのパノラマ画像を生じる。即ち、前記結合された画像はローパスフィルタ200を通過されて、高周波内容が除去されたフィルタ処理された画像を生じる。次いで、該フィルタ処理された画像は元の画像から減算され、重なり合う区域における急速に変化する精細領域を表すような高周波内容を含む差分画像202を生じる。次いで、該差分画像は他の異なるローパスフィルタ204を通過されて、フィルタ処理された画像を生じる。該フィルタ処理された画像は上記差分画像202から減算されて、差分画像206を生じる。このような処理は、他の異なるローパスフィルタ208を使用してもう一度繰り返され、結果として、各組が異なる周波数内容を含むような3組の差分画像203、206及び210が得られる。これら結果としての差分画像に線形変換を適用して、各周波数帯域における混合を実行し(ステップ142)、混合された差分画像が再結合されて、最終的なパノラマ画像を再生する(ステップ144)。
各線形変換は、現在考慮中の画像と現在の出力画像との線形結合である。該線形変換の間において、現在の画像と最も最近に合成された画像との重なり合う領域を二分する最長の線が見つけられる。該重なり合う領域における各ピクセルに対して、上記線からの垂直距離が見つけられ、バッファに記憶される。当該混合フェーズの間において、上記バッファの内容を使用して、現在の画像を出力画像と混合する重みを計算する。現在の画像Iのピクセルは、出力画像Oと、
Figure 2005100407

なる形の標準の線形混合方程式を用いて混合される。
重みの値は、現在の画像の外側縁においてゼロに近づくと共に最も最近に合成された画像の外側縁において1に近づくような指数ランプ関数を用いて計算される。下記の式が重み(weight)の値を計算するために使用され:
Figure 2005100407

ここで
dは上述した最長の線からの距離であり;
は周波数レベルnに対して当該混合関数を制御するパラメータである。
数13の重み関数は上述される通り、重みの値は距離dが大きくなるにつれ小さな値に遷移していく。周波数レベルが高い(Pが大きな値)場合は急に遷移し、周波数レベルが低い(Pが小さな値)場合は緩やかに遷移することが分かる。
レベルnに対してPの値が大きいと、より急峻な曲線となり、従って当該レベルに対してより狭い混合領域となる。逆に、Pの値が小さいと、浅い曲線となり、従って、より広い混合領域となる。これは、画像の各周波数帯域が異なる重み関数で一緒に混合されるのを可能にする。好ましい実施例においては、低い周波数帯域に対して浅い曲線が使用され、異なる露出レベルを持つ画像に対して輝度を緩やかに変化させる。高い周波数帯域に対しては急峻な曲線が使用され、かくして、入力画像が完全に整列されなかった場合に発生するであろうゴーストを防止する。
なお、画像Iと画像I’で動物が違う姿勢で撮影されている場合の、画像合成については以下のような処理を施すことで対応できる。
重なり合う領域内に動物が存在する場合は(同じ動物)、画像I、若しくは画像I’内に存在する動物のいづれか一方を使用して合成画像を生成する。
上記処理を施すことで、合成画像を生成する際に、重なりあう領域に存在する動物が2重に存在するといった不具合を解消できる。
重なり合う領域内に動物が存在しない場合は、重なりあう領域に対する合成処理は、これまでに述べてきた処理と同様の処理を施す。さらに、重なり合わない領域に存在する動物が同じか否かを判断し、同じと判断した場合は、画像I、若しくは画像I’内に存在する動物のいづれか一方を使用して合成画像を生成するようにすれば良い。違うと判断された場合は、画像I、若しくは画像I’内に存在する2種の動物を使用して合成画像を生成するようにすれば良い
図5は、当該デジタル画像編集ツールのグラフィックユーザインターフェースを示すスクリーン写真である。図に示すように、グラフィックユーザインターフェース300は、パノラマ画像を形成するために結合されるべきデジタルソース画像が表示されるパレット302を含んでいる。結果としてのパノラマ画像も、該パレット302内において上記デジタル画像の系列の上に表示されている。ツールバー306が、パレット302の上部に沿って延び、多数のユーザ選択可能なボタンを含んでいる。詳細には、ツールバー306は、デジタルファイルを開くボタン310、デジタル画像セーブボタン312、ズームインボタン314、ズームアウトボタン316、1:1ボタン318、パレットに合わせるボタン320、画像結合を実行するボタン322及びクロッピングボタン324を含んでいる。ズームインボタン314を選択すると、パレット302内に表示されたパノラマ画像が拡大される。ズームアウトボタン316を選択すると、パレット302に表示されたパノラマ画像が縮小する。パレットに合わせるボタン320を選択すると、全体のパノラマ画像がパレット302の大きさに合わされる。クロッピングボタン324の選択は、ユーザが、パレット302内に表示されたパノラマ画像の一部を長方形により輪郭をとり、該長方形の外部の画像を削除するのを可能にする。
理解されるように、本システム及び方法は、パノラマ画像が、ソース画像の系列から高速且つ効率的な態様で高画像品質を維持しながら作成されるのを可能にする。
本発明は、コンピュータ読み取り可能な媒体上に記憶されたコンピュータ読み取り可能なプログラムコードとして具現化することもできる。上記コンピュータ読み取り可能な媒体は、後にコンピュータシステムにより読み取ることができるデータを記憶することが可能な如何なるデータ記憶装置とすることもできる。コンピュータ読み取り可能な媒体の例は、読取専用メモリ、ランダムアクセスメモリ、CD−ROM、磁気テープ及び光学データ記憶装置を含む。上記コンピュータ読み取り可能なプログラムコードは、結合されたコンピュータシステムを含むネットワークを介して分配することもでき、従って、該コンピュータ読み取り可能なプログラムコードは分散態様で記憶及び実行することができる。
以上、本発明の好ましい実施例を説明したが、当業者であれば、添付請求項に記載された本発明の趣旨及び範囲から逸脱すること無しに変形及び変更を行うことができることが分かるであろう。
図1は、本発明によるパノラマ画像作成処理の間に実行されるステップを示すフローチャートである。 図2は、画像の位置合わせ及び投影の間に図1のパノラマ画像作成処理により実行されるステップを示すフローチャートである。 図3は、画像混合の間に図1のパノラマ画像作成処理により実行されるステップを示すフローチャートである。 図4は、パノラマ画像を形成する結合された画像の周波数混合を示す概念図である。 図5は、本発明によるデジタル画像編集ツールのグラフィックユーザインターフェースを示すスクリーン写真である。
符号の説明
200 ローパスフィルタ、202 差分画像、204 ローパスフィルタ
206 差分画像、208 ローパスフィルタ、210 差分画像
300 グラフィックユーザインターフェース、302 パレット、306 ツールバー

Claims (41)

  1. ソース画像の系列からパノラマ画像を作成する方法において、
    前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするステップと、
    隣接する画像の各対の間の変換を、前記共通の特徴を用いて評価するステップと、
    各画像を前記系列における指定された画像へ、当該画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するステップと、
    前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するステップと、
    を有していることを特徴とする方法。
  2. 請求項1に記載の方法において、前記位置合わせするステップの間に、隣接する画像における一致する角部が決定されることを特徴とする方法。
  3. 請求項2に記載の方法において、前記変換が射影変換であることを特徴とする方法。
  4. 請求項2に記載の方法において、前記評価するステップの後に、前記変換が、前記隣接する画像の対における前記投影するステップ前に移動しないピクセルを用いて再評価されることを特徴とする方法。
  5. 請求項1に記載の方法において、前記結合するステップの間に、前記投影された画像の重なり合う部分が周波数混合されることを特徴とする方法。
  6. 請求項4に記載の方法において、前記一致する角部による位置合わせが、前記投影するステップのエラーを補正するために使用されることを特徴とする方法。
  7. 請求項6に記載の方法において、前記結合するステップの間に、前記投影された画像の重なり合う部分が周波数混合されることを特徴とする方法。
  8. 請求項7に記載の方法において、前記評価するステップの間に、射影、アフィン及び平行移動変換のうちの1つが評価されることを特徴とする方法。
  9. 請求項1に記載の方法において、隣接する画像I及びI’の各対を位置合わせするステップが、
    前記画像I及びI’の各々における高曲率点に対応する特徴を抽出するステップと、
    前記特徴に隣接する角部を決定するステップと、
    画像Iの前記角部を画像I’の対応する角部に一致させ、これにより前記画像I及びI’を位置合わせするステップと、
    を有していることを特徴とする方法。
  10. 請求項9に記載の方法において、前記決定するステップの間において、前記特徴を囲む近傍内の角部が検出されることを特徴とする方法。
  11. 請求項10に記載の方法において、前記決定するステップが、閾数の角部が検出されるまで実行されることを特徴とする方法。
  12. 請求項11に記載の方法において、前記一致させるステップの間において、画像I’における検出された各角部を画像Iにおける検出された各角部と比較して、前記画像I及びI’における一致する角部を決定することを特徴とする方法。
  13. 請求項12に記載の方法において、前記比較するステップが、画像I’における検出された各角部と画像Iにおける検出された各角部との間の相関を決定して、画像I内の各角部が画像I’内の候補となる一致する角部の群を有するような角部のリストを生じさせるステップと、
    前記群における前記候補となる一致する角部の各々が画像I内の関連する角部に対応する確度を測定するステップと、
    前記群における前記候補となる一致する角部の1つを選択するステップと、
    を含むことを特徴とする方法。
  14. 請求項13に記載の方法において、前記相関を決定するステップの間において、画像I’内の検出された各角部と画像I内の検出された各角部との間の相関の点数を計算するために正規化された相互相関が使用され、閾レベルより高い相関点数が候補となる一致する角部を意味することを特徴とする方法。
  15. 請求項14に記載の方法において、前記相関を決定するステップが閾数の候補となる一致する角部が決定されるまで実行され、これにより前記群が形成されることを特徴とする方法。
  16. 請求項15に記載の方法において、前記測定するステップの間において、前記群の候補となる一致する角部の各々が画像Iの関連する角部と対応する確度を測定するために、一致されている角部を囲む近傍内の他の一致する角部の対に基づく一致の点数が使用されることを特徴とする方法。
  17. 請求項9に記載の方法において、前記評価するステップが、
    N対の一致する角部を選択するステップと、
    前記変換をモデル化する一群の線形方程式を解くことにより、前記一致する角部の間の変換操作を詳述する変換を評価するステップと、
    を含んでいることを特徴とする方法。
  18. 請求項17に記載の方法において、前記評価するステップが、
    前記評価された変換を一致する角部の選択されていない対に適用して、該変換の精度を評価するステップと、
    前記選択し、解き及び適用するステップの反復を繰り返して最も正確な変換を決定するステップと、
    を更に含んでいることを特徴とする方法。
  19. 請求項18に記載の方法において、前記評価するステップの間において、射影、アフィン及び平行移動変換のうちの1つが評価されることを特徴とする方法。
  20. 請求項19に記載の方法において、前記評価される変換がアフィン変換であり、この評価が閾より高い精度を持つアフィン変換を生じない場合は、該評価が平行移動を決定するように再実行されることを特徴とする方法。
  21. 請求項19に記載の方法において、前記評価される変換がアフィン変換であり、この評価が閾より高い精度を持つ射影変換を生じない場合は、該評価が平行移動を決定するように再実行されることを特徴とする方法。
  22. 請求項17に記載の方法において、前記隣接する各画像対に関する前記変換の評価に続いて、前記変換が、前記隣接する画像対における移動しないピクセルのみを用いて再評価されることを特徴とする方法。
  23. 請求項22に記載の方法において、前記投影するステップの間に、各画像が、前記各画像に関連すると共に該各画像と前記指定された画像との間の画像に関連する前記変換の積から導出される射影行列を用いて前記指定された画像に投影され、前記射影行列が前記一致する角部の位置合わせを用いてエラー補正されることを特徴とする方法。
  24. 請求項23に記載の方法において、前記結合するステップの間に、前記画像の重なり合う部分が周波数混合されることを特徴とする方法。
  25. 請求項24に記載の方法において、前記周波数混合の間に、前記重なり合う部分の異なる周波数内容が異なる重み関数で混合されることを特徴とする方法。
  26. ソース画像の系列からパノラマ画像を作成する方法において、
    前記系列における画像の各隣接する対における角部を位置合わせするステップと、
    前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するステップと、
    画像の隣接する対における動かないピクセルを用いて前記変換を再評価するステップと、
    変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するステップと、
    前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるステップと、
    を有していることを特徴とする方法。
  27. 請求項26に記載の方法において、前記周波数混合するステップの間に、前記重なり合う部分の異なる周波数内容が異なる重み関数で混合されることを特徴とする方法。
  28. 請求項26に記載の方法において、前記評価する及び再評価するステップの間に、射影変換が評価されることを特徴とする方法。
  29. 請求項28に記載の方法において、前記評価するステップの間に、閾より高い精度を持つ射影変換を決定することができない場合に、平行移動が評価及び再評価されることを特徴とする方法。
  30. 請求項26に記載の方法において、前記評価する及び再評価するステップの間に、アフィン変換が評価されることを特徴とする方法。
  31. 請求項30に記載の方法において、前記評価するステップの間に、閾より高い精度を持つ射影変換を決定することができない場合に、平行移動が評価及び再評価されることを特徴とする方法。
  32. ソース画像の系列からパノラマ画像を作成するデジタル画像編集ツールにおいて、
    前記系列における画像の隣接する対を、これら画像の隣接する対内の共通の特徴に基づいて位置合わせする手段と、
    画像の隣接する対の間の変換を前記共通の特徴を用いて評価する手段と、
    各画像を前記系列における指定された画像に、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影する手段と、
    前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成する手段と、
    を有していることを特徴とするデジタル画像編集ツール。
  33. 請求項32に記載のデジタル画像編集ツールにおいて、前記位置合わせする手段は、画像の隣接する対における角部を一致させることを特徴とするデジタル画像編集ツール。
  34. 請求項33に記載のデジタル画像編集ツールにおいて、前記評価する手段は、各変換を前記画像の隣接する対における移動しないピクセルを用いて再評価することを特徴とするデジタル画像編集ツール。
  35. 請求項34に記載のデジタル画像編集ツールにおいて、前記結合する手段は、前記投影された画像の重なり合う部分を周波数混合することを特徴とするデジタル画像編集ツール。
  36. 請求項35に記載のデジタル画像編集ツールにおいて、前記評価する手段は、射影、アフィン及び平行移動変換のうちの1つを評価することを特徴とするデジタル画像編集ツール。
  37. ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体において、前記コンピュータプログラムが、
    前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするコンピュータプログラムコードと、
    隣接する画像の各対の間の変換を、前記共通の特徴を用いて評価するコンピュータプログラムコードと、
    各画像を前記系列における指定された画像へ、前記画像に関連すると共に前記各画像と前記指定された画像との間の画像に関連する前記評価された変換を用いて投影するコンピュータプログラムコードと、
    前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するコンピュータプログラムコードと、
    を有していることを特徴とするコンピュータ読み取り可能な媒体。
  38. ソース画像の系列からパノラマ画像を作成するコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体において、前記コンピュータプログラムが、
    前記系列における画像の各隣接する対における角部を位置合わせするコンピュータプログラムコードと、
    前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するコンピュータプログラムコードと、
    画像の隣接する対における動かないピクセルを用いて前記変換を再評価するコンピュータプログラムコードと、
    変換の系列を乗算して、各画像を前記系列の中央画像に投影すると共に、該投影を前記位置合わせされた角部を用いてエラー補正するコンピュータプログラムコードと、
    前記投影された画像の重なり合う部分を周波数混合して、前記パノラマ画像を生じさせるコンピュータプログラムコードと、
    を有していることを特徴とするコンピュータ読み取り可能な媒体。
  39. ソース画像の系列からパノラマ画像を作成する方法において、
    前記系列における隣接する画像の対を、これら隣接する画像の対内の共通の特徴に基づいて位置合わせするステップと、
    各画像を前記系列における指定された画像へ投影するステップと、
    前記投影された画像の重なり合う部分を結合して、前記パノラマ画像を形成するステップと、
    を備え、
    前記結合するステップの間に、前記投影された画像の重なり合う部分が周波数混合され、
    当該周波数混合の間に、前記重なり合う部分の異なる周波数内容が、異なる重み関数で混合されることを特徴とする方法。
  40. 請求項39に記載の方法において、前記重なり合う部分の周波数内容が低い周波数帯域の場合には混合領域を広くし、前記重なり合う部分の周波数内容が高い周波数帯域の場合には混合領域を狭くすることを特徴とする方法。
  41. ソース画像の系列からパノラマ画像を作成する方法において、
    前記系列における画像の各隣接する対における角部を位置合わせするステップと、
    前記位置合わせされた角部を使用して、画像の各隣接する対の間の変換操作を詳述する変換を評価するステップと、
    画像の隣接する対における動かないピクセルを用いて前記変換を再評価するステップと、
    前記再評価された前記変換を用いて、前記パノラマ画像を生じさせるステップと、
    を有していることを特徴とする方法。
JP2004277002A 2003-09-24 2004-09-24 複数のソース画像からパノラマ画像を作成するシステム及び方法 Withdrawn JP2005100407A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/669,828 US20050063608A1 (en) 2003-09-24 2003-09-24 System and method for creating a panorama image from a plurality of source images

Publications (1)

Publication Number Publication Date
JP2005100407A true JP2005100407A (ja) 2005-04-14

Family

ID=34313764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004277002A Withdrawn JP2005100407A (ja) 2003-09-24 2004-09-24 複数のソース画像からパノラマ画像を作成するシステム及び方法

Country Status (2)

Country Link
US (1) US20050063608A1 (ja)
JP (1) JP2005100407A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100790887B1 (ko) 2006-09-22 2008-01-02 삼성전자주식회사 영상 처리장치 및 방법
KR100790890B1 (ko) 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
JP2009075825A (ja) * 2007-09-20 2009-04-09 Tokyo Univ Of Science 画像幾何学的歪補正方法、プログラム、及び画像幾何学的歪補正装置
JP2010514041A (ja) * 2006-12-20 2010-04-30 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 複数画像レジストレーション装置及び方法
JP2010182305A (ja) * 2009-02-05 2010-08-19 Seiko Epson Corp 画像処理方法、画像処理装置およびコンピューター読み取り可能な媒体
JP2012022716A (ja) * 2011-10-21 2012-02-02 Fujifilm Corp 立体画像処理装置、方法及びプログラム並びに立体撮像装置
JP2012048523A (ja) * 2010-08-27 2012-03-08 Toshiba Corp 対応付け装置
JP2012150826A (ja) * 2012-03-09 2012-08-09 Casio Comput Co Ltd 画像合成装置及びプログラム
WO2013121897A1 (ja) * 2012-02-17 2013-08-22 ソニー株式会社 情報処理装置および方法、画像処理装置および方法、並びにプログラム
JP2013186853A (ja) * 2012-03-12 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
WO2014061221A1 (ja) * 2012-10-18 2014-04-24 日本電気株式会社 画像部分領域抽出装置、画像部分領域抽出方法および画像部分領域抽出用プログラム
JP2015087941A (ja) * 2013-10-30 2015-05-07 オリンパス株式会社 特徴点マッチング処理装置、特徴点マッチング処理方法、およびプログラム
WO2016013634A1 (ja) * 2014-07-24 2016-01-28 国立研究開発法人科学技術振興機構 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
JP2017174105A (ja) * 2016-03-23 2017-09-28 Kddi株式会社 幾何検証装置及びプログラム

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7692703B2 (en) * 2003-04-28 2010-04-06 Olympus Corporation Image pick-up apparatus
CN100576251C (zh) * 2005-04-19 2009-12-30 皇家飞利浦电子股份有限公司 呈现单元、呈现方法以及图像处理设备
US7593599B2 (en) * 2005-06-30 2009-09-22 Corning Incorporated Method of assembling a composite data map having a closed-form solution
US20070031063A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a composite image from a set of images
US7860343B2 (en) * 2006-04-10 2010-12-28 Nokia Corporation Constructing image panorama using frame selection
KR101264804B1 (ko) * 2006-08-16 2013-05-15 삼성전자주식회사 최적의 촬영위치를 알릴 수 있는 파노라마 촬영 방법 및장치
GB0616907D0 (en) * 2006-08-25 2006-10-04 Univ Bath Image construction
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US8368720B2 (en) * 2006-12-13 2013-02-05 Adobe Systems Incorporated Method and apparatus for layer-based panorama adjustment and editing
CN101583974B (zh) * 2006-12-13 2012-11-14 杜比实验室特许公司 用于拼接数字图像的方法和设备
WO2008075061A2 (en) * 2006-12-20 2008-06-26 Mitsubishi Electric Information Technology Centre Europe B.V. Multiple image registration apparatus and method
US8588547B2 (en) 2008-08-05 2013-11-19 Pictometry International Corp. Cut-line steering methods for forming a mosaic image of a geographical area
US8270770B1 (en) * 2008-08-15 2012-09-18 Adobe Systems Incorporated Region-based dense feature correspondence
US8194993B1 (en) 2008-08-29 2012-06-05 Adobe Systems Incorporated Method and apparatus for matching image metadata to a profile database to determine image processing parameters
US8842190B2 (en) 2008-08-29 2014-09-23 Adobe Systems Incorporated Method and apparatus for determining sensor format factors from image metadata
US8340453B1 (en) 2008-08-29 2012-12-25 Adobe Systems Incorporated Metadata-driven method and apparatus for constraining solution space in image processing techniques
US8391640B1 (en) * 2008-08-29 2013-03-05 Adobe Systems Incorporated Method and apparatus for aligning and unwarping distorted images
US8724007B2 (en) * 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
US8368773B1 (en) 2008-08-29 2013-02-05 Adobe Systems Incorporated Metadata-driven method and apparatus for automatically aligning distorted images
WO2011047731A1 (en) * 2009-10-22 2011-04-28 Tele Atlas B.V. Method for creating a mosaic image using masks
KR20110052124A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
IT1399094B1 (it) * 2010-03-26 2013-04-05 Tenova Spa Metodo e sistema di rilevamento e di determinazione di caratteristiche geometriche, dimensionali e posizionali di prodotti trasportati da un trasportatore continuo, in particolare prodotti siderurgici grezzi, sgrossati, sbozzati o semilavorati.
JP5696419B2 (ja) * 2010-09-30 2015-04-08 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
JP2012105145A (ja) * 2010-11-11 2012-05-31 Canon Inc 画像処理装置、画像処理方法、及び、プログラム
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
US8587665B2 (en) * 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Fast rotation estimation of objects in sequences of acquired digital images
US8705894B2 (en) 2011-02-15 2014-04-22 Digital Optics Corporation Europe Limited Image rotation from local motion estimates
US8587666B2 (en) * 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Object detection from image profiles within sequences of acquired digital images
WO2013001143A2 (en) 2011-06-30 2013-01-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
US20150154736A1 (en) * 2011-12-20 2015-06-04 Google Inc. Linking Together Scene Scans
US9135678B2 (en) 2012-03-19 2015-09-15 Adobe Systems Incorporated Methods and apparatus for interfacing panoramic image stitching with post-processors
WO2013144437A2 (en) * 2012-03-28 2013-10-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
EP2680586A3 (en) 2012-06-27 2014-01-29 Nokia Corporation Method, apparatus and computer program product for processing of images
JP5719480B2 (ja) * 2012-07-13 2015-05-20 富士フイルム株式会社 画像変形装置およびその動作制御方法
CN103871036B (zh) * 2012-12-12 2017-11-28 上海联影医疗科技有限公司 用于三维数字减影血管造影图像的快速配准和拼接方法
TWI520095B (zh) 2013-10-21 2016-02-01 財團法人工業技術研究院 影像索引方法、影像索引裝置及電腦可讀取媒體
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US10176452B2 (en) 2014-06-13 2019-01-08 Conduent Business Services Llc Store shelf imaging system and method
US9922261B2 (en) * 2015-04-16 2018-03-20 Regents Of The University Of Minnesota Robotic surveying of fruit plants
US9721350B2 (en) * 2015-06-26 2017-08-01 Getalert Ltd. Methods circuits devices systems and associated computer executable code for video feed processing
WO2017049597A1 (en) * 2015-09-25 2017-03-30 SZ DJI Technology Co., Ltd. System and method for video broadcasting
US10289990B2 (en) * 2016-10-17 2019-05-14 Conduent Business Services, Llc Store shelf imaging system and method
US10210603B2 (en) * 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
CN106504194B (zh) * 2016-11-03 2019-06-21 重庆邮电大学 一种基于最佳拼接平面和局部特征的图像拼接方法
US10497094B2 (en) * 2016-12-28 2019-12-03 Nokia Technologies Oy Method and apparatus for multi-band blending of a seam in an image derived from multiple cameras
CN109934772B (zh) * 2019-03-11 2023-10-27 影石创新科技股份有限公司 一种图像融合方法、装置及便携式终端

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6415878A (en) * 1987-07-09 1989-01-19 Sanyo Electric Co Corner detector
JPH03166667A (ja) * 1989-11-27 1991-07-18 Shinko Electric Co Ltd コーナー検出方法
JPH05103249A (ja) * 1991-10-07 1993-04-23 Fujitsu Ltd 相関追尾装置
JPH1091765A (ja) * 1996-09-10 1998-04-10 Canon Inc 画像合成装置及びその方法
JPH11112790A (ja) * 1997-10-06 1999-04-23 Canon Inc 画像合成装置および方法
JPH11185018A (ja) * 1997-12-24 1999-07-09 Olympus Optical Co Ltd 画像処理装置
JPH11259637A (ja) * 1998-03-06 1999-09-24 Canon Inc 画像合成装置、画像合成方法および記憶媒体
JPH11331696A (ja) * 1998-03-10 1999-11-30 Canon Inc 画像処理方法、装置および記録媒体
JP2000215317A (ja) * 1998-11-16 2000-08-04 Sony Corp 画像処理方法及び画像処理装置
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
JP2003115052A (ja) * 2001-10-09 2003-04-18 National Institute Of Advanced Industrial & Technology 画像処理方法及び画像処理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US634915A (en) * 1899-02-10 1899-10-17 Robert Schofield Device for putting on belts.
US5185808A (en) * 1991-06-06 1993-02-09 Eastman Kodak Company Method for merging images
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6104840A (en) * 1996-11-08 2000-08-15 Ricoh Company, Ltd. Method and system for generating a composite image from partially overlapping adjacent images taken along a plurality of axes
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
JP3773011B2 (ja) * 1997-06-20 2006-05-10 シャープ株式会社 画像合成処理方法
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6128108A (en) * 1997-09-03 2000-10-03 Mgi Software Corporation Method and system for compositing images
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6424752B1 (en) * 1997-10-06 2002-07-23 Canon Kabushiki Kaisha Image synthesis apparatus and image synthesis method
US6333749B1 (en) * 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
JP4146938B2 (ja) * 1998-09-08 2008-09-10 オリンパス株式会社 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
US6271847B1 (en) * 1998-09-25 2001-08-07 Microsoft Corporation Inverse texture mapping using weighted pyramid blending and view-dependent weight maps
US6411742B1 (en) * 2000-05-16 2002-06-25 Adobe Systems Incorporated Merging images to form a panoramic image

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6415878A (en) * 1987-07-09 1989-01-19 Sanyo Electric Co Corner detector
JPH03166667A (ja) * 1989-11-27 1991-07-18 Shinko Electric Co Ltd コーナー検出方法
JPH05103249A (ja) * 1991-10-07 1993-04-23 Fujitsu Ltd 相関追尾装置
JPH1091765A (ja) * 1996-09-10 1998-04-10 Canon Inc 画像合成装置及びその方法
JPH11112790A (ja) * 1997-10-06 1999-04-23 Canon Inc 画像合成装置および方法
JPH11185018A (ja) * 1997-12-24 1999-07-09 Olympus Optical Co Ltd 画像処理装置
JPH11259637A (ja) * 1998-03-06 1999-09-24 Canon Inc 画像合成装置、画像合成方法および記憶媒体
JPH11331696A (ja) * 1998-03-10 1999-11-30 Canon Inc 画像処理方法、装置および記録媒体
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
JP2000215317A (ja) * 1998-11-16 2000-08-04 Sony Corp 画像処理方法及び画像処理装置
JP2003115052A (ja) * 2001-10-09 2003-04-18 National Institute Of Advanced Industrial & Technology 画像処理方法及び画像処理装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100790887B1 (ko) 2006-09-22 2008-01-02 삼성전자주식회사 영상 처리장치 및 방법
KR100790890B1 (ko) 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
JP2010514041A (ja) * 2006-12-20 2010-04-30 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 複数画像レジストレーション装置及び方法
JP2009075825A (ja) * 2007-09-20 2009-04-09 Tokyo Univ Of Science 画像幾何学的歪補正方法、プログラム、及び画像幾何学的歪補正装置
JP2010182305A (ja) * 2009-02-05 2010-08-19 Seiko Epson Corp 画像処理方法、画像処理装置およびコンピューター読み取り可能な媒体
JP2012048523A (ja) * 2010-08-27 2012-03-08 Toshiba Corp 対応付け装置
JP2012022716A (ja) * 2011-10-21 2012-02-02 Fujifilm Corp 立体画像処理装置、方法及びプログラム並びに立体撮像装置
WO2013121897A1 (ja) * 2012-02-17 2013-08-22 ソニー株式会社 情報処理装置および方法、画像処理装置および方法、並びにプログラム
JP2012150826A (ja) * 2012-03-09 2012-08-09 Casio Comput Co Ltd 画像合成装置及びプログラム
JP2013186853A (ja) * 2012-03-12 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
WO2014061221A1 (ja) * 2012-10-18 2014-04-24 日本電気株式会社 画像部分領域抽出装置、画像部分領域抽出方法および画像部分領域抽出用プログラム
JP2015087941A (ja) * 2013-10-30 2015-05-07 オリンパス株式会社 特徴点マッチング処理装置、特徴点マッチング処理方法、およびプログラム
WO2016013634A1 (ja) * 2014-07-24 2016-01-28 国立研究開発法人科学技術振興機構 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
JPWO2016013634A1 (ja) * 2014-07-24 2017-06-01 国立研究開発法人科学技術振興機構 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
KR101909006B1 (ko) * 2014-07-24 2018-10-17 고쿠리츠켄큐카이하츠호진 카가쿠기쥬츠신코키코 화상 위치 맞춤 장치, 화상 위치 맞춤 방법, 및 화상 위치 맞춤 프로그램
US10628948B2 (en) 2014-07-24 2020-04-21 Japan Science And Technology Agency Image registration device, image registration method, and image registration program
JP2017174105A (ja) * 2016-03-23 2017-09-28 Kddi株式会社 幾何検証装置及びプログラム

Also Published As

Publication number Publication date
US20050063608A1 (en) 2005-03-24

Similar Documents

Publication Publication Date Title
JP2005100407A (ja) 複数のソース画像からパノラマ画像を作成するシステム及び方法
US7317558B2 (en) System and method for image processing of multiple images
Jia et al. Image stitching using structure deformation
Matsushita et al. Full-frame video stabilization with motion inpainting
US7119816B2 (en) System and method for whiteboard scanning to obtain a high resolution image
US9317773B2 (en) Patch-based synthesis techniques using color and color gradient voting
EP1234278B1 (en) System and method for rectified mosaicing of images recorded by a moving camera
US9576403B2 (en) Method and apparatus for fusion of images
US10909703B2 (en) Image processing method, electronic device and computer-readable storage medium
EP1299850B1 (en) Merging images to form a panoramic image
US8831382B2 (en) Method of creating a composite image
US20060072852A1 (en) Deghosting mosaics using multiperspective plane sweep
US8619098B2 (en) Methods and apparatuses for generating co-salient thumbnails for digital images
US9824486B2 (en) High resolution free-view interpolation of planar structure
JP4209938B2 (ja) 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ
US8023743B2 (en) Image processing apparatus and image processing method
EP2328125A1 (en) Image splicing method and device
US20070053586A1 (en) Image processing apparatus and image processing method
JP2002305647A (ja) 画像結合装置
US8009899B2 (en) Image filling methods
JP5251410B2 (ja) カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法
KR100934211B1 (ko) 휴대용 단말기의 파노라마 이미지 생성 방법
Poleg et al. Alignment and mosaicing of non-overlapping images
JPH10126665A (ja) 画像合成装置
CN117173012A (zh) 无监督的多视角图像生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101202

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101210

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110210

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110707