JP2003533797A - パノラマ画像を形成するための画像のマージ - Google Patents
パノラマ画像を形成するための画像のマージInfo
- Publication number
- JP2003533797A JP2003533797A JP2001584354A JP2001584354A JP2003533797A JP 2003533797 A JP2003533797 A JP 2003533797A JP 2001584354 A JP2001584354 A JP 2001584354A JP 2001584354 A JP2001584354 A JP 2001584354A JP 2003533797 A JP2003533797 A JP 2003533797A
- Authority
- JP
- Japan
- Prior art keywords
- image
- section
- segment
- relative
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000007704 transition Effects 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
Description
ーの1つのセクションの画像をキャプチャ即ち捕獲するために使用される。カメ
ラによってキャプチャされる画像のビューのセクションはカメラの視野として知
られている。カメラと関連するレンズを調節することは視野を増加させる場合が
ある。然しながら、キャプチャされる画像の品質即ち「分解能」を妥協すること
なしに、カメラの視野をそれを超えて増加させることが不可能な限界が存在して
いる。カメラの視野内においてキャプチャすることが可能であるよりもより大き
なビューの画像をキャプチャすることが必要な場合がある。そのビューの幾つか
のセグメントのオーバーラップする複数個の画像を採取し、次いで該画像を一体
的に結合、即ち「マージ」させてパノラマ画像として知られる複合画像を形成す
る。
クトの寸法に歪みを発生し、従って遠くのオブジェクトは近くのオブジェクトよ
りもより小さく見える。この遠近歪みとして知られる寸法歪みはカメラ位置、カ
メラのポインティング角度等に依存する。従って、遠近歪みのために、2つの異
なる画像内に描かれる1つのオブジェクトはそれら2つの画像において同一の寸
法を有するものではない場合がある。
合成する方法に関するものである。本方法は、第一画像によって表わされるビュ
ーの第一セグメントと相対的に第二画像によって表わされる該ビューの第二セグ
メントの位置を決定し、該決定した位置に基づいて該第二画像を第一セクション
と第二セクションとに分割し、該第一画像をキャンバス上に描画し、且つ該第一
セクションの一部が該第一画像の一部をマスクするように該決定した位置におい
て該キャンバス上に該第二画像の該第一セクションを描画することを包含してい
る。
のセグメントの画像を合成するためのコンピュータによって実行可能な命令を格
納しているコンピュータによって読取可能な媒体を包含する物品に関するもので
ある。
グメントの位置を決定することは、本方法が、互いに任意的に位置決めされる該
ビューのセグメントを表わすことが可能な画像を合成することを可能とさせる。
それは、又、本方法が任意の形状及び寸法を有する場合がある画像を合成するこ
とを可能とする。本方法は、又、変更することなしに該第一画像を描画し、次い
で該第二画像のセクションで該第一画像の一部をマスクさせることによって処理
時間を節約している。
ある。本方法は、更に、第一セグメントと相対的に第三画像によって表わされる
該ビューの第三セグメントの位置を決定し、該第一セグメントと相対的に決定し
た位置に基づいて該第三画像を第三セクションと第二セクションとに分割し、該
第二画像と相対的に該ビューの該第三セグメントの位置を決定し、該第二画像と
相対的に決定した位置に基づいて該第三セクションを第五及び第六セクションへ
分割し、且つ該第五セクションの一部が該第一画像及び該第二画像の該第一セク
ションのうちの少なくとも1つを遮るように、該第三画像と相対的に決定した位
置において該キャンバス上に該第三画像の該第五セクションを描画することを包
含している。従って、本方法は、先の画像の何等付加的な処理を実施することな
しに、合成したパノラマ画像に対して新たな画像を付加することを可能とする。
本方法はパノラマ画像上に描画されるべき新たな画像のセクションを計算するに
過ぎない。
つ該第一セクションの一部が該第一画像の一部をマスクするように該第一セグメ
ントと相対的に該第二セグメントの該決定した位置において該キャンバス上に該
第二画像の該第一セクションを描画することによって該第三画像を除去するため
のコマンドに応答する。本方法は、何等付加的な計算を実施することなしに、該
第一画像上に単に前に決定した第一セクションを描画することによって処理時間
を節約している。
画像の品質を改善する。該第一画像の輪郭、該第二画像の輪郭、該第一画像セグ
メントと相対的な該第二画像セグメントの相対的位置に基づいて決定される分割
線によって該第二画像を該第一及び第二セクションに分割する。該第二画像が該
決定された相対的位置に位置決めされる場合に該第一及び第二画像の輪郭の2つ
の交差点、例えば2つの最も離れた交差点を該分割線が連結する。該第二画像の
該第一セクションは、該分割線の片側における該第二画像のどれほどが該第一画
像によってオーバーラップされるかに基づいて決定される。該第一画像と該第二
画像との間の遷移を滑らかとさせるために該第一画像と該第二画像とが混合され
る該分割線周りの領域が決定される。該分割線は該領域を該第二画像の該第一セ
グメント内に包含される第一サブ領域と該第二領域の該第二セグメント内に包含
される第二サブ領域とに分割する。該第一及び第二画像の間により滑らかな遷移
を与えるために該第二サブ領域よりも該第一サブ領域において該第二画像のより
多くが混合される。
に説明する。本発明のその他の特徴、目的及び利点は以下の説明及び図面及び特
許請求の範囲から明らかとなる。
格納 (記憶)部16内に格納されているプログラム12,14を実行するための
プロセッサ12を有している。格納部16は例えばCDROM、ハードディスク
、ハードディスクアレイ、フロッピィディスク、ROM等のコンピュータによっ
て読取可能な媒体である。コンピュータプログラム12,14 (即ち、画像キャ
プチャソフトウエア12及び画像スティッチングソフトウエア14)がコンピュ
ータによって読取可能なメモリ16内にロードされ、次いで実行されて画像18
を処理する。コンピュータシステム10は画像18をデジタル形態へ変換させる
ためのスキャナ20、コンピュータキーボード22、ユーザ (不図示)からの入
力を受取るためのポインティング装置24と関連している。コンピュータシステ
ム10は、又、画像を表示するためのモニタ28及び画像を印刷するためのプリ
ンタ30と関連している。本コンピュータシステム10は、又、コンピュータネ
ットワーク32と接続されている装置と通信するためのネットワークインターフ
ェース34を有している。
てスキャナ20を活性化させ、該スキャナをして画像18をスキャンさせ且つ画
像キャプチャソフトウエア12へ送信する。画像キャプチャソフトウエア12は
TWAINアプリケーションプログラムインターフェース (API)であり、そ
れは画像18をキャプチャし且つそれを画像スティッチングソフトウエア14へ
供給する。画像スティッチングソフトウエア14は画像18を一体的に合成させ
てパノラマ画像26を形成し、それはモニタ28上に表示されるか又はプリンタ
30上で印刷される。パノラマ画像26は、又、格納部16内に格納させるか又
はネットワークインターフェース34を介してコンピュータネットワーク32に
よって遠隔位置へ送信することが可能である。
ラップするセグメントを示している。例えば、画像18a−18dは、全て、家
の正面のビューのセグメントを示している。第一画像18aは正面のビューの中
央セグメントを示しており且つ家の入口に関して中心に位置されている。第二画
像18bは該ビューの上側のセグメントを示しており、家の上の階におけるバル
コニー70を包含しており、一方第三画像18cは該正面のビューの左側のセグ
メントを示しており、入口の左側に位置している木71を包含している。4番目
の画像18dは該ビューの右側のセグメントを示しており、入口の右側の窓を包
含している。
の画像18a−18dを合成してバルコニー70と、木71と、窓72とを包含
する単一のパノラマ画像26を発生している。従って、画像スティッチングソフ
トウエア14は、ユーザが、複数個の画像18a−18dを合成して複数個の画
像のいずれか1つの視野よりもより大きな視野を有するパノラマ画像26を作成
することを可能としている。
ュール50は画像18a−18dのうちの2つに示されているセグメントの相対
的位置を決定し、従って該画像のうちの1つに示されているオブジェクトの画像
を同一のオブジェクトの別の画像と整合させることが可能である。位置決めモジ
ュール50は、引用によって本明細書に取込む「変位ヒストグラムの直接推定 (
Direct Estimation of Displacement Hi
stograms)」、プロシーディングズ・オブ・ザ・OSA・ミーティング
・オン・イメージ・アンダスタンディング・アンド・マシンビジョン、1989
年6月、Bernd Girod及びDavid Kuo(「Girod」)に
記載されている公知の方法を使用して画像に対応する2つのセグメントの相対的
位置決めを自動的に決定する。該ソフトウエアモジュールは、例えば「C++」
又は「C」等のハイレベルコンピュータプログラミング言語をコンパイルするこ
とによって得られる動的にリンクされたマシン言語ライブラリィである。異なる
ソフトウエアモジュールの機能及び動作について以下に説明する。
各々の左下角部と相対的な戸口の左上角部の位置を参照して記述される。例えば
、戸口の左上角部は第一画像18aにおける距離x0だけ画像の左下角部から水
平方向に変位しており、一方それは第二画像18aにおいて距離x1だけ変位し
ている。従って、第二画像は、 dleft=x0−x1 の数式によって与えられる距離 (dleft)だけ第一画像の左側へ変位されている
。同様に、戸口の左上角部は第一画像18aにおいて距離y0だけ画像の左下角
部から垂直方向に変位されており、一方それは第二画像18aにおいて距離y1
だけ変位されている。従って、第二画像は、 ddown=y0−y1 の数式によって与えられる距離 (ddown)だけ第一画像の下側に変位されている
。第一画像18a及び第二画像18bにおいて戸口の左上角部を整合させるため
に、これら2つの画像をオーバーラップさせ且つ、図2Dに示したように、第二
画像を距離dleftだけ右側へ変位させ且つ距離ddownだけ上方へ変位させる。そ
の他の画像18c及び18dもオーバーラップさせ且つ同様の態様で変位させて
1つの画像における戸口の左上角部を表わすピクセルをその他の画像における戸
口の同一の角部を表わすピクセルに対して整合させる。全ての画像18a−18
dを整合させた結果を図2Eに示してある。
オーバーラップする画像は互いに継ぎ目なしで合成するものではない場合がある
。例えば、継ぎ目62が2つの画像18c及び18dを互いに結合した階段63
を横断して形成されている (オーバーラップした画像中に示してある)。従って
、これらの画像を互いに合成し且つほぼ継ぎ目のないパノラマ画像26 (図2B
)を作成するために更なる処理が必要である。以下に説明するように、遠近補正
器52及びその他のモジュール54−58が更なるステップを実施する。
52は、引用によって本明細書に取込む「仮想的ベロー (Virtual Be
llows)」、プロシーディングズ・オブ・IEEE・インターナショナル・
コンフェレンス・オン・イメージ・プロセシング、1994年11月、Stev
en Mann及びR. W. Picardに記載されている公知の方法を使
用して画像内の遠近歪みを補正する。オリジナルの画像18b−18d (図2A
)の各々の遠近がより遠くのオブジェクトに対応する画像18b−18dの片側
を拡大させ及び/又はより近いオブジェクトに対応する画像18b−18dの反
対側を縮小させることによって第一画像18aと相対的に補正を行う。この遠近
補正は台形状の第二画像18b′、第三画像18c′、第四画像18d′ (図2
Fに示してある)を発生する。これらの台形状の画像を整合させるとより小さな
継ぎ目62となる (図2E)。何故ならば、これらの画像におけるオブジェクト
は歪んだ寸法を有するものではないからである。
像を合成する処理を画像18a−18dを例として使用して説明する。この処理
は、画像キャプチャソフトウエア12 (図1)が合成されるべき画像18 (図1)
をキャプチャ (200)する場合に開始する。位置決めモジュール50 (図1)が
第一画像18aに対応するビューのセグメントと相対的に各画像18b−18d
に対応するビューのセグメントの位置を決定 (202)し (図2C及び2Dを参
照して前述した如く)、且つ遠近補正器52が基準画像18aと相対的に各画像
18b−18dにおける遠近歪みを補正 (204)する (図2Fを参照して前述
したように)。次いで、スティッチングソフトウエア14 (図1)が全ての画像の
ピクセルの可視的特性を設定 (206)し、全ての画像の全てのピクセルが可視
的な状態でスタートすることを表わす。次いで、スティッチングソフトウエアが
現在の画像を第一画像として設定 (208)し且つ以下に説明するように画像1
8a,18b′−18d′の各々の可視的エリアを決定する。
次の画像18b′に設定 (210)し且つ該基準画像を第一画像18aに設定す
る。それにより、第一画像18aの全てのピクセル72を可視的なものとさせる
(図3Bにおいて斜線で示してある)。第一画像の全てのピクセルが可視的に設
定されているが、第一画像のピクセルの幾つかは、以下に説明するように、その
後の画像の可視的部分によって遮られるか又はマスクされる場合がある。
せることによって形成されるパノラマ画像の輪郭74 (図3C)を決定 (212)
する (図2Dを参照して前述したように)。分割線決定器54は、又、整合され
た画像の輪郭が交差する一対の点76,78を決定し、それによりパノラマ輪郭
74を2つのセクション82,84へ分割 (216)する線80を決定する (2
14)。整合された画像の輪郭が2つを超える点において交差する場合には、分
割線決定器54は分割線80を定義するために互いに最も遠くに離れている2つ
の交差点を選択する。次いで、分割線決定器54は2つのセクション82,84
のうちのいずれが基準画像18aによってオーバーラップされることのない現在
の画像18b′のより少ない部分を有するかを決定 (218)し、且つ現在の画
像のそのセクションを不可視的なものに設定する (220)。図3Cの例におい
ては、そのセクション84は第一画像18aによってオーバーラップされること
のない現在の画像プロファイル73のいずれの部分も有するものではない。従っ
て、セクション84内に包含される画像プロファイル85の部分は不可視的に設
定され、画像18bの斜線を付けたセクション82を可視的なものとさせる。
間に更なる画像が存在するか否かをチェックする (222)。更なる画像が存在
しない場合には、スティッチングソフトウエア14は、現在の基準画像の後に、
該基準画像を次の画像に設定 (224)し且つ上述した現在の画像18b′のセ
クションを不可視的なもの (208−220)に設定する処理を繰返し行う。そ
うでない場合には、更なる画像が存在しない場合には、合成マスク決定器56 (
図1)が先の画像のピクセルをマスクする現在の画像内のピクセルを決定 (22
6)する。現在の画像18b′の可視的なピクセル82のみが先の画像のピクセ
ルをマスクする。従って、領域82内に包含されるピクセルのマスク値は「1」
に設定され一方領域84内に包含されるピクセルのマスク特性は「0」に設定さ
れる。
用を有するマルチ分解能スプライン (A Multiresolution S
pline With Application to Image Mosa
ics)」、ACM・トランズアクションズ・オン・グラフィックス、Vol.
2、No.4、1983年10月、P. J. Burt及びE. H. Ad
elsonに記載されている方法を適用することにより「1」に設定されている
ピクセル値を有する領域82と「0」に設定されているピクセル値を有する領域
84との間の交差を平滑化させる。図3Cの拡大図100を参照すると、この平
滑化は不可視的セクション84内において且つ分割線80の次に遷移帯104を
確立し、そこでマスク値が分割線における「1」の値から「0」の値へ滑らかに
遷移し、それにより以下に説明するように、合成した画像18a,18b′が交
差する分割線80においてパノラマ画像内における鮮鋭な不連続を取除いている
。
滑化機能が不可視領域84内の「0」の値へ遷移帯104内において滑らかにマ
スク値を減少させる。
フトウエア14は、現在の画像の後に画像が存在するか否かをチェックする (2
28)。更なる画像が存在する場合には、スティッチングソフトウエアは、現在
の画像の後を次の画像の画像に設定 (210)し且つ新たな現在の画像のマスク
値を決定する (212−226)。
ることが可能である。例えば、図3Eを参照すると、第三画像18c′の可視エ
リアが206において輪郭87の内部に設定され、且つ基準画像が第一画像18
aである場合に、可視エリアが220においてより小さな輪郭86の内部へ減少
されることが理解される。それに続いて、基準画像が第二画像18b′に設定さ
れると、可視エリアは、更に小さな輪郭90へ減少される。
、画像合成器58がマスク値に基づいて画像18a,18b′−18d′をオー
バーラップさせてパノラマ画像を作成する (230)。
ックグラウンドでスタートし、該キャンバスの上に第一画像18aを描画して画
像120aを発生し、その後に該画像合成器はキャンバス120上に第二画像1
8b′の可視部分121bを描画して画像120bを発生する。第二画像を描画
する場合に、画像合成器は次式に従って画像120bのピクセル値を計算する。
ixelfirst image*(1−mask value) 尚、 pixelsecond imageは第二画像のピクセルの値、 pixelfirst imageは第二画像のピクセルと同じ位置にある第一画像のピ
クセルの値、 マスク値は第二画像のピクセルのマスクの値である。
場合には、第二画像は第一画像を完全に遮り、且つ第二画像のピクセル値が「0
」の値を有している場合には、第一画像は第二画像を介して完全に可視的である
。然しながら、マスク値が「0」と「1」との間である場合には、画像合成器は
第一及び第二画像を混合し、それにより1つの画像から別の画像への遷移を平滑
化させる。
描画して画像120cを発生する。最後に、画像合成器は画像18d′の可視的
部分121dを描画して図2Bのパノラマ画像26を発生する。
らかである。従って、新たな画像を除去又は付加する場合には、先の画像のマス
ク値を再計算することは必要ではない。このことは計算時間を節約し、より短い
応答時間となる。例えば、ユーザがスティッチングソフトウエア14に対して新
たな画像を付加することを命令する場合には、スティッチングソフトウエアは4
つの画像18a,18b′−18d′と相対的に新たな画像のマスクを計算する
。次いで、スティッチングソフトウエアはキャンバス120の上に新たな画像の
可視的部分を描画し、それにより前に描画した画像18a,18b′−18d′
のうちの少なくとも1つの一部を遮る。ユーザが、後に、そのソフトウエアをし
て該新たな画像を除去することを命令する場合には、スティッチングソフトウエ
アはキャンバス120を消去し且つ、前述したように、前に計算した画像マスク
に基づいて順番に画像18a,18b′−18d′の可視的部分を描画する。
を逸脱することなしに種々の修正を行うことが可能であることを理解すべきであ
る。例えば、合成すべき画像18はデジタルカメラ、格納部16又はネットワー
ク26から得ることが可能である。位置決めモジュールは、画像の両方に描写さ
れている例えば戸口の左上角部等のオブジェクトをクリックするためにポインテ
ィングデバイス24を使用することをユーザに対してプロンプトを与え且つユー
ザがクリックした位置に基づいて相対的な位置を決定することによって2つの画
像に描画されているセグメントの相対的な位置を決定することが可能である。
を合成するシステムのブロック図。
的な画像を示した概略図。
成されるパノラマ画像を示した概略図。
画像を示した概略図。
概略図。
概略図。
た概略図。
を示したフローチャート。
した概略図。
した概略図。
示したグラフ図。
した概略図。
示した概略図。
Claims (20)
- 【請求項1】 ビューのセグメントの画像をマージする方法において、 第一画像によって表わされる前記ビューの第一セグメントと相対的に第二画像
によって表わされる前記ビューの第二セグメントの位置を決定し、 前記決定した位置に基づいて前記第二画像を第一セクションと第二セクション
とに分割し、 前記第一画像をキャンバス上に描画し、 前記第一セクションの一部が前記第一画像の一部をマスクするように前記決定
した位置において前記キャンバス上に前記第二画像の前記第一セクションを描画
する、 ことを包含している方法。 - 【請求項2】 請求項1において、更に、 前記第一セグメントと相対的に第三画像によって表わされる前記ビューの第三
セグメントの位置を決定し、 前記第一セグメントと相対的な前記決定した位置に基づいて前記第三画像を第
三セクションと第二セクションとに分割し、 前記第二画像と相対的に前記ビューの前記第三セグメントの位置を決定し、 前記第二画像と相対的に前記決定した位置に基づいて前記第三セクションを第
五セクションと第六セクションとに分割し、 前記第五セクションの一部が前記第一画像及び前記第二画像の前記第一セクシ
ョンのうちの少なくとも1つを遮るように前記第三画像と相対的に前記決定した
位置において前記キャンバス上に前記第三画像の前記第五セクションを描画する
、 ことを包含している方法。 - 【請求項3】 請求項2において、更に、 前記キャンバスを消去し、 前記キャンバス上に前記第一画像を描画し、 前記第一セクションの一部が前記第一画像の一部をマスクするように前記第一
セグメントと相対的に前記第二セグメントの前記決定した位置において前記キャ
バス上に前記第二画像の前記第一セクションを描画する、 ことによって前記第三画像を除去するコマンドに応答することを包含している方
法。 - 【請求項4】 請求項1において、更に、前記第二画像を分割する前に、前
記第二画像における遠近歪みを補正することを包含している方法。 - 【請求項5】 請求項1において、 前記第一画像の輪郭、 前記第二画像の輪郭、 前記第一セグメントと相対的な前記第二セグメントの相対的位置、 に基づいて発生される分割線によって前記第二画像を前記第一セクションと第二
セクションとに分割する方法。 - 【請求項6】 請求項5において、前記第二画像が前記決定した相対的位置
に位置される場合に、前記分割線が前記第一及び第二画像の輪郭の2つの交差点
を連結する方法。 - 【請求項7】 請求項6において、前記分割線が互いに最も離れている前記
第一及び第二画像の輪郭の2つの交差点を連結する方法。 - 【請求項8】 請求項5において、前記分割線の片側における前記第二画像
のどれだけが前記第一画像によってオーバーラップされるかに基づいて前記第二
画像の前記第一セクションが決定される方法。 - 【請求項9】 請求項5において、更に、前記第一画像と前記第二画像との
間の遷移を滑らかとさせるために前記第二画像が前記第一画像と混合される前記
分割線周りの領域を決定することを包含している方法。 - 【請求項10】 請求項8において、前記分割線が前記領域を前記第二画像
の前記第一セグメント内に包含される第一サブ領域と前記第二領域の前記第二セ
グメント内に包含される第二サブ領域とに分割し、前記第二画像のより多くのも
のが前記第二サブ領域よりも前記第一サブ領域内に混合される方法。 - 【請求項11】 ビューのセグメントの画像をマージするためのコンピュー
タによって実行可能な命令を格納するコンピュータによって読取可能な媒体を有
する物品において、前記命令がコンピュータをして、 第一画像によって表わされる前記ビューの第一セグメントと相対的に第二画像
によって表わされる前記ビューの第二セグメントの位置を決定させ、 前記決定した位置に基づいて前記第二画像を第一セクションと第二セクション
とに分割させ、 前記第一画像をキャンバス上に描画させ、 前記第一セクションの一部が前記第一画像の一部をマスクするように前記決定
した位置において前記キャンバス上に前記第二画像の前記第一セクションを描画
させる、 物品。 - 【請求項12】 請求項11において、前記命令が、更に、コンピュータを
して、 前記第一セグメントと相対的に第三画像によって表わされる前記ビューの第三
セグメントの位置を決定させ、 前記第一セグメントと相対的に前記決定した位置に基づいて前記第三画像を第
三セクションと第二セクションとに分割させ、 前記第二画像と相対的に前記ビューの前記第三セグメントの位置を決定させ、 前記第二画像と相対的に前記決定した位置に基づいて前記第三セクションを第
五セクションと第六セクションとに分割させ、 前記第五セクションの一部が前記第一画像及び前記第二画像の前記第一セクシ
ョンのうちの少なくとも1つを遮るように前記第三画像と相対的に前記決定した
位置において前記キャンバス上に前記第三画像の前記第五セクションを描画させ
る、 物品。 - 【請求項13】 請求項12において、前記命令が、更に、コンピュータを
して、 前記キャンバスを消去し、 前記キャンバス上の前記第一画像を描画し、 前記第一セクションの一部が前記第一画像の一部をマスクするように前記第一
画像と相対的に前記第二セグメントの前記決定した位置において前記キャンバス
上に前記第二画像の前記第一セクションを描画させる、 ことによって前記第三画像を除去するためのコマンドに応答させる物品。 - 【請求項14】 請求項11において、前記命令が、更に、コンピュータを
して、前記第二画像を分割する前に前記第二画像における遠近歪みを補正させる
物品。 - 【請求項15】 請求項11において、前記命令が、 前記第一画像の輪郭、 前記第二画像の輪郭、 前記第一セグメントと相対的な前記第二セグメントの相対的位置、 に基づいて発生される分割線によって前記第二画像を前記第一セクションと第二
セクションとに分割させる物品。 - 【請求項16】 請求項15において、前記第二画像が前記決定した相対的
位置に位置される場合に、前記分割線が前記第一及び第二画像の輪郭の2つの交
差点を連結する物品。 - 【請求項17】 請求項16において、前記分割線が互いに最も離れている
前記第一及び第二画像の輪郭の2つの交差点を連結する物品。 - 【請求項18】 請求項15において、前記コンピュータ命令がコンピュー
タをして、前記分割線の片側にある前記第二画像のどれだけの部分が前記第一画
像とオーバーラップするかに基づいて前記第二画像の第一セクションを決定させ
る物品。 - 【請求項19】 請求項15において、前記コンピュータ命令が、更に、コ
ンピュータをして、前記第一画像と前記第二画像との間の遷移を滑らかとさせる
ために前記第二画像が前記第一画像と混合される前記分割線周りの領域を決定さ
せる物品。 - 【請求項20】 前記分割線が前記領域を前記第二画像の前記第一セグメン
ト内に包含される第一サブ領域と前記第二領域の前記第二セグメント内に包含さ
れる第二サブ領域とに分割し、前記コンピュータ命令がコンピュータをして前記
第二サブ領域におけるよりも前記第一サブ領域における前記第二画像のより多く
の部分を混合させる物品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/572,050 US6411742B1 (en) | 2000-05-16 | 2000-05-16 | Merging images to form a panoramic image |
US09/572,050 | 2000-05-16 | ||
PCT/US2001/040490 WO2001088838A1 (en) | 2000-05-16 | 2001-04-10 | Merging images to form a panoramic image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003533797A true JP2003533797A (ja) | 2003-11-11 |
Family
ID=24286142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001584354A Pending JP2003533797A (ja) | 2000-05-16 | 2001-04-10 | パノラマ画像を形成するための画像のマージ |
Country Status (5)
Country | Link |
---|---|
US (1) | US6411742B1 (ja) |
EP (1) | EP1299850B1 (ja) |
JP (1) | JP2003533797A (ja) |
DE (1) | DE60133202T2 (ja) |
WO (1) | WO2001088838A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021054758A1 (ko) * | 2019-09-20 | 2021-03-25 | 주식회사 와이즈오토모티브 | 건설장비용 전방 영상 생성 장치 |
US12035048B2 (en) | 2019-09-20 | 2024-07-09 | Wise Automotive Corporation | Front image generation device for heavy equipment |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6857106B1 (en) * | 1999-09-15 | 2005-02-15 | Listen.Com, Inc. | Graphical user interface with moveable, mergeable elements |
US20060073509A1 (en) * | 1999-11-18 | 2006-04-06 | Michael Kilpatrick | Method for detecting and quantitating multiple subcellular components |
FR2804231B1 (fr) * | 2000-01-25 | 2002-11-08 | Vistaprint Usa Inc | Impression centralisee de documents commerciaux en faibles volumes sur des machines auparavant limitees a des tres gros tirages |
AU2001231078A1 (en) * | 2000-01-25 | 2001-08-07 | Vistaprint Usa, Inc. | Managing print jobs |
US6961141B2 (en) * | 2000-02-25 | 2005-11-01 | Eastman Kodak Company | Method and electronic apparatus for formatting and serving inkjet image data |
US7095905B1 (en) | 2000-09-08 | 2006-08-22 | Adobe Systems Incorporated | Merging images to form a panoramic image |
US7027665B1 (en) * | 2000-09-29 | 2006-04-11 | Microsoft Corporation | Method and apparatus for reducing image acquisition time in a digital imaging device |
JP4356050B2 (ja) * | 2000-12-28 | 2009-11-04 | 株式会社トプコン | 測量装置と電子的記憶媒体 |
JP2002324232A (ja) * | 2001-04-25 | 2002-11-08 | Nikon Corp | 画像処理方法 |
US7006707B2 (en) * | 2001-05-03 | 2006-02-28 | Adobe Systems Incorporated | Projecting images onto a surface |
US7103236B2 (en) | 2001-08-28 | 2006-09-05 | Adobe Systems Incorporated | Methods and apparatus for shifting perspective in a composite image |
JP2003078817A (ja) * | 2001-08-30 | 2003-03-14 | Matsushita Electric Ind Co Ltd | 画像合成方法、及び画像合成装置 |
SE520949C2 (sv) * | 2002-01-15 | 2003-09-16 | Sven-Aake Afsenius | Digitalkamera med sökare avsedd för skärpedjupsförbättrad avbildning |
US7433540B1 (en) | 2002-10-25 | 2008-10-07 | Adobe Systems Incorporated | Decomposing natural image sequences |
US20050063608A1 (en) * | 2003-09-24 | 2005-03-24 | Ian Clarke | System and method for creating a panorama image from a plurality of source images |
US7656429B2 (en) * | 2004-02-04 | 2010-02-02 | Hewlett-Packard Development Company, L.P. | Digital camera and method for in creating still panoramas and composite photographs |
US7813589B2 (en) * | 2004-04-01 | 2010-10-12 | Hewlett-Packard Development Company, L.P. | System and method for blending images into a single image |
US7376274B2 (en) * | 2004-08-31 | 2008-05-20 | Sonic Solutions | Method and apparatus for use in video searching |
US7542042B1 (en) * | 2004-11-10 | 2009-06-02 | Nvidia Corporation | Subpicture overlay using fragment shader |
US7653261B2 (en) * | 2004-11-12 | 2010-01-26 | Microsoft Corporation | Image tapestry |
US7529429B2 (en) | 2004-11-12 | 2009-05-05 | Carsten Rother | Auto collage |
US7532771B2 (en) * | 2004-11-12 | 2009-05-12 | Microsoft Corporation | Image processing system for digital collage |
US7281208B2 (en) * | 2004-11-18 | 2007-10-09 | Microsoft Corporation | Image stitching methods and systems |
US20060170956A1 (en) * | 2005-01-31 | 2006-08-03 | Jung Edward K | Shared image devices |
US9082456B2 (en) | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
US9191611B2 (en) | 2005-06-02 | 2015-11-17 | Invention Science Fund I, Llc | Conditional alteration of a saved image |
US8964054B2 (en) | 2006-08-18 | 2015-02-24 | The Invention Science Fund I, Llc | Capturing selected image objects |
US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
US9621749B2 (en) | 2005-06-02 | 2017-04-11 | Invention Science Fund I, Llc | Capturing selected image objects |
US9942511B2 (en) | 2005-10-31 | 2018-04-10 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
US9967424B2 (en) | 2005-06-02 | 2018-05-08 | Invention Science Fund I, Llc | Data storage usage protocol |
US9093121B2 (en) | 2006-02-28 | 2015-07-28 | The Invention Science Fund I, Llc | Data management of an audio data stream |
US9076208B2 (en) * | 2006-02-28 | 2015-07-07 | The Invention Science Fund I, Llc | Imagery processing |
US9167195B2 (en) | 2005-10-31 | 2015-10-20 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
US20070120980A1 (en) | 2005-10-31 | 2007-05-31 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Preservation/degradation of video/audio aspects of a data stream |
US7660464B1 (en) | 2005-12-22 | 2010-02-09 | Adobe Systems Incorporated | User interface for high dynamic range merge image selection |
ATE417342T1 (de) | 2006-09-22 | 2008-12-15 | Cyclomedia Technology B V | Methode und system zum erzeugen eines panoramabildes ausgehend von einem fahrzeug |
US7576755B2 (en) | 2007-02-13 | 2009-08-18 | Microsoft Corporation | Picture collage systems and methods |
US7936915B2 (en) * | 2007-05-29 | 2011-05-03 | Microsoft Corporation | Focal length estimation for panoramic stitching |
US8660373B2 (en) * | 2008-07-22 | 2014-02-25 | Xerox Corporation | PDF de-chunking and object classification |
AU2009282654A1 (en) * | 2008-08-18 | 2010-02-25 | Waterloo Industries, Inc. | Systems and arrangements for object identification |
US9189143B2 (en) | 2010-04-30 | 2015-11-17 | American Teleconferencing Services, Ltd. | Sharing social networking content in a conference user interface |
USD642587S1 (en) | 2010-04-30 | 2011-08-02 | American Teleconferencing Services, Ltd. | Animated graphical user interface for a portion of a display screen |
USD642586S1 (en) | 2010-04-30 | 2011-08-02 | American Teleconferencing Services, Ltd. | Portion of a display screen with a user interface |
USD656504S1 (en) | 2010-04-30 | 2012-03-27 | American Teleconferencing Services, Ltd. | Display screen portion with an animated image |
USD656505S1 (en) | 2010-04-30 | 2012-03-27 | American Teleconferencing Services, Ltd. | Display screen portion with animated image |
USD656507S1 (en) | 2010-04-30 | 2012-03-27 | American Teleconferencing Services, Ltd. | Display screen portion with an animated image |
US8626847B2 (en) | 2010-04-30 | 2014-01-07 | American Teleconferencing Services, Ltd. | Transferring a conference session between client devices |
USD656941S1 (en) | 2010-04-30 | 2012-04-03 | American Teleconferencing Services, Ltd. | Display screen portion with an animated image |
USD656942S1 (en) | 2010-04-30 | 2012-04-03 | American Teleconferencing Services, Ltd. | Display screen portion with an animated image |
US9419810B2 (en) | 2010-04-30 | 2016-08-16 | American Teleconference Services, Ltd. | Location aware conferencing with graphical representations that enable licensing and advertising |
USD656506S1 (en) | 2010-04-30 | 2012-03-27 | American Teleconferencing Services, Ltd. | Display screen portion with an animated image |
US10372315B2 (en) | 2010-04-30 | 2019-08-06 | American Teleconferencing Services, Ltd | Location-aware conferencing with calendar functions |
US9106794B2 (en) | 2010-04-30 | 2015-08-11 | American Teleconferencing Services, Ltd | Record and playback in a conference |
US10268360B2 (en) | 2010-04-30 | 2019-04-23 | American Teleconferencing Service, Ltd. | Participant profiling in a conferencing system |
US9560206B2 (en) | 2010-04-30 | 2017-01-31 | American Teleconferencing Services, Ltd. | Real-time speech-to-text conversion in an audio conference session |
US9082106B2 (en) | 2010-04-30 | 2015-07-14 | American Teleconferencing Services, Ltd. | Conferencing system with graphical interface for participant survey |
JP2012105145A (ja) * | 2010-11-11 | 2012-05-31 | Canon Inc | 画像処理装置、画像処理方法、及び、プログラム |
US8151186B1 (en) * | 2011-03-11 | 2012-04-03 | Google Inc. | Comparing text pages using image features based on word positions |
CN102314686B (zh) * | 2011-08-03 | 2013-07-17 | 深圳大学 | 一种拼接类全景视频的基准视场确定方法、系统及设备 |
JP2013070212A (ja) * | 2011-09-22 | 2013-04-18 | Fuji Xerox Co Ltd | 画像処理装置、画像処理プログラム |
US9361721B2 (en) * | 2011-11-30 | 2016-06-07 | Nokia Technologies Oy | Method and apparatus for image stitching |
US10074214B2 (en) | 2015-12-31 | 2018-09-11 | Autodesk, Inc. | Systems and methods for generating 3D scenes with time element for display |
CN106780327B (zh) * | 2016-12-06 | 2018-05-15 | 掌阅科技股份有限公司 | 文件碎片合并方法、装置及电子设备 |
US10235845B2 (en) | 2017-04-05 | 2019-03-19 | Stryker Corporation | Patient support apparatuses with reconfigurable communication |
CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01125680A (ja) * | 1987-11-11 | 1989-05-18 | Hitachi Ltd | センサ画像の処理方法 |
JPH02264372A (ja) * | 1989-04-04 | 1990-10-29 | Sumitomo Metal Ind Ltd | ディジタル画像の接合方法 |
JPH04329484A (ja) * | 1991-05-01 | 1992-11-18 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
JPH04336679A (ja) * | 1991-05-14 | 1992-11-24 | Canon Inc | 画像処理方法及びこれを用いたシステム |
JPH0993431A (ja) * | 1995-09-26 | 1997-04-04 | Canon Inc | パノラマ画像合成装置 |
JPH09321972A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 画像合成装置及び方法 |
JPH10105677A (ja) * | 1996-09-26 | 1998-04-24 | Sharp Corp | 画像接合方法及び画像接合装置 |
JPH10136196A (ja) * | 1996-10-28 | 1998-05-22 | Fuji Xerox Co Ltd | 画像読取方法及び画像読取装置及び画像読取プログラムを記録した媒体 |
JPH11243483A (ja) * | 1998-02-24 | 1999-09-07 | Ricoh Co Ltd | 画像処理装置 |
JPH11259637A (ja) * | 1998-03-06 | 1999-09-24 | Canon Inc | 画像合成装置、画像合成方法および記憶媒体 |
JP2000078467A (ja) * | 1998-06-18 | 2000-03-14 | Sony Corp | 画像合成方法 |
JP2000105813A (ja) * | 1998-09-28 | 2000-04-11 | Nikon Corp | 画像連接システム、および画像連接プログラムを記録した記録媒体 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5185808A (en) * | 1991-06-06 | 1993-02-09 | Eastman Kodak Company | Method for merging images |
US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
EP0989515A3 (en) * | 1995-01-17 | 2001-01-17 | Sega Enterprises, Ltd. | Image processing method and electronic device |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
US5987164A (en) * | 1997-08-01 | 1999-11-16 | Microsoft Corporation | Block adjustment method and apparatus for construction of image mosaics |
-
2000
- 2000-05-16 US US09/572,050 patent/US6411742B1/en not_active Expired - Lifetime
-
2001
- 2001-04-10 DE DE60133202T patent/DE60133202T2/de not_active Expired - Lifetime
- 2001-04-10 JP JP2001584354A patent/JP2003533797A/ja active Pending
- 2001-04-10 WO PCT/US2001/040490 patent/WO2001088838A1/en active Application Filing
- 2001-04-10 EP EP01931133A patent/EP1299850B1/en not_active Expired - Lifetime
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01125680A (ja) * | 1987-11-11 | 1989-05-18 | Hitachi Ltd | センサ画像の処理方法 |
JPH02264372A (ja) * | 1989-04-04 | 1990-10-29 | Sumitomo Metal Ind Ltd | ディジタル画像の接合方法 |
JPH04329484A (ja) * | 1991-05-01 | 1992-11-18 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
JPH04336679A (ja) * | 1991-05-14 | 1992-11-24 | Canon Inc | 画像処理方法及びこれを用いたシステム |
JPH0993431A (ja) * | 1995-09-26 | 1997-04-04 | Canon Inc | パノラマ画像合成装置 |
JPH09321972A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 画像合成装置及び方法 |
JPH10105677A (ja) * | 1996-09-26 | 1998-04-24 | Sharp Corp | 画像接合方法及び画像接合装置 |
JPH10136196A (ja) * | 1996-10-28 | 1998-05-22 | Fuji Xerox Co Ltd | 画像読取方法及び画像読取装置及び画像読取プログラムを記録した媒体 |
JPH11243483A (ja) * | 1998-02-24 | 1999-09-07 | Ricoh Co Ltd | 画像処理装置 |
JPH11259637A (ja) * | 1998-03-06 | 1999-09-24 | Canon Inc | 画像合成装置、画像合成方法および記憶媒体 |
JP2000078467A (ja) * | 1998-06-18 | 2000-03-14 | Sony Corp | 画像合成方法 |
JP2000105813A (ja) * | 1998-09-28 | 2000-04-11 | Nikon Corp | 画像連接システム、および画像連接プログラムを記録した記録媒体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021054758A1 (ko) * | 2019-09-20 | 2021-03-25 | 주식회사 와이즈오토모티브 | 건설장비용 전방 영상 생성 장치 |
US12035048B2 (en) | 2019-09-20 | 2024-07-09 | Wise Automotive Corporation | Front image generation device for heavy equipment |
Also Published As
Publication number | Publication date |
---|---|
EP1299850A1 (en) | 2003-04-09 |
EP1299850A4 (en) | 2005-03-23 |
DE60133202D1 (de) | 2008-04-24 |
WO2001088838A1 (en) | 2001-11-22 |
US6411742B1 (en) | 2002-06-25 |
EP1299850B1 (en) | 2008-03-12 |
DE60133202T2 (de) | 2009-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003533797A (ja) | パノラマ画像を形成するための画像のマージ | |
US20240087471A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US20220046218A1 (en) | Disparity image stitching and visualization method based on multiple pairs of binocular cameras | |
US20220044356A1 (en) | Large-field-angle image real-time stitching method based on calibration | |
JP3486461B2 (ja) | 画像処理装置及び方法 | |
DE69827232T2 (de) | Mosaikbildverarbeitungssystem | |
JP3030485B2 (ja) | 3次元形状抽出方法及び装置 | |
US8897596B1 (en) | System and method for rapid image sequence depth enhancement with translucent elements | |
US8385684B2 (en) | System and method for minimal iteration workflow for image sequence depth enhancement | |
US7907793B1 (en) | Image sequence depth enhancement system and method | |
US8160390B1 (en) | Minimal artifact image sequence depth enhancement system and method | |
JP4642757B2 (ja) | 画像処理装置および画像処理方法 | |
US8174538B2 (en) | Structure-preserving clone brush | |
US6714661B2 (en) | Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image | |
US20110141225A1 (en) | Panorama Imaging Based on Low-Res Images | |
WO2002091754A1 (en) | Method for multiple view synthesis | |
US20030117411A1 (en) | Texture mapping method and apparatus | |
US20030113036A1 (en) | Method and apparatus for generating texture for 3D facial model | |
CN111179281A (zh) | 人体图像提取方法及人体动作视频提取方法 | |
JPH10108003A (ja) | 画像合成装置および画像合成方法 | |
JP3979811B2 (ja) | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPH09212626A (ja) | 画像編集方法および編集装置 | |
JP4458720B2 (ja) | 画像入力装置およびプログラム | |
JP4129938B2 (ja) | パノラマ画像作成方法 | |
JP2005149143A (ja) | 物体検出装置、物体検知方法、およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110512 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110519 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110614 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110621 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110715 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110810 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110913 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20111005 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111014 |