JP2001501342A - 合成画像を生成する方法および装置 - Google Patents

Abstract

(57)【要約】 複数の画像から合成画像を生成する方法は、複数の画像から現行画像を選択するステップ（３１２）と、現行画像がオフセットを有するステップ（３１４）と、現行画像から一部分を抽出するステップ（３１６）と、次いで現行画像のその一部分を、合成画像を記憶する（３１８）記憶媒体上のそのオフセットに対応する位置に転送するステップ（３１６）を含む。

Description

【発明の詳細な説明】 合成画像を生成する方法および装置 発明の背景 （１）発明の分野 本発明は一般に画像に関する。より詳細には、本発明は合成画像の生成に関す る。 （２）関連技術の説明 「パノラマ（ｐａｎｏｒａｍａ）」という単語は、「すべて（ａｌｌ）」を意 味する「ｐａｎ」と、「見えること（ｖｉｅｗまたはｓｉｇｈｔ）」を意味する 「ｈｏｒａｍａ」というギリシャ語に起源を持つ。現代の解釈では、１）遮るも のがなく広々とした広範囲の風景、２）幅を広げた画像表現、３）次々に過ぎて 行くシーン、連続的に変化するシーン、または次々に展開する事象、４）問題の 広範囲な調査など、いくつかの意味を持つ。 遮るものがなく広々とした広範囲の風景を描写する合成画像は、通常は例えば １５ｍｍレンズ付きの３５ｍｍカメラなどのカメラを使用して生成される。カメ ラを三脚の上に取り付け、定点（三脚の中心）を中心にカメラを３６０°回転さ せながら一連の写真を撮影する。露光後その都度、例えば２０°や３０°などの 離散的な角度でカメラを回転させる。 その後で、写真をデジタル化し、コンパクト・ディスクなどの記憶装置に記憶 することができる。次いで、非限定的な例を挙げると、米国カリフォルニア州キ ューパーティーノのＡｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．から市販されて いるＱｕｉｃｋ Ｔｉｍｅ ＶＲ Ａｕｔｈｏｒｉｎｇ Ｔｏｏｌｓ Ｓｕｉｔ ｅなど、従来型の画像「ステッチング」システムにより、連続する画像の互いに 重なり合う特徴をマッピングし、これらの画像をステッチングする。ステッチン グとは、より大きなシーンの一部である２つ以上の別個の画像を、複数の別個の 画像の組合せがより大きな画像の一部を表すように結合する処理である。 歪みなく１つの画像にステッチングするには、レンズの焦点を中心にカメラを 回転することが好ましい。換言すれば、レンズの焦点をカメラの回転の中心と一 致させる必要がある。また、レンズの焦点距離を測定することによって視野を決 定することが好ましい。ズーム機構を備えたカメラなどでは、撮影する写真ごと に焦点距離が変化する可能性があるので、撮影者は撮影する各写真ごとに焦点距 離を記憶または記録し、それに応じてカメラ取付台を調整する必要がある。特定 の像に対するレンズの焦点を中心にカメラを回転させないと、歪みが生じる可能 性がある。さらに、ステッチングの前に、ステッチングの対象となる様々な画像 間の絶対オフセットを計算するために、得られた画像をステッチングするシステ ムに各画像が生成された角度を与える必要がある。撮影する各写真ごとに焦点距 離とアングルを確認し、焦点と一致するようにカメラ取付台を調整することは、 かなりのオーバヘッドとなる。 第１図に、回転の中心（ＣＲ）１１４を有する三脚（図示せず）上に取り付け られたカメラ１００の横断面を概略的に示す。カメラ１００は、焦点（ＦＰ）１ １６と焦点距離１０３を有するレンズ１０２を含む。通常は、カメラ１００をそ の回転の中心１１４を中心に３６０°回転しながら、記録すべきシーンの入射画 像をレンズ１０２上に投影する。画像は焦点１１６に集まり、フィルム１０４な どの感光記録媒体上に投影される。 後で、フィルム１０４から得られた１組の像を処理する間、従来型のシステム では一般に、焦点１１６と三脚の回転の中心１１４の間の距離が０であると想定 している。実際には、焦点１１６の位置は、三脚の回転の中心１１４と一致しな い可能性がある。複数の画像を１つの合成画像にステッチングする現行の方法で は、焦点１１６と三脚の回転の中心１１４との不一致によって生じる歪みは幾何 学的に補正されない。画像の輪郭線を自動または手動で「歪める」処理もあるが 、こうした処理は費用や時間のかかるものであり、職業的撮影者の技能を必要と する可能性がある。 合成画像を生成するためのその他の技法には、視野が２３０°のレンズなどの 魚眼レンズを使用することによって極めて広角の画像を記録するものがある。こ れらの技術に伴う問題は、これらの技術が使用するタイプのレンズはコストが高 く、そのためアマチュアの撮影者にとって入手しにくいことである。 画像が互いに滑らかに混ざり合い、歪みの少ない合成写真を作成する技法を提 供することが好ましい。さらに、コストの高い機器または職業的撮影者の技能な しに合成写真を生成する技法を提供することが好ましい。 発明の簡単な概要 合成画像は、複数の画像から生成することができる。簡単に言うと、本発明の 一実施態様による合成画像を生成する方法は、次のステップを含む。複数の画像 から現行画像を選択する。現行画像はオフセットを有する。現行画像から一部分 を抽出する。次いで、現行画像のその一部分を、合成画像を記憶する記憶媒体上 のそのオフセットに対応する位置に転送する。 図面の簡単な説明 本発明の特徴、態様、および利点は、以下の詳細な説明、付属の請求の範囲、 および添付の図面を読めば、より完全に理解できよう。 第１図は、スチル・カメラの横断面の概略図である。 第２図は、本発明による合成画像を生成する方法を利用したシステムの一実施 形態の概略図である。 第３図は、本発明による合成画像を生成する方法の一実施形態の流れ図である 。 第４図は、本発明による方法の一実施形態において利用することができるビデ オ・カメラの横断面の概略図である。 第５ａ図は、本発明による合成画像を生成する方法の一実施形態によって生成 することができる合成画像の概略図である。 第５ｂ図は、本発明による合成画像を生成する方法の一実施形態によって処理 することができる相対オフセットでその間をシフトした２つの画像の概略図であ る。 第５ｃ図は、合成画像内のその絶対オフセットへステッチングされた１つの画 像のストリップの概略図である。 第６図は、本発明による合成画像を生成する方法の一実施形態によって処理さ れた画像の概略図である。発明の詳細な説明 以下の説明においては、本発明の十分な理解が得られるように数多くの特定の 詳細を示す。ただし、本発明はこれらの特定の詳細がなくとも実施することがで きることを当業者なら理解されたい。場合によっては、本発明をわかりにくくす ることを避けるために、周知の回路、構造、および技法は示していない。 第２図に、本発明による合成画像を生成する方法を利用したシステムの一実施 形態を概略的な形で示す。被写体２０２を含めてシーンを一括して描写する１組 の大量の画像（この特定の実施形態ではビデオ・フレーム）は、ほぼ固定された 点を中心に３６０°をやや過ぎるまで画像記録装置２０４を回転させることによ って生成することができる。画像記録装置には、電荷結合素子（ＣＣＤ）などの 画像検出装置（図示せず）を含めることができる。画像記録装置にはまた、シー ンの画像を記録することができる画像記録媒体を含めることもできる。本発明に よる一実施形態では、画像記録装置２４０は標準的な市販のビデオ・カメラを含 み、画像記録媒体にはビデオ・テープなどを含めることができるが、本発明はこ の点で範囲を限定されない。ビデオ・カメラは、極めて短時間で多数の画像を生 成することができ、そのため多数の画像を生成するのに膨大な時間を必要とする スチル・カメラに伴う欠点を克服することができる。 ビデオ・カメラ２０４は、例えば三脚２０６の上に回転自在に取り付けること ができる。カメラ２０４の回転の中心となる固定点（回転の中心）には、ビデオ ・カメラ２０４が回転自在に取り付けられる三脚の中心を含めることができる。 被写体２０２を含めてシーンをビデオ・テープに記録した後は、テープを巻き 戻す。次いで、巻き戻したテープと共にビデオ・カメラ２０４を、ケーブル２２ ６を介してコンピュータ・システム２０８の入出力ポート２２０に結合すること ができるが、本発明はこの点で限定されない。次いで、コンピュータ・システム ２０８により、テープを再生しながらビデオテープに録画された画像を処理する 。 非限定的な例を挙げると、ビデオ・カメラ２０４はまた、米国カリフォルニア 州サンマテオのＣｏｎｎｅｃｔｉｘ Ｃｏｒｐｏｒａｔｉｏｎが製造するＣｏｎ ｎｅｃｔｉｘ ＱｕｉｃｋＣａｍ^TMなどのデジタル・ビデオ・カメラでもよい。 そうしたビデオ・カメラは、コンピュータ・システムのパラレル・ポートを介し てコンピュータ・システム２０８に結合することができる。この場合、カメラを 回転させてシーンを撮影する間、コンピュータ・システム２０８はビデオ・カメ ラ信号をデジタル化装置２１８に送りながら画像を処理する。そうするとビデオ ・テープは不要になる。前述のコンピュータ・システムはまた、ビデオ・カメラ ２０４内に組み込むこともできる。 コンピュータ・システム２０８には、バス２１０を介してランダム・アクセス ・メモリ２１６（ＲＡＭ）、大容量記憶装置２１２、およびデジタル化装置２１ ８に結合されたＣＰＵ２１４を含めることができる。本発明による一実施形態で は、デジタル化装置２１８は米国カリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎが製造する、Ｉｎｔｅｌ Ｓｍａｒｔ Ｖｉｄｅｏ Ｒ ｅｃｏｒｄｅｒ Ｐｒｏデジタル化装置である。テープを再生しながら、コンピ ュータ・システム上でビデオ・キャプチャ・プログラムを実行し、それによって テープの画像をデジタル化することができる。次いで、デジタル化したテープの 画像をファイル内に記憶することができる。ビデオ・キャプチャ・プログラムは 、例えば米国ワシントン州ベルビューのＡｓｙｍｅｔｒｉｘ Ｃｏｒｐｏｒａｔ ｉｏｎが生産するＡｓｙｍｅｔｒｉｘ Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｃａｐｔ ｕｒｅ Ｐｒｏｇｒａｍでよい。この実施形態では、デジタル形式で記録された 各画像は他の画像と区別可能であり、ファイルが置かれる記憶媒体内部の「アド レス」を有する。このアドレスは、１組のデジタル化画像から特定の画像にアク セスする場合に使用することができる。 次に、第３図に本発明による合成画像を生成する方法の一実施形態の流れ図を 示す。この実施形態の処理はブロック３０２で開始し、そこからブロック３０４ に進む。ブロック３０４で、様々な回転角でシーンを撮影することにより、シー ンの１組の画像を生成する。第２図に関して説明したものなどのビデオ・カメラ は、水平の回転面上で回転面と直角の回転軸を中心に回転しながら、これらの画 像を生成することができる。ただし、本発明の範囲は水平の回転面に限定されな い。ビデオ・カメラはまた、垂直の回転面上で垂直面と直角の回転軸を中心に回 転することもできる。一般に、ビデオ・カメラは、任意の平面上でその平面と直 角の回転軸を中心に回転することができる。 回転の中心を中心にビデオ・カメラを３６０°回転させながら、約６００〜７ ００枚の画像（フレーム）をビデオ・テープなどの記録媒体（図示せず）上に記 録することができる。生成される画像の数に影響を与える要素としては、ビデオ ・カメラのレンズの焦点距離、ビデオ・カメラの画像生成速度に対するビデオ・ カメラの相対回転速度などがある。焦点距離を長くすると、それに応じて視野は 狭くなり、したがって合成画像を生成するのに必要な画像数も多くなる。回転速 度を高くすると、それに応じて生成される画像は少なくなる。ビデオ・カメラの ３６０°回転は、例えばモータ（図示せず）で所定の速度でビデオ・カメラを回 転させることによって自動的に、あるいはオペレータ（撮影者）が回転の中心を 中心にカメラを手動で回転させることにより、実行することができる。 次いで、処理はステップ３０６に進み、そこでＡｓｙｍｅｔｒｉｘ Ｄｉｇｉ ｔａｌ Ｖｉｄｅｏ Ｃａｐｔｕｒｅ Ｐｒｏｇｒａｍなどのビデオ・キャプチ ャ・プログラムを実行することにより、テープを再生しながら１組の画像をデジ タル化する。デジタル化された各画像は第１寸法を有する。本発明による方法の 一実施形態では、第１「寸法」は第１次元内での画像のサイズと定義される。例 えば、ビデオ・カメラを水平面上で回転させる場合、「第１次元」は水平面と平 行の軸に沿う。したがって、生成される画像が回転面と平行のベース（幅）を持 つ矩形である場合、画像の第１寸法はベース（幅）のサイズとなる。 ステップ３０８で、１組のデジタル化画像から１つの初期基準画像を選択する 。一実施形態では、初期基準画像は記録された１組の画像のうちの第１画像であ る。この初期基準画像に所定の絶対オフセットを関連付ける。初期基準画像の絶 対オフセットは、合成画像の開始位置を基準にした初期基準画像の位置を示す。 本発明による一実施形態では、初期基準画像の絶対オフセットは０である。 次いで、処理はステップ３１０に進み、そこで初期基準画像の一部分（この実 施形態では中央のストリップ）を抽出し、記憶媒体上の初期基準画像の絶対オフ セットに対応する位置に記録する。この記憶媒体は、合成画像をデジタル形式で 記憶する。中央のストリップは、その中央のストリップの抽出元の画像の寸法（ 第１寸法）よりも小さな寸法（第２寸法）を有する。以下、「寸法」という用語 を幅と呼ぶ。本発明による方法の一実施形態では、中央のストリップは１６ピク セルの幅（第２幅）を有するが、画像の幅（第１幅）は３２０ピクセルである。 次いで、処理はステップ３１２に進み、そこで本発明による方法によって既に 処理された１組の画像から、初期基準画像に関して、絶対オフセット（以下「基 準オフセット」）を有する基準画像を選択する。次いで、本発明による方法によ ってまだ処理されていない１組の画像から現行画像を、現行画像の内容が基準画 像の内容と部分的に重なるように選択する。当初、既に処理された１組の画像は 初期基準画像のみを含む。したがって、まだ処理されていない１組の画像は、初 期基準画像以外のビデオ・カメラによって生成されたすべての画像を含む。１組 の画像が順番に記録される一実施形態では、基準画像は処理された画像の前の画 像であり、現行画像は順番に記録された画像のうちの次の画像である。 次いで、ステップ３１４で現行画像の相対オフセットを求める。本発明による 一実施形態では、現行画像の相対オフセットは、１組の画像のうち、基準画像が 生成（撮影）された回転角と現行画像が生成（撮影）された回転角との差を表す 。別の実施形態では、現行画像の相対オフセットはまた、被写体と平行の平面上 でカメラを平行移動することによって合成画像を得る場合など、画像が記録され た様々な位置の間でのカメラの変位を表すこともできる。オフセットは通常、画 像の最小解像度と定義される「画像の単位」で測定される。本発明による一実施 形態では、「画像の単位」はピクセルである。したがって、相対オフセットは、 基準画像から現行画像までのピクセル・オフセットである。 現行画像の相対オフセットは、第１相関処理によって求めることができる。当 業者には相対オフセットを推定するいくつかの既存の方法が周知であり、したが って第１相関処理はそうした既存の方法のいずれでもよいことに注意されたい。 画像の相関処理は、Ｗｉｌｌｉａｍ Ｋ．Ｐｒａｔｔ著「Ｄｉｇｉｔａｌ Ｉｍ ａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」、ｓｅｃｏｎｄ ｅｄｉｔｉｏｎ、１９９１年 に詳細に説明されている。以下は、相関処理の一実施形態を表す擬似コードであ る。 For relative offset=minimu offset to maximum For all pixels,addressed x and y in an image, result=sum(previous image[x,y]* current image[x+offset,y])． End For Best fit=offset that produced the maximum result． 単に例示的な見方によれば、第１相関処理では、一方の画像の被写体が他方の 画像の被写体とほぼ整列したと判明するまで、２つの画像を前後にスライドさせ るのと同等の操作を実行する。第１相関処理では、２つの画像が生成された回転 角間の差を表す相対オフセットＤを推定する。換言すれば、この実施形態では、 相対オフセットＤは、ビデオ・カメラが基準画像の撮影から現行画像の撮影まで どの程度移動したかを、ピクセル単位で測定する。相対オフセットはまた、ビデ オ・カメラが写真を撮影するごとにその回転角を記録するハードウェア装置を使 用することにより、自動的に求めることもできる。 現行画像の相対オフセットＤを求めた後は、ステップ３１６で、現行画像の相 対オフセットＤを基準画像の基準オフセットに関連付けることにより、現行画像 の絶対ピクセル・オフセット（以下「オフセット」）を推定する。第３図に関し て説明した本発明による方法の実施形態では、現行画像の相対ピクセル・オフセ ットＤを、ここで説明する現行画像のオフセットの推定と同様の方法で先に推定 した基準オフセットに加算する。第２幅を有する現行画像の中央のストリップは 、記憶媒体上にデジタル形式で記憶された得られる合成画像上にステッチングす る。現行画像の中央のストリップは、得られる合成画像上の現行画像の絶対オフ セットに対応する位置にステッチングする。 次いで、処理は判断ブロック３１８に進み、そこでビデオ・カメラによって生 成された１組の画像のすべての画像が処理されたかどうかを判定する。処理され ていない残りの画像がある場合、処理はブロック３１２に進み、そこからステッ プ３１２、ステップ３１４、およびステップ３１６を実行する。しかし、ビデオ ・カメラによって生成された１組の画像からすべての画像が処理済みである場合 、処理は判断ブロック３２０に進む。このブロックで、３６０°より狭い画像ま たは３６０°より広い画像とは対照的に、３６０°の合成画像が好ましいかどう かを判定する。そのような場合、合成画像の片側からいくつかのピクセルをコピ ーすることにより、基準画像を作成する（ステップ３２２）。３６０°回転のピ クセル・オフセットは、得られる合成画像内のそのいくつかのピクセルが再び出 現する位置を見つける第２相関処理を使用することによって求められる。次いで 、３６０°の回転に対応するピクセル・オフセットを超えるすべてのピクセルを 排除することにより、得られる合成画像の幅を縮小する。次いで、この特定の実 施形態での処理はブロック３２４で終了する。第２相関処理は、前述の標準的な 相関処理のいずれかでよい。 第２図のコンピュータ・システムは、本発明による方法と共に、次の形で使用 することができる。複数の画像から合成画像を生成するものなどのプログラムは 、第２図に示した大容量記憶装置２１２やメモリ２１６などの記憶装置内に記憶 される。ＣＰＵ２１４など、記憶装置に結合された実行ユニットは、合成画像を 生成するプログラムを実行し、それによって第１結果画像、第２結果画像、およ び第３結果画像を生成する。第１結果画像は、第１寸法を有する現行画像を選択 することによって生成される。現行画像は、それに関連付けられた絶対オフセッ ト（以下「オフセット」）を有する。第２結果画像は、この実施形態での細幅の ストリップなど、第１寸法より小さな第２寸法を有する一部分を現行画像から抽 出することによって生成される。第３結果画像は、現行画像のその一部分をメモ リ上のそのオフセットに対応する位置に転送することによって生成される。 第４図に、本発明による合成画像を生成する方法の一実施形態におけるビデオ ・カメラ４００の横断面と記録すべき被写体となるシーン４０４を概略的に示す 。ビデオ・カメラ４００は、電荷結合素子４０２などの画像検出媒体をその内部 に含む。ステップ３１６で使用される現行フレーム４０５の細幅のストリップ４ ０８（この実施形態では中央のストリップ）をフレーム４０５の中央に示すが、 本発明はこの点で限定されない。フレーム４０５のストリップ４０８、レンズ４ １１の焦点４１２、およびビデオ・カメラが取り付けられる三脚の回転の中心４ １ ０はすべて、ほぼ同一線４１９上に整列する。 円弧４１５は、記録すべき被写体４０４の理想の円筒形の合成画像をその上に 投影することができる円筒を概略的に表す。しかしながら、実際には、被写体４ ０４の画像はほぼ平坦なＣＣＤによって感知され検出される。従来型のカメラで はＣＣＤ４０２は曲線をなしていないので、本発明による方法の一実施形態がな い場合、ＣＣＤ４０２上に画像の感知および検出を行うと円筒形の歪みを生じる 可能性がある。 本発明による方法の一実施形態では、境界線４１７および４３３を境界とする 各フレーム４０５の中央でストリップ４０８を選択し、フレーム全体ではなく、 そのストリップを所期のシーンを描写する合成画像（図示せず）上にステッチン グする。ストリップ４０８をステッチングすることにより、仮想の円弧４１５上 に投影される画像とＣＣＤ４０２上に記録される画像との誤差が減少する。スト リップ４０８の２つの垂直の側面４２０および４２４によって線引きされる円弧 ４１５の部分は、２つの側面４２０および４２４によって線引きされるＣＣＤ４ ０２の部分とほぼ同じ形状を有する。ストリップ４０８を細くすると、ストリッ プ４０８が側面４２０および４２４によって線引きされる円弧４１５の部分の形 状にさらに近似するため、円弧４１５上に投影される理想の画像とフレーム４０ ５上に生成される実際の画像との誤差はそれに応じて小さくなる。画像ステッチ ング処理ではフレームの細幅のストリップを使用するので、レンズの焦点と回転 の中心との差は合成画像の滑らかさにあまり影響を与えず、本質的に無視してよ く、その結果レンズの焦点を中心にカメラを回転させる必要はなくなる。 第５ａ図に、本発明による方法によって形成された合成画像５０２を示す。本 発明による方法によって使用される画像は、一方の画像を他方の画像に直接ステ ッチングすると全体の画像に歪みが生じるように、いくつかの画像が部分的に重 なっている（図示せず）ことを除き、合成画像５０２の特徴をすべて含む。 第５ｂ図に、その間の相対オフセットでシフトした、ストリップ５１４および ５１２をそれぞれ有する２つの画像５０６および５０８を示す。画像５０６（基 準画像）は、デジタル記憶媒体上に既にステッチングされた前の画像でよい。画 像５０８（現行画像）は、合成結果画像上にまだステッチングされていない残り の画像のいずれかである。この例では、ビデオ・カメラを右に回転し、合成画像 の左から正のオフセットを生成している。 第１相関処理によって相対オフセットＤを求めた後は、相対オフセットＤをス トリップ５１４の基準オフセットに加算することにより、ストリップ５１２の絶 対オフセットを求める。次いで、ストリップ５１２を合成画像の一部分に重ね合 わせることにより、ストリップ５１２を合成画像５０２にステッチングすること ができる。本発明による方法の一実施形態では、ストリップ５１２のステッチン グは、合成画像５０２を記憶する記憶媒体上へのストリップ５１２の転送および コピーを含む。 第５ｃ図に、ストリップ５１２と合成画像５０２を示す。ストリップ５１２と 合成画像５０２は、得られる合成画像が合成画像の左端部（境界線５２２の左） とストリップ５１２のすべてを含むようにステッチングする。別法として、加重 平均処理を使用して、合成画像５０２とストリップ５１２の重複部分をステッチ ングすることもできる。加重平均処理によれば、合成画像５０２とストリップ５ １２は、線５２２および５２４の間で徐々に混ぜ合わされる。ストライプ５１２ は、境界線５２２でストリップ５１２の０％が合成画像にステッチングされ、境 界線５２２上の合成画像５０２の内容が１００％ステッチングされるように、境 界線５２２の右部分で合成画像５０２にステッチングする。線５２２と線５２４ の間のストリップ５１２の部分は、境界線５２４でストリップ５１２の１００％ および合成画像５０２の０％が得られる合成画像にステッチングされるように加 重してステッチングする。その結果、一実施形態では、得られる合成画像は、合 成画像５０２を記憶する媒体上で見ると、ビデオ・カメラによって撮影された初 期基準画像５０６の中央のストリップが先頭で、ビデオ・カメラによって撮影さ れた現行画像５０８の中央のストリップの一部分が末尾の画像となる。 第１相関処理の間は、画像の限られた部分のみすなわち相関領域（図示せず） を相関の対象とする。例えば、３２０ピクセルの幅を有する画像の場合、相関領 域は８０ピクセルの幅を有するが、ストライプの幅は約１６ピクセルとなる。相 関領域の幅とストリップの幅の選択に当たっては、いくつかの要素を考慮するこ とが好ましい。例えば、相関領域はかなり大きくする必要がある。相関領域を小 さくすると、相関処理で類似する画像を区別することが困難になる可能性がそれ に応じて高くなる。シーンが複数の繰り返す形を含み、かつ相関領域を小さくす ると、誤相関が生じる可能性が高くなる。したがって、相関領域を大きくすると 、繰返し要素を含む画像において誤相関が生じる可能性はそれに応じて低くなる 。ただし、相関領域が大きすぎると、この領域にレンズによって生じる広角度の 歪みが含まれる可能性がそれに応じて高くなり、その結果処理において連続する 画像を相関させることができなくなる可能性がある。ストリップに関して言えば 、合成画像上にステッチングするストリップを細くすると、合成画像内に生じる 歪みはそれに応じて少なくなる。ただし、ストリップを細くすると、ビデオ・カ メラの移動をそれに応じて遅くする必要がある。ビデオ・カメラを画像が記録さ れる速度に対して過度に速く移動すると、合成画像上の２つの連続する画像の間 に黒色のストリップが生じる可能性がある。しかしながら、得られる画像に画像 間の広角歪みによって生じる継目が含まれることになるので、ストリップを過度 に大きくしないようにすることが好ましい。 第６図に、第１の分離されたシーン要素６０６が記憶媒体６０４の左部分に出 現し、同じシーン要素６１６が記憶媒体６０４の右部分に出現した、記憶媒体６ ０４上にステッチングされた合成画像を概略的に示す。１組の画像は通常、３６ ０°をやや過ぎるまでカメラを回転させることによって生成されることから、第 ２相関処理を実行して３６０°の合成画像の末尾を求める。本発明による方法の 一実施形態では、シーン要素６０６（記憶媒体６０４の左端側）を含む合成画像 の比較的広い部分（第１部分）を取り、記録媒体６０４の右手に記録された合成 画像の部分（第２部分）に対する相関処理を実行して、記録媒体６０４の末尾で 画像６０６が再び出現する場所を見つけることにより、これを実施することがで きる。第６図に示す例では、シーン要素６０６は、記憶媒体６０４の右部分でシ ーン要素６１６によって再現されている。そのような場合、合成画像の先頭とな る一方の側からいくつかのピクセルをコピーすることにより、基準画像を作成す る。第２相関処理を使用して、得られる合成画像内のそのいくつかのピクセルが 再び出現する位置を見つけることにより、３６０°の回転のピクセル・オフセッ トを推定する。次いで、３６０°の回転に対応するピクセル・オフセットを超え たすべてのピクセルを排除することにより、得られる合成画像の幅を縮小する。 以上の明細では、本発明についてその特定の実施形態を参照しながら述べた。 ただし、付属の請求の範囲に記載の発明のより広義の精神および範囲から逸脱す ることなく、本発明に様々な変更および修正を加えることができることは明らか であろう。本明細書および図面はそれに応じて、限定的なものではなく例示的な ものと見なされるべきである。したがって、本発明の範囲は、付属の請求の範囲 によってのみ限定されるべきである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＣＺ，ＤＥ，ＤＥ，Ｄ Ｋ，ＤＫ，ＥＥ，ＥＥ，ＥＳ，ＦＩ，ＦＩ，ＧＢ，ＧＥ ，ＧＨ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ， ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，Ｌ Ｕ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ， ＳＩ，ＳＫ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，Ｕ Ａ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (1)

1. 【特許請求の範囲】 １．合成画像を生成する方法であって、 ａ．複数の画像からオフセットを有する現行画像を選択するステップと、 ｂ．さらに前記現行画像から一部分を抽出するステップと、 ｃ．前記現行画像の前記部分を前記合成画像を記憶する記憶媒体上の前記オフ セットに対応する位置に転送するステップと を含む方法。 ２．現行画像のオフセットが第１基準画像に関連する基準オフセットを前記現行 画像と前記第１基準画像との間の相対オフセットに関連付けることによって推定 されることを特徴とする請求項１に記載の方法。 ３．相対オフセットが現行画像と第１基準画像の間で相関処理を実行することに よって推定されることを特徴とする請求項２に記載の方法。 ４．基準オフセットが第１基準画像と第２基準画像の間で相関処理を実行するこ とによって推定されることを特徴とする請求項３に記載の方法。 ５．第１基準画像が記憶媒体に先に転送された複数の画像から選択されることを 特徴とする請求項４に記載の方法。 ６．第１基準画像が現行画像と部分的に重なることを特徴とする請求項５に記載 の方法。 ７．現行画像の一部分を記憶媒体に転送するステップが前記部分を記憶媒体に先 に転送された画像にステッチングするステップを含む請求項６に記載の方法。 ８．複数の画像が、回転の中心を中心に回転させながらビデオ・カメラによって 生成されることを特徴とする請求項７に記載の方法。 ９．現行画像がビデオ・カメラによって生成される場合は前記現行画像のオフセ ットがビデオ・カメラの回転角に対応することを特徴とする請求項８に記載の方 法。 １０．コンピュータ・システムであって、 複数の画像から合成画像を生成するプログラムをその内部に記憶する記憶装置 と、 前記プログラムを実行して第１結果画像、第２結果画像、および第３結果画像 を生成する、前記記憶装置に結合された実行ユニットを含み、 ａ．前記第１結果画像が複数の画像からオフセットを有する現行画像を選択す ることによって生成され、 ｂ．前記第２結果画像が前記現行画像から一部分を抽出することによって生成 され、 ｃ．前記第３結果画像が前記現行画像の前記部分を前記合成画像を記憶する記 憶媒体上の前記オフセットに対応する位置に転送することによって生成される コンピュータ・システム。 １１．現行画像のオフセットが第１基準画像に関連する基準オフセットを前記現 行画像と前記第１基準画像との間の相対オフセットに関連付けることによって推 定されることを特徴とする請求項１０に記載のコンピュータ・システム。 １２．相対オフセットが現行画像と第１基準画像の間で相関処理を実行すること によって推定されることを特徴とする請求項１１に記載のコンピュータ・システ ム。 １３．基準オフセットが第１基準画像と第２基準画像の間で相関処理を実行する ことによって推定されることを特徴とする請求項１２に記載のコンピュータ・シ ステム。 １４．第１基準画像が記憶媒体に先に転送された複数の画像から選択されること を特徴とする請求項１３に記載のコンピュータ・システム。 １５．第１基準画像が現行画像と部分的に重なることを特徴とする請求項１４に 記載のコンピュータ・システム。 １６．現行画像の一部分を記憶媒体に転送するステップが前記部分を記憶媒体に 先に転送された画像にステッチングするステップを含む請求項１５に記載のコン ピュータ・システム。 １７．複数の画像が、回転の中心を中心に回転させながらビデオ・カメラによっ て生成されることを特徴とする請求項１６に記載のコンピュータ・システム。 １８．現行画像がビデオ・カメラによって生成される場合は前記現行画像のオフ セットがビデオ・カメラの回転角に対応することを特徴とする請求項１７に記載 のコンピュータ・システム。 １９．複数の画像のうちの現行画像の絶対オフセットを推定する方法であって、 前記の複数の画像から初期基準画像を選択し、前記初期基準画像に初期オフセ ットを関連付けるステップと、 前記の複数の画像のうちの処理済みの画像を判定するステップと、 前記の複数の画像のうちの処理済みの前記画像から基準画像を選択するステッ プを含み、前記基準画像が前記初期オフセットに対する基準オフセットを有し、 さらに前記基準画像と前記現行画像の間の相対オフセットを推定するステップ と、 前記相対オフセットを前記基準画像の前記基準オフセットと関連付けることに よって前記現行画像の前記絶対オフセットを推定するステップと を含む方法。 ２０．前記相対オフセットが前記現行画像と前記基準画像の間で第１相関処理を 実行することによって推定されることを特徴とする請求項１９に記載の方法。 ２１．前記相対オフセットが、前記相対オフセットを前記基準画像の前記基準オ フセットに加算することによって前記基準オフセットに関連付けられることを特 徴とする請求項２０に記載の方法。 ２２．複数の画像から合成画像を生成するプログラムをその内部に記憶する記憶 装置であって、プログラムが実行ユニットによって実行されると実行ユニットが 第１結果画像、第２結果画像、および第３結果画像を生成し、 ａ．前記第１結果画像が複数の画像からオフセットを有する現行画像を選択す ることによって生成され、 ｂ．前記第２結果画像が前記現行画像から一部分を抽出することによって生成 され、 ｃ．前記第３結果画像が前記現行画像の前記部分を前記合成画像を記憶する記 憶媒体上の前記オフセットに対応する位置に転送することによって生成される 記憶装置。 ２３．現行画像のオフセットが第１基準画像に関連する基準オフセットを前記現 行画像と前記第１基準画像の間の相対オフセットと関連付けることによって推定 されることを特徴とする請求項２２に記載の記憶装置。 ２４．基準オフセットが第１基準画像と第２基準画像の間で相関処理を実行する ことによって推定されることを特徴とする請求項２３に記載の記憶装置。