JP2000090232A - パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 - Google Patents

パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体

Info

Publication number
JP2000090232A
JP2000090232A JP10254031A JP25403198A JP2000090232A JP 2000090232 A JP2000090232 A JP 2000090232A JP 10254031 A JP10254031 A JP 10254031A JP 25403198 A JP25403198 A JP 25403198A JP 2000090232 A JP2000090232 A JP 2000090232A
Authority
JP
Japan
Prior art keywords
image
images
synthesizing
partial
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10254031A
Other languages
English (en)
Other versions
JP4146938B2 (ja
Inventor
Yasutatsu Ooura
康達 大浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP25403198A priority Critical patent/JP4146938B2/ja
Priority to US09/391,945 priority patent/US6392658B1/en
Publication of JP2000090232A publication Critical patent/JP2000090232A/ja
Application granted granted Critical
Publication of JP4146938B2 publication Critical patent/JP4146938B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 画像数が多くなっても画像の正確な繋ぎ合わ
せを行うことができ、且つ合成処理中にも合成結果の全
体をイメージできる。 【解決手段】 複数の画像を合成してパノラマ画像を合
成するパノラマ画像合成装置において、デジタルカメラ
で画像の一部が重複するように被写体像を複数に分割し
て撮像し、撮像して得られた複数の画像を合成してパノ
ラマ画像を生成するステップＳ４〜Ｓ６と、パノラマ画
像の全体プレビューと部分プレビューを同一ウインドウ
に同時表示するステップＳ８と、手動処理すべき部分画
像を指定するステップＳ１１と、指定された部分画像に
基づいて手動操作により画像を再合成するステップＳ１
３とを有する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、連続性のある複数
の画像を合成してパノラマ画像を生成するためのパノラ
マ画像合成装置及びパノラマ画像合成プログラムを格納
した記録媒体に関する。
【０００２】
【従来の技術】近年、デジタルカメラ（電子スチルカメ
ラ）で得られた複数の画像を基にパノラマ画像を合成す
るパノラマ画像合成装置が提案されている。この装置で
は、デジタルカメラにより画像の一部が重複するように
被写体像を複数に分割して撮像し、該撮像して得られた
複数の画像に対し隣接画像の繋ぎ合わせにより合成して
パノラマ画像を生成する。
【０００３】このような画像処理は、デジタルカメラ自
体で行っても良いが、カメラのコスト，画像データのサ
イズ，処理速度，及び処理プログラムのサイズなどか
ら、パーソナルコンピュータ（以下、パソコンと略記す
る）等のコンピュータ上で行うのが現実的である。そし
てこの場合、ユーザーが複雑な操作を行う必要なく、画
像合成を手軽に行うことのできる処理装置や処理プログ
ラムの実現が望まれている。
【０００４】
【発明が解決しようとする課題】しかしながら、全ての
画像からなる全体画像をパソコンのディスプレイに表示
し、これを基に隣接画像の繋ぎ合わせ及び確認の処理を
行う場合、画像数が多くなるに伴い個々の画像の表示領
域が小さくなる。このため、合成処理すべき２つの画像
の表示領域が小さくなり、正確な繋ぎ合わせを行うのは
困難となる。これに対し、全体画像を表示するのではな
く合成処理すべき部分画像のみを順次拡大表示し、この
拡大した部分画像を見ながら繋ぎ合わせ処理を行う場
合、正確な繋ぎ合わせの確認は可能となるものの、合成
結果の全体をイメージすることができないという問題が
ある。
【０００５】また、多数の画像に対して隣接画像の繋ぎ
合わせを手動で行うには多大な時間がかかり、ユーザー
の負担が大きい。一方、隣接画像の繋ぎ合わせを自動で
行うようにすれば、ユーザーの負担を小さくできるが、
この場合は画像の繋ぎ合わせの自由度が少なくなる。
【０００６】本発明は、上記事情を考慮して成されたも
ので、その目的とするところは、画像数が多くなっても
画像の正確な繋ぎ合わせを行うことができ、且つ合成処
理中にも合成結果の全体をイメージすることのできるパ
ノラマ画像合成装置を提供することにある。
【０００７】また、本発明の他の目的は、画像数が多く
なっても画像の繋ぎ合わせに要するユーザーの負担を小
さくすることができ、且つ画像の繋ぎ合わせの自由度を
保つことのできるパノラマ画像合成装置を提供すること
にある。また、本発明の他の目的は、上記処理をコンピ
ュータで実現するためのパノラマ画像合成プログラムを
格納した記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】（構成）上記課題を解決
するために本発明は次のような構成を採用している。即
ち本発明は、画像の一部が重複するように被写体像を複
数に分割して撮像された複数の画像データを合成してパ
ノラマ画像を合成するパノラマ画像合成装置であって、
前記パノラマ画像を構成する全ての画像からなる全体画
像を表示する全体画像表示手段と、前記全体画像のうち
所定範囲の複数の部分画像を指定する部分画像指定手段
と、前記部分画像指定手段により指定された部分画像を
拡大した画像を前記全体画像と同一画面上に表示する部
分画像表示手段とを具備してなることを特徴とする。
【０００９】また本発明は、複数の画像を繋ぎ合わせる
ためのパノラマ画像合成装置において、画像の一部が重
複するように被写体像を複数に分割して撮像された複数
の画像データを自動的に合成してパノラマ画像を生成す
るパノラマ画像合成手段と、前記パノラマ画像を構成す
る全ての画像からなる全体画像を表示する全体画像表示
手段と、前記全体画像のうちの所定範囲の複数の部分画
像を指定する部分画像指定手段と、前記部分画像指定手
段により指定された部分画像を拡大した画像を前記全体
画像と同一画面上に表示する部分画像表示手段と、前記
部分画像指定手段により指定された部分画像に基づいて
手動操作により画像を再合成する再合成手段とを具備し
てなることを特徴とする。
【００１０】ここで、本発明の望ましい実施態様として
は次のものがあげられる。 (1) 部分画像指定手段は、全体画像の表示部において、
隣接する２つの部分画像に相当する領域の周囲に枠を表
示するものであること。
【００１１】(2) 再合成手段として、合成すべき２つの
部分画像に対し、繋ぎ合わせる複数のポイントを表示画
面上にそれぞれ指定すること。 (3) パノラマ画像合成処理における途中の進行結果をプ
レビューとして表示すること。ユーザーが進行状況を確
認しながら処理を任意に中断でき、今までの処理結果を
部分画像のパノラマ合成画像として得ること。
【００１２】また本発明は、画像の一部が重複するよう
に被写体像を複数に分割して撮像された複数の画像デー
タを合成してパノラマ画像を生成するパノラマ画像合成
装置であって、前記パノラマ画像を構成する全ての画像
からなる全体画像と、前記全体画像のうちパノラマ画像
合成の対象となる複数の部分画像を拡大した画像とを同
一画面上に表示する画像表示手段と、前記部分画像に基
づいて画像を繋ぎ合わせて合成する合成手段とを具備し
てなることを特徴とする。
【００１３】ここで、本発明の望ましい実施態様として
は次のものがあげられる。 (1) 全体画像のうち合成手段によって合成された領域に
ついては、合成手段によって合成された画像に置き換え
て表示すること。
【００１４】(2) 合成手段は、手動合成又は自動合成の
いずれかに切換可能であること。 (3) 合成手段は、全体画像のうち隣接する２つの部分画
像に対して、手動合成又は自動合成のいずれかに任意に
切換可能であること。
【００１５】(4) 合成手段において手動合成のために、
合成すべき２つの部分画像に対し、繋ぎ合わせる複数の
ポイントを表示画面上にそれぞれ指定すること。 (5) パノラマ画像合成処理における途中の進行結果をプ
レビューとして表示すること。ユーザーが進行状況を確
認しながら処理を任意に中断でき、今までの処理結果を
部分画像のパノラマ合成画像として得ること。
【００１６】また本発明は、コンピュータによって読み
取り可能で、複数の画像を合成してパノラマ画像を生成
するようにコンピュータを制御するためのプログラムを
格納した記録媒体であって、前記プログラムは前記コン
ピュータを、画像の一部が重複するように被写体像を複
数に分割して撮像された複数の画像データを自動的に合
成してパノラマ画像を生成するパノラマ画像合成手段、
前記パノラマ画像を構成する全ての画像からなる全体画
像を表示する全体画像表示手段、前記全体画像のうち所
定範囲の複数の部分画像を指定する部分画像指定手段、
前記部分画像指定手段により指定された部分画像を拡大
した画像を前記全体画像と同一画面上に表示する部分画
像表示手段、前記部分画像指定手段により指定された部
分画像に基づいて手動操作により画像を再合成する再合
成手段、として機能させることを特徴とする。
【００１７】（作用）本発明によれば、パノラマ画像の
全体画像と全体画像のうち所定範囲の複数の部分画像を
拡大した画像を同一画面上に表示することにより、合成
結果の全体をイメージしながら隣接画像の繋ぎ合わせを
行うことができる。そしてこの場合、パノラマ画像合成
の対象となる部分画像は拡大表示されているので、画像
の繋ぎ合わせを正確に行うことが可能となる。さらに、
全体画像のうち所定範囲の部分画像を指定し、指定され
た部分画像に基づいて手動操作により画像を再合成する
ことにより、より正確な画像合成を行うことが可能とな
る。
【００１８】また、パノラマ画像の全体画像とパノラマ
画像合成の対象となる複数の部分画像を拡大した画像と
を同一画面上に表示した状態で、部分画像に基づいて画
像を手動又は自動に切り換えて合成することにより、画
像の繋ぎ合わせの自由度を保つことができると共に、画
像合成に要するユーザーの負担を小さくすることができ
る。
【００１９】
【発明の実施の形態】以下、本発明の詳細を図示の実施
形態によって説明する。 （第１の実施形態）図１は、本発明の第１の実施形態に
係わるパノラマ画像合成装置のシステム構成を示す図で
ある。
【００２０】デジタルカメラ１は、内蔵するＣＣＤ等の
撮像素子により光電変換した画像のデータを、例えばフ
ラッシュメモリ等でなる着脱自在の記録媒体２に記録す
るものである。この記録媒体２は、コンピュータとして
のパーソナルコンピュータ（以下、パソコンと略記す
る）３に設けられたリーダ部に装着されて、記録された
画像データがパソコン３に読み込まれるようになってい
る。
【００２１】パソコン３には、画像やその他の処理情報
を表示するためのディスプレイ４と、主として文字入力
等を行うためのキーボード５と、ディスプレイ４に表示
された画面上の位置を指し示すためのマウス６とが接続
されている。さらに、このパソコン３には、大量の画像
データを記録するためのデジタルレコーダ７や、画像の
印刷を行うためのプリンタ８などが、必要に応じて接続
されるようになっている。
【００２２】次に、図２を参照して上記パソコン３の内
部構成について、簡単に説明しておく。このパソコン３
は、画像合成処理プログラムに従って画像の繋ぎ合わせ
を行うと共に、その他の各種プログラムに応じて各種の
演算や制御などを行う手段であり、画像合成手段を兼ね
たＣＰＵ１１と、このＣＰＵ１１の作業領域であって上
記画像合成処理プログラムがロードされるメインメモリ
１２と、例えばハードディスクやフロッピーディスク等
でなり上記画像合成処理プログラムを記録した記録媒体
たる内部記録媒体１３と、前記デジタルレコーダ７やプ
リンタ８などの各種の外部機器に接続するための外部ポ
ート１４と、前記ディスプレイ４に接続するインターフ
ェース（以下、ＩＦと略記する）１６と、前記キーボー
ド５やマウス６を接続するＩＦ１７と、前記記録媒体２
が電気的に接続されるコネクタ１８及びＩＦ１５と、を
有して構成されている。そして、ＣＰＵ１１，メインメ
モリ１２，内部記録媒体１３，外部ポート１４，ＩＦ１
５，１６，１７は、バスを介して互いに接続されてい
る。
【００２３】図３は、画像の繋ぎ合わせ処理の基本的な
アルゴリズムを示したものであり、このアルゴリズムに
ついて図４を参照して説明する。ここで、繋ぎ合わせ処
理が行われる前の段階において、ＣＰＵ１１により、パ
ノラマ画像を構成する複数コマの画像情報が、識別情報
に基づいて、図４の最上段に示すように、左から右に向
かう所定の順序に並べ替えられるようになっている。
【００２４】この繋ぎ合わせ処理が始まると、まず左か
ら１枚目の画像（図４の画像１）を読み込むと共に（ス
テップＳ１）、その次の右画像（図４の画像２）を読み
込んで（ステップＳ２）、これら２枚の画像について繋
ぎ合わせ演算処理を行って（ステップＳ３）、結果画像
を得る。そして、次の右画像はまだあるか否かを判断し
（ステップＳ４）、ある場合には上記処理した結果画像
を左画像として（ステップＳ５）、上記ステップＳ２に
戻り、続く右側画像の繋ぎ合わせ処理を行う。また、ス
テップＳ４において、右画像がもう無いと判断される場
合には、この処理を抜ける。
【００２５】このように、上記の繋ぎ合わせ処理におい
ては、左側から画像を順に２枚ずつ順次繋ぎ合わせて最
終的なパノラマ画像を、自動処理によって得るようにな
っている。
【００２６】次に、本実施形態の特徴である全体プレビ
ューと部分プレビューの同時表示、及び手動操作による
再合成処理について説明する。図５は、その処理内容を
示すフローチャートである。なお、このフローは、例え
ば磁気ディスク等の記録媒体に記録されたプログラムを
読み込み、このプログラムによって動作が制御される先
のパソコンによって実現される。
【００２７】まず、インデックス画像（サムネイル画
像）の表示を行い（ステップＳ１）、パノラマ対象画像
を判別する（ステップＳ２）。この判別は、デジタルカ
メラで撮像画像を記録する際に、通常の画像とパノラマ
対象画像とに異なる識別名等を付しておくことにより可
能となる。そして、パノラマ合成処理対象画像（ステッ
プＳ３）を選択する。
【００２８】パノラマ合成処理対象画像が選択される
と、選択された画像が例えば左側から順に自動処理によ
り繋ぎ合わせ処理される（ステップＳ４〜Ｓ６）。この
処理は、前記図３及び図４に示したアルゴリズムと基本
的に同じである。また、この処理を途中で中断した場合
は、後述するように中断するまでに合成処理した部分画
像が表示される（ステップＳ７）。
【００２９】全ての画像の繋ぎ合わせ処理が終わると、
その自動処理結果が図６に示すように表示される（ステ
ップＳ８）。図中の上側の領域が全体画像を示し、中央
の領域が部分画像を示し、下側の領域が各種操作選択画
面を示している。なお、全体画像の一部は枠で囲ってお
り、この枠で囲った領域が部分画像として拡大表示され
ている。部分画像の直下にはスクロールバーがあり、こ
のスクロールバーにより部分画像を移動することによ
り、全体画像における枠の位置も移動するようになって
いる。また、各種操作選択画面には、自動処理／手動処
理の切換、合成処理のスタート／ストップの切換、等を
指定するためのスイッチ領域が設けられている。
【００３０】このように、合成結果画像の全体プレビュ
ーと部分プレビューを同一ウインドウで同時に表示す
る。全体プレビューは、合成結果の全体を一つのウイン
ドウ内で表示し、これにより合成結果の全体イメージを
把握することができる。部分プレビューは、合成結果の
一部をやや大きめに表示し、これによりスクロールによ
って各画像を結合した部分が正しく合成されているかを
確認できる。また、全体プレビュー内に、部分プレビュ
ーが表示されている箇所を示す枠を表示することによ
り、２つのプレビューの関連性が明確になる。
【００３１】次に、部分画像をスクロールすることによ
り画像を結合した部分が正しく合成されているか否かを
確認し（ステップＳ９）、手動で繋ぎ合わせの再処理を
行うか否かを選択する（ステップＳ１０）。もし、正し
くないところを発見した場合は、全体プレビュー上の枠
をクリックすることにより（ステップＳ１１）、再処理
すべき２枚の画像を選択し、全体の結果画像を２つに切
り離して表示する（ステップＳ１２）。この状態を、図
７に示している。
【００３２】手動処理（ステップＳ１３）としては、左
右の部分画像の結合すべきポイントを画面上で例えば２
箇所ずつ選択することにより行う。図７中の十字マーク
が結合ポイントである。再処理結果は、全体プレビュー
及び部分プレビューに反映される（ステップＳ１４）。
そして、ステップＳ９に戻り、再び部分画像をスクロー
ルすることにより画像を結合した部分が正しく合成され
ているか否かを確認し、手動で繋ぎ合わせの再処理を行
うか否かを選択する。再処理を行わない場合は終了す
る。
【００３３】このように本実施形態によれば、パノラマ
画像を構成する全ての画像からなる全体画像に相当する
全体プレビューと、全体画像の一部に相当する部分プレ
ビューとを同一画面に同時表示することにより、合成結
果の全体イメージを把握しながら、画像を結合した部分
が正しく合成されているかを簡易に確認できる。しか
も、全体プレビュー内に、部分プレビューで表示されて
いる個所を示す枠を表示することにより、２つのプレビ
ューの関連性が明確になる。また、部分プレビューから
合成結果を簡単にしかもはっきりと確認することができ
ることから、正しくない部分のみを手動処理により再合
成することにより、パノラマ画像合成処理を正確に且つ
速やかに行うことができる。
【００３４】（第２の実施形態）図８は、本発明の第２
の実施形態に係わるパノラマ画像合成処理を示すフロー
チャートである。本実施形態は、画像合成処理の自動処
理と手動処理を切り替えを可能としたものである。
【００３５】自動処理結果表示（ステップＳ８）までは
前記図５に示した第１の実施形態と同様である。本実施
形態ではこの処理の後、処理結果画像が満足できるもの
であるかを判断し（ステップＳ９）、そうでない場合は
以降の処理を選択する（ステップＳ１０）。即ち、自動
処理を行うか（ステップＳ１１）、手動処理を行うか
（ステップＳ１２）、又は残り全てに自動処理を行うか
（ステップＳ１３）を選択する。自動処理の仕方及び手
動処理の仕方は第１の実施形態と同様である。
【００３６】自動処理又は手動処理が選択された場合、
その処理による部分処理結果が表示される（ステップＳ
１４）。そして、次の処理対象画像があるか否かが判定
され（ステップＳ１５）、有る場合はステップＳ１０に
戻り、無い場合は全体の処理結果を表示して（ステップ
Ｓ１６）、パノラマ画像合成処理を終了する。また、残
り全ての自動処理が選択された場合は、全体の処理結果
を表示して（ステップＳ１６）、パノラマ画像合成処理
を終了する。
【００３７】ここで、図９（ａ）〜（ｃ）に示すような
３枚の画像の合成を例に取り説明する。ステップＳ８の
自動処理結果表示では、図１０に示すように、左側から
１枚目（ａ）と２枚目（ｂ）が拡大表示される。このと
き、前記図６に示すように、全体プレビューと部分プレ
ビューを同時表示するようにしても良い。ここで、自動
処理を選択すると、先に説明したアルゴリズムに従って
画像の繋ぎ合わせが行われ、図１１に示すように、１枚
目と２枚目の処理結果が表示される。このとき、全体プ
レビューと部分プレビューが同時表示される。次いで、
図１２に示すように、２枚目と３枚目に対し手動処理を
選択する。これにより、最終的に図１３に示すようなパ
ノラマ画像が作成される。
【００３８】このように本実施形態によれば、部分画像
を拡大表示した部分プレビューに基づいて、手動又は自
動を任意に切り換えて画像を合成することができる。こ
のため、全ての画像を手動で合成処理するのに比べて、
合成処理に要するユーザーの負担を大幅に軽減すること
ができる。また、全ての画像を自動で合成するのではな
く、一部を任意に手動で処理できることから、より正確
な合成（繋ぎ合わせ処理）が可能となる。さらに、ユー
ザーのニーズに応じた特殊な繋ぎ合わせも可能となり、
画像合成処理の自由度が増す。
【００３９】また、手動合成又は自動合成を選択する際
に、全体プレビューと部分プレビューとを同時表示する
ことにより、第１の実施形態と同様に、合成結果の全体
イメージを把握しながら、画像を結合した部分が正しく
合成されているかを簡易に確認することができる。
【００４０】なお、パノラマの自動合成処理において、
途中の結果画像を進行状況のプレビューとして画像番号
と共に表示することにより、画像合成がどこまで処理さ
れているかが一目瞭然になる。ここで、前記図５及び図
８のステップＳ５に相当するストップボタンを画面中に
設けることにより、ユーザーが上記の進行状況を確認し
ながら、処理を任意に中断でき、今までの処理結果を部
分画像のパノラマ合成画像として得ることができる。
【００４１】このとき、前記３枚の画像をパノラマ処理
する場合は、図１４に示すような画面となる。また、そ
の処理結果は、図１５に示すような画面となる。また、
複数画像をパノラマ処理する場合は、図１６に示すよう
に、手動処理の特徴点／対応点抽出の時に、今までの合
成結果画像をプレビューとして別ウインドウに表示する
ことにより、ユーザーがスクロールしなくても、結果の
把握や処理がどこまで進行していたかを簡易に確認する
ことができる。
【００４２】なお、本発明は上述した各実施形態に限定
されるものではない。第２の実施形態においては、ステ
ップＳ１０の処理選択の前に、予め自動で画像合成処理
を行ったが、必ずしも予め画像合成処理を行う必要はな
い。即ち、前記図１０に示す状態で２つの部分画像を見
ながら自動又は手動を選択して合成処理を進めるように
しても良い。また、自動合成における画像の繋ぎ合わせ
処理は、必ずしも前記図３及び図４に示したアルゴリズ
ムに限るものではなく、仕様に応じて適宜変更可能であ
る。同様に、手動合成による画像の繋ぎ合わせ処理も、
仕様に応じて適宜変更可能である。
【００４３】また、実施形態において記載した手法は、
コンピュータに実行させることのできるプログラムとし
て、例えば磁気ディスク（フロッピーディスク，ハード
ディスク等）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ
等）、半導体メモリなどの記録媒体に書き込んで各種装
置に適用したり、通信媒体により伝送して各種装置に適
用することも可能である。本装置を実現するコンピュー
タは、記録媒体に記録されたプログラムを読み込み、こ
のプログラムによって動作が制御されることにより、上
述した処理を実行する。その他、本発明の要旨を逸脱し
ない範囲で、種々変形して実施することができる。
【００４４】
【発明の効果】以上詳述したように本発明によれば、パ
ノラマ画像の全体プレビューと部分プレビューとを同一
画面上に表示することにより、合成結果の全体をイメー
ジしながら隣接画像の繋ぎ合わせを行うことができる。
従って、画像数が多くなっても画像の正確な繋ぎ合わせ
を行うことができ、且つ合成処理中にも合成結果の全体
をイメージすることができる。
【００４５】また、部分プレビューに基づいて手動又は
自動に切り換えて画像を合成処理することにより、画像
数が多くなっても画像の繋ぎ合わせに要するユーザーの
負担を小さくすることができ、且つ画像の繋ぎ合わせの
自由度を保つことができる。
【図面の簡単な説明】
【図１】第１の実施形態に係わるパノラマ画像合成装置
のシステム構成を示す図。
【図２】図１に示したパソコンの内部構成を示すブロッ
ク図。
【図３】画像の繋ぎ合わせ処理の基本的なアルゴリズム
を示す図。
【図４】図３のアルゴリズムにより繋ぎ合わされる画像
の様子を示す図。
【図５】本実施形態の特徴である全体プレビューと部分
プレビューの同時表示、及び手動操作による再合成処理
を示すフローチャート。
【図６】全体プレビューと部分プレビューを同一ウイン
ドウに表示した状態を示す図。
【図７】再処理すべき２つの部分画像を選択した状態を
示す図。
【図８】第２の実施形態に係わるパノラマ画像合成処理
を示すフローチャート。
【図９】パノラマ処理すべき３枚の画像を示す図。
【図１０】１枚目と２枚目の画像が拡大表示されている
状態を示す図。
【図１１】１枚目と２枚目の画像が合成処理された結果
画像を示す図。
【図１２】２枚目と３枚目の画像が拡大表示されている
状態を示す図。
【図１３】３枚の画像が合成処理された結果画像を示す
図。
【図１４】パノラマの自動処理において、途中の結果画
像を進行状況のプレビューとして表示している状態を示
す図。
【図１５】パノラマ画像合成処理を途中で中断したとき
の結果画像を示す図。
【図１６】手動処理の特徴点／対応点抽出の時に、今ま
での合成結果画像をプレビューとして別ウインドウに表
示した状態を示す図。
【符号の説明】
１…デジタルカメラ ２…記録媒体 ３…パソコン ４…ディスプレイ １１…ＣＰＵ １２…メインメモリ １３…内部記録媒体

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】画像の一部が重複するように被写体像を複
    数に分割して撮像された複数の画像データを合成してパ
    ノラマ画像を合成するパノラマ画像合成装置であって、 前記パノラマ画像を構成する全ての画像からなる全体画
    像を表示する全体画像表示手段と、前記全体画像のうち
    所定範囲の複数の部分画像を指定する部分画像指定手段
    と、前記部分画像指定手段により指定された部分画像を
    拡大した画像を前記全体画像と同一画面上に表示する部
    分画像表示手段とを具備してなることを特徴とするパノ
    ラマ画像合成装置。
  2. 【請求項２】画像の一部が重複するように被写体像を複
    数に分割して撮像された複数の画像データを自動的に合
    成してパノラマ画像を生成するパノラマ画像合成手段
    と、 前記パノラマ画像を構成する全ての画像からなる全体画
    像を表示する全体画像表示手段と、 前記全体画像のうち、所定範囲の複数の部分画像を指定
    する部分画像指定手段と、 前記部分画像指定手段により指定された部分画像を拡大
    した画像を前記全体画像と同一画面上に表示する部分画
    像表示手段と、 前記部分画像指定手段により指定された部分画像に基づ
    いて手動操作により画像を再合成する再合成手段と、を
    具備してなることを特徴とするパノラマ画像合成装置。
  3. 【請求項３】前記部分画像指定手段は、前記全体画像の
    表示部において、隣接する２つの部分画像に相当する領
    域の周囲に枠を表示するものであることを特徴とする請
    求項１又は２記載のパノラマ画像合成装置。
  4. 【請求項４】画像の一部が重複するように被写体像を複
    数に分割して撮像された複数の画像データを合成してパ
    ノラマ画像を生成するパノラマ画像合成装置であって、 前記パノラマ画像を構成する全ての画像からなる全体画
    像と、前記全体画像のうちパノラマ画像合成の対象とな
    る複数の部分画像を拡大した画像とを同一画面上に表示
    する画像表示手段と、 前記部分画像に基づいて画像を繋ぎ合わせて合成する合
    成手段と、を具備してなることを特徴とするパノラマ画
    像合成装置。
  5. 【請求項５】前記全体画像のうち前記合成手段によって
    合成された領域については、該合成手段によって合成さ
    れた画像に置き換えて表示することを特徴とする請求項
    ４記載のパノラマ画像合成装置。
  6. 【請求項６】前記合成手段は、手動合成又は自動合成の
    いずれかに切換可能であることを特徴とする請求項４記
    載のパノラマ画像合成装置。
  7. 【請求項７】前記合成手段は、前記全体画像のうち隣接
    する２つの部分画像に対して、手動合成又は自動合成の
    いずれかに任意に切換可能であることを特徴とする請求
    項４記載のパノラマ画像合成装置。
  8. 【請求項８】コンピュータによって読み取り可能で、複
    数の画像を合成してパノラマ画像を生成するようにコン
    ピュータを制御するためのプログラムを格納した記録媒
    体であって、 前記プログラムは前記コンピュータを、画像の一部が重
    複するように被写体像を複数に分割して撮像された複数
    の画像データを自動的に合成してパノラマ画像を生成す
    るパノラマ画像合成手段、前記パノラマ画像を構成する
    全ての画像からなる全体画像を表示する全体画像表示手
    段、前記全体画像のうち所定範囲の複数の部分画像を指
    定する部分画像指定手段、前記部分画像指定手段により
    指定された部分画像を拡大した画像を前記全体画像と同
    一画面上に表示する部分画像表示手段、前記部分画像指
    定手段により指定された部分画像に基づいて手動操作に
    より画像を再合成する再合成手段、として機能させるこ
    とを特徴とするパノラマ画像合成プログラムを格納した
    記録媒体。
JP25403198A 1998-09-08 1998-09-08 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 Expired - Fee Related JP4146938B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP25403198A JP4146938B2 (ja) 1998-09-08 1998-09-08 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
US09/391,945 US6392658B1 (en) 1998-09-08 1999-09-08 Panorama picture synthesis apparatus and method, recording medium storing panorama synthesis program 9

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25403198A JP4146938B2 (ja) 1998-09-08 1998-09-08 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体

Publications (2)

Publication Number Publication Date
JP2000090232A true JP2000090232A (ja) 2000-03-31
JP4146938B2 JP4146938B2 (ja) 2008-09-10

Family

ID=17259286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25403198A Expired - Fee Related JP4146938B2 (ja) 1998-09-08 1998-09-08 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体

Country Status (2)

Country Link
US (1) US6392658B1 (ja)
JP (1) JP4146938B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002055802A (ja) * 2000-08-10 2002-02-20 Seiko Epson Corp 印刷イメージ表示装置、印刷イメージ表示方法および印刷イメージ表示処理プログラムを記録した媒体
JP2003203251A (ja) * 2001-09-28 2003-07-18 Fuji Xerox Co Ltd ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム
JP2005044077A (ja) * 2003-07-25 2005-02-17 Ricoh Co Ltd 複数画像の合成方法
JP2005164832A (ja) * 2003-12-01 2005-06-23 Fuji Photo Film Co Ltd 立体視画像生成装置および方法並びにプログラム
JP2007109205A (ja) * 2005-09-14 2007-04-26 Sony Corp 画像表示装置、画像表示方法、プログラムおよび記録媒体
JP2007215141A (ja) * 2006-02-13 2007-08-23 Canon Inc 画像処理装置及び画像処理方法
JP2007316982A (ja) * 2006-05-26 2007-12-06 Olympus Imaging Corp 画像表示制御装置、画像表示装置、カメラ、及び画像表示制御プログラム
JP2011217065A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 撮像装置、撮像方法およびプログラム
JP2013061178A (ja) * 2011-09-12 2013-04-04 Aisin Aw Co Ltd 画像表示制御システム、画像表示制御方法および画像表示制御プログラム
US8451335B2 (en) 2008-12-12 2013-05-28 Keyence Corporation Imaging device
US8508587B2 (en) 2008-12-12 2013-08-13 Keyence Corporation Imaging device
US8581996B2 (en) 2008-12-12 2013-11-12 Keyence Corporation Imaging device
JP2014011720A (ja) * 2012-07-02 2014-01-20 Kddi Corp 点検補助装置及び方法
JP2017102405A (ja) * 2015-12-04 2017-06-08 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
JP2017120653A (ja) * 2015-01-19 2017-07-06 株式会社リコー 線形パノラマ画像連結のためのプレビュー画像取得ユーザインタフェース
WO2019003796A1 (ja) * 2017-06-28 2019-01-03 富士フイルム株式会社 画像合成方法、画像合成装置、及び記録媒体
WO2020003548A1 (ja) * 2018-06-29 2020-01-02 株式会社日立システムズ 画像表示システムおよび方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620909B2 (en) * 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7098914B1 (en) * 1999-07-30 2006-08-29 Canon Kabushiki Kaisha Image synthesis method, image synthesis apparatus, and storage medium
JP4143228B2 (ja) * 1999-08-27 2008-09-03 キヤノン株式会社 画像処理装置、画像処理方法および記憶媒体
US6563529B1 (en) * 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
US6717608B1 (en) * 1999-12-31 2004-04-06 Stmicroelectronics, Inc. Motion estimation for panoramic digital camera
US6771304B1 (en) * 1999-12-31 2004-08-03 Stmicroelectronics, Inc. Perspective correction device for panoramic digital camera
US7373017B2 (en) * 2005-10-04 2008-05-13 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
US6978051B2 (en) * 2000-03-06 2005-12-20 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
US6628283B1 (en) * 2000-04-12 2003-09-30 Codehorse, Inc. Dynamic montage viewer
GB0129787D0 (en) * 2001-12-13 2002-01-30 Hewlett Packard Co Method and system for collecting user-interest information regarding a picture
GB2383247A (en) * 2001-12-13 2003-06-18 Hewlett Packard Co Multi-modal picture allowing verbal interaction between a user and the picture
EP1379073A1 (de) * 2002-07-03 2004-01-07 Siemens Aktiengesellschaft Bildaufnahmeverfahren für ein Panoramabild
JP2004234455A (ja) * 2003-01-31 2004-08-19 Canon Inc 情報処理方法および画像再生装置
JP2004240750A (ja) * 2003-02-06 2004-08-26 Canon Inc 画像検索装置
JP4474106B2 (ja) * 2003-02-27 2010-06-02 キヤノン株式会社 画像処理装置、画像処理方法、記録媒体及びプログラム
JP4434624B2 (ja) * 2003-05-12 2010-03-17 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
JP4172352B2 (ja) * 2003-07-11 2008-10-29 ソニー株式会社 撮像装置及び方法、撮像システム、プログラム
SE0302065D0 (sv) * 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
US20050063608A1 (en) * 2003-09-24 2005-03-24 Ian Clarke System and method for creating a panorama image from a plurality of source images
JP2005123667A (ja) * 2003-10-14 2005-05-12 Seiko Epson Corp 複数の画像データからの静止画像データの生成
US7813589B2 (en) * 2004-04-01 2010-10-12 Hewlett-Packard Development Company, L.P. System and method for blending images into a single image
US20070103544A1 (en) * 2004-08-26 2007-05-10 Naofumi Nakazawa Panorama image creation device and panorama image imaging device
US7375745B2 (en) * 2004-09-03 2008-05-20 Seiko Epson Corporation Method for digital image stitching and apparatus for performing the same
US7653261B2 (en) * 2004-11-12 2010-01-26 Microsoft Corporation Image tapestry
US7529429B2 (en) * 2004-11-12 2009-05-05 Carsten Rother Auto collage
FR2881598B1 (fr) * 2005-02-01 2007-08-03 Canon Kk Procede et dispositif d'enregistrement d'images composant un panorama, de visualisation et de modification d'un panorama
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4244973B2 (ja) * 2005-08-03 2009-03-25 ソニー株式会社 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
US7801351B2 (en) * 2005-11-22 2010-09-21 General Electric Company Method and system to manage digital medical images
US20070141545A1 (en) * 2005-12-05 2007-06-21 Kar-Han Tan Content-Based Indexing and Retrieval Methods for Surround Video Synthesis
US8059185B2 (en) * 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
JP5663934B2 (ja) * 2010-04-09 2015-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2011223292A (ja) * 2010-04-09 2011-11-04 Sony Corp 撮像装置、表示制御方法およびプログラム
KR20110131949A (ko) * 2010-06-01 2011-12-07 삼성전자주식회사 영상 처리 장치 및 방법
JP2012105145A (ja) * 2010-11-11 2012-05-31 Canon Inc 画像処理装置、画像処理方法、及び、プログラム
KR101784176B1 (ko) 2011-05-25 2017-10-12 삼성전자주식회사 영상 촬영 장치 및 그 제어방법
CN104216671B (zh) * 2014-08-19 2017-03-22 宁波Gqy视讯股份有限公司 一种在多套拼接显示屏上实现同步协同显示的方法
CN107005675B (zh) * 2014-09-05 2019-08-06 富士胶片株式会社 动态图像编辑装置、动态图像编辑方法及存储介质
WO2016080118A1 (ja) * 2014-11-18 2016-05-26 オリンパス株式会社 内視鏡システム
US10764498B2 (en) * 2017-03-22 2020-09-01 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, and storage medium
KR102396526B1 (ko) 2017-09-29 2022-05-11 삼성전자주식회사 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법
CN114222061B (zh) * 2021-12-10 2024-03-22 中国人民解放军96901部队25分队 一种光电周扫的实时图像拼接与交互方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2185360B (en) * 1986-01-11 1989-10-25 Pilkington Perkin Elmer Ltd Display system
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
EP0669753A3 (en) * 1994-02-28 1995-12-20 Minolta Co Ltd Image reproduction device.
US5963247A (en) * 1994-05-31 1999-10-05 Banitt; Shmuel Visual display systems and a system for producing recordings for visualization thereon and methods therefor
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
JPH09130671A (ja) * 1995-10-30 1997-05-16 Minolta Co Ltd フィルム画像再生装置
JPH10108003A (ja) 1996-09-30 1998-04-24 Sharp Corp 画像合成装置および画像合成方法
US5937212A (en) * 1996-11-15 1999-08-10 Canon Kabushiki Kaisha Image pickup apparatus
US6215505B1 (en) * 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
JPH11289447A (ja) * 1998-04-02 1999-10-19 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
US6081278A (en) * 1998-06-11 2000-06-27 Chen; Shenchang Eric Animation object having multiple resolution format
JP3506956B2 (ja) * 1999-06-23 2004-03-15 大崎電気工業株式会社 遠隔画像監視システム

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002055802A (ja) * 2000-08-10 2002-02-20 Seiko Epson Corp 印刷イメージ表示装置、印刷イメージ表示方法および印刷イメージ表示処理プログラムを記録した媒体
JP2009181587A (ja) * 2001-09-28 2009-08-13 Fuji Xerox Co Ltd ビデオシステム、及びビデオシステム用プログラム
JP2003203251A (ja) * 2001-09-28 2003-07-18 Fuji Xerox Co Ltd ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム
JP2005044077A (ja) * 2003-07-25 2005-02-17 Ricoh Co Ltd 複数画像の合成方法
JP2005164832A (ja) * 2003-12-01 2005-06-23 Fuji Photo Film Co Ltd 立体視画像生成装置および方法並びにプログラム
JP2007109205A (ja) * 2005-09-14 2007-04-26 Sony Corp 画像表示装置、画像表示方法、プログラムおよび記録媒体
JP4565651B2 (ja) * 2006-02-13 2010-10-20 キヤノン株式会社 画像処理装置及び画像処理方法
JP2007215141A (ja) * 2006-02-13 2007-08-23 Canon Inc 画像処理装置及び画像処理方法
JP2007316982A (ja) * 2006-05-26 2007-12-06 Olympus Imaging Corp 画像表示制御装置、画像表示装置、カメラ、及び画像表示制御プログラム
US8451335B2 (en) 2008-12-12 2013-05-28 Keyence Corporation Imaging device
US8508587B2 (en) 2008-12-12 2013-08-13 Keyence Corporation Imaging device
US8581996B2 (en) 2008-12-12 2013-11-12 Keyence Corporation Imaging device
JP2011217065A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 撮像装置、撮像方法およびプログラム
US8848032B2 (en) 2010-03-31 2014-09-30 Fujifilm Corporation Imaging device, imaging method, and computer-readable medium
US8988425B2 (en) 2011-09-12 2015-03-24 Aisin Aw Co., Ltd. Image display control system, image display control method, and image display control program
JP2013061178A (ja) * 2011-09-12 2013-04-04 Aisin Aw Co Ltd 画像表示制御システム、画像表示制御方法および画像表示制御プログラム
JP2014011720A (ja) * 2012-07-02 2014-01-20 Kddi Corp 点検補助装置及び方法
JP2017120653A (ja) * 2015-01-19 2017-07-06 株式会社リコー 線形パノラマ画像連結のためのプレビュー画像取得ユーザインタフェース
JP2017102405A (ja) * 2015-12-04 2017-06-08 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
WO2019003796A1 (ja) * 2017-06-28 2019-01-03 富士フイルム株式会社 画像合成方法、画像合成装置、及び記録媒体
CN110809779A (zh) * 2017-06-28 2020-02-18 富士胶片株式会社 图像合成方法、图像合成装置及记录介质
US11423511B2 (en) 2017-06-28 2022-08-23 Fujifilm Corporation Image composition method, image composition device, and recording medium
CN110809779B (zh) * 2017-06-28 2023-07-28 富士胶片株式会社 图像合成方法、图像合成装置及记录介质
WO2020003548A1 (ja) * 2018-06-29 2020-01-02 株式会社日立システムズ 画像表示システムおよび方法
JP2020005186A (ja) * 2018-06-29 2020-01-09 株式会社日立システムズ 画像表示システムおよび方法
CN110915201A (zh) * 2018-06-29 2020-03-24 株式会社日立系统 图像显示系统以及方法
CN110915201B (zh) * 2018-06-29 2021-09-28 株式会社日立系统 图像显示系统以及方法
JP7051616B2 (ja) 2018-06-29 2022-04-11 株式会社日立システムズ 画像表示システムおよび方法

Also Published As

Publication number Publication date
JP4146938B2 (ja) 2008-09-10
US6392658B1 (en) 2002-05-21

Similar Documents

Publication Publication Date Title
JP2000090232A (ja) パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
US9524019B2 (en) Image processing apparatus, image processing method, storage medium, and program
US5796428A (en) Electronic photography system
US6593938B1 (en) Image processing apparatus, method and computer-readable recording medium with program recorded thereon, for joining images together by using visible joining points and correcting image distortion easily
US8599298B2 (en) Reproduction apparatus, imaging apparatus, screen display method, and user interface
KR101331164B1 (ko) 화상 기록 장치
JP4709043B2 (ja) データ表示装置および方法並びにプログラム
KR20070086615A (ko) 정보 처리 장치, 방법 및 프로그램
JP4330049B2 (ja) 電子カメラ装置、情報配置方法及びコンピュータ読み取り可能な記録媒体
JP2001326846A (ja) 画像撮像装置及びその制御方法
JP3812563B2 (ja) 画像処理装置及びプログラム
JP4783073B2 (ja) カメラ及びこのカメラの表示制御装置とその表示制御方法
US20080030598A1 (en) Digital camera
US7903142B2 (en) Digital still camera with print-order information
JP4379191B2 (ja) 電子カメラおよび画像処理プログラム
JP2006119730A (ja) 画像のつなぎ合わせ
JP2004312549A (ja) パノラマ画像撮影装置及びパノラマ画像撮影方法
JP2010200362A (ja) カメラ及びこのカメラの表示制御装置とその表示制御方法
JP4566732B2 (ja) 情報処理装置
JPH11232006A (ja) 出力装置、出力方法、及び、記憶媒体
JP2006041566A (ja) ビデオカメラ及びビデオカメラを利用したネットワークシステム
JP2005269017A (ja) 画像出力サービスの注文受付装置、注文受付方法及び注文受付プログラム
JP2005027233A (ja) デジタルカメラ、注文情報記録プログラム、及び表示プログラム
JP2006004287A (ja) 画像処理方法及び装置
JP2002169218A (ja) 撮影装置および撮影方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees