JP3947290B2 - Image composition processing apparatus and recording medium recording image composition processing program - Google Patents

Image composition processing apparatus and recording medium recording image composition processing program Download PDF

Info

Publication number
JP3947290B2
JP3947290B2 JP00784098A JP784098A JP3947290B2 JP 3947290 B2 JP3947290 B2 JP 3947290B2 JP 00784098 A JP00784098 A JP 00784098A JP 784098 A JP784098 A JP 784098A JP 3947290 B2 JP3947290 B2 JP 3947290B2
Authority
JP
Japan
Prior art keywords
image
image information
information
order
composition processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00784098A
Other languages
Japanese (ja)
Other versions
JPH11205675A (en
Inventor
康達 大浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP00784098A priority Critical patent/JP3947290B2/en
Publication of JPH11205675A publication Critical patent/JPH11205675A/en
Application granted granted Critical
Publication of JP3947290B2 publication Critical patent/JP3947290B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像合成処理装置および画像合成処理プログラムを記録した記録媒体、より詳しくは、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる画像合成処理装置および画像合成処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
銀塩カメラにおいては、撮影時にカメラの方向をずらしながら同一の被写体を連続的に撮影し、これらフィルム上に露光された複数の撮影画像からプリントを作成する際に、各画像の重複位置をうまく合わせながら一枚のパノラマプリントを得る技術が知られている。
【０００３】
このような技術をＣＣＤ等の撮像素子を用いた電子的撮像装置に応用したものが開発されていて、例えば本出願人が、特願平９−１５７０８３号において提案したものが挙げられる。
【０００４】
この特願平９−１５７０８３号に記載のものは、パノラマ撮影により撮影された１組の画像に対応する画像情報を記録媒体に記録可能な電子的撮像装置であって、上記パノラマ撮影における上記電子的撮像装置の回転方向に対応する情報を設定する回転方向設定手段と、該回転方向設定手段によって設定された上記回転方向に対応する情報を上記記録媒体に記録する回転方向記録手段と、該記録媒体に記録された上記回転方向に対応する情報に基づいて上記１組のパノラマ画像の配列を制御する制御手段と、該制御手段により配列されたパノラマ画像に対して所定の画像編集を行うための編集情報を表示する表示手段と、該表示手段に表示された編集情報に基づいて所定の編集作業を行うための制御手段とを備えた電子的撮像装置である。
【０００５】
上述したような電子的撮像装置により、一被写体像を構成するために互いに重複する部分を有するように撮影された複数の画像情報は、該電子的撮像装置自体で継ぎ合わせを行って一画像を合成しても良いが、現状では、処理速度や処理プログラムのサイズなどから、パーソナルコンピュータ等のコンピュータ上で行うことが現実的である。
【０００６】
そこで、ユーザが複雑な操作を行う必要なく、こうした画像合成を手軽に行うことができる処理装置や処理プログラムの実現が望まれている。
【０００７】
【発明が解決しようとする課題】
コンピュータ等で画像情報の処理を行う場合に、記録媒体に記録された画像情報をインデックス画像として複数並べてユーザに表示する技術が知られているが、これを単純に画像合成処理装置や画像合成処理プログラムに適用してインデックス画像を並べただけでは、どの画像が継ぎ合わせて合成を行う処理の対象となるのかを直ちに判別することができない。
【０００８】
また、従来の画像合成処理装置や画像合成処理プログラムにおいては、継ぎ合わせて合成を行う処理の対象となる一連の画像情報を一括して簡便に指定する手段については、特に考慮されていなかった。
【０００９】
さらに、電子的撮像装置を画像合成によるパノラマモードに設定してユーザが撮影した後に、パノラマモードの解除を忘れたまま単一コマの撮影を行ってしまう場合があり、従来の画像合成処理装置や画像合成処理プログラムにおいては、このような場合に対処する手段が講じられていなかった。
【００１０】
本発明は上記事情に鑑みてなされたものであり、操作性の良い画像合成処理装置および操作性の向上を図ることが可能な画像合成処理プログラムを記録した記録媒体を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による画像合成処理装置は、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報とこれらの画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報とを記録可能な記録媒体と、この記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段と、上記付随情報に基づいて一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御する表示制御手段と、上記付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、この並替手段により上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成する画像合成手段とを備えたものである。
【００１２】
また、第２の発明による画像合成処理装置は、上記第１の発明による画像合成処理装置において、上記識別表示がマークである。
【００１３】
さらに、第３の発明による画像合成処理装置は、上記第１の発明による画像合成処理装置において、上記インデックス画像は周縁にフレームを有して表示され、上記識別表示はこのフレームの色彩もしくは模様またはこれらの結合を、上記それ以外の画像情報に係るインデックス画像のフレームと異ならせるものである。
【００１４】
第４の発明による画像合成処理装置は、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報とこれらの画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報とを記録可能な記録媒体と、上記付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、この並替手段により上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成する画像合成手段と、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも１つの画像情報を指定するための指示入力手段と、この指示入力手段の操作に応じて上記並替手段および画像合成手段による処理が自動的に行われるよう制御する制御手段とを備えたものである。
【００１５】
第５の発明による画像合成処理装置は、上記第４の発明による画像合成処理装置において、上記画像合成手段により継ぎ合わせて合成された画像を表示する表示手段を備えたものである。
【００１６】
第６の発明による画像合成処理装置は、上記第５の発明による画像合成処理装置において、上記画像合成手段による処理は、一画像情報とこれに続く画像情報とを継ぎ合わせて一段階の合成画像とし、さらに処理対象となる画像情報が存在する場合にはこの合成画像に次の画像情報を継ぎ合わせて次の段階の合成画像とする順序で行われるものであり、上記表示手段は、各段階における合成画像を表示するものである。
【００１７】
第７の発明による画像合成処理装置は、上記第４の発明による画像合成処理装置において、上記記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段を備え、上記指示入力手段はこの表示手段による表示を参照しながら操作可能なものである。
【００１８】
第８の発明による画像合成処理装置は、上記第４または第７の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段による一画像情報の指定に応じて、当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の全てについて、上記並替手段および画像合成手段による処理が自動的に行われるよう制御するものである。
【００１９】
第９の発明による画像合成処理装置は、上記第８の発明による画像合成処理装置において、上記制御手段が、上記付随情報に基づき、上記指示入力手段によって指定された一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を判断するものである。
【００２０】
第１０の発明による画像合成処理装置は、上記第４または第７の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段による指定に応じて、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の一部のみを、上記並替手段および画像合成手段による処理が自動的に行われる対象とするように制御するものである。
【００２１】
第１１の発明による画像合成処理装置は、上記第１０の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された第１の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる先頭の画像情報とするものである。
【００２２】
第１２の発明による画像合成処理装置は、上記第１１の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された第２の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる後尾の画像情報とするものである。
【００２３】
第１３の発明による画像合成処理装置は、上記第１０の発明による画像合成処理装置において、上記指示入力手段が、上記並替手段および画像合成手段による自動的な処理の対象となる画像情報の数をさらに指定可能なものである。
【００２４】
第１４の発明による画像合成処理装置は、上記第４または第７の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するものである。
【００２５】
第１５の発明による画像合成処理装置は、上記第１４の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された画像情報が当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報中の先頭側の２つおよび後尾側の２つを除く中間部分の画像情報の何れかである場合には、該指定された画像情報よりも先頭側となる一連の画像情報と後尾側となる一連の画像情報とを、新たな２つ以上の処理対象として分割して処理するものである。
【００２６】
第１６の発明による画像合成処理装置は、上記第１４の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するとともに、その旨を上記記録媒体に記録するべく制御するものである。
【００２７】
第１７の発明による画像合成処理装置は、上記第４または第７の発明による画像合成処理装置において、上記指示入力手段が上記並替手段および画像合成手段による処理を手動により行うための選択を入力可能であり、上記制御手段は、この指示入力手段による手動処理の選択操作に応じて、上記並替手段および画像合成手段による処理が手動により行われるよう制御するものである。
【００２８】
第１８の発明による画像合成処理装置は、上記第１７の発明による画像合成処理装置において、上記指示入力手段が、上記並替手段および画像合成手段による手動処理の対象となる画像情報を指定可能なものである。
【００２９】
第１９の発明による画像合成処理プログラムを記録した記録媒体に記録された画像合成処理プログラムは、コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせるものであって、画像情報の概要を示すインデックス画像を複数同時に表示させるべく表示手段を制御させ、上記画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報に基づいて一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御させ、上記付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成させるものである。
【００３０】
第２０の発明による画像合成処理プログラムを記録した記録媒体に記録された画像合成処理プログラムは、コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせるものであって、上記画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成させ、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも１つの画像情報が指定されるのに応じて上記並べ替えの処理および画像合成の処理が自動的に行われるよう制御させるものである。
【００３１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図２６は本発明の一実施形態を示したものであり、図１は画像合成処理装置が適用されるシステムの構成を示す図である。
【００３２】
電子的撮像装置であるデジタルカメラ１は、内蔵するＣＣＤ等の撮像素子により光電変換した画像のデータを、例えばフラッシュメモリ等でなる着脱自在の記録媒体２に記録するものである。
【００３３】
この記録媒体２は、コンピュータとしてのパーソナルコンピュータ３に設けられたリーダ部に装着されて、記録された画像データが読み込まれるようになっている。このパーソナルコンピュータ３には、画像やその他の処理情報を表示するための表示手段たるディスプレイ４と、主として文字入力等を行うための指示入力手段たるキーボード５と、上記ディスプレイ４に表示された画面上の位置を指し示すための同指示入力手段たるマウス６とが接続されている。
【００３４】
さらに、このパーソナルコンピュータ３には、大量の画像データを記録するためのデジタルレコーダ７や、画像の印刷を行うためのプリンタ８などが、必要に応じて接続されるようになっている。
【００３５】
次に、図２を参照して上記パーソナルコンピュータ３の内部構成について説明する。
【００３６】
このパーソナルコンピュータ３は、画像合成処理プログラムに従って画像の継ぎ合わせを行うとともにその他の各種プログラムに応じて各種の演算や制御などを行う並替手段、画像合成手段、制御手段、表示制御手段を兼ねたＣＰＵ１１と、このＣＰＵ１１の作業領域であって上記画像合成処理プログラムがロードされることにより該画像合成処理プログラムを記録した記録媒体となるメインメモリ１２と、例えばハードディスクやフロッピーディスク等でなり上記画像合成処理プログラムを記録した記録媒体たる内部記録媒体１３と、上記デジタルレコーダ７やプリンタ８などの各種の外部機器に接続するための外部ポート１４と、上記ディスプレイ４を接続するインターフェース（以下、ＩＦと略す）１６と、上記キーボード５やマウス６を接続するＩＦ１７と、上記記録媒体２が電気的に接続されるコネクタ１８およびＩＦ１５と、を有して構成されていて、上記ＣＰＵ１１、メインメモリ１２、内部記録媒体１３、外部ポート１４、ＩＦ１５，１６，１７は、バスを介して互いに接続されている。
【００３７】
次に、図３は上記記録媒体２に記録されるデータの構成を示す図である。
【００３８】
上記デジタルカメラ１により撮影された画像データは、例えば圧縮等の処理を施した後に、記録媒体２にファイル単位で記録されるようになっていて、該記録媒体２にはこれらの画像ファイルの位置を示すファイル位置テーブルが設けられている。
【００３９】
なお、上記記録媒体２は、汎用のものであっても良いが、パノラマ撮影用に設けられた専用のものであっても良い。
【００４０】
上記画像ファイルは、画像データ（画像情報）と、この画像データに係る各種の情報を含んでなる付随情報たるヘッダ情報とを有して構成されている。
【００４１】
このヘッダ情報は、画像ファイルのファイル名と、各撮影毎に割り振られるコマ番号と、撮影日時と、デジタルカメラ１が有する各種の撮影モードの内のどのモードでそのコマが撮影されたかを示す撮影モード情報と、後述する識別情報と、上記画像データの概要を示すインデックス表示等に用いるためのインデックス画像データと、を含んで構成されている。
【００４２】
上記識別情報は、互いに重複部分または隣接部分を有して撮影された複数コマの画像データを継ぎ合わせてパノラマ画像を構成する際に用いられる情報であり、例えば２バイトのデータで構成されている。すなわち、該識別情報の１バイト目は、上記デジタルカメラ１による撮影方向、つまり一パノラマ画像を構成する複数のコマがどの方向に撮影されたかを示す情報が格納されており、該デジタルカメラ１の矩形でなる撮影画面の長辺側の２方向（左右方向）および短辺側の２方向（上下方向）の合計４方向の情報が含まれている。具体的には、長辺側の右方向のとき「１」、長辺側の左方向のとき「２」、短辺側の上方向のとき「３」、短辺側の下方向のとき「４」のデータがそれぞれ記録される。
【００４３】
次に、上記識別情報の２バイト目は、そのコマの画像データが、複数コマの画像データで構成されるパノラマ画像において何番目に撮影されたかを示す情報であり、撮影順序に応じて１から順に割り振られるようになっている。
【００４４】
なお、各コマがパノラマ画像の一部であるか否かは、この識別情報の有無により判断することができるようになっている。
【００４５】
図４はパーソナルコンピュータ３により実行される画像合成処理プログラムのメインルーチンを示すフローチャートである。
【００４６】
なお、このメインルーチンや後述するサブルーチンを含む画像合成処理プログラムは、上述したように、内部記録媒体１３に記録されており、実行時にはメインメモリ１２にロードされて、上記ＣＰＵ１１により順次処理されるようになっている。そして、該画像合成処理プログラムは、上記内部記録媒体１３に記録可能なサイズかつ上記メインメモリ１２にロード可能なサイズとなるようにプログラミングされたものである。
【００４７】
この処理は、ユーザがマウス６やキーボード５を操作して、インデックス画像表示の処理を起動する（ステップＳ１）ことにより開始される。すなわち、内部記録媒体１３に記録されている該画像合成処理プログラムがメインメモリ１２にロードされて、ＣＰＵ１１により順次実行される。
【００４８】
まず、後述するような画像インデックスが表示されるとともに、継ぎ合わせて画像合成を行う対象のコマを、その他の単一撮影のコマ等に対して容易に判別することができるような表示を行う（ステップＳ２）。
【００４９】
そして、ユーザが対象コマの何れかを選択すると（ステップＳ３）、上記識別情報に基づいてその対象コマを含むパノラマ画像を構成する全ての対象コマが自動的に検出されて（ステップＳ４）、上記デジタルカメラ１による撮影状態に対応した後述するような１２個の各ケースに応じて自動的に画像データを継ぎ合わせて一のパノラマ画像を合成する処理を行い（ステップＳ５）、継ぎ合わせた結果の画像を表示する（ステップＳ６）。
【００５０】
その後、自動的に継ぎ合わされた画像ではユーザが満足できない場合には、さらに手動で継ぎ合わせる処理を選択することができるようになっていて、この手動処理が選択されたか否かを判断し（ステップＳ７）、選択されていない場合にはそのまま、選択された場合には後述する手動処理を行ってから（ステップＳ８）、終了する。
【００５１】
図５は、上記図４におけるステップＳ２の表示判別処理の詳細を示すフローチャートである。
【００５２】
この表示判別処理が開始されると、画像ファイルを構成するデータの内のヘッダ情報をまず読み込む（ステップＳ１１）。
【００５３】
そして、ヘッダ情報内の識別情報の１バイト目が１以上４以下であるか否かを判断することにより、その画像データがパノラマ画像を構成するものであるかを判断する（ステップＳ１２）。
【００５４】
ここで識別情報の１バイト目が１以上４以下である場合には、図６または図７に例示するような表示を行う（ステップＳ１３）。
【００５５】
図６は画像の背景（フレーム）の表示色を変化させて識別表示とする例である。
【００５６】
画像インデックスの画面２１内には、各コマを表示する領域２２が複数配列されていて、この領域２２内に各コマの画像２４が表示され、その周縁はフレーム２３となっている。
【００５７】
この図６の例では、上段の２コマ目および３コマ目が第１の継ぎ合わせ用画像の組であり、下段の４コマ目および５コマ目が第２の継ぎ合わせ用画像の組となっていて、その背景（フレーム）の表示色を変化させることにより、これらの画像がパノラマ画像を構成するものである旨を表示している。
【００５８】
なお、ここでは色彩を変化させているが、フレームの模様を変化させても良いし、あるいは色彩および模様の双方を変化させて、その他の画像と識別可能となるようにしても良い。
【００５９】
また、図７はフレームにマークを表示して識別表示とする例である。
【００６０】
この例では、対象となるフレームの例えば右下にマーク２５を表示させることにより、これらの画像がパノラマ画像を構成するものである旨を表示するようになっている。
【００６１】
このステップＳ１３が終了するか、あるいは上記ステップＳ１２において識別情報の１バイト目が１未満または４より大きいときには、次のコマ（次のヘッダ情報）があるか否かを判定し（ステップＳ１４）、ある場合には上記ステップＳ１１に戻って次のコマに対して同様の処理を繰り返す。また、このステップＳ１４において次のコマがない場合には、この処理を抜ける。
【００６２】
図８は上記図４のステップＳ４における対象画像自動検出の処理を示すフローチャートである。
【００６３】
この処理は、一パノラマ画像を構成する複数コマの画像の内の何れが選択されても、全ての処理対象のコマを適切に判別するものである。
【００６４】
ユーザが上記キーボード５またはマウス６により、画像インデックス内から１コマの画像をポイントして選択することにより（ステップＳ２１）、この処理が始まる。
【００６５】
そして、メニューまたはアイコンなどにより、ユーザが継ぎ合わせ処理モードを起動する（ステップＳ２２）。なお、このステップＳ２２と上記ステップＳ２１は順序を入れ替えて処理することも可能である。
【００６６】
まず、ヘッダ情報内の識別情報の１バイト目が１以上４以下であるか否かを判断することにより、その画像データがパノラマ画像を構成するものであるかを確認し（ステップＳ２３）、パノラマ画像を構成するものでない場合にはそのままこの処理を抜ける。
【００６７】
一方、パノラマ画像を構成する画像であることが確認された場合には、識別情報の１バイト目を記憶領域Ａに格納し、識別情報の２バイト目を記憶領域Ｂおよび記憶領域Ｃにそれぞれ格納し、コマ番号（画像順番）を記憶領域Ｐに格納する（ステップＳ２４）。
【００６８】
そして、現在のコマを継ぎ合わせ対象画像として記録してから（ステップＳ２５）、次のコマのヘッダ情報を読み込み（ステップＳ２６）、読み込みが成功したか否かを判断する（ステップＳ２７）。このステップＳ２７は、次のコマがあるか否かを判定するものであり、次のコマがあれば読み込みを行うことができ、現コマが最終コマで次にはコマがもう存在しない場合には、読み込みが不成功となる。
【００６９】
読み込みが成功した場合には、識別情報の１バイト目が上記記憶領域Ａに格納された値と等しくかつ識別情報の２バイト目が上記記憶領域Ｃに格納された値に１を加算した値と等しいか否かを判定する（ステップＳ２８）。これにより、同一のパノラマ画像を構成するコマで、かつ連続する次のコマであるか否かを判断する。
【００７０】
この条件が成立する場合には、上記記憶領域Ｃに格納される値をインクリメントし（ステップＳ２９）、上記ステップＳ２５に戻る。
【００７１】
また、上記ステップＳ２７において読み込みが不成功であるか、あるいは上記ステップＳ２８の条件が成立しない場合には、記憶領域Ｂに格納された値を記憶領域Ｃにコピーし（ステップＳ３０）、上記記憶領域Ｐに格納されているコマ番号よりも一つ小さい値のコマ番号のヘッダ情報、つまり１コマ前のコマのヘッダ情報を読み込む（ステップＳ３１）。
【００７２】
そして、読み込みが成功したか否かを判断し（ステップＳ３２）、成功した場合には識別情報の１バイト目が上記記憶領域Ａに格納された値と等しくかつ識別情報の２バイト目が上記記憶領域Ｃに格納された値から１を減算した値と等しいか否かを判定する（ステップＳ３３）。これにより、同一のパノラマ画像を構成するコマで、かつ連続する前のコマであるか否かを判断する。
【００７３】
この条件が成立する場合には、上記記憶領域Ｃに格納される値をデクリメントし（ステップＳ３４）、継ぎ合わせ対象画像として記録して（ステップＳ３５）、次のコマのヘッダ情報を読み込んで（ステップＳ３６）、上記ステップＳ３２に戻る。
【００７４】
また、上記ステップＳ３２において読み込みが不成功であるか、あるいは上記ステップＳ３３の条件が成立しない場合には、記録されている継ぎ合わせ対象画像の枚数が２以上であるかを判断し（ステップＳ３７）、２に達しない場合には画像合成を行うことができないために、その旨のメッセージをダイアログボックス等によってユーザに表示して（ステップＳ３８）、この処理を抜ける。
【００７５】
また、記録されている継ぎ合わせ対象画像の枚数が２以上である場合には、上記記憶領域Ａに格納されている値に基づいて、後述するような自動継ぎ合わせを行うための各ケース毎の処理に分岐する（ステップＳ３９）。
【００７６】
次に、図９は上記各ケースにおいて行われる継ぎ合わせ処理の基本的なアルゴリズムを示したものであり、図１０を参照しながら説明する。
【００７７】
なお、後で各ケース毎に説明するように、継ぎ合わせ処理が行われる前の段階において、並替手段であるＣＰＵ１１により、パノラマ画像を構成する複数コマの画像情報が、上記識別情報に基づいて、図１０の最上段に示すように左から右に向かう所定の順序に並べ替えられるようになっている。
【００７８】
この継ぎ合わせ処理が始まると、まず、左から１枚目の画像（図１０の画像１）を読み込むとともに（ステップＳ４１）、その次の右画像（図１０の画像２）を読み込んで（ステップＳ４２）、これら２枚の画像について継ぎ合わせ演算処理を行い（ステップＳ４３）、図１０に示すような結果画像１を得る。
【００７９】
次に、次の右画像はまだあるか否かを判断し（ステップＳ４４）、ある場合には上記処理した結果画像１を左画像として（ステップＳ４５）、上記ステップＳ４２に戻り続く右側画像の継ぎ合わせ処理を行う。
【００８０】
また、上記ステップＳ４４において、右画像がもうないと判断される場合には、この処理を抜ける。
【００８１】
このように、この継ぎ合わせ処理においては、左側から画像を２枚ずつ順次継ぎ合わせて、最終的なパノラマ画像を得るようになっている。なお、図１０に示すような各段階における結果画像、つまり結果画像１，結果画像２…は、その段階毎にディスプレイ４に表示させるようにして、処理状態をユーザが把握し易いようにしている。
【００８２】
続いて、図１１から図２２を参照して、上記図４のステップＳ５における各ケース毎の自動処理について説明する。
【００８３】
図１１は、ケース１において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００８４】
このケース１は、デジタルカメラ１を把持する右手が右となるような横位置に構えて、被写体を左側から右側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の右方向に向けて撮影が行われるために識別コード（識別情報と同じ、以下同様）の１バイト目は１となり、識別コードの２バイト目は左から右に向かって昇順となる。
【００８５】
従って、このケース１では、図１１（Ｂ）に示すように、上記図９に示した継ぎ合わせ処理をそのまま行って（ステップＳ５１）、リターンする。
【００８６】
次に図１２は、ケース２において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００８７】
このケース２は、デジタルカメラ１を把持する右手が右となるような横位置に構えて、被写体を右側から左側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の左方向に向けて撮影が行われるために識別コードの１バイト目は２となり、識別コードの２バイト目は右から左に向かって昇順となる。
【００８８】
従って、このケース２では、図１２（Ｂ）に示すように、まず識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ５２）、その後、上記図９に示した継ぎ合わせ処理を行って（ステップＳ５３）、リターンする。
【００８９】
図１３は、ケース３において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００９０】
このケース３は、デジタルカメラ１を把持する右手が下となるような縦位置に構えて、被写体を左側から右側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の上方向に向けて撮影が行われるために識別コードの１バイト目は３となり、識別コードの２バイト目は左から右に向かって昇順となる。
【００９１】
従って、このケース３では、図１３（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転して（ステップＳ５４）、その後、上記図９に示した継ぎ合わせ処理を行って（ステップＳ５５）、リターンする。
【００９２】
図１４は、ケース４において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００９３】
このケース４は、デジタルカメラ１を把持する右手が下となるような縦位置に構えて、被写体を右側から左側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の下方向に向けて撮影が行われるために識別コードの１バイト目は４となり、識別コードの２バイト目は右から左に向かって昇順となる。
【００９４】
従って、このケース４では、図１４（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ５６）、識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ５７）、その後、上記図９に示した継ぎ合わせ処理を行い（ステップＳ５８）、リターンする。
【００９５】
本実施形態では、上記図１１から図１４までに示したケース１からケース４を基本ケースとして、その他のケースを変形ケースとし、これらの基本ケースに帰着させるように処理している。
【００９６】
図１５は、ケース５において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００９７】
このケース５は、デジタルカメラ１を把持する右手が上となるような縦位置に構えて、被写体を下側から上側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の右方向に向けて撮影が行われるために識別コードの１バイト目は１となり、識別コードの２バイト目は下から上に向かって昇順となる。
【００９８】
従って、このケース５では、図１５（Ｂ）に示すように、まず上記図９に示した継ぎ合わせ処理を行い（ステップＳ５９）、その後、結果画像を反時計回りに９０度回転して（ステップＳ６０）、リターンする。ここに、ステップＳ５９の処理は、基本ケースの１つである上記ケース１処理の内容と同じであり、ステップＳ６０の処理は結果画像を見たユーザが行うことになる。
【００９９】
図１６は、ケース６において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１００】
このケース６は、デジタルカメラ１を把持する右手が上となるような縦位置に構えて、被写体を上側から下側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の左方向に向けて撮影が行われるために識別コードの１バイト目は２となり、識別コードの２バイト目は上から下に向かって昇順となる。
【０１０１】
従って、このケース６では、図１６（Ｂ）に示すように、まず識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ６１）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ６２）、その後、結果画像を反時計回りに９０度回転して（ステップＳ６３）、リターンする。ここに、ステップＳ６１およびステップＳ６２の処理は、基本ケースの１つである上記ケース２処理の内容と同じであり、ステップＳ６３の処理は結果画像を見たユーザが行うことになる。
【０１０２】
図１７は、ケース７において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１０３】
このケース７は、デジタルカメラ１を把持する右手が下となるような縦位置に構えて、被写体を下側から上側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の左方向に向けて撮影が行われるために識別コードの１バイト目は２となり、識別コードの２バイト目は下から上に向かって昇順となる。
【０１０４】
従って、このケース７では、図１７（Ｂ）に示すように、まず識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ６４）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ６５）、その後、結果画像を時計回りに９０度回転して（ステップＳ６６）、リターンする。ここに、ステップＳ６４およびステップＳ６５の処理は、基本ケースの１つである上記ケース２処理の内容と同じであり、ステップＳ６６の処理は結果画像を見たユーザが行うことになる。
【０１０５】
図１８は、ケース８において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１０６】
このケース８は、デジタルカメラ１を把持する右手が下となるような縦位置に構えて、被写体を上側から下側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の右方向に向けて撮影が行われるために識別コードの１バイト目は１となり、識別コードの２バイト目は上から下に向かって昇順となる。
【０１０７】
従って、このケース８では、図１８（Ｂ）に示すように、まず上記図９に示した継ぎ合わせ処理を行い（ステップＳ６７）、その後、結果画像を時計回りに９０度回転して（ステップＳ６８）、リターンする。ここに、ステップＳ６７の処理は、基本ケースの１つである上記ケース１処理の内容と同じであり、ステップＳ６８の処理は結果画像を見たユーザが行うことになる。
【０１０８】
図１９は、ケース９において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１０９】
このケース９は、デジタルカメラ１を把持する右手が右となるような横位置に構えて、被写体を下側から上側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の上方向に向けて撮影が行われるために識別コードの１バイト目は３となり、識別コードの２バイト目は下から上に向かって昇順となる。
【０１１０】
従って、このケース９では、図１９（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ６９）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ７０）、その後、結果画像を反時計回りに９０度回転して（ステップＳ７１）、リターンする。ここに、ステップＳ６９およびステップＳ７０の処理は、基本ケースの１つである上記ケース３処理の内容と同じであり、ステップＳ７１の処理は結果画像を見たユーザが行うことになる。
【０１１１】
図２０は、ケース１０において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１１２】
このケース１０は、デジタルカメラ１を把持する右手が右となるような横位置に構えて、被写体を上側から下側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の下方向に向けて撮影が行われるために識別コードの１バイト目は４となり、識別コードの２バイト目は上から下に向かって昇順となる。
【０１１３】
従って、このケース１０では、図２０（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ７２）、識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ７３）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ７４）、その後、結果画像を反時計回りに９０度回転して（ステップＳ７５）リターンする。ここに、ステップＳ７２からステップＳ７４の処理は、基本ケースの１つである上記ケース４処理の内容と同じであり、ステップＳ７５の処理は結果画像を見たユーザが行うことになる。
【０１１４】
図２１は、ケース１１において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１１５】
このケース１１は、デジタルカメラ１を把持する右手が上となるような縦位置に構えて、被写体を左側から右側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の下方向に向けて撮影が行われるために識別コードの１バイト目は４となり、識別コードの２バイト目は左から右に向かって昇順となる。
【０１１６】
従って、このケース１１では、図２１（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ７６）、識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ７７）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ７８）、その後、結果画像を１８０度回転して（ステップＳ７９）、リターンする。ここに、ステップＳ７６からステップＳ７８の処理は、基本ケースの１つである上記ケース４処理の内容と同じであり、ステップＳ７９の処理は結果画像を見たユーザが行うことになる。
【０１１７】
図２２は、ケース１２において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１１８】
このケース１２は、デジタルカメラ１を把持する右手が上となるような縦位置に構えて、被写体を右側から左側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の上方向に向けて撮影が行われるために識別コードの１バイト目は３となり、識別コードの２バイト目は右から左に向かって昇順となる。
【０１１９】
従って、このケース１２では、図２２（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ８０）、上記図９に示した継ぎ合わせ処理を行って（ステップＳ８１）、その後、結果画像を１８０度回転して（ステップＳ８２）、リターンする。ここに、ステップＳ８０およびステップＳ８１の処理は、基本ケースの１つである上記ケース３処理の内容と同じであり、ステップＳ８２の処理は結果画像を見たユーザが行うことになる。
【０１２０】
上述したように、撮影時の状態は１２個に分別されるが、ユーザの操作による処理部分を除いては、全て４つの基本ケースに帰着されることがわかる。そして、どの基本ケースが適用されるかは、識別コードの１バイト目の値に応じて、つまり、１バイト目が１であればケース１の処理、２であればケース２の処理、３であればケース３の処理、４であればケース４の処理がそれぞれ自動的に行われることになる。
【０１２１】
さらに、これらの４つの基本ケースの何れにおいても同一のアルゴリズムによる図９の継ぎ合わせ処理を行っているために、極めてコンパクトで効率の良い処理プログラムとなっている。
【０１２２】
なお、上述では各ケース処理の内の一部をユーザの操作により行っているが、デジタルカメラ１に重力センサ等を設けてカメラの撮影姿勢を検出するか、あるいは該デジタルカメラ１に角速度センサ等を設けて回転角度および回転方向を検出し、検出した情報を画像ファイルのヘッダ情報として加えるようにすれば、ユーザの操作によることなく自動的に行うことも可能となる。
【０１２３】
次に、図２３は、上記図４のステップＳ８における手動処理の内容を主として表示画面の様子により示すフローチャートである。
【０１２４】
上述したような自動処理により継ぎ合わせた結果画像３２は、上記図４のステップＳ６において、画面３１内に表示される。この画面３１には、さらに、この結果画像３２を見たユーザがその結果に満足した際に該結果画像３２を確定するための継ぎ合わせＯＫボタン３３と、ユーザが満足せず手動による再処理を行う際に操作する手動ボタン３４と、この処理を抜けるための処理終了ボタン３５とが、上記マウス６やキーボード５等により操作可能に表示されている。
【０１２５】
この状態で上記手動ボタン３４を操作すると（ステップＳ９１）、上記図１０に示したような順序で画像の継ぎ合わせを手動により行うために、まず第１の画像（画像１）３６と第２の画像（画像２）３７が画面３１内に表示される。さらに、このときの画面３１には、これら第１の画像３６と第２の画像３７の一致させる部分を示すための位置合せ用指標３６ａ，３７ａを指定するよう促すメッセージ３８が表示される。また、この画面３１では、上記処理終了ボタン３５と、次の処理に進むための実行ボタン３９とが表示されている。
【０１２６】
位置合せ用指標３６ａ，３７ａを指定した後に実行ボタン３９を操作すると（ステップＳ９２）、これら位置合せ用指標３６ａ，３７ａが合致するような手動継ぎ合わせ処理の演算が上記ＣＰＵ１１により行われる（ステップＳ９３）。
【０１２７】
そして、この継ぎ合わせを行った結果画像４０が画面３１に表示されるとともに、さらに続いて継ぎ合わせを行う対象の画像データ（例えば図中の第３の画像４１）がある場合には、それも表示する。このとき、画像が長くなって同時に表示することができない場合には、スライド操作することによって表示位置を変更することができるスライドバー４２が表示されるようになっている。また、この画面３１においては、上記継ぎ合わせＯＫボタン３３と、処理終了ボタン３５が表示されるとともに、ユーザがこの手動による第１の画像３６と第２の画像３７の継ぎ合わせ結果が気に入らず、もう一度継ぎ合わせを行いたい場合に操作する戻るボタン４３が表示されている。
【０１２８】
この戻るボタン４３が操作された場合には（ステップＳ９４）、上記ステップＳ９２に処理に戻って手動による継ぎ合わせ処理をやり直すことができる。
【０１２９】
上述したような継ぎ合わせ処理の対象となる画像は、上記デジタルカメラ１におけるパノラマ撮影時に指定されるが、これをパーソナルコンピュータ３側で解除することも可能である。
【０１３０】
図２４は上述のような継ぎ合わせ処理の対象解除を行うときの画面の様子を示す図である。
【０１３１】
上述した図６と同様に、上段の２コマ目および３コマ目が第１の継ぎ合わせ用画像の組であり、下段の４コマ目および５コマ目が第２の継ぎ合わせ用画像の組となっている状態において、上段の２コマ目を解除しようとする場合には、まずこの２コマ目をマウス６やキーボード５等により指定する。このとき、指定した画像のフレーム２３は、継ぎ合わせ対象の画像とはさらに異なる背景色となって、指定されていることが簡単に視認できるようになっている。
【０１３２】
そして、メニューの中の画像に関するプルダウンメニュー２６からパノラマ解除の項目２６ａを選択することにより、該上段の２コマ目が継ぎ合わせ処理の対象から解除される。
【０１３３】
このときに、上段の３コマ目は継ぎ合わせの対象を自ずから失うために、これを判断して該上段の３コマ目についても自動的に対象解除を行うようにしても良いし、あるいは、その他の処理に用いる可能性がある場合には、上段の３コマ目については対象解除を行わず、そのままにしておいても良い。
【０１３４】
図２５は、例えば上段の１コマ目から５コマ目までが一パノラマ画像を構成する画像データである場合に、その途中の３コマ目の対象解除を行うときの画面の様子を示す図である。
【０１３５】
この場合には、上段の１コマ目と２コマ目は連続した画像であるためにこれらから新しい継ぎ合わせ画像を構成することができ、上段の４コマ目と５コマ目も同様に連続した画像であるために新しい継ぎ合わせ画像を構成することができる。
【０１３６】
こうして、１つの長いパノラマ画像の一部を対象解除することにより、残りの部分から複数のパノラマ画像を構成することが可能となる。
【０１３７】
なお、この例のように１つの長いパノラマ画像を２つ以上に分割しようとする場合には、対象解除をするのは最初の２コマおよび最後の２コマを除く中間部分の画像データについてとなる。なぜならば、両端のコマを対象解除してもパノラマ画像の範囲が縮まるだけであり、両端の１つ内側のコマを対象解除しても、その外側である両端のコマは単一のコマとなってパノラマ画像を構成する対象とはならないからである。
【０１３８】
図２６は、上記図２５と同様に例えば上段の１コマ目から５コマ目までが一パノラマ画像を構成する画像データである場合に、一部を対象解除することで、継ぎ合わせの対象を限定するときの画面の様子を示す図である。
【０１３９】
すなわち、上段の１コマ目および２コマ目を継ぎ合わせの対象から解除することにより、残る上段の３コマ目から５コマ目のみが継ぎ合わせの対象となって、一パノラマ画像を構成するものである。
【０１４０】
なお、上述したような継ぎ合わせ処理の対象解除は、メインメモリ１２上にロードされているインデックス画像データを含むヘッダ情報の部分についてのみ行って、記録媒体２や内部記録媒体１３に記録されている情報は変更しないようにしても良い。この場合には、これら記録媒体２や内部記録媒体１３の画像ファイルを再度読み込むと、再び対象解除が行われていない画像インデックスが表示されることになる。
【０１４１】
あるいは、対象解除を行った結果を記録媒体２や内部記録媒体１３に書き込むように、ＣＰＵ１１により制御させても良い。この場合には、これら記録媒体２や内部記録媒体１３の画像ファイルを再度読み込むと、対象解除を行った状態の画像インデックスが表示されることになる。
【０１４２】
さらには、対象解除をまずメインメモリ１２上の情報についてのみ行い、その後、その結果を書き込むか否かをユーザが選択することができるようにすればなお良い。
【０１４３】
なお、上述ではパノラマ画像を構成する複数のコマの内の一部のみを継ぎ合わせ処理の対象とするために、所望のコマを対象から解除する手段を用いたが、これに限るものではなく、例えば、上記マウス６やキーボード５により処理対象の先頭コマや後尾コマを指定させる手段を用いても良いし、あるいは処理対象のコマ数を指定することができるようにしても良い。
【０１４４】
また、手動処理においても対象となるコマをユーザーが所望に指定することができるようにするとなお良い。
【０１４５】
そして、上述では指示入力手段としてマウスやキーボードを例に挙げたが、むろんこれらに限定されるものではなく、種々の手段を広く適用することが可能である。
【０１４６】
このような実施形態によれば、画像ファイルのヘッダ情報として識別情報を設けたために、どの画像が継ぎ合わせの対象となっているかを判別することができ、さらに、該識別情報内の撮影方向や撮影順序の情報に基づいて、ケース毎に用意されている複数の処理を選択し、自動的に継ぎ合わせ処理を行うことが可能となる。
【０１４７】
また、撮影方向や撮影順序に対応する複数のケースについて、基本的な幾つかの処理ケースと、その他の処理ケースとに分類して、基本的な処理ケースをその他の処理ケースの一部にそのまま適用可能としているために、画像合成処理プログラムの軽量化および高速化を図ることができ、メインメモリや内部記録媒体等を占有する容量を減少させることができる。
【０１４８】
さらに、継ぎ合わせ処理の基本的なアルゴリズムは全て同一のものを用いているために、より一層の画像合成処理プログラムの軽量化および高速化を図ることが可能となる。
【０１４９】
そして、画像合成処理プログラムをプログラミングする際にも、コーディングおよびデバッグを行う時間を短縮することができ、開発効率が向上する。
【０１５０】
また、画像インデックスを表示するときには、継ぎ合わせ処理の対象となる画像について、自動的にフレームの色や模様を変化させたりマークを表示させたりしているために、ユーザが一目で処理対象の画像を識別することができる。
【０１５１】
そして、処理対象の画像を１つ指定するだけで、一のパノラマ画像を構成するその他の処理対象の画像を自動的に検出するために、操作が簡便になって効率を向上させることができるとともに、ユーザが選択を誤るなどを防ぐことが可能となる。
【０１５２】
ユーザが自動的な継ぎ合わせ処理の結果に満足しない場合や、自動的な継ぎ合わせでは良好な処理が行えない場合には、手動による処理に移行することができるために、操作の自由度が高まる。
【０１５３】
加えて、継ぎ合わせ対象となっている画像を、その対象から外すことが可能であるために、ユーザがパノラマモードにより撮影をして、その後、パノラマモードの解除を忘れたまま撮影を行った場合にも、パーソナルコンピュータでの処理時に任意に対象解除を行えば、柔軟に対応することができる。
【０１５４】
また、継ぎ合わせ対象となる複数の画像の内の途中の画像を処理対象から外すことにより、その画像の前の複数の画像を継ぎ合わせ対象としたパノラマ画像を構成するとともに、該画像の後の複数の画像を継ぎ合わせ対象としたパノラマ画像を構成することができ、分割継ぎ合わせ処理が可能となる。
【０１５５】
なお、本発明は上述した各実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０１５６】
【発明の効果】
以上説明したように請求項１による本発明の画像合成処理装置によれば、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像を、それ以外の画像情報に係るインデックス画像と容易に識別することができ、操作性が向上する。
【０１５７】
また、請求項２による本発明の画像合成処理装置によれば、請求項１の発明と同様の効果を奏するとともに、マークによって一目で識別可能となる。
【０１５８】
さらに、請求項３による本発明の画像合成処理装置によれば、請求項１の発明と同様の効果を奏するとともに、フレームの色彩もしくは模様またはこれらの結合により、一目で識別可能となる。
【０１５９】
請求項４による本発明の画像合成処理装置によれば、指示入力手段の操作に応じて、上記並替手段および画像合成手段による処理が自動的に行われるために、処理対象となる画像情報の全てを指定する必要がなくなり操作性が向上する。
【０１６０】
請求項５による本発明の画像合成処理装置によれば、請求項４の発明と同様の効果を奏するとともに、画像合成手段により継ぎ合わせて合成された画像が表示されるために、合成画像を確認することができる。
【０１６１】
請求項６による本発明の画像合成処理装置によれば、請求項５の発明と同様の効果を奏するとともに、各段階における合成画像が表示されるために、継ぎ合わせて合成される画像を順次確認することができる。
【０１６２】
請求項７による本発明の画像合成処理装置によれば、請求項４の発明と同様の効果を奏するとともに、インデックス画像を参照しながら指示入力手段を操作可能であるために、操作性がさらに向上する。
【０１６３】
請求項８による本発明の画像合成処理装置によれば、請求項４または請求項７の発明と同様の効果を奏するとともに、一画像情報を指定するだけで、処理対象となる全ての画像情報について自動的に処理が行われるために、操作性がさらに向上する。
【０１６４】
請求項９による本発明の画像合成処理装置によれば、請求項８の発明と同様の効果を奏するとともに、付随情報を有効に用いることにより、操作性の向上を図ることができる。
【０１６５】
請求項１０による本発明の画像合成処理装置によれば、請求項４または請求項７の発明と同様の効果を奏するとともに、ユーザの意図に応じたより細かい処理が可能となる。
【０１６６】
請求項１１による本発明の画像合成処理装置によれば、請求項１０の発明と同様の効果を奏するとともに、処理対象となる先頭の画像情報をユーザの意図に応じて指定することが可能となる。
【０１６７】
請求項１２による本発明の画像合成処理装置によれば、請求項１１の発明と同様の効果を奏するとともに、処理対象となる後尾の画像情報をユーザの意図に応じて指定することが可能となる。
【０１６８】
請求項１３による本発明の画像合成処理装置によれば、請求項１０の発明と同様の効果を奏するとともに、処理対象となる画像情報の数をユーザの意図に応じて指定することが可能となる。
【０１６９】
請求項１４による本発明の画像合成処理装置によれば、請求項４または請求項７の発明と同様の効果を奏するとともに、処理対象から外す画像情報を指定することにより、ユーザの意図に応じたより細かい処理が可能となる。
【０１７０】
請求項１５による本発明の画像合成処理装置によれば、請求項１４の発明と同様の効果を奏するとともに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を、複数に分割することが可能となる。
【０１７１】
請求項１６による本発明の画像合成処理装置によれば、請求項１４の発明と同様の効果を奏するとともに、記録媒体から画像情報を再び読み込んだ場合に、処理対象から外したい画像情報を再び指定する必要がなく、操作性がさらに向上する。
【０１７２】
請求項１７による本発明の画像合成処理装置によれば、請求項４または請求項７の発明と同様の効果を奏するとともに、手動による処理が可能となって、より一層ユーザの意図に応じた処理が可能となる。
【０１７３】
請求項１８による本発明の画像合成処理装置によれば、請求項１７の発明と同様の効果を奏するとともに、ユーザが所望の画像情報のみを手動処理の対象として指定することができる。
【０１７４】
請求項１９による本発明の画像合成処理プログラムを記録した記録媒体によれば、コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像を、それ以外の画像情報に係るインデックス画像と容易に識別可能となるように表示手段を制御させることができるために、操作性の向上を図ることが可能となる。
【０１７５】
請求項２０による本発明の画像合成処理プログラムを記録した記録媒体によれば、コンピュータに、少なくとも１つの画像情報が指定されるのに応じて、並べ替えの処理および画像合成の処理が自動的に行われるように制御させているために、処理対象となる画像情報の全てを指定する必要をなくして操作性の向上を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画像合成処理装置が適用されるシステムの構成を示す図。
【図２】上記実施形態のパーソナルコンピュータの内部構成を示すブロック図。
【図３】上記実施形態の記録媒体に記録されるデータの構成を示す図。
【図４】上記実施形態のパーソナルコンピュータにより実行される画像合成処理プログラムのメインルーチンを示すフローチャート。
【図５】上記実施形態における表示判別処理の詳細を示すフローチャート。
【図６】上記実施形態において、処理対象の画像のフレームの表示色を変化させる例を示す図。
【図７】上記実施形態において、処理対象の画像のフレームにマークを表示させる例を示す図。
【図８】上記実施形態における対象画像自動検出の処理を示すフローチャート。
【図９】上記実施形態における継ぎ合わせ処理の基本的なアルゴリズムを示すフローチャート。
【図１０】上記図９のアルゴリズムにより継ぎ合わされる画像の様子を示す図。
【図１１】上記実施形態のケース１処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１２】上記実施形態のケース２処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１３】上記実施形態のケース３処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１４】上記実施形態のケース４処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１５】上記実施形態のケース５処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１６】上記実施形態のケース６処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１７】上記実施形態のケース７処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１８】上記実施形態のケース８処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１９】上記実施形態のケース９処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図２０】上記実施形態のケース１０処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図２１】上記実施形態のケース１１処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図２２】上記実施形態のケース１２処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図２３】上記実施形態における手動処理の内容を主として表示画面の様子により示すフローチャート。
【図２４】上記実施形態において、継ぎ合わせ処理の対象解除を行うときの画面の様子を示す図。
【図２５】上記実施形態において、上段の１コマ目から５コマ目までが一パノラマ画像を構成する画像データである場合に、その途中の３コマ目の対象解除を行うときの画面の様子を示す図。
【図２６】上記実施形態において、上段の１コマ目から５コマ目までが一パノラマ画像を構成する画像データである場合に、一部を対象解除することで、継ぎ合わせの対象を限定するときの画面の様子を示す図。
【符号の説明】
１…デジタルカメラ
２…記録媒体
３…パーソナルコンピュータ
４…ディスプレイ（表示手段）
５…キーボード（指示入力手段）
６…マウス（指示入力手段）
１１…ＣＰＵ（並替手段、画像合成手段、制御手段、表示制御手段）
１２…メインメモリ（画像合成処理プログラムを記録した記録媒体）
１３…内部記録媒体（画像合成処理プログラムを記録した記録媒体）
２３…フレーム
２５…マーク（識別表示）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image composition processing apparatus and a recording medium on which an image composition processing program is recorded, and more specifically, to overlap each other to form one subject image. Minutes The present invention relates to an image composition processing apparatus for joining together a plurality of pieces of image information taken and a recording medium on which an image composition processing program is recorded.
[0002]
[Prior art]
With a silver halide camera, the same subject is shot continuously while shifting the camera direction during shooting, and when creating prints from multiple shot images exposed on these films, the overlapping position of each image is well A technique for obtaining a single panorama print while combining them is known.
[0003]
An application of such a technique to an electronic imaging apparatus using an imaging element such as a CCD has been developed. For example, the one proposed by the present applicant in Japanese Patent Application No. 9-157083 can be mentioned.
[0004]
The one described in Japanese Patent Application No. 9-157083 is an electronic image pickup apparatus capable of recording image information corresponding to a set of images taken by panoramic photography on a recording medium. Rotation direction setting means for setting information corresponding to the rotation direction of the general imaging device, rotation direction recording means for recording information corresponding to the rotation direction set by the rotation direction setting means on the recording medium, and the recording Control means for controlling the arrangement of the set of panoramic images based on information corresponding to the rotation direction recorded on the medium, and for performing predetermined image editing on the panoramic images arranged by the control means An electronic imaging apparatus comprising display means for displaying editing information and control means for performing a predetermined editing operation based on the editing information displayed on the display means.
[0005]
A plurality of pieces of image information photographed so as to have overlapping portions to form one subject image by the electronic imaging device as described above are stitched together by the electronic imaging device itself. Although they may be combined, at present, it is practical to use a computer such as a personal computer because of the processing speed and the size of the processing program.
[0006]
Therefore, it is desired to realize a processing apparatus and a processing program that can easily perform such image composition without requiring a user to perform complicated operations.
[0007]
[Problems to be solved by the invention]
When processing image information with a computer or the like, there is known a technique for displaying a plurality of image information recorded on a recording medium as an index image and displaying it to a user. It is not possible to immediately determine which images are to be combined and combined by simply applying index images arranged in a program.
[0008]
Further, in the conventional image composition processing apparatus and image composition processing program, no particular consideration has been given to a means for simply and collectively specifying a series of image information to be subjected to the composition processing for joining together.
[0009]
Furthermore, after the user sets the panorama mode by image composition and shoots the image, the user may take a single frame without forgetting to cancel the panorama mode. In the image composition processing program, no means for dealing with such a case has been taken.
[0010]
The present invention has been made in view of the above circumstances, and an object thereof is to provide an image composition processing apparatus with good operability and a recording medium on which an image composition processing program capable of improving operability is recorded. .
[0011]
[Means for Solving the Problems]
In order to achieve the above object, an image composition processing device according to a first aspect of the present invention overlaps each other to form one subject image. Minutes A plurality of pieces of image information taken and Indicates one of the two directions related to the long side and the two directions related to the short side of the rectangular shooting screen. Shooting direction and The multiple image information A recording medium capable of recording accompanying information including information related to the shooting order, display means for simultaneously displaying a plurality of index images showing an overview of image information recorded on the recording medium, and a subject based on the accompanying information Overlapping each other to form the image Minutes Display control means for controlling the display means to perform identification display for distinguishing the index image related to the plurality of image information photographed from the index image related to the other image information, and the accompanying information Of shooting direction On the basis of the The multiple pieces of image information are arranged in ascending or descending order of the shooting order. Sorting means to rearrange and by this sorting means Ascending or descending order Sorted image information One To be an image From one direction And image synthesizing means for synthesizing them together.
[0012]
In the image composition processing device according to the second invention, the identification display is a mark in the image composition processing device according to the first invention.
[0013]
Further, the image composition processing device according to the third invention is the image composition processing device according to the first invention, wherein the index image is displayed with a frame at the periphery, and the identification display is a color or pattern of the frame or These combinations are different from those of the index image frames related to the other image information.
[0014]
According to a fourth aspect of the present invention, there is provided an image composition processing apparatus in which overlapping portions are formed to form one subject image. Minutes A plurality of pieces of image information taken and Indicates one of the two directions related to the long side and the two directions related to the short side of the rectangular shooting screen. Shooting direction and The multiple image information Recording medium capable of recording accompanying information including information related to shooting order, and the accompanying information Of shooting direction On the basis of the The multiple pieces of image information are arranged in ascending or descending order of the shooting order. Sorting means to rearrange and by this sorting means Ascending or descending order Sorted image information One To be an image From one direction The image composition means for combining the images and the overlapping portion to form the one subject image Minutes An instruction input means for designating at least one image information of a plurality of image information captured and processing by the rearranging means and the image synthesizing means is automatically performed according to the operation of the instruction input means. And a control means for controlling to be performed.
[0015]
An image composition processing apparatus according to a fifth aspect of the present invention is the image composition processing apparatus according to the fourth aspect of the present invention, comprising display means for displaying an image synthesized by the image composition means.
[0016]
An image composition processing device according to a sixth invention is the image composition processing device according to the fifth invention, wherein the processing by the image composition means is a one-step composite image obtained by joining together one image information and subsequent image information. In addition, when there is image information to be processed, the next image information is joined to the composite image in order to form a composite image of the next stage. The composite image is displayed.
[0017]
An image composition processing device according to a seventh invention is the image composition processing device according to the fourth invention, comprising display means for simultaneously displaying a plurality of index images indicating an outline of image information recorded on the recording medium, The input means can be operated while referring to the display by the display means.
[0018]
An image composition processing device according to an eighth invention is the image composition processing device according to the fourth or seventh invention, wherein the control means is configured to receive the one image information in response to designation of one image information by the instruction input means. Overlapping parts to form a single subject image Minutes Control is performed so that the processing by the rearranging means and the image synthesizing means is automatically performed for all of the plurality of pieces of image information that have been photographed.
[0019]
An image composition processing device according to a ninth invention is the image composition processing device according to the eighth invention, wherein the control means includes a subject image to which one image information designated by the instruction input means belongs based on the accompanying information. To make up each other overlapping parts Minutes The plurality of pieces of image information that have been photographed are determined.
[0020]
An image composition processing apparatus according to a tenth invention is the image composition processing apparatus according to the fourth or seventh invention, wherein the control means configures the one subject image according to the designation by the instruction input means. Duplicate part Minutes Control is performed so that only a part of the plurality of pieces of image information that have been photographed is set as a target on which processing by the rearranging unit and the image synthesizing unit is automatically performed.
[0021]
An image composition processing apparatus according to an eleventh invention is the image composition processing apparatus according to the tenth invention, wherein the control means converts the first image information designated by the instruction input means into the rearrangement means and the image composition. This is the first image information to be processed in the automatic processing by means.
[0022]
An image composition processing apparatus according to a twelfth aspect of the present invention is the image composition processing apparatus according to the eleventh aspect of the present invention, wherein the control means converts the second image information designated by the instruction input means into the rearrangement means and the image composition. This is the tail image information to be processed in the automatic processing by means.
[0023]
The image composition processing device according to a thirteenth invention is the image composition processing device according to the tenth invention, wherein the instruction input means is the number of image information to be automatically processed by the rearranging means and the image composition means. Can be further specified.
[0024]
An image composition processing device according to a fourteenth invention is the image composition processing device according to the fourth or seventh invention, wherein the control means converts the image information designated by the instruction input means into the rearrangement means and the image composition. It is controlled so as to be excluded from the target of automatic processing by means.
[0025]
In the image composition processing device according to the fifteenth aspect, in the image composition processing device according to the fourteenth aspect, the control means constitutes one subject image to which the image information designated by the instruction input means belongs. To overlap each other as much as possible Minutes If the image information is one of the image information of the intermediate portion excluding the two on the head side and the two on the tail side of the plurality of image information photographed, the head side of the specified image information The series of image information and the series of image information on the trailing side are divided and processed as two or more new processing targets.
[0026]
An image composition processing apparatus according to a sixteenth aspect is the image composition processing apparatus according to the fourteenth aspect, wherein the control means automatically converts the image information designated by the instruction input means to the rearrangement means and the image composition means. The control is performed so as to be excluded from the target of the general processing, and that effect is controlled to be recorded on the recording medium.
[0027]
An image composition processing device according to a seventeenth invention is the image composition processing device according to the fourth or seventh invention, wherein the instruction input means inputs a selection for manually performing the processing by the sorting means and the image composition means. The control means controls the processing by the rearranging means and the image synthesizing means to be manually performed according to the manual processing selection operation by the instruction input means.
[0028]
An image composition processing device according to an eighteenth invention is the image composition processing device according to the seventeenth invention, wherein the instruction input means can designate image information to be manually processed by the rearranging means and the image composition means. Is.
[0029]
According to a nineteenth aspect of the present invention, there is provided an image composition processing program recorded on a recording medium on which an image composition processing program is recorded. Minutes A plurality of pieces of image information that have been photographed, and a display unit is controlled to display a plurality of index images indicating an outline of the image information at the same time. Indicates one of the two directions related to the long side and the two directions related to the short side of the rectangular shooting screen. Shooting direction and The multiple image information Overlapping parts to form one subject image based on accompanying information including information related to shooting order Minutes And controlling the display means to perform identification display for identifying the index image related to the plurality of image information captured and identified from the index image related to the other image information. Of shooting direction On the basis of the The multiple pieces of image information are arranged in ascending or descending order of the shooting order. Rearrange, Ascending or descending order Sorted image information One To be an image From one direction They are joined together and synthesized.
[0030]
An image composition processing program recorded on a recording medium on which an image composition processing program according to the twentieth invention is recorded is provided on a computer so as to overlap each other to form one subject image. Minutes A plurality of pieces of image information that have been photographed. Indicates one of the two directions related to the long side and the two directions related to the short side of the rectangular shooting screen. Shooting direction and The multiple image information Accompanying information including information related to shooting order Of shooting direction On the basis of the The multiple pieces of image information are arranged in ascending or descending order of the shooting order. Rearrange, Ascending or descending order Sorted image information One To be an image From one direction Combined and synthesized, above One subject Overlapping each other to form the image Minutes The rearrangement process and the image composition process are automatically performed in response to the designation of at least one of the plurality of pieces of image information captured.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
1 to 26 show an embodiment of the present invention, and FIG. 1 is a diagram showing the configuration of a system to which an image composition processing apparatus is applied.
[0032]
A digital camera 1 which is an electronic image pickup device records image data photoelectrically converted by an image pickup device such as a built-in CCD on a detachable recording medium 2 made of, for example, a flash memory.
[0033]
The recording medium 2 is mounted on a reader unit provided in a personal computer 3 as a computer so that recorded image data is read. The personal computer 3 includes a display 4 as display means for displaying images and other processing information, a keyboard 5 as instruction input means for mainly inputting characters and the like on the screen displayed on the display 4. A mouse 6 serving as the same instruction input means for pointing to the position is connected.
[0034]
Further, a digital recorder 7 for recording a large amount of image data, a printer 8 for printing an image, and the like are connected to the personal computer 3 as necessary.
[0035]
Next, the internal configuration of the personal computer 3 will be described with reference to FIG.
[0036]
The personal computer 3 also serves as a rearrangement unit, an image synthesis unit, a control unit, and a display control unit that perform image stitching according to an image synthesis processing program and perform various calculations and controls according to other various programs. The CPU 11, the work area of the CPU 11, and the main memory 12 serving as a recording medium on which the image composition processing program is recorded by loading the image composition processing program, and the image composition composed of, for example, a hard disk or a floppy disk. An internal recording medium 13 as a recording medium for recording a processing program, an external port 14 for connection to various external devices such as the digital recorder 7 and the printer 8, and an interface (hereinafter abbreviated as IF) for connecting the display 4 ) 16 and the above keyboard 5 and mouse , The connector 18 and the IF 15 to which the recording medium 2 is electrically connected, and the CPU 11, the main memory 12, the internal recording medium 13, the external port 14, the IF 15, 16 and 17 are connected to each other via a bus.
[0037]
Next, FIG. 3 is a diagram showing the structure of data recorded on the recording medium 2.
[0038]
The image data photographed by the digital camera 1 is recorded on a recording medium 2 in units of files after being subjected to processing such as compression, and the positions of these image files are recorded on the recording medium 2. A file position table is provided.
[0039]
The recording medium 2 may be a general-purpose one or a dedicated one provided for panoramic photography.
[0040]
The image file includes image data (image information) and header information which is accompanying information including various information related to the image data.
[0041]
The header information includes a file name of the image file, a frame number assigned for each shooting, a shooting date and time, and a shooting that indicates in which of the various shooting modes the digital camera 1 has shot. It is configured to include mode information, identification information to be described later, and index image data for use in index display or the like indicating the outline of the image data.
[0042]
The identification information is information used when a panoramic image is formed by joining together image data of a plurality of frames shot with overlapping portions or adjacent portions. For example, the identification information includes 2-byte data. . That is, the first byte of the identification information stores information indicating the shooting direction of the digital camera 1, that is, the direction in which a plurality of frames constituting one panoramic image are shot. It includes information in a total of four directions, ie, two directions on the long side (left-right direction) and two directions on the short side (vertical direction) of the rectangular shooting screen. Specifically, “1” when the long side is in the right direction, “2” when the long side is in the left direction, “3” when the short side is in the upward direction, and “3” when the short side is in the downward direction. 4 "is recorded.
[0043]
Next, the second byte of the identification information is information indicating how many times the image data of the frame is captured in a panoramic image composed of image data of a plurality of frames. They are allocated in order.
[0044]
Whether or not each frame is a part of the panoramic image can be determined by the presence or absence of this identification information.
[0045]
FIG. 4 is a flowchart showing the main routine of the image composition processing program executed by the personal computer 3.
[0046]
Note that the image composition processing program including this main routine and a subroutine described later is recorded in the internal recording medium 13 as described above, and is loaded into the main memory 12 at the time of execution so as to be sequentially processed by the CPU 11. It has become. The image composition processing program is programmed to have a size that can be recorded in the internal recording medium 13 and a size that can be loaded into the main memory 12.
[0047]
This process is started when the user starts the index image display process by operating the mouse 6 or the keyboard 5 (step S1). That is, the image composition processing program recorded on the internal recording medium 13 is loaded into the main memory 12 and is executed sequentially by the CPU 11.
[0048]
First, an image index as will be described later is displayed, and a display is provided so that the target frame to be stitched together can be easily discriminated from other single shooting frames ( Step S2).
[0049]
When the user selects any of the target frames (step S3), all the target frames constituting the panoramic image including the target frame are automatically detected based on the identification information (step S4). In accordance with each of 12 cases corresponding to the shooting state by the digital camera 1, processing for automatically joining image data and synthesizing one panoramic image is performed according to each of 12 cases described later (step S5). An image is displayed (step S6).
[0050]
After that, if the user is not satisfied with the automatically stitched images, it is possible to further select the stitching process manually, and determine whether this manual process is selected (step S7) If not selected, the process is performed as it is. If selected, a manual process described later is performed (step S8), and the process ends.
[0051]
FIG. 5 is a flowchart showing details of the display determination process in step S2 in FIG.
[0052]
When this display discrimination process is started, header information in the data constituting the image file is first read (step S11).
[0053]
Then, by determining whether the first byte of the identification information in the header information is 1 or more and 4 or less, it is determined whether the image data constitutes a panoramic image (step S12).
[0054]
Here, when the first byte of the identification information is 1 or more and 4 or less, the display as illustrated in FIG. 6 or 7 is performed (step S13).
[0055]
FIG. 6 shows an example in which the display color of the background (frame) of the image is changed to make the identification display.
[0056]
A plurality of areas 22 for displaying each frame are arranged in the image index screen 21, and an image 24 of each frame is displayed in the area 22, and the periphery thereof is a frame 23.
[0057]
In the example of FIG. 6, the second frame and the third frame in the upper stage are the first seam image set, and the fourth and fifth frames in the lower stage are the second seam image group. Therefore, by changing the display color of the background (frame), it is displayed that these images constitute a panoramic image.
[0058]
Although the color is changed here, the pattern of the frame may be changed, or both the color and the pattern may be changed to be distinguishable from other images.
[0059]
FIG. 7 shows an example in which a mark is displayed on the frame for identification display.
[0060]
In this example, the mark 25 is displayed at the lower right of the target frame, for example, to display that these images constitute a panoramic image.
[0061]
When step S13 ends or when the first byte of the identification information is less than 1 or greater than 4 in step S12, it is determined whether there is a next frame (next header information) (step S14). If there is, the process returns to step S11 and the same process is repeated for the next frame. If there is no next frame in step S14, the process is exited.
[0062]
FIG. 8 is a flowchart showing the target image automatic detection process in step S4 of FIG.
[0063]
This process appropriately discriminates all the frames to be processed regardless of which of a plurality of frames constituting one panoramic image is selected.
[0064]
This process starts when the user points to and selects one frame image from the image index with the keyboard 5 or mouse 6 (step S21).
[0065]
Then, the user activates the splicing process mode using a menu or an icon (step S22). In addition, this step S22 and said step S21 can also be processed by changing order.
[0066]
First, by determining whether or not the first byte of the identification information in the header information is 1 or more and 4 or less, it is confirmed whether the image data constitutes a panorama image (step S23). If it does not constitute an image, this process is exited as it is.
[0067]
On the other hand, when it is confirmed that the image is a panoramic image, the first byte of the identification information is stored in the storage area A, and the second byte of the identification information is stored in the storage area B and the storage area C, respectively. The frame number (image order) is stored in the storage area P (step S24).
[0068]
Then, after recording the current frame as an image to be spliced (step S25), the header information of the next frame is read (step S26), and it is determined whether the reading is successful (step S27). This step S27 determines whether or not there is a next frame. If there is a next frame, it can be read. If the current frame is the last frame and the next frame does not exist anymore. , Reading is unsuccessful.
[0069]
If the reading is successful, the first byte of the identification information is equal to the value stored in the storage area A, and the second byte of the identification information is a value obtained by adding 1 to the value stored in the storage area C; It is determined whether or not they are equal (step S28). As a result, it is determined whether or not it is a frame constituting the same panoramic image and the next frame that is continuous.
[0070]
If this condition is satisfied, the value stored in the storage area C is incremented (step S29), and the process returns to step S25.
[0071]
If the reading in step S27 is unsuccessful or the condition in step S28 is not satisfied, the value stored in the storage area B is copied to the storage area C (step S30). The header information of the frame number that is one smaller than the frame number stored in P, that is, the header information of the previous frame is read (step S31).
[0072]
Then, it is determined whether or not the reading is successful (step S32). If the reading is successful, the first byte of the identification information is equal to the value stored in the storage area A and the second byte of the identification information is stored in the memory. It is determined whether or not it is equal to a value obtained by subtracting 1 from the value stored in the area C (step S33). As a result, it is determined whether or not the frames constituting the same panoramic image are the previous frames.
[0073]
If this condition is satisfied, the value stored in the storage area C is decremented (step S34), recorded as a joining target image (step S35), and the header information of the next frame is read (step S35). S36), the process returns to step S32.
[0074]
If the reading is unsuccessful in step S32 or the condition in step S33 is not satisfied, it is determined whether the number of images to be stitched is two or more (step S37). If it does not reach 2, the image composition cannot be performed, so a message to that effect is displayed to the user by a dialog box or the like (step S38), and the process is exited.
[0075]
Further, when the number of images to be stitched is two or more, each case for performing automatic stitching as will be described later based on the value stored in the storage area A. Processing branches to processing (step S39).
[0076]
Next, FIG. 9 shows a basic algorithm of the splicing process performed in each case described above, and will be described with reference to FIG.
[0077]
Note that, as will be described later for each case, the image information of a plurality of frames constituting the panoramic image is converted based on the identification information by the CPU 11 as the rearrangement unit before the joining process is performed. As shown in the uppermost part of FIG. 10, the data are rearranged in a predetermined order from left to right.
[0078]
When the splicing process starts, first, the first image from the left (image 1 in FIG. 10) is read (step S41), and the next right image (image 2 in FIG. 10) is read (step S42). ) A seam calculation process is performed on these two images (step S43), and a result image 1 as shown in FIG. 10 is obtained.
[0079]
Next, it is determined whether or not the next right image still exists (step S44). If there is, the processed result image 1 is set as the left image (step S45), and the process returns to step S42 to continue the right image. Perform the alignment process.
[0080]
If it is determined in step S44 that there is no right image, the process is exited.
[0081]
Thus, in this splicing process, two images are sequentially spliced from the left to obtain a final panoramic image. Note that the result images at each stage as shown in FIG. 10, that is, the result image 1, the result image 2,... Are displayed on the display 4 at each stage so that the user can easily grasp the processing state. .
[0082]
Next, the automatic processing for each case in step S5 of FIG. 4 will be described with reference to FIGS.
[0083]
FIG. 11 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 1, and (B) a flowchart illustrating processing contents.
[0084]
Case 1 is a case where the subject is held in a horizontal position where the right hand holding the digital camera 1 is on the right, and the subject is photographed in a plurality of pieces in order from the left side to the right side. At this time, since shooting is performed in the right direction on the long side of the shooting screen, the first byte of the identification code (same as identification information, the same applies hereinafter) is 1, and the second byte of the identification code is left to right. Ascending order towards.
[0085]
Therefore, in case 1, as shown in FIG. 11B, the splicing process shown in FIG. 9 is performed as it is (step S51), and the process returns.
[0086]
Next, FIG. 12 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 2, and (B) a flowchart illustrating processing contents.
[0087]
Case 2 is a case where the subject is held in a horizontal position where the right hand holding the digital camera 1 is on the right and the subject is photographed in a plurality of pieces in order from the right side to the left side. At this time, since shooting is performed in the left direction on the long side of the shooting screen, the first byte of the identification code is 2, and the second byte of the identification code is in ascending order from right to left.
[0088]
Therefore, in this case 2, as shown in FIG. 12B, first, the image data is rearranged so that the second byte of the identification information is in descending order (step S52), and then the joint shown in FIG. The alignment process is performed (step S53), and the process returns.
[0089]
FIG. 13 is a diagram showing (A) the direction and order of captured images together with an identification code in case 3, and (B) a flowchart showing the processing contents.
[0090]
Case 3 is a case where the subject is held in a vertical position with the right hand holding the digital camera 1 at the bottom, and the subject is photographed in a plurality of pieces in order from the left side to the right side. At this time, since shooting is performed upward on the short side on the shooting screen, the first byte of the identification code is 3, and the second byte of the identification code is in ascending order from left to right.
[0091]
Therefore, in this case 3, as shown in FIG. 13B, all the processing target images are first rotated 90 degrees clockwise (step S54), and then the splicing process shown in FIG. 9 is performed. (Step S55), the process returns.
[0092]
FIG. 14 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 4, and (B) a flowchart illustrating processing contents.
[0093]
Case 4 is a case where the subject is held in a vertical position where the right hand holding the digital camera 1 is at the bottom, and the subject is photographed in a plurality of pieces in order from the right side to the left side. At this time, since shooting is performed in the downward direction on the short side on the shooting screen, the first byte of the identification code is 4, and the second byte of the identification code is in ascending order from right to left.
[0094]
Accordingly, in this case 4, as shown in FIG. 14B, all the processing target images are first rotated 90 degrees clockwise (step S56), and the image data is set so that the second byte of the identification information is in descending order. Are rearranged (step S57), and then the splicing process shown in FIG. 9 is performed (step S58), and the process returns.
[0095]
In the present embodiment, Case 1 to Case 4 shown in FIGS. 11 to 14 are used as basic cases, and other cases are used as modified cases, and processing is performed so as to return to these basic cases.
[0096]
FIG. 15 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 5, and (B) a flowchart illustrating processing contents.
[0097]
Case 5 is a case where the subject is held in a vertical position where the right hand holding the digital camera 1 is up and the subject is photographed in a plurality of pieces in order from the bottom to the top. At this time, since shooting is performed in the right direction on the long side of the shooting screen, the first byte of the identification code is 1, and the second byte of the identification code is in ascending order from bottom to top.
[0098]
Therefore, in this case 5, as shown in FIG. 15B, first, the splicing process shown in FIG. 9 is performed (step S59), and then the result image is rotated 90 degrees counterclockwise (step S59). S60), return. Here, the process of step S59 is the same as the content of the case 1 process, which is one of the basic cases, and the process of step S60 is performed by the user who viewed the result image.
[0099]
FIG. 16 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 6, and (B) a flowchart illustrating processing contents.
[0100]
This case 6 is a case where the subject is held in a vertical position so that the right hand holding the digital camera 1 is up, and the subject is photographed by dividing it into a plurality of sheets in order from the upper side to the lower side. At this time, since shooting is performed in the left direction on the long side of the shooting screen, the first byte of the identification code is 2, and the second byte of the identification code is in ascending order from top to bottom.
[0101]
Therefore, in this case 6, as shown in FIG. 16B, the image data is first rearranged so that the second byte of the identification information is in descending order (step S61), and the splicing process shown in FIG. (Step S62), and then the resulting image is rotated 90 degrees counterclockwise (step S63) and the process returns. Here, the processing of step S61 and step S62 is the same as the content of the case 2 processing which is one of the basic cases, and the processing of step S63 is performed by the user who has seen the result image.
[0102]
FIG. 17 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 7, and (B) a flowchart illustrating processing contents.
[0103]
This case 7 is a case where the subject is held in a vertical position with the right hand holding the digital camera 1 at the bottom and the subject is photographed in a plurality of pieces in order from the bottom to the top. At this time, since shooting is performed in the left direction on the long side of the shooting screen, the first byte of the identification code is 2, and the second byte of the identification code is in ascending order from bottom to top.
[0104]
Accordingly, in this case 7, as shown in FIG. 17B, the image data is first rearranged so that the second byte of the identification information is in descending order (step S64), and the splicing process shown in FIG. 9 is performed. (Step S65), and then the resulting image is rotated 90 degrees clockwise (step S66) and the process returns. Here, the processing of step S64 and step S65 is the same as the content of the case 2 processing, which is one of the basic cases, and the processing of step S66 is performed by the user who viewed the result image.
[0105]
FIG. 18 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 8, and (B) a flowchart illustrating processing contents.
[0106]
This case 8 is a case where the subject is held in a vertical position with the right hand holding the digital camera 1 at the bottom, and the subject is photographed by dividing it into a plurality of sheets in order from the upper side to the lower side. At this time, since shooting is performed in the right direction on the long side of the shooting screen, the first byte of the identification code is 1, and the second byte of the identification code is in ascending order from top to bottom.
[0107]
Accordingly, in this case 8, as shown in FIG. 18B, the splicing process shown in FIG. 9 is first performed (step S67), and then the result image is rotated 90 degrees clockwise (step S68). ), Return. Here, the process of step S67 is the same as the content of the case 1 process, which is one of the basic cases, and the process of step S68 is performed by the user who viewed the result image.
[0108]
FIG. 19 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 9, and (B) a flowchart illustrating processing contents.
[0109]
This case 9 is a case where the subject is held in a horizontal position where the right hand holding the digital camera 1 is on the right and the subject is photographed in a plurality of pieces in order from the lower side to the upper side. At this time, since shooting is performed in the upward direction on the short side on the shooting screen, the first byte of the identification code is 3, and the second byte of the identification code is in ascending order from bottom to top.
[0110]
Accordingly, in this case 9, as shown in FIG. 19B, all the processing target images are first rotated 90 degrees clockwise (step S69), and the splicing process shown in FIG. 9 is performed (step S70). Then, the result image is rotated 90 degrees counterclockwise (step S71), and the process returns. Here, the processing of step S69 and step S70 is the same as the content of the case 3 processing, which is one of the basic cases, and the processing of step S71 is performed by the user who viewed the result image.
[0111]
FIG. 20 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 10, and (B) a flowchart illustrating processing contents.
[0112]
This case 10 is a case where the subject is held in a horizontal position where the right hand holding the digital camera 1 is on the right and the subject is photographed in a plurality of pieces in order from the upper side to the lower side. At this time, since shooting is performed in the downward direction on the short side on the shooting screen, the first byte of the identification code is 4, and the second byte of the identification code is in ascending order from top to bottom.
[0113]
Therefore, in this case 10, as shown in FIG. 20B, all the processing target images are first rotated 90 degrees clockwise (step S72), and the image data is set so that the second byte of the identification information is in descending order. Are rearranged (step S73), the splicing process shown in FIG. 9 is performed (step S74), and then the result image is rotated 90 degrees counterclockwise (step S75) and the process returns. Here, the processing from step S72 to step S74 is the same as the content of the case 4 processing which is one of the basic cases, and the processing of step S75 is performed by the user who has seen the result image.
[0114]
FIG. 21 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 11, and (B) a flowchart illustrating processing contents.
[0115]
This case 11 is a case where the subject is held in a vertical position where the right hand holding the digital camera 1 is up and the subject is photographed in a plurality of pieces in order from the left side to the right side. At this time, since shooting is performed in the downward direction on the short side on the shooting screen, the first byte of the identification code is 4, and the second byte of the identification code is in ascending order from left to right.
[0116]
Therefore, in this case 11, as shown in FIG. 21B, all the processing target images are first rotated 90 degrees clockwise (step S76), and the image data is set so that the second byte of the identification information is in descending order. Are rearranged (step S77), the splicing process shown in FIG. 9 is performed (step S78), and then the result image is rotated 180 degrees (step S79), and the process returns. Here, the processing from step S76 to step S78 is the same as the content of the case 4 processing which is one of the basic cases, and the processing of step S79 is performed by the user who has seen the result image.
[0117]
FIG. 22 is a diagram illustrating (A) the direction and order of captured images together with an identification code in case 12, and (B) a flowchart illustrating processing contents.
[0118]
This case 12 is a case where the subject is held in a vertical position where the right hand holding the digital camera 1 is up and the subject is photographed in a plurality of pieces in order from the right side to the left side. At this time, since shooting is performed upward on the short side on the shooting screen, the first byte of the identification code is 3, and the second byte of the identification code is in ascending order from right to left.
[0119]
Therefore, in this case 12, as shown in FIG. 22B, all the processing target images are first rotated 90 degrees clockwise (step S80), and the splicing process shown in FIG. 9 is performed (step S80). Thereafter, the result image is rotated by 180 degrees (step S82), and the process returns. Here, the processing of step S80 and step S81 is the same as the content of the case 3 processing which is one of the basic cases, and the processing of step S82 is performed by the user who has seen the result image.
[0120]
As described above, the state at the time of photographing is classified into twelve, but it can be seen that all four cases are reduced except for the processing portion by the user's operation. Which basic case is applied depends on the value of the first byte of the identification code, that is, processing of case 1 if the first byte is 1, processing of case 2 if the first byte is 3, If there is, processing in case 3 and processing in case 4 are automatically performed.
[0121]
Further, in any of these four basic cases, since the splicing process of FIG. 9 is performed by the same algorithm, the processing program is extremely compact and efficient.
[0122]
In the above description, a part of each case processing is performed by a user's operation. However, a gravitational sensor or the like is provided in the digital camera 1 to detect the shooting posture of the camera, or an angular velocity sensor or the like is added to the digital camera 1. If the rotation angle and the rotation direction are detected and the detected information is added as the header information of the image file, it can be automatically performed without any user operation.
[0123]
Next, FIG. 23 is a flowchart showing the contents of the manual processing in step S8 of FIG. 4 mainly by the state of the display screen.
[0124]
The result image 32 stitched by the automatic processing as described above is displayed in the screen 31 in step S6 of FIG. The screen 31 further includes a joint OK button 33 for confirming the result image 32 when the user who has seen the result image 32 is satisfied with the result, and manual reprocessing without the user being satisfied. A manual button 34 to be operated when performing and a process end button 35 for exiting this process are displayed so as to be operable by the mouse 6, the keyboard 5, or the like.
[0125]
When the manual button 34 is operated in this state (step S91), first the first image (image 1) 36 and the second image are manually joined in order as shown in FIG. An image (image 2) 37 is displayed in the screen 31. Further, on the screen 31 at this time, a message 38 for prompting the user to designate the alignment indexes 36a and 37a for indicating the matching portions of the first image 36 and the second image 37 is displayed. In addition, the screen 31 displays the process end button 35 and an execution button 39 for proceeding to the next process.
[0126]
When the execution button 39 is operated after designating the alignment indexes 36a and 37a (step S92), the CPU 11 performs a manual joining process so that the alignment indexes 36a and 37a match (step S93). ).
[0127]
Then, the result image 40 obtained by performing the splicing is displayed on the screen 31, and if there is image data to be spliced subsequently (for example, the third image 41 in the figure), that is also the case. indicate. At this time, when the image becomes long and cannot be displayed at the same time, a slide bar 42 that can change the display position by a slide operation is displayed. In addition, on this screen 31, the seaming OK button 33 and the process end button 35 are displayed, and the user does not like the result of seaming the first image 36 and the second image 37 manually. A return button 43 is displayed to be operated when it is desired to perform splicing again.
[0128]
When the return button 43 is operated (step S94), the process returns to step S92 and the manual joining process can be performed again.
[0129]
The image to be subjected to the splicing process as described above is designated at the time of panoramic photographing with the digital camera 1, but this can be canceled on the personal computer 3 side.
[0130]
FIG. 24 is a diagram showing the state of the screen when performing the above-described seaming process target cancellation.
[0131]
Similarly to FIG. 6 described above, the second frame and the third frame in the upper stage are the first seam image set, and the fourth and fifth frames in the lower stage are the second seam image group. In this state, when the second frame in the upper stage is to be canceled, this second frame is first designated by the mouse 6, the keyboard 5, or the like. At this time, the frame 23 of the designated image has a background color that is further different from that of the image to be spliced so that the designation can be easily recognized.
[0132]
Then, by selecting the panorama cancellation item 26a from the pull-down menu 26 relating to the image in the menu, the second frame in the upper stage is canceled from the target of the stitching process.
[0133]
At this time, since the upper third frame naturally loses the target of splicing, it is possible to judge this and automatically cancel the target for the upper third frame. If there is a possibility that it will be used for the above process, the upper third frame may be left as it is without canceling the object.
[0134]
FIG. 25 is a diagram illustrating a state of the screen when the target cancellation of the third frame is performed when the first frame to the fifth frame in the upper stage are image data constituting one panoramic image, for example. .
[0135]
In this case, since the first frame and the second frame in the upper stage are continuous images, a new stitched image can be formed from them, and the fourth and fifth frames in the upper stage are similarly continuous images. Therefore, a new stitched image can be constructed.
[0136]
Thus, by canceling a part of one long panoramic image, a plurality of panoramic images can be formed from the remaining part.
[0137]
Note that when one long panoramic image is divided into two or more as in this example, the object is released only for the image data of the intermediate portion excluding the first two frames and the last two frames. . This is because the range of the panoramic image only shrinks even if the scenes at both ends are canceled, and even if the scene inside one of the ends is canceled, the frames at both ends that are outside become a single frame. This is because a panoramic image is not a target.
[0138]
FIG. 26 is similar to FIG. 25 described above. For example, when the first frame to the fifth frame in the upper stage are image data constituting one panoramic image, a part of the target is canceled to limit the target of joining. It is a figure which shows the mode of the screen when doing.
[0139]
That is, by canceling the first frame and the second frame in the upper stage from the target of joining, only the third to fifth frames in the upper stage become the target of joining and constitute one panoramic image. is there.
[0140]
It should be noted that the cancellation of the joint processing target as described above is performed only on the header information portion including the index image data loaded on the main memory 12 and is recorded on the recording medium 2 or the internal recording medium 13. The information may not be changed. In this case, when the image file of the recording medium 2 or the internal recording medium 13 is read again, an image index that has not been subject to release again is displayed.
[0141]
Alternatively, the CPU 11 may be controlled to write the result of subject cancellation to the recording medium 2 or the internal recording medium 13. In this case, when the image file of the recording medium 2 or the internal recording medium 13 is read again, the image index in a state where the object has been canceled is displayed.
[0142]
Furthermore, it is preferable that target cancellation is performed only for information on the main memory 12, and then the user can select whether or not to write the result.
[0143]
In the above description, since only a part of a plurality of frames constituting the panoramic image is a target of the stitching process, a means for releasing a desired frame from the target is used. However, the present invention is not limited to this. For example, a means for designating the top frame and the tail frame to be processed by the mouse 6 or the keyboard 5 may be used, or the number of frames to be processed may be specified.
[0144]
Further, it is more preferable that the user can designate a desired frame even in manual processing.
[0145]
In the above description, the mouse and the keyboard are exemplified as the instruction input means. However, the present invention is not limited to these, and various means can be widely applied.
[0146]
According to such an embodiment, since the identification information is provided as the header information of the image file, it is possible to determine which image is a target to be spliced. A plurality of processes prepared for each case can be selected on the basis of the information on the photographing order, and the seaming process can be automatically performed.
[0147]
In addition, multiple cases corresponding to the shooting direction and shooting order are classified into some basic processing cases and other processing cases, and the basic processing cases remain as part of other processing cases. Since it can be applied, the image composition processing program can be reduced in weight and speed, and the capacity occupied by the main memory, the internal recording medium, etc. can be reduced.
[0148]
Further, since all the basic algorithms for the splicing process are the same, it is possible to further reduce the weight and speed of the image composition processing program.
[0149]
Also, when programming the image composition processing program, the time for coding and debugging can be shortened, and the development efficiency is improved.
[0150]
In addition, when displaying an image index, the image to be processed at a glance is automatically displayed because the color or pattern of the frame or the mark is automatically displayed for the image to be subjected to the splicing process. Can be identified.
[0151]
Then, by simply specifying one processing target image, the other processing target images constituting one panoramic image are automatically detected, so that the operation can be simplified and the efficiency can be improved. It is possible to prevent the user from making a wrong selection.
[0152]
If the user is not satisfied with the result of the automatic splicing process, or if the automatic splicing cannot perform a satisfactory process, the process can be shifted to a manual process, which increases the degree of freedom of operation. .
[0153]
In addition, since the image that is the target of splicing can be excluded from the target, the user took a picture in the panorama mode and then took the picture without forgetting to cancel the panorama mode. In addition, if the target is arbitrarily canceled during processing by the personal computer, it can be flexibly dealt with.
[0154]
Further, by removing an intermediate image among the plurality of images to be joined from the processing target, a panorama image having the plurality of images before the image as a joining target is formed, and the subsequent images A panoramic image having a plurality of images as a joining target can be formed, and division joining processing can be performed.
[0155]
Note that the present invention is not limited to the above-described embodiments, and various modifications and applications can be made without departing from the spirit of the invention.
[0156]
【The invention's effect】
As described above, according to the image composition processing device of the present invention according to claim 1, overlapping portions are formed to form one subject image. Minutes The index image related to the plurality of pieces of image information captured and captured can be easily distinguished from the index image related to other image information, and the operability is improved.
[0157]
Further, according to the image composition processing apparatus of the present invention according to claim 2, the same effect as that of the invention of claim 1 can be obtained, and the mark can be identified at a glance.
[0158]
Further, according to the image composition processing apparatus of the present invention according to claim 3, the same effect as that of the invention of claim 1 can be obtained, and the image can be identified at a glance by the color or pattern of the frame or the combination thereof.
[0159]
According to the image composition processing apparatus of the present invention according to claim 4, since the processing by the rearranging means and the image composition means is automatically performed according to the operation of the instruction input means, the image information to be processed is processed. There is no need to specify all, and the operability is improved.
[0160]
According to the image composition processing apparatus of the present invention according to claim 5, the same effect as that of the invention of claim 4 is obtained, and an image synthesized by the image composition means is displayed. can do.
[0161]
According to the image composition processing apparatus of the present invention according to claim 6, the same effect as that of the invention of claim 5 is achieved, and the composite image at each stage is displayed. can do.
[0162]
According to the image composition processing device of the present invention of claim 7, the same effect as that of the invention of claim 4 is achieved, and the instruction input means can be operated while referring to the index image, so that the operability is further improved. To do.
[0163]
According to the image composition processing apparatus of the present invention according to claim 8, the same effects as those of the invention of claim 4 or claim 7 can be obtained, and all image information to be processed can be processed only by specifying one image information. Since the processing is automatically performed, the operability is further improved.
[0164]
According to the image composition processing apparatus of the present invention of claim 9, the same effect as that of the invention of claim 8 can be obtained, and the operability can be improved by effectively using the accompanying information.
[0165]
According to the image composition processing apparatus of the present invention according to claim 10, the same effects as those of the invention of claim 4 or claim 7 can be obtained, and more detailed processing according to the user's intention can be performed.
[0166]
According to the image composition processing device of the present invention according to claim 11, the same effect as that of the invention of claim 10 can be obtained, and the top image information to be processed can be designated according to the intention of the user. .
[0167]
According to the image composition processing device of the present invention according to claim 12, the same effect as that of the invention of claim 11 can be obtained, and tail image information to be processed can be designated according to the user's intention. .
[0168]
According to the image composition processing device of the present invention according to claim 13, the same effect as that of the invention of claim 10 can be obtained, and the number of image information to be processed can be designated according to the intention of the user. .
[0169]
According to the image composition processing device of the present invention according to claim 14, the same effect as that of the invention of claim 4 or claim 7 can be obtained, and the image information to be excluded from the processing target can be designated, so that Fine processing is possible.
[0170]
According to the image composition processing device of the present invention according to claim 15, the same effect as that of the invention of claim 14 is obtained, and overlapping portions are formed to form one subject image. Minutes It is possible to divide a plurality of pieces of image information that have been photographed.
[0171]
According to the image composition processing device of the present invention according to claim 16, the same effect as that of the invention of claim 14 is achieved, and when image information is read again from the recording medium, image information to be excluded from processing targets is designated again. The operability is further improved.
[0172]
According to the image composition processing apparatus of the present invention according to claim 17, the same effects as those of the invention of claim 4 or claim 7 can be obtained, manual processing can be performed, and processing according to the user's intention is further achieved. Is possible.
[0173]
According to the image composition processing device of the present invention according to claim 18, the same effect as that of the invention of claim 17 can be obtained, and the user can specify only desired image information as a target for manual processing.
[0174]
According to the recording medium in which the image composition processing program of the present invention according to claim 19 is recorded, the computer overlaps each other to form one subject image. Minutes The display means can be controlled so that the index image related to the plurality of image information photographed can be easily distinguished from the index image related to the other image information. It becomes possible to plan.
[0175]
According to the recording medium on which the image composition processing program of the present invention is recorded according to claim 20, the rearrangement process and the image composition process are automatically performed in response to at least one piece of image information designated by the computer. Since control is performed so as to be performed, it is possible to improve operability without having to specify all the image information to be processed.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a system to which an image composition processing apparatus according to an embodiment of the present invention is applied.
FIG. 2 is a block diagram showing an internal configuration of the personal computer according to the embodiment.
FIG. 3 is a view showing the structure of data recorded on the recording medium of the embodiment.
FIG. 4 is a flowchart showing a main routine of an image composition processing program executed by the personal computer of the embodiment.
FIG. 5 is a flowchart showing details of display determination processing in the embodiment.
FIG. 6 is a diagram showing an example of changing the display color of a frame of an image to be processed in the embodiment.
FIG. 7 is a diagram showing an example of displaying a mark on a frame of an image to be processed in the embodiment.
FIG. 8 is a flowchart showing target image automatic detection processing in the embodiment.
FIG. 9 is a flowchart showing a basic algorithm of splicing processing in the embodiment.
FIG. 10 is a diagram showing a state of images stitched together by the algorithm shown in FIG. 9;
11A is a view showing the direction and order of captured images together with an identification code in case 1 processing of the embodiment, and FIG. 11B is a flowchart showing processing contents;
12A is a view showing the direction and order of captured images together with an identification code in case 2 processing of the embodiment, and FIG. 12B is a flowchart showing processing contents;
13A is a view showing the direction and order of captured images together with an identification code in case 3 processing of the embodiment, and FIG. 13B is a flowchart showing processing contents;
14A is a view showing the direction and order of captured images together with an identification code in case 4 processing of the embodiment, and FIG. 14B is a flowchart showing processing contents;
15A is a view showing the direction and order of captured images together with an identification code in case 5 processing of the embodiment, and FIG. 15B is a flowchart showing processing contents;
16A is a view showing the direction and order of captured images together with an identification code in case 6 processing of the embodiment, and FIG. 16B is a flowchart showing processing contents;
FIGS. 17A and 17B are diagrams showing (A) the direction and order of captured images together with an identification code, and (B) a flowchart showing the processing contents in case 7 processing of the embodiment.
18A is a view showing the direction and order of captured images together with an identification code in case 8 processing of the embodiment, and FIG. 18B is a flowchart showing processing contents.
19A is a view showing the direction and order of captured images together with an identification code in case 9 processing of the embodiment, and FIG. 19B is a flowchart showing processing contents;
20A is a view showing the direction and order of captured images together with an identification code in case 10 processing of the embodiment, and FIG. 20B is a flowchart showing processing contents.
FIGS. 21A and 21B are diagrams showing (A) the direction and order of captured images together with an identification code, and (B) a flowchart showing the processing contents in case 11 processing of the embodiment.
22A is a view showing the direction and order of captured images together with an identification code in case 12 processing of the embodiment, and FIG. 22B is a flowchart showing processing contents;
FIG. 23 is a flowchart showing the contents of manual processing in the embodiment mainly by the state of a display screen.
FIG. 24 is a diagram showing a state of a screen when canceling the target of seaming processing in the embodiment.
FIG. 25 shows the state of the screen when canceling the target of the third frame in the middle when the first to fifth frames in the upper stage are image data constituting one panoramic image in the embodiment. FIG.
FIG. 26 is a case where, in the above embodiment, when the first frame to the fifth frame in the upper stage are image data constituting one panoramic image, the target of joining is limited by canceling a part of the object. The figure which shows the mode of the screen of.
[Explanation of symbols]
1 ... Digital camera
2. Recording medium
3. Personal computer
4. Display (display means)
5 ... Keyboard (instruction input means)
6 ... Mouse (instruction input means)
11 ... CPU (rearrangement means, image composition means, control means, display control means)
12. Main memory (recording medium on which an image composition processing program is recorded)
13: Internal recording medium (recording medium on which an image composition processing program is recorded)
23 ... Frame
25 ... mark (identification display)

Claims (20)

一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報と、これらの画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報と、を記録可能な記録媒体と、
この記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段と、
上記付随情報に基づいて、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御する表示制御手段と、
上記付随情報の撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、
この並替手段により上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成する画像合成手段と、
を具備したことを特徴とする画像合成処理装置。A plurality of image information captured with a mutually overlapping portion min in order to constitute an object image, among the two directions of the two directions and the short side of the long sides of the photographing screen comprising a rectangular these image information A recording medium capable of recording a shooting direction indicating one direction and accompanying information including information related to the shooting order of the plurality of pieces of image information ;
Display means for simultaneously displaying a plurality of index images showing an overview of image information recorded on the recording medium;
Based on the accompanying information, identification for identifying an index image according to other image information in the index image according to a plurality of image information captured with a mutually overlapping portion min in order to constitute an object image Display control means for controlling the display means to perform
Rearrangement means for rearranging the plurality of pieces of image information in ascending order or descending order of the photographing order based on information relating to the photographing direction of the accompanying information;
Image combining means for combining the image information rearranged in the ascending order or descending order by the rearranging means from one direction so as to become one image; and
An image composition processing apparatus comprising: 上記識別表示はマークであることを特徴とする請求項１に記載の画像合成処理装置。  The image composition processing apparatus according to claim 1, wherein the identification display is a mark. 上記インデックス画像は周縁にフレームを有して表示され、上記識別表示はこのフレームの色彩もしくは模様またはこれらの結合を上記それ以外の画像情報に係るインデックス画像のフレームと異ならせるものであることを特徴とする請求項１に記載の画像合成処理装置。  The index image is displayed with a frame at the periphery, and the identification display is to make the color or pattern of the frame or a combination thereof different from the frame of the index image related to the other image information. The image composition processing apparatus according to claim 1. 一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報と、これらの画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報と、を記録可能な記録媒体と、
上記付随情報の撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、
この並替手段により上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成する画像合成手段と、
上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも１つの画像情報を指定するための指示入力手段と、
この指示入力手段の操作に応じて、上記並替手段および画像合成手段による処理が自動的に行われるよう制御する制御手段と、
を具備したことを特徴とする画像合成処理装置。A plurality of image information captured with a mutually overlapping portion min in order to constitute an object image, among the two directions of the two directions and the short side of the long sides of the photographing screen comprising a rectangular these image information A recording medium capable of recording a shooting direction indicating one direction and accompanying information including information related to the shooting order of the plurality of pieces of image information ;
Rearrangement means for rearranging the plurality of pieces of image information in ascending order or descending order of the photographing order based on information relating to the photographing direction of the accompanying information;
Image combining means for combining the image information rearranged in the ascending order or descending order by the rearranging means from one direction so as to become one image; and
An instruction input means for designating at least one of the image information of the plurality of image information captured with a overlap fraction together to constitute the one subject image,
Control means for controlling the processing by the rearranging means and the image synthesizing means to be automatically performed according to the operation of the instruction input means;
An image composition processing apparatus comprising: 上記画像合成手段により継ぎ合わせて合成された画像を表示する表示手段を備えたことを特徴とする請求項４に記載の画像合成処理装置。  5. The image composition processing apparatus according to claim 4, further comprising display means for displaying an image synthesized by the image composition means. 上記画像合成手段による処理は、一画像情報とこれに続く画像情報とを継ぎ合わせて一段階の合成画像とし、さらに処理対象となる画像情報が存在する場合には、この合成画像に次の画像情報を継ぎ合わせて次の段階の合成画像とする順序で行われるものであり、上記表示手段は、各段階における合成画像を表示するものであることを特徴とする請求項５に記載の画像合成処理装置。  In the processing by the image synthesizing means, one image information and subsequent image information are stitched together to form a one-step synthesized image, and when there is image information to be processed, the next image is included in this synthesized image. 6. The image composition according to claim 5, wherein information is stitched together to form a composite image of the next stage, and the display means displays the composite image at each stage. Processing equipment. 上記記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段を備え、上記指示入力手段はこの表示手段による表示を参照しながら操作可能であることを特徴とする請求項４に記載の画像合成処理装置。  The display means for simultaneously displaying a plurality of index images showing an outline of image information recorded on the recording medium, wherein the instruction input means can be operated while referring to the display by the display means. 5. The image composition processing device according to 4. 上記制御手段は、上記指示入力手段による一画像情報の指定に応じて、当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の全てについて、上記並替手段および画像合成手段による処理が自動的に行われるよう制御するものであることを特徴とする請求項４または請求項７に記載の画像合成処理装置。The control means, in accordance with the designated one image information by the instruction input means, for all of the plurality of image information captured by each other have an overlapping portion min in order to constitute the first image information is one object image belongs 8. The image composition processing apparatus according to claim 4, wherein control is performed so that the processing by the rearranging means and the image composition means is automatically performed. 上記制御手段は、上記付随情報に基づき、上記指示入力手段によって指定された一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を判断するものであることを特徴とする請求項８に記載の画像合成処理装置。The control means, based on the accompanying information, which determines a plurality of image information captured with a overlap fraction together to constitute an object image in which one image information belongs specified by said instruction input means The image composition processing apparatus according to claim 8, wherein: 上記制御手段は、上記指示入力手段による指定に応じて、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の一部のみを、上記並替手段および画像合成手段による処理が自動的に行われる対象とするように制御するものであることを特徴とする請求項４または請求項７に記載の画像合成処理装置。The control means, in response to designation by said instruction input means, only a part of the plurality of image information captured by each other have an overlapping portion min to constituting the one object image, said rearrangement means 8. The image composition processing apparatus according to claim 4, wherein the image composition processing device is controlled so that the processing by the image composition means is automatically performed. 上記制御手段は、上記指示入力手段によって指定された第１の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる先頭の画像情報とするものであることを特徴とする請求項１０に記載の画像合成処理装置。  The control means uses the first image information designated by the instruction input means as the first image information to be processed in the automatic processing by the rearranging means and the image synthesizing means. The image composition processing apparatus according to claim 10. 上記制御手段は、上記指示入力手段によって指定された第２の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる後尾の画像情報とするものであることを特徴とする請求項１１に記載の画像合成処理装置。  The control means uses the second image information designated by the instruction input means as tail image information to be processed in automatic processing by the rearranging means and the image synthesizing means. The image composition processing apparatus according to claim 11. 上記指示入力手段は、上記並替手段および画像合成手段による自動的な処理の対象となる画像情報の数をさらに指定可能なことを特徴とする請求項１０に記載の画像合成処理装置。  11. The image composition processing apparatus according to claim 10, wherein the instruction input means can further designate the number of image information to be automatically processed by the rearranging means and the image composition means. 上記制御手段は、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するものであることを特徴とする請求項４または請求項７に記載の画像合成処理装置。  5. The control unit according to claim 4, wherein the control unit controls the image information designated by the instruction input unit so as to be excluded from a target of automatic processing by the rearranging unit and the image synthesizing unit. The image composition processing apparatus according to claim 7. 上記制御手段は、上記指示入力手段によって指定された画像情報が、当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報中の、先頭側の２つおよび後尾側の２つを除く中間部分の画像情報の何れかである場合には、該指定された画像情報よりも先頭側となる一連の画像情報と後尾側となる一連の画像情報とを、新たな２つ以上の処理対象として分割して処理するものであることを特徴とする請求項１４に記載の画像合成処理装置。Said control means, the image information specified by the instruction input means, a plurality of the image information captured by each other have an overlapping portion min in order to constitute an object image in which the first image information belongs, the top side If the image information is one of the image information of the intermediate portion excluding the two and the tail two, the series of image information on the head side and the series of image information on the tail side than the designated image information The image composition processing apparatus according to claim 14, wherein the image is divided and processed as two or more new processing targets. 上記制御手段は、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するとともに、その旨を上記記録媒体に記録するべく制御するものであることを特徴とする請求項１４に記載の画像合成処理装置。  The control means controls to exclude the image information designated by the instruction input means from being automatically processed by the rearranging means and the image synthesizing means, and records that fact on the recording medium. The image composition processing device according to claim 14, wherein the image composition processing device is controlled. 上記指示入力手段は、上記並替手段および画像合成手段による処理を手動により行うための選択を入力可能であり、
上記制御手段は、この指示入力手段による手動処理の選択操作に応じて、上記並替手段および画像合成手段による処理が手動により行われるよう制御するものであることを特徴とする請求項４または請求項７に記載の画像合成処理装置。The instruction input means can input a selection for manually performing the processing by the rearranging means and the image synthesizing means,
5. The control unit according to claim 4, wherein the control unit controls the processing by the rearranging unit and the image synthesizing unit to be manually performed according to a manual processing selection operation by the instruction input unit. Item 8. The image composition processing apparatus according to Item 7. 上記指示入力手段は、上記並替手段および画像合成手段による手動処理の対象となる画像情報を指定可能であることを特徴とする請求項１７に記載の画像合成処理装置。  18. The image composition processing apparatus according to claim 17, wherein the instruction input means can designate image information to be manually processed by the rearranging means and the image composition means. コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせる画像合成処理プログラムを記録した記録媒体であって、上記画像合成処理プログラムは、コンピュータに、
画像情報の概要を示すインデックス画像を複数同時に表示させるべく表示手段を制御させ、
上記画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報に基づいて、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御させ、
上記付随情報の撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、
上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成させるものであることを特徴とする、
画像合成処理プログラムを記録した記録媒体。A computer, a recording medium recording an image synthesizing program for causing the process of splicing a plurality of image information captured with a mutually overlapping portion min in order to constitute an object image, the image synthesizing program On the computer
Control the display means to simultaneously display a plurality of index images showing an overview of image information,
Based on the incidental information including information on the imaging direction indicating one of the two directions related to the long side and the short side of the imaging screen formed of a rectangle of the image information and the imaging order of the plurality of image information. Te, the display in order to perform an identification for identifying an index image according to other image information in the index image according to a plurality of image information captured with a overlap fraction together to constitute an object image Control means,
Based on the information related to the shooting direction of the accompanying information, the plurality of image information is rearranged in ascending order or descending order of the shooting order ,
The image information rearranged in ascending or descending order is synthesized by joining from one direction so as to become one image,
A recording medium on which an image composition processing program is recorded. コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせる画像合成処理プログラムを記録した記録媒体であって、上記画像合成処理プログラムは、コンピュータに、
上記画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報の、撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、
上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成させ、
上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも１つの画像情報が指定されるのに応じて、上記並べ替えの処理および画像合成の処理が自動的に行われるよう制御させるものであることを特徴とする、
画像合成処理プログラムを記録した記録媒体。A computer, a recording medium recording an image synthesizing program for causing the process of splicing a plurality of image information captured with a mutually overlapping portion min in order to constitute an object image, the image synthesizing program On the computer
The accompanying information including information on the shooting direction indicating one of the two directions related to the long side and the two directions related to the short side of the shooting screen formed of a rectangle of the image information and the shooting order of the plurality of image information , Based on the information related to the shooting direction, the plurality of image information is rearranged in ascending or descending order of the shooting order ,
The image information rearranged in ascending or descending order is combined from one direction so as to become one image,
In response to at least one of the image information of the plurality of image information captured with a overlap fraction together to constitute the one subject image is designated, the processing of the sorting process and the image synthesis Is controlled to be automatically performed,
A recording medium on which an image composition processing program is recorded.
JP00784098A 1998-01-19 1998-01-19 Image composition processing apparatus and recording medium recording image composition processing program Expired - Fee Related JP3947290B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00784098A JP3947290B2 (en) 1998-01-19 1998-01-19 Image composition processing apparatus and recording medium recording image composition processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00784098A JP3947290B2 (en) 1998-01-19 1998-01-19 Image composition processing apparatus and recording medium recording image composition processing program

Publications (2)

Publication Number Publication Date
JPH11205675A JPH11205675A (en) 1999-07-30
JP3947290B2 true JP3947290B2 (en) 2007-07-18

Family

ID=11676816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00784098A Expired - Fee Related JP3947290B2 (en) 1998-01-19 1998-01-19 Image composition processing apparatus and recording medium recording image composition processing program

Country Status (1)

Country Link
JP (1) JP3947290B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4360781B2 (en) 2002-07-31 2009-11-11 富士フイルム株式会社 Digital camera
JP2005164832A (en) * 2003-12-01 2005-06-23 Fuji Photo Film Co Ltd Method and device for generating stereoscopic image and program
KR100789905B1 (en) 2005-12-08 2008-01-02 한국전자통신연구원 Apparatus and method for playing multi-view panoramic video
JP5096303B2 (en) 2008-12-12 2012-12-12 株式会社キーエンス Imaging device
JP5154392B2 (en) 2008-12-12 2013-02-27 株式会社キーエンス Imaging device
JP5096302B2 (en) 2008-12-12 2012-12-12 株式会社キーエンス Imaging device
US9712746B2 (en) * 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3021556B2 (en) * 1990-06-20 2000-03-15 ソニー株式会社 Video information processing apparatus and method
JP3332942B2 (en) * 1991-05-24 2002-10-07 オリンパス光学工業株式会社 Electronic still camera
JPH0667293A (en) * 1992-08-14 1994-03-11 Olympus Optical Co Ltd Camera
JPH08336069A (en) * 1995-04-13 1996-12-17 Eastman Kodak Co Electronic still camera
JP3530653B2 (en) * 1995-09-26 2004-05-24 キヤノン株式会社 Panoramic image synthesis device
JP3223473B2 (en) * 1995-09-26 2001-10-29 キヤノン株式会社 Image management apparatus and control method thereof
JPH0991410A (en) * 1995-09-26 1997-04-04 Canon Inc Panorama image synthesis system
JP3241243B2 (en) * 1995-09-26 2001-12-25 キヤノン株式会社 Panorama image composition system and panorama image composition method
JP3696952B2 (en) * 1995-09-29 2005-09-21 キヤノン株式会社 Image composition apparatus and method
JPH09322055A (en) * 1996-05-28 1997-12-12 Canon Inc Electronic camera system
JP3832894B2 (en) * 1996-05-28 2006-10-11 キヤノン株式会社 Image synthesizer
JP3817302B2 (en) * 1996-05-28 2006-09-06 キヤノン株式会社 Image generation device
JPH1169288A (en) * 1997-08-11 1999-03-09 Nikon Corp Image processor

Also Published As

Publication number Publication date
JPH11205675A (en) 1999-07-30

Similar Documents

Publication Publication Date Title
JP4146938B2 (en) Panorama image synthesis apparatus and recording medium storing panorama image synthesis program
US8429563B2 (en) Image processing apparatus, image processing method, storage medium, and program
JP4495639B2 (en) Image recording device
JP5055684B2 (en) Image folder switching device
JP2006135590A (en) Digital camera and computer program
JP3947290B2 (en) Image composition processing apparatus and recording medium recording image composition processing program
JP2006060653A (en) Image editing apparatus, method and program
JP2006345029A (en) Image recording apparatus
JP3947289B2 (en) Image composition processing apparatus and recording medium recording image composition processing program
JP2001326846A (en) Image pickup device and its control method
US7903142B2 (en) Digital still camera with print-order information
JP4783073B2 (en) Camera, display control apparatus for the camera, and display control method therefor
JP2010200362A (en) Camera, and device and method for display control of the same
JP3883182B2 (en) Digital camera
JP4286402B2 (en) Recording apparatus, image processing apparatus, display apparatus, recording method, display method, and recording medium
JPH0990530A (en) Compositing device and forming method for panoramic image
JP6399897B2 (en) Display control apparatus and control method thereof
JP4284581B2 (en) Information processing device
JP2004050744A (en) Print processor
JP6487666B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2006135607A (en) Image display method, computer program and digital camera
JP2023177625A (en) Image playback device and method for controlling the same, program, and storage medium
JPH09294226A (en) Electronic album high speed generating system
JP4546859B2 (en) Digital camera
JP2006014020A (en) Image editing device and photograph processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070123

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140420

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees