JP2004021436A - 画像合成補正表示の方法及び画像合成補正表示装置並びにプログラム - Google Patents

Abstract

【課題】即時的かつ継続した画像合成を行い、誤った合成画像の作成を防止し、さらに、高品質の画像合成を可能にする。
【解決手段】撮影装置１０１からの複数の画像情報を外部記憶装置１０３で格納する。画像合成部１０６が、外部記憶装置１０３からの複数のフレーム画像に対する画像合成の指示によって画像を合成する。この合成画像を画像表示部１０４で表示する。制御部１０２が、合成画像に用いたフレーム画像を不採用とする棄却の指示を入力部１０５から取り込み、棄却の回数が規定回数よりも大きな場合の画像合成継続不可の際に、合成されている画像を消去処理部１０７の処理で消去する。さらに、この消去の後に制御部１０２の制御で、画像合成部１０６が合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、情景や書面記載情報などを連続的に取り込んで得られた複数の画像を合成し、かつ、補正を行うとともに必要に応じて表示する画像合成補正表示の方法及び画像合成補正表示装置並びにプログラムに関する。
【０００２】
【従来の技術】
従来、この種の画像合成補正表示の処理では、次のような技術例が知られている。
【０００３】
（１）撮影装置を用いて情景や書面記載情報を撮影する場合、この被写体全体を撮影すると各部が小さく撮影され、詳細な部分までは判明しなくなる。このため接写すると被写体全体の画像を撮影できなくなる。
【０００４】
この問題を解決する提案として、特開平１１−４５３２６号公報「モザイク画像作成方法」（公知例１）があり、この公知例１では、被写体を複数に分割して撮影し、この複数の連続した静止画像を連続するように、つなぎ合わせて１枚の静止画を作成している。
【０００５】
この画像合成の処理では、撮影装置における撮影時の動きを反映した変換行列を算出している。そして、この変換行列を微調整することによって、基準画像に静止画像を合成し、その１枚の静止画像を作成している。
【０００６】
この画像合成の技術では、フレーム画像に特徴がなく、画像合成における一致（マッチング領域）が特定できない場合、又は撮影装置などの動きが速いため移動距離が大きく、フレーム画像間の重なりが少ないと判断される。この結果、フレーム画像の合成棄却が発生し、そのフレーム画像は合成画像にならないことがある。このため即時的（リアルタイム）かつ継続的に画像合成が出来ない場合がある。
【０００７】
（２）さらに、前記した画像合成の技術では、画像合成における変換行列を作成するために撮影装置などの撮影時の変位（動き）を予め知っておく必要がある。また、変換行列を微調整するために画像を、ずらしながら画像の重なり領域全体に対して適応具合を調べる必要がある。このため、画像合成の処理が遅延する。
【０００８】
また、すべての画像に対して変換行列を算出した後に画像を合成するため、全ての画像データを得た後に、その後処理として合成画像を作成することが必要であり、撮影と同時に合成画像を作成できない。換言すれば、即時的（リアルタイム）に合成画像が得られない。
【０００９】
（３）撮影装置を人の手で保持して撮影を行なう場合、手ぶれによって画像がぶれる問題がある。この問題を解決するための提案として、特開２０００−６９３５３号公報「手ぶれ検出装置及び手ぶれ補正装置」（公知例２）がある、この公知例２では、被写体像のぶれを検出して、そのぶれに応じたぶれ信号に基づいて、手ぶれを補正するため受光素子を移動させている。この構成では、比較的、複雑な構成である受光素子を移動させる機構が必要である。
【００１０】
【発明が解決しようとする課題】
このように、上記従来の技術例では、次のような解決課題がある。
（１）即時的かつ継続的に画像合成が出来ない場合が発生することがある。
（２）全ての画像データを得た後に、その後処理として合成画像を作成する必要があり、結果的に撮影と同時、換言すれば、即時的に合成画像が得られない。
（３）比較的、複雑な構成である受光素子を移動させる機構が必要である。
（４）上記した従来技術については、それぞれの技術「複数の連続した静止画像をつなぎ合わせて１枚の静止画を作成」、「受光素子の移動」などに適合した専用として使用できるものであり、このそれぞれの技術を実行しながら同時に、その時々の目的に合わせて切り替えることが出来ない。換言すれば、多様な撮影による合成画像が得られ難い。
【００１１】
本発明は、上記事情に鑑みてなされたものであり、第１の目的として、即時的かつ継続した画像合成ができるとともに、誤った合成画像の作成が防止され、さらに、高品質の画像合成が可能になる、画像合成補正表示の方法及び画像合成補正表示装置並びにプログラムを提供する。
【００１２】
さらに、本発明は、第２の目的として、例えば、予め撮影装置の撮影時の動きを知る必要がなく、かつ、分割して撮影した画像全体の重なり具合を判定することなく、さらに、画像合成における後処理を行わずに、即時的な画像合成が可能になる、画像合成補正表示の方法及び画像合成補正表示装置並びにプログラムを提供する。
【００１３】
また、本発明は第３の目的として、例えば、撮影装置からの画像のぶれ対策用の光学系受光素子を移動させる機構などが不要になって、構成が簡素化され、かつ、画像のぶれを即時的に補正できる、画像合成補正表示の方法及び画像合成補正表示装置並びにプログラムを提供する。
【００１４】
さらに、本発明は、第４の目的として、画像合成や、例えば、撮影装置からの画像ぶれなどに適合した用途に、それぞれの技術を実行しながら同時に、その時々の目的に合わせて切り替えることが出来るようになって、多様な撮影による合成画像生成が可能になる、画像合成補正表示の方法及び画像合成補正表示装置並びにプログラムを提供する。
【００１５】
【課題を解決するための手段】
上記目的を達成する本発明の画像合成表示の方法は、画像合成補正表示装置における複数画像の合成かつ表示を行うものであり、複数の画像情報を格納する工程と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する工程と、この合成画像を表示する工程と、合成画像に用いた画像を不採用とする棄却の指示を取り込む工程と、棄却の回数が規定回数よりも大きな場合の画像合成の継続不可の際に、合成されている画像を消去する工程と、この消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する工程とを有している。
【００１６】
また、本発明の画像合成表示の方法は、画像合成補正表示装置における複数画像の合成かつ表示を行うものであり、複数の画像情報を格納する工程と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する工程と、この合成画像を表示する工程と、合成画像に用いた画像を不採用とする棄却の指示を取り込む工程と、指示による棄却の発生を通知するために、前回の画像合成に用いた画像を表示されている合成画像に重ねて画面表示する工程とを有している。
【００１７】
さらに、本発明の画像合成表示の方法は、画像合成補正表示装置における複数画像の合成かつ表示を行うものであり、複数の画像情報を格納する工程と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する工程と、この合成画像を表示する工程と、この合成画像に用いた画像を不採用とする棄却の指示を取り込む工程と、指示による棄却を取り込んだ場合に、合成した画像を保持する工程と、この合成画像を保持した以後の継続した画像合成の処理を打ち切る工程と、前回の画像合成に用いた画像から画像合成を再開して新たな合成画像を生成する工程と、保持している合成画像に新たな合成画像を上書きして画面表示する工程とを有している。
【００１８】
また、本発明の画像合成表示の方法は、画像合成補正表示装置における複数画像の合成かつ表示を行うものであり、複数の画像情報を格納する工程と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する工程と、この合成画像を表示する工程と、この合成画像に用いた画像を不採用とする棄却の指示を取り込む工程と、指示による棄却が発生した場合に、合成した画像を保持する工程と、この合成画像を保持した以後での継続した画像合成の処理を打ち切る工程と、前回の画像合成に用いた画像から画像合成を再開して新たな合成画像を生成する工程と、保持している合成画像に新たな合成画像を重ねて画面表示する工程と、この工程の後で画像合成の処理終了を取り込んだ場合に、保持している合成画像と、処理終了までに作成した合成画像とを合わせた一つの合成画像を生成する工程とを有している。
【００１９】
さらに、本発明の画像合成表示の方法は、画像合成補正表示装置における複数画像の合成を行うものであり、前回の画像と今回の画像とを変換行列によって位置合わせした第１の変換画像を作成する工程と、第１の変換画像と合成画像の位置合わせを行った第２の変換画像を作成する工程と、第２の変換画像を合成画像に貼り付けて、新たな合成画像を作成する工程と、新たな合成画像及び画像合成に必要な情報を格納する工程と、画像が最終の画像と判断された際に、新たな合成画像を出力するために格納する工程とを有している。
【００２０】
さらに、本発明の画像合成表示の方法は、画像合成補正表示装置における複数画像の合成を行うものであり、前回の画像と今回の画像とを変換行列によって位置合わせした第１の変換画像を作成し、かつ、この位置合わせ情報を得る工程と、第１の変換画像と合成画像とを位置合わせした第２の変換画像を作成し、かつ、この位置合わせ情報を得る工程と、第１及び第２の変換画像でのそれぞれの位置合わせ情報を参照して、合成画像に今回の画像を貼りつけるか否かを判断する工程と、第２の変換画像を合成画像に貼り付けて新たな合成画像を作成する工程と、新たな合成画像及び画像合成に必要な情報を格納する工程と、画像が最終の画像と判断された際に、新たな合成画像を出力するために格納する工程とを有している。
【００２１】
また、本発明の画像合成表示の方法は、画像合成補正表示装置における複数画像の合成と補正かつ表示を行うものであり、複数の画像情報を格納する工程と、格納された複数の画像情報から、前回の画像と今回の画像の移動量を算出する工程と、算出された移動量に基づいて、（ａ）合成画像を補正する処理及びこの処理における画面表示を切り替え、又は（ｂ）入力画像又は合成画像から、他の合成画像、又は補正画像を生成する処理及び、この処理における画面表示の切り替える工程とを有している。
【００２２】
上記した本発明の画像合成補正表示の方法では、画像合成が中断した場合にも即時的な画像合成を継続できるとともに、誤った合成画像の作成が防止される。加えて、自然なフレーム画像間のつなぎ目が得られる。換言すれば、高品質の画像合成が可能になる。
【００２３】
さらに、上記した本発明の画像合成補正表示の方法では、予め撮影装置の撮影時の動きを知る必要がなく、画像合成のための変換行列を算出して画像合成を行うことが出来る。さらに、分割して撮影した画像全体の重なり具合を判定することなく、画像合成のための変換行列を算出できるようになって、即時的な画像合成が可能になる。加えて、画像合成における後処理を行わずに、即時的な画像合成が可能になる。
【００２４】
また、上記した本発明の画像合成補正表示の方法によれば、例えば、撮影装置の動きを知ることなく、画像合成のための変換行列を算出することによって画像を合成し、全ての画像を取得しなくても撮影と同時に即時的に合成画像を作成できるようになる。加えて、電気的に画像のぶれが補正されて、画像のぶれ対策用の光学系受光素子を移動させる機構などが不要になって、構成が簡素化され、かつ、画像のぶれを即時的に補正できるようになる。
【００２５】
さらに、本発明は、画像合成や、例えば、撮影装置からの画像ぶれなどに適合した用途に、それぞれの技術、例えば、複数の連続した静止画像をつなぎ合わせて１枚の静止画を作成する処理」、「手ぶれ対策処理」を実行しながら同時に、その時々の目的に合わせて、前記した技術を切り替えることが出来るようになって、多様な撮影による画像合成が可能になる。
【００２６】
本発明の画像合成補正表示装置は、複数画像の合成かつ表示を行うものであり、複数の画像情報を格納する画像格納手段と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する画像合成手段と、画像合成手段からの合成画像を表示する表示手段とを備え、かつ、（ａ）合成画像に用いた画像を不採用とする棄却の指示を取り込み、棄却の回数が規定回数よりも大きな場合の、画像合成の継続不可の際に、合成されている画像を消去する消去処理手段と、画像合成手段において、消去処理手段での合成画像の消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する処理、（ｂ）画像合成手段において、合成画像に用いた画像を不採用とする棄却の指示を取り込み、かつ、指示による棄却の発生を通知するために、前回の画像合成に用いた画像を表示されている合成画像に重ねて画面表示し、かつ、この合成画像の表示において、画像合成を行うための貼り付けを行う際に、貼り付け画像の位置が判明するように、枠を含む画像を表示するための枠表示手段における上記（ａ）又は（ｂ）を有している。
【００２７】
また、本発明の画像合成補正表示装置は、複数画像の合成かつ表示を行うものであり、複数の画像情報を格納する画像格納手段と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する画像合成手段と、画像合成手段からの合成画像を表示する表示手段とを備え、かつ、（ａ）合成画像に用いた画像を不採用とする棄却の指示を取り込み、棄却の回数が規定回数よりも大きな場合の、画像合成の継続不可の際に、合成されている画像を消去する消去処理手段と、画像合成手段において、消去処理手段での合成画像の消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する処理、（ｂ）画像合成手段において、合成画像に用いた画像を不採用とする棄却の指示を取り込み、かつ、指示による棄却の発生を通知するために、前回の画像合成に用いた画像を表示されている合成画像に重ねて画面表示し、かつ、この合成画像の表示において、画像合成を行うための貼り付けを行う際に、貼り付け画像の位置が判明するように、枠を含む画像を表示するための枠表示手段における上記（ａ）又は（ｂ）を有している。
【００２８】
また、本発明の画像合成補正表示装置は、複数の画像情報を格納する画像格納手段と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成し、かつ、合成画像に用いた画像を不採用とする指示よって棄却が発生した場合に、合成した画像を保持し、かつ、以後の継続した画像合成を打ち切り、さらに、前回の画像合成に用いた画像から画像合成を再開して新たな合成画像を生成する画像合成手段と、画像合成手段からの合成画像を表示する表示手段とを備え、かつ、（ａ）画像合成手段において、保持している合成画像に新たな合成画像を上書きして画面表示するための、合成画像位置初期化手段、（ｂ）画像合成手段において、保持している合成画像に新たな合成画像を重ねて画面表示し、画像合成の処理終了を取り込んだ場合に、保持している合成画像と、処理終了までに作成した合成画像とを合わせた一つの合成画像を生成するための合成画像位置初期化手段における上記（ａ）又は（ｂ）を有している。
【００２９】
また、本発明の画像合成補正表示装置は、前回画像と今回の画像との変換行列から位置合わせを行った第１の変換画像を作成する前段位置合わせ処理手段と、合成画像と第１の変換画像との位置合わせを行った第２の変換画像を作成する後段位置合わせ処理手段と、第２の変換画像を合成画像に貼り付けて、新たな合成画像を作成する合成画像処理手段と、新たな合成画像及び画像合成に必要な情報を格納する合成画像情報格納手段とを備え、かつ、（ａ）前段位置合わせ処理手段に入力される画像が最終の画像と判断された際に、新たな合成画像を出力するために格納する出力結果格納手段、（ｂ）後段位置合わせ処理手段に入力される画像が最終の画像と判断された際に、新たな合成画像を出力するために格納する出力結果格納手段と、第１及び第２の変換画像でのそれぞれの位置合わせ情報を参照して、合成画像に今回の画像を貼りつけるか否かを判断する合成棄却判定手段とにおける上記（ａ）又は（ｂ）を備えている。
【００３０】
また、本発明の画像合成補正表示装置は、複数画像の合成と補正かつ表示を行うものであり、複数の画像情報を格納する画像格納手段と、画像格納手段に格納された複数の画像情報から、前回の画像と今回の画像の移動量を算出する算出手段と、算出手段で算出された移動量に基づいて、（ａ）合成画像を補正する処理及びこの処理における画面表示を切り替え、又は（ｂ）入力画像又は合成画像から、他の合成画像、又は補正画像を生成する処理及び、この処理における画面表示の切り替える切替手段とを有している。
【００３１】
上記した本発明の装置によれば、前記の方法の発明と同様の作用効果が得られる。
【００３２】
本発明のプログラムは、複数の画像情報を格納する処理と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する処理と、合成画像を表示する処理と、（ａ）合成画像に用いた画像を不採用とする棄却の指示を取り込み、棄却の回数が規定回数よりも大きな場合の、画像合成の継続不可の際に、合成されている画像を消去する消去処理手段と、画像合成手段において、消去処理手段での合成画像の消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する処理、（ｂ）画像合成手段において、合成画像に用いた画像を不採用とする棄却の指示を取り込み、かつ、指示による棄却の発生を通知するために、前回の画像合成に用いた画像を表示されている合成画像に重ねて画面表示し、かつ、この合成画像の表示において、画像合成を行うための貼り付けを行う際に、貼り付け画像の位置が判明するように、枠を含む画像を表示するための処理と、上記（ａ）又は（ｂ）の制御をコンピュータに実行させるものである。
【００３３】
本発明のプログラムは、複数の画像情報を格納する処理と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する処理と、合成画像を表示する処理と、（ａ）合成画像に用いた画像を不採用とする棄却の指示を取り込み、棄却の回数が規定回数よりも大きな場合の、画像合成の継続不可の際に、合成されている画像を消去する消去処理手段と、画像合成手段において、消去処理手段での合成画像の消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する処理、（ｂ）画像合成手段において、合成画像に用いた画像を不採用とする棄却の指示を取り込み、かつ、指示による棄却の発生を通知するために、前回の画像合成に用いた画像を表示されている合成画像に重ねて画面表示し、かつ、この合成画像の表示において、画像合成を行うための貼り付けを行う際に、貼り付け画像の位置が判明するように、枠を含む画像を表示するための処理とにおける上記（ａ）又は（ｂ）の制御をコンピュータに実行させるものである。
【００３４】
本発明のプログラムは、複数の画像情報を格納する処理と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成し、かつ、合成画像に用いた画像を不採用とする指示よって棄却が発生した場合に、合成した画像を保持し、かつ、以後の継続した画像合成を打ち切り、さらに、前回の画像合成に用いた画像から画像合成を再開して新たな合成画像を生成する画像合成手段と、画像合成手段からの合成画像を表示する処理と、（ａ）画像合成手段において、保持している合成画像に新たな合成画像を上書きして画面表示するための処理と、（ｂ）保持している合成画像に新たな合成画像を重ねて画面表示し、画像合成の処理終了を取り込んだ場合に、保持している合成画像と、処理終了までに作成した合成画像とを合わせた一つの合成画像を生成するための処理とにおける上記（ａ）又は（ｂ）の制御をコンピュータに実行させるものである。
【００３５】
本発明のプログラムは、前回の画像と今回の画像との変換行列から位置合わせを行った第１の変換画像を作成する処理と、合成画像と第１の変換画像との位置合わせを行った第２の変換画像を作成する処理と、第２の変換画像を合成画像に貼り付けて、新たな合成画像を作成する処理と、新たな合成画像及び画像合成に必要な情報を格納する処理と、（ａ）入力される画像が最終の画像と判断された際に、新たな合成画像を出力するために格納する処理と、（ｂ）入力される画像が最終の画像と判断された際に、第１及び第２の変換画像でのそれぞれの位置合わせ情報を参照して、合成画像に今回の画像を貼りつけるか否かを判断する処理と、上記（ａ）（ｂ）のいずれか一つの制御をコンピュータに実行させるものである。
【００３６】
上記した本発明のプログラムによれば、本発明を情報記録媒体、例えば、パッケージソフトウェアとして提供可能になり、本発明を処理が、ＭＰＵなどを装備した装置で実行できるようになって、その汎用性が向上する。
【００３７】
以下は、上記した本発明の技術思想における好適な態様である。
【００３８】
合成画像の表示において、画像合成を行うための貼り付け時において、貼り付け画像の位置が判明するように、枠を含む画像を表示する。
【００３９】
画像を不採用とする棄却を、この棄却の回数が、規定回数よりも大きい場合をもって判断する。
【００４０】
第１及び第２の変換画像の作成における位置合わせとして、第１の変換画像を作成する工程では今回の画像と前回の画像から、第２の変換画像を作成する工程では第１の変換画像と合成画像から、冗長な情報を削減したそれぞれ二つの低情報画像を作成する工程と、この二つの低情報画像における一方から特徴のある領域を探索する工程と、この探索で得られた領域上を、低情報画像における他方を用いて走査した―致状態から、二つの低情報画像間の移動ベクトルを得るマッチングの工程と、このマッチングで得られた移動ベクトルを用いて変換行列を計算して、今回の画像又は第１の変換画像を変換した変換画像を作成する工程とを有している。
【００４１】
第１及び第２の変換画像の作成における位置合わせとして、第１の変換画像を作成する工程では今回の画像と前回の画像から、第２の変換画像を作成する工程では第１の変換画像と合成画像から、冗長な情報を削減したそれぞれ二つの低情報画像を作成する工程と、この二つの低情報画像における一方から特徴のある領域を探索する工程と、この探索で得られた領域上を、低情報画像における他方を用いて走査した際の―致状態から、二つの低情報画像間の移動ベクトルを得るマッチングの工程と、このマッチングで得られた移動ベクトルが妥当であるかを、合成画像の貼り付けにおける有効又は棄却のために判断する工程と、マッチングで得られた移動ベクトルを用いて変換行列を計算し、今回の画像又は第１の変換画像を変換した変換画像を作成する工程とを有している。
【００４２】
また、移動量を、以下の（ａ）（ｂ）（ｃ）のいずれかによって算出し、かつ、合成画像を補正する処理及びこの処理における画面表示を切り替える。
【００４３】
（ａ）合成された合成画像と今回の画像の処理上における位置情報を出力し、かつ、この今回の画像と前回の画像処理上における位置情報に基づいて算出し、この移動量の大小によって、合成画像を補正して画面表示する。
【００４４】
（ｂ）合成された合成画像と前回の画像と今回の画像の画像処理上における位置情報に基づいて算出し、かつ、この移動量の大小によって、今回の画像の、画像処理上における位置情報を補正し、この画像処理上における位置情報に基づいて、合成画像の画像処理上における位置を補正して出力し、この合成画像と補正された画像処理上における位置に基づいて、合成画像を補正して画面表示する。
【００４５】
（ｃ）前回の画像と今回の画像の画像処理上における位置情報に基づいて算出し、かつ、この移動量の大小によって、合成画像を補正して画面表示する。
【００４６】
さらに、移動量を、以下の（ａ）又は（ｂ）によって算出し、かつ、合成画像を補正する処理及びこの処理における画面表示を切り替える。
【００４７】
（ａ）前回の画像と今回の画像の画像処理上における位置情報に基づいて算出し、この移動量の大小によって、合成画像を生成する処理と補正画像を生成する処理を切り替え、かつ、補正された合成画像を画面表示する。
【００４８】
（ｂ）前回の画像と今回の画像の画像処理上における位置情報に基づいて合成画像及び補正画像をそれぞれ生成し、さらに、前回の画像と今回の画像との画像処理上における位置情報に基づいて算出し、この移動量の大小によって、合成画像を生成する処理と補正画像を出力する処理を切り替え、かつ、補正された合成画像を画面表示する。
【００４９】
また、画像が最終画像であるか否かによって、合成画像と補正画像の出力を切り替え又は処理し、かつ、この補正画像又は合成画像を画面表示する。
【００５０】
また、移動量の大きな状態、又は小さい状態が所定の回数をもって連続した場合に画像合成又は画像補正の処理と画面表示の一方又は両方を切り替える。
【００５１】
さらに、超解像による画像合成を行い、この超解像の画像処理と、画像合成の処理との切り替えを行う。
【００５２】
【発明の実施の形態】
以下、図を参照して、この発明の実施の形態について説明するが、構成及び配置関係についてはこの発明が理解できる程度に概略的に示したものに過ぎない。また、以下、この発明の好適な構成例につき説明するが、各構成及び数値的条件などは、単なる好適例にすぎない。したがって、この発明は以下の実施の形態に限定されず、特許請求の範囲の記載に基づく様々な形態に適用可能である。
【００５３】
また、以下の各実施形態では、その共通な構成要素には、同一又は類似の参照符号を付与し、さらに、同一の構成要素は、その重複した説明を省略した。
【００５４】
（第１の実施形態の構成及び各部の動作）
図１は本発明の第１の実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【００５５】
図１を参照すると、この第１の実施形態の画像合成補正表示装置は、撮影装置１０１と、制御部０２と、　外部記憶装置１０３と、画像表示部１０４と、入力部１０５と、　画像合成部１０６と、　消去処理部１０７とを有し、この各部がデータ、制御及びアドレス転送用のバスラインに接続されている。
【００５６】
撮影装置１０１は、制御によって被写体の撮像を―定間隔で撮影した複数のフレーム画像を連続して出力する。
【００５７】
制御部１０２は、以降で詳細に説明するように各部（この制御部１０２を除く撮影装置１０１から消去処理部１０７）の動作に対する制御を実行する。
【００５８】
外部記憶装置１０３は、撮影装置１０１が出力するフレーム画像を記憶し、さらに、制御部１０２の制御によって、ここで保存したファイルを読み込んで、そのフレーム画像を出力する。
【００５９】
画像表示部１０４は、ブラウン管（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）であり、画像合成部１０６で合成した画像を画面表示する。
【００６０】
入力部１０５は、具体的には、キーボードやポインティングデバイスなどの入力装置であり、オペレータの指示を制御部１０２に出力する。
【００６１】
画像合成部１０６は、撮影装置１０１が出力するフレーム画像及び外部記憶装置１０３に保存された画像ファイル（被写体の撮像を―定間隔で撮影した複数のフレーム画像）を合成するとともに（特に、以降の第５の実施形態及び第６の実施形態の説明参照）、このフレーム画像を合成する可否を表す棄却情報（適宜、合成可否棄却情報と表記する）を消去処理部１０７に出力する。
【００６２】
消去処理部１０７は、画像合成部１０６からのフレーム画像の合成可否棄却情報を受け取って、画像合成部１０６の現在の合成画像を消去し、画像合成部１０６に対して、新たな次のフレーム画像を開始フレーム画像として画像合成を継続する指示を行う。
【００６３】
（第１の実施形態の全体動作）
図２は第１の実施形態の動作における処理手順を示すフローチャートである。
【００６４】
図２を参照すると、入力部１０５からの画像合成の開始指示を制御部１０２が取り込んで図２の処理が開始する。
【００６５】
まず、オペレータ（適宜、オペレータの表記を省略する）による入力部１０５からの画像合成の終了指示を制御部１０２が判断（制御部１０２の判断において、適宜、制御部１０２の表記を省略する）する（図２、以下、この「図２」の表記は省略する。ステップＳ１０１）。この判断で指示があった場合（ステップＳ１０１：Ｙｅｓ）、処理終了となり、指示がない場合（ステップＳ１０１：Ｎｏ）、新たな次のフレーム画像の取得処理に移行する（ステップＳ１０２）。
【００６６】
このフレーム画像の取得処理では、制御部１０２の制御で、撮影装置１０１からのフレーム画像データ、又は外部記憶装置１０３に記憶されたファイルからフレーム画像が画像合成部１０６で取り込まれる。この画像合成部１０６の画像合成処理では、複数のフレーム画像を合成した合成画像を作成する（ステップＳ１０３）。
【００６７】
また、画像合成部１０６は、フレーム画像を合成した場合は「棄却なし」、又は合成しなかった場合は「棄却あり」の合成棄却判断の結果を消去処理部１０７に出力する。さらに、画像合成部１０６は、作成した合成画像を画像表示部１０４に出力し、この画像表示部１０４で画面表示する（ステップＳ１０４）。
【００６８】
消去処理部１０７が、画像合成部１０６から受け取った合成棄却判断の結果「棄却あり」又は「棄却なし」を判断する（ステップＳ１０５）。この判断で「棄却なし」の場合、消去処理部１０７の保持する連続棄却回数Ｒを「０」にリセットし、「棄却あり」の場合は、連続棄却回数Ｒに「１」を加算する。この連続棄却回数Ｒが予め規定した値Ｎ（＞０）より大きい場合（Ｒ＞Ｎ、ステップＳ１０５：Ｙｅｓ）、次の消去処理（ステップＳ１０６）に移行し、連続棄却回数Ｒが予め規定した値Ｎ（＞０）より大きくない場合（Ｎ＞Ｒ、ステップＳ１０５：Ｎｏ）、終了指示（ステップＳ１０１）にリターンする。
【００６９】
ステップＳ１０６の消去処理では、連続棄却回数Ｒが規定値Ｎより大きい場合に消去処理部１０７が、画像合成部１０６に対して合成画像の消去を依頼し、現在のフレーム画像を開始フレーム画像として合成を継続するよう画像合成処理（ステップＳ１０３）にリターンする。
【００７０】
（第１の実施形態の効果）
このように第１の実施形態によれば、　画像合成部１０６におけるフレーム画像の合成棄却の回数Ｒをカウントし、画像合成処理の継続が出来ないことを規定の回数Ｎで判定している。そして、この判定結果によって合成画像を消去した後に、現在のフレーム画像を開始フレーム画像として画像合成を継続させている。
【００７１】
これによって、フレーム画像の合成棄却が頻発する場合に、次のフレーム画像の合成が出来ない確率が高いと判断されて、誤った合成画像の作成が防止され、また、フレーム画像の合成棄却が頻発しない場合は、画像合成が行なわれるため、結果的に即時的（リアルタイム）な画像合成が継続して行われることになる。
【００７２】
（第２の実施形態の構成及び各部の動作）
図３は、第２の実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【００７３】
図３を参照すると、この第２の実施形態の画像合成補正表示装置は、第１の実施形態の画像合成補正表示装置（図１）と同一の撮影装置１０１から入力部１０５までと、この第２の実施形態に対応する画像合成部２０１及び枠表示部２０２を備えており、この各部がデータ、制御及びアドレス転送用のバスラインに接続されている。
【００７４】
以下において、第１の実施形態と同一の撮影装置１０１から入力部１０５までの重複した説明は省略し、この第２の実施形態に対応する画像合成部２０１及び枠表示部２０２についてのみ説明する。
【００７５】
画像合成部２０１は、前記した第１の実施形態と同一の動作に加えて、第２の実施形態に対応する動作である、「複数枚のフレーム画像の合成可否棄却情報」、及び「合成した場合には合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報」を枠表示部２０２に出力する。
【００７６】
枠表示部２０２は、画像合成部２０１から受け取ったフレーム画像の合成可否棄却情報によって、フレーム画像の貼り付けが中断されたことを認識し、かつ、画像表示部１０４が表示する枠の座標情報を保持する。この枠の座標情報は、画像合成部２０１から受け取った前回合成したときの合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報である。
【００７７】
（第２の実施形態の全体動作）
図４は、第２の実施形態の動作の処理手順を示すフローチャートである。
【００７８】
図４を参照すると、前記した第１の実施形態における同一の終了指示を処理し（図４、以下、この「図４」の表記は省略する。ステップＳ１０１）、さらに、フレーム画像を画像合成部２０１が取り込む（ステップＳ１０２）。
【００７９】
次に、この第２の実施形態の画像合成処理において、画像合成部２０１が、ステップＳ１０２によって取り込んだフレーム画像に対する画像合成処理を行う（ステップＳ２０１）。
【００８０】
また、画像合成部２０１は、フレーム画像を合成した場合は「棄却なし」、又は合成に使用しなかった場合は「棄却あり」の合成棄却判断の結果を枠表示部２０２に出力する。「棄却なし」の場合、合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報を枠表示部２０２に出力する。
【００８１】
画像合成部２０１の作成した合成画像を制御部１０２の制御で画像表示部１０４が画面表示を行なう場合、その合成画像を画面表示する（ステップＳ２０２）。なお、前回までの枠表示部２０２の処理による枠を画面表示している場合は、その画面表示を消去する。
【００８２】
画像合成部２０１から枠表示部２０２が受け取った合成棄却判断の結果である「棄却あり」又は「棄却なし」を判断する（ステップＳ２０３）。ここで「棄却あり」の場合（ステップＳ２０３：Ｙｅｓ）、枠表示（ステップＳ２０４）に移行し、また、「棄却なし」の場合は、終了指示の処理（ステップＳ１０１）に移行する（ステップＳ２０３：Ｎｏ）。
【００８３】
次に、枠表示部２０２が，画像合成部２０１から受け取った合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報を、例えば、赤い枠で画像表示部１０４が表示する（ステップＳ２０４）。
【００８４】
図５は第２の実施形態における画像合成状態を説明するための図である。
【００８５】
ここでは図５（ａ）に示す６枚のフレーム画像を矢印の順に合成する。さらに、ここでは、図５（ａ）に示すフレーム画像Ｐ２０１の２枚のフレーム画像で合成棄却が発生し、画像合成処理が中断するものとする。なお、図５（ｂ）は合成画像を示している。
【００８６】
図５（ｂ）では、フレーム画像を１枚ずつ合成した過程を矢印で示している。なお、合成に使用したフレーム画像を便宜上点線枠で示しているが、実際には表示しなくても良い。また、図５（ｂ）中のフレーム画像Ｐ２０１の合成処理では、合成が中断し、例えば、色付の枠を表示するなどして．オペレータに通知する。さらに、６枚目のフレーム画像を合成する場合は、画像合成を再開し、フレーム画像Ｐ２０１で表示した色付の枠は表示しない。
【００８７】
なお、フレーム画像の合成の再開は、そのフレーム画像を開始フレーム画像として画像合成を再開するものである（次の、第３の実施形態の全体動作参照）。
【００８８】
（第２の実施形態の効果）
このように、この第２の実施形態によれば、画像合成部２０１におけるフレーム画像の合成棄却が発生した場合、前回の合成に使用したフレーム画像の位置を色付の枠などで合成画像と重ねて画面表示して、オペレータに合成棄却があったことが通知される。
【００８９】
また、オペレータに対し、撮影装置１０１の移動で合成画像の作成を再開させるよう指示することが可能になる。
【００９０】
さらに、前記した第１の実施形態と比較して、合成中断の前の合成画像を消去しないため、それまでに作成した合成画像を有効に活用することが出来る。
【００９１】
（第３の実施形態の構成及び各部の動作）
図６は、第３の実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【００９２】
図６を参照すると、前記した第１の実施形態及び第２の実施形態と同一の撮影装置１０１から入力部１０５までと、この第３の実施形態に対応する画像合成部３０１及び合成画像位置初期化部３０２を備え、これらの各部がデータ、制御及びアドレス転送用のバスラインに接続されている。
【００９３】
以下において、前記した第１の実施形態と同一の撮影装置１０１から入力部１０５までの重複した説明は省略し、この第３の実施形態に対応する画像合成部３０１及び合成画像位置初期化部３０２についてのみ説明する。
【００９４】
画像合成部３０１は、前記した第１の実施形態と同一の動作に加え、前記した第１の実施形態における「フレーム画像の合成画像への合成可否を表す棄却情報」、及び「合成が行なわれた場合における合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報」を合成画像位置初期化部３０２に出力する。
【００９５】
また、画像合成部３０１は、合成画像位置初期化部３０２の指示によって、指定の開始位置からフレーム画像の合成を再開し、それまでの合成画像に上書きする。
【００９６】
合成画像位置初期化部３０２は、画像合成部３０１から受け取ったフレーム画像の合成画像への合成可否を表す棄却情報によって、フレーム画像の貼り付けが中断となったことを認識し、画像合成部３０１に対して、そのフレーム画像を開始フレーム画像として画像合成の再開を指示する。
【００９７】
（第３の実施形態の全体動作）
図７は第３の実施形態の動作の処理手順を示すフローチャートである。
【００９８】
図７を参照すると、前記した第１の実施形態と同一の終了指示を処理し（図７、以下、この「図７」の表記は省略する。ステップＳ１０１）、次に、撮影装置１０１からの映像又は外部記憶装置１０３に格納された画像ファイルからフレーム画像を画像合成部３０１が取り込む（ステップＳ１０２）。
【００９９】
次に、画像合成部３０１が、取得したフレーム画像を合成する画像合成処理を行う。また、画像合成部３０１は、フレーム画像の合成を行った場合は「棄却なし」、又は合成を行なわなかった場合は「棄却あり」の合成棄却判断の結果を合成画像位置初期化部３０２に出力する。また、画像合成部３０１は、「棄却なし」の場合に、合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報を合成画像位置初期化部３０２に出力する（ステップＳ３０１）。
【０１００】
画像合成部３０１が作成した合成画像を画像表示部１０４が画面表示する（ステップＳ３０２）。
【０１０１】
次に、合成画像位置初期化部３０２は、画像合成部３０１から受け取った合成棄却判断の結果である「棄却あり」又は「棄却なし」を判断する（ステップＳ３０３）。この処理で「棄却あり」の場合（Ｙｅｓ）、開始位置設定（ステップＳ３０４）に進み、「棄却なし」の場合（Ｎｏ）、ステップＳ１０１の終了指示の判断処理にリターンする。
【０１０２】
次に、制御部１０２が、現在の合成画像に関する合成処理の打切りを画像合成部３０１に指示し、そして、合成画像位置初期化部３０２が画像合成部３０１から受け取った合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報の中心とフレーム画像の中心が―致したときのフレーム画像の左上端を開始位置、及び棄却されたフレーム画像を開始フレーム画像として画像合成を再開することを画像合成部３０１に指示し（ステップＳ３０４）、この後、ステップＳ３０１の画像合成処理にリターンする。
【０１０３】
ステップＳ３０１の画像合成処理では、新しい開始フレーム画像から合成した合成画像が、ここで合成処理を打ち切った合成画像を上書きする。
【０１０４】
図８は、第３の実施形態における画像合成の開始位置を説明するための図である。
【０１０５】
図８を参照すると、フレーム画像Ｐ３０１は棄却されたフレーム画像の前に合成画像に貼り付けられた最後のフレーム画像であり、また、図８中のフレーム画像Ｐ３０２は棄却されたフレーム画像で、フレーム画像Ｐ３０１とフレーム画像Ｐ３０２の中心Ｐ３０３が一致するときのフレーム画像Ｐ３０２の左上端座標像Ｐ３０４が開始位置となる。
【０１０６】
図９は第３の実施形態における画像合成の状態を示す図である。
【０１０７】
図９（ａ）の６枚のフレーム画像を矢印の順に画像合成する。そして、この例では、フレーム画像Ｐ３０５の１枚のフレーム画像で合成棄却が発生し、画像合成処理が中断する。図９（ｂ）は、画像合成の状態を示しており、図９（ａ）のフレーム画像を１枚ずつ合成した場合の１０の過程（１０の流れ）を矢印で示している。図９（ｂ）では、画像合成に使用したフレーム画像を便宜上点線枠で示しているが、これは実際には表示しなくても良い。
【０１０８】
また、図９（ｂ）では、図９（ａ）のフレーム画像Ｐ３０５を合成に使用した場合、それまでの合成画像の処理を中断し、前回のフレーム画像の位置での画像合成を行なう。これ以降は、この合成画像を基準としてフレーム画像を合成する。
【０１０９】
なお、図９（ｂ）では、棄却以降のフレーム画像による合成画像を太い枠（黒線）で示している。なお、実際にはこの枠は表示しなくても良い。
【０１１０】
（第３の実施形態の効果）
このように、この第３の実施形態では、画像合成部３０１におけるフレーム画像の合成棄却が発生した場合、これまで作成した合成画像との継続した合成処理を打切り、その合成画像を残した状態で、前回の合成に使用したフレーム画像の位置から画像の合成を再開して、前回までの合成画像を上書きする。
【０１１１】
これによって、前記した第２の実施形態のようにオペレータへの撮影装置１０１の移動を要求しないでも良くなり、その画像合成を継続することが出来るようになる。また、合成画像の状態が悪く、継続した合成画像の作成が困難な場合であっても、棄却されたフレーム画像が基準となるため、これ以降の画像合成が継続して行われる。
【０１１２】
また、前回までの合成画像と新たに作成される合成画像との接合面にずれがある場合、オペレータは一度処理を終了した後に再度、画像合成を再開しないでも良くなり、前回の合成画像を上書きすることによって、接合面のずれを容易に修正したり、新たな合成画像によって、全てを上書きできるようになる。
【０１１３】
さらに、この第３の実施形態では、前記した第１の実施形態と比較して、オペレータが合成画像の接合面にずれがないと判断した場合に、合成中断の前の合成画像を消去しないため、それまでに作成した合成画像を有効に活用することが出来るようになる。
【０１１４】
（第４の実施形態の構成及び各部の動作）
図１０は、第４の実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【０１１５】
図１０を参照すると、前記した第１の実施形態から第３の実施形態と同一の撮影装置１０１から入力部１０５までと、合成画像位置初期化部３０２とともに、この第４の実施形態に対応する画像合成部４０１とを備え、この各部がデータ、制御及びアドレス転送用のバスラインに接続されている。
【０１１６】
以下において、前記した第１の実施形態から第３の実施形態と同一の撮影装置１０１から入力部１０５までと合成画像位置初期化部３０２の重複した説明は省略し、この第４の実施形態に対応する画像合成部４０１についてのみ説明する。画像合成部４０１は、前記した第１の実施形態と同一の処理に加え、前記した第２の実施形態における「フレーム画像の合成画像への合成可否を表す棄却情報」、及び合成した場合における合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報」を合成画像位置初期化部３０２に出力する。さらに、画像合成部４０１は、合成画像位置初期化部３０２の指示によって、現在の合成画像による合成を中断して、この中断時の合成画像を―時保存し、指定の開始位置からフレーム画像の合成を再開し、―時保存した合成画像と異なる合成画像を作成する。この―時保存した合成画像は複数を保持することができ、一時保存された合成画像及び作成中の合成画像を順に重ねた画像を画像表示部１０４で表示する。さらに、制御部１０２の指示によって、―時保存された合成画像及び作成した合成画像で合成を行う。
【０１１７】
合成画像位置初期化部３０２は、画像合成部４０１から受け取ったフレーム画像の合成画像への合成可否を表す棄却情報によって、フレーム画像の貼り付けが中断されたことを認識して、画像合成部４０１に対して、そのフレーム画像を開始フレーム画像として合成の再開を指示する。
【０１１８】
（第４の実施形態の全体動作）
図１１は、第４の実施形態の処理手順を示すフローチャートである。
【０１１９】
図１１を参照すると、この第４の実施形態では、まず、前記した第１の実施形態から第３の実施形態と同様の終了指示が判断される（ステップＳ１０１）。この処理で、オペレータによる終了指示があった場合（Ｙｅｓ）、画像合成処理に移行する（ステップＳ４０３）。
【０１２０】
ステップＳ１０１で、オペレータによる終了指示がなかった場合（Ｎｏ）、撮影装置１０１からの映像又は外部記憶装置１０３に格納されている画像ファイルからフレーム画像を制御部１０２の制御で画像合成部４０１が取り込む（ステップＳ１０２）。
【０１２１】
画像合成部４０１は、取得したフレーム画像の画像合成処理を行う。また、画像合成部４０１は、フレーム画像合成における「棄却なし」、又は合成を行わなかった場合は「棄却あり」の合成棄却判断の結果を合成画像位置初期化部３０２に出力する。また、画像合成部４０１は、「棄却なし」の場合、合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報を合成画像位置初期化部３０２に出力する（ステップＳ４０１）。
【０１２２】
次に、合成画像表示を処理する（ステップＳ４０２）。この処理は、画像合成部４０１が作成した合成画像であり、開始位置設定（ステップＳ３０４参照）が合成処理を打ち切った時保存合成画像に、処理中の合成画像を重ねて画像表示部１０４で表示する。
【０１２３】
次に、合成棄却の有無を処理する（ステップＳ３０３）。この処理では、合成画像位置初期化部３０２が、画像合成部４０１から受け取った合成棄却判断の結果である「棄却あり」又は「棄却なし」を判断するものである。「棄却あり」の場合（ステップＳ３０３：Ｙｅｓ）、開始位置設定処理（ステップＳ３０４）に進み、「棄却なし」の場合（ステップＳ３０３：Ｎｏ）、終了指示の処理にリターンする（ステップＳ１０１）。
【０１２４】
次に、開始位置設定を処理する（ステップＳ３０４）。この処理では、現在の合成画像に関する合成処理を打切り、その合成画像の―時保存を画像合成部４０１に指示し、さらに、合成画像位置初期化部３０２が、画像合成部４０１から受け取って合成画像の原点（左上端）を基準とするフレーム画像の貼り付け位置を表す座標情報の中心とフレーム画像の中心が―致したときのフレーム画像の左上端を開始位置及び棄却されたフレーム画像を開始フレーム画像として画像合成を再開することを画像合成部４０１に指示して、ステップＳ４０１の画像合成処理に移行する。なお、開始位置に関しては、前記した第３の実施形態と同様である。
【０１２５】
次に、ステップＳ１０１でＹｅｓの場合、すなわち、終了指示の場合に画像合成処理を行う（ステップＳ４０３）。この処理では、制御部１０２の終了指示によって、画像合成部４０１が―時保存する合成画像及び終了指示まで合成処理していた合成画像についての合成を行い、一つの合成画像を作成する。
【０１２６】
図１２は第４の実施形態における画像合成の状態を示す図である。
【０１２７】
図１２（ａ）の６枚のフレーム画像を矢印の順序で画像合成を行う。ここでの画像合成では、図１２（ａ）に示すフレーム画像Ｐ４０１の１枚のフレーム画像で合成棄却が発生し、画像合成処理が中断する。図１２（ｂ）は、合成画像の状態を示し、図１２（ａ）のフレーム画像を１枚ずつ合成した過程を矢印で示している。
【０１２８】
なお、図１２（ｂ）では、合成に使用したフレーム画像を便宜上点線枠で示しているが、実際には表示しなくても良い。また、図１２（ａ）では、、フレーム画像Ｐ４０１を合成する場合、それまでの合成画像を―時保存し、フレーム画像Ｐ４０１は前回のフレーム画像の位置に合成し、これを基準として以降のフレーム画像を合成する。なお、表示上では、一時的に保存された合成画像が上書きされるように見えるが、棄却以降のフレーム画像による合成画像とは異なるものである。図１２（ｂ）では、棄却以降のフレーム画像による合成画像を太い枠で示しているが、実際にはこの枠は表示しなくても良い。
【０１２９】
さらに、終了指示があった場合（図１１（ステップＳ１０１：Ｙｅｓ）、合成画像間で合成処理を実施し、一つの合成画像を作成する。図１２（ｂ）では、フレーム画像Ｐ４０２に示すように、複数の合成画像による合成で合成画像の位置が補正された合成画像を生成する。
【０１３０】
（第４の実施形態の効果）
このように、この第４の実施形態では、画像合成部４０１におけるフレーム画像の合成棄却が発生した場合、これまで作成した合成画像との継続した合成処理を打切り、その合成画像を―時保存した後に、前回の合成に使用したフレーム画像の位置から画像の合成を再開する。また、表示上では、―時保存した合成画像と再開した合成処理の合成画像を重ねて表示する。さらに、オペレータによる終了指示があると、これら―時保存の合成画像と終了指示までに作成した合成画像について画像合成を行い、一つの合成画像を作成する。
【０１３１】
これによって、前記した第３の実施形態と同じく、前記した第２の実施形態と異なってオペレータに撮影装置位置の移動を要求することなく、画像合成を継続することが出来る。また、合成画像の状態が悪く、継続した合成画像の作成が困難な場合であっても、棄却されたフレーム画像が基準となるため、それ以降の画像合成が継続して行われる。
【０１３２】
また、この第４の実施形態では、前記した第３の実施形態のように、前回までの合成画像と新たに作成される合成画像との接合面にずれがある場合でも、オペレータによる終了指示後に複数の合成画像による合成を行うため、接合面のずれを補正した合成画像を生成することが出来るようになり、さらに、前記した第１の実施形態と比較し、合成中断の前の合成画像を消去しないため、それまでに作成した合成画像を有効に活用することが出来るようになる。
【０１３３】
次に、前記した第１の実施形態から第４の実施形態の図１、図３、図６、図１０それぞれの画像合成部１０６，２０１，３０１，４０１の詳細な構成及び、その動作例について説明する。
【０１３４】
（第５の実施形態の構成及び各部の動作）
図１３は第５の実施形態における画像合成補正表示装置の構成を示すブロック図である。
【０１３５】
図１３を参照すると、この画像合成補正表示装置５００は、データ格納部５０１と、フレーム画像格納部５０２と、前段位置合わせ処理部５０３と、後段位置合わせ処理部５０４と、合成画像処理部５０５と、合成情報格納部５０６と、出力結果格納部５０７とから構成されている。
【０１３６】
データ格納部５０１は、図１、図３、図６、図１０における撮影装置１０１に対応し、複数の連続した静止画像を記憶する。
【０１３７】
フレーム画像格納部５０２は、図１、図３、図６、図１０における外部記憶装置１０３に対応し、データ格納部５０１から動画像をフレーム画像（１枚の静止画像）として順次格納し、また、複数の連続した静止画像を各画像フレーム画像として格納する。
【０１３８】
前段位置合わせ処理部５０３は、フレーム画像格納部５０２で格納された前回のフレーム画像（合成画像に前回合成したフレーム画像）と今回のフレーム画像（合成画像に合成しようとするフレーム画像）から位置合わせを行って第１の変換画像を作成する。
【０１３９】
後段位置合わせ処理部５０４は、前段位置合わせ処理部５０３で得られた第１の変換画像と合成情報格納部５０６に格納されている合成画像から位置合わせを行って第２の変換画像を作成する。
【０１４０】
合成画像処理部５０５は、後段位置合わせ処理部５０４で得られた第２の変換画像を合成画像に合成し新たな合成画像を作成する。
【０１４１】
合成情報格納部５０６は、合成画像処理部５０５で得られた新たな合成画像を格納する。さらに、この合成情報格納部５０６には最新の合成画像と基準フレーム画像へ画像を変換することが出来る変換行列を格納している。
【０１４２】
出力結果格納部５０７は、フレーム画像格納部５０２フレーム画像の終了と判断された場合に、合成情報格納部５０６に格納された合成画像を格納する。
【０１４３】
図１４は、図１３における前段及び後段位置合わせ処理部５０３，５０４の内部構成を示すブロック図である。
【０１４４】
図１４を参照すると、前段及び後段位置合わせ処理部５０３，５０４は、低情報画像作成部６０１と、特徴領域探索処理部６０２と、マッチング部６０３と、変換画像作成部６０４とから構成されている。
【０１４５】
低情報画像作成部６０１は、図１３中のフレーム画像格納部５０２又は合成情報格納部５０６に格納された２枚の画像（前段位置合わせ処理部５０３は今回のフレーム画像と前回のフレーム画像、後段位置合わせ処理部５０４は、第１の変換画像と合成画像）から冗長な情報を削減した低情報画像をそれぞれ作成する。
【０１４６】
特徴領域探索処理部６０２は、低情報画像作成部６０１で作成された低情報画像中の一方から特徴のある領域を探索する。
【０１４７】
マッチング部６０３は、特徴領域探索処理部６０２で得られた領域を低情報画像作成部６０１で得られたもう―方の低情報画像を用いて走査し、その―致状態からなる両方の両情報画像間の移動ベクトルを得る。
【０１４８】
変換画像作成部６０４は、マッチング部６０３で得られた移動ベクトルを用いて変換行列を計算し、今回のフレーム画像又は第１の変換画像を変換し変換画像を作成する。
【０１４９】
なお、図１３及び図１４の各構成それぞれが、その機能を果たす構成、いわゆる、機能ブロックをもって説明している。この機能構成は、具体的には、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）で実現できる。また、機能構成は、以降の動作をプログラムで実行する、ＭＰＵ（Ｍｉｃｒｏｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）でも実現可能である。以下、このＭＰＵを用いた具体例について説明する。
【０１５０】
なお、この図１５のＭＰＵを適用した構成例は、前記した第１の実施形態から第４の実施形態の図１、図３、図６、図１０それぞれの制御部１０２の構成にも適用できる。なお、制御部１０２が、図１３の画像合成補正表示装置５００及び図１４の前段及び後段位置合わせ処理部５０３，５０４構成を実行するようにしても良い。
【０１５１】
図１５は、図１３及び図１４の構成にＭＰＵを適用した構成例を示すブロック図である。
【０１５２】
図１５を参照すると、このＭＰＵを用いたデジタル処理装置７００におけるＭＰＵ７０１は、主に図１３中の前段位置合わせ処理部５０３、後段位置合わせ処理部５０４及び合成画像処理部５０５に対応した処理を実行し、メモリ７０４は、フレーム画像格納部５０２及び合成情報格納部５０６に対応した記憶処理を実行する。
【０１５３】
ＭＰＵ７０１には、以降で説明する処理を実行するためのプログラムを、情報記録媒体（例えば、ＣＤ−ＲＯＭ）からインストールする。
【０１５４】
なお、このインストールには、図示しない通信装置を通じて通信ネットワークからプログラムをダウンロード／インストールすることも含まれる。
【０１５５】
（第５の実施形態の全体動作）
図１６は、第５の実施形態の動作の処理を示すフローチャートであり、図１７は、第５の実施形態の動作における位置合わせ処理を示すフローチャートである。また、図１８は、第５の実施形態における貼り付け回数を説明するための図であり、図１９は、第５の実施形態における特徴領域を説明するための図である。さらに、図２０は、第５の実施形態における特徴領域の距離を説明するための図であり、図２１は、第５の実施形態における移動ベクトルを説明するための図である。
【０１５６】
図１３から図１７を参照すると、データ格納部５０１は、動画像又は複数の連続した静止画像を予め保存し、フレーム画像格納部５０２が、動画や時系列的に連続した静止画を撮影された順番にフレーム画像として抽出し、順次格納する。そして、前段位置合わせ処理部５０３に二つのフレーム画像（前回のフレーム画像と今回のフレーム画像）を出力する（図１６（以下、「図１６」の表記は省略する）中のステップＳ５０１）。
【０１５７】
前回のフレーム画像が存在しない、開始フレーム画像の場合は、合成画像処理部５０５に開始フレーム画像を出力する（ステップＳ５０２）。
【０１５８】
また、フレーム画像格納部５０２で格納されているフレーム画像は、前回のフレーム画像以前のフレーム画像は使用することがないため順次消去しても良い。
【０１５９】
ここで、開始フレーム画像のとき（ステップＳ５０２：Ｙｅｓ）、合成画像処理部５０５は、開始フレーム画像を合成画像としてコピーする。以降この開始フレーム画像を基準として合成画像を作成する。そして、合成情報格納部５０６では、合成画像と変換行列Ｔ（初期状態は単位行列である）を格納する。
【０１６０】
この変換行列にフレーム画像間の変換行列Ｍを逐次積算することによって、基準フレーム画像に重なるようにフレーム画像を変換することが出来る。また、合成画像の各画素には、貼り付けた回数（図１８参照）を保持し、その回数によって貼り付けるフレーム画像を平均化する。この貼り付け回数のデータが合成情報格納部５０６に格納される。
【０１６１】
前段位置合わせ処理部５０３での処理（ステップＳ５０３）では、フレーム画像格納部５０２から前回のフレーム画像と今回のフレーム画像を受け取って、図１４中の低情報画像作成部６０１で以降の計算を少なくするために画像の情報量を削減した低情報画像を作成し、今回のフレーム画像の低情報画像を特徴領域探索処理部６０２とマッチング部６０３へ出力し、前回のフレーム画像の低情報画像をマッチング部６０３へ出力する（図１７（以下、「図１７」の表記は省略する）中のステップＳ６０１）。
【０１６２】
例えば、入力フレーム画像がカラーのときはグレー画像に、その情報量を削減し、また、入力フレーム画像がグレーなら階調を落とすことによって、低情報画像を作成する。
【０１６３】
なお、この実施形態では、入力フレーム画像をカラーとし、低情報画像作成部６０１ではグレー画像を作成するものとする。
【０１６４】
特徴領域探索処理部６０２では、低情報画像の今回のフレーム画像上で特徴のある、予め定めたｍ×ｎドットサイズの微小領域を検出し、この検出した特徴領域をマッチング部６０３に出力する　（ステップＳ６０２）。
【０１６５】
この特徴のある検出方法として、グレー画像上をｍ×ｎの領域でメッシュ状に分割し、分割した各領域のエッジ量を求める。このエッジ量は、図１９の太破線で囲った領域のように、濃度の急激な変化がある場合に大きくなる値である。
【０１６６】
前記の微小領域において、エッジ量をＥとし、図２０に示すように微小領域の左上の位置からそれぞれの点（画像の４隅の点＋４辺の中点）への距離をＰＬ〜Ｐ８とすると、判定量Ｇ_ｉは次式（１）で表される。
【０１６７】
【数１】

【０１６８】
Ｇ_ｉの値が大きな領域を、ｉが１〜８のときそれぞれに対して探索し、８つの特徴領域を決定する。Ｎ_１とＮ_２との値を変化させることでＥとＰ_ｉの重みを変化させることが出来る。Ｎ_１及びＮ_２は画像合成を実行する前にオペレータが指定しても良いし、画像合成補正表示装置に予め定められた値を設定するようにしても良い。
【０１６９】
マッチング部６０３では、特徴領域探索処理部６０２で決定された特徴領域に対して前回のフレーム画像（低情報画像）において―致する領域をブロックマッチング法など周知の技術を用いて探索し、移動ベクトル（決定した微小領域の位置を基準として、対応領域がどれだけ動いたかを表すベクトル（（ｘ，ｙ）各値を有する、図２１参照））を求め、移動ベクトルと特徴領域の位置（画像の左上を原点とした特徴領域の左上の座標値）を変換画像作成部６０４に出する（ステップＳ６０３）。ここで、この処理は特徴領域として決定された８つの領域すべてに対して行う。
【０１７０】
変換画像作成部６０４では、マッチング部６０３で得られた移動ベクトル（Ｖｘ，Ｖｙ）と領域の位置（Ｘ，Ｙ）の関係を用いることによって、今回のフレーム画像の位置（Ｘ，Ｙ）に対応する前回のフレーム画像の位置（Ｘ′，Ｙ′）＝（Ｘ＋Ｖｘ，Ｙ＋Ｖｙ）が得られる。この関係を次式（２）に代入して次式（３）のように「ａ〜ｈ」に対する式を、一つの点の対応に対した二つを作成することが出来る。
【０１７１】
【数２】

【０１７２】
【数３】

【０１７３】
マッチング部６０３で得られた８つの対応すべてに対して「ａ〜ｈ」に対する式を作成することで連立―次方程式となる。この連立―次方程式を最小二乗法など周知の技術を用いて係数ａ〜ｈの値を求め、変換行列Ｍを求めることが出来る。この変換行列Ｍを合成情報格納部５０６に格納されている変換行列Ｔ（Ｔの初期状態は単位行列）を用い、第１の変換画像に変換するための変換行列Ｍ′を次式（４）によって作成する（ステップＳ６０４）。
【０１７４】
【数４】

【０１７５】
変換行列Ｍ′によって今回のフレーム画像を座標変換させることで第１の変換画像を作成し、第１の変換画像と変換行列Ｍ′を後段位置合わせ処理部５０４に出力する（ステップＳ６０５）。
【０１７６】
後段位置合わせ処理部５０４は、前段位置合わせ処理部５０３で得られた第Ｌの変換画像と合成情報格納部５０６に格納されている合成画像を受け取って、前段の位置合わせと同様に処理を行う（ステップＳ５０４）。ここで、第１の変換画像と合成画像は、それぞれ前段位置合わせ処理部５０３での今回のフレーム画像と前回のフレーム画像に対応する。
【０１７７】
また、第２の変換画像に変換するための変換行列Ｍ″は、前段位置合わせ処理部５０３で得られた変換行列Ｍ′と２画像間の変換行列Ｍ（後段位置合わせ処理部５０４でのマッチングの結果を用いて計算されたもの）を用いて次式（５）で表される。
【０１７８】
【数５】

【０１７９】
この変換行列Ｍ″を合成情報格納部５０６に出力し、格納されている変換行列Ｔを更新する。そして、変換行列Ｍ″によって今回のフレーム画像を変換し、第２の変換画像を得るとともに、これを合成画像処理部５０５に出力する。
【０１８０】
なお、後段位置合わせ処理部５０４を省略してＭ′をＴとして更新することで合成画像を作成することが出来るが、式（４）の変換行列の積算によって変換行列に誤差が大きくなり、基準フレーム画像とのずれが大きくなる。この誤差によるずれを後段位置合わせ処理部５０４によって変換行列の誤差の累積を抑えることが出来る。
【０１８１】
合成画像処理部５０５では、後段位置合わせ処理部５０４で出力された第２の変換画像を受け取り、合成情報格納部５０６に格納されている合成画像を取得する。そして、第２の変換画像中の今回のフレーム画像に対応する範囲を合成画像に貼り付ける。この貼り付け方として、第２の変換画像における画素の濃度値Ｂ_ｊ（ＲＧＢ各値でｊ＝Ｒ，Ｇ，Ｂ）と合成画像の各画素に保持している貼り付け回数Ｎと合成画像の画素の濃度値Ｃ_ｊを用いて、新たな合成画像の画素の濃度値Ａ_ｊは、次式（６）で表すことが出来る。
【０１８２】
【数６】

【０１８３】
式（６）を用いることで貼り付けた画像すべての平均を取ることが出来る。また、計算速度向上のために貼り付け回数を参照し、Ｗ回以上貼り付けは行わないようにすることも出来る。このＷはオペレータ指定でも良いし、予め定めても良い。なお、平均するのは貼り付けた画像の境界を滑らかにするためのものであり、必須のものではない。第２の変換画像上に合成画像を上書きする構成でも良い。
【０１８４】
２枚の画像の画素を平均するなどし、１枚の画像に合成することで、新しい合成画像を得、この新しい合成画像を合成情報格納部５０６に出力する（ステップＳ５０５）。
【０１８５】
図２２は、合成画像作成過程を示す図である。
【０１８６】
図２２を参照すると、この合成画像作成過程では、合成情報格納部５０６では、合成情報処理部から新しい合成画像を受け取って、この新しい合成画像を合成画像として更新する（図１６ステップＳ５０６）。
【０１８７】
出力結果格納部５０７では、フレーム画像格納部５０２でフレーム画像が終了したこと（ステップＳ５０７：Ｙｅｓ）を受け取ることで、合成情報格納部５０６から合成画像を受け取って合成画像を格納する（ステップＳ５０８）。
【０１８８】
（第５の実施形態の効果）
上記したように、この第５の実施形態によれば、撮影装置１０１の動きを知る必要をなくして、画像をつなぎ合わせることによって１枚の静止画像を作成することが出来るようになる。
【０１８９】
また、低情報画像を用い、かつ、微小領域でマッチングを行うため比較的軽減された処理でフレーム画像の位置合わせを行うことができ、処理速度の速い画像合成を行うことが出来るようになる。
【０１９０】
また、逐次合成画像を作成することで後処理を行うことなく即時的に画像合成を行うことが出来るようになる。
【０１９１】
（第６の実施形態の構成及び各部の動作）
なお、ここでは前記した第５の実施形態と同様の構成要素には、同様の参照符号を付し、その重複した説明を省略する。
【０１９２】
図２３は、第６の実施形態の全体構成を概略的に示すブロック図である。
【０１９３】
図２３を参照すると、この画像合成補正表示装置５００Ａは、図１３に示す第５の実施形態の構成と同様のデータ格納部５０１と、フレーム画像格納部５０２と、合成画像処理部５０５と、合成情報格納部５０６と、出力結果格納部５０７とを有し、さらに、この第６の実施形態に対応する前段位置合わせ処理部５０３Ａ、後段位置合わせ処理部５０４Ａ及び合成棄却判断部６０８が設けられている。
【０１９４】
データ格納部５０１及びフレーム画像格納部５０２、合成画像処理部５０５から出力結果格納部５０７までのそれぞれの動作は、第５の実施形態と同様であり、その重複した説明は省略する。
【０１９５】
合成棄却判断部６０８は、前段位置合わせ処理部５０３Ａ又は後段位置合わせ処理部５０４Ａからのマッチング情報からフレーム画像を合成画像に貼り付けるかを判定して、その判定結果を出力する。
【０１９６】
図２４は、図２３における前段及び後段位置合わせ処理部５０３Ａ，５０４Ａの内部構成を示すブロック図である。
【０１９７】
図２４を参照すると、前段位置合わせ処理部５０３Ａ及び後段位置合わせ処理部５０４Ａは、図１４に示す第５の実施形態と同様の低情報画像作成部６０１から変換画像作成部６０４とともに、第６の実施形態に対応するマッチング妥当性判断部７０５とを有している。
【０１９８】
低情報画像作成部６０１から変換画像作成部６０４までのそれぞれの動作は、前記した第５の実施形態と同様であり、その重複した説明は省略する。
【０１９９】
この第６の実施形態に対応するマッチング妥当性判断部７０５は、マッチング部６０３からの移動ベクトルとマッチングが妥当であるかを判断したマッチング情報を作成する。
【０２００】
なお、この第６の実施形態でも、図２３及び図２４の各構成それぞれが、その処理を行う構成、いわゆる、機能ブロックをもって説明している。この機能構成は、具体的には前記したようにＤＳＰで実現できる。また、機能構成は、以降の動作をプログラムで実行するＭＰＵでも第５の実施形態同様に実現可能である。以下において図１５のＭＰＵを用いたものとして説明する。
【０２０１】
（第６の実施形態の全体動作）
図２５は、第６の実施形態の動作の処理を示すフローチャートであり、図２６は、この第６の実施形態の動作における位置合わせ処理を示すフローチャートである。また、図２７は移動ベクトルの取り直しを説明するための図である。
【０２０２】
図２３から図２７を参照すると、データ格納部５０１から前段位置合わせ処理部５０Ａまでの処理（図２５（以下、「図２５」の表記は省略する）中のステップＳ７０１，Ｓ７０２，Ｓ７０３）、及び前段位置合わせ処理部５０３Ａでの低情報画像作成部６０１からマッチング部６０３までの処理（図２６（以下、「図２６」の表記は省略する）中のステップＳ８０１，Ｓ８０２，Ｓ８０３）は、第５の実施形態と処理手順が同一である。ここでの詳細な説明は省略する。
【０２０３】
図２４のマッチング妥当性判断部７０５では、マッチング部６０３で得られた移動ベクトル（８箇所の特徴領域における移動ベクトル）からマッチングが妥当であるかを判定する（ステップＳ８０６）。この判定方法としては、８つの移動ベクトル（Ｖｘ_ｉ，Ｖｙ_ｉ）（ｉは１〜８）が得られるが、この移動ベクトルの平均を（Ａｘ，Ａｙ）とすると次式（７）で表される。
【０２０４】
【数７】

【０２０５】
この式（７）を満たすならば、その移動ベクトルはマッチングが妥当であると判定する。８つの移動ベクトルがすべて妥当であるならば、マッチング部６０３で得られた情報（８つの移動ベクトルと８つの領域の位置）を変換画像作成部６０４に出力し、８つの移動ベクトルの平均（Ａｘ，Ａｙ）とマッチングが妥当であるかの判定を行った回数を合成棄却判断部６０８に出力する。
【０２０６】
なお、式（７）におけるＴＨは、画像合成前にオペレータが指定しても良いし、画像合成補正表示装置５００Ａに予め定められた値とすれば良い。この判定によって、８つの移動ベクトルの大きなばらつきがあるかを判定している。これは、撮影装置１０１を移動させながら静止物を撮影したものを合成することを前提としているため、画像の全体の動きはほぼ一様になることから、すべての移動ベクトルに大きなばらつきがないことを想定している。マッチングが妥当でない移動ベクトルが大きく平均から外れている特徴領域を、再度、特徴領域探索処理部６０２において、次に、前記した式（１）の式の値が大きいものを特徴領域として取り直し、特徴ベクトル算出処理を行う（図２７参照）。移動ベクトルを取り直すことでフレーム画像の貼り付け位置の間違いが減少する。
【０２０７】
なお、マッチングが妥当でないのなら、さらに、マッチングが妥当であるかの判定（ステップＳ８０６）を、ｎ回以上行ったかを判断する（ステップＳ８０７）。この判断によって、貼り付けようとしているフレーム画像の位置合わせが困難であるかを判断する。位置合わせが困難なフレーム画像は、合成画像に合成を行なわないとして、次のフレーム画像に処理を移行することで、計算処理の軽減を図ることが出来る。前記した「ｎ」は画像合成前にオペレータが指定しても良いし、画像合成補正表示装置５００Ａに予め定められた値を設定した構成としても良い。
【０２０８】
図２５の処理手順の終了時にマッチング妥当判定の回数ｎと移動ベクトルの平均（Ａｘ，Ａｙ）を合成棄却判断部６０８に出力する。
【０２０９】
変換画像作成部６０４での処理である行列算出（ステップＳ８０４）と変換画像作成（ステップＳ８０５）は、第６の実施形態と同様である。ここでの重複した説明は省略する。
【０２１０】
合成棄却判断部６０８では、マッチング妥当性判断部７０５からマッチング妥当判定回数と移動ベクトルの平均（Ａｘ，Ａｙ）を受け取って、今回のフレーム画像を合成画像に合成すべきかを判断する（ステップＳ７０９）受け取ったベクトルの長さを計算し、この大きさがＫ以下ならば合成を棄却する。これは、フレーム画像間の動きの小さいものを貼り付けても、合成画像がわずかに変化するだけであるため、今回のフレーム画像貼り付けによる合成画像の効果が少ない無駄な貼り付けを行わないようにすることで、計算の処理の確度を向上させることが出来る。
【０２１１】
なお、Ｋは画像合成前にオペレータが指定しても良いし、画像合成補正表示装置５００Ａに予め定められた値を設定した構成としても良い。また、マッチング妥当判定回数がｎ回以上のときも合成を棄却する。最終的に、合成を棄却すると判断されたなら、合成棄却信号をフレーム画像格納部５０２に出力し、現在行っている合成処理を中止する。
【０２１２】
フレーム画像格納部５０２では、合成棄却信号を受け取ると、次のフレーム画像を今回のフレーム画像に前回のフレーム画像をそのまま前回のフレーム画像として、次の合成するための情報を出力する。これによって、合成を棄却したフレーム画像を飛ばして次のフレーム画像を合成することが出来る。
【０２１３】
なお、フレーム画像を飛ばして合成を行っても良いし、合成を一度、終了して次のフレーム画像を基準として合成画像を作り直し、合成画像を複数枚に分割して作成しても良い。
【０２１４】
後段位置合わせ処理部５０４Ａでの位置合わせ処理（ステップＳ７０４）も前段位置合わせ処理部５０３Ａと同様である。
【０２１５】
合成棄却判断部６０８では、合成棄却判断（ステップＳ７０９）と同様に後段位置合わせ処理部５０４Ａのマッチング妥当性判断部７０５からマッチング妥当判定回数と移動ベクトルの平均（Ａｘ，Ａｙ）を受け取り、合成すべきかを判断する（ステップＳ７１０）。この判断は、ステップＳ７０９の判定と違って移動ベクトルの長さの判定は行わない。これは、合成棄却判断処理で（ステップＳ７０９）、すでに前回のフレーム画像からＫ以上の動きがあると判定されているため、その判断の必要がないからである。移動ベクトルの長さによる判定を除けば、前段位置合わせ処理部５０３Ａと同様である。
【０２１６】
以降の処理の手順は、第５の実施形態と同様である。ここでの詳細な説明は省略する。
【０２１７】
（第６の実施形態の効果）
このように、この第６の実施形態では、撮影装置１０１の動きを知ることなく、画像をつなぎ合わせることで１枚の静止画像を作成することが出来る。
【０２１８】
また、低情報画像を用い、かつ、微小領域でマッチングを行うため比較的軽減された処理でフレーム画像の位置合わせを行うことができ、迅速な画像合成処理を行うことが出来る。
【０２１９】
また、逐次合成画像を作成することで後処理を行うことなく即時的な画像合成が可能になる。
【０２２０】
さらに、合成棄却判断を追加することによって、位置合わせの困難なフレーム画像を棄却したり、合成画像に貼り付けの効果が薄いフレーム画像を棄却することによって、より処理速度の速い画像合成を行うことが出来るようになる。
【０２２１】
（第５の実施形態及び第６の実施形態の変形例）
第５の実施形態及び第６の実施形態にあって次のような変形構成（１）（２）とすることも出来る。
【０２２２】
（１）画像上のエッジ量と画像の特定位置からの距離の和を用いているが、これに限らず、位置合わせに適した特徴領域を決定する方法であればその方法は問わない。
【０２２３】
（２）フレーム画像格納部５０２の入力元を動画又は複数の連続した静止画像が保存されているデータとしているが、これに限らず、撮影装置１０１から直接画像を受け取るようにしても良い。この構成の場合、撮影を行いながら合成処理を同時に行うというリアルタイム処理を実現できる。
【０２２４】
（第７の実施形態の構成及び各部の動作）
図２８は、第７の実施形態における画像合成補正表示装置の構成を概略的に示すブロック図である。
【０２２５】
図２８を参照すると、この画像合成補正表示装置は、画像合成補正部８００Ａと画像表示部８００Ｂとから構成され、画像合成補正部８００Ａは、第１の実施形態から第４の実施形態と同様のデータ格納部５０１及びフレーム画像格納部８０２と、位置合せ処理部８０３及び合成画像生成部８０４とともに、この第７の実施形態に対応する画像アドレス出力部８０５とから構成されている。
【０２２６】
データ格納部５０１及びフレーム画像格納部８０２は、第１の実施形態から第４の実施形態と同様の動作であり、その重複した説明は省略する。
【０２２７】
位置合せ処理部８０３及び合成画像生成部８０４は、第１の実施形態から第４の実施形態の画像合成部１０６，２１０，３０１，４０１と同様の処理を行なうものである。
【０２２８】
位置合せ処理部８０３は、フレーム画像格納部８０２へ格納されたフレーム画像より前回のフレーム画像（前回処理に使用したフレーム画像）と今回のフレーム画像（今回処理しようとするフレーム画像）に基づいて位置合せを行う。
【０２２９】
合成画像生成部８０４は、位置合せ処理部８０３で得られた位置合せ結果に基づいて順次フレーム画像を合成した合成画像を生成する。画像アドレス出力部８０５は、合成画像生成部８０４で生成された合成画像と今回処理した今回のフレーム画像の貼り付け（合成）位置（アドレス）を出力する。
【０２３０】
画像表示部８００Ｂは、画像アドレス入力部８１１と、アドレス補正部８１２、画像表示処理部８１３及び表示モニタ８１４とから構成されている。
【０２３１】
画像アドレス入力部８１１には、画像合成補正部８００Ａから出力された合成画像と今回処理した今回のフレーム画像とのアドレスが入力される。
【０２３２】
アドレス補正部８１２は、前回入力されたアドレス（前回のフレーム画像のアドレス）と今回入力されたアドレス（今回のフレーム画像のアドレス）に基づいて、表示上の軸（例えば、表示上の中心となる軸）となるアドレスへ補正する。
【０２３３】
画像表示処理部８１３は、アドレス補正部８１２によって補正されたアドレスに基づいて入力された合成画像から表示するための表示画像を生成する。
【０２３４】
表示モニタ８１４は、画像表示処理部８１３で生成された表示画像を表示するためのブラウン管（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）である。
【０２３５】
（第７の実施形態の全体動作）
図２９は、第７の実施形態における動作の処理手順を示すフローチャートである。
【０２３６】
図２９を参照すると、フレーム画像格納部８０２では、動画や時系列に連続した静止画を撮影された順番にフレーム画像として抽出し格納する（図２９（以下、この「図２９」の表記は省略する）中のステップＳ９０１）。次に、フレーム画像格納部８０２に格納されたフレーム画像が開始フレーム画像であるか否かを判断し（ステップＳ９０２）、開始フレーム画像でなければ（すなわち、前回のフレーム画像と今回のフレーム画像が存在すれば）、次に位置合せ処理（ステップＳ９０３）を行う。開始フレーム画像であれば（すなわち、前回のフレーム画像が存在しなければ）、位置合せ処理（ステップＳ９０３）は行わない。
【０２３７】
位置合せ処理部８０３では、合成画像上の今回のフレーム画像貼り付け（合成）位置（アドレス）を検出して出力する（ステップＳ９０３）。この位置合せ処理については、前記した第５の実施形態における図１３及び第６の実施形態における図２３に示す「前段位置合わせ処理部５０３及び５０３Ａと、後段位置合わせ処理部５０４及び５０４Ａ」と同様な処理によって実現できる。
【０２３８】
合成画像生成部８０４は、位置合せ処理部８０３で得られた合成画像上の今回のフレーム画像貼り付け（合成）位置（アドレス）結果に基づいて、前回の合成画像へ今回のフレーム画像を貼り付け（合成）していき、順次に合成画像を生成して更新する（ステップＳ９０４）。このとき、前回の合成画像が存在しなければ（すなわち、開始フレーム画像が今回のフレーム画像であれば）、今回のフレーム画像を合成画像としてコピーすることで合成画像を生成する。この合成画像生成部８０４についても、前記した第５の実施形態における図１３及び第６の実施形態における図２３に示す「前段位置合わせ処理部５０３及び５０３Ａと、後段位置合わせ処理部５０４及び５０４Ａ」と同様な処理によって実現できる。
【０２３９】
画像アドレス出力部８０５では、順次生成かつ更新された合成画像と合成画像上の今回のフレーム画像の貼り付け（合成）位置（アドレス）を出力する（ステップＳ９０５）。
【０２４０】
以上、フレーム画像格納部８０２から画像アドレス出力部８０５までの処理を最終フレーム画像となるまで繰り返し行う（ステップＳ９０６）。最終フレーム画像であるならば処理を終了する。
【０２４１】
図３０は、画像合成補正部８００Ａから出力される前記合成画像と合成画像上の今回のフレーム画像のアドレスを説明するための図である。
【０２４２】
図３０（ａ）は、前回出力された合成画像（前回のフレーム画像による合成画像）とその合成で使用されたフレーム画像（前回のフレーム画像）のアドレスの関係を示している。図３０（ｂ）は、今回出力された合成画像（今回のフレーム画像による合成画像）とその合成で使用されたフレーム画像（今回のフレーム画像）のアドレスの関係を示している。
【０２４３】
ここでのアドレスは、その合成で使用されたフレーム画像の中心位置としている。このアドレスとは、フレーム画像の軸（基準）となるアドレスであれば良く、フレーム画像の左上位置など必ずしも中心位置でなくても良い。
【０２４４】
画像アドレス入力部８１１は、順次生成かつ更新された合成画像と合成画像上の今回のフレーム画像の貼り付け（合成）位置（アドレス）が入力される（ステップＳ９１１）。
【０２４５】
アドレス補正部８１２では、今回人力された今回のフレーム画像の貼り付け（合成）位置（アドレス）と前回入力された前回のフレーム画像の同アドレスに基づいて、これらアドレス間の移動量を算出し（ステップＳ９１２）、移動量の大小（ステップＳ９１３）によって表示上のアドレスを補正する（ステップＳ９１４）。例えば、前回のフレーム画像のアドレスを（Ｘ１，Ｙ１）とし、今回のフレーム画像のアドレスを（Ｘ２，Ｙ２）とした場合、次式（８）に基づいて移動量Ｌを算出する。
【０２４６】
【数８】

【０２４７】
そして、例えば、算出した移動量Ｌを所定の閾値Ｔと比較し、移動量Ｌが所定の閾値Ｔよりも小さければ今回のフレーム画像のアドレスを前回のフレーム画像のアドレスへ置き竣えることによってアドレスを補正する。このとき、移動量Ｌが所定の閾値Ｔよりも小さい場合が連続して所定の回数以上続く場合に、今回のフレーム画像のアドレスを前回のフレーム画像のアドレスに置き換えるようにし、移動量Ｌが所定の閾値Ｔよりも大きい場合が連続して所定の回数以上続く場合に、その今回のフレーム画像のアドレスを前回のフレーム画像のアドレスへ置き換える処理を解除するようにしても良い。
【０２４８】
また、この移動量算出とアドレスの補正について、前記のような処理でもよいが、Ｘ軸とＹ軸のそれぞれの移動量を算出するようにし、算出されたＸ軸とＹ軸の移動量に基づいてアドレスを補正するようにしても良い。例えば、次式（９）に基づいて、Ｘ軸とＹ軸のそれぞれの移動量ＬＸ，ＬＹを算出することが出来る。
【０２４９】
【数９】

【０２５０】
そして、算出した移動量ＬＸとＬＹとを所定の閾値ＴＸとＴＹと比較し、例えば、移動量ＬＸが所定の閾値ＴＸよりも小さく、かつ、移動量ＬＹが所定の閾値ＴＹよりも小さければ今回のフレーム画像のアドレスを前回のフレーム画像のアドレスへ置き換えることによってアドレスを補正することも出来る。
【０２５１】
画像表示処理部８１３では、今回のフレーム画像による合成画像と前記決定された今回のフレーム画像のアドレスに基づいて、表示用の画像を生成する。例えば、前記決定された今回のフレーム画像のアドレス（本例で記載のアドレスが中心位置を示す場合）が画面の中心位置となるように表示用の画像を生成し（ステップＳ９１５）　　生成した表示用の画像に基づいて表示モニタ８１４へ表示する（ステップＳ９１６）。
【０２５２】
図３１は、移動量が大きい場合の画像表示例を説明するための図であり、図３２は、移動量が小さい場合（アドレス補正後）の画像表示例を説明するための図である。
【０２５３】
図３１及び図３２を参照すると、入力された合成画像上の今回のフレーム画像のアドレスに基づいて今回のフレーム画像が画面の中心位置となるように合成画像から表示用の画像を生成し、移動量が小さい場合は、入力された合成画像上の今回のフレーム画像から補正されたアドレス（前回のフレーム画像のアドレス）に基づいて前回のフレーム画像が画面の中心位置となるように合成画像から表示用の画像を生成する。
【０２５４】
なお、表示用の画像を生成するにあたり、合成画像を任意の大きさへ拡大したり縮小するようにしても良い。
【０２５５】
（第７の実施形態の効果）
このように第７の実施形態では、画像合成補正部８００Ａによって、撮影装置１０１の動きを知ることなく、変換行列を算出して、画像を合成し、かつ、全ての画像を取得しなくても撮影と同時かつ即時的に合成画像を作成することが出来るようになる。
【０２５６】
また、撮影装置１０１における受光素子（例えば、ＣＣＤ）を移動させる機構が設けらていない場合も、画像のぶれを即時的で補正することが出来るようになる。
【０２５７】
さらに、表示モニタ８１４によって、前回のフレーム画像と、今回のフレーム画像との移動量に整合させ、かつ、同時に実行しながら表示を切り替えたりすることが出来る。
【０２５８】
（第８実施形態の構成及び各部の動作）
図３３は、第８実施形態の全体構成を概略的に示すブロック図である。
【０２５９】
図３３を参照すると、この第８実施形態は、画像合成補正部８０１Ａ及び画像表示部８０１Ｂから概略構成されている。
【０２６０】
以下、前記した第７の実施形態の画像合成補正部８００Ａ及び画像表示部８００Ｂと異なる部分について説明する。
【０２６１】
この第８実施形態の画像合成補正部８０１Ａは、その固有部分として、アドレス補正部９０１と、画像アドレス出力部９０２とを備えている。
【０２６２】
アドレス補正部９０１は、位置合せ処理部８０３で得られた前回のフレーム画像の位置合せ結果（前回得られた位置合せ結果）と今回のフレーム画像の位置合せ結果に基づいて、出力する合成画像上の軸（例えば、後の表示上で基準となる中心の軸）となるアドレスに、その補正を行なう。
【０２６３】
画像アドレス出力部９０２は、合成画像生成部８０４で生成された合成画像とアドレス補正部９０１によって補正されたアドレスを出力する。
【０２６４】
また、画像表示部８０１Ｂは、第７の実施形態のアドレス補正部８１２が設けられておらず、画像アドレス入力部８１１、画像表示処理部８１３及び表示モニタ８１４が設けられている。
【０２６５】
この画像表示部８０１Ｂでは、第７の実施形態のアドレス補正部８１２を設けていないために、画像表示処理部８１３は、画像アドレス入力部８１１から入力された合成画像とアドレスに基づいて入力された合成画像から表示するための表示画像を生成するようになっている。
【０２６６】
（第８実施形態の全体動作）
ここでは、画像合成補正部８０１Ａ及び画像表示部８０１Ｂの第８実施形態に対応する動作について説明する。
【０２６７】
図３４は、第８実施形態の動作の処理手順を示すフローチャートである。
【０２６８】
図３４を参照すると、第７の実施形態と同様にフレーム画像格納、開始フレーム画像判断、位置合わせ処理を行なう（図３４（以下、この「図３４」の表記は省略する）中のステップＳ９０１，Ｓ９０２，Ｓ９０３）。次に、アドレス補正部９０１では、位置合せ処理部８０３で得られた合成画像上の今回のフレーム画像貼り付け（合成）位置（アドレス）と前回得られた前回のフレーム画像の同アドレスに基づいて、これらアドレス間の移動量を算出し（ステップＳ１１０１）、移動量の大小（ステップＳ１１０２）によって出力する合成画像上の軸上なるアドレスを補正する（ステップＳ１１０３）。例えば、アドレスの補正の処理については、前記した第７の実施形態の画像合成補正部８００Ａ及び画像表示部８００Ｂのアドレス補正部８１２と同様な処理によって実現できる。
【０２６９】
画像アドレス出力部９０２では、合成画像生成部８０４より順次生成かつ更新された合成画像と、アドレス補正部９０１から順次得られた合成画像上の軸となるアドレスを出力する（ステップＳ１１０４）。
【０２７０】
図３５は、画像合成補正部８００Ａから出力される移動量が小さい場合（アドレス補正後）の合成画像とアドレスを説明するための図である。
【０２７１】
なお、画像合成補正部８００Ａから出力される移動量が大きい場合の合成画像とアドレスの説明は、前記した図３１と同様であり、以下、重複使用して説明する。
【０２７２】
移動量が大きい場合は、第７の実施形態の図３１と同様にして、合成画像上の今回のフレーム画像のアドレスを出力するようにし、移動量が小さい場合は、図３５に示すように、合成画像上の今回のフレーム画像から補正されたアドレス（前回のフレーム画像のアドレス）を出力する。すなわち、第７の実施形態の画像合成補正部８００Ａ及び画像表示部８００Ｂにおけるアドレス補正部８１２の処理を、ここでの画像合成補正部８０１Ａのアドレス補正部９０２で実現するものである。
【０２７３】
画像表示部８０１Ｂでは、画像アドレス入力部８１１から入力された合成画像とそのアドレスに基づいて（ステップＳ９１１）、画像表示処理部８１３より表示用の画像を生成し（ステップＳ９１５）、この生成した表示用の画像を表示モニタ１１４で表示する（ステップＳ９１６）。
【０２７４】
（第８実施形態の効果）
このように、第８実施形態では、画像合成補正部８０１Ａによって、撮影装置の動きが判明しなくとも、変換行列を算出することによって画像を合成し、全ての画像を取得しなくても撮影と同時に即時的に合成画像を作成することが出来る。
【０２７５】
また、従来例をもって説明したように撮影装置の受光素子（例えば、ＣＣＤ）を移動させる機構を設けなくとも、画像のぶれを即時的に補正することが出来るという第７の実施形態と同様な効果がある。加えて、前フレーム画像と今回のフレーム画像との移動量に合わせて、同時に実行しながらアドレスを補正しているので、画像表示部８０１Ｂ側での処理負担が低減でき、画像合成補正部８０１Ａによる合成画像生成部８０４とアドレス補正部９０１の並列処理によって高速処理が実現できるようになる。
【０２７６】
（第９実施形態の構成及び各部の動作）
図３６は、第９実施形態の全体構成を概略的に示すブロック図である。
【０２７７】
図３６を参照すると、この第９実施形態は、画像合成補正部８０２Ａ及び画像表示部８０２Ｂが設けられている。
【０２７８】
以下、前記した第８実施形態の画像合成補正部８０１Ａ及び画像表示部８０１Ｂと異なる部分について説明する。
【０２７９】
この第９実施形態の画像合成補正部８０２Ａは、その固有部分として、前記した第８実施形態とは構成が異なる画像補正部１００１と、画像出力部１００２が設けられている。
【０２８０】
画像補正部１００１は、合成画像生成部８０４によって生成された合成画像とアドレス補正部９０１によって得られた補正後のアドレス（例えば、合成画像上の基準となる中心の軸）に基づいて、表示向けの画像へ補正して生成する。
【０２８１】
画像出力部１００２は、画像補正部１００１より補正して生成された表示向けの画像を出力する。
【０２８２】
画像表示部８０２Ｂは、前記した第８実施形態とは構成が異なる画像入力部１０１１と画像表示処理部１０１２を備えている。
【０２８３】
画像入力部１０１１には、画像合成補正部８０２Ａから出力された表示用の画像が入力される。
【０２８４】
画像表示処理部１０１２は、画像入力部１０１１から入力された表示用の画像を生成し、表示モニタ８１４で画面表示する。
【０２８５】
（第９実施形態の全体動作）
ここでは、画像合成補正部８０２Ａ及び画像表示部８０２Ｂの第９実施形態に対応する動作について説明する。
【０２８６】
図３７は、第９実施形態の動作の処理手順を示すフローチャートである。
【０２８７】
図３７を参照すると、第８実施形態と同様にフレーム画像格納と開始フレーム画像判断及び位置合わせ処理を行なう（図３７（以下、この「図３７」の表記は省略する）中のステップＳ９０１，Ｓ９０２，Ｓ９０３）。
【０２８８】
次に、アドレス間の移動量を算出し（ステップＳ１１０１）、移動量の大小（ステップＳ１１０２）によって出力する合成画像上の軸上なるアドレスを補正する（ステップＳ１１０３）。
【０２８９】
次に、第９実施形態の要部動作として、画像補正部１００１では、合成画像生成部８０４で順次生成かつ更新された合成画像、及びアドレス補正部９０１で順次得られた合成画像上の軸となるアドレスに基づいて、表示用の画像を生成する（ステップＳ１２０１）。例えば、表示用の画像の生成処理については、前記した第８実施形態の画像合成補正部８０１Ａ及び画像表示部８０１Ｂの画像表示処理部８１３と同様な処理によって実現できる。
【０２９０】
画像出力部１００２では、画像補正部１００１で順次生成かつ補正された表示用の画像を出力する（ステップＳ１２０２）。
【０２９１】
次に、画像表示例について説明する。
【０２９２】
移動量が大きい場合の画像表示状態は前記した図３１と同様である。移動量が小さい場合（アドレス補正後）の画像表示状態は、前記した図３２と同様である。以下、図３１及び図３２を重複使用して説明する。
【０２９３】
移動量が大きい場合は、図３１に示すように今回のフレーム画像が画像の中心となるような画像を出力するようにし、移動量が小さい場合は、図３２に示すように、前回のフレーム画像が画像の中心となるような画像を出力する。
【０２９４】
すなわち、第８実施形態の画像合成補正部８０１Ａ及び画像表示部８０１Ｂに画像表示処理部８１３の処理を、この第９実施形態における画像合成補正部８０２Ａの画像補正部１００１で実現している。
【０２９５】
なお、表示用の画像を生成するにあたり、画像を任意の大きさへ拡大したり縮小するようにしても良い。
【０２９６】
次に、前記した第８実施形態と同様に、画像入力部１０１１では、順次生成かつ補正された画像が入力され（ステップＳ９１１）、さらに、画像表示処理部１０１２では、画像入力部１０１１からの画像を表示モニタ８１４に出力し、表示モニタ８１４で、その画像が表示される（ステップＳ９１５，９１６）。
【０２９７】
（第９実施形態の効果）
このように、この第９実施形態では、画像合成補正部８０２Ａによって、撮影装置の動きを知ることなく変換行列を算出して画像を合成し、全ての画像を取得しなくても撮影と同時に即時的に合成画像を作成することが出来る。
【０２９８】
例えば、従来例をもって説明したように撮影装置の受光素子（例えば、ＣＣＤ）を移動させる機構を備えていない場合にも画像のぶれを即時的に補正できるようになる。
【０２９９】
画像合成補正部８０２Ａにおける合成画像生成部８０４とアドレス補正部９０１の並列処理によって高速処理が実現できることに加えて、表示用の補正画像を画像合成補正部８０２Ａで生成しているため、特殊な表示装置を使用する必要がなくなる。
【０３００】
（第１０実施形態の構成及び各部の動作）
図３８は、第１０実施形態の全体構成を概略的に示すブロック図である。
【０３０１】
図３８を参照すると、この第１０実施形態は、画像合成補正部８０３Ａ及び画像表示部８０３Ｂから構成されている。
【０３０２】
以下、前記した第９実施形態の画像合成補正部８０２Ａ及び画像表示部８０２Ｂと異なる部分について説明する。
【０３０３】
この第１０実施形態の画像合成補正部８０３Ａは、前記した第９実施形態とは構成が異なるアドレス判定切替部１４０１と、補正画像生成部１４０２と、画像出力部１４０３とが設けられている。
【０３０４】
アドレス判定切替部１４０１は、位置合せ処理部８０３で得られた前回のフレーム画像の位置合せ結果（前回得られた位置合せ結果）と今回のフレーム画像の位置合せ結果に基づいて、合成画像生成部８０４と補正画像生成部１４０２の切り替えを行う。
【０３０５】
補正画像生成部１４０２は、位置合せ処理部８０３で得られた位置合せ結果に基づいて、順次今回のフレーム画像のアドレスを補正した補正画像を生成する。画像出力部１４０３は、合成画像生成部８０４で生成された合成画像又は補正画像生成部１４０２で生成された補正画像を、前記切り替えに基づいて出力する。
【０３０６】
（第１０実施形態の全体動作）
ここでは、第１０実施形態の画像合成補正部８０３Ａ及び画像表示部８０３Ｂのアドレス判定切替部１４０１と、補正画像生成部１４０２及び画像出力部１４０３の動作について説明する。
【０３０７】
図３９は、第１０実施形態における動作の処理手順を示すフローチャートである。
【０３０８】
図３９を参照すると、第８実施形態と同様にフレーム画像格納、開始フレーム画像判断、位置合わせ処理を行なう（図３９（以下、この「図３９」の表記は省略する）中のステップＳ９０１，Ｓ９０２，Ｓ９０３）。
【０３０９】
次に、アドレス間の移動量を算出し（ステップＳ１１０１）、移動量の大小（ステップＳ１１０２）によって合成画像生成（ステップＳ９０４）を行なう。
【０３１０】
次に、この第１０実施形態に対応して、ステップＳ１１０２の移動量の大小における小の場合（Ｎｏ）、補正画像生成部１４０２での補正画像生成を行う（ステップＳ１５０１）。
【０３１１】
なお、移動量算出と移動量の大小判定処理は、前記した第９実施形態で説明したように移動量算出と移動量の大小の判定と同様な処理によって行なうことが出来る。
【０３１２】
このとき、移動量が小さい場合が連続して所定の回数以上続くときは、補正画像生成部１４０２で補正画像生成を行い、また、移動量が大きいことが連続して所定の回数以上続く場合は、合成画像生成部８０４による合成画像生成を行うように切り替えても良い。
【０３１３】
補正画像生成部１４０２では、アドレス判定切替部１４０１で移動量が小さいと判断された場合（ステップＳ１１０２：Ｎｏ）に補正画像生成部１４０２での処理を行う。ここでは、位置合せ処理部８０３で得られた合成画像上の今回のフレーム画像貼り付け（合成）位置（アドレス）結果と前回のフレーム画像の同アドレスに基づいて、今回のフレーム画像の位置を補正した補正画像を生成する（ステップＳ１５０１）。例えば、前回のフレーム画像のアドレスが画像の中心となるように、今回のフレーム画像の位置を補正した補正画像を生成する。
【０３１４】
図４０は、移動量が小さい場合の補正画像生成部１４０２で生成された補正画像を説明するための図である。
【０３１５】
図４０を参照すると、移動量が小さい場合は、前回のフレーム画像のアドレスが画像の中心となるように、今回のフレーム画像を補正した補正画像を生成する。
【０３１６】
なお、補正画像を生成するにあたり、補正画像を任意の大きさへ拡大したり、縮小するようにしても良い。
【０３１７】
画像出力部１４０３では、アドレス判定切替部１４０１において、移動量が大きいと判断された場合は、合成画像生成部８０４で生成された合成画像を本画像合成補正部８０３Ａからの画像として出力し（ステップＳ１５０２）、移動量が小さいと判断された場合は、補正画像生成部１４０２で生成された補正画像を本画像合成補正部８０３Ａからの画像として出力する（ステップＳ１５０３）。
【０３１８】
次に、この第１０実施形態の画像合成補正部８０３Ａ及び画像表示部８０３Ｂの位置合せ処理部８０３と合成画像生成部８０４の変形例について説明する。
【０３１９】
位置合せ処理部８０３での位置合せ処理は、前記した第５の実施形態における図１３及び第６の実施形態における図２３に示す「前段位置合わせ処理部５０３及び５０３Ａと、後段位置合わせ処理部５０４及び５０４Ａ」と同様な処理によって実現できる。
【０３２０】
また、合成画像生成部８０４は、前記した第５の実施形態における図１３及び第６の実施形態における図２３に示す「後段位置合わせ処理部５０４及び５０４Ａ」と同様な処理を最初に追加することによって実現する。
【０３２１】
また、アドレス判定切替部１４０１では、位置合せ処理部８０３で得られた今回のフレーム画像と前回のフレーム画像との位置合せ結果のみで移動量を算出するようにしても良い。
【０３２２】
さらに、合成画像生成部８０４における合成画像生成については、移動量の大小に関係なく必ず生成処理を行ない、画像出力部１４０３において移動量の大小に基づいて出力する画像を合成画像とするか、又は補正画像とするかを切り替えても良い。また、この場合、補正画像も必ず生成するようにしても良い。
【０３２３】
（第１０実施形態の効果）
このように、この第１０実施形態では、画像合成補正部８０３Ａによって、撮影装置の動きを知る必要がなくなり、変換行列を算出することによって画像を合成し、全ての画像を取得しなくても撮影と同時に即時的に合成画像を作成することが出来るようになる。
【０３２４】
また、従来例で説明したように撮影装置の受光素子（例えば、ＣＣＤ）を移動させる機構を設けなくとも、画像のぶれを即時的に補正することが出来る。
【０３２５】
さらに、表示用の補正画像を画像合成補正部８０３Ａで実現しているため、特殊な表示装置を使用する必要がなくなる。加えて、移動量の大小に応じて合成画像生成を行うか、補正画像生成を行うかを切り替えているため、効率良く目的に応じた処理を実現できるようになる。
【０３２６】
さらに、移動量の大小に応じて合成画像を出力するか、補正画像を出力するかを切り替えているので、目的に応じた表示を実現できるようになる。
【０３２７】
（第１１実施形態の構成及び各部の動作）
図４１は、第１１実施形態の全体構成を概略的に示すブロック図である。
【０３２８】
図４１を参照すると、この第１１実施形態は、画像合成補正部８０４Ａ及び画像表示部８０４Ｂから構成されている。
【０３２９】
ここでは、前記した第１０実施形態の画像合成補正部８０３Ａ及び画像表示部８０３Ｂと異なる部分について説明する。
【０３３０】
この第１１実施形態の画像合成補正部８０４Ａは、前記した第１０実施形態に対して、図３８中のアドレス判定切替部１４０１が設けられておらず、かつ、第１１実施形態に対応する画像出力部１７０１が設けられている。
【０３３１】
画像合成補正部８０４Ａの補正画像生成部１４０２は、位置合せ処理部８０３で得られた前回のフレーム画像の位置合せ結果（前回得られた位置合せ結果）と今回のフレーム画像の位置合せ結果に基づいて、合成画像及び補正画像それぞれを生成する。
【０３３２】
画像出力部１７０１は、最終フレーム画像であるか否かに対応して合成画像を出力するか、補正画像を出力するかの切り替えを行う。
【０３３３】
（第１１実施形態の全体動作）
次に、ここでは、第１１実施形態の画像合成補正部８０４Ａにおける画像出力部１７０１の動作を中心に説明する。
【０３３４】
図４２は、第１１実施形態における動作の処理手順を示すフローチャートである。
【０３３５】
図４２を参照すると、第１１実施形態と同様にフレーム画像格納と開始フレーム画像判断及び位置合わせ処理を行なう（図４２（以下、この「図４２」の表記は省略する）中のステップＳ９０１，Ｓ９０２，Ｓ９０３）。
【０３３６】
さらに、画像合成補正部８０４Ａの補正画像生成部１４０２では、位置合せ処理部８０３で得られた合成画像上の今回のフレーム画像貼り付け（合成）位置（アドレス）と前回得られた前回のフレーム画像の同アドレスに基づいて、順次それぞれ合成画像と補正画像を生成する（ステップＳ９０４及び１５０１）。
【０３３７】
画像出力部１７０１では、最終フレーム画像であるか否かを判断し（（ステップＳ９０６）、この判断で最終フレーム画像でない場合（Ｎｏ）、補正画像生成部１４０２で生成された補正画像を、この画像合成補正部８０４Ａからの画像として出力する（ステップＳ１５０３）。次に、フレーム画像格納部８０２の処理（ステップＳ９０１）に戻る。
【０３３８】
ステップＳ９０６の判断で最終フレーム画像の場合（Ｙｅｓ），合成画像生成部８０４で生成された合成画像を本画像合成補正部８０４Ａから画像として出力する（ステップＳ１５０２）。
【０３３９】
この第１１実施形態における画像合成補正部８０４Ａの動作は、次のような変形例も可能である。
【０３４０】
図４３は、第１１実施形態における画像合成補正部８０４Ａの他の動作の処理手順を示すフローチャートである。
【０３４１】
補正画像生成部１４０２では、位置合せ処理部８０３で得られた前回のフレーム画像の位置合せ結果（前回得られた位置合せ結果）と今回のフレーム画像の位置合せ結果に基づいて、順次補正画像を生成する（ステップＳ１５０１）。
【０３４２】
画像出力部１７０１では、補正画像生成部１４０２で生成された補正画像を順次に、この画像合成補正部８０４Ａから画像として出力する（ステップＳ１５０３）。
【０３４３】
そして、最終フレーム画像であるか否かを判断し（ステップＳ９０６）、最終フレーム画像でない場合（Ｎｏ）、フレーム画像格納部８０２の処理に戻る。ステップＳ９０６において、最終フレーム画像の場合（Ｙｅｓ）、合成画像生成部８０４で、フレーム画像格納部８０２格納された全フレーム画像に基づいて、合成画像を生成する（ステップＳ９０４）。
【０３４４】
このとき、位置合せ処理（ステップＳ９０３）の結果を記憶しておいて、この記憶された位置合せ結果に基づいて合成画像を生成するようにしても良い。なお、改めて位置合せ処理を行い合成画像を生成するようにしても良い。
【０３４５】
次に、画像出力部１７０１において、合成画像生成部８０４によって生成された合成画像を最後に画像合成補正部８０４Ａから画像として出力して（ステップＳ１５０２）、―連の処理を終了する。
【０３４６】
（第１１実施形態の効果）
このように、第１１実施形態の画像合成補正部８０４Ａによって、撮影装置の動きを知る必要をなくして、変換行列を算出することによって画像を合成することが出来るようになる。
【０３４７】
また。従来例で説明したように撮影装置の受光素子（例えば、ＣＣＤ）を移動させる機構を設けなくとも、画像のぶれを即時的に補正することが出来るようになる。
【０３４８】
さらに、表示用の補正画像を画像合成補正部８０４Ａで実現しているため、特殊な表示装置を使用する必要がなくなる。加えて、最終フレーム画像でなければ補正画像を出力し、最終フレーム画像であれば即座に合成画像を出力するため、効率良く目的に応じた処理かつ表示を行うことが出来るようになる。
【０３４９】
なお、前記した第１から第１１実施形態においては、超解像（スーパーリゾリューション）による画像合成も可能である。この超解像では、例えば、撮影装置１０１で被写体を微妙にずらして、例えば、４枚による撮影を行う。例えば、ずれの量が縦横に同量とし、この撮影画像のデジタルデータの画素を、前記したずれ量だけ移動させて再配置する。この再配置によって超解像の画像が出来上がる。この例では面積が４倍になる。
【０３５０】
なお、この超解像の画像処理と、前記した画像合成の処理との切り替えは、例えば、入力部１０５でオペレータによる随時切り替え、又は、制御部１０２に予め設定した画像合成の内容に応じて自動切替用にすれば良い。
【０３５１】
【発明の効果】
以上の説明で明らかなように、本発明の画像合成補正表示の方法及び画像合成補正表示装置並びにプログラムによれば、即時的かつ継続した画像合成ができるとともに、誤った合成画像の作成が防止され、さらに、高品質の画像合成が可能になるという効果を奏する。
【０３５２】
また、本発明によれば、予め撮影装置の撮影時の動きを知る必要がなく、かつ、分割して撮影した画像全体の重なり具合を判定することなく、さらに、画像合成における後処理を行わずに、即時的な画像合成が可能になるという効果を奏する。
【０３５３】
さらに、本発明によれば、画像のぶれ対策用の光学系受光素子を移動させる機構などが不要になって、構成が簡素化され、かつ、画像のぶれを即時的に補正できるという効果を奏する。
【０３５４】
また、本発明によれば、画像合成や画像ぶれなどに適合した用途に、それぞれの技術
（構成）を実行しながら同時に、その時々の目的に合わせて切り替えることが出来るようになって、多様な撮影による画像合成が可能になるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【図２】第１の実施形態の動作における処理手順を示すフローチャートである。
【図３】第２の実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【図４】第２の実施形態における動作の処理手順を示すフローチャートである。
【図５】第２の実施形態における画像合成状態を説明するための図である。
【図６】第３の実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【図７】第３の実施形態における動作の処理手順を示すフローチャートである。
【図８】第３の実施形態における画像合成の開始位置を説明するための図である。
【図９】第３の実施形態における画像合成の状態を示す図である。
【図１０】第４の実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【図１１】第４の実施形態の処理手順を示すフローチャートである。
【図１２】第４の実施形態における画像合成の状態を示す図である。
【図１３】第５の実施形態における画像合成補正表示装置の構成を概略的に示すブロック図である。
【図１４】図１３における前段及び後段位置合わせ処理部の内部構成を示すブロック図である。
【図１５】図１３及び図１４の構成にＭＰＵを適用した構成例を示すブロック図である。
【図１６】第５の実施形態における動作の処理手順を示すフローチャートである。
【図１７】第５の実施形態の動作における位置合わせ処理手順を示すフローチャートである。
【図１８】第５の実施形態における貼り付け回数を説明するための図である。
【図１９】第５の実施形態における特徴領域を説明するための図である。
【図２０】第５の実施形態における特徴領域の距離を説明するための図である。
【図２１】第５の実施形態における移動ベクトルを説明するための図である。
【図２２】第５の実施形態における合成画像作成過程を示す図である。
【図２３】第６の実施形態の全体構成を概略的に示すブロック図である。
【図２４】図２３における前段及び後段位置合わせ処理部の内部構成を示すブロック図である。
【図２５】第６の実施形態における動作の処理手順を示すフローチャートである。
【図２６】第６の実施形態の動作における位置合わせ処理手順を示すフローチャートである。
【図２７】第６の実施形態にあって移動ベクトルの取り直しを説明するための図である。
【図２８】第７の実施形態における画像合成補正表示装置の構成を概略的に示すブロック図である。
【図２９】第７の実施形態における動作の処理手順を示すフローチャートである。
【図３０】第７の実施形態にあって合成画像と合成画像上の今回のフレーム画像のアドレスを説明するための図である。
【図３１】第７の実施形態にあって移動量が大きい場合の画像表示例を説明するための図である。
【図３２】第７の実施形態にあってアドレス補正後の画像表示例を説明するための図である。
【図３３】第８実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【図３４】第８実施形態の動作の処理手順を示すフローチャートである。
【図３５】第８実施形態にあって画像合成補正部から出力される移動量が小さい場合の合成画像とアドレスを説明するための図である。
【図３６】第９実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【図３７】第９実施形態の動作の処理手順を示すフローチャートである。
【図３８】第１０実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【図３９】第１０実施形態における動作の処理手順を示すフローチャートである。
【図４０】第１０実施形態にあって移動量が小さい場合の補正画像生成部で生成された補正画像を説明するための図である。
【図４１】第１１実施形態における画像合成補正表示装置の全体構成を概略的に示すブロック図である。
【図４２】第１１実施形態における動作の処理手順を示すフローチャートである。
【図４３】第１１実施形態野置ける画像合成補正部の他の動作の処理手順を示すフローチャートである。
【符号の説明】
１０１…撮影装置
１０２…制御部
１０３…外部記憶装置
１０４…画像表示部
１０５…入力部
１０６，２０１，３０１，４０１…画像合成部
１０７…消去処理部
２０２…枠表示部
３０２…合成画像位置初期化部
５００，５００Ａ…画像合成補正表示装置
５０１…データ格納部
５０２…フレーム画像格納部
５０３，５０３Ａ…前段位置合わせ処理部
５０４，５０４Ａ…後段位置合わせ処理部
５０５…合成画像処理部
５０６…合成情報格納部
５０７…出力結果格納部
６０１…低情報画像作成部
６０２…特徴領域探索処理部
６０３…マッチング部
６０４…変換画像作成部
６０８…合成棄却判断部
７００…デジタル処理装置
７０１…ＭＰＵ
７０４…メモリ
７０５…マッチング妥当性判断部
８００Ａ，８０１Ａ，８０２Ａ，８０３Ａ，８０４Ａ…画像合成補正部
８００Ｂ，８０１Ｂ，８０２Ｂ，８０３Ｂ，８０４Ｂ…画像表示部
５０１…データ格納部
８０２…フレーム画像格納部
８０３…位置合せ処理部
８０４…合成画像生成部
８０５，９０２…画像アドレス出力部
８１１…画像アドレス入力部
８１２，９０１…アドレス補正部
８１３…画像表示処理部
８１４…表示モニタ
１００１…画像補正部
１００２，１４０３，１７０１…画像出力部
１０１１…画像入力部
１０１２…画像表示処理部
１４０１…アドレス判定切替部
１４０２…補正画像生成部

Claims (17)

1. 画像合成補正表示装置おける複数画像の合成かつ表示を行う画像合成補正表示の方法において、
   複数の画像情報を格納する工程と、
   この格納された複数の画像情報に対する画像合成の指示によって画像を合成する工程と、
   この合成画像を表示する工程と、
   前記合成画像に用いた前記画像を不採用とする棄却の指示を取り込む工程と、
   前記棄却の回数が規定回数よりも大きな場合の画像合成の継続不可の際に、前記合成されている画像を消去する工程と、
   この消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する工程と、
   を有することを特徴とする画像合成補正表示の方法。
2. 画像合成補正表示装置における複数画像の合成かつ表示を行う画像合成補正表示の方法において、
   複数の画像情報を格納する工程と、
   この格納された複数の画像情報に対する画像合成の指示によって画像を合成する工程と、
   この合成画像を表示する工程と、
   前記合成画像に用いた前記画像を不採用とする棄却の指示を取り込む工程と、
   前記指示による棄却の発生を通知するために、前回の画像合成に用いた画像を前記表示されている合成画像に重ねて画面表示する工程と、
   を有することを特徴とする画像合成補正表示の方法。
3. 画像合成補正表示装置における複数画像の合成かつ表示を行う画像合成補正表示の方法において、
   複数の画像情報を格納する工程と、
   この格納された複数の画像情報に対する画像合成の指示によって画像を合成する工程と、
   この合成画像を表示する工程と、
   この合成画像に用いた前記画像を不採用とする棄却の指示を取り込む工程と、
   前記指示による棄却を取り込んだ場合に、合成した画像を保持する工程と、
   この合成画像を保持した以後の継続した画像合成の処理を打ち切る工程と、
   前回の画像合成に用いた前記画像から画像合成を再開して新たな合成画像を生成する工程と、
   前記保持している合成画像に前記新たな合成画像を上書きして画面表示する工程と、
   を有することを特徴とする画像合成補正表示の方法。
4. 画像合成補正表示装置における複数画像の合成かつ表示を行う画像合成補正表示の方法において、
   複数の画像情報を格納する工程と、
   この格納された複数の画像情報に対する画像合成の指示によって画像を合成する工程と、
   この合成画像を表示する工程と、
   この合成画像に用いた前記画像を不採用とする棄却の指示を取り込む工程と、
   前記指示による棄却が発生した場合に、合成した画像を保持する工程と、
   この合成画像を保持した以後での継続した画像合成の処理を打ち切る工程と、
   前回の画像合成に用いた前記画像から画像合成を再開して新たな合成画像を生成する工程と、
   前記保持している合成画像に前記新たな合成画像を重ねて画面表示する工程と、
   この工程の後で画像合成の処理終了を取り込んだ場合に、前記保持している合成画像と、前記処理終了までに作成した合成画像とを合わせた一つの合成画像を生成する工程と、
   を有することを特徴とする画像合成補正表示の方法。
5. 画像合成補正表示装置における複数画像の合成を行う画像合成補正表示の方法において、
   前回の画像と今回の画像とを変換行列によって位置合わせした第１の変換画像を作成する工程と、
   前記第１の変換画像と合成画像の位置合わせを行った第２の変換画像を作成する工程と、
   前記第２の変換画像を合成画像に貼り付けて、新たな合成画像を作成する工程と、
   前記新たな合成画像及び画像合成に必要な情報を格納する工程と、
   前記画像が最終の画像と判断された際に、前記新たな合成画像を出力するために格納する工程と、
   を有することを特徴とする画像合成補正表示の方法。
6. 画像合成補正表示装置における複数画像の合成を行う画像合成補正表示の方法において、
   前回の画像と今回の画像とを変換行列によって位置合わせした第１の変換画像を作成し、かつ、この位置合わせ情報を得る工程と、
   前記第１の変換画像と合成画像とを位置合わせした第２の変換画像を作成し、かつ、この位置合わせ情報を得る工程と、
   前記第１及び第２の変換画像でのそれぞれの位置合わせ情報を参照して、合成画像に今回の画像を貼りつけるか否かを判断する工程と、
   前記第２の変換画像を合成画像に貼り付けて新たな合成画像を作成する工程と、
   前記新たな合成画像及び画像合成に必要な情報を格納する工程と、
   前記画像が最終の画像と判断された際に、前記新たな合成画像を出力するために格納する工程と、
   を有することを特徴とする画像合成補正表示の方法。
7. 画像合成補正表示装置における複数画像の合成と補正かつ表示を行う画像合成補正表示の方法において、
   複数の画像情報を格納する工程と、
   前記格納された複数の画像情報から、前回の画像と今回の画像の移動量を算出する工程と、
   前記算出された移動量に基づいて、（ａ）合成画像を補正する処理及びこの処理における画面表示を切り替え、又は（ｂ）入力画像又は合成画像から、他の合成画像、又は補正画像を生成する処理及び、この処理における画面表示の切り替える工程と、
   を有することを特徴とする画像合成補正表示の方法。
8. 複数画像の合成かつ表示を行う画像合成補正表示装置において、
   複数の画像情報を格納する画像格納手段と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する画像合成手段と、前記画像合成手段からの合成画像を表示する表示手段とを備え、かつ、
   （ａ）前記合成画像に用いた前記画像を不採用とする棄却の指示を取り込み、　前記棄却の回数が規定回数よりも大きな場合の、画像合成の継続不可の際に、前記合成されている画像を消去する消去処理手段と、前記画像合成手段において、前記消去処理手段での合成画像の消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する処理、
   （ｂ）前記画像合成手段において、合成画像に用いた前記画像を不採用とする棄却の指示を取り込み、かつ、前記指示による棄却の発生を通知するために、前回の画像合成に用いた画像を前記表示されている合成画像に重ねて画面表示し、かつ、この合成画像の表示において、画像合成を行うための貼り付けを行う際に、貼り付け画像の位置が判明するように、枠を含む画像を表示するための枠表示手段、
   上記（ａ）又は（ｂ）を有することを特徴とする画像合成補正表示装置。
9. 複数画像の合成かつ表示を行う画像合成補正表示装置において、
   複数の画像情報を格納する画像格納手段と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成する画像合成手段と、前記画像合成手段からの合成画像を表示する表示手段とを備え、かつ、
   （ａ）前記合成画像に用いた前記画像を不採用とする棄却の指示を取り込み、　前記棄却の回数が規定回数よりも大きな場合の、画像合成の継続不可の際に、前記合成されている画像を消去する消去処理手段と、前記画像合成手段において、前記消去処理手段での合成画像の消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する処理、
   （ｂ）前記画像合成手段において、合成画像に用いた前記画像を不採用とする棄却の指示を取り込み、かつ、前記指示による棄却の発生を通知するために、前回の画像合成に用いた画像を前記表示されている合成画像に重ねて画面表示し、かつ、この合成画像の表示において、画像合成を行うための貼り付けを行う際に、貼り付け画像の位置が判明するように、枠を含む画像を表示するための枠表示手段、
   上記（ａ）又は（ｂ）を有することを特徴とする画像合成補正表示装置。
10. 複数の画像情報を格納する画像格納手段と、この格納された複数の画像情報に対する画像合成の指示によって画像を合成し、かつ、合成画像に用いた前記画像を不採用とする指示よって棄却が発生した場合に、合成した画像を保持し、かつ、以後の継続した画像合成を打ち切り、さらに、前回の画像合成に用いた前記画像から画像合成を再開して新たな合成画像を生成する画像合成手段と、前記画像合成手段からの合成画像を表示する表示手段とを備え、かつ、
    （ａ）前記画像合成手段において、前記保持している合成画像に前記新たな合成画像を上書きして画面表示するための、合成画像位置初期化手段、
    （ｂ）前記画像合成手段において、前記保持している合成画像に前記新たな合成画像を重ねて画面表示し、画像合成の処理終了を取り込んだ場合に、前記保持している合成画像と、前記処理終了までに作成した合成画像とを合わせた一つの合成画像を生成するための、合成画像位置初期化手段、
    上記（ａ）又は（ｂ）を有することを特徴とする画像合成補正表示装置。
11. 前回画像と今回の画像との変換行列から位置合わせを行った第１の変換画像を作成する前段位置合わせ処理手段と、
    前記合成画像と前記第１の変換画像との位置合わせを行った第２の変換画像を作成する後段位置合わせ処理手段と、
    前記第２の変換画像を合成画像に貼り付けて、新たな合成画像を作成する合成画像処理手段と、
    前記新たな合成画像及び画像合成に必要な情報を格納する合成画像情報格納手段とを備え、かつ、
    （ａ）前記前段位置合わせ処理手段に入力される画像が最終の画像と判断された際に、前記新たな合成画像を出力するために格納する出力結果格納手段、
    （ｂ）前記後段位置合わせ処理手段に入力される画像が最終の画像と判断された際に、前記新たな合成画像を出力するために格納する出力結果格納手段と、
    前記第１及び第２の変換画像でのそれぞれの位置合わせ情報を参照して、合成画像に今回の画像を貼りつけるか否かを判断する合成棄却判定手段、
    上記（ａ）又は（ｂ）を備えることを特徴とする画像合成補正表示装置。
12. 複数画像の合成と補正かつ表示を行う画像合成補正表示装置において、
    複数の画像情報を格納する画像格納手段と、
    前記画像格納手段に格納された複数の画像情報から、前回の画像と今回の画像の移動量を算出する算出手段と、
    前記算出手段で算出された移動量に基づいて、（ａ）合成画像を補正する処理及びこの処理における画面表示を切り替え、又は（ｂ）入力画像又は合成画像から、他の合成画像、又は補正画像を生成する処理及び、この処理における画面表示の切り替える切替手段と、
    を有することを特徴とする画像合成補正表示装置。
13. 複数の画像情報を格納する処理と、
    この格納された複数の画像情報に対する画像合成の指示によって画像を合成する処理と、
    合成画像を表示する処理と、
    （ａ）前記合成画像に用いた前記画像を不採用とする棄却の指示を取り込み、　前記棄却の回数が規定回数よりも大きな場合の、画像合成の継続不可の際に、前記合成されている画像を消去する消去処理手段と、画像合成手段において、前記消去処理手段での合成画像の消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する処理、
    （ｂ）前記画像合成手段において、合成画像に用いた前記画像を不採用とする棄却の指示を取り込み、かつ、前記指示による棄却の発生を通知するために、前回の画像合成に用いた画像を前記表示されている合成画像に重ねて画面表示し、かつ、この合成画像の表示において、画像合成を行うための貼り付けを行う際に、貼り付け画像の位置が判明するように、枠を含む画像を表示するための処理と、
    上記（ａ）又は（ｂ）の制御をコンピュータに実行させるためのプログラム。
14. 複数の画像情報を格納する処理と、
    この格納された複数の画像情報に対する画像合成の指示によって画像を合成する処理と、
    前記合成画像を表示する処理と、
    （ａ）前記合成画像に用いた前記画像を不採用とする棄却の指示を取り込み、前記棄却の回数が規定回数よりも大きな場合の、画像合成の継続不可の際に、前記合成されている画像を消去する消去処理手段と、前記画像合成手段において、前記消去処理手段での合成画像の消去の後に合成画像に用いた前回の画像と異なる今回の画像で画像合成を開始する処理、
    （ｂ）前記画像合成手段において、合成画像に用いた前記画像を不採用とする棄却の指示を取り込み、かつ、前記指示による棄却の発生を通知するために、前回の画像合成に用いた画像を前記表示されている合成画像に重ねて画面表示し、かつ、この合成画像の表示において、画像合成を行うための貼り付けを行う際に、貼り付け画像の位置が判明するように、枠を含む画像を表示するための処理と、
    上記（ａ）又は（ｂ）の制御をコンピュータに実行させるためのプログラム。
15. 複数の画像情報を格納する処理と、
    この格納された複数の画像情報に対する画像合成の指示によって画像を合成し、かつ、合成画像に用いた前記画像を不採用とする指示よって棄却が発生した場合に、合成した画像を保持し、かつ、以後の継続した画像合成を打ち切り、さらに、前回の画像合成に用いた前記画像から画像合成を再開して新たな合成画像を生成する画像合成手段と、前記画像合成手段からの合成画像を表示する処理と、
    （ａ）前記画像合成手段において、前記保持している合成画像に前記新たな合成画像を上書きして画面表示するための処理と、
    （ｂ）前記保持している合成画像に前記新たな合成画像を重ねて画面表示し、画像合成の処理終了を取り込んだ場合に、前記保持している合成画像と、前記処理終了までに作成した合成画像とを合わせた一つの合成画像を生成するための処理と、
    上記（ａ）又は（ｂ）の制御をコンピュータに実行させるためのプログラム。
16. 前回の画像と今回の画像との変換行列から位置合わせを行った第１の変換画像を作成する処理と、
    合成画像と前記第１の変換画像との位置合わせを行った第２の変換画像を作成する処理と、
    前記第２の変換画像を合成画像に貼り付けて、新たな合成画像を作成する処理と、
    前記新たな合成画像及び画像合成に必要な情報を格納する処理と、
    （ａ）入力される画像が最終の画像と判断された際に、前記新たな合成画像を出力するために格納する処理と、
    （ｂ）入力される画像が最終の画像と判断された際に、前記第１及び第２の変換画像でのそれぞれの位置合わせ情報を参照して、合成画像に今回の画像を貼りつけるか否かを判断する処理と、
    上記（ａ）又は（ｂ）の制御をコンピュータに実行させるためのプログラム。
17. 複数の画像情報を格納する処理と、
    前記格納された複数の画像情報から、前回の画像と今回の画像の移動量を算出する処理と、
    前記算出された移動量に基づいて、（ａ）合成画像を補正する処理及びこの処理における画面表示を切り替える処理、又は（ｂ）入力画像又は合成画像から、他の合成画像、又は補正画像を生成する処理及び、この処理における画面表示の切り替える処理と、
    の制御をコンピュータに実行させるためのプログラム。

Images