JP2004096156A - 画像合成処理方法及び画像合成処理システム並びにプログラム - Google Patents

Abstract

【課題】画像合成が容易か否かの撮影の良否を撮影現場で即時的に目視して確認し、撮影装置及び表示装置を備えた可搬型の装置（携帯電話機やデジタルカメラ）などにおける画像合成を容易かつ確実に可能にする。
【解決手段】撮影と画像合成及び表示を行う画像合成処理を、撮影部１０２を備えた携帯電話機及びデジタルカメラを含む可搬型の装置において行う。撮影部１０２及びＡ／Ｄ変換器１０４によって撮影による複数の画像データを取り込む。この複数の撮影画像を画像合成部１０で合成した一つの合成画像を作成する。表示画像作成部１１４で合成画像から表示用の画像を作成し、この画像を表示器１１６で画面表示する。
【選択図】　　　　図２

Description

【０００１】
【発明の属する技術分野】
この発明は、撮影と画像合成及び画面表示を行う画像合成処理に関し、特に、撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置における画像合成、及び画像合成における不良の報知を行う画像合成処理方法及び画像合成処理システム並びにプログラムに関する。
【０００２】
【従来の技術】
従来、例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラでの撮像の画像データ（「画像データ」を、適宜、、、「画像」と略称する）を合成する各種の処理方法が知られている。
【０００３】
この処理方法として、（１）撮影装置及び表示装置を備えた携帯電話機やデジタルカメラで撮影した撮像（複数の静止画像）の重なり合う部分を特定して静止画像を合成している（いわゆる、パノラマ画像）。また、（２）撮影装置及び表示装置を備えた携帯電話機やデジタルカメラを少しずつ移動させながら、動く被写体を動画像として撮影（適宜、、、視点移動と記載する）し、この動画像を構成する複数の静止画（いわゆる、フレーム画像）の重なり合う部分を特定して、その画像合成を行う（いわゆる、ビデオモザイキング画像）。
【０００４】
このパノラマ画像合成やビデオモザイキング画像合成では、撮影装置及び表示装置を備えた携帯電話機やビデオカメラでの撮像（画像）を、コンピュータで画像処理アプリケーションを実行して処理（画像合成）するのが一般的である。
【０００５】
この場合、撮影した画像合成は、非携帯型の家庭用のコンピュータで処理しているため、撮影現場での画像合成は困難である。換言すれば、撮影した画像が合成可能か否かの確認が撮影現場では即時に出来ない。
【０００６】
この不都合を解決する提案として、特開平１１−２７５５２７号公報「画像記録装置」（公知例）が知られている。この公知例では、パノラマ撮影のために、横方向に移動しながら撮影した画像を、ビデオカメラ付属の表示装置で横方向にスクロールしながら再生している。これによって、画像合成が容易にできる撮影が行われたか否かを撮影現場で確認できる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来例の公知例は、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）に適用した場合、次の（１）（２）（３）の不都合がある。
【０００８】
（１）画像合成が容易にできる撮影が行われたか否かを撮影現場で確認できるものの、合成画像を撮影現場で目視して確認し、その良否を即時に判断できない。換言すれば、画像合成の確実性に欠けるという欠点がある。
【０００９】
（２）画像合成を、横方向に広げた画像（撮像）に限定しているため、複雑な視点移動（細かな撮影移動）に対するビデオモザイキング画像合成に対する撮影現場での目視による確認が出来ない。この場合も、画像合成処理の確実性に欠けるという欠点がある。
【００１０】
（３）合成処理は、撮影後に行うため、撮影した複数の静止画像（又は、動画像におけるフレーム画像）を撮影装置及び表示装置を備えた携帯電話機やデジタルカメラなどの内部に保持しておく必要がある。この場合、特に内臓のメモリ容量は限界があるため、複数（数多くの）の合成画像を作成（生成）できないことがある。換言すれば、画像合成処理の確実性に欠けるという欠点がある。
【００１１】
この発明は、上記技術的な課題を解決するためになされたもので、画像合成が容易か否かの撮影の良否を撮影現場で即時的に目視して確認できるようになって、可搬型の装置における画像合成が容易かつ確実に可能になる、画像合成処理方法及び画像合成処理システム並びにプログラムの提供を目的とする。
【００１２】
この発明は、複雑な視点移動に対する画像合成を撮影現場で即時に目視して確認できるようになって、可搬型の装置における画像合成が容易かつ確実に可能になる、画像合成処理方法及び画像合成処理システム並びにプログラムの提供を他の目的とする。
【００１３】
この発明は、画像合成を撮影現場で即時に目視して確認できるとともに、撮影した複数の画像データを装置内に保持しておく必要がなくなり、複数（数多くの）の合成画像が作成できるようになって、可搬型の装置における画像合成が容易かつ確実に可能になる、画像合成処理方法及び画像合成処理システム並びにプログラムの提供をさらに他の目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像（撮影画像データ）を取り込む工程と、複数の撮影画像を合成した合成画像（合成画像データ）を作成する工程と、合成画像から表示用画像を作成する工程と、表示用画像を画面表示する工程とを有している。
【００１５】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否を撮影現場で即時的に目視して確認できるようになり、さらに、複雑な視点移動（細かな撮影移動）に対する画像合成を撮影現場で即時に目視して確認できるようになる。換言すれば、画像合成を専用アプリケーションを実装した小型汎用コンピュータなどで行なう必要がなくなる。すなわち、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【００１６】
例えば、より具体的には、携帯電話機やデジタルカメラなどの比較的小型の画面でもスクロールなどの操作を通じて画像合成が容易に確認でき、また、現場で即時に合成処理が実行できる。
【００１７】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像を取り込む工程と、複数の撮影画像を合成した合成画像を作成する工程と、複数の撮影画像における撮影時の視野画像及び合成画像から表示用画像を作成する際に、表示画面上に小窓として表示する合成画像を作成する工程と、撮影視野画像及び合成画像を一つの画面上に表示する工程とを有している。
【００１８】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に目視して確認できるようになり、可搬型の装置おける画像合成が容易かつ確実に可能になる。
【００１９】
さらに、表示画面より小さい面積（すなわち、小窓）に表示される合成画像から、その合成画像の状態が判明するため、画像合成を正しく行えない画像が存在した場合に、この画像が直ちに判明するようになる。
【００２０】
また、合成画像を小窓に表示にすることによって、撮影視野が確保されて、撮影中作業負担が軽減する。
【００２１】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像を取り込む工程と、複数の撮影画像を合成した合成画像を作成する工程と、複数の撮影画像及び合成画像から表示用画像を作成する際に、表示画面上に小窓として表示される合成画像を作成し、かつ、画像合成から得られる情報に基づいて表示画像における表示位置を決定する工程と、撮影画像である撮影視野の画像及び合成画像を一つの画面上に表示するための表示用画像を作成する工程と、表示用画像を画面表示する工程とを有している。
【００２２】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に目視して確認できるようになり、可搬型の装置における画像合成が容易かつ確実に可能になる。
【００２３】
さらに、表示画面より小さい面積（すなわち、小窓）に表示される合成画像から、その合成画像の状態が判明するため、画像合成を正しく行えない画像が存在した場合に、この画像が直ちに判明するようになる。
【００２４】
また、合成画像を小窓に表示しており、撮影視野の全体が表示（確保）できるため、その撮影における作業負担が軽減する。
【００２５】
さらに、合成画像を表示する小窓は、撮影者が注目する撮影視野の移動方向側を遮ることはないため、動画撮影のように連続的に画像を取り込みながら撮影する場合に、その使い勝手が向上する。
【００２６】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像を取り込む工程と、複数の撮影画像を合成した合成画像を作成する工程と、複数の撮影画像における今回の撮影画像と合成画像を参照して合成画像上における今回の撮影画像の位置を決定する工程と、位置決定で得られた情報に基づいて簡易画像を作成する工程と、簡易画像を表示するための表示用画像を作成する工程と、表示用画像を画面表示する工程とを有している。
【００２７】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に作成された合成画像の概略を示す簡易画像を目視して確認できるようになり、可搬型の装置おける画像合成が容易かつ確実に可能になる。
【００２８】
この簡易画像は、撮影時の装置移動の概略を示し、合成画像の部分の詳細な確認が必要ない場合に、目視が容易な画像で簡単に確認が出来るようになる。
【００２９】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像を取り込む工程と、複数の撮影画像を合成した合成画像を作成する工程と、複数の撮影画像における今回の撮影画像と合成画像を参照して合成画像上における今回の撮影画像の位置を決定する工程と、この決定位置に今回の撮影画像を合成した合成画像を作成する工程と、位置決定で得られた情報に基づいて簡易画像を作成する工程と、合成画像と簡易画像を選択して出力する工程と、選択された合成画像又は簡易画像を表示するための表示用画像を作成する工程と、表示用画像を画面表示する工程とを有している。
【００３０】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、作成された合成画像の概略を示す簡易画像を選択し、その目視で確認できるようになり、可搬型の装置おける画像合成が容易かつ確実に可能になる
例えば、文字で構成される新開・雑誌を撮影する場合や、簡単な合成確認で良い場合、又は、風景などを撮影する場合に対応した適切な確認画像が出来るようになる。
【００３１】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像を取り込む工程と、複数の撮影画像における今回の撮影画像と合成画像を参照して合成画像上における今回の撮影画像位置を決定する工程と、この決定位置に今回の撮影画像を合成した合成画像を作成する工程と、位置決定で得られた情報に基づいて簡易画像を作成する工程と、位置決定の情報に基づいて画像合成の信頼度を検出する工程と、信頼度の検出結果に基づいて、合成画像と簡易画像の選択切換えを行う工程と、選択された合成画像又は簡易画像の表示用画像を作成する工程と、表示用画像を画面表示する工程とを有している。
【００３２】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、作成された合成画像又は簡易画像を目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【００３３】
この場合、合成画像又は簡易画像は、所望の基準を満たしているか否かで、表示画像が自動的に切り換わる。この結果、合成画像が表示された場合は、位置決めの精度が悪く合成画像にずれが生じている可能性があり、その詳細を確認できるようになる。逆に、簡易画像が表示された場合は、合成画像が正しく作成されている可能性が高く、その概略の確認が可能になる。
【００３４】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像を取り込む工程と、複数の撮影画像を合成した第１合成画像を作成する工程と、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、第１合成画像上における今回の撮影画像の位置を決定する工程と、位置決定の位置に、今回の撮影画像を合成した第２合成画像を作成する工程と、位置決定で得られた画像間の接合位置状態を示す情報を作成する工程と、第２合成画像に接合位置状態を示した表示用画像を出力する工程と、表示用画像を画面表示する工程と有している。
【００３５】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、作成された合成画像における接合位置の概略を目視して確認できるようになり、可搬型の装置おける画像合成が容易かつ確実に可能になる。
【００３６】
接合位置は、画像合成の精度が顕著に現われ、その接合状態を確認が出来るため、合成画像全体を確認する場合と比較して、より詳細な確認が可能となる。特に、高い合成精度が求められる文字情報などを撮影した場合、その接合位置における「ずれ」によって文字が読み取り難いことがあり、この場合の確認が容易に出来るようになる。
【００３７】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像を取り込む工程と、複数の撮影画像を合成した第１合成画像を作成する工程と、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定する工程と、決定した位置に今回の撮影画像を合成した第２合成画像を作成する工程と、この第２合成画像を参照して未撮影領域を検出する工程と、未撮影領域の検出情報から未撮影領域画像を作成する工程と、未撮影領域を含む画像を画面表示する工程とを有している。
【００３８】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、未撮影領域を目視して確認できるようになり、可搬型の装置おける画像合成が容易かつ確実に可能になる。
【００３９】
この場合、撮影できなかった領域が未撮影領域として明示されるため、この部分を、撮影者が容易に確認が出来るようになる。
【００４０】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像を取り込む工程と、複数の撮影画像を合成した第１合成画像を作成する工程と、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定する工程と、決定した位置に今回の撮影画像を合成した第２合成画像を作成する工程と、この第２合成画像を参照して未撮影領域を検出する工程と、未撮影領域の検出情報から未撮影領域画像を作成する工程と、未撮影領域画像が作成された場合に未撮影領域発生を報知する工程とを有している。
【００４１】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、未撮影領域が目視して確認できるようになり、可搬型の装置での画像合成が容易かつ確実に可能になる。
【００４２】
この場合、撮影中に未撮影領域の発生が、直ちにエラー報知されるため、撮影者が、その撮影のやり直しを直ちに出来るようになる。
【００４３】
上記目的を達成するこの発明の画像合成処理方法は、撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行うものであって、複数の撮影画像を取り込む工程と、複数の撮影画像を合成した第１合成画像を作成する工程と、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、この第１合成画像上における今回の撮影画像位置を決定する工程と、この決定位置に今回の撮影画像を合成した第２合成画像を作成する工程と、位置決定で得られた情報に基づいて簡易画像を作成する工程と、第２合成画像又は簡易画像を選択して表示のために出力する工程と、位置決定の情報に基づいて第２画像合成における画像合成の信頼度を検出する工程と、信頼度の検出結果に基づいて、画像合成の信頼度が所定値より低下していいるか否かを判断する工程と、信頼度が所定値より低下している場合に報知する工程とを有している。
【００４４】
この発明の画像合成処理方法では、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、撮影領域を目視して確認できるようになり、可搬型の装置における画像合成が容易かつ確実に可能になる。
【００４５】
この場合、撮影中に合成の信頼性が低下した場合に、直ちにエラー報知されるため撮影のやり直しが迅速に出来るようになる。
【００４６】
また、撮影者が許容度を指定する際に、（ａ）高い合成精度が要求されるとき（例えば、文字で構成される新開・雑誌を撮影するとき）、又は、（ｂ）低い合成精度でも良い風景などを撮影する場合に、（ａ）（ｂ）に対応したエラー判定の範囲を選択（切り換え）できるようになる。
【００４７】
上記目的を達成するこの発明の画像合成処理システムは、撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うためのものであって、複数の撮影画像を取り込む撮影画像取込手段と、複数の撮影画像を合成した合成画像を作成する画像合成手段と、（Ａ）合成画像から表示用画像を作成する表示用画像作成手段、（Ｂ）複数の画像における撮影視野の画像及び合成画像を一つの画面に表示するための表示用画像を作成する表示用画像作成手段、（Ｃ）画像合成から得られた情報に基づいて表示画像の表示位置を決定し、撮影視野の画像及び合成画像を一つの画面上に表示するための表示用画像を作成する表示用画像作成手段、上記（Ａ）（Ｂ）（Ｃ）のいずれか一つの手段と、表示用画像を画面表示する表示手段とを備えることを特徴としている
上記目的を達成するこの発明の画像合成処理システムは、撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うためのものであって、複数の撮影画像を取り込む撮影画像取込手段と、複数の撮影画像を合成した第１合成画像を作成する合成画像作成手段と、次の（Ａ）（Ｂ）（Ｃ）のいずれか一つの手段と、（Ａ）今回の撮影画像と第１合成画像を参照して決定した第１合成画像上における今回の撮影画像位置で得られた情報に基づいて表示用の簡易画像を作成する簡易画像処理手段、
（Ｂ）今回の撮影画像と第１合成画像を参照して決定した第１合成画像上における今回の撮影画像の位置に、今回の撮影画像を合成した第２合成画像を作成し、かつ、位置決定で得られた情報に基づいて作成した簡易画像又は第２合成画像を選択して、表示用画像を作成する画像処理手段、（Ｃ）今回の撮影画像と第１合成画像を参照して決定した合成画像上における今回の撮影画像の位置に、今回の撮影画像を合成した第２合成画像を作成するとともに、位置決定の情報に基づいた簡易画像を作成し、かつ、位置決定の情報に基づいて検出した信頼度の検出結果で選択した第２合成画像又は簡易画像を表示用画像を作成する画像処理手段と、表示用画像を画面表示する表示手段を備えることを特徴としている。
【００４８】
上記目的を達成するこの発明の画像合成処理システムは、撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うためのものであって、複数の撮影画像を取り込む撮影画像取込手段と、複数の撮影画像を合成した第１合成画像を作成する第１画像合成手段と、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、第１合成画像上における今回の撮影画像の位置を決定する決定手段と、位置決定の位置に、今回の撮影画像を合成した第２合成画像を作成する第２画像合成手段と、位置決定による画像間の接合位置に関する情報を接合位置情報として格納する格納手段と、この第２合成画像を、接合位置情報に基づいて接合位置近辺の画像を作成した表示用画像を出力する表示画像出力手段と、表示用画像を画面表示する表示手段とを備えることを特徴としている。
【００４９】
上記目的を達成するこの発明の画像合成処理システムは、撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うためのものであって、複数の撮影画像を取り込む撮影画像取込手段と、複数の撮影画像を合成した第１合成画像を作成する第１画像合成手段と、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定する位置決定手段と、決定した位置に今回の撮影画像を合成した第２合成画像を作成する第２画像作成手段と、この第２合成画像を格納する格納手段と、第２合成画像を参照して未撮影領域を検出し、この未撮影領域の検出情報から表示用の画像としての未撮影領域画像を出力する未撮影領域画像作成手段と、表示用画像を画面表示する表示手段とを備えることを特徴としている。
【００５０】
上記目的を達成するこの発明の画像合成処理システムは、撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うためのものであって、複数の撮影画像を取り込む撮影画像取込手段と、複数の撮影画像を合成した第１合成画像を作成する第１画像合成手段と、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定する位置決定手段と、決定した位置に今回の撮影画像を合成した第２合成画像を作成する第２画像作成手段と、この合成によって合成された第２合成画像を格納する格納手段と、次の（Ａ）又は（Ｂ）の手段と、（Ａ）第２合成画像を参照した未撮影領域の検出情報から表示用の画像としての未撮影領域画像を出力し、かつ、未撮影領域発生を報知する画像処理・報知手段、（Ｂ）位置決定で得られた情報に基づいて簡易画像を作成し、かつ、第１合成画像を選択して表示用の画像として出力し、位置決定の情報に基づいて検出した画像合成の信頼度が所定よりも低下した場合に報知を行う画像処理・報知手段を備えることを特徴としている。
【００５１】
上記目的を達成するこの発明の画像合成処理システムは、画像合成において、この画像合成を行うための画像合成装置及び通信装置を、通信回線網に接続して設け、画像合成装置が通信装置を通じて画像合成の処理の一部又は全部を実施することを特徴としている。
【００５２】
この発明の画像合成処理システムでは、上記した画像合成処理方法の発明と同様の作用効果が得られる。また、画像合成を通信回線網を通じて実行しており、例えば、撮影者側の装置の記憶媒体の記憶容量を小さく出来る。さらに、通信回線網を、例えば、有線通信回線網又は無線通信回線網とするこもが出来るため、構成の自由度（設計）が向上する。
【００５３】
上記目的を達成するこの発明のプログラムは、複数の撮影画像を取り込むステップと、複数の撮影画像を合成した合成画像を作成するステップと、（Ａ）合成画像から表示用画像を作成するステップ、（Ｂ）複数の画像における撮影視野の画像及び合成画像を一つの画面に表示するための表示用画像を作成するステップ、（Ｃ）画像合成から得られた情報に基づいて表示画像の表示位置を決定し、撮影視野の画像及び合成画像を一つの画面上に表示するための表示用画像を作成するステップ、上記（Ａ）（Ｂ）（Ｃ）のいずれか一つのステップと、表示用画像を画面表示するステップとの制御をコンピュータに実行させるものである。
【００５４】
上記目的を達成するこの発明のプログラムは、複数の撮影画像を取り込むステップと、複数の撮影画像を合成した第１合成画像を作成するステップと、（Ａ）今回の撮影画像と第１合成画像を参照して決定した第１合成画像上における今回の撮影画像位置で得られた情報に基づいて表示用の簡易画像を作成するステップ、（Ｂ）今回の撮影画像と第１合成画像を参照して決定した第１合成画像上における今回の撮影画像の位置に、今回の撮影画像を合成した第２合成画像を作成し、かつ、位置決定で得られた情報に基づいて作成した簡易画像又は第２合成画像を選択して、表示用画像を作成するステップ、（Ｃ）今回の撮影画像と第１合成画像を参照して決定した合成画像上における今回の撮影画像の位置に、今回の撮影画像を合成した第２合成画像を作成するとともに、位置決定の情報に基づいた簡易画像を作成し、かつ、位置決定の情報に基づいて検出した信頼度の検出結果で選択した第２合成画像又は簡易画像を表示用画像を作成するステップ、上記（Ａ）（Ｂ）（Ｃ）のいずれか一つのステップと、表示用画像を画面表示するステップとの制御をコンピュータに実行させるためのものである。
【００５５】
上記目的を達成するこの発明のプログラムは、複数の撮影画像を取り込むステップと、複数の撮影画像を合成した第１合成画像を作成するステップと、　複数の撮影画像における今回の撮影画像と第１合成画像を参照して、第１合成画像上における今回の撮影画像の位置を決定するステップと、位置決定の位置に、今回の撮影画像を合成した第２合成画像を作成するステップと、　位置決定による画像間の接合位置に関する情報を接合位置情報として格納するステップと、第２合成画像を、接合位置情報に基づいて接合位置近辺の画像を作成した表示用画像を出力するステップと、表示用画像を画面表示するステップとの制御をコンピュータに実行させるためのものである。
【００５６】
上記目的を達成するこの発明のプログラムは、複数の撮影画像を取り込むステップと、複数の撮影画像を合成した第１合成画像を作成するステップと、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定するステップと、決定した位置に今回の撮影画像を合成した第２合成画像を作成するステップと、この第２合成画像を格納するステップと、第２合成画像を参照して未撮影領域を検出し、この未撮影領域の検出情報から表示用の画像としての未撮影領域画像を出力するステップと、表示用画像を画面表示するステップと、の制御をコンピュータに実行させるためのものである。
【００５７】
上記目的を達成するこの発明のプログラムは、複数の撮影画像を取り込むステップと、複数の撮影画像を合成した第１合成画像を作成するステップと、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定するステップと、決定した位置に今回の撮影画像を合成した第２合成画像を作成するステップと、この第２合成画像を格納するステップと、（Ａ）第２合成画像を参照した未撮影領域の検出情報から表示用の画像としての未撮影領域画像を出力し、かつ、未撮影領域発生を報知するステップ、（Ｂ）位置決定で得られた情報に基づいて簡易画像を作成し、かつ、第１合成画像を選択して表示用の画像として出力し、位置決定の情報に基づいて検出した画像合成の信頼度が所定よりも低下した場合に報知を行うステップ、上記（Ａ）又は（Ｂ）のステップとの制御をコンピュータに実行させるためのものである。
【００５８】
上記目的を達成するこの発明のプログラムは、画像合成において、この画像合成の一部又は全部を、有線又は無線の通信回線網に接続した画像合成装置及び通信装置を通じて実施するステップの制御をさらにコンピュータに実行させるためのものである。
【００５９】
この発明のプログラムでは、この発明を情報記録媒体、例えば、パッケージソフトウェアとして提供可能になり、この発明の処理が、ＭＰＵなどを装備した装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）で実行できるようになって、その汎用性が向上する。
【００６０】
以下は、上記した画像合成処理方法の技術思想における好適な態様である。
【００６１】
上記画像合成として、複数の撮影画像を格納する工程と、格納された複数の撮影画像を合成した第１合成画像を作成する工程と、複数の撮影画像における今回の撮影画像と第１合成画像を参照して、この第１合成画像上における今回の撮影画像位置を決定する工程と、決定された位置に今回の撮影画像を合成した第２合成画像を作成する工程と、第２合成画像を表示のために格納かつ出力する工程とを有している。
【００６２】
また、上記画像合成として、複数の撮影画像を格納する工程と、複数の撮影画像における今回の撮影画像と合成画像を参照して、この合成画像上における今回の撮影画像の位置を決定すると共に、前回の撮影画像からの移動方向を検出して出力する工程と、合成画像上における今回の撮影画像の位置を決定した位置に今回の撮影画像を合成する工程と、合成された合成画像を表示のために格納かつ出力する工程とを有する。
【００６３】
さらに、上記簡易画像の作成画像を、画像合成に使用した画像枠とする。
【００６４】
また、上記簡易画像の作成画像を、合成画像の外枠の画像合成に使用した画像枠とする。
【００６５】
さらに、上記簡易画像の作成画像を、画像合成に使用した画像の移動方向を線で示した画像とする。
【００６６】
また、未撮影領域の検出は、合成画像の各辺から内側に連続する未撮影の画素を計数したヒストグラムを作成し、このヒストグラム上での極大点から極小点までの画素数の量に基づいて未撮影領域の有無を判断する。
【００６７】
さらに、上記画面の表示において、この表示内容の一部又は全部の内容を選択的に合成音声で報知する。
【００６８】
また、上記報知が、画面報知、音表示の一方又は両方である。
【００６９】
以下は、上記した画像合成処理システムの技術思想における好適な態様である。
【００７０】
上記通信回線網が、有線通信回線網又は無線通信回線網であり。通信装置が有線通信装置又は無線通信装置である。
【００７１】
上記画像処理・報知手段が、報知を画面表示、音表示の一方又は両方で行う。
【００７２】
上記画面の表示において、この表示内容の一部又は全部の内容を選択的に合成音声で報知する合成音声出力部を備える。
【００７３】
以下は、上記したプログラムの技術思想における好適な態様である。
【００７４】
上記画像合成において、この画像合成の一部又は全部を、有線又は無線の通信回線網に接続した画像合成装置及び通信装置を通じて実施するステップを有する。
【００７５】
上記報知として、報知を画面表示、音表示の一方又は両方で行うステップを有する。
【００７６】
上記画面の表示において、この表示内容の一部又は全部の内容を選択的に合成音声で報知するステップを有する。
【００７７】
上記のように合成画像表示と合成音声報知の一方又は両方で表示している。この結果、特に、合成画像表示のみではなく、合成音声報知による確認もできるようになる。
【００７８】
また、画像合成を通信回線網を通じた構成の場合、簡易画像は合成画像に比較した伝送データ量が低減するため、より通信時間や通信料の削減が可能になる。
【００７９】
【発明の実施の形態】
以下、図面を参照して、この発明の実施形態について説明する。この実施形態における構成及び処理については、この発明が理解できる程度に概略的に示したものである。
【００８０】
以下、この発明の好適な構成例について説明するが、この説明における構成及び数値的条件などは、単なる好適例にすぎない。したがって、この発明は以下の実施形態に限定されず、特許請求の範囲を含む本発明の要旨を逸脱しない範囲における様々な形態に適用可能である。
【００８１】
（第１実施形態の構成及び各部の動作）
図１はこの発明の画像合成処理システムにおける第１実施形態の構成を概略的に示すブロック図である。
【００８２】
図１を参照すると、このＭＰＵ（Ｍｉｃｒｏｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）構成の第１実施形態の画像合成処理システムＡは、撮影、画像合成及び表示を行う可搬型の装置であり、具体例としては、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラの撮影処理系、画像合成系及び表示処理系を示す要部構成である。
【００８３】
図１において、この画像合成処理システムＡは、撮影部１０と、Ａ／Ｄ変換部１１と、画像合成部１２と、表示画像作成部１３と、表示部１４と、駆動回路１５と、合成音声出力回路１６と、入出力（Ｉ／Ｏ）回路１７と、通信部１８と、インターフェース（Ｉ／Ｆ）回路１９と、スイッチＳＷと、スピーカＳＰと、発光ダイオードＬＤとから構成されている。
【００８４】
画像合成部１２は、Ｉ／Ｏ回路２１と、ＭＰＵ（Ｍｉｃｒｏｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２２と、入出力（Ｉ／Ｏ）回路２３と、メモリ２４と、Ｉ／Ｏ回路２５とから構成されている。
【００８５】
次に、上記各部の動作について説明する。
【００８６】
図１において、撮影部１０は、光学系及びＣＣＤなどの固体光電変換素子などから構成されて、動画撮影又は静止画撮影によるアナログ撮像信号を出力する。Ａ／Ｄ変換部１１は、アナログ撮像信号を多階調のデジタル画像に変換する。画像合成部１２は、Ａ／Ｄ変換部１１からの画像イメージ（適宜、、、画像と略記する）が入力されるごとに画像合成を行う。
【００８７】
表示画像作成部１３は、画像合成部１２からの合成画像を表示画像データ（例えば、Ｒ，Ｇ，Ｂ信号）に変換する。表示部１４は、表示画像作成部１３で作成された表示画像を画面表示し、例えば、液晶ディスプレイ（ＬＣＤ）で実現される。
【００８８】
駆動回路１５は、以降で説明する報知のための発光ダイオードＬＤの点灯又は点滅の電圧を印加（駆動）する。合成音声出力回路１６は、例えば、画像合成の終了時における合成画像表示及び合成音声報知の両方又は選択的設定における合成音声報知をスピーカＳＰから吹鳴するための音声データを出力する。
【００８９】
Ｉ／Ｏ回路１７は、スイッチＳＷからの各種設定情報（例えば、合成画像の終了時における合成画像表示及び合成音声報知の両方又は選択的設定）をＭＰＵ２２に出力する。通信部１８は、以降で説明する有線通信回線網との回線接続の通信制御を処理し、例えば、デジタル通信方式におけるデジタル終端装置（ＤＳＵ）及びターミナルアダプタ（ＴＡ）、又は、アナログ通信方式における網制御装置（ＮＣＵ）及び変復調装置（ＭＯＤＥＭ）などで実現される。
【００９０】
Ｉ／Ｆ回路１９は、以降で説明する無線通信回線網との回線接続を行う通信情報端末とのインターフェース接続を行う。スイッチＳＷは、各種設定情報の入力操作信号を出力する。スピ−カＳＰは、合成音声による報知を音出力する。発光ダイオードＬＤは、以降で説明する各種報知のために点灯又は点滅する。
【００９１】
画像合成部１２において、Ｉ／Ｏ回路２１は、Ａ／Ｄ変換部１１からのデジタル画像を取り込んでＭＰＵ２２に出力する。ＭＰＵ２２は、画像合成処理に対する制御を実行する。なお、このＭＰＵ２２は、ＣＰＵ，ＲＯＭ及びワーキング用のＲＡＭから構成されており、ＲＯＭには、第１実施形態の画像合成処理を実行するためのプログラム（特許請求の範囲を含むこの発明のプログラムに対応する）が格納され、このプログラムを、ＣＰＵがＲＡＭのワーキング処理を通じて実行する。
【００９２】
Ｉ／Ｏ回路２３は、ＭＰＵ２２からの合成画像などを表示画像作成部１３に出力する。メモリ２４は、この第１実施形態における各種の処理データ（例えば、合成画像）を記憶する。Ｉ／Ｏ回路２５は、撮影部１０に対する制御、例えば、シャッタ開閉やその時間などの制御信号を出力する。
【００９３】
なお、この種の画像合成処理システムＡ（例えば、上記した撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）では、撮影開始・停止のための光学系装置（例えば、シャッタ）やメモリ２４に対する画像の取り込みなどの指示を行う入力操作装置、及び撮影日時を取り込むためのタイマ回路などが実装されるのが一般的であるが、ここでは、その図示及び説明を省略した。
【００９４】
なお、このＭＰＵ構成による画像合成処理は、その一部の画像処理又は全部の画像処理が、以降で説明する第２実施形態から第１３実施形態に適用できる。以下の第２実施形態から第１３実施形態においては、このＭＰＵ構成による画像合成の処理説明を省略する。
【００９５】
図２は、図１に示す画像合成処理システムＡａの機能構成を概略的に示すブロック図である。
【００９６】
図２を参照すると、この機能構成の画像合成処理システムＡａは、図１の構成と同様に撮影部１０２と、Ａ／Ｄ変換部１０４と、画像合成部１２ａ、表示画像作成部１１４と、表示部１１６とから概略構成されている。
【００９７】
画像合成部１２ａ、画像格納部１０６と、位置決め処理部１０８と、合成処理部１１０と、合成画像格納部１１２とから構成されている。
【００９８】
なお、画像合成部１２ａは、図１に示す画像合成部１２におけるＭＰＵ２２の処理に対応し、又は、画像合成処理システムＡａの全体は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）で実現される。
【００９９】
次に、機能構成の画像合成処理システムＡａの各部の動作について説明する。
【０１００】
図２に示す画像合成処理システムＡａにおいて、撮影部１０２から表示部１１６までの動作は図１の構成の各部と同様の動作である。
【０１０１】
画像合成部１２ａにおいて、ここでの個々の動作は、図１に示すＭＰＵ２２を用いた画像合成部１２の画像合成処理に対応しており、画像格納部１０６にＡ／Ｄ変換部１０４からの撮影画像が入力される。動画撮影時は、その動画を構成する連続画像における１枚ごとの静止画像（フレーム画像）を格納し、また、静止画撮影時には撮影された画像を格納する（適宜、動画撮影におけるフレーム画像と静止画撮影おける画像を、単に「画像」と記載する）。
【０１０２】
位置決め処理部１０８は、画像格納部１０６に格納された画像及び合成画像格納部１１２に格納されている合成画像を参照して、合成画像上における画像の位置を決定する。
【０１０３】
また、画像合成部１２ａにおいて、合成処理部１１０は、位置決め処理部１０８で決定した位置に撮影された複数の撮影画像を合成する。合成画像格納部１１２は、合成処理部１１０によって合成された合成画像を格納する。
【０１０４】
（第１実施形態の全体動作）
図３は第１実施形態における画像合成過程を説明するための図である。また、図４は第１実施形態における他の画像合成過程（今回の画像が複数の撮影画像における開始画像の場合）を説明するための図であり、図５は第１実施形態における表示画像の作成処理を説明するための図である。さらに、図６は、第１実施形態におけるスクロール表示例を説明するための図である。図７は、図１に示す画像合成部１２におけるＭＰＵ２２の画像合成処理手順を示すフローチャートである。
【０１０５】
まず、図２の機能構成及び図３から図６までを参照して説明する。
【０１０６】
図２において、画像合成処理システムＡａは、撮影現場での動画撮影時には、被写体に撮影部１０２を対向させ、かつ、移動させるように変位させながら撮影（例えば、上記したビデオモザイキング撮影）を行い、また、静止画撮影時には、被写体を分割するように複数回撮影（例えば、パノラマ撮影）を行う。なお、速写撮影は静止画撮影と同一の画像処理となる。
【０１０７】
このようにして撮影された撮影部１０２からのアナログ撮像信号（動画又は静止画）が、Ａ／Ｄ変換部１０４で多階調のデジタル画像に変換される。この画像を画像格納部１０６が取り込む。画像格納部１０６は、動画撮影時において、連続して取り込まれる画像を撮影時刻順で画像（フレーム画像）を格納し、また、静止画撮影時には撮影された画像を格納する。
【０１０８】
画像格納部１０６は、撮影による１枚分の画像が取り込まれた時点で、今回の画像を位置決め処理部１０８に出力する。この場合、動画像は複数静止画像の連続で構成されているため、その１枚分が画像格納部１０６に格納された時点で、この今回の画像を位置決め処理部１０８に出力する。位置決め処理部１０８では、画像格納部１０６から今回の画像と以降で説明する合成画像格納部１１２からの合成画像の二つから、その一致する領域を検出して、合成画像における今回の画像の位置を特定する。
【０１０９】
この特定は、図３（ａ）に示す今回の画像が、図３（ｂ）に示す画像において一致する領域を、その重なり領域と特定する。なお、この重なり領域の検出は、ブロックマッチング法などの既知の技術を適用すれば良い。この位置を特定するために、図３（ｂ）に示すように、重なり領域の左上座標を合成基準位置（合成画像の左上を原点とした座標）と定めて、その検出を行う。この検出した合成基準位置を位置決め処理部１０８が合成処理部１１０に送出する。
【０１１０】
また、今回の画像が、撮影開始の画像の場合、図４（ａ）に示す今回の画像の前の合成画像は、図４（ｂ）に示すように存在しないので、空の合成画像（画像と同一の領域を有し、その画像データを有していない）を受け取り、その合成基準位置を原点とする。
【０１１１】
なお、合成画像格納部１１２には、画像と同一の大きさ〈データ量〉の領域が予め格納（設定）されている。
【０１１２】
合成処理部１１０では、画像格納部１０６からの今回の画像と位置決め処理部１０８から合成基準位置及び合成画像格納部１１２からの今回の画像前の合成画像を受け取り、この合成画像上の合成基準位置に、今回の画像の左上座標が位置するように配置し、この位置に、今回の画像を上書きして新しい合成画像を作成する。
【０１１３】
この場合、重なり領域は今回の画像の画素で構成されることになる。合成画像の画素を残すようにしたり、合成画像及び今回の画像のそれぞれの画素の濃度の平均値とする画像処理を行うようにしても良い。この合成処理部１１０で作成された合成画像を合成画像格納部１１２が受け取って格納する。このようにして、画像合成部１２ａが、撮影された全ての画像に対する画像合成を行う。
【０１１４】
この全ての画像の合成が画像合成部１２ａで終了すると、表示画像作成部１１４は、画橡合成部１０から受け取った合成画像を表示部１１６で画面表示するために表示画像に変換する。
【０１１５】
なお、合成画像は、複数の撮影画像を貼り合せ（合成）しているため、その大きさが一つの画像面積よりも大きな面積、になっている。このため表示部１１６の表示画面の大きさに整合するように合成画像を縮小する。
【０１１６】
具体的には図５に示すように、合成画像の幅をｗｄ、高さをｈｔ、表示部１１６の幅ＷＤ、高さをＨＴとした場合、次式（１）を用いて表示係数Ｓを求め、この求めたＳが２以下の場合は、図５（ａ）に示すように幅及び高さを、ＷＤ及びＨＴ以下になるように縮小（画素の間引き）した画像を作成する。
【０１１７】
また、Ｓが２を超え４以下の場合は、図５（ｂ）に示すように画像を二つに分割して並べ、幅、高さそれぞれがＷＤ及びＨＴ以下になるように縮小（画素の間引き）した画像を作成する。３を超える場合は二つの場合と同様にして三つ以上に分割した画像を作成する。
【０１１８】
Ｓ（ｗｄ／ｈｔ）／（ＷＤ／ＨＴ）…（１）
なお、表示画像作成部１１４には、予めＷＤ及びＨＴの画像領域が設定されているものである。表示画像作成部１１４は、作成した画像を表示部１１６に送出し、表示部１１６が表示画像作成部１１４からの作成画像を画面表示する。
【０１１９】
なお、この第１実施形態では、画像全体を表示するため画像縮小する例をもって説明したが、表示画面において細部を目視で確認するためには、図６に示すように画像をスクロールする構成とすれば良い。なお、この表示画面のスクロールの処理及び構成は既知の技術であり、その詳細な説明は省略する。
【０１２０】
次に、図１のＭＰＵ２２を採用した構成による第１実施形態の要部動作を、図７の処理手順をもって説明する。
【０１２１】
図１及び図７において、この要部動作は、図２中の画像合成部１２ａの動作を図１に示す画像合成部１２が実行するものであり、基本的な動作は上記した図２中の画像合成部１２ａの動作と同一である。
【０１２２】
ＭＰＵ２２は、ＲＯＭに格納されているプログラムに基づいた演算制御を実行する。まず、Ａ／Ｄ変換部１１で変換された画像を、Ｉ／Ｏ回路２１を通じてＭＰＵ２２が取り込む（ステップＳ１）。
【０１２３】
ＭＰＵ２２は、動画撮影時に連続して取り込まれる画像データを撮影時刻順に画像（フレーム画像）として、メモリ２４に格納する制御を実行し、また、静止画撮影時に、撮影された静止画像を格納する制御を実行する（ステップＳ２）。
【０１２４】
さらに、ＭＰＵ２２は、メモリ２４が現在撮影中の１枚分の今回の画像を記憶した時点で、この今回の画像と合成画像の二つから、その一致する領域を検出し（ステップＳ３，Ｓ４）、合成画像における今回の画像の位置を特定する（ステップＳ５）。
【０１２５】
この特定は、上記した図３を参照した説明と同様である。この検出した合成基準位置をＭＰＵ２２のＲＡＭが保持する（ステップＳ６）。この合成基準位置に基づいて、上記の図４をもって説明したように新しい合成画像を作成する（ステップＳ７）。この合成画像をメモリ２４に格納し、撮影された全ての画像に対する画像合成を行う（ステップＳ８）。
【０１２６】
この全ての画像の合成処理が終了すると（ステップＳ９）、次に、ＭＰＵ２２は、予めスイッチＳＷからＩ／Ｏ回路１７を通じて設定されていた合成画像の終了時における合成画像表示及び合成音声報知の両方又は選択的な設定を判断する（ステップＳ１０）。このステップＳ１０で、両方の場合、画像を表示画像作成部１３にＩ／Ｏ回路２３を通じて出力し、表示部１４で画面表示し（ステップＳ１１）、ＭＰＵ２２の制御で合成音声出力回路１６が、合成画像の終了時における音声データを出力し、この合成音声報知をスピーカＳＰが吹鳴する（ステップＳ１２）。
【０１２７】
また、ステップＳ１０で合成画像表示及び合成音声報知の両方でない場合、画面表示を判断し（ステップＳ１３）、合成画像表示の場合は、画像を表示画像作成部１３にＩ／Ｏ回路２３を通じて出力し、表示部１４で画面表示する（ステップＳ１４）。ステップＳ１３で合成音声報知の場合は、合成音声出力回路１６が、合成画像の終了時における音声データを出力し、この合成音声報知をスピーカＳＰが吹鳴する（ステップＳ１５）。この後は、図６をもって説明したスクロールなどの処理が実行される（ステップＳ１６）。
【０１２８】
（第１実施形態の利点）
上記したように、この第１実施形態によれば、画像合成処理システムＡ（Ａａ）の表示部１４（１１６）において、画像合成が容易か否かの撮影の良否を撮影現場で即時的に目視して確認できるようになり、さらに、複雑な視点移動（細かな撮影移動）に対する画像合成を撮影現場で即時に目視して確認できるようになる。換言すれば、画像合成を専用アプリケーションを実装した小型汎用コンピュータなどで行なう必要がなくなる。すなわち、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【０１２９】
さらに、合成画像表示と合成音声報知の一方又は両方を選択的に表示している。この結果、特に、合成画像表示のみではなく、合成音声報知による確認もできるようになる。なお、この合成画像表示と合成音声報知の一方又は両方の選択的な表示は、以降で説明する図８の第２実施形態から図３７の第１３実施形態にも適用可能である。以下、その説明は省略する。
【０１３０】
（第２実施形態の構成及び各部の動作）
図８はこの発明の第２実施形態における画像合成処理システムの機能構成を概略的に示すブロック図である。
【０１３１】
図８を参照すると、画像合成処理システムは、通信撮影装置Ｂと網側装置とからなり、通信撮影装置Ｂは、撮影部２０２と、Ａ／Ｄ変換部２０４と、表示情報取得部２０６と、表示画像作成部２１２と、表示部２１４と、通信部２１５とから構成されている。
【０１３２】
さらに、網側装置は、有線通信回線網９０と、通信部２０８と、画像合成部２１０と、通信情報端末２１１とを有している。
【０１３３】
次に、上記各部の動作について説明する。
【０１３４】
図８において、ここでは有線通信回線網９０と、表示情報取得部２０６と、通信部２０８，２１５と、画像合成部２１０及び通信情報端末２１１についてのみ説明する。これ以外の通信撮影装置Ｂにおける撮影部２０２と、Ａ／Ｄ変換部２０４と、表示部２１４及び表示画像作成部２１２は、その動作が第１実施形態と同様であり、重複した説明は省略する。
【０１３５】
通信撮影装置Ｂにおける表示情報取得部２０６は、Ａ／Ｄ変換部２０４からデジタル画像が入力され、この画像を通信部２１５を通じて有線通信回線網９０に送信し、又は、有線通信回線網９０から画像確認用の表示のための情報（例えば、合成画像）が通信部２０８を通じて受信される。
【０１３６】
通信部２１５は、表示情報取得部２０６と有線通信回線網９０との間において、通信回線接続制御及び通信プロトコルを実行する。通信部２１５は、実現的には、ＤＳＵ及びＴＡ、ＮＣＵ及びＭＯＤＥＭである。
【０１３７】
有線通信回線網９０は、通信撮影装置Ｂと画像合成部２１０との間の通信に用いられ、実現的には、デジタル通信回線（ＩＳＤＮ）やアナログ電話回線である。
【０１３８】
なお、この例の有線通信回線網９０と通信部２１５との間の有線接続は、ワイヤード接続である。具体的には、公衆電話機Ｔの図示しないモジュラーコネクタに電話ケーブルで接続される。なお、この有線通信回線網９０と通信部２１５との間は、無線区間（エァーインターフェース）による構成とすることも可能である。無線区間による構成は、この後で説明する。
【０１３９】
次に、有線通信回線網９０側の通信部２０８は、通信部２１５と同様に動作し、画像合成部２１０と有線通信回線網９０との間において、通信回線接続制御及び、通信プロトコルを実行する。実現的には、上記したＤＳＵ及びＴＡ、又は、ＮＣＵ及びＭＯＤＥＭである。
【０１４０】
有線通信回線網９０における通信プロトコル（伝送方式）は、各種のものを適用できる。例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）やＹ／Ｚ―ＭＯＤＥＭが適用できる。さらに、画像転送もＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−１，２などを適用できる。
【０１４１】
画像合成部２１０は、第１実施形態の画像合成部１２ａと同様にＡ／Ｄ変換部１０４からデジタル信号を有線通信回線網９０を通じた通信によって受け取る都度、その画像合成を行う。
【０１４２】
通信情報端末２１１は、有線通信回線網９０を通じて画像合成部２１０の合成画像をダウンロードして取り込み、その必要性に応じて保存する。通信情報端末２１１は、例えば、ＴＣＰ／ＩＰを適用した小型汎用コンピュータ及び通信装置で実現される。
【０１４３】
（第２実施形態の全体動作）
図９は、第２実施形態における有線通信回線網９０による通信シーケンス図である。
【０１４４】
図９において、ここでは通信撮影装置Ｂ（表示情報取得部２０６及び通信部２１５）と、網側装置の通信部２０８及び画像合成部２１０の動作について説明する。撮影部２０２、Ａ／Ｄ変換部２０４、表示画像作成部２１２及び表示部２１４の動作は、第１実施形態と同様であり、ここでは重複した説明を省略する。
【０１４５】
表示情報取得部２０６では、通信部２１５を通じて有線通信回線網９０からの画像情報（例えば、合成画像）を受け取り、又は、有線通信回線網９０を通じて通信部２０８に送信する。通信接続に必要な、例えば、アドレス情報は、予め登録されており、その回線接続の設定は撮影前後のデータ転送前に行われる。
【０１４６】
通信部２０８は、表示情報取得部２０６から画像情報を有線通信回線網９０を通じて受信し、この画像情報を画像合成部２１０に送出する。画像合成部２１０では画像合成を行う。なお、この画像合成の動作は第１実施形態における画像合成部１２（１２ａ）と同一であり、その詳細な説明は省略する。
【０１４７】
通信部２０８は、画像合成部２１０から合成画像などを受け取り、この合成画像を表示情報として、有線通信回線網９０を通じて表示情報取得部２０６に送信する。
【０１４８】
なお、この表示情報は、撮影者が合成画像の内容（出来具合）を確認するためのものであり、合成画像や画像情報である。例えば、画像情報（カラー情報など）から移を破棄した画像（例えば、グレー画像）や、単純な２値画像などの情報量を削減しても、目視確認に十分な状態であれば、通信部２０８で画像変換を行ってから送信しても良い。この場合、伝送データ量が低減して、例えば、通信時間や課金（通信）料金の削減が可能になる。
【０１４９】
表示情報取得部２０６では有線通信回線網９０から表示情報（合成画像）を受け取り、表示画像作成部２１２に送出して画面表示する。
【０１５０】
なお、この有線通信回線網９０を用いた構成は、以降で説明する図１４の第５実施形態、図１８の第６実施形態、図２２の第７実施形態、図２３の第８実施形態、図２７の第９実施形態、図３１の第１０実施形態、及び図３４の第１１実施形態にも適用できる。この図１４の第５実施形態から図３４の第１１実施形態までにおける有線通信回線網９０を用いた構成は、その説明を省略する。
【０１５１】
次に、この有線通信回線網９０に対して無線通信回線網９０Ａを用いた変形構成例について説明する。
【０１５２】
図１０は、無線通信回線網９０Ａを用いた第２実施形態の変形構成例を示すブロック図である。
【０１５３】
図１０において、この例の通信撮影装置Ｂａは、図１に示した画像合成部１２を、無線通信回線網９０Ａ上に配置して、その画像合成処理を行っており、装置構成を簡素化し、かつ、移動の利便性の向上を図っている。
【０１５４】
図１０を参照すると、通信撮影装置Ｂａは、図８の通信撮影装置Ｂの通信部２１５に代えたインターフェース（Ｉ／Ｆ）回路２１５及び通信情報端末２１６と、セル基地局を備えた無線通信回線網９０Ａと、通信情報端末２２０と、通信部２０８と、画像合成部２１０とを有している。
【０１５５】
なお、この構成では、可搬撮影装置Ｂａに通信情報端末２１６を外付けした構成としたが、通信撮影装置Ｂａに無線通信部を内臓した構成（例えば、撮影装置を内蔵した携帯電話機）としても以下、同様に動作する。
【０１５６】
次に、この要部構成の動作について説明する。
【０１５７】
図１０において、Ｉ／Ｆ回路２１５ａは、通信情報端末２１６とのインターフェース接続を行う。通信情報端末２１６はセル基地局との無線区間（エアインターフェース）を通じて無線通信回線網９０Ａとの回線接続を行う。通信情報端末２２０は、セル基地局との無線区間を通じて無線通信回線網９０Ａとの回線接続を行う。通信部２０８は、内部に通信情報端末２２０とのインターフェース接続を行うＩ／Ｆ回路２０８ａが設けられており、この通信部２０８に画像合成部２１０が接続されている。通信部２０８は通信情報端末２２０と一体的な構成でも良い。
【０１５８】
無線通信回線網９０Ａ、通信情報端末２１６，２２０は、具体的には、例えば、公衆移動電話網のＰＤＣ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ｃｅｌｌｕｌａｒ．ＡＢＲ−２７のＴＤＭＡ）方式、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙ−ｐｈｏｎｅ　Ｓｙｓｔｅｍ　ＡＢＲ−２８のＴＤＭＡ／ＴＤＤ）方式を適用したものである。なお。ＩＳ−９５やＩＭＴ−２０００などのＣＤＭＡ方式を適用しても以下同様に動作する。
【０１５９】
なお、公衆移動電話網に代えて、通信範囲（サービスエリア）が狭い場合は、狭域通信網、例えば、ＰＨＳ構内交換システムなどを適用できる。
【０１６０】
これらの動作は、無線区間インターフェース接続処理が、有線通信回線網９０を用いた場合（図９の伝送シーケンス参照）と異なるのみであり、その他の構成及び動作は同様である。その詳細な動作説明は省略する。
【０１６１】
なお、この第２実施形態における無線通信回線網９０Ａを用いた変形構成例は、以降で説明する図１３の第４実施形態、図３７の第１３実施形態を含む他の実施形態にも適用可能である。以降の第４実施形態及び第１３実施形態を含む他の実施形態においては、その説明を省略する。
【０１６２】
（第２実施形態の利点）
上記したように、この第２実施形態によれば、通信撮影装置Ｂ又はＢａが有線通信回線網９０又は無線通信回線網９０Ａ上に設けた画像合成部２１０との連動によって、画像合成を行い、その合成画像の目視による確認が表示部２１４で可能になるため、撮影現場で、様々な視点移動に対応でき、かつ、合成確認が確実に可能になるとともに、この確認後に、撮影した画像を破棄できるようになり、例えば、装置に装備するメモリの記憶容量を削減して、大容量のデータ量の画像合成が確実に可能になる。
【０１６３】
また、移動（撮影）現場で、有線通信回線網９０又は無線通信回線網９０Ａに接続して、画像合成部２１０と連動した画像合成が可能になる。この場合、移動場所の制限が無くなり、また、低通信料金（低額課金）の選択が可能になる。
【０１６４】
（第３実施形態の構成及び各部の動作）
図１１は、第３実施形態における画像合成処理システムの機能構成を概略的に示すブロック図である。
【０１６５】
図１１を参照すると、この第３実施形態の画像合成処理システムＣは、撮影部３０２と、Ａ／Ｄ変換部３０４と、画像合成部３０６と、表示画像作成部３０８と、表示処理部３１０、表示部３１１とから構成されている。
【０１６６】
次に、上記各部の動作について説明する。
【０１６７】
図１１において、この第３実施形態では、表示処理部３１０及び表示部３１１の動作のみが第１実施形態と異なり、その他の動作は第１実施形態と同様である。その重複した説明は省略する。
【０１６８】
表示処理部３１０、は、Ａ／Ｄ変換部３０４からデジタル画像が入力され、かつ、表示画像作成部３０８で作成された画像を表示用の画像に作成する。
【０１６９】
表示部３１１は、表示処理部３１０で作成された表示用の画像を画面表示する。
【０１７０】
（第３実施形態の全体動作）
この第３実施形態では、表示処理部３１０及び表示部３１１の動作についてのみ説明する。
【０１７１】
表示処理部３１０、は、Ａ／Ｄ変換部３０４からデジタル画像が入力され、かつ、表示画像作成部３０８で作成された画像を、表示画像に作成し、この画像を表示部３１１が画面表示する。
【０１７２】
なお、画像合成部３０６は、今回の画像の合成が終了するたびに、表示画像作成部３０８に、今回の画像までの合成画像を送出する。
【０１７３】
図１２は第３実施形態における表示状態を説明するための図である。
【０１７４】
図１２において、表示画像作成部３０８には、合成画像表示用の小窓サイズと、表示位置情報が予め設定されている。表示画像作成部３０８は、画像合成部３０６から今回の画像までの合成画像を受け取り、予め設定されている合成画像表示用の小窓サイズに縮小した画像を作成する。
【０１７５】
表示処理部３１０には、Ａ／Ｄ変換部３０４から画像が入力されて、この画像を表示部３１１の画面全体に表示する。この表示は撮影を行うときの撮影視野を示すためのもので、例えば、デジタルカメラなどにおける液晶ファインダーと同等の機能（役目）を担っている。
【０１７６】
また、表示処理部３１０には、表示画像作成部３０８から表示窓サイズに縮小された今回の画像までの合成画像及び表示位置情報が入力され、この表示位置情報に定められた表示上の位置に小窓の左上座標を一致させて画面表示する。すなわち、撮影視野上に上書きするように表示を行なう。この表示部３１１の小窓に表示される合成画像は、撮影中は常時更新される。
【０１７７】
（第３実施形態の利点）
上記したように、この第３実施形態によれば、第１実施形態と同様に、画像合成処理システムＣによって、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に表示部３１１を目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【０１７８】
さらに、この第３実施形態では、表示部３１１の小窓に表示される合成画像から、その合成画像の状態が判明するため、画像合成を正しく行えない画像が存在した場合に、この画像が直ちに判明するようになる。
【０１７９】
また、合成画像を小窓表示にすることによって、撮影視野を確保できるので、撮影中の作業負担が軽減される。
【０１８０】
（第４実施形態の構成及び各部の動作）
図１３は、この発明における第４実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【０１８１】
図１３を参照すると、この第３実施形態の画像合成処理システムにおける通信撮影装置Ｄと網側装置とからなり、通信撮影装置Ｄは、撮影部４０２と、Ａ／Ｄ変換部４０４と、表示情報取得部４０６と、通信部４１６と、表示画像作成部４１２と、表示処理部４１４と、表示部４１５から構成されている。
【０１８２】
次に、上記各部の動作について説明する。
【０１８３】
ここでは、撮影部４０２と、Ａ／Ｄ変換部４０４と、表示画像作成部４１２と、表示処理部４１４及び表示部４１５の動作は第３実施形態と同様の動作であるため、その重複した説明は省略する。
【０１８４】
通信撮影装置Ｄにおける表示情報取得部４０６及び通信部４１６、及び網側装置における有線通信回線網９０、通信部４０８、画像合成部４１０は図８に示す第２実施形態と同様の通信による画像処理を行うものであり、また、伝送シーケンスも図９の第２実施形態と同様である。その重複した説明は省略する。
【０１８５】
さらに、図１０に示した第２実施形態の変形例のように、有線通信回線網９０を無線通信回線網９０Ａに代えた構成によるの画像処理も同様であり、その重複した説明は省略する。
【０１８６】
（第４実施形態の全体動作）
図１３において、この例は第３実施形態の動作（表示部３１１の小窓への合成画像表示）と、第２実施形態の通信による画像合成処理を組み合わせたものであり、その詳細な説明は省略する。
【０１８７】
（第４実施形態の利点）
上記したように、この第４実施形態によれば、上記した第２実施形態と同様に通信撮影装置Ｂが、有線通信回線網９０又は無線通信回線網９０Ａを通じて画像合成を行い、その合成画像の目視による確認が撮影現場で確実に可能になる。さらに、この確認後に、撮影した画像を破棄できるとともに、移動場所の制限が無くなり、また、低通信料金（低額課金）の選択が可能になる
なお、この移動場所の制限が無くなり、かつ低通信料金の選択が可能の説明は、以降の図１４の第５実施形態から図３７の第１３実施形態では、その重複した説明を省略する。さらに、第３実施形態と同様に、この第４実施形態では、表示部３１１の小窓に表示される合成画像から、その合成画像の状態が判明するため、画像合成を正しく行えない画像が直ちに撮影者において判明する。さらに、合成画像を小窓に表示しており、その撮影視野が確保されて、撮影作業負担が軽減される。
【０１８８】
（第５実施形態の構成及び各部の動作）
図１４はこの発明における第５実施形態の画像合成処理システムＥの機能構成を概略的に示すブロック図である。
【０１８９】
図１４において、この画像合成処理システムＥは、撮影部５０２と、Ａ／Ｄ変換部５０４と、画像合成部２０と、表示画像作成部５１４と、表示処理部５１６と、表示部５１７とから構成されている。
【０１９０】
画像合成部２０は、画像格納部５０６と、位置決め処理部５０８と、合成処理部５１０と、合成画像格納部５１２とから構成されている。
【０１９１】
次に、上記各部の動作について説明する。
【０１９２】
図１４において、撮影部５０２から画像合成部２０までと表示部５１７の動作は基本的に図１に示す第１実施形態と同様である。
【０１９３】
ここでは表示画像作成部５１４と、表示処理部５１６及び表示部５１７の動作について説明する。
【０１９４】
表示画像作成部５１４は、画像合成部２０の合成画像格納部５１２から出力される画像を位置決め処理部５０８からの情報に基づいて表示画像に変換する。
【０１９５】
表示処理部５１６は、表示画像作成部５１４で作成された画像を表示画像（例
えば、Ｒ，Ｇ，Ｂ信号）に作成する。
【０１９６】
表示部５１７は、表示処理部５１６からの表示画像を画面表示する。
【０１９７】
（第５実施形態の全体動作）
図１５は、第５実施形態における合成基準位置の履歴情報を説明するための図であり、図１６は、第５実施形態における移動方向の概略を説明するための図である。また、図１７は、第５実施形態における表示状態を説明するための図である。
【０１９８】
ここでは、表示画像作成部５１４及び表示処理部５１６の動作を説明する。この他の撮影部５０２から画像合成部２０までと表示部５１７の動作は基本的に図１に示す第１実施形態と同様であり、その重複した説明は省略する。
【０１９９】
なお、合成処理部５１０での位置決めの方法及び合成方法は第１実施形態と同様である。
【０２００】
表示画像作成部５１４は、合成画像格納部５１２から今回の画像までの合成画像を受け取り、予め設定されている合成画像表示用の小窓サイズに縮小した画像を作成し、この作成した画像を表示処理部５１６を通じて表示部５１７に送出する。
【０２０１】
また、表示画像作成部５１４は、位置決め処理部５０８から今回の画像の合成基準位置を受け取り、その合成基準位置の履歴情報を図１５に示すように格納する。この図１５では画像番号８を今回の画像としているため、その前回の画像番号７を前回の画像とする。
【０２０２】
さらに、表示画像作成部５１４は、位置決め処理部５０８からの合成基準位置の履歴情報を参照して、前回の画像の合成基準位置と今回の画像の合成基準位置の座標の差分から、今回の画像が前回の画像からどの方向に移動したかを検出する。
【０２０３】
例えば、図１５では今回の画像は前回の画像と比較して、合成基準位置がＸ方向において増加し、Ｙ方向において減少しているため、方向成分を図１６に示す４方向と概略化したとき今回の画像が、図１６▲１▼に示す方向に移動したことが判明する。
【０２０４】
さらに、表示画像作成部５１４は、検出した今回の画像の移動方向の対極にある方向を表示位置と決定する。すなわち、図１６における▲３▼の方向を表示方向として決定し、表示処理部５１６（表示部５１７）に決定した表示方向の情報を送出する。
【０２０５】
表示処理部５１６は、Ａ／Ｄ変換部５０４からの画像が入力され、この画像を表示部５１７の表示画面の全面に表示する。この表示は撮影時の撮影視野を示すためのものであり、例えば、デジタルカメラによる液晶ファインダーと同様に機能する。
【０２０６】
また、表示処理部５１６では、表示画像作成部５１４から表示窓サイズに縮小された今回の画像までの合成画像と、表示方向を受け取り、表示方向側に小窓の左上座標が位置するように処理し、この画像を表示部５１７が画面表示する。この画面表示の状態は、図１７に示すように合成画像の小窓が、撮影しようとしている方向とは逆の方向に表示される。また、移動方向が変化すれば、これに対応して小窓の表示位置も変化する。表示部５１７の小窓に表示される合成画像は、撮影中常に更新される。なお、この第５実施形態において、方向の説明は一例である。
【０２０７】
（第５実施形態の利点）
上記したように、この第５実施形態によれば、画像合成処理システムＥにおいて、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に表示部５１７を撮影者が目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【０２０８】
さらに、この第５実施形態では、表示部５１７の小窓に表示される合成画像から、その合成画像の状態が判明するため、画像合成を正しく行えない画像が存在した場合に、この画像が直ちに判明するようになる。
【０２０９】
また、合成画像を小窓表示しており、撮影視野の全体を確保できるので、撮影における作業負担が軽減される。
【０２１０】
この第５実施形態では、合成画像を表示する小窓は、撮影者が注視する撮影視野の移動方向側を遮ることがないため、動画撮影のように連続的に画像を取り込みながら撮影する場合に、その使い勝手が向上する。
【０２１１】
（第６実施形態の構成及び各部の動作）
図１８はこの発明における第６実施形態の画像合成処理システムＦの機能構成を概略的に示すブロック図である。
【０２１２】
図１８において、この画像合成処理システムＦは、撮影部６０２と、Ａ／Ｄ変換部６０４と、画像合成部３０と、表示画像作成部６１６と、表示部６１８とから構成されている。
【０２１３】
また、画像合成部３０は、画像格納部６０６と、位置決め処理部６０８と、合成処理部６１０と、合成画像格納部６１２と、簡易画像作成部６１４とから構成されている。
【０２１４】
次に、上記各部の動作について説明する。
【０２１５】
ここでは簡易画像作成部６１４についてのみ説明する。これ以外の撮影部６０２から表示部６１８までの各部の動作は図１に示す第１実施形態と同様であり、その重複した説明は省略する。
【０２１６】
簡易画像作成部６１４は、位置決め処理部６０８で得られる情報に基づいて簡易画像を作成する。
【０２１７】
（第６実施形態の全体動作）
図１９は、第６実施形態における画像枠の簡易画像を説明するための図である。また、図２０は、第６実施形態における合成画像外枠の簡易画像を説明するための図であり、図２１は、第６実施形態における線表示による簡易画像を説明するための図である。
【０２１８】
図１８において、ここでは簡易画像作成部６１４のみの動作について説明する。
【０２１９】
簡易画像作成部６１４以外の撮影部６０２から表示部６１８までの各部の動作は図１に示す第１実施形態と同様であり、その重複した説明は省略する。
【０２２０】
合成処理部６１０での位置決めの方法及び合成方法は、第１実施形態と同様である。
【０２２１】
簡易画像作成部６１４には、位置決め処理部６０８が決定した合成基準位置が入力される。合成画像格納部６１２は、合成処理部６１０で作成された合成画像が入力されて格納する。また、簡易画像作成部６１４は、位置決め処理部６０８から各画像の合成基準位置が入力され、画像の左上が合成基準位置になるように、図１９に示す画像枠で構成される簡易画像を作成する。
【０２２２】
この図１９に示す簡易画像は、合成画像に含まれない部分は黒表示、画像枠を黒表示、画像枠内を白表示の２値画像として構成されている。また、画像枠の重なる部分は後に続く画像を上書きするように表示する。
【０２２３】
なお、画像の幅及び高さは、簡易画像作成部６１４に予め設定されているものである。
【０２２４】
このようにして、画像合成部３０で全ての画像の合成が終了した後に、表示画像作成部６１６は簡易画像作成部６１４から簡易画像が入力され、簡易画像が表示窓に収まるように縮小した画像を作成する。表示窓サイズは表示画像作成部６１６に予め設定されている。この表示画像作成部６１６で作成された画像を表示部６１８が画面表示する。
【０２２５】
この画面表示では、図１９に示す画像が表示される。この図１９では、撮影が「左、右、下、左、下、右」の順序方向に移動して行われていることが大まかに判明する。したがって、装置を移動させた動きと同一であるかが、例えば、撮影者において直感的に判断できるようになる。
【０２２６】
なお、簡易画像の例として図２０に示す合成画像外枠の簡易画像があり、図１９の合成画像の外枠のみ表示するために作成されたもので、合成画像に含まれない部分は黒表示、各画像を白表示の２値画像として構成されている。この場合、例えば、撮影者が自己が作成しようとした合成画像の形と同一であるかを直感的に判断できるようになる。また、図２１は各画像の合成基準位置を線で結んだ作成されたものであり、背景部は黒表示、線部分は白表示の２値画像として構成されている。この場合、撮影者は自分が移動させた動きと同じものかを直感的に判断できるようになる。
【０２２７】
（第６実施形態の利点）
上記したように、この第６実施形態の画像合成処理システムＦでは、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、作成された合成画像の概略を示す簡易画像を表示部６１８を目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【０２２８】
この簡易画像は、撮影時の装置移動の概略を示しており、合成画像の部分の詳細な確認が必要ない場合に、撮影者において、目視が容易な画像で簡単に確認が出来るようになる。
【０２２９】
さらに、画像合成を通信回線網を通じた構成（図２参照）の場合、簡易画像は合成画像に比較して、その伝送データ量が低減するため、より通信時間や通信料金（課金）の低減が可能になる。
【０２３０】
（第７実施形態の構成及び各部の動作）
図２２は、この発明における第７実施形態の画像合成処理システムＧの機能構成を概略的に示すブロック図である。
【０２３１】
図２２においてこの第７実施形態の画像合成処理システムＧは、撮影部７０２と、Ａ／Ｄ変換部７０４と、画像合成部４０と、表示画像切換部７１６と、表示画像作成部７１８と、表示部７２０とから構成されている。
【０２３２】
また、画像合成部４０は、画像格納部７０６と、位置決め処理部７０８と、　合成処理部７１０と、合成画像格納部７１２と、簡易画像作成部７１４とから構成されている。
【０２３３】
次に、上記各部の動作について説明する。
【０２３４】
図２２において、ここでは表示画像切換部７１６についてのみ説明する。この他の撮影部７０２から画像合成部４０、及び画像合成部４０内の画像格納部７０６から簡易画像作成部７１４までと、さらに、表示画像作成部７１８と表示部７２０の動作は、図１８に示した第６実施形態と同様である。
【０２３５】
表示画像切換部７１６は、画像合成部４０からの合成画像又は簡易画像、を選択する切り換えを行なう。
【０２３６】
（第７実施形態の全体動作）
ここでは表示画像切換部７１６における表示画像の切換え動作についてのみ説明する。
【０２３７】
なお、画像合成部４０における位置決めの方法及び合成方法は第１実施形態と同様である。
【０２３８】
表示画像切換部７１６は、画像合成部４０からの、全画像の合成画像及び簡易画像が入力され、表示選択信号に従って表示に必要な画像を選択し、その画像を表示画像作成部７１８に送出する。
【０２３９】
表示選択信号は、例えば、図１中のスイッチＳＷの操作によって出力され、撮影者が撮影前に予めスイッチＳＷから合成画像又は簡易画像の選択を設定する。
【０２４０】
すなわち、例えば、撮影者は合成の詳細を確認したい場合に合成画像の確認を選択し、また、合成の概略を確認したい場合は簡易画像の確認を選択する。
【０２４１】
表示画像作成部７１８は、表示画像切換部７１６から選択された画像が入力され、選択された画像が合成画像の場合は、例えば、第１実施形態に示す表示用画像を作成し、又は、選択された画像が簡易画像の場合は、例えば、第６実施形態に示す表示用画像を作成し、この作成された表示用画像を表示部７２０に送出して、その画像を画面表示する。
【０２４２】
（第７実施形態の利点）
上記したように、この第７実施形態の画像合成処理システムＧは、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、作成された合成画像の概略を示す簡易画像を選択して、表示部７２９を目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる
例えば、文字で構成される新開・雑誌を撮影する場合や、簡単な合成確認で良い場合、又は、風景などを撮影する場合に対応した適切な確認画像が出来るようになる。
【０２４３】
（第８実施形態の構成及び各部の動作）
図２３はこの発明における第８実施形態の画像合成処理システムＨの機能構成を概略的に示すブロック図である。
【０２４４】
図２３において、この第８実施形態の画像合成処理システムＨは、撮影部８０２と、Ａ／Ｄ変換部８０４と、画像合成部５０と、表示画像切換部８１８と、表示画像作成部８２０と、表示部８２２から構成されている。
【０２４５】
画像合成部５０は、画像格納部８０６と、位置決め処理部８０８と、合成処理部８１０と、合成画像格納部８１２と、簡易画像作成部８１４と、信頼度検出部８１６とから構成されている。
【０２４６】
次に、各部の動作について説明する。
【０２４７】
ここでは信頼度検出部８１６、表示画像切換部８１８、表示画像作成部８２０及び表示部８２２について説明する。これ以外は図２２に示した第７実施形態と同様であり、その重複した説明は省略する。
【０２４８】
画像合成部５０の信頼度検出部８１６は、位置決め処理部８０８からの情報に基づいて位置決めの信頼度を検出する。
【０２４９】
表示画像切換部８１８は、画像合成部５０からの合成画像又は簡易画像を選択する切り換えを行なう。
【０２５０】
表示画像作成部８２０は、表示用の画像を作成し、表示部８２２は、表示画像作成部８２０で作成された画像を画面表示する。
【０２５１】
（第８実施形態の全体動作）
図２４は、第８実施形態における画像合成基準位置が正しい場合の画像を説明するための図である。また、図２５は、第８実施形態における画像合成基準位置がずれた場合の画像を説明するための図であり、図２６は、第８実施形態における信頼度検出データを説明するための図である。
【０２５２】
画像合成部５０の位置決め処理部８０８での位置決めの方法は、基本的に第１実施形態と同じであるが、この位置決め処理部８０８では位置決めを決定した後の、その信頼性に関するパラメータを信頼度検出部８１６に出力する。
【０２５３】
合成基準位置が決定されると図２４に示すように、重なり領域が、合成画像及び今回の画像においてそれぞれ決定される。合成基準位置が正しく決定されると、それぞれの重なり領域の画像はほぼ同等の画像となる。
【０２５４】
ここでの、ほぼ同等とは、合成画像の重なり領域の画像が、今回の画像以前の画像から得られたものであるため、今回の画像の同じ位置と色（濃度）で完全に一致するものではないことを意味する。
【０２５５】
しかし、図２５に示すように位置決めが正しく行われず、合成基準位置がずれた場合は、それぞれの重なり領域の画像にもずれが発生する。また、合成基準位置が大きくずれるほど、それぞれの重なり領域の画像のずれも大きくなることから、それぞれの重なり領域の画像の一致状態から、位置決めの信頼性に関するパラメータを抽出できる。
【０２５６】
具体的には、それぞれの重なり領域の画像の対応する画素の濃度差を求め、重なり領域全体における濃度差の平均を求める。これを信頼性パラメータとする。この信頼性パラメータは位置決めが正しいほど小さな値となる。例えば、各画素の濃度は０〜２５５の範囲に分布し、カラー画像の場合は「Ｒ，Ｂ，Ｇ」それぞれの濃度の平均値を、その画素の濃度と定めることにする。この場合、信頼性パラメータは画素数で平均化されるので最小値０、最大値２５５の値を有することになる。なお、画像合成部５０での合成方法は第１実施形態と同様である。このようにして、画像合成部５０において、撮影された全ての画像を合成する。
【０２５７】
信頼度検出部８１６は、全ての合成に使用する画像の信頼性パラメータを受け取った後に、合成画像全体の信頼度を検出する。具体的には、各画像の信頼性パラメータを平均化した値を（平均信頼性パラメータ）とし、図２６に示すこの検出では、変換テーブルを用いて信頼度を検出する。図２６に示すように、平均信頼性パラメータが小さいほど、すなわち、位置決めが正確に行われるほど信頼度は高くなる。
【０２５８】
なお、信頼度算出は、信頼性パラメータの算出も含めて上記方法に限定されない。位置決めの信頼性を判断できる方法であれば、いずれの方法でも良い。
【０２５９】
次に、表示画像切換部８１８は、画像合成部５０から合成画像、簡易画像及び信頼度を受け取り、信頼度に応じて表示させる画像を選択する。具体的には、例えば、図１中のスイッチＳＷによって、信頼度のしきい値（予め求めた基準）を、図２６に示す８段階で指定し、この指定されたしきい値が表示画像切換部８１８に設定される。
【０２６０】
表示画像切換部８１８では、設定されたしきい値と画像合成部５０からの信頼度を比較し、この信頼度がしきい値以上の場合に、合成画像が要求基準に適合していると判断して、簡易画像を表示画像作成部８２０に送出する。また、信頼度がしきい値未満の場合は、合成画像が求める基準から外れていると判断し、合成画像を表示画像作成部８２０に送出する。
【０２６１】
表示画像作成部８２０は、表示画像切換部８１８から選択された画像が入力されて、この選択された画像が合成画像の場合には、例えば、第１実施形態に示す表示用画像を作成し、また、選択された画像が簡易画像の場合は、例えば、第６実施形態に示す表示用画像を作成し、この作成された表示用画像を表示部８２２に送出して、その画面表示を行なう。
【０２６２】
なお、この第８実施形態も図８に示す第２実施形態と同様に有線通信回線網を用いた通信による画像処理が可能である。その伝送シーケンスは図９の第２実施形態と同様である。さらに、図１０に示した第２実施形態の変形例のように、無線通信回線網を用いた構成の画像処理も同様に可能である。
【０２６３】
また、この第８実施形態における画像合成部５０は、図１のＭＰＵ構成によって、その処理（図７のフローチャート参照）も同様に可能である。
【０２６４】
なお、これらの有線通信回線網を用いた通信による画像処理は、適宜、必要とする他の実施形態に適用可能である。
【０２６５】
（第８実施形態の利点）
上記したように、この第８実施形態の画像合成処理システムＨでは、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、作成された合成画像又は簡易画像が表示部８２２を目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【０２６６】
この場合、合成画像又は簡易画像は、所望の基準を満たしているか否かで、表示画像が自動的に切り換わる。このため、合成画像が表示された場合は、位置決めの精度が悪く合成画像にずれが生じている可能性があるが、その詳細を確認できる。逆に、簡易画像が表示されたと場合は、合成画像が正しく作成されている可能性が高いが、その概略の確認が可能になる。
【０２６７】
（第９実施形態の構成及び各部の動作）
図２７はこの発明における第９実施形態の画像合成処理システムＩの機能構成を概略的に示すブロック図である。
【０２６８】
図２７において、この第９実施形態の画像合成処理システムは、撮影部９０２と、Ａ／Ｄ変換部９０４と、画像合成部６０と、表示画像作成部９１６と、表示部９１８とから構成されている。
【０２６９】
画像合成部６０は、画像格納部９０６と、位置決め処理部９０８と、合成処理部９１０と、合成画像格納部９１２と、接合位置情報格納部９１４から構成されている。
【０２７０】
次に、上記各部の動作について説明する。
【０２７１】
ここでは接合位置情報格納部９１４、表示画像作成部９１６及び表示部９１８について説明する。これ以外の撮影部９０２及びＡ／Ｄ変換部９０４と、画像合成部６０の画像格納部９０６から合成画像格納部９１２までの構成は、図１の第１実施形態と同様であり、その重複した説明は省略する。
【０２７２】
画像合成部６０の接合位置情報格納部９１４は、位置決め処理部９０８からの情報に基づいて、画像合成時の接合位置の情報を作成して格納する。
【０２７３】
表示画像作成部９１６は、画像合成部６０から出力を受けて、表示用の画像を作成する。
【０２７４】
表示部９１８は、表示画像作成部９１６で作成された画像を画面表示する。
【０２７５】
（第９実施形態の全体動作）
図２８は第９実施形態における接合位置情報を説明するための図である。また、　図２９は第９実施形態における他の接合位置情報を説明するための図であり、図３０は第９実施形態における主接合辺の処理（フロー）を示すフローチャートである。
【０２７６】
図２７から図３０において、ここでは画像合成部６０の接合位置情報格納部９１４、及び表示画像作成部９１６及び表示部９１８について説明する。これ以外の撮影部９０２及びＡ／Ｄ変換部９０４と、画像合成部６０の画像格納部９０６から合成画像格納部９１２までの動作は、図１の第１実施形態と同様であり、その重複した動作説明は省略する。
【０２７７】
画像合成部６０の接合位置情報格納部９１４は、位置決め処理部９０８から各画像の合成基準位置が入力され、図２８中の左側に示す合成基準位置の履歴を作成する。また、接合位置情報格納部９１４は、合成基準位置の履歴を参照しながら、各画像の合成における接合位置の座標情報を決定する。
【０２７８】
具体的には、まず、図２８に示す場合、今回の画像（画像番号８）を合成基準位置の履歴として設定した場合に、前回の画像（画像番号７）の合成基準位置と比較し、図３０のフローに従って主接合辺を検出する。この主接合辺は、合成画像の４辺の中で前回の画像と接合する画素が多い辺である。ここで、｜ＸＳ｜は１１３（＝｜７７８―６６５｜）、｜ＹＳ｜は２（＝｜３−５｜）であり、｜ＸＳ｜が｜ＹＳ｜より大きく、また、ＸＳは正の値であるため主接合辺を左辺と決定する。
【０２７９】
次に、主接合辺を囲む画像を決定するために図２９に示すＬ，Ｈ及びＷを利用して図２８の右側に示す４隅座標を決定する。これを接合位置情報とする。
【０２８０】
Ｌ，Ｈ及びＷは，予め接合位置情報格納部９１４に設定されている。なお、Ｌは主接合辺が左辺又は右辺の場合はＸ方向に、上辺又は下辺の場合はＹ方向に展開する。また、Ｈは図における上下における画像高さ、Ｗは画像幅である。
【０２８１】
検出された接合位置情報は、合成画像と今回の画像と合成される場合の主要なエッジの部分の画像を示しており、この部分は、位置決めの精度が顕著に現れる領域である。位置決めの精度が劣化していると合成画像と今回の画像の間にずれが発生し、このずれが合成画像と今回の画像の接合部分に発生するためである。
【０２８２】
なお、ここでは、主接合辺を検出してその部分だけを接合位置情報とした例を示したが、接合部分を特定できる方法であれば、その方法は問わないものである。
【０２８３】
このようにして接合位置情報格納部９１４が、初期画像を除く全ての画像の接合位置情報を格納する。
【０２８４】
なお、画像合成部６０での合成方法は、第１実施形態と同様である。
【０２８５】
このようにして、画像合成部６０において、撮影された全ての画像を合成する。
【０２８６】
画像合成部６０で、全ての画像の合成が終了したら、表示画像作成部９１６に、合成画像格納部９１２から合成画像及び接合位置情報部格納９１４からの接合位置情報が入力され、合成画像中の接合位置情報が指す領域を表示部９１８に送出する。表示部９１８は、表示画像作成部９１６からの画像を画面表示する。
【０２８７】
なお、例えば、図１中のスイッチＳＷをＯＮ操作するごとに複数存在する接合位置情報によって示される領域が表示画像作成部９１６から送出される。なお、この場合の画面表示は、第１実施形態の説明のように分割表示やスクロールを行なうようにしても良い。
【０２８８】
なお、この第９実施形態も図８に示す第２実施形態と同様に有線通信回線網を用いた通信による画像処理が可能である。その伝送シーケンスは図９の第２実施形態と同様である。さらに、図１０に示した第２実施形態の変形例のように、無線通信回線網を用いた構成の画像処理も同様に可能である。
【０２８９】
なお、この第９実施形態における画像合成部６０は、図１のＭＰＵ構成によって、その処理（図７のフローチャート参照）も可能である。
【０２９０】
（第９実施形態の利点）
上記したように、この第９実施形態の画像合成処理システムＩでは、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に確認できるようになる。特に、作成された合成画像における接合位置の概略を表示部９１８を目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【０２９１】
接合位置は、合成の精度が顕著に示される、その確認が出来るため、合成画像全体を確認する場合と比較して、より詳細な確認が可能となる。特に、高い合成精度が求められる文字情報などを撮影した場合、その接合位置における、ずれによって文字が読み取りにくい場合がある。この場合の確認が容易に出来るようになる。
【０２９２】
（第１０実施形態の構成及び各部の動作）
図３１はこの発明における第１０実施形態の画像合成処理システムＪの機能構成を概略的に示すブロック図である。
【０２９３】
図３１に示すように、この第１０実施形態の画像合成処理システムＪは、撮影部１００２と、Ａ／Ｄ変換部１００４と、画像合成部１００６と、未撮影領域検出部１００８と、表示画像作成部１０１０と、表示部１０１２から構成されている。
【０２９４】
次に、上記各部の動作について説明する。
【０２９５】
ここでは、未撮影領域検出部１００８と、表示画像作成部１０１０及び表示部１０１２について説明する。
【０２９６】
未撮影領域検出部１００８は、画像合成部１００６で合成された合成画像を参照して、当該画像中の未撮影領域を検出する。
【０２９７】
表示画像作成部１０１０は、画像合成部１００６及び未撮影領域検出部１００８から出力を受けて、表示用の画像を作成する。
【０２９８】
表示部１０１２は、表示画像作成部１０１０で作成された画像を表示する。
【０２９９】
（第１０実施形態の全体動作）
図３２は、第１０実施形態における未撮影領域の検出を説明するための図であり、図３３は第１０実施形態における未撮影領域の表示例を説明するための図である。
【０３００】
図３１から図３３において、ここでは画像合成部１００６，未撮影領域検出部１００８と、表示画像作成部１０１０及び表示部１０１２について説明する。この他は図１の第１実施形態にと同様であり、その重複した説明は省略する。
【０３０１】
画像合成部１００６にＡ／Ｄ変換部１００４から画像が入力されて、画像合成が行なわれる。この画像合成は第１実施形態における位置決め処理や合成処理と同様である。なお、画面表示は、第１実施形態と同様に分割表示やスクロール表示を行うようにしても良い。
【０３０２】
画像合成部１００６は、全画像の合成が終了すると、この合成画像を未撮影領域検出部１００８及び表示画像作成部１０１０に出力する。未撮影領域検出部１００８は、合成画像が入力されると、この合成画像中の未撮影領域を検出する。ここでの未撮影領域は、撮影時に装置を移動させたにもかかわらず、撮影されなかったために、合成画像におけるぬけ部分（未撮影領域）が発生している領域である。
【０３０３】
図３２に示す未撮影領域の検出について説明する。
【０３０４】
この図３２は、撮影された順に画像枠を表示することで合成画像を示しており、画像枠内の白い領域を合成画像が存在する画素、画像枠外の黒い領域を画像の存在しない画素として表している。なお、画像の存在しない部分の画素は初期状態（例えば、濃度０）であり、画像が存在する画素と区別できようになっている。
【０３０５】
合成画像の上下左右の４辺に対してそれぞれ合成画像の内側に連続する画像の存在しない画素を計数したヒストグラムを作成する。図３２中の点線の矢印、合成画像の左辺側のヒストグラムを作成したときの軌跡を示している。そして、それぞれのヒストグラムに対し、極小点と極大点を順番に求める。図３２の例では、極小点ａ，極大点ｂ，極小点ｃ，極大点ｄが検出される。
【０３０６】
次に、二つの極小点に挟まれている極大点と両側の二つの極小点との差分が共に十分大きさを有している場合、二つの極小点の間に存在する、画像が存在しない領域を未撮影領域と定める。
【０３０７】
例えば、極小点ａの頻度をｈａ，極大点ｂの頻度をｈｂ、極小点ｃの頻度をｈｃとすると、次式（２）及び次式（３）を同時に満足するとき、極小点ａから極小点ｃまでの範囲の画像の存在しない領域を未撮影領域と決定する。
【０３０８】
ｈｂ−ｈａ＞Ｔｈ　　…（２）
ｈｂ−ｈｃ＞Ｔｈ　　…（３）
なお、Ｔｈは予め定められたしきい値であり、未撮影領域検出部１００８に設定されているものである。
【０３０９】
図３２中の領域Ａは両側の極小点と十分な差があるので未撮影領域となるが、領域Ｂ及びＣは極小点に挟まれていないため未撮影領域とはならない。また、領域Ｄは両側の極小点との差が小さいので未撮影領域とはならない。
【０３１０】
なお、領域Ａは、その撮影状態から、本来、各画像に重なり領域が生じていなければならないのに、それが発生していないと推測が出来る。すなわち、撮影者において撮影する意図はあったが、撮影されなかった領域である。領域Ｂ及びＣは合成画像の外部であるとして無視して良い。領域Ｄは領域自体が小さいため未撮影でも問題にならない領域といえる。
【０３１１】
未撮影領域検出部１００８で未撮影領域が検出されると、表示画像作成部１０１０に、その未撮影領域と画像合成部１００６から合成画像が入力され、図３３に示すように未撮影領域の色を変化させた画像を作成する。なお、色以外にも、この未撮影領域を判別し易い画像表示が出来れば良い。この作成された画像を表示部１０１２に送出し、表示部１０１２が画面表示を行なう。
【０３１２】
（第１０実施形態の利点）
上記のように、この第１０実施形態の画像合成処理システムＪでは、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に、未撮影領域が表示部１０１２を目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【０３１３】
この場合、撮影できなかった領域が未撮影領域として明示されるため、この部分を、撮影者が注意して容易に確認できるようになる。
【０３１４】
（第１１実施形態の構成及び各部の動作）
図３４はこの発明における第１１実施形態の画像合成処理システムＫの機能構成を概略的に示すブロック図である。
【０３１５】
図３４において、この第１１実施形態の画像合成処理システムＫは、撮影部１１０２と、Ａ／Ｄ変換部１１０４と、画像合成部７０と、エラー報知部１１１６から構成されている。
【０３１６】
画像合成部７０は、画像格納部１１０６と、位置決め処理部１１０８と、合成処理部１１１０と、合成画像格納部１１１２と、未撮影領域検出部１１１４とから構成されている。
【０３１７】
次に、上記各部の動作について説明する。
【０３１８】
ここでは、未撮影領域検出部１１１４及びエラー報知部１１１６についてのみ説明する。この他は、図１に示す第１実施形態と同様の動作であり、その重複した説明は省略する。
【０３１９】
未撮影領域検出部１１１４は、合成画像格納部１１１２に格納されている合成画像を参照し、当該合成画像に未撮影領域が存在するか否かを検出する。
【０３２０】
エラー報知部１１１６は、合成画像格納部１１１２から出力を受けて、画像合成部７０において不具合が発生した場合にエラー報知（請求項を含む本発明の未撮影領域発生の報知に対応する）を行なう。
【０３２１】
（第１１実施形態の全体動作）
図３５は、第１１実施形態における未撮影領域を説明するための図である。
【０３２２】
ここでは、未撮影領域検出部１１１４及びエラー報知部１１１６の動作についてのみ説明する。この他の各部の動作は、図１に示した第１実施形態と同様であり、その重複した動作説明は省略する。
【０３２３】
なお、合成処理部１１１０での位置決めの方法及び合成方法は、第１実施形態と同様である。
【０３２４】
未撮影領域検出部１１１４には、画像合成部７０が今回の画像の合成が終了するたびに送出する今回の画像までの合成画像が入力されて、今回の画像までの合成画像中の未撮影領域を検出する。
【０３２５】
ここで未撮影領域は、撮影時の装置を移動させた場合に、撮影されなかったために、合成画像における未撮影領域（ヌケ）が生じている領域である。この未撮影領域の検出は第１０実施形態と同様であり、その重複した説明は省略する。
【０３２６】
なお、第１０実施形態では全画像の合成が終了してから未撮影領域の検出を行っているが、この第１１実施形態では、画像合成ごとに検出を行なう。そして、この撮影領域が検出されると、その画像合成における不具合発生と認識し、その情報をエラー報知部１１１６に送出する。
【０３２７】
例えば、第１０実施形態における図３２に示すように、移動しながら撮影しているとすると、図３５に示す未撮影領域の存在が判明する。すなわち、第１０実施形態より早い段階で未撮影領域の発生（存在）を検知することが出来る。
【０３２８】
エラー報知部１１１６に不具合通知が入力されると、例えば、図１の第１実施形態における表示部１４や合成音声出力回路１６及びスピーカＳＰから、例えば「合成が正しく行えません」又は「撮影されていない領域があります」などのメッセージを画面表示、合成音声出力の一方又は両方で行い、その画像合成（撮影）を終了させる。この画面表示は、撮影中に画像表示とともに行なわれる。換言すれば、撮影中は画面を目視しているので、表示されるエラー通知を直ちに画面表示と合成音声で認識できる。
【０３２９】
なお、このエラー通知は、これに限らず、例えば、図示しないスピーカＳＰからエラー音の吹鳴や、発光ダイオードＬＤなどの点灯や点滅などによって、撮影中の不具合を直ちに報知できるようにすれば、より効果的である。
【０３３０】
なお、全画像の合成を終了するまでに、未撮影領域が検出されなかった場合、エラー通知は行わない。この場合は、撮影画像の入力が無くなった時点で合成を終了すれば良い。
【０３３１】
（第１１実施形態の利点）
上記したように、この第１１実施形態の画像合成処理システムＫでは、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に確認できるようになる。特に、未撮影領域が画面表示を目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【０３３２】
この場合、撮影中に未撮影領域の存在を直ちにエラー報知されるため、撮影者が、その撮影のやり直しが直ちに出来るようになる。
【０３３３】
（第１２実施形態の構成及び各部の動作）
図３６はこの発明における第１２実施形態の画像合成処理システムＬの機能構成を概略的に示すブロック図である。
【０３３４】
図３６を参照すると、この第１２実施形態の画像合成処理システムＬは、撮影部１２０２と、Ａ／Ｄ変換部１２０４と、画像合成部８０と、エラー報知部１２１８により構成される。
【０３３５】
画像合成部８０は、画像格納部１２０６と、位置決め処理部１２０８と、合成処理部１２１０と、合成画像格納部１２１２と、信頼度検出部１２１４と、エラー判定部１２１６とから構成されている。
【０３３６】
次に、上記各部の動作について説明する。
【０３３７】
ここでは、画像合成部８０における信頼度検出部１２１４及びエラー判定部１２１６と、エラー報知部１２１８について説明する。その他は、図１に示す第１実施形態の各部の動作と同様であり、その重複した説明は省略する。
【０３３８】
画像合成部８０における信頼度検出部１２１４は、位置決め処理部１２０８からの情報に基づいて、位置決めの信頼度を検出する。
【０３３９】
エラー判定部１２１６は、信頼度検出部１２１４の結果を受けて、今回の画像までの合成が不具合があるかどうかを判定する。
【０３４０】
エラー報知部１２１８は、画像合成部８０からの出力を受けて、画像合成部８０において不具合が発生した場合にエラー報知を行う。
【０３４１】
（第１２実施形態の全体動作）
ここでは、画像合成部８０における信頼度検出部１２１４及びエラー判定部１２１６、及びエラー報知部１２１８の動作についてのみ説明する。その他の動作は、図１に示す第１実施形態の各部の動作と同様であり、その重複した説明は省略する。
【０３４２】
なお、画像合成部８０における位置決めの方法及び合成方法は第１実施形態と同様である。
【０３４３】
信頼度検出部１２１４に、位置決め処理部１２０８からの前記した第８実施形態と同様に今回の画像の信頼性パラメータが入力される。信頼度検出部１２１４は、今回の画像までの信頼性パラメータが入力されると、今回の画像までの合成画像の信頼度を検出する。この信頼度の検出は第８実施形態と同様である。今回の画像までの合成画像の信頼度が検出されると、その結果をエラー判定部１２１６に送出する。エラー判定部１２１６は、その結果に基づいて信頼性の低下を判断し判定結果をエラー報知部１２１８に出力する。エラー報知部１２１８の動作は第１１実施形態と同様である。
【０３４４】
（第１２実施形態の利点）
上記したように、この第１２実施形態の画像合成処理システムＬでは、画像合成が容易か否かの撮影の良否、及び複雑な視点移動に対する画像合成を撮影現場で即時的に確認できるようになる。特に、撮影領域が表示部１３１０を目視して確認できるようになり、可搬型の装置（例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラ）おける画像合成が容易かつ確実に可能になる。
【０３４５】
この場合、撮影中に合成の信頼性が低下した際に、直ちにエラーが報知されるため撮影のやり直しが直ちに出来るようになる。
【０３４６】
また、撮影者が許容度を指定する場合、例えば、高い合成精度を要求する場合、例えば、文字で構成される新開・雑誌を撮影するときや、低い合成精度でも良い風景などを撮影する場合に、そのエラー判定の範囲を切り換えことが出来るようになる。
【０３４７】
（第１３実施形態の構成及び各部の動作）
図３７はこの発明における第１３実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【０３４８】
図３７を参照すると、この画像合成処理システムは、通信撮影装置Ｍと網側装置とからなり、通信撮影装置Ｍは、撮影部１３０２と、Ａ／Ｄ変換部１３０４と、表示情報取得部１３０６と、通信部１３１４と、エラー報知部１３１２から構成されている。
【０３４９】
網側装置は、有線通信回線網９０と、通信部１３０８と、画像合成部１３１０と、通信情報端末１３１５とを有している。
【０３５０】
次に、上記各部の動作について説明する。
【０３５１】
通信撮影装置Ｍの通信部１３１４は、有線通信回線網９０上の通信部１３０８、画像合成部１３１０との間で第３実施形態と同様の画像処理を行うものであり、そのワイヤード接続などは、図８に示す第２実施形態と同様の通信による画像処理を行うものである。
【０３５２】
（第１３実施形態の全体動作）
図１３において、この第１３実施形態は、第１１実施形態又は第１２実施形態の動作（エラー報知）と、第２実施形態の通信による画像合成処理を組み合わせたものであり、その詳細な説明は省略する。
【０３５３】
（第１３実施形態の利点）
上記したように、この第１３実施形態では、上記した第２実施形態と同様に通信撮影装置Ｍが有線通信回線網９０又は無線通信回線網９０Ａを通じて画像合成を行い、その合成画像の目視による確認が撮影現場で確実に可能になる。また、撮影中に合成の信頼性が低下した場合に、エラー報知が行なわれるため、撮影者が撮影のやり直しが、直ちに出来るようになる。また、撮影者が許容度を指定する際に、高い合成精度を必要とする場合、例えば、文字で構成される新開・雑誌を撮影するときや、低い合成精度でも良い風景などを撮影する場合のエラー判定の範囲を選択的に切り換えことが出来るようになる。
【０３５４】
（変形例）
図３８は各実施形態における変形例の構成を示す斜視図である。
【０３５５】
図３８において、この変形例は、携帯電話機の本体１４００にプラグイン構造で表示器１４０１を着脱可能（表示器を外付け構成としても可）としている。
【０３５６】
携帯電話機の本体１４００と表示器１４０１との間は、その画像信号を無線インターフェースで接続するため本体１４００に無線送受信モジュール１４００ａが装備され、また、表示器１４０１にも無線送受信モジュール１４０１ａが装備されている。この無線インターフェースとしては、例えば、微弱電波の周波数ホッピング方式（Ｂｌｕｅｔｏｏｔｈ）や赤外線方式などが適用できる。
【０３５７】
この、携帯電話機の本体１４００と表示器１４０１とを離間した構成では、例えば、本体１４００を左手で保持し、表示器１４０１を右手で保持して、その撮影と表示画面の確認が撮影者において容易になる。
【０３５８】
なお、この構成は、請求項を含む本発明の「撮影装置及び表示装置を備えた可搬型の装置」の一部であり、本発明に含まれるものである。
【０３５９】
（利用形態）
なお、上記各実施形態では，画像合成処理を行う場合のみをもって説明したが、例えば、撮影装置及び表示装置を備えた携帯電話機やデジタルカメラでは、画像合成処理を行う設定と、画像合成処理を行わない設定とを切替えるようにも出来る。この構成では撮影部の光電変換動作を停止する切換え設定が、例えば、内臓電池の省電力化の視点から好ましい。
【０３６０】
また、各実施形態では、合成のための位置決め結果を合成基準位置として今回の画像の左上座標の１点のみを指定しているが、これに限定されない。さらに、多くの座標、例えば、今回の画像の４隅を座標とするようにしても良い。
【０３６１】
また、上記した図８及び図１０の第２実施形態、図１３の第４実施形態及び図３７の第１３実施形態では、画像合成の全部の処理を網側装置で行う例を説明したが、通信撮影装置Ｂ，Ｂａ，Ｄ，Ｍでも簡単な画像合成を行う構成とし、網側装置（画像合成部２１０，４１０，１３１０）で本格的な画像合成の処理を行うように構成することも出来る。この構成も本発明に含まれる。
【０３６２】
【発明の効果】
以上の説明から明らかなように、この発明の画像合成処理方法及び画像合成処理システム並びにプログラムによれば、画像合成が容易か否かの撮影の良否を撮影現場で即時的に目視して確認できるようになって、撮影装置及び表示装置を備えた可搬型の装置における画像合成が容易かつ確実に可能になるという効果を奏する。
【０３６３】
また、この発明は、複雑な視点移動（細かな撮影移動）に対する画像合成を撮影現場で即時に目視して確認できるようになって、撮影装置及び表示装置を備えた可搬型の装置における画像合成が容易かつ確実に可能になるという効果を奏する。
【０３６４】
さらに、この発明は、撮影した複数の画像データを装置内に保持しておく必要がなくなり、複数の合成画像を作成できるようになって、撮影装置及び表示装置を備えた可搬型の装置における画像合成が容易かつ確実に可能になるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の画像合成処理システムにおける第１実施形態の構成を概略的に示すブロック図である。
【図２】第１実施形態における画像合成処理システムの機能構成を概略的に示すブロック図である。
【図３】第１実施形態にあって画像合成過程を説明するための図である。
【図４】第１実施形態にあって他の画像合成過程（今回の画像が開始画像の場合）を説明するための図である。
【図５】第１実施形態にあって表示画像の作成処理を説明するための図である。
【図６】第１実施形態にあってスクロール表示例を説明するための図である。
【図７】第１実施形態にあって画像合成の処理手順を示すフローチャートである。
【図８】第２実施形態における画像合成処理システムの機能構成を概略的に示すブロック図である。
【図９】第２実施形態における有線通信網による通信シーケンス図である。
【図１０】第２実施形態の無線通信回線網を用いた変形構成例を示すブロック図である。
【図１１】第３実施形態における画像合成処理システムの機能構成を概略的に示すブロック図である。
【図１２】第３実施形態における表示状態を説明するための図である。
【図１３】第４実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【図１４】第５実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【図１５】第５実施形態における合成基準位置の履歴情報を説明するための図である。
【図１６】第５実施形態における移動方向の概略を説明するための図である。
【図１７】第５実施形態における表示状態を説明するための図である。
【図１８】第６実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【図１９】第６実施形態における画像枠の簡易画像を説明するための図である。
【図２０】第６実施形態における合成画像外枠の簡易画像を説明するための図である。
【図２１】第６実施形態における線表示による簡易画像を説明するための図である。
【図２２】第７実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【図２３】第８実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【図２４】第８実施形態における画像合成基準位置が正しい場合の画像を説明するための図である。
【図２５】第８実施形態における画像合成基準位置がずれた場合の画像を説明するための図である。
【図２６】第８実施形態における信頼度検出データを説明するための図である。
【図２７】第９実施形態の画像合成装置の機能構成を概略的に示すブロック図である。
【図２８】第９実施形態における接合位置情報を説明するための図である。
【図２９】第９実施形態における他の接合位置情報を説明するための図である。
【図３０】第９実施形態における主接合辺の処理を示すフローチャートである。
【図３１】第１０実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【図３２】第１０実施形態における未撮影領域の検出を説明するための図である。
【図３３】第１０実施形態における未撮影領域の表示例を説明するための図である。
【図３４】第１１実施形態の画像合成装置の機能構成を概略的に示すブロック図である。
【図３５】第１１実施形態における未撮影領域を説明するための図である。
【図３６】第１２実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【図３７】第１３実施形態の画像合成処理システムの機能構成を概略的に示すブロック図である。
【図３８】各実施形態における変形例の構成を示す斜視図である。
【符号の説明】
１０，１０２，２０２、３０２，４０２，５０２，６０２，７０２，８０２
９０２，１００２，１１０２，１２０２，１３０２…撮影部
１２，１２ａ，２０，３０，４０，５０，６０，７０，８０，４１０，１００６，１３１０…画像合成部
１３，１１４、２１２，３０８，４１２，５１４，６１６，７１８，８２０，９１６，１０１０…表示画像作成部
１４，１１６，２１４、３１５，４１５，５１７，６１８，７２０，８２２，９１８，１０１２…表示部
１６…合成音声出力回路
１８，２０８，２１５，４０８，４１６、１３１４…通信部
２２…ＭＰＵ
２４…メモリ
９０…有線通信回線網
９０Ａ…無線通信回線網
１０６，５０６，６０６，７０６，８０６，９０６，１１０６，１２０６…画像格納部
１０８，５０８，６０８，７０８，８０８，９０８，１１０８，１２０８…位置決め処理部
１１２，５１２，６１２，７１２，８１２，９１２，１１１２，１２１２…合成画像格納部
２０６，４０６，１３０６…表示情報取得部
２１１，４１７，１３１５…通信情報端末
３１０，４１４，５１６…表示処理部
５１０，６１０，７１０，８１０，９１０，１１１０，１２１０…合成処理部
６１４，７１４，８１４…簡易画像作成部
７１６，８１８…表示画像切換部
８１６，１２１４…信頼度検出部
９１４…接合位置情報格納部
１００８，１１１４…未撮影領域検出部
１１１６，１２１８，１３１２…エラー報知部
１２１６…エラー判定部
Ａ，Ａａ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ…画像合成処理システム
Ｂ，Ｂａ，Ｄ，Ｍ…通信撮影装置
ＬＤ…発光ダイオード
ＳＰ…スピーカ
ＳＷ…スイッチ

Claims (22)

1. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
   複数の撮影画像（撮影画像データ）を取り込む工程と、
   前記複数の撮影画像を合成した合成画像（合成画像データ）を作成する工程と、
   前記合成画像から表示用画像を作成する工程と、
   前記表示用画像を画面表示する工程と、
   を有することを特徴とする画像合成処理方法。
2. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
   複数の撮影画像を取り込む工程と、
   前記複数の撮影画像を合成した合成画像を作成する工程と、
   前記複数の撮影画像における撮影時の視野画像及び前記合成画像から表示用画像を作成する際に、表示画面上に小窓として表示する合成画像を作成する工程と、
   前記撮影視野画像及び前記合成画像を一つの画面上に表示する工程と、
   を有することを特徴とする画像合成処理方法。
3. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
   複数の撮影画像を取り込む工程と、
   前記複数の撮影画像を合成した合成画像を作成する工程と、
   前記複数の撮影画像及び前記合成画像から表示用画像を作成する際に、表示画面上に小窓として表示される合成画像を作成し、かつ、前記画像合成から得られる情報に基づいて表示画像における表示位置を決定する工程と、
   前記撮影画像である撮影視野の画像及び前記合成画像を一つの画面上に表示するための表示用画像を作成する工程と、
   前記表示用画像を画面表示する工程と、
   を有することを特徴とする画像合成処理方法。
4. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
   複数の撮影画像を取り込む工程と、
   前記複数の撮影画像を合成した合成画像を作成する工程と、
   前記複数の撮影画像における今回の撮影画像と前記合成画像を参照して前記合成画像上における今回の撮影画像の位置を決定する工程と、
   前記位置決定で得られた情報に基づいて簡易画像を作成する工程と、
   前記簡易画像を表示するための表示用画像を作成する工程と、
   前記表示用画像を画面表示する工程と、
   を有することを特徴とする画像合成処理方法。
5. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
   複数の撮影画像を取り込む工程と、
   前記複数の撮影画像を合成した合成画像を作成する工程と、
   前記複数の撮影画像における今回の撮影画像と前記合成画像を参照して合成画像上における今回の撮影画像の位置を決定する工程と、
   この決定位置に今回の撮影画像を合成した合成画像を作成する工程と、
   前記位置決定で得られた情報に基づいて簡易画像を作成する工程と、
   前記合成画像と前記簡易画像を選択して出力する工程と、
   前記選択された前記合成画像又は前記簡易画像を表示するための表示用画像を作成する工程と、
   前記表示用画像を画面表示する工程と、
   を有することを特徴とする画像合成処理方法。
6. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
   複数の撮影画像を取り込む工程と、
   前記複数の撮影画像における今回の撮影画像と合成画像を参照して合成画像上における今回の撮影画像位置を決定する工程と、
   この決定位置に今回の撮影画像を合成した合成画像を作成する工程と、
   前記位置決定で得られた情報に基づいて簡易画像を作成する工程と、
   前記位置決定の情報に基づいて画像合成の信頼度を検出する工程と、
   前記信頼度の検出結果に基づいて、前記合成画像と簡易画像の選択切換えを行う工程と、
   前記選択された前記合成画像又は前記簡易画像の表示用画像を作成する工程と、
   前記表示用画像を画面表示する工程と、
   を有することを特徴とする画像合成処理方法。
7. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
   複数の撮影画像を取り込む工程と、
   前記複数の撮影画像を合成した第１合成画像を作成する工程と、
   前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、前記第１合成画像上における今回の撮影画像の位置を決定する工程と、
   前記位置決定の位置に、今回の撮影画像を合成した第２合成画像を作成する工程と、
   前記位置決定で得られた画像間の接合位置状態を示す情報を作成する工程と、
   前記第２合成画像に前記接合位置状態を示した表示用画像を出力する工程と、
   前記表示用画像を画面表示する工程と、
   を有することを特徴とする画像合成処理方法。
8. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
   複数の撮影画像を取り込む工程と、
   前記複数の撮影画像を合成した第１合成画像を作成する工程と、
   前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定する工程と、
   前記決定した位置に今回の撮影画像を合成した第２合成画像を作成する工程と、
   前記第２合成画像を参照して未撮影領域を検出する工程と、
   前記未撮影領域の検出情報から未撮影領域画像を作成する工程と、
   前記未撮影領域を含む画像を画面表示する工程と、
   を有することを特徴とする画像合成処理方法。
9. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
   複数の撮影画像を取り込む工程と、
   前記複数の撮影画像を合成した第１合成画像を作成する工程と、
   前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定する工程と、
   前記決定した位置に今回の撮影画像を合成した第２合成画像を作成する工程と、
   前記第２合成画像を参照して未撮影領域を検出する工程と、
   前記未撮影領域の検出情報から未撮影領域画像を作成する工程と、
   前記未撮影領域画像が作成された場合に未撮影領域発生を報知する工程と、
   を有することを特徴とする画像合成処理方法。
10. 撮影装置及び表示装置を備えた可搬型の装置での撮影と画像合成及び表示を行う画像合成処理方法であって、
    複数の撮影画像を取り込む工程と、
    前記複数の撮影画像を合成した第１合成画像を作成する工程と、
    前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、この第１合成画像上における今回の撮影画像位置を決定する工程と、
    この決定位置に今回の撮影画像を合成した第２合成画像を作成する工程と、
    前記位置決定で得られた情報に基づいて簡易画像を作成する工程と、
    前記第２合成画像又は簡易画像を選択して表示のために出力する工程と、
    前記位置決定の情報に基づいて第２画像合成における画像合成の信頼度を検出する工程と、
    前記信頼度の検出結果に基づいて、画像合成の信頼度が所定値より低下していいるか否かを判断する工程と、
    前記信頼度が所定値より低下している場合に報知する工程と、
    を有することを特徴とする画像合成処理方法。
11. 撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うための画像合成処理システムであって、
    複数の撮影画像を取り込む撮影画像取込手段と、
    前記複数の撮影画像を合成した合成画像を作成する画像合成手段と、
    次の（Ａ）（Ｂ）（Ｃ）のいずれか一つの手段と、
    （Ａ）前記合成画像から表示用画像を作成する表示用画像作成手段、
    （Ｂ）前記複数の画像における撮影視野の画像及び前記合成画像を一つの画面に表示するための表示用画像を作成する表示用画像作成手段、
    （Ｃ）前記画像合成から得られた情報に基づいて表示用画像の表示位置を決定し、前記撮影視野の画像及び前記合成画像を一つの画面上に表示するための表示用画像を作成する表示用画像作成手段、
    前記表示用画像を画面表示する表示手段と、
    を備えることを特徴とする画像合成処理システム
12. 撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うための画像合成処理システムであって、
    複数の撮影画像を取り込む撮影画像取込手段と、
    前記複数の撮影画像を合成した第１合成画像を作成する合成画像作成手段と、
    次の（Ａ）（Ｂ）（Ｃ）のいずれか一つの手段と、
    （Ａ）今回の撮影画像と前記第１合成画像を参照して決定した第１合成画像上における今回の撮影画像位置で得られた情報に基づいて表示用の簡易画像を作成する簡易画像作成手段、
    （Ｂ）今回の撮影画像と前記第１合成画像を参照して決定した第１合成画像上における今回の撮影画像に、今回の撮影画像を合成した第２合成画像を作成し、かつ、前記位置決定で得られた情報に基づいて作成した簡易画像又は前記第２合成画像を選択して、表示用画像を作成する画像処理手段、
    （Ｃ）前記今回の撮影画像と前記第１合成画像を参照して決定した合成画像上における今回の撮影画像の位置に前記今回の撮影画像を合成した第２合成画像を作成するとともに、前記位置決定の情報に基づいた簡易画像を作成し、かつ、前記位置決定の情報に基づいて検出した信頼度の検出結果で選択した前記第２合成画像又は前記簡易画像を表示用画像を作成する画像処理手段と、
    前記表示用画像を画面表示する表示手段、
    を備えることを特徴とする画像合成処理システム。
13. 撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うための画像合成処理システムであって、
    複数の撮影画像を取り込む撮影画像取込手段と、
    前記複数の撮影画像を合成した第１合成画像を作成する第１画像合成手段と、
    前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、前記第１合成画像上における今回の撮影画像の位置を決定する決定手段と、
    前記位置決定の位置に、今回の撮影画像を合成した第２合成画像を作成する第２画像合成手段と、
    前記位置決定による画像間の接合位置に関する情報を接合位置情報として格納する格納手段と、
    前記第２合成画像を、前記接合位置情報に基づいて接合位置近辺の画像を作成した表示用画像を出力する表示画像出力手段と、
    前記表示用画像を画面表示する表示手段と、
    を備えることを特徴とする画像合成処理システム。
14. 撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うための画像合成処理システムであって、
    複数の撮影画像を取り込む撮影画像取込手段と、
    前記複数の撮影画像を合成した第１合成画像を作成する第１画像合成手段と、
    前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定する位置決定手段と、前記決定した位置に今回の撮影画像を合成した第２合成画像を作成する第２画像作成手段と、
    前記第２合成画像を格納する格納手段と
    前記第２合成画像を参照して未撮影領域を検出し、この未撮影領域の検出情報から表示用の画像としての未撮影領域画像を出力する未撮影領域画像作成手段と、
    前記表示用画像を画面表示する表示手段と、
    を備えることを特徴とする画像合成処理システム。
15. 撮影装置及び表示装置を備えた携帯電話機及びデジタルカメラを含む可搬型の装置での撮影と画像合成及び表示を行うための画像合成処理システムであって、
    複数の撮影画像を取り込む撮影画像取込手段と、
    前記複数の撮影画像を合成した第１合成画像を作成する第１画像合成手段と、
    前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定する位置決定手段と、前記決定した位置に今回の撮影画像を合成した第２合成画像を作成する第２画像作成手段と、
    前記第２合成画像を格納する格納手段と
    次の（Ａ）又は（Ｂ）の手段と、
    （Ａ）前記第２合成画像を参照した未撮影領域の検出情報から表示用の画像としての未撮影領域画像を出力し、かつ、　前記未撮影領域発生を報知する画像処理・報知手段、
    （Ｂ）前記位置決定で得られた情報に基づいて簡易画像を作成し、かつ、前記第１合成画像を選択して表示用の画像として出力し、前記位置決定の情報に基づいて検出した画像合成の信頼度が所定よりも低下した場合に報知を行う画像処理・報知手段、
    を備えることを特徴とする画像合成処理システム。
16. 前記請求項１１から１５記載の画像合成システムにおいて、
    画像合成を行うための画像合成装置及び通信装置を、通信回線網に接続して設け、前記画像合成装置が前記通信装置を通じて画像合成の処理の一部又は全部を実施することを特徴とする画像合成処理システム。
17. 複数の撮影画像を取り込むステップと、
    前記複数の撮影画像を合成した合成画像を作成するステップと、
    （Ａ）前記合成画像から表示用画像を作成するステップ、
    （Ｂ）前記複数の撮影画像における撮影視野の画像及び前記合成画像を一つの画面に表示するための表示用画像を作成するステップ、
    （Ｃ）前記画像合成から得られた情報に基づいて表示用画像の表示位置を決定し、前記撮影視野の画像及び前記合成画像を一つの画面上に表示するための表示用画像を作成するステップ、
    上記（Ａ）（Ｂ）（Ｃ）のいずれか一つのステップと、
    前記表示用画像を画面表示するステップと、
    の制御をコンピュータに実行させるためのプログラム。
18. 複数の撮影画像を取り込むステップと、
    前記複数の撮影画像を合成した第１合成画像を作成するステップと、
    （Ａ）今回の撮影画像と前記第１合成画像を参照して決定した第１合成画像上における今回の撮影画像位置で得られた情報に基づいて表示用の簡易画像を作成するステップ、
    （Ｂ）前記今回の撮影画像と前記第１合成画像を参照して決定した第１合成画像上における今回の撮影画像の位置に、今回の撮影画像を合成した第２合成画像を作成し、かつ、前記位置決定で得られた情報に基づいて作成した簡易画像又は前記第２合成画像を選択して、表示用画像を作成するステップ、
    （Ｃ）前記今回の撮影画像と前記第１合成画像を参照して決定した合成画像上における今回の撮影画像の位置に前記今回の撮影画像を合成した第２合成画像を作成するとともに、前記位置決定の情報に基づいた簡易画像を作成し、かつ、前記位置決定の情報に基づいて検出した信頼度の検出結果で選択した前記第２合成画像又は前記簡易画像を表示用画像を作成するステップ、
    上記（Ａ）（Ｂ）（Ｃ）のいずれか一つのステップと、
    前記表示用画像を画面表示するステップと、
    の制御をコンピュータに実行させるためのプログラム。
19. 複数の撮影画像を取り込むステップと、
    前記複数の撮影画像を合成した第１合成画像を作成するステップと、
    前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、前記第１合成画像上における今回の撮影画像の位置を決定するステップと、
    前記位置決定の位置に、今回の撮影画像を合成した第２合成画像を作成するステップと、
    前記位置決定による画像間の接合位置に関する情報を接合位置情報として格納するステップと、
    前記第２合成画像を、前記接合位置情報に基づいて接合位置近辺の画像を作成した表示用画像を出力するステップと、
    前記表示用画像を画面表示するステップと、
    の制御をコンピュータに実行させるためのプログラム。
20. 複数の撮影画像を取り込むステップと、
    前記複数の撮影画像を合成した第１合成画像を作成するステップと、
    前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定するステップと、
    前記決定した位置に今回の撮影画像を合成した第２合成画像を作成するステップと、
    前記第２合成画像を格納するステップと、
    前記第２合成画像を参照して未撮影領域を検出し、この未撮影領域の検出情報から表示用の画像としての未撮影領域画像を出力するステップと、
    前記表示用画像を画面表示するステップと、
    の制御をコンピュータに実行させるためのプログラム。
21. 複数の撮影画像を取り込むステップと、
    前記複数の撮影画像を合成した第１合成画像を作成するステップと、
    前記複数の撮影画像における今回の撮影画像と前記第１合成画像を参照して、この第１合成画像上における今回の撮影画像の位置を決定するステップと、
    前記決定した位置に今回の撮影画像を合成した第２合成画像を作成するステップと、
    前記第２合成画像を格納するステップと、
    （Ａ）前記第２合成画像を参照した未撮影領域の検出情報から表示用の画像としての未撮影領域画像を出力し、かつ、前記未撮影領域発生を報知するステップ、
    （Ｂ）前記位置決定で得られた情報に基づいて簡易画像を作成し、かつ、前記第１合成画像を選択して表示用の画像として出力し、前記位置決定の情報に基づいて検出した画像合成の信頼度が所定よりも低下した場合に報知を行うステップ、
    上記（Ａ）又は（Ｂ）のステップと、
    の制御をコンピュータに実行させるためのプログラム。
22. 前記請求項１７から２１記載のプログラムにおいて、
    画像合成の一部又は全部を、有線又は無線の通信回線網に接続した画像合成装置及び通信装置を通じて実施するステップの制御をさらにコンピュータに実行させるためのプログラム。

Images