JP2008147721A - 画像合成装置、画像合成プログラム及び画像合成方法 - Google Patents

Abstract

【課題】動きの時系列を明瞭にしつつ動きのある被写体部分を合成する。
【解決手段】表示装置にスリット枠を表示させるとともに、スルー画像を表示させる（ステップＳ１０５）。シャッターキーを全押しすると、ステップＳ１０９に進み、スリット枠画像切り出し処理を実行し部分画像を生成し、スリット枠にステップＳ１０９で切り出した部分画像を表示する（ステップＳ１１０）。最後のスリット枠であるか否かを判断し（ステップＳ１１１）、最後のスリット枠となるまで、ステップＳ１０８からの処理を繰り返す。このようにして、部分画像Ｐ１〜Ｐ５をＤＲＡＭ１０内への保存が終了すると、ステップＳ１１１の判断がＹＥＳとなる。したがって、ステップＳ１１１からステップＳ１１３に進み、部分画像Ｐ１〜Ｐ５の画像合成処理を実行する。
【選択図】図３

Description

本発明は、動きのある被写体が撮像される画像の合成に好適な画像合成装置、画像合成プログラム及び画像合成方法に関する。

現在、動きのある被写体を有する画像の合成に好適な画像合成装置として特許文献１記載のものが知られている。この画像合成像装置は、被写体を連写して、その連写画像を構成する複数の画像について動きを伴う被写体部分を切り出して抽出する。さらに、この切り出し抽出した前記動きの伴う被写体部分の画像を積層して合成画像を生成する。したがって、１枚の画像上に動きの部分を合成した画像を得ることができ、例えば野球の投球フォームの研究などに用いることができるとするものである。
特開平１１−３３１６９３号公報

しかしながら、この画像合成装置にあっては、前述のように、動きを伴う被写体部分を切り出して抽出し、この切り出し抽出した動きの伴う被写体部分の画像を積層して合成する。したがって、合成画像においては、積層により動きを伴う被写体部分の一部が重なってしまうことから、当該合成画像を見ても、被写体の動きを時系列に認識することができない。

無論、野球の投球フォームのように、動きが単純で合成画像を見る者において、その動きの時系列を予め知っている場合には、被写体部分の一部が重なっていても、当該合成画像から被写体の時系列的な動きを認識することができる。しかし、動きが複雑でその動きの時系列が明らかでない場合には、当該合成画像を見ても、被写体の動きを時系列に認識することは不可能である。

本発明は、かかる実情に鑑みなされたものであり、動きの時系列を明瞭にしつつ動きのある被写体部分を合成することのできる画像合成装置、画像合成プログラム及び画像合成方法を提供することを目的とする。

前記課題を解決するために請求項１の発明に係る画像合成装置にあっては、複数のフレーム画像を取得する取得手段と、フレーム画像の画像領域を、複数の領域に分割するための分割条件が予め記憶されている分割条件記憶手段と、前記分割条件記憶手段に記憶されている分割条件に基づいて、前記取得手段により取得される各フレーム画像の画像領域を分割する分割手段と、前記各フレーム画像から、前記分割手段により分割された所定の分割領域に対応する画像部分を切り出し抽出する抽出手段と、前記抽出手段により切り出し抽出された各分割画像を結合させた合成画像を生成する合成画像生成手段とを備え、前記抽出手段は、前記取得手段により取得されるフレーム画像の取得順序に基づいて、前記各フレーム画像からそれぞれ異なる分割領域を切り出し抽出することを特徴とする。

また、請求項２記載の発明に係る画像合成装置にあっては、被写体を撮像して画像データを出力する撮像素子を備え、前記取得手段は、外部からの所定の操作毎に、前記撮像素子から出力された画像データに基づいて前記フレーム画像を取得することを特徴とする。

また、請求項３記載の発明に係る画像合成装置にあっては、前記複数のフレーム画像を予め記憶している第１の画像記憶手段と、前記画像記憶手段に記憶されている各フレーム画像を、その時系列順に再生表示させる表示制御手段とを備え、前記取得手段は、外部からの所定の操作毎に、その操作タイミング時に前記表示制御手段により再生表示されているフレーム画像を取得することを特徴とする。

また、請求項４記載の発明に係る画像合成装置にあっては、撮影シーンを選択する撮影シーン選択手段を備え、前記分割条件は、異なる撮影シーンと対応付けて前記分割条件記憶手段に記憶され、前記分割手段は、前記撮影シーン選択手段により選択された撮影シーンに対応する分割条件に基づいて、前記フレーム画像の画像領域を分割することを特徴とする。

また、請求項５記載の発明に係る画像合成装置にあっては、前記撮像素子から出力される画像データ、又は前記表示制御手段により再生表示されるフレーム画像を、イメージ画像として表示する表示手段と、前記表示手段に表示されるイメージ画像上に、前記分割条件に基づいた分割領域を区分する分割ラインを重畳表示する分割ライン表示制御手段と、を備えることを特徴とする。

また、請求項６記載の発明に係る画像合成装置にあっては、前記抽出手段により、既に前記分割画像が切り出し抽出された分割領域、又は次回に切り出し抽出される分割領域を前記表示手段に識別表示する識別表示制御手段を備えることを特徴とする。

また、請求項７記載の発明に係る画像合成装置にあっては、複数のフレーム画像を予め記憶している第２の画像記憶手段と、前記第２の画像記憶手段に記憶されている時系列的に隣接したフレーム画像間で、変化のある画像領域を動的領域として検出する検出手段とを備え、前記取得手段は、前記第２の画像記憶手段に記憶されている各フレーム画像を時系列的に並べたときに、前記検出手段により検出された動的領域が、所定の画像領域内に収まる最初のフレーム画像を、前記第２の画像記憶手段から順次取得することを特徴とする。

また、請求項８記載の発明に係る画像合成装置にあっては、前記分割条件記憶手段に記憶されている分割条件に基づいて、前記第２の画像記憶手段に記憶されている各フレーム画像を分割する第２の分割手段を備え、前記取得手段は、前記第２の分割手段により分割された各分割領域としての前記画像領域内に、前記動的領域が最初に収まるフレーム画像を、前記第２の画像記憶手段から順次取得することを特徴とする。

また、請求項９記載の発明に係る画像合成装置にあっては、前記合成画像生成手段は、前記抽出手段により切り出し抽出された各分割画像を結合させる際に、各分割画像を結合する結合領域における画像データを、結合される互いの分割画像データに基づいて調整して、合成画像を生成することを特徴とする。

また、請求項１０記載の発明に係る画像合成装置にあっては、前記合成画像生成手段は、結合領域をモザイク結合して、合成画像を生成することを特徴とする。

また、請求項１１記載の発明に係る画像合成装置にあっては、前記合成画像生成手段は、前記結合領域における画像データを、結合される互いの分割画像データの平均値にして、画像を生成することを特徴とする。

また、請求項１２記載の発明に係る画像合成装置にあっては、前記合成画像生成手段は、結合される互いの分割画像における結合部情報に基づいて、互いの分割領域のズレを補正した画像を生成することを特徴とする。

また、請求項１３記載の発明に係る画像合成装置にあっては、前記合成画像生成手段は、前記互いの分割領域のズレを補正することにより、合成画像のサイズ又は形状が元画像と異なる場合には、前記合成画像が元のフレーム画像と等しくなるように、トリミング及び拡大処理を行うことを特徴とする。

また、請求項１４記載の発明に係る画像合成プログラムにあっては、画像合成装置が備えるコンピュータを、複数のフレーム画像を取得する取得手段と、フレーム画像の画像領域を、複数の領域に分割するための分割条件が予め記憶されている分割条件記憶手段と、前記分割条件記憶手段に記憶されている分割条件に基づいて、前記取得手段により取得される各フレーム画像の画像領域を分割する分割手段と、前記各フレーム画像から、前記分割手段により分割された所定の分割領域に対応する画像部分を切り出し抽出する抽出手段と、前記抽出手段により切り出し抽出された各分割画像を結合させた合成画像を生成する合成画像生成手段として機能させ、前記抽出手段は、前記取得手段により取得されるフレーム画像の取得順序に基づいて、前記各フレーム画像からそれぞれ異なる分割領域を切り出し抽出することを特徴とする。

また、請求項１５記載の発明に係る画像合成方法にあっては、複数のフレーム画像を取得する取得ステップと、フレーム画像の画像領域を、複数の領域に分割するための分割条件が予め記憶されている分割条件記憶手段の前記分割条件に基づいて、前記取得手段により取得される各フレーム画像の画像領域を分割する分割ステップと、前記各フレーム画像から、前記分割ステップにより分割された所定の分割領域に対応する画像部分を切り出し抽出する抽出ステップと、前記抽出ステップにより切り出し抽出された各分割画像を結合させた合成画像を生成する合成画像生成ステップとを含み、前記抽出ステップでは、前記取得ステップにより取得されるフレーム画像の取得順序に基づいて、前記各フレーム画像からそれぞれ異なる分割領域を切り出し抽出することを特徴とする。

本発明によれば、動きの時系列を明瞭にしつつ動きのある被写体部分を合成することができる。よって、動きの時系列が明瞭な、動きのある被写体部分を合成した合成画像を得ることが可能となる。

以下、本発明の一実施の形態を図に従って説明する。

（第１の実施の形態）
図１は、本発明の各実施の形態に共通する電子カメラ１の概略構成を示すブロック図である。この電子カメラ１は静止画像だけでなく、静止画像を連続して撮影し、再生時にはそれら（コマ画像）を撮影順に表示することにより動画を再生可能とする動画撮影機能を備えたものであって、ＣＣＤ２とＤＳＰ／ＣＰＵ３とを有している。ＤＳＰ／ＣＰＵ３は、ＪＰＥＧ方式による画像のデータの圧縮・伸張を含む各種デジタル信号処理機能を有するとともに電子カメラ１の各部を制御するワンチップマイコンである。ＤＳＰ／ＣＰＵ３には、ＣＣＤ２を駆動するＴＧ（Timing Generator）４が接続されており、ＴＧ４には、ＣＣＤ２から出力される被写体の光学像に応じたアナログの撮像信号が入力するユニット回路５が接続されている。ユニット回路５は、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤ）から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＤＳＰ／ＣＰＵ３に送られる。

また、ＤＳＰ／ＣＰＵ３には、表示装置６、キー入力部７、時計部８が接続されるとともに、アドレス・データバス９を介してＤＲＡＭ１０、内蔵フラッシュメモリ１１、カード・インターフェイス１２が接続されている。また、カード・インターフェイス１２には、図示しないカメラ本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。

ＤＲＡＭ１０は、撮影待機モードの設定時にＣＣＤ２によって撮像され、デジタル化された被写体の画像データを一時保存するバッファであるとともに、ＤＳＰ／ＣＰＵ３のワーキングメモリとしても使用される。ＤＲＡＭ１０に一時保存された画像データは圧縮され、最終的にはメモリ・カード１３に記録される。内蔵フラッシュメモリ１１には、ＤＳＰ／ＣＰＵ３の動作プログラムや各部の制御に使用する各種データが記憶されており、ＤＳＰ／ＣＰＵ３は、前記動作プログラムに従い動作することにより本発明の分割手段、抽出手段、合成画像生成手段等として機能する。

表示装置６はカラーＬＣＤとその駆動回路とを含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時にはメモリ・カード１３から読み出され伸張された記録画像を表示する。キー入力部７は、シャッターキー、電源キー、モード選択キー、十字キー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ３に出力する。シャッターキーは、半押しと全押しとが可能なハーフシャッター機能を有するものである。時計部８は日付及び時刻をカウントするカレンダー機能と時計機能とを有しており、撮影動作時等に必要に応じて日付データ及び時刻データをＤＳＰ／ＣＰＵ３へ送る。

内蔵フラッシュメモリ１１には、前記プログラム等とともに、図２に示す撮影シーン選択テーブル１１１が記憶されている。この撮影シーン選択テーブルには、「スキー」「ランニング」「飛び込み（水泳）」等の撮影シーンに対応して、「横」又は「縦」のフレーム画像の分割方向と、「５」「７」「６」等のその分割数とが記憶されている。つまり、例えばスキーやランニングを行っている人物を撮影する際には、人物が撮影画面上を左右方向に横切るように移動するシーンになるため、フレーム画像の分割方向を「スキー」や「ランニング」に対応付けて予め横方向として記憶させておくことが好ましく、また、飛び込み（水泳）を行っている人物を撮影する際には、人物が撮影画面上を上下方向に横切るように移動するシーンとなるため、フレーム画像の分割方向を「飛び込み（水泳）」に対応付けて予め縦方向として記憶させておくことが好ましい。また、分割数は、撮影対象としての移動する被写体の予測される大きさやその速さに応じた分割数をそれぞれ撮影シーンに対応付けて予め記憶させておくことが好ましい。

次に、以上の構成からなる電子カメラ１において、ＤＳＰ／ＣＰＵ３は、前記プログラムに従って、図３に示すフローチャートに示すように処理を実行する。すなわち、ユーザによるキー入力部７における前記モード選択キーの操作により、スリット撮影モードが選択されたか否かを判断する（ステップＳ１０１）。スリット撮影モードが選択されていない場合には、通常撮影モード等の他のモード処理に移行する（ステップＳ１０２）。

スリット撮影モードが選択されている場合には、ユーザによるキー入力部７における前記十字キー等の操作により、前記撮影シーン選択テーブル１１１からいずれかの撮影シーンが選択されたか否かを判断する（ステップＳ１０３）。撮影シーンが選択されたならば、撮影シーン選択テーブル１１１から選択された撮影シーンに対応する分割方向と分割数とを読み出す（ステップＳ１０４）。したがって、例えば撮影シーン選択テーブル１１１から撮影シーンとして「スキー」が選択されたとすると、これに対応する分割方向「横」と分割数「５」とが読み出されることとなる。

よって、本実施の形態においては、撮影シーン選択テーブル１１１から所望の撮影シーンを選択する簡単な操作により、適切な分割方向と分割数とを設定することができる。

次に、この読み出した分割方向と分割数に従って、表示装置６にスリット枠を表示させるとともに、左端のスリット枠内の上部にカーソルを表示し、かつ、スルー画像を表示させる（ステップＳ１０５）。このステップＳ１０５での処理により、図４（１）に示すように、表示装置６には、縦方向の罫線により５等分割されたスリット枠６−１〜６−５が表示されるとともに、左端の第１スリット枠６−１の上部にカーソル６６が表示され、かつ、スルー画像６７が全画面表示される。

次に、シャッターキーが半押しされたか否かを判断する（ステップＳ１０６）。シャッターキーが半押しされたならば、ＣＣＤ２の光軸上に配置されている図示しない光学系を駆動するＡＦ処理を実行する（ステップＳ１０７）。

引き続き、シャッターキーが全押しされたか否かを判断する（ステップＳ１０８）。このとき、ユーザは、図４（１）に示したカーソル６６が表示されている第１スリット枠６−１内に被写体となるスキーヤーが表示されるまで待機する。そして、図４（２）に示すように、第１スリット枠６−１内に被写体となるスキーヤー６８が表示された時点で、シャッターキーを全押しする。すると、ステップＳ１０８の判断がＹＥＳとなる。

したがって、ステップＳ１０８からステップＳ１０９に進み、スリット枠画像切り出し処理を実行する。このスリット枠画像切り出し処理においては、ＣＣＤ２によりフレーム画像を取り込んでＤＲＡＭ１０に保存し、さらにＤＲＡＭ１０内にて、カーソル６６が表示されているスリット枠内の部分画像を切り出し、この切り出した部分画像をＤＲＡＭ１０に一時保存する。よって、現時点でカーソル６６が表示されているスリット枠が、図４（２）に示すように、第１スリット枠６−１であるならば、第１スリット枠６−１内の部分画像がＤＲＡＭ１０に一時保存されることとなる。

次に、スリット枠に前記ステップＳ１０９で切り出した画像を表示する処理を実行する（ステップＳ１１０）。このステップＳ１１０での処理により、図４（３）に示すように、表示装置６の第１スリット枠６−１内には、切り出された部分画像Ｐ１が表示される。

引き続き、前記ステップＳ１１０で部分画像を表示させたスリット枠が、最後のスリット枠であるか否かを判断する（ステップＳ１１１）。最後のスリット枠でない場合には、カーソルを右側のスリット枠内に表示させた後（ステップＳ１１２）、ステップＳ１０８からの処理を繰り返す。

したがって、図４（３）に示すように、第２スリット枠６−２にカーソル６６が表示され、かつ、スキーヤー６８が表示された時点でシャッターキーを全押しすれば、第２スリット枠６−２内の部分画像がＤＲＡＭ１０に一時保存された後、図４（４）に示すように、第２スリット枠６−２にその部分画像Ｐ２が表示される。

また、図４（４）に示すように、第３スリット枠６−３にカーソル６６が表示され、かつ、スキーヤー６８が表示された時点でシャッターキーを全押しすれば、第３スリット枠６−３内の部分画像がＤＲＡＭ１０に一時保存された後、図４（５）に示すように、第３スリット枠６−３にその部分画像Ｐ３が表示される。

また、図４（５）に示すように、第４スリット枠６−４にカーソル６６が表示され、かつ、スキーヤー６８が表示された時点でシャッターキーを全押しすれば、第４スリット枠６−４内の部分画像がＤＲＡＭ１０に一時保存された後、図４（６）に示すように、第４スリット枠６−４にその部分画像Ｐ４が表示される。

また、図４（６）に示すように、第５スリット枠６−５にカーソル６６が表示され、かつ、スキーヤー６８が表示された時点でシャッターキーを全押しすれば、第５スリット枠６−５内の部分画像がＤＲＡＭ１０に一時保存された後、第５スリット枠６−５にその部分画像Ｐ５が表示される。

なお、上述においてＤＲＡＭ１０に一時保存された部分画像を表示する際には、ＤＲＡＭ１０に一時保存された部分画像を表示していない領域に対してのみ、当該領域に対応するスルー画像を表示する構成（ＤＲＡＭ１０に一時保存された部分画像をスルー画像よりも優先させて表示する構成）としてもよいし、ＤＲＡＭ１０に一時保存された部分画像を表示している領域においては当該表示されている部分画像上にスルー画像を重畳させて表示する構成（部分画像とスルー画像とがそれぞれ半透過画像となるような構成）としてもよい。何れにしても、次回に切り出し抽出される画像領域と、その領域におけるスルー画像とが、ユーザによって認識可能なように構成されていればよい。

つまり、本実施の形態においては、スリット枠６−１〜６−５が表示されることから、分割領域を撮影時において明瞭に示すことができる。

また、被写体が到来した時点でシャッター操作を行うべき、スリット枠がカーソル６６により表示されることから、各スリット枠内に動的な被写体が存在する部分画像を容易に撮影することができる。

しかも、部分画像が撮像されるタイミングは、ユーザがシャッターキーを全押ししたタイミングであることから、各部分画像の形態にユーザの意思を反映させることができる。

そして、このようにして、部分画像Ｐ１〜Ｐ５をＤＲＡＭ１０内への保存が終了すると、ステップＳ１１１の判断がＹＥＳとなる。したがって、ステップＳ１１１からステップＳ１１３に進み、部分画像Ｐ１〜Ｐ５の画像合成処理を実行する。

このステップＳ１１３における画像合成処理においては、部分画像Ｐ１〜Ｐ５を時系列に従って配列して面内結合させる。

つまり、時系列において最も早期である部分画像Ｐ１を左端に位置させるとともに、該部分画像Ｐ１の右側に次に早期である部分画像Ｐ２を位置させ、部分画像Ｐ１の右側エッジ部分と部分画像Ｐ２の左側エッジ部分とを結合させて合成する。さらに、部分画像Ｐ２の右側に次に早期である部分画像Ｐ３を位置させ、部分画像Ｐ２の右側エッジ部分と部分画像Ｐ３の左側エッジ部分とを結合させて合成し、部分画像Ｐ３の右側に次に早期である部分画像Ｐ４を位置させ、部分画像Ｐ３の右側エッジ部分と部分画像Ｐ４の左側エッジ部分とを結合させて合成する。そして、部分画像Ｐ４の右側に最後の部分画像Ｐ５を位置させ、部分画像Ｐ４の右側エッジ部分と部分画像Ｐ５の左側エッジ部分とを結合させて合成する

このとき、下記処理（Ａ）〜（Ｅ）を適宜実行する。
（Ａ）各分割画像Ｐ１〜Ｐ５を面内結合させる際に、各分割画像Ｐ１〜Ｐ５を結合する結合領域における画像データを、結合される互いの分割画像データに基づいて調整して、合成画像を生成する。つまり、分割画像Ｐ１の右側エッジ部分と分割画像Ｐ２の左側エッジ部分、分割画像Ｐ２の右側エッジ部分と分割画像Ｐ３の左側エッジ部分、分割画像Ｐ３の右側エッジ部分と分割画像Ｐ４の左側エッジ部分、分割画像Ｐ４の右側エッジ部分と分割画像Ｐ５の左側エッジ部分、の各エッジ部分の画像データに基づいて、色調等を調整して合成画像を生成する。
（Ｂ）前記エッジ部分（結合領域）をモザイク結合して、合成画像を生成する。つまり、前記エッジ部分を相補関係となるモザイク状にして結合する。
（Ｃ）前記エッジ部分（結合領域）を、結合される互いの分割画像データの平均値にして、画像を生成する。
（Ｄ）結合される互いの分割画像における前記エッジ部分の情報（結合部情報）に基づいて、互いの分割領域のズレを補正する。つまり、隣接する部分画像が上下方向においてズレている場合には、これを補正して結合合成する。
（Ｅ）各分割画像Ｐ１〜Ｐ５のズレを補正することにより、合成画像Ｐ０のサイズ又は形状が元画像と異なる場合には、合成画像Ｐ０が元のフレーム画像と等しくなるように、トリミング及び拡大処理を行う。

したがって、前記（Ａ）〜（Ｄ）の画像処理が実行されることにより、図４（７）に示すように、合成された部分画像の合成ラインが目立つことなく、動的な被写体が１つの背景内で動いているような合成画像Ｐ０を得ることができる。

また、前記（Ｅ）の画像処理が実行されることにより、図４（７）に示した合成画像Ｐ０を、シャッターキーの全押し時に撮影した元画像と等しい大きさにして記録することができる。つまり、スリット撮影モードで撮影した合成画像Ｐ０であっても、通常の撮影画像と同様のサイズで記録することができる。

他方、ステップＳ１１３に続くステップＳ１１４においては、合成画像表示処理を実行する。このステップＳ１１４での処理により、図４（７）に示すように、表示装置６には、前記合成画像Ｐ０が表示される。引き続き、保存するか否かを判別する（ステップＳ１１５）。このとき、ユーザが図４（７）に示した合成画像Ｐ０を見て満足し、これを保存すべくキー入力部７にて保存操作を行うと、ステップＳ１１５の判断がＹＥＳとなる。よって、ステップＳ１１５からステップＳ１１６に進み画像記録処理を実行する。この画像記録処理により、前記合成画像Ｐ０がメモリ・カード１３に記録されることとなる。

これにより、動きの時系列的変化が明瞭となるように、動きのある被写体画像を含む部分画像Ｐ１〜Ｐ５を合成した合成画像Ｐ０を得ることが可能となる。

また、ユーザは、通常の撮影動作と同じように、スルー画像を見ながらシャッター操作を行うという簡単な操作で、一枚の合成写真を得ることができる。

また、動きのある被写体画像と動きのないその背景画像とを分離させる必要がないため、各部分画像Ｐ１〜Ｐ５では、動きのある被写体画像に対してその背景画像をそのまま残しておくことができ、結果として、被写体画像とそれとは異なる背景画像とを合成したときに生じるような『不自然さ』を生じさせることもない。

なお、この画像記録処理（ステップＳ１１６）においては、合成画像Ｐ０のみならず、各分割画像Ｐ１〜Ｐ５やシャッターキーの全押し操作によりＤＲＡＭ１０に記憶されている各フレーム画像もメモリ・カード１３に記録するようにしてもよい。また、スリット撮影モードで撮影を行う場合には、電子カメラ１を三脚等により固定しておくことが好ましい。

（第２の実施の形態）

図５、６は、本発明の第２の実施の形態における処理手順を示すフローチャートである。すなわち、図５のフローチャートに示すように、ユーザによるキー入力部７における前記モード選択キーの操作により、スリット撮影モードが選択されたか否かを判断する（ステップＳ２０１）。スリット撮影モードが選択されていない場合には、通常撮影モード等の他のモード処理に移行する（ステップＳ２０２）。

スリット撮影モードが選択されている場合には、ユーザによるキー入力部７における前記十字キー等の操作により、前記撮影シーン選択テーブル１１１からいずれかの撮影シーンが選択されたか否かを判断する（ステップＳ２０３）。撮影シーンが選択されたならば、撮影シーン選択テーブル１１１から選択された撮影シーンに対応する分割方向と分割数とを読み出す（ステップＳ２０４）。したがって、例えば撮影シーン選択テーブル１１１から撮影シーンとして「スキー」が選択されたとすると、これに対応する分割方向「横」と分割数「５」とが読み出されることとなる。

次に、スリット撮影モードにおける撮影モードと再生モードとのいずれかが設定されているか否かを判断し（ステップＳ２０５）、再生モードが設定されている場合には、後述する再生モード処理を実行する（ステップＳ２０６）。

スリット撮影モードにおける撮影モードが設定されている場合には、シャッターキーが半押しされたか否かを判断する（ステップＳ２０７）。シャッターキーが半押しされたならば、ＣＣＤ２の光軸上に配置されている図示しない光学系を駆動するＡＦ処理を実行する（ステップＳ２０８）。

引き続き、シャッターキーが全押しされたか否かを判断する（ステップＳ２０９）。ユーザがシャッターキーを全押しすると、ステップＳ２０９の判断がＹＥＳとなって、ステップＳ２０９からステップＳ２１０に進み連写処理を実行する。この連写処理においては、所定のフレームレートで、ＣＣＤ２によりフレーム画像を順次取り込んで時系列順にＤＲＡＭ１０に保存する。

次に、このステップＳ２１０での連写枚数Ｎが前記「分割数＋α」となったか否かを判断し（ステップＳ２１１）、「連写枚数Ｎ＝分割数＋α」となるまで、ステップＳ２１０での所定のフレームレートによる連写を続ける。したがって、本実施の形態においては、ステップＳ２１０の処理が「分割数＋α」回繰り返されることにより、ＤＲＡＭ１０には連写枚数Ｎ（＝分割数＋α）枚の連写フレーム画像が保存されることとなる。したがって、分割数が「５」であって、αが「１」であった場合には、図７（１）〜（６）に例示する連写フレーム画像がＤＲＡＭ１０に保存される。

なお、この連写枚数Ｎは、「分割数＋１」に限ることなく、「＝分割数」であってもよく、分割数以上であれば如何なる枚数であってもよい。

また、ユーザによりシャッターキーが全押しされている間、所定のフレームレートによる連写を続け、全押しが解除されたときに連写を停止させる構成としてもよい。この場合、全押しが解除されたときに既に連写枚数Ｎが分割数（または分割数＋α）以上となっていれば連写を直ちに停止させ、未だ連写枚数Ｎが分割数（または分割数＋α）未満であったならば連写枚数Ｎが分割数（または分割数＋α）に至った時点で連写を停止させる構成とすることが好ましい。係る構成によれば、よりユーザの意思を反映させながら、後述の合成画像を得るために必要な枚数のフレーム画像を得ることができる。

図６は、前記再生モード処理（ステップＳ２０６）の詳細を示すフローチャートである。まず、前記ステップＳ２０４で読み出した分割方向と分割数に従って、表示装置６にスリット枠を表示させるとともに、左端のスリット枠内の上部にカーソルを表示させる（ステップＳ２５１）。このステップＳ２５１での処理により、図７（７）に示すように、表示装置６には、縦方向の罫線により５等分割されたスリット枠６−１〜６−５が表示されるとともに、左端の第１スリット枠６−１の上部にカーソル６６が表示される。

次に、表示するフレーム画像をカウントするためのカウンタＣに初期値「１」をセットする（ステップＳ２５２）。そして、このカウンタＣの値により示されるＣ番目の連写フレーム画像をＤＲＡＭ１０から読み出して、表示装置６に表示させる。したがって、今Ｃ＝１であったとすると、図７（１）のフレーム画像が表示装置６に表示されることとなる。

しかし、この図７（１）のフレーム画像には、スキーヤーが存在しないことから、ユーザはシャッターキーを操作することなく無視する。すると、ステップＳ２５４の判断がＮＯとなり、ステップＳ２５４からステップＳ２５５に進み、所定時間が経過したか否かを判断する。このステップＳ２５５における所定時間は、前述した連写時のフレームレートよりも長い時間間隔であり、よって、ＤＲＡＭ１０から読み出された連写フレーム画像は、再生時においてスロー再生されることとなる。

次に、カウンタＣの値が前記連写枚数Ｎとなったか否かを判断する（ステップＳ２５６）。Ｃ＝Ｎとなった場合には、後述するステップＳ２６２に進み、Ｃ≠Ｎである場合には、カウンタＣの値をインクリメントして（ステップＳ２５７）、ステップＳ２５４に戻る。したがって、ステップＳ２５７の処理により、Ｃ＝２になると、図７（２）のフレーム画像が表示装置６に表示されて、図７（７）の状態になる。

これにより、図７（７）に示したカーソル６６が表示されている第１スリット枠６−１内に被写体となるスキーヤーが表示される。そして、このように、第１スリット枠６−１内に被写体となるスキーヤー６８が表示された時点で、シャッターキーを全押しすると、ステップＳ２５４の判断がＹＥＳとなる。

したがって、ステップＳ２５４からステップＳ２５８に進み、スリット枠画像切り出し処理を実行する。このスリット枠画像切り出し処理においては、ＤＲＡＭ１０内にて、当該フレーム画像のカーソル６６が表示されているスリット枠内の部分画像を切り出し、この切り出した部分画像をＤＲＡＭ１０に一時保存する。よって、現時点でカーソル６６が表示されているスリット枠が、図７（７）に示すように、第１スリット枠６−１であるならば、第１スリット枠６−１内の部分画像がＤＲＡＭ１０に一時保存されることとなる。

次に、スリット枠に前記ステップＳ２５８で切り出した画像を表示する処理を実行する（ステップＳ２５９）。このステップＳ２５９での処理により、図７（８）に示すように、表示装置６の第１スリット枠６−１内には、切り出された部分画像Ｐ１が表示される。

引き続き、前記ステップＳ２５９で部分画像を表示させたスリット枠が、最後のスリット枠であるか否かを判断する（ステップＳ２６０）。最後のスリット枠でない場合には、カーソルを右側のスリット枠内に表示させた後（ステップＳ２６１）、前述したステップＳ２５６に進む。

したがって、図７（７）に示すように、第１スリット枠６−１にカーソル６６が表示され、かつ、スキーヤー６８が表示された時点でシャッターキーを操作すれば、第１スリット枠６−１内の部分画像がＤＲＡＭ１０に一時保存された後、図７（８）に示すように、第２スリット枠６−２にその部分画像Ｐ２が表示される。

また、図７（８）に示すように、第２スリット枠６−２にカーソル６６が表示され、かつ、スキーヤー６８が表示された時点でシャッターキーを操作すれば、第２スリット枠６−２内の部分画像がＤＲＡＭ１０に一時保存された後、図７（９）に示すように、第２スリット枠６−２にその部分画像Ｐ４が表示される。また、以降シャッターキーが操作される毎に、各スリット枠内の部分画像がＤＲＡＭ１０に一時保存された後、当該スリット枠６−３にその部分画像が表示される。

そして、このようにして、部分画像Ｐ１〜Ｐ５をＤＲＡＭ１０内への保存が終了すると、ステップＳ２６０の判断がＹＥＳとなる。したがって、ステップＳ２６０からステップＳ２６２に進み、部分画像Ｐ１〜Ｐ５の画像合成処理を実行する。このステップＳ２６２における画像合成処理においては、部分画像Ｐ１〜Ｐ５を時系列に従って配列して面内結合させる。

つまり、前述したステップＳ１１３での処理と同様に、時系列において最も早期である部分画像Ｐ１を左端に位置させるとともに、該部分画像Ｐ１の右側に次に早期である部分画像Ｐ２を位置させ、部分画像Ｐ１の右側エッジ部分と部分画像Ｐ２の左側エッジ部分とを結合させて合成する。さらに、部分画像Ｐ２の右側に次に早期である部分画像Ｐ３を位置させ、部分画像Ｐ２の右側エッジ部分と部分画像Ｐ３の左側エッジ部分とを結合させて合成し、部分画像Ｐ３の右側に次に早期である部分画像Ｐ４を位置させ、部分画像Ｐ３の右側エッジ部分と部分画像Ｐ４の左側エッジ部分とを結合させて合成する。そして、部分画像Ｐ４の右側に最後の部分画像Ｐ５を位置させ、部分画像Ｐ４の右側エッジ部分と部分画像Ｐ５の左側エッジ部分とを結合させて合成する

また、前記処理（Ａ）〜（Ｅ）を適宜実行する。

さらに、ステップＳ２６２に続くステップＳ２６３においては、合成画像表示処理を実行する。このステップＳ２６３での処理により、図７（１０）に示すように、表示装置６には、前記合成画像Ｐ０が表示される。引き続き、保存するか否かを判別する（ステップＳ２６４）。このとき、ユーザが図７（１０）に示した合成画像Ｐ０を見て満足し、これを保存すべくキー入力部７にて保存操作を行うと、ステップＳ２６４の判断がＹＥＳとなる。よって、ステップＳ２６４からステップＳ２６５に進み画像記録処理を実行する。この画像記録処理により、前記合成画像Ｐ０がメモリ・カード１３に記録されることとなる。

したがって、本実施の形態においては、撮影時には単に連写を行って、再生時において部分画像を選択して合成することから、撮影時にユーザが高速でシャッターキー操作を行う必要がない。よって、ユーザの操作負担を軽減しつつ、動きの時系列的変化が明瞭となるように、動きのある被写体を含む部分画像Ｐ１〜Ｐ５を合成した合成画像Ｐ０を得ることが可能となる。

また、再生されるフレーム画像を見ながらシャッター操作を行うことで一枚の合成写真を得ることができるため、ユーザは、通常の撮影感覚と同じような感覚で一枚の合成写真を得ることができる。

なお、本実施の形態においては、撮影シーンを選択した後に連写撮影を行い、この連写撮影で得た各フレーム画像を再生させて合成画像を得る構成について説明したが、連写撮影を行った後に撮影シーンを選択する構成としてもよい。この場合、連写撮影で得られているフレーム画像の枚数に基づいて、選択可能な撮影シーンが制限される構成とすることが好ましい。

（第３の実施の形態）

図８、９は、本発明の第３の実施の形態における処理手順を示すフローチャートである。図８に示すフローチャートにおけるステップＳ３０１〜Ｓ３１１の処理は、前述した第２の実施の形態における図５のフローチャートのＳ３０１〜Ｓ３１１とほぼ同様の処理である。したがって、選択された撮影シーンが「スキー」であって、分割数が「５」であり、ステップＳ３１１における「α」が「５」であったとすると、連写枚数Ｎ（＝分割数＋α）＝１０となる。よって、ＤＲＡＭ１０には、図１０に示すように（１）〜（１０）の１０枚分のフレーム画像が時系列順に格納されることとなる。

なお、ステップＳ３０１〜Ｓ３１１の処理において、ステップＳ３０４の処理のみが対応する第２の実施の形態のステップＳ２０４とは異なり、移動方向は読み出すことなく分割枚数のみを読み出す。

図９は、前記再生モード処理（ステップＳ３０６）の詳細を示すフローチャートである。まず、前述のように時系列順にＤＲＡＭ１０に格納されているフレーム画像（１）〜（１０）において、最初に変化があったフレーム画像Ｐ１とその前のフレーム画像Ｐ０との差分「Ｐ０−Ｐ１」を検出し、この差分が生じた領域である矩形の動的領域の対角座標（ＸＡ，ＹＡ）（ＸＢ、ＹＢ）を求める。

したがって、本例においては、最初に変化があったフレーム画像Ｐ１は（２）であり、その前のフレーム画像Ｐ０は（１）であることから、図１１に示すように、「（１）−（２）」により、動的領域Ｍ１の対角座標（ＸＡ，ＹＡ）（ＸＢ、ＹＢ）が求められる。

引き続き、最初に変化があったフレーム画像Ｐ１の次のフレーム画像Ｐ２と前記フレーム画像Ｐ０との差分「Ｐ０−Ｐ２」を検出し、この差分が生じた領域である矩形の動的領域の対角座標（ＸＣ，ＹＣ）（ＸＤ、ＹＤ）を求める。

したがって、本例においては、最初に変化があったフレーム画像Ｐ２は（３）であり、フレーム画像Ｐ０は（１）であることから、図１１に示すように、「（１）−（３）」により、動的領域Ｍ２の対角座標（ＸＣ，ＹＣ）（ＸＤ、ＹＤ）が求められる。

次に、動的領域Ｍ１、Ｍ２に基づき、その移動方向を検出する（ステップＳ３５３）。この移動方向の検出に際しては、各対応する対角座標の差（ＸＡ，ＹＡ）−（ＸＣ、ＹＣ）＝（ＸＥ，ＹＥ）、（ＸＢ，ＹＢ）−（ＸＤ、ＹＤ）＝（ＸＦ，ＹＦ）により求めることができ、本例においては求められた（ＸＥ，ＹＥ）（ＸＦ、ＹＦ）により、右方向であることが検出されることとなる。

さらに、この検出された方向に、分割数に対応するスリット枠を表示する（ステップＳ３５４）。したがって、検出方向が右であり、分割数は「５」であることから、表示装置６には右方向に第１スリット枠〜第５スリット枠が表示される。

また、前記ＤＲＡＭ１０時系列順に格納されているフレーム画像（１）〜（１０）において、隣接するフレーム画像を比較することにより動的領域があるフレーム画像を抽出する（ステップＳ３５５）。しかる後に、スリット枠をカウントするためのカウンタＱに初期値「１」を設定する（ステップＳ３５６）。

次に、前記ステップＳ３５５で抽出したフレーム画像を時系列順に順次読み出し、当該読み出したフレーム画像の動的領域は、カウンタＱの値で示される第Ｑスリット枠内に収まるか否かを判断する（ステップＳ３５７）。つまり、カウンタＱ＝１であったならば、読み出したフレーム画像の動的領域が第１スリット枠内に収まるか否かを判断する（ステップＳ３５８）。

このとき、図１２（１２）に示すように、動的領域Ｍが第１スリット枠６−１に収まる場合には、ステップＳ３５８の判断はＹＥＳとなる。また、カウンタＱ＝２であり、図１２（１３）に示すように、動的領域Ｍが第２スリット枠６−２に収まる場合、あるいは、カウンタＱ＝３であり、図１２（１４）に示すように、動的領域Ｍが第３スリット枠６−３に収まる場合には、ステップＳ３５８の判断はＹＥＳとなる。

したがって、これらの場合には、ステップＳ３５８からステップＳ３５９に進み、スリット枠画像切り出し処理を実行する。このスリット枠画像切り出し処理においては、ＤＲＡＭ１０内にて、当該フレーム画像のスリット枠に対応する部分画像を切り出し、この切り出した部分画像をＤＲＡＭ１０に一時保存する。

次に、スリット枠に前記ステップＳ３５８で切り出した画像を表示する処理を実行する（ステップＳ３５９）。引き続き、カウンタＱの値が分割数Ｑｍａｘとなったか否かを判断し（ステップＳ３６１）、Ｑ≠Ｑｍａｘであるならば、カウンタＱの値をインクリメントして（ステップＳ３６２）、ステップＳ３５７からの処理を繰り返す。

他方、図１２（１５）及び（１６）の場合には、動的領域Ｍがスリット枠に収まらない。よって、この場合には、ステップＳ３５８の判断はＮＯとなる。よって、ステップＳ３５８からステップＳ３６３に進み、前記ステップＳ３５７で読み出したフレーム画像が最後のフレーム画像であるか否かを判断する。最後のフレーム画像でなく、未だフレーム画像がある場合には、ステップＳ３５７からの処理を繰り返す。

そして、Ｑ＝Ｑｍａｘとなることにより、全てのスリット枠に対応する画像が切り出し処理されると、ステップＳ３６１の判断がＹＥＳとなる。したがって、ステップＳ３６１からステップＳ３６４に進み、各スリット枠に対応する部分画像の画像合成処理を実行する。このステップＳ３６４における画像合成処理においては、部分画像を時系列に従って配列して面内結合させ、また、前記処理（Ａ）〜（Ｅ）を適宜実行する。

さらに、ステップＳ３６４に続くステップＳ３６５、Ｓ３６６、Ｓ３６７は、前述した実施の形態と同様である。すなわち、合成画像表示処理を実行し（ステップＳ３６５）、保存するか否かを判断し（ステップＳ３６６）、保存する場合には画像記録処理を実行する（ステップＳ３６７）。

したがって、本実施の形態によれば、撮影時のシャッターキー操作や再生時のシャッターキーを伴うことなく、動きの時系列が明瞭な、動きのある被写体部分を合成した合成画像を得ることが可能となる。つまり、合成画像において、動きのある被写体画像が重なり合うことを防止することができる。

しかも、本実施の形態においては、スリット枠内に収まる動的領域を含む部分画像を順次結合して合成することから、動的領域をスリット枠と同数にして均等配置することができ、これにより動きのある被写体部分の変化を明瞭にしつつ画像合成することができる。

なお、この第３の実施の形態においては、ステップＳ３５４で表示装置６にスリット枠を表示したり、ステップＳ３６０で切り出し画像を表示するようにした。しかし、これらの表示は行うことなく、ＤＳＰ／ＣＰＵ３内部で切り出し等を順次行い、最終的に画像合成処理（ステップＳ３６４）が終了した時点で、ステップＳ３６５で合成画像のみを表示させるようにしてもよい。

また、画像領域の分割数は、導出された動的領域Ｍ１またはＭ２の領域サイズに基づいて補正される構成としてもよい。つまり、導出された動的領域Ｍ１またはＭ２の領域サイズが予め記憶されている基準サイズより大きい場合にはその差に応じて画像領域の分割数を減少させるとともに、小さい場合にはその差に応じて画像領域の分割数を増加させる構成としてもよい。

また、前述した各実施の形態においては、表示装置６に表示されたスルー画像の全域を分割して、各部分画像を合成結合するようにしたが、スルー画像を部分的に分割して、各分割領域内の部分画像を合成結合するようにしてもよい。

すなわち、図１３に示すように、スルー画像６７の上下をトリミングして中央部分のみを分割及び合成対象とし、中央部分のみにスリット枠６−１〜６−７を表示させる。そして、各スリット枠６−１〜６−７内の部分画像Ｐ１〜Ｐ７を前述と同様に処理して、合成結合する。これにより、不要な部分を削除して、データ量を削減しつつ、必要な動きのある被写体部分の変化が明瞭な合成画像を得ることができる。

無論、分割及び合成対象とする領域は中央部分に限らず、上側部分のみであったり、下側部分、左側部分、右側部分のみであってもよい。

また、動的領域の移動方向の検出や、切り出し抽出される分割領域（部分画像）は、例えば加速度センサー等により検出される当該電子カメラのブレ量などに基づいて補正される構成としてもよい。係る構成によれば、より精度のよい合成画像を得ることができる。

本発明の第１、第２及び第３の実施の形態に共通する電子カメラのブロック図である。 同実施の形態に共通する撮影シーン選択テーブルの概念図である。 第１の実施の形態における処理手順を示すフローチャートである。 同実施の形態の概要を示す説明図である。 第２の実施の形態における処理手順を示すフローチャートである。 同実施の形態の再生モード処理の手順を示すフローチャートである。 同実施の形態の概要を示す説明図である。 第３の実施の形態における処理手順を示すフローチャートである。 同実施の形態の再生モード処理の手順を示すフローチャートである。 同実施の形態において記憶されたフレーム画像の一例を示す図である。 同実施の形態におけるステップＳ３５１、Ｓ３５２の概要を示す説明図である。 同実施形態におけるスリット枠に収まる動的領域と収まらない動的領域とを示す説明図である。 本発明の他の実施形態の概要を示す説明図である。

符号の説明

１ 電子カメラ
２ ＣＣＤ
３ ＤＳＰ／ＣＰＵ
４ ＴＧ
５ ユニット回路
６ 表示装置
６−１ 第１スリット枠
６−２ 第２スリット枠
６−３ 第３スリット枠
６−４ 第４スリット枠
６−５ 第５スリット枠
７ キー入力部
１０ ＤＲＡＭ
１１ 内蔵フラッシュメモリ
１２ インターフェイス
１３ カード
６６ カーソル
６７ スルー画像
６８ スキーヤー
Ｍ 動的領域

Claims (15)

1. 複数のフレーム画像を取得する取得手段と、
   フレーム画像の画像領域を、複数の領域に分割するための分割条件が予め記憶されている分割条件記憶手段と、
   前記分割条件記憶手段に記憶されている分割条件に基づいて、前記取得手段により取得される各フレーム画像の画像領域を分割する分割手段と、
   前記各フレーム画像から、前記分割手段により分割された所定の分割領域に対応する画像部分を切り出し抽出する抽出手段と、
   前記抽出手段により切り出し抽出された各分割画像を結合させた合成画像を生成する合成画像生成手段とを備え、
   前記抽出手段は、前記取得手段により取得されるフレーム画像の取得順序に基づいて、前記各フレーム画像からそれぞれ異なる分割領域を切り出し抽出することを特徴とする画像合成装置。
2. 被写体を撮像して画像データを出力する撮像素子を備え、
   前記取得手段は、外部からの所定の操作毎に、前記撮像素子から出力された画像データに基づいて前記フレーム画像を取得することを特徴とする請求項１記載の画像合成装置。
3. 前記複数のフレーム画像を予め記憶している第１の画像記憶手段と、
   前記画像記憶手段に記憶されている各フレーム画像を、その時系列順に再生表示させる表示制御手段とを備え、
   前記取得手段は、外部からの所定の操作毎に、その操作タイミング時に前記表示制御手段により再生表示されているフレーム画像を取得することを特徴とする請求項１記載の画像合成装置。
4. 撮影シーンを選択する撮影シーン選択手段を備え、
   前記分割条件は、異なる撮影シーンと対応付けて前記分割条件記憶手段に記憶され、
   前記分割手段は、前記撮影シーン選択手段により選択された撮影シーンに対応する分割条件に基づいて、前記フレーム画像の画像領域を分割することを特徴とする請求項２又は３記載の画像合成装置。
5. 前記撮像素子から出力される画像データ、又は前記表示制御手段により再生表示されるフレーム画像を、イメージ画像として表示する表示手段と、
   前記表示手段に表示されるイメージ画像上に、前記分割条件に基づいた分割領域を区分する分割ラインを重畳表示する分割ライン表示制御手段と、
   を備えることを特徴とする請求項１から４にいずれか記載の画像合成装置。
6. 前記抽出手段により、既に前記分割画像が切り出し抽出された分割領域、又は次回に切り出し抽出される分割領域を前記表示手段に識別表示する識別表示制御手段を備えることを特徴とする請求項５記載の画像合成装置。
7. 複数のフレーム画像を予め記憶している第２の画像記憶手段と、
   前記第２の画像記憶手段に記憶されている時系列的に隣接したフレーム画像間で、変化のある画像領域を動的領域として検出する検出手段とを備え、
   前記取得手段は、前記第２の画像記憶手段に記憶されている各フレーム画像を時系列的に並べたときに、前記検出手段により検出された動的領域が、所定の画像領域内に収まる最初のフレーム画像を、前記第２の画像記憶手段から順次取得することを特徴とする請求項１記載の画像合成装置。
8. 前記分割条件記憶手段に記憶されている分割条件に基づいて、前記第２の画像記憶手段に記憶されている各フレーム画像を分割する第２の分割手段を備え、
   前記取得手段は、前記第２の分割手段により分割された各分割領域としての前記画像領域内に、前記動的領域が最初に収まるフレーム画像を、前記第２の画像記憶手段から順次取得することを特徴とする請求項７記載の画像合成装置。
9. 前記合成画像生成手段は、前記抽出手段により切り出し抽出された各分割画像を結合させる際に、各分割画像を結合する結合領域における画像データを、結合される互いの分割画像データに基づいて調整して、合成画像を生成することを特徴とする請求項１から８にいずれか記載の画像合成装置。
10. 前記合成画像生成手段は、結合領域をモザイク結合して、合成画像を生成することを特徴とする請求項９記載の画像合成装置。
11. 前記合成画像生成手段は、前記結合領域における画像データを、結合される互いの分割画像データの平均値にして、画像を生成することを特徴とする請求項９記載の画像合成装置。
12. 前記合成画像生成手段は、結合される互いの分割画像における結合部情報に基づいて、互いの分割領域のズレを補正した画像を生成することを特徴とする請求項１から１１にいずれか記載の画像合成装置。
13. 前記合成画像生成手段は、前記互いの分割領域のズレを補正することにより、合成画像のサイズ又は形状が元画像と異なる場合には、前記合成画像が元のフレーム画像と等しくなるように、トリミング及び拡大処理を行うことを特徴とする請求項１２記載の画像合成装置。
14. 画像合成装置が備えるコンピュータを、
    複数のフレーム画像を取得する取得手段と、
    フレーム画像の画像領域を、複数の領域に分割するための分割条件が予め記憶されている分割条件記憶手段と、
    前記分割条件記憶手段に記憶されている分割条件に基づいて、前記取得手段により取得される各フレーム画像の画像領域を分割する分割手段と、
    前記各フレーム画像から、前記分割手段により分割された所定の分割領域に対応する画像部分を切り出し抽出する抽出手段と、
    前記抽出手段により切り出し抽出された各分割画像を結合させた合成画像を生成する合成画像生成手段として機能させ、
    前記抽出手段は、前記取得手段により取得されるフレーム画像の取得順序に基づいて、前記各フレーム画像からそれぞれ異なる分割領域を切り出し抽出することを特徴とする画像合成プログラム。
15. 複数のフレーム画像を取得する取得ステップと、
    フレーム画像の画像領域を、複数の領域に分割するための分割条件が予め記憶されている分割条件記憶手段の前記分割条件に基づいて、前記取得手段により取得される各フレーム画像の画像領域を分割する分割ステップと、
    前記各フレーム画像から、前記分割ステップにより分割された所定の分割領域に対応する画像部分を切り出し抽出する抽出ステップと、
    前記抽出ステップにより切り出し抽出された各分割画像を結合させた合成画像を生成する合成画像生成ステップとを含み、
    前記抽出ステップでは、前記取得ステップにより取得されるフレーム画像の取得順序に基づいて、前記各フレーム画像からそれぞれ異なる分割領域を切り出し抽出することを特徴とする画像合成方法。
    

Images