JP2012248998A - 画像処理装置、画像処理装置の制御方法、およびプログラム、並びに記録媒体 - Google Patents

Abstract

【課題】連続撮影の結果得られた画像を１枚の画像に合成する際、当該画像毎に合成に用いる画像として適切であるか否かについて、画像合成処理を行う前に容易に確認する。
【解決手段】複数枚の画像を順次、取得する取得手段と、複数枚の画像を合成する合成手段と、画像を表示する表示手段とを有し、前記取得手段によって所定の枚数の画像が取得される前には、前記合成手段は、前記取得手段で取得された画像を順次、簡易的に合成した合成画像を出力し、前記表示手段は、前記合成手段から出力された前記簡易的な合成画像を表示し、前記取得手段によって所定の枚数の画像が取得された後には、前記合成手段は、前記取得手段で取得された画像を前記所定の枚数分で合成した本合成画像を出力し、前記表示手段は、前記合成手段から出力された本合成画像を表示部に表示することを特徴とする。
【選択図】図１

Description

本発明は、連続撮影によって得られた複数枚の画像を合成して１枚の画像を生成する画像処理装置、画像処理装置の制御方法、およびプログラム、並びに記録媒体に関する。

連続撮影によって得られる複数枚の画像を合成した合成画像を確認する際には、一般に、連続撮影の終了後に画像合成処理を行って、その合成画像を表示装置に表示して確認するようにしている。

撮影された複数枚の画像を画像合成して１枚の合成画像を生成する技術がある。撮像素子が高画素であったり、画像合成処理を含めた処理が複雑であったりすると、処理に要する時間は大きく、合成対象の最後の画像が撮影されてから合成画像の表示（確認）までに時間が掛かってしまう。この点を改善するために、画像合成処理に近似した処理時間の短い他の合成処理を行って表示用の合成画像を生成するようにしたものがある（特許文献１）。

ところで、画像合成処理によって得られる合成画像は、特に意図していない限り、画像毎の被写体の動きに起因する所謂被写体ブレのない画像であることが望ましい。

特開２００２−１１２１０３号公報

ところが、特許文献１に記載の手法では、画像毎の被写体ブレを確認するためには、合成画像がプレビュー表示されるのを待って、合成画像を確認しなければならず、時間が掛かってしまう。

上記課題に鑑み、本発明の目的は、複数枚の撮影画像から１枚の合成画像を生成する際、複数枚の各撮影画像が合成に用いる画像として適切であるか否かをより早く容易に確認できる画像処理装置および画像処理装置の制御方法を提供することにある。

上記の目的を達成するために、本発明による画像処理装置は、複数枚の画像を順次、取得する取得手段と、前記取得手段で取得される画像を順次、メモリに記憶する第１の記憶手段と、前記第１の記憶手段に記憶された画像を縮小する第１の縮小手段と、複数枚の画像を合成処理する合成手段と、前記合成手段から出力される画像を記憶する第２の記憶手段と、入力される画像を表示する表示手段と、を有し、前記取得手段によって所定の枚数の画像が取得される前には、前記第１の縮小手段は、前記第１の記憶手段に記憶された画像を順次、縮小し、前記合成手段は、前記第１の縮小手段で縮小された画像と前記第２の記憶手段に記憶された前回の合成画像とを順次合成して合成画像を生成し、当該合成画像を第２の記憶手段に今回の合成画像として記憶し、前記表示手段は、前記合成手段から出力された画像を表示部に順次、表示することを特徴とする。

本発明による画像処理装置の制御方法は、画像を取得する取得手段と、前記取得手段で取得される画像をメモリに記憶する第１の記憶手段と、前記第１の記憶手段に記憶された画像を縮小する第１の縮小手段と、複数枚の画像を合成処理する合成手段と、前記合成手段から出力される画像を記憶する第２の記憶手段と、を有する画像処理装置の制御方法であって、取得手段が、複数枚の画像を順次、取得する取得ステップと、前記取得手段によって所定の枚数の画像が取得される前に、前記第１の縮小手段が、前記第１の記憶手段に記憶された画像を順次、縮小する縮小ステップと、前記合成手段が、前記第１の縮小手段で縮小された画像と前記第２の記憶手段に記憶された前回の合成画像とを順次合成して合成画像を生成し、当該合成画像を第２の記憶手段に今回の合成画像として記憶する合成ステップと、前記合成手段から出力された画像を表示部に順次、表示する表示ステップと、を有することを特徴とする。

本発明によれば、複数枚の撮影画像から１枚の合成画像を生成する際、複数枚の各撮影画像が合成に用いる画像として適切であるか否かをより早く容易に確認できる。

本発明の第１の実施形態による画像処理装置の一例を示すブロック図である。 図１に示す画像処理制御部の構成を説明するためのブロック図である。 図２に示す画像処理制御部で行われる画像処理を説明するための図であり、（Ａ）は従来の画像処理を示す図、（Ｂ）は（Ａ）に示す画像処理を行った際の画像表示を示す図、（Ｃ）は画像処理制御部の画像処理を示す図、（Ｄ）は（Ｃ）に示す画像処理を行った際の画像表示を示す図である。 図２に示す画像処理制御部における連続撮影が開始された後の画像合成処理を説明するためのフローチャートである。 図２に示す画像処理制御部における連続撮影が開始された後の画像表示処理を説明するためのフローチャートである。 ５枚の連続撮影の結果得られた連続した５枚の画像を示す図である。 図６に示す５枚の画像について経過表示処理を行った際の画像のイメージを説明するための図である。 図１に示す画像表示部に表示されるステータス表示および本合成画像のイメージを説明するための図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。なお、この画像処理装置は、例えば、デジタルカメラなどの撮像装置である。

［第１の実施形態］
本実施形態では、複数枚の撮影画像から１枚の合成画像を生成する際、各撮影画像が合成に用いる画像として適切であるか否かを確認するために、各撮影画像の撮影動作に並行して、撮影が終了した画像までの合成画像を表示するための各処理を行う。この際、各処理は、記録される最終的な合成画像に行う処理に比べて処理時間の早い簡易的な処理で良いが、最終的な合成画像の合成を行う回路（合成回路）と同一の回路を用いる。

図１は、本発明の第１の実施形態による画像処理装置の一例を示すブロック図である。

図１において、画像処理装置は、画像入力部１０１、画像処理制御部１０２（画像合成手段および判定手段）、画像表示部（表示部）１０３、フォーマット制御部１０４、記録・読み出し部１０５、記録メディア１０６、および操作部１０７を備える。記録メディア１０６は画像処理装置に着脱可能である。

画像入力部１０１は、例えば、複数のレンズおよびＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を備える撮像部又は外部機器から出力された出力画像データを入力可能なＩＦ（インタフェース）部である。画像入力部１０１から画像処理制御部１０２に入力された画像（映像）データは、画像処理制御部１０２において画像処理されて、表示画像として画像表示部１０３に表示される。この画像表示部１０３は、例えば、液晶パネルを有している。

画像処理制御部１０２で画像処理された画像データは、フォーマット制御部１０４によって記録可能なフォーマットに変換される。そして、フォーマット変換された画像データは記録・読み出し部１０５によって記録メディア１０６に記録される。

また、記録メディア１０６に記録された画像データは、記録・読み出し部１０５によって読み出される。そして、この画像データはフォーマット制御部１０４によって表示可能なフォーマットに変換される。そして、当該画像データは、画像は画像処理制御部１０２によって画像処理されて、画像表示部１０３に表示される。

以下の説明では、低露光で連続撮影を行って５枚の画像データ（以下単に画像ともいう）を得て、これら５枚の画像を画像合成して得られた１枚の画像を記録メディア１０６に記録（記憶）するものとする。

図２は、図１に示す画像処理制御部１０２の構成を説明するためのブロック図である。

図２を参照すると、画像処理制御部１０２は、画像合成処理部２０１、縮小処理部２０２（第１の縮小手段）、縮小処理部２０３（第２の縮小手段）、第１の画像メモリ２０４（第１の記憶手段）、第２の画像メモリ２０５（第２の記憶手段）を備えている。

ここで、連続撮影の結果得られた５枚の画像を用いて、撮影された画像から順次合成し、合成の途中経過を表示画面に表示させる経過表示処理について説明する。本実施形態では、撮影の結果得られた画像は３８４０×２８８０の解像度を有し、画像表示部１０３の解像度をＶＧＡ（６４０×４８０）とする。また、第１の画像メモリ２０４には上記３８４０×２８８０の解像度の画像を複数枚記録する容量があり、第２の画像メモリ２０５には最低限上記３８４０×２８８０の解像度の画像を１枚記録することができる容量があるものとする。

１枚撮影される毎に画像入力部１０１から１枚の画像が画像処理制御部１０２に入力される。入力された画像は１枚の画像として第１の画像メモリ２０４に順次記録される。ここでは、前述のように、５枚の連続撮影が行われ、撮影される毎に画像が画像入力部１０１から入力され、合計５枚の画像が第１の画像メモリ２０４に記録される。

第１の画像メモリ２０４に記録された画像は、縮小処理部２０２において表示解像度に縮小される。入力解像度が３８４０×２８８０、画像表示部１０３の解像度が６４０×４８０であるので、縮小処理部２０２は水平方向については６ピクセル毎に１ピクセルを取り出す１／６間引きを行う。また、縮小処理部２０２は垂直方向について６ライン毎に１ラインを取り出す１／６間引きを行って、画像を６４０×４８０の解像度に縮小して、縮小処理画像とする。

選択部２０２ａは、経過表示処理の際には、縮小処理部２０２の出力を選択する。縮小処理画像は画像合成処理部２０１に与えられ、画像合成処理部２０１は第２の画像メモリ２０５から読み出した前回までに撮影された画像が合成された合成画像と縮小処理画像とを画像合成処理する。そして、画像合成処理部２０１は画像合成処理後の画像を第２の画像メモリ２０５に今回の合成画像として記録する。この際、前回の合成画像および縮小処理画像の合成比率は特に限定されない。最終的に５枚の画像を本合成する際の合成比率に準じてもよいし、表示用に別途合成比率を設定しても良い。

このように、画像合成処理部２０１は、連続撮影の撮影と並行して、順次それまでに得られた画像を合成処理した合成画像を表示用画像として出力することになる。

なお、画像合成処理部２０１に入力された縮小処理画像が連続撮影の結果得られた１枚目の画像に対応する場合には、画像合成処理部２０１は画像合成処理を行わずに、縮小処理画像をそのまま第２の画像メモリ２０５に今回の合成画像として記録する。

選択部２０３ａは、経過表示処理の際には、画像合成処理部２０１の出力を選択する。この結果、画像合成処理部２０１から出力された合成画像は画像表示部１０３に与えられ、画像表示部１０３に表示される。

連続撮影が終了して、最後の画像が第１の画像メモリ２０４に記録されると本合成処理が開始される。本合成処理の際には、選択部２０２ａは第１の画像メモリ２０４の出力を選択する。これによって、第１の画像メモリ２０４に記録された画像が１枚ずつ読み出されて画像合成処理部２０１に与えられる。このように、本合成処理の際には、縮小処理部２０２による縮小処理は行われない。

画像合成処理部２０１は、第２の画像メモリ２０５から読み出した前回までに画像合成処理部２０１が受け取った画像が合成された合成画像と今回選択部２０２ａから出力された画像とを画像合成処理して、第２の画像メモリ２０５に今回の合成画像として記録する。

画像合成処理部２０１に入力された画像が１枚目の画像である場合には、画像合成処理部２０１は画像合成処理を行わずに、当該画像をそのまま第２の画像メモリ２０５に今回の合成画像として記録する。

１枚の合成処理が終了すると、第１の画像メモリ２０４から次の画像１枚が読み出され、画像合成処理部２０１に与えられる。そして、画像合成処理部２０１は同様に画像合成処理を行って、第２の画像メモリ２０５に新しい今回の合成画像として記録する。

合成のための画像が全て第１の画像メモリ２０４から読み出されて、画像合成処理部２０１による画像合成処理が終了すると、画像合成処理部２０１は最終的な本合成画像を縮小処理部２０３に出力する。縮小処理部２０３は入力された本合成画像についてその画像サイズを画像表示部１０３における表示用の画像サイズに変換する。

本合成処理の際には、選択部２０３ａは縮小処理部２０３の出力を選択する。これによって、縮小処理された本合成画像は縮小処理部２０３から画像表示部１０３に入力され、画像表示部１０３に表示される。さらに、本合成画像はフォーマット制御部１０４に与えられ、フォーマット制御部１０４は前述したようにしてフォーマット変換処理を行う。そして、フォーマット変換処理後の画像は記録・読み出し部１０５によって記録メディア１０６に記録される。

ここで、図２に示す画像処理制御部１０２で行われる画像処理について従来の処理と比較して説明する。

図３は、図２に示す画像処理制御部１０２で行われる画像処理を説明するための図である。そして、図３（Ａ）は従来の画像処理を示す図であり、図３（Ｂ）は図３（Ａ）に示す画像処理を行った際の画像表示を示す図である。また、図３（Ｃ）は画像処理制御部１０２の画像処理を示す図であり、図３（Ｄ）は図３（Ｃ）に示す画像処理を行った際の画像表示を示す図である。

図３（Ａ）に示す従来の画像処理では、例えば、カメラのシャッターが押されると、連続撮影の結果得られた画像は順次画像メモリに取り込まれる（撮影画像取り込み）。連続撮影が終了すると同時に画像合成処理が開始される（合成処理）。そして、合成処理が終了すると、合成画像が表示される（表示）。

この際、図３（Ｂ）に示すように、シャッターが押されてから画像合成が終了するまで（つまり、撮影画像の取り込みから合成処理が終了するまで）、画像表示部には黒画面の処理中ステータスが表示される。画像合成が終了した後に、画像が画像表示部に表示され（本合成画像）、ユーザは被写体ブレが起きていたか、そして、連続撮影の結果得られた画像が適正であったか否かの確認を行うことになる。

一方、本実施形態では、図３（Ｃ）に示すように、シャッターが押された後、連続撮影の結果得られた画像は順次画像メモリに取り込まれる。そして、１枚撮影する毎に、つまり、１枚撮影する都度、画像について縮小処理が行われた後に合成処理が行われて、画像表示部１０３に合成画像が表示される（経過表示処理：縮小＋合成処理＋表示）。

連像撮影が終了すると、本合成処理が開始される。そして、本合成処理が終了すると、本合成画像が表示用の画像サイズにリサイズされ、画像表示部１０３に表示される（表示）。

この際、図３（Ｄ）に示すように、シャッターが押されてから１枚撮影される毎に合成画像が更新されて表示される。このような経過表示処理を行うことで、ユーザは連続撮影の途中に、被写体ブレが起きているかなど、連続撮影の結果得られた画像が適正であるか否かの確認を行うことができる。つまり、本合成処理終了前に、経過表示処理によって表示される撮影が終了した画像までの合成画像を確認することができる。経過表示処理が終了すると、本合成処理が行われて画像表示部１０３には黒画面の処理中ステータス表示が行われ、本合成処理の終了後に本合成画像が画像表示部１０３に表示される。

以下の説明では、図３（Ａ）および図３（Ｂ）に示す合成処理および表示を第１の合成処理表示機能と呼び、図３（Ｃ）および図３（Ｄ）に示す合成処理および表示を第２の合成処理表示機能と呼ぶことにする。

図４は、図２に示す画像処理制御部１０２における連続撮影が開始された後の画像合成処理を説明するためのフローチャートである。

図２および図４を参照して、画像処理が開始されると、図示しないＣＰＵ等の制御装置は第２の合成処理表示機能がオンであるか否かを判定する（ステップＳ４０１）。第２の合成処理表示機能がオンであると（ステップＳ４０１において、ＹＥＳ）、ＣＰＵは画像処理制御部１０２にその旨通知する。これによって、画像処理制御部１０２は第２の合成処理表示機能で動作する。

続いて、画像処理制御部１０２は画像が１枚撮影されたか否かを判定する（ステップＳ４０２）。画像が撮影されないと（ステップＳ４０２において、ＮＯ）、画像処理制御部１０２は待機する。画像が１枚撮影されると（ステップＳ４０２において、ＹＥＳ）、画像処理制御部１０２は撮影画像を第１の画像メモリ２０４に記録する（ステップＳ４０３）。そして、縮小処理部２０２はこの画像を第１の画像メモリ２０４から読み出して、間引きを行って縮小する（ステップＳ４０４）。

なお、経過表示処理の際には、前述したように、選択部２０２ａは縮小処理部２０２の出力を選択し、選択部２０３ａは画像合成処理部２０１の出力を選択する。

次に、画像処理制御部１０２は当該縮小した画像が１枚目であるか否かを判定する（ステップＳ４０５）。縮小した画像が１枚目であると（ステップＳ４０５において、ＹＥＳ）、前述したように、画像合成処理部２０１では合成処理を行わずに、当該縮小した画像を新しい（今回の）合成画像とする（ステップＳ４０６）。そして、画像合成処理部２０１は今回の合成画像を第２の画像メモリ２０５に記録する（ステップＳ４０７）。

一方、縮小した画像が１枚目でない場合には（ステップＳ４０５において、ＮＯ）、画像合成処理部２０１は第２の画像メモリ２０５に記録されている前回までに撮影された画像が合成された合成画像を読み出して、縮小した画像と前回の合成画像との合成処理を行い、今回の合成画像とする（ステップＳ４０８）。そして、画像合成処理部２０１はステップＳ４０７の処理に進んで、今回の合成画像を第２の画像メモリ２０５に登録する。

続いて、画像処理制御部１０２は合成対象となる画像の撮影が全て終了したか否かを判定する（ステップＳ４０９）。撮影が終了していないと（ステップＳ４０９において、ＮＯ）、画像処理制御部２０１はステップＳ４０２に戻ってステップＳ４０２〜Ｓ４０９の処理を繰り返す。

一方、撮影が終了したと判定されると（ステップＳ４０９において、ＹＥＳ）、選択部２０２ａは第１の画像メモリ２０４の出力を選択し、選択部２０３ａは縮小処理部２０３の出力を選択する。そして、画像合成処理部２０１は第１の画像メモリから撮影された画像を１枚読み出す（ステップＳ４１０）。

続いて、画像合成処理部２０１は、当該読み出した画像が合成する画像として１枚目であるか否かを判定する（ステップＳ４１１）。読み出した画像が１枚目であると（ステップＳ４１１において、ＹＥＳ）、画像合成処理部２０１は合成処理を行うことなく、当該画像を今回の合成画像とする（ステップＳ４１２）。そして、画像合成処理部２０１は今回の合成画像を第２の画像メモリ２０５に記録する（ステップＳ４１３）。

一方、第１の画像メモリ２０４から読み出した画像が合成する画像として１枚目でない場合には（ステップＳ４１１において、ＮＯ）、画像合成処理部２０１は第２の画像メモリ２０５に記録された前回までに画像合成処理部２０１が受け取った画像が合成された合成画像を読み出す。画像合成処理部２０１は、第１の画像メモリ２０４から読み出した画像と前回の合成画像との合成処理を行って、今回の合成画像とする（ステップＳ４１４）。そして、画像合成処理部２０１はステップＳ４１３の処理に進み、今回の合成画像を第２の画像メモリ２０５に記録する（ステップＳ４１４）。

次に、画像合成処理部２０１は必要枚数分の画像合成が終了したか否かについて判定する（ステップＳ４１５）。必要枚数分の画像合成が終了していないと（ステップＳ４１５において、ＮＯ）、画像合成処理部２０１はステップＳ４１０の処理に戻って、ステップＳ４１０〜Ｓ４１５の処理を繰り返す。

一方、必要枚数分の画像合成が終了すると（ステップＳ４１５において、ＹＥＳ）、画像合成処理部２０１は最終的な生成物である本合成画像を縮小処理部２０３に渡す。縮小処理部２０３は当該本合成画像の画像サイズを画像表示部１０３の表示解像度に対応する画像サイズに変換する画像縮小処理を行う（ステップＳ４１６）。そして、画像処理制御部１０２は処理を終了する。

ステップＳ４０１において、第２の合成処理表示機能がオフであると（ステップＳ４０１において、ＮＯ）、ＣＰＵは画像処理制御部１０２にその旨通知する。これによって、画像処理制御部１０２は第１の合成処理表示機能で動作する。

なお、この第１の合成処理表示機能では、選択部２０２ａは第１の画像メモリ２０４の出力を選択し、選択部２０３ａは縮小処理部２０３の出力を選択する。

続いて、画像処理制御部１０２は画像が１枚撮影されたか否かを判定する（ステップＳ４１７）。画像が撮影されないと（ステップＳ４１７において、ＮＯ）、画像処理制御部１０２は待機する。画像が１枚撮影されると（ステップＳ４１７において、ＹＥＳ）、画像処理制御部１０２は撮影画像を第１の画像メモリ２０４に記録する（ステップＳ４１８）。

次に、画像処理制御部１０２は必要枚数分の撮影が終了したか否かを判定する（ステップＳ４１９）。必要枚数分の撮影が終了していないと（ステップＳ４１９において、ＮＯ）、画像処理制御部２０１はステップＳ４１７の処理に戻ってステップＳ４１７〜Ｓ４１９の処理を繰り返す。

一方、撮影が終了したと判定すると（ステップＳ４１９において、ＹＥＳ）、画像処理制御部１０２はステップＳ４１０の処理に移行して前述したステップＳ４１０〜Ｓ４１６の処理を行う。

図５は、図２に示す画像処理制御部１０２における連続撮影が開始された後の画像表示処理を説明するためのフローチャートである。

図２および図５を参照して、まず、ＣＰＵ等の制御装置は第２の合成処理表示機能がオンであるか否かを判定する（ステップＳ５０１）。第２の合成処理表示機能がオンであると（ステップＳ５０１において、ＹＥＳ）、ＣＰＵは画像処理制御部１０２にその旨通知する。これによって、前述したように、画像処理制御部１０２は第２の合成処理表示機能で動作する。

第２の合成処理表示機能においては、画像処理制御部１０２は画像表示部１０３に黒画を表示する（ステップＳ５０２：ブラック表示）。続いて、画像処理制御部１０２は１枚目の画像が画像合成処理部２０１に入力されたか否かを判定する（ステップＳ５０３）。１枚目の画像の入力がなされていないと（ステップＳ５０３において、ＮＯ）、画像処理制御部１０２はブラック表示を継続する。

１枚目の画像の入力がなされていると（ステップＳ５０３において、でＹｅｓ）、画像合成処理部２０１が出力した画像は縮小処理部２０３を介してリサイズされ、画像表示部１０３に表示される（ステップＳ５０４：表示画像更新）。

次に、画像処理制御部１０２は必要枚数分の撮影が終了したか否かを判定する（ステップＳ５０５）。必要枚数分の撮影が終了していないと（ステップＳ５０５において、ＮＯ）、画像処理制御部２０１はステップＳ５０２に戻ってステップＳ５０３〜Ｓ５０５の処理を繰り返す。２枚目以降の画像が画像合成処理部２０１に入力されるときには、ステップＳ５０３では今回入力された画像までの画像合成処理が終了したか否かを判定する。

一方、必要枚数分の撮影が終了したと判定すると（ステップＳ５０５において、ＹＥＳ）、画像処理制御部１０２は本合成処理であることを示すステータスを画像表示部１０３に表示する（ステップＳ５０６）。そして、画像処理制御部１０２は本合成処理が終了したか否かを判定する（ステップＳ５０７）。本合成処理が終了しないと（ステップＳ５０７において、ＮＯ）、画像処理制御部１０２は本合成処理を継続する。

本合成処理が終了すると（ステップＳ５０７において、ＹＥＳ）、画像処理制御部１０２は本合成画像を縮小処理部２０３でリサイズした後、当該本合成画画像を画像表示部１０３に表示する（ステップＳ５０８）。そして、画像処理制御部１０２は画像表示処理を終了する。

ステップＳ５０１において、第２の合成処理表示機能がオフであると（ステップＳ５０１において、ＮＯ）、ＣＰＵは画像処理制御部１０２にその旨通知する。これによって、画像処理制御部１０２は第１の合成処理表示機能で動作する。

第１の合成処理表示機能においては、画像処理制御部１０２は画像表示部１０３に連写中である旨を示すステータスを表示する（ステップＳ５０９）。その後、画像処理制御部１０２はステップＳ５０７に移行して、本合成処理が終了したか否かを判定する。

ここで、連続撮影によって得られた画像と画像表示部に表示される画像のイメージについて説明する。

図６は、５枚の連続撮影の結果得られた時間的に連続した５枚の画像を示す図である。また、図７は、図６に示す５枚の画像について合成処理を行った際の画像のイメージを説明するための図である。そして、図８は、図１に示す画像表示部１０３に表示されるステータス表示および本合成画像のイメージを説明するための図である。

いま、連続撮影を行って、図６に示す連続した５枚の画像を得たものとする。まず、これら５枚の画像について前述したように、順次合成処理が行われる。図７において、１枚目の表示画像は、図６に示す１枚目の撮影画像をリサイズした画像である。２枚目の表示画像は図６に示す１枚目の表示画像と２枚目の撮影画像をリサイズした画像とを合成処理した結果得られたものである。３枚目の表示画像は図７に示す２枚目の表示画像と図６に示す３枚目の撮影画像をリサイズした画像とを合成処理した結果得られたものである。

４枚目の表示画像は図７に示す３枚目の表示画像と図６に示す４枚目の撮影画像をリサイズした画像とを合成処理した結果得られたものである。そして、５枚目の表示画像は図７に示す４枚目の表示画像と図６に示す５枚目の撮影画像をリサイズした画像とを合成処理した結果得られたものである。

前述の説明からように理解できるように、本合成処理に当たっては、図８に示すように、まず、画像表示部１０３にブラック表示が行われ、続いて、画像表示部１０３に連続撮影中を示すステータスが表示される。続いて、本合成処理中を示すステータスが画像表示部１０３に表示されて、その後、本合成画像が画像表示部１０３に表示されることになる。

ここでは、図４のフローチャートで説明したように、連続撮影において最後の撮影が終了すると本合成処理が行われる。このため、図７に示す４枚目の表示画像が画像表示部１０３に表示された後、画像表示部１０３には、図８に示す３枚目の画像（合成処理中を示すステータス）が表示されることになる。なお、第２の画像メモリ２０５の容量が許すならば、そのまま４枚目の表示画像を表示し続けても良い。

このように、第１の実施形態による画像処理装置では、本合成処理を開始する前に、図７に示す４枚目の表示画像において被写体ブレが生じているか否かをユーザが確認することができる。これによって、ユーザは、撮影の結果得られた画像が本合成処理に適する画像であるか否かを迅速に判断することができる。

第１の実施形態では、本合成処理が終了するまでに要する時間の短縮を考慮したため、図７に示す４枚目の表示画像までが画像表示部１０３に表示された後、図８の２枚目に示す画像を画像表示部１０３に表示するようにしたが、図７に示す５枚目の表示画像も画像表示部１０３に表示するようにしてもよい。この際には、図７に示す５枚目の表示画像を画像表示部１０３に所定の時間だけ行った後、図８の２枚目に示す画像が画像表示部１０３に表示される。

本実施形態では、経過表示処理において、本合成画像の生成で行われる画像合成処理に比べて処理時間を短縮するために予め撮影画像をリサイズして縮小し、合成処理を行った。しかし、これに限らず、本合成画像の生成で行われる画像合成処理を簡易的にした画像合成処理を画像合成処理部２０１に行わせるようにしてもよい。例えば、本合成画像の生成は撮像素子出力に起因するＲ（赤）、Ｇ（緑）、Ｂ（青）の画像データ（ＲＡＷデータ）の状態で合成を行うのに対して、簡易的な合成では、ＲＡＷデータをＹ（輝度）、ＵＶ（色差）の画像データ（ＹＵＶデータ）の状態に変換して合成を行うことで処理負荷や処理速度を低減するなどしてもよい。この場合、縮小処理部２０３を代わりに色変換部として、上述の処理を行うなどしてもよい。また、例えば本合成画像の生成においては、ブロックあるいは画素ごとに合成方法を異ならせるような複雑な合成を行うのに対して、簡易的な合成では、単純な加算あるいは加算平均の合成を行うなどしてもよい。さらには、本合成画像の生成は、合成前の画像あるいは合成後の画像に対して階調処理、色処理などの処理を行うのに対して、簡易的な合成ではその手順の一部を省略するなどしてもよい。

なお、本実施形態においては、連続撮影の画像枚数を５枚としたが、連続撮影の画像枚数は２枚以上であればよく、この画像枚数はユーザによって任意に設定することができる。そして、合成する画像枚数は連続撮影した画像枚数よりも少なくてもよい。また、ここでは、簡易合成処理の際の画像合成比率を１／２としたが、この画像合成比率はユーザが任意に設定するようにしてもよい。

加えて、ここでは、縮小処理の際には間引き処理を用いるようにしたが、例えば、オーバーサンプリングフィルタ、線形補間フィルタ、又はバイキュービックフィルタを用いて縮小処理を行うようにしてもよい。さらに、連続撮影中においては、図８の二枚目に示す画像の表示を行うようにしたが、他の画像を表示するようにしてもよい。また、撮影画像の解像度および表示解像度をそれぞれ３８４０×２８８０およびＶＧＡ（６４０×４８０）としたが、撮影画像の解像度および表示解像度はこれに限定されるものではない。

さらに、簡易的な合成および本合成画像を生成するための合成は同一の合成回路でかつ異なる期間で行われることになる。また、所定の枚数の画像が取得された後、本合成画像が生成されるまでの間は、本合成画像生成のための合成が行われる直前に合成された合成画像が表示される。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を、画像処理装置に実行させるようにすればよい。この際、制御方法は、少なくとも取得ステップ、縮小ステップ、合成ステップ、および表示ステップを有する。また、制御方法は、簡易合成ステップ、第１の表示ステップ、本合成ステップ、および第２の表示ステップを有するようにしてもよい。また、上述の実施の形態の機能を手順として記述されたプログラムをコンピュータによって実行可能な制御プログラムとして、この制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像入力部
１０２ 画像処理制御部
１０３ 画像表示部
１０４ フォーマット制御部
１０５ 記録・読み出し部
１０６ 記録メディア
１０７ 操作部
２０１ 画像合成処理部
２０２ 縮小処理部
２０３ 縮小処理部
２０４，２０５ 画像メモリ

Claims (13)

1. 複数枚の画像を順次、取得する取得手段と、
   前記取得手段で取得される画像を順次、メモリに記憶する第１の記憶手段と、
   前記第１の記憶手段に記憶された画像を縮小する第１の縮小手段と、
   複数枚の画像を合成処理する合成手段と、
   前記合成手段から出力される画像を記憶する第２の記憶手段と、
   入力される画像を表示する表示手段と、を有し、
   前記取得手段によって所定の枚数の画像が取得される前には、
   前記第１の縮小手段は、前記第１の記憶手段に記憶された画像を順次、縮小し、
   前記合成手段は、前記第１の縮小手段で縮小された画像と前記第２の記憶手段に記憶された前回の合成画像とを順次合成して合成画像を生成し、当該合成画像を第２の記憶手段に今回の合成画像として記憶し、
   前記表示手段は、前記合成手段から出力された画像を表示部に順次、表示することを特徴とする画像処理装置。
2. 前記合成手段で合成された画像を縮小する第２の縮小手段と、
   前記合成手段で合成された画像を記録する記録手段と、を有し、
   前記取得手段によって所定の枚数の画像が取得された後には、
   前記合成手段は、前記第１の記憶手段に記憶され前記第１の縮小手段によって縮小されていない画像と前記第２の記憶手段に記憶された前回の合成画像とを順次合成して本合成画像を生成し、当該本合成画像を第２の記憶手段に今回の合成画像として記憶し、
   前記第２の縮小手段は、前記合成手段で前記所定の枚数の合成がなされた本合成画像を縮小し、
   前記表示手段は、前記第２の縮小手段より出力された画像を前記表示部に表示し、
   前記記録手段は、前記本合成画像を記録することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示手段は、前記取得手段によって所定の枚数の画像が取得された後、前記合成手段で前記本合成画像が生成されるまでの間は、前記本合成画像生成のための合成が行われる直前に合成された合成画像を表示することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の縮小手段は、前記表示手段の表示の画像サイズに合わせて画像を縮小することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 複数枚の画像を順次、取得する取得手段と、
   複数枚の画像を合成する合成手段と、
   画像を表示する表示手段と、を有し、
   前記取得手段によって所定の枚数の画像が取得される前には、
   前記合成手段は、前記取得手段で取得された画像を順次、簡易的に合成した合成画像を出力し、
   前記表示手段は、前記合成手段から出力された前記簡易的な合成画像を表示し、
   前記取得手段によって所定の枚数の画像が取得された後には、
   前記合成手段は、前記取得手段で取得された画像を前記所定の枚数分で合成した本合成画像を出力し、
   前記表示手段は、前記合成手段から出力された本合成画像を表示部に表示することを特徴とする画像処理装置。
6. 前記合成手段は、前記取得手段で取得された画像を縮小してから順次合成することで簡易的な合成を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記合成手段は、前記本合成画像の生成はＲＡＷデータで行い、前記簡易的な合成はＹＵＶデータで行うことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記合成手段は、前記簡易的な合成及び前記本合成画像を生成するための合成を同一の合成回路で、かつ異なる期間で行うことを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 前記複数枚の画像を撮影する撮影手段と、
   請求項１乃至８のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
10. 画像を取得する取得手段と、前記取得手段で取得される画像をメモリに記憶する第１の記憶手段と、前記第１の記憶手段に記憶された画像を縮小する第１の縮小手段と、複数枚の画像を合成処理する合成手段と、前記合成手段から出力される画像を記憶する第２の記憶手段と、を有する画像処理装置の制御方法であって、
    取得手段が、複数枚の画像を順次、取得する取得ステップと、
    前記取得手段によって所定の枚数の画像が取得される前に、
    前記第１の縮小手段が、前記第１の記憶手段に記憶された画像を順次、縮小する縮小ステップと、
    前記合成手段が、前記第１の縮小手段で縮小された画像と前記第２の記憶手段に記憶された前回の合成画像とを順次合成して合成画像を生成し、当該合成画像を第２の記憶手段に今回の合成画像として記憶する合成ステップと、
    前記合成手段から出力された画像を表示部に順次、表示する表示ステップと、を有することを特徴とする画像処理装置の制御方法。
11. 複数枚の画像を順次、取得する取得手段と、複数枚の画像を合成する合成手段と、
    画像を表示する表示手段と、を有する画像処理装置の制御方法であって、
    前記取得手段によって所定の枚数の画像が取得される前に、
    前記合成手段が、前記取得手段で取得された画像を順次、簡易的に合成した合成画像を出力する簡易合成ステップと、
    前記表示手段が、前記合成手段から出力された前記簡易的な合成画像を表示部に表示する第１の表示ステップと、を有し、
    前記取得手段によって所定の枚数の画像が取得された後に、
    前記合成手段が、前記取得手段で取得された画像を前記所定の枚数分で合成した本合成画像を出力する本合成ステップと、
    前記表示手段が、前記合成手段から出力された本合成画像を表示部に表示する第２の表示ステップと、を有することを特徴とする画像処理装置の制御方法。
12. 請求項１０または１１に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
13. コンピュータに、請求項１０または１１に記載の画像処理装置の制御方法の各ステップを実行させるためのプログラムが記録されたコンピュータが読み取り可能な記録媒体。

Images