JP2011103555A - 撮像装置 - Google Patents

Abstract

【課題】 ズーム倍率の変更やフレーミングの変更を許容して、ユーザの所望の構図で画像合成を可能にする撮像装置を提供すること。
【解決手段】 撮像手段による本撮影前に、前記撮像手段によって出力される画像データに、電子ズーム倍率または解像度の変更を指示する指示手段と、前記撮像手段による本撮影後に、前記撮像手段によって出力される画像データから、前記指示を反映させた第１の画像データを生成する生成手段と、前記第１の画像データの画像の解像度と、記憶手段に記憶された第２の画像データの画像の解像度とが等しくなるように、前記第２の画像データの画像に解像度の調整を施す解像度調整手段と、前記第１の画像データと、前記調整が施された前記第２の画像データとを合成する合成手段と、を有することを特徴とする撮像装置。
【選択図】 図５

Description

本発明は、撮像時に画像合成を伴う撮影が可能な撮像装置に関するものである。

従来、フィルムカメラにおいて、フィルムのコマ送りを行わず、複数回の露光を行い、多重露出（露光）によって画像データを合成する機能があった。また、フィルムを用いないデジタルカメラの場合でも、フィルムカメラと同様の機能を備え、合成画像を作成できるようにしているものがある。

特許文献１では、撮影ごとに画像をデジタル加算処理して多重露光撮影を実現する多重露光撮影モードを有し、このモードで撮影を行う際に、電子ズーム等の画像処理を禁止し、画質が破綻しないようにする制御が開示されている。

特登録０３８６４４０７号

しかしながら、特許文献１に開示された従来技術では、画像合成を容易にするため、多重露光（多重露出）撮影モード時には電子ズーム倍率の変更禁止を行うので、ズーム倍率を変えたいユーザに対して機能の制約を設けてしまう。

そこで、本発明の目的は、ズーム倍率の変更や解像度の変更といった操作を許容した上で、ユーザが望んだ合成画像の構図で画像合成を可能にする撮像装置を提供することである。

上記目的を達成するために、本発明における撮像装置は、請求項１に記載の通り、被写体を撮像し、前記撮像された被写体の画像データを出力する撮像手段と、画像データを記憶する記憶手段と、前記撮像手段による本撮影前に、前記撮像手段によって出力される画像データに、電子ズーム倍率または解像度の変更を指示する指示手段と、前記撮像手段による本撮影後に、前記撮像手段によって出力される画像データから、前記指示を反映させた第１の画像データを生成する生成手段と、前記第１の画像データの画像の解像度と、前記記憶手段に記憶された第２の画像データの画像の解像度とが等しくなるように、前記第２の画像データの画像に解像度の調整を施す解像度調整手段と、前記第１の画像データと、前記調整が施された前記第２の画像データとを合成する合成手段と、を有することを特徴とする。また、本発明における撮像装置は、請求項１０に記載の通り、被写体を撮像し、前記撮像された被写体の画像データを出力する撮像手段と、画像データを記憶する記憶手段と、を有する撮像装置の制御方法であって、前記撮像手段による本撮影前に、前記撮像手段によって出力される画像データに、電子ズーム倍率または解像度の変更を指示する指示ステップと、前記撮像手段による本撮影後に、前記撮像手段によって出力される画像データから、前記指示を反映させた第１の画像データを生成する生成ステップと、前記第１の画像データの画像の解像度と、前記記憶手段に記憶された第２の画像データの画像の解像度とが等しくなるように、前記第２の画像データの画像に解像度の調整を施す解像度調整ステップと、前記第１の画像データと、前記調整が施された前記第２の画像データとを合成する合成ステップと、を有することを特徴とする。

ズーム倍率、解像度の変更を許容した画像の合成を、解像度を調整し、解像度を等しくして合成することで可能にし、これによって、ユーザが所望の構図で多重露出撮影による合成画像を得ることができる。

第１の実施形態における撮像装置のブロック図 従来技術の合成画像とユーザの望む絵の例 第１の実施形態の処理のフローチャート 第１の実施形態の合成パターン例 画像合成処理のフローチャート 第２の実施形態の処理のフローチャート 第２の実施形態の合成画像の表示画面の例 第２の実施形態の１枚目の合成対象画像の変化と表示画面の例 第３の実施形態の処理のフローチャート 第３の実施形態の新しい合成対象画像とライブ画像を合成表示の例

（第１の実施形態）
以下、図１を参照して、本実施形態による撮像装置の例について説明する。

図１において、１００は本実施形態における撮像装置の一例としてのデジタルカメラである。撮像装置１００は、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末（カメラ付き携帯電話を含む）などであってもよい。１０は撮像レンズ、１１は絞り、１２はシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６、表示制御部２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御部２２及びシステム制御部５０により制御される。

３４はシャッター１２を制御するシャッター制御部、４０は絞り１１を制御する絞り制御部である。４２は撮像レンズ１０のフォーカシングを制御する測距制御部である。４２はズーム制御回路であって、撮影レンズ１０のズーミングを制御する。

２０は画像処理部であり、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して、画像データに付加されている処理データに基づき、所定の画素補間処理や色変換処理を行う。

また、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御部５０がシャッター制御部３４、絞り制御部４０及び測距制御部４１に対して、オートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行う。さらに、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてオートホワイトバランス（ＡＷＢ）処理も行っている。くわえて、画像処理部２０は本発明の特徴である画像データを合成するのための画像データ合成処理も行っている。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、表示制御部２６、メモリ３０、圧縮伸長部３２を、システム制御部５０からの指示に従って制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０、メモリ制御部２２を介して、或いはメモリ制御部２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像データは画像表示部２８を介して画像表示部２８に表示される。

画像表示部２８を用いて、撮像した画像データを逐次表示すれば、ライブビュー表示の機能を実現することが可能である。なお、画像表示部２８は、システム制御部５０の指示により表示のＯＮ又はＯＦＦが可能である。また、画像表示部２８は、合焦、手振れ、シャッタースピード、絞り値、露出補正等に関する情報をシステム制御部５０からの指示に従って表示することもできる。

３０は撮影した静止画像や動画像を格納するためのメモリである。メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。更に、後述する記録媒体２００から画像データをメモリ３０に読み出し、画像処理部２０やメモリ制御部２２を介して画像表示メモリ２４に画像データを書き込む処理をし、表示制御部２６により画像表示部２８に表示する場合にも使用される。

３２はメモリ３０から読み出した画像データを所定の画像圧縮方法で圧縮または伸長し、メモリ３０に書き込む圧縮伸長部である。所定の画像圧縮方法とは、例えば、適応離散コサイン変換（ＡＤＣＴ）を用いてＪＰＥＧデータに画像圧縮するものがある。本発明の適用に関してその他、画像の圧縮・伸長に用いられる方法に特に限定はない。 ５０は撮像装置１００全体を制御するシステム制御部である。５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するＲＯＭなどのメモリである。メモリ５２には撮像処理を行うプログラム、画像処理を行うプログラム、作成した画像ファイルデータをメモリ３０や記録媒体２００に記録するプログラム、画像ファイルデータを記録媒体から読み出すプログラムなどの各種プログラムが記録されている。 ６０、６１、６３は、ユーザがシステム制御部５０に各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。本実施形態ではモードダイアル６０で電源ＯＮ／ＯＦＦ、及び再生モード、自動撮影モード、プログラム撮影モード、本実施形態の特徴である多重露出撮影モードなどの各種撮影モードの切り替え、設定を行うことができる。

６１はレリーズＳＷで、不図示のレリーズボタンの操作途中（ＳＷ１：半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（ストロボプリ発光）処理等の動作開始を指示する。レリーズボタンの操作完了（ＳＷ２：全押し）でＯＮとなり、撮像素子１４から読み出した信号を記録媒体２００に画像データとして書き込むまでの一連の本撮影の処理の動作開始を指示する。

６３は、操作スイッチであり、不図示のメニューキー、セットキー、十字キー等の組み合わせで構成され、カメラの撮影条件や現像条件などの各種設定の変更の際、画像表示部２８を見ながら行うことができる。本実施形態で行われる、画像への電子ズーム操作も、操作スイッチ６３に割り振られている。

８０は電源制御部で、電池検出回路、ＤＣ−ＣＤコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２と、画像処理装置１００とのインタフェース２０４と、画像処理装置１００と接続を行うコネクタ２０６とを備えている。

ここで、本実施形態における本撮影の処理の一連の流れを説明する。前述したようにレリーズＳＷ６１が全押しされると、被写体からの光束が撮像素子１４に導かれ、撮像素子１４にて光電変換によって電気信号となり、Ａ／Ｄ変換器１６でデジタル信号の画像データとして出力される。本実施形態では、撮像素子１４とＡ／Ｄ変換器１６、撮像素子１４に光束を導く光学系（撮像レンズ１０、絞り１１、シャッター１２）を含めて撮像手段とする。

出力された画像データは、画像処理部２０で前述した画像処理が施され、メモリ３０に格納される。本実施形態では、撮影した直後に画像を確認できるクイックレビュー機能を備えている。このため、メモリ３０に格納された画像データはメモリ制御部２２によって読み出され、画像表示メモリ２４に格納、表示制御部２６を用いて画像表示部２８に表示される。一方、画像データを記録するときには、メモリ３０から画像データが読み出され、必要に応じて圧縮伸長部３２にて画像データの圧縮を行った後、指定された記録先（メモリ３０か記録媒体２００）に記録が行われる。

また、本実施形態では、画像表示部２８に撮像手段から出力される画像がリアルタイムに表示できるライブビュー表示が可能である。このライブビュー表示時の画像データの流れは、クイックレビュー機能での画像データの流れと同じであり、タイミング発生回路１８で決定される周期で得られた画像データが、逐次、画像表示部２８に表示される。

次に、本実施形態の特徴である、多重露出撮影モードについて説明をする。多重露出撮影モードでは、本モード設定中に行われる撮影操作によって得られる画像データやメモリ内の画像データを合成して合成画像データを作成することができる。

この合成においては、新しく撮影する画像が、既に撮影された画像の画像の大きさや構図に縛られてしまうことが問題になる。図２は、２枚目に撮影する画像が１枚目の画像の画像の大きさに縛られる問題が顕在化する例を示したものである。図２において（ａ）は１枚目に撮影された画像、（ｂ）は従来の多重露出撮影の方法で合成した場合の合成画像、（ｃ）はユーザの本来希望する構図を表したものである。２枚目の月を含めた風景の画角や大きさに対する、１枚目の山の希望の大きさがあるにもかかわらず、１枚目に撮影された画像の大きさは既に固定されているため、山の大きさ・位置が固定され、それに縛られてユーザの望んだ絵が得られにくいことがわかる。

そこで本実施形態では、多重露出撮影モードで撮影を行う際でも、ユーザに、各画像に対して電子ズーム、解像度、画像サイズの変更処理を許容し、ユーザが所望の構図で合成が行えるような処理を行う。

ここで、本実施形態における画像サイズの変更または電子ズーム倍率の変更とはどのような処理を指すのかを説明する。通常の撮影モード時に、画像表示部２８に表示された画像に対して電子ズーム操作がなされると、メモリ制御部２２によって画像表示メモリ２４上に元の画像の一部分が切り出され、画像表示部２８の表示サイズ、解像度に変換された画像データが作成される。ちなみに画像表示部２８には作成された画像データの画像が表示され、レリーズＳＷ６１が全押しされると、表示された画像と同じ範囲が切り出された画像データが、電子ズーム倍率の変更前と同じ解像度で保存される。

これに対して多重露出撮影モードにおける、画像サイズの変更または電子ズーム倍率の変更とは、撮影時にユーザによって行われる操作で、総画素数を変えずに、処理前の元の画像に対する画素の大きさを拡大または縮小する処理のことを指すとする。例えば、画像サイズを２倍にする、または電子ズーム倍率を等倍から２倍に変更するとは、画像の大きさ（画像サイズ）は２倍となるが、解像度は元の画像の１／２になることを指す。画像サイズの変更と電子ズーム倍率の変更とは同じ処理であるが、撮影時にユーザによって行われる、表示画面上の画像にも反映される画像サイズの変更を電子ズーム倍率の変更と呼ぶことにする。

また、ある画像の画素数とは、その画像データ全体が持つ画素の総数を示すものとし、例えば前述した電子ズーム倍率の変更や画像サイズの変更では、解像度は変わっても、その画像の画素数は変わらない。

また、本実施形態における解像度の変更とは、撮影前に行える処理であり、変更前の画像に対して画角を変えずに画素の密度を変更する処理である。このとき当然、変更前とは総画素数も変化することになる。

図３は、本実施形態における多重露出撮影モードの合成処理についてのフローチャート図である。この処理はシステム制御部５０が行うかあるいはシステム制御部５０の指示により各部で行われる。

まず、ステップＳ３０１では、モードダイアル６０の設定が多重露出撮影モードに設定されるまで待機状態となる。多重露出撮影モードに設定された場合、ステップＳ３０２に進む。

多重露出撮影モードに設定されると、１枚目の画像データの取り込み処理に移ることになる。本実施形態では合成対象となる画像データは、前述した一連の撮影動作を行うことで得られた画像データでも構わないし、記録媒体２００から入出力Ｉ／Ｆ９０を介して、メモリ３０に配置された画像データでも構わない。さらに複数の画像データを合成した画像データでも構わない。それらの画像データを多重露出撮影モードで行われる合成処理の対象となる画像データとして自由に採用することができる。何枚目にどの画像データ（今から撮影する画像データや保存されている画像データ）を用いるかについても、撮影の際にユーザに逐次指定させても良いし、予めユーザまたは設計者側で設定させておいても良い。

ステップＳ３０２では、１枚目の合成対象画像データとして、既にメモリ３０あるいは記録媒体２００などのメモリ内に保存された画像データを用いるかどうかを判定する。メモリ内の画像データを使用しない場合、今から撮影する画像を１枚目の画像データとして設定することになるので、本撮影の待機状態に入る。すなわち、Ｓ３０３では、レリーズＳＷ２が押されるまで待機状態となる。このとき、本実施形態では、操作スイッチ６３中に割り当てられた釦等の指示手段によって、撮影される１枚目の画像に対して、本撮影前に、電子ズーム倍率の変更や解像度の変更を自由に指示することができる。このとき画像表示部２８には、変更が反映された画像が表示される。そしてレリーズＳＷ２が押されると、Ｓ３０４に移り、前述した一連の撮影処理が行われ、作成された画像データがメモリ３０に格納され、１枚目の画像データとして設定される。

Ｓ３０２において、１枚目の画像データとしてメモリ内の画像データを使用する場合には、Ｓ３０５に移り、合成対象とする画像データをユーザに指定させる。合成対象となる画像データは、これらの合成処理の前に予めユーザが設定しておいてもよい。指定された画像はメモリ３０内に１枚目の画像データ（第２の画像データ）として格納される。

次に２枚目の画像データの設定に移る。設定方法は１枚目と同様で、まずＳ３０６において２枚目の画像データとしてメモリ内の画像データを使用するかどうかを判定する。メモリ内の画像データを使用しない場合、これから本撮影される画像データを２枚目の画像データとして設定する処理を行う（Ｓ３０７、Ｓ３０８）。このとき、本実施形態では、操作スイッチ６３中に割り当てられた釦等の指示手段（第１の指示手段）によって、撮影される２枚目の画像に対して、本撮影前に、電子ズーム倍率の変更や解像度の変更を自由に指示することができる。ここで指示された変更は、本撮影後、合成に用いられる２枚目の画像データに反映され、合成対象となる画像データ（第１の画像データ）が生成される。

メモリ内の画像データを使用する場合、メモリ内の画像データから画像を指定させ、２枚目の画像データとする（Ｓ３０９）。

こうして得られた２枚の画像データに対して画像合成処理を行う（Ｓ３１０）。本発明の特徴部分である画像合成処理についての詳細は後述する。

画像合成処理が終わると、現在までの合成で多重露出撮影を終了するかどうかを判定する。画像合成枚数に関しては、予め枚数を設定できるようにしてもよいし、その都度さらに合成処理を行うかをユーザに判断させるようにしてもよい。予め枚数が設定されていた場合には、規定枚数に達したかをカウンタ等を用いて判定することになる。Ｓ３１１で撮影が終了されないと判定された場合、Ｓ３０６に戻り、今、合成が終了した画像データを１枚目の画像データとして、引き続き新しい合成対象となる２枚目の画像データの設定から、その合成処理に入る。

Ｓ３１１で撮影が終了されると判定されると、メモリ３０に格納された現在完成している合成画像データと、この合成画像の作成に用いた元の各画像データを保存する保存処理を行う（Ｓ３１２）。保存先としては、記録領域として確保されているメモリ３０内の記憶領域か、記録媒体２００に保存する。その後、処理を終了する。

Ｓ３１０で実行される画像合成処理について図４、図５を用いて詳細を説明する。本実施形態では、合成対象となる画像データ２枚の画像サイズ比、配置関係を決めておくことができる。図４は予めメモリ５２に記憶されている、合成画像の構図のパターンとしての合成対象の２枚の画像の画像サイズと配置関係のテーブルデータを示したものである。図４において実線の枠が基準となる画像で、破線の枠がもう一方の合成対象画像を表している。前述したように基準となる画像は各合成における１枚目の画像、２枚目の画像いずれであってもよい。画像サイズ比、配置関係の設定にあたっては、ユーザが本撮影の前に予めテーブルデータとして記憶された、設定パターンの中から１つを選択して、システム制御部５０が設定する（第１の設定手段、第２の設定手段）。また、ユーザが細かく設定できるようにしておいても良い。以上のように、本実施形態では、ユーザの希望に応じて２枚の画像サイズ比、配置関係などを自由に設定できるようになっている。

本実施形態における２枚の画像データを合成するとは、２枚の画像が重なる範囲において、両画像の重なっている画素同士を加算していくことである。従来技術のように電子ズーム等を禁止し、同じ撮影条件下で撮影された２枚の画像データを単純に合成する場合には、両画像の解像度が等しいため、位置を合わせればそのまま両画像の各画素を加算することができる。しかし、本実施形態のように、合成画像の構図を自由に設定するために、２枚の画像の画像サイズ比（電子ズーム倍率の比）、配置関係などを自由に設定すると、両画像の解像度が異なる場合も考えられる。このような場合、重なった範囲の画素加算を行うには、両画像の解像度を揃える（等しくする）処理を少なくともどちらかの画像に対して施す必要がある。すなわち、本実施形態では、基準画像ともう一方の画像の解像度が異なっていた場合、基準画像の解像度と等しくなるように、もう一方の画像の解像度を変換して解像度調整を行う処理を施す。基準画像に対してもう一方の画像の解像度が低い場合、補間処理を行い、逆に基準画像に対してもう一方の画像の解像度が高い場合、間引き処理など、解像度を下げる処理を行う。具体的な処理方法としては、バイキュービック法やバイリニア法、二アレストネイバー法などが挙げられる。

図５は、上述した画像合成処理を実行するＳ３１０での処理のフローチャート図である。この処理はシステム制御部５０で、またはシステム制御部５０の指示によって各部で実行される。合成処理そのものはワーキングメモリとして働いている記憶手段上で行われ、本実施形態では、メモリ３０とする。Ｓ３１０に到達するまでに１枚目の画像データと２枚目の画像データの設定は終了しているので、メモリ３０上には、両画像データが展開されている。Ｓ５０１では、前述したように予めユーザが選択・設定を行った合成画像の構図情報を取得する。Ｓ５０２では、取得した構図情報に従って、メモリ３０上の基準ではないもう一方の画像データに対して変更を適用した画像データを生成する。例えば、図４右中段の例のように、基準画像に対してもう一方の合成対象の画像サイズ比を１／２とし、右上端を合わせて合成させる構図が指定されていた場合、もう一方の画像データの画像サイズを、画像サイズ比で１／２とした画像データを作成する。このとき、もう一方の画像の解像度は縮小前に比べて２倍になっている。

Ｓ５０３では、基準画像とＳ５０２で変更処理が施されたもう一方の画像との解像度を等しくする解像度の調整の処理を施す。具体的には、両画像の解像度を比較し、異なっていた場合には、もう一方の画像データに対して調整処理を施し、基準画像の解像度と等しくする。調整処理は前述したとおりである。

Ｓ５０４では、基準画像である画像データと、Ｓ５０２、Ｓ５０３で必要に応じて変更処理、調整処理を施されたもう一方の画像データを合成し、合成画像データを作成する。Ｓ５０１で取得した構図情報中の両画像の配置関係の情報に従って重ね合わせ、両画像の重なる画像領域では、画素同士を加算して合成する。こうして合成され得られた合成画像データは、両画像の配置関係によって同じ解像度でも様々な画像サイズとなる可能性がある。例えば、図４左上の合成画像データは、基準画像データと変わらない画像サイズとなるが、図４左下の合成画像データは、約１．５倍の画像サイズとなる。そこで本実施形態では、合成される前の個々の画像の画像サイズと同じ画像サイズで画像ファイルが作成されるよう、基準画像データに対応した画像領域で切り出し処理を行い、基準画像データの画像サイズの画像ファイルを作成する。これによって、保存される合成画像ファイルの画像サイズはばらつきのない一定サイズのものとなる。今回の図４右中段の合成を行う例では、この切り出し処理は必要とせず、そのまま保存用の画像ファイルが作成される。これで画像合成処理は終了し、メインの処理に戻る。

以上のように、本実施形態では、ズーム倍率の変更や構図の変更を許容した多重露出撮影における画像合成を可能にしたことで、ユーザが所望の多重露出撮影による合成画像を得ることができる。

基準画像データの画像サイズの画像ファイルを作成するに当たって、本実施形態では、合成対象の両画像データを合成した大きな合成画像データを作成した後、切り出し処理によって実現したが、処理方法としてはこれに限らない。例えば、もう一方の画像データの画像領域のうち、基準画像データと画像領域が重なる部分のみを用いて、基準画像に対して合成を行い、合成画像データを作成すると、初めから基準画像データのサイズの合成画像データが作成され、切り出し処理を必要としない。またこの方法の方がメモリの節約になるという利点もある。

また本実施形態では、電子ズームや画像サイズ、解像度の変更などを伴っているため、合成までの過程の中で、同じ画像に対して複数種類の画像データが生成される。例えば、１枚目の画像データに対して２枚目の画像データを電子ズームで２倍に拡大して１対１の画像サイズ（図４の左上図）で合成を行ったとする。このとき、２枚目の画像データとして、電子ズーム前の画像データ、電子ズームによって切り出しが行われた画像データ、切り出した画像データを１枚目の画像データと同じ画像サイズ（画素数）にするために補間処理が行われた合成用の画像データが作られる。このように複数種類の画像データが作成された場合、記録される元画像データとしては、全てを記録するように設定しても良いし、選択できるようにしても良い。最終的に作成された合成用の画像データを記録しておくと、後で直感的に元画像データとしてわかりやすいが、補間処理が行われていない画像データは画質の劣化がない状態である。さらに、電子ズームがなされる前の画像データは後から周りの風景等も含めて合成をやり直したい場合などには有効である。

また本実施形態では、多重露出撮影モードにおける各画像の電子ズーム倍率の変更または画像サイズの変更に特に制限を設けていない。しかし、画像合成処理の簡単さから、電子ズーム倍率または画像サイズの変更を施す場合には、もう一方の画像データの画像の各画素列の画素数が、基準画像データの画像の各画素列の画素数の整数倍または整数分の１となるように変更に制限を課すとよい。さらに２枚の画像のずれ量を規定するときにも、ずれ量の単位を基準画像の画素単位とすることで、後の合成を簡単にし、処理負荷の軽減と自然な合成処理に貢献する。

（第２の実施形態）
本実施形態では、撮像装置に、撮影画像をリアルタイムに表示するライブビュー表示機能を備えた表示装置が搭載されている場合の実施形態を示す。このようなデジタルカメラでは、多重露出撮影に際して、１枚目の画像データ（前に設定される方の画像データ）をライブビュー上に半透明に表示させながら２枚目の画像が撮影できる機能が知られている。これによりユーザは合成後の画像をイメージしながら２枚目の画像データ（後で設定される方の画像データ）の撮影に臨むことができる。本実施形態では、この機能を利用しながら、ユーザが画像データに対してズーム倍率の変更や構図の変更ができる多重露出撮影の処理を実現する。

図６は本実施形態における、多重露出撮影モードにおける合成処理のフローチャート図である。なお、第１の実施形態と同様の処理であるステップには同じステップ番号を付し、説明を省略する。本実施形態の特徴であるライブビュー表示時の処理は、２枚目の画像データを撮影するときに行うＳ６０１〜Ｓ６０４である。

Ｓ６０１からの処理は、２枚目の画像データを設定する方法として、メモリ内の画像データを用いる方法ではなく、撮影した画像を用いる方法を選択した場合に適用される（Ｓ３０６の分岐でＮｏを選択）。Ｓ６０１では、前のステップで設定された１枚目の画像データを読み込み、ライブビュー表示画面に表示させたときに現在撮影されている画像と区別がつくような、１枚目の画像のライブ画像用の画像データを作成する。本実施形態では、このときのライブ画像用の画像データの作成方法は、公知である画像データ全体を半透明に表示する処理を用いるが、これに限定されない。

Ｓ６０２では、現在撮影されライブビュー表示されている画像データに、１枚目の画像データをライブ画像用の画像データにしたものを合成した画像データを、画像表示部２８の表示画面に表示させる処理を行う。

Ｓ６０１、Ｓ６０２による画面表示の例を図７に示す。図６（ａ）を１枚目の画像、（ｂ）を現在撮影されている２枚目の画像とする。このときＳ６０２によって行われる合成表示は図７（ｃ）のようになり、１枚目の画像データは半透明処理（図では破線で表現）を施され表示される。これでユーザは合成後の画像をより具体的にイメージしながら２枚目の画像の撮影に臨むことができる。

Ｓ６０２において合成処理された画面が画像表示部２８に表示された状態で２枚目の画像の撮影の待機状態に移るが（Ｓ３０７）、撮影が実行されるまでの間、同時にユーザの電子ズーム倍率、解像度、フレーミングの変更を自由に行える。

ここで、ユーザによって電子ズーム倍率やフレーミングの変更などが行われた場合の処理について詳述する。ユーザが上記の変更を行う対象としては、１枚目の画像データ（表示画面上に半透明表示）と２枚目の画像データ（現在撮影されライブビュー表示）がある。本実施形態では、操作スイッチ６３中に設けられた切替釦を用いて、ユーザが変更の対象とする画像データを選択することができる。そしてユーザによって変更が指示されたときに、選択された画像に対してそれらの変更を反映させる。各々の画像データに対する変更の指示は操作スイッチ６３によって行われる（第２の指示手段）。

変更対象として２枚目の画像データが選択された場合、ライブ画像データとなっている１枚目の画像データはそのままに、現在撮影されている２枚目の画像データに対して変更を反映させる。この場合、通常撮影モードにおいてライブビュー表示に対して電子ズームやフレーミングの変更が行われる場合と同じように処理が行われる。２枚目の画像データのフレーミングの変更に関しては、電子ズーム拡大時の変更でない限り、通常倍率ではユーザがカメラ本体の向きを変更するだけなので、特に設定の変更処理は発生しない。

変更対象として１枚目の画像データが選択された場合、既に撮影され、ライブ画像データとして合成表示されている１枚目の画像データに対して、電子ズーム倍率、解像度、フレーミングの変更を反映させる。この場合、表示画面上に変更を反映させるため、変更を反映させた１枚目の画像データのライブ画像用の画像データを再作成する必要がある。従って、Ｓ６０３では、１枚目の画像データに変更処理が指示されたかどうか判定し、変更処理が指示された場合には、Ｓ６０４で１枚目の画像データのライブ画像データの再作成処理が行われる。その後、Ｓ６０２に戻り、再作成されたライブ画像データと現在撮影されているライブ画像データの合成表示処理が行われる。ユーザの操作としては、例えば電子ズームの場合、通常撮影モードにおいて行う電子ズーム操作と同じ操作を行うことで、合成表示されている１枚目の画像データが、その操作に従って拡大または縮小されて表示されることになる。内部的には、メモリ３０において、拡大または縮小処理を施したライブ画像データを再作成し、図７（ａ）、（ｂ）に示すように改めて合成表示させる。図７の例では、１枚目の画像データに対して拡大処理と左にフレーミングの変更（元の画像の表示位置を右へ移動）を行った場合を示している。

Ｓ３０７でレリーズＳＷ２が押された（本撮影がなされた）と判定された場合、その時点で画像表示部２８に合成表示されている合成画像の構図で合成が行われる。すなわち、基準画像である２枚目の画像データには、本撮影前に画像表示部２８に表示される画像データに反映されていた変更が、そのまま撮影に移ることで反映されている。また１枚目の画像データは、合成表示され適宜電子ズーム倍率、解像度、フレーミングの変更が施された画像表示部２８に表示された画像データへ施された変更と同じ電子ズーム倍率、解像度、フレーミングの変更を施した画像データを作成する。こうして作成された両画像を、画像表示部２８上で設定された１枚目の画像データと２枚目の画像の構図に従って合成する。その他の合成処理については第１の実施形態と同様である。

以上のように、本実施形態では、ズーム倍率の変更や構図の変更を許容した多重露出撮影における画像合成を可能にしたことで、ユーザが所望の多重露出撮影による合成画像を得ることができる。

また、第１の実施形態では、撮影前に予め設定しておいた画像サイズや構図で合成する方法であったが、本実施形態では２枚目の画像の撮影前にそれらを自由に変更できる。これにより、ユーザにとってさらに利便性の高い、所望の画像が得られる処理を実現できる。

具体的には、２枚目の画像の撮影時、表示画面上に表示された１枚目の画像データの画像に電子ズーム倍率や２枚目の画像との配置関係を変更できるようにして、合成画像の構図のイメージを撮影前に確認することができる。

本実施形態では、画像表示部２８に、撮像手段による２枚目の画像と、１枚目の画像を透過表示したものを合成して表示させているが、実施形態としてはこれに限らない。例えば、１枚目の画像と２枚目の画像を操作スイッチ６３に備えられた切替釦によって切替表示ができるようにしておくなど、ユーザが２枚目の画像の撮影時に１枚目の画像を変更可能に確認できるような実施形態であればよい。

（第３の実施形態）
本実施形態では、ライブビュー表示機能を有する表示装置を備えた撮像装置に適用される処理フローで、第２の実施形態とは別の処理方法を説明する。

図９は本実施形態における、多重露出撮影モードにおける合成処理のフローチャート図である。本実施形態でも第１及び第２の実施形態と同様の処理であるステップには同じステップ番号を付し、説明を省略する。本実施形態の特徴であるライブビュー表示時の処理は、２枚目の画像データを撮影するときに行うＳ９０１〜Ｓ９０３である。 第２の実施形態と同様に、Ｓ６０２において合成処理された画面が画像表示部２８に表示された状態で、次に２枚目の画像の撮影の待機状態に移るが（Ｓ３０７）、撮影が実行されるまでの間、同時にユーザの電子ズームや構図の変更に対しても待機状態となる。

本実施形態では、電子ズームやフレーミングの変更の仕方に特徴がある。本実施形態では、１枚目の画像データの画像の構図と２枚目の画像データの画像の構図との関係を固定する構図固定釦が設けられている（固定手段）。ユーザがこの構図固定釦を押すと、その時点での第１及び２枚目の画像データの関係が固定され、以降ユーザが行う電子ズームや構図の変更は、ライブビュー表示されている２枚目の画像データへの変更が、連動して１枚目の画像データに反映されるようになる。

図１０はこの様子を説明したものである。図１０（ａ）において、構図固定釦が押下げられると、両画像の構図の関係が固定され、そこから電子ズーム操作を例えば拡大の方向に行ったものが図１０（ｂ）である。１回の操作で図１０（ｂ）のように１枚目と２枚目の画像の両方がその関係を保ったまま拡大表示され、さらに、右にフレーミング変更を行うと、図１０（ｃ）のように両画像が右にフレーミング変更された画像が表示される。

具体的な処理としては、Ｓ９０１にて構図固定釦がＯＮ（押下げられた）かどうかを判定し、ＯＮでなければ本撮影と、第２の実施形態と同様の待機状態となる。構図固定釦がＯＮ（押下げられた）と判定されれば、構図固定のフラグが立ち、途中解除操作が行われない限り、以後Ｓ９０１でＯＮと判定される。次にＳ９０２にて、２枚目の画像について電子ズーム、解像度、フレーミングの変更が行われたかどうかを判定する。変更が行われていなければ本撮影の待機状態となる。変更が行われていれば、ライブビュー表示される２枚目の画像として、変更後の画像を提供するように設定する処理と、表示画面に表示される１枚目の画像として、変更後の画像を提供するライブ画像再作成処理に移る（Ｓ９０３）。ライブビュー表示される２枚目の画像に対しては、通常の撮影モードにおいて、電子ズーム、解像度、フレーミングの変更を行ったときと同様に処理を行えばよい。合成表示される１枚目の画像については、２枚目の画像に対して施した変更と同じ変更を施す。すなわち、メモリ上の１枚目の画像データに、電子ズーム倍率、解像度、及びフレーミングの変更を２枚目と同じだけ施した画像データを再作成する。その後、Ｓ６０２に戻り、今作成された１枚目の画像データと２枚目の画像データを合成したものを画像表示部２８に表示する。以後、合成対象となる２枚目の画像データが撮影されるまで、これを繰り返す。

以上のように、本実施形態では、ズーム倍率の変更や構図の変更を許容した多重露出撮影における画像合成を可能にしたことで、ユーザが所望の多重露出撮影による合成画像を得ることができる。

また、第１の実施形態では、撮影前に予め設定しておいた電子ズームの倍率や構図で合成するか、撮影後にそれらを決定する方法しかなかったが、本実施形態では２枚目の画像の撮影前にそれらを変更できるようにしている。これにより、ユーザにとってさらに利便性の高い、所望の画像が得られる処理を実現できる。具体的には、２枚目の画像の撮影時、表示画面上に表示された１枚目の画像データの画像に電子ズーム倍率や２枚目の画像との配置関係を変更できるようにして、合成画像の構図のイメージを撮影前に確認することができる。

また、ライブビュー表示中に、１枚目と２枚目の画像の合成画像における構図を固定できるようにしたため、固定後、電子ズーム倍率やフレーミングの変更があっても、事前に決定した構図を守りながら、最終的な構図を決定することができる。本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０ 撮影レンズ
１１ 絞り
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理部
２２ メモリ制御部
２４ 画像表示メモリ
２６ 表示制御部
２８ 画像表示部
３０ メモリ
５０ システム制御部
１００ 撮像装置
２００ 記録媒体

Claims (12)

1. 被写体を撮像し、前記撮像された被写体の画像データを出力する撮像手段と、
   画像データを記憶する記憶手段と、
   前記撮像手段による本撮影前に、前記撮像手段によって出力される画像データに、電子ズーム倍率または解像度の変更を指示する第１の指示手段と、
   前記撮像手段による本撮影後に、前記撮像手段によって出力される画像データから、前記指示を反映させた第１の画像データを生成する生成手段と、
   前記第１の画像データの画像の解像度と、前記記憶手段に記憶された第２の画像データの画像の解像度とが等しくなるように、前記第２の画像データの画像に解像度の調整を施す解像度調整手段と、
   前記第１の画像データと、前記調整が施された前記第２の画像データとを合成する合成手段と、を有することを特徴とする撮像装置。
2. 前記指示手段によって指示される電子ズーム倍率、画像サイズ、及び解像度の変更は、前記第２の画像データの画像の各画素列の画素数が、前記第１の画像データの画像の各画素列の画素数の整数倍または整数分の１となるような変更であることを特徴とする請求項１に記載の撮像装置。
3. 前記合成手段による合成を行う際の前記第１の画像データと前記第２の画像データの配置関係を設定する第１の設定手段を有し、
   前記合成手段は、前記第１の設定手段の設定に基づいて前記合成を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記設定手段による前記第１の画像データの画像と前記第２の画像データの画像とのずれ量は、前記第１の画像データの画素の整数倍であることを特徴とする請求項３に記載の撮像装置。
5. 前記合成手段による合成を行う際の、前記第１の画像データと前記第２の画像データの画像サイズ比を設定する第２の設定手段を有し、
   前記合成手段は、前記第２の設定手段による設定に基づいて前記合成を行うことを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
6. 前記合成手段は、前記第１の画像データに対応した画像領域の合成画像データを作成することを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 前記第１及び第２の設定手段は、前記撮像手段によって前記合成手段による合成の対象となる画像データが出力される前に、予め設定された設定パターンの中から１つを選択して、前記設定をすることを特徴とする請求項３乃至６のいずれか１つに記載の撮像装置。
8. 前記第２の画像データの画像を表示する表示手段と、
   前記撮像手段による本撮影の前に、前記表示手段に表示された前記記憶手段に記憶された画像データの画像の電子ズーム倍率、画像サイズ、解像度、フレーミングの少なくとも１つの変更を指示する第２の指示手段と、を有し、
   前記表示手段は、前記第２の指示手段による指示がされた場合、前記第２の手段による指示に応じて前記第２の画像データに変更を施し、前記表示手段に表示される画像データを再作成して表示し、
   前記合成手段は、前記撮像手段による本撮影時に、前記第２の指示手段による指示を前記合成に反映させることを特徴とする請求項３乃至６のいずれか１つに記載の撮像装置。
9. 前記撮像手段により出力された画像データをリアルタイムに表示するライブビュー表示と、前記第２の画像データの画像を表示する表示手段と、
   前記撮像手段による本撮影の前に、前記ライブビュー表示がされている前記撮像手段によって出力された画像データの画像の構図と、前記第２の画像データの画像の構図との関係を固定する固定手段と、を有し、
   前記固定手段によって前記関係が固定されてからは、
   前記指示手段による変更の指示に応じて、前記記憶手段に記憶された画像データにも同じ変更が指示され、
   前記合成手段は、前記撮像手段による本撮影時に、前記指示手段による前記第１及び前記第２の画像データへの指示を前記合成に反映させることを特徴とする請求項１または２に記載の撮像装置。
10. 被写体を撮像し、前記撮像された被写体の画像データを出力する撮像手段と、画像データを記憶する記憶手段と、を有する撮像装置の制御方法であって、
    前記撮像手段による本撮影前に、前記撮像手段によって出力される画像データに、電子ズーム倍率または解像度の変更を指示する指示ステップと、
    前記撮像手段による本撮影後に、前記撮像手段によって出力される画像データから、前記指示を反映させた第１の画像データを生成する生成ステップと、
    前記第１の画像データの画像の解像度と、前記記憶手段に記憶された第２の画像データの画像の解像度とが等しくなるように、前記第２の画像データの画像に解像度の調整を施す解像度調整ステップと、
    前記第１の画像データと、前記調整が施された前記第２の画像データとを合成する合成ステップと、を有することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
12. 請求項１０に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images