JP2006191296A - 画像合成装置および電子カメラ - Google Patents

Abstract

【課題】画像合成装置において画像全域についての重ね合わせ効果を確認するためのプレビュ画像を得る。
【解決手段】電子カメラは画像合成モードにおいて画像合成を行う際に、１．画像選択、２．ゲイン設定、３．合成、４．保存の順に行う。上記２のゲイン設定後、第１の画像に対応するサムネイル画像と、第２の画像に対応するサムネイル画像とを合成したサムネイル画像を画像合成画面において「Preview」として表示する。これにより、本画像について画像合成を行う前に、合成後のサムネイル画像をリアルタイムに確認できる。画像合成画面では、選択した２つのサムネイル画像（合成前のサムネイル画像）と、合成後のサムネイル画像とを同じ画面に表示するので、合成結果の確認が行いやすい。
【選択図】図４

Description

本発明は、複数の画像を重ね合わせて合成画像を得る技術に関する。

複数の撮影画像を重ね合わせて多重撮影画像を得る技術が知られている（特許文献１参照）。

特開２００３−２９８９２５号公報

特許文献１には、多重撮影画像を得る際に撮影済み画像の背景部分をスルー画像に置き換えてモニタ表示することが開示されている。画像の背景を置き換えてモニタ表示された画像からは、画像の全域についての重ね合わせ効果を確認することができない。

本発明による画像合成装置は、第１の画像と第２の画像とを重畳した画像を得る画像合成手段と、画像合成手段が画像の重畳を開始する前に、第１の画像のデータに基づいて生成された第１の画像よりデータ数が少ない第１の副画像と、第２の画像のデータに基づいて生成された第２の画像よりデータ数が少ない第２の副画像とを重畳し、画像合成手段で得られるであろう重畳後の画像に対応する副画像を得る副画像合成手段と、副画像合成手段による重畳後の副画像を表示する表示手段とを備えることを特徴とする。
表示手段は、第１の副画像、第２の副画像、および重畳後の副画像を同じ画面内に表示することもできる。
第１の副画像は、第１の画像が記録されているデータファイル内に含まれているサムネイル画像でもよく、第２の副画像は、第２の画像が記録されているデータファイル内に含まれているサムネイル画像でもよい。
画像合成装置はさらに、画像合成手段が画像を重畳する際の重畳比率を設定する重畳比率設定手段を備えてもよく、この場合の副画像合成手段は、重畳比率設定手段により設定されている重畳比率を用いて第１の副画像と第２の副画像とを重畳することもできる。
副画像合成手段が重畳後の副画像を得た後の開始指示に応じて、画像合成手段が画像の重畳を開始するように構成してもよい。さらに、画像合成手段が重畳後の画像を得た後の開始指示に応じて、重畳後の画像の記録が開始されるようにしてもよい。
上記重畳後の画像の記録形式は、電子カメラに設定されている画像の記録形式とするとよい。画像合成手段が重畳する画像はＲＡＷデータで記録されているのが好ましい。
本発明による電子カメラは、請求項１〜８のいずれか一項に記載の画像合成装置を備えることを特徴とする。

本発明によれば、画像合成手段が第１の画像と第２の画像との重畳を開始する前に、データ数が少ない第１の副画像とデータ数が少ない第２の副画像とを重畳し、重畳後の副画像を表示するようにしたので、 画像の全域についての重ね合わせ効果を即座に確認することができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。
図１は、本発明の一実施の形態による電子カメラの構成を示す図である。図１において、撮影レンズ１によって被写体像が撮像素子２の撮像面上に結像される。撮像素子２は被写体像を撮像し、撮像信号をＡ／Ｄ変換回路３へ出力する。Ａ／Ｄ変換回路３は、撮像素子２から入力されたアナログ画像信号をディジタル画像信号に変換し、変換後のディジタルデータをイメージメモリ５へ出力する。タイミングジェネレータ（ＴＧ）４は、撮像素子２に対してタイミング信号を供給する。

イメージメモリ５は、ディジタル変換後の画像データや後述する加算後の画像データを一時的に格納するメモリである。イメージメモリ５のメモリ容量は、複数の撮影画像データを格納することが可能なように十分確保されている。画像処理回路６は、イメージメモリ５に格納されている画像データに補間処理、色温度処理、階調補正処理および解像度変換処理などの各種画像処理を行う。ゲイン回路７は、イメージメモリ５に格納されている画像データにゲインをかける（画素乗算する）。ゲインの値はゲイン設定回路９によってゲイン回路７に設定される。

加算回路８は、ゲイン回路７で乗算された複数フレームの画像データをフレーム加算（対応する画素同士を加算）し、加算後の画像データをイメージメモリ５へ出力する。圧縮回路１１は、画像処理回路６によって画像処理が施された画像データをＪＰＥＧなどの方式で圧縮処理を行う。表示回路１０は、撮影画像を表示装置１３に再生表示するために必要な表示信号を生成する。

表示装置１３は、たとえば、ＴＦＴ液晶パネルによって構成され、表示回路１０で生成された表示信号による画像を再生表示する。表示装置１３は、画像以外に操作メニューも表示するように構成されている。操作メニューは、電子カメラに対する各種設定を行う際に使用される。表示回路１０は、操作メニューの表示に必要な表示信号の生成も行う。

メモリ１４は、圧縮回路１１で圧縮処理された画像データを一時的に格納するメモリである。記録媒体１５は、電子カメラに対して着脱可能なメモリカードによって構成される。電子カメラは、撮影モードにおいてメモリ１４に格納されている画像データを記録媒体１５に保存し、再生モードおよび画像合成モードにおいて記録媒体１５に保存されている画像データをメモリ１４に読み出すことが可能に構成される。電子カメラは、被写体撮影を行う撮影モード、撮影画像を表示装置１３に表示する再生モード、撮影画像を合成する画像合成モードを有する。

ＣＰＵ１２は、以上説明した電子カメラを構成する各ブロックに対する制御を行う。なお、ゲイン回路７、ゲイン設定回路９、加算回路８、画像処理回路６、圧縮回路１１および表示回路１０を、とくに画像処理ブロックと呼ぶことにする。操作部材１６は、後述するモード切換スイッチ、決定キーや十字キーなどのポインティングデバイスを含み、各種操作に応じた操作信号を発生してＣＰＵ１２へ送出する。モード切換スイッチは、撮影モード、再生モード、画像合成モードなどを切り換えるためのスイッチである。

（撮影モード）
モード切換スイッチによって撮影モードに切換操作された電子カメラは、レリーズボタン（不図示）が押下操作されると、撮影レンズ１の絞り（不図示）を所定絞りまで駆動するとともにシャッター（不図示）を開放駆動する。これにより、撮像素子２の撮像面上に被写体像が結ばれる。電子カメラは、露出条件に応じた露光時間が得られるようにシャッター（不図示）を閉鎖駆動して露光を終了させる。

露光中の撮像素子２において蓄積された電荷は、撮像素子２から順次読み出され、Ａ／Ｄ変換後に画像データとしてイメージメモリ５に格納される。この時点における画像データはＲＡＷデータと呼ばれ、画像処理が施される前のデータである。

ＲＡＷデータには所定の画像処理および圧縮処理が施され、圧縮処理後の撮影画像データがメモリ１４を介して記録媒体１５に記録される。また、画像処理後の画像データを用いて生成される表示信号により、表示装置１３に撮影画像が再生表示される。なお、撮影画像データをＲＡＷデータのまま記録することも可能に構成されている。

電子カメラは、撮影した画像データを画像データファイルとして記録する。画像データファイルには、撮影画像（本画像と呼ぶ）と、本画像よりデータサイズ（画素数）を抑えた１６０×１２０画素の縮小画像（サムネイル画像）とが含まれている。サムネイル画像は、本画像のデータを用いて生成される。このうち、本画像データの記録形式は、画像処理の有無および圧縮処理時の圧縮率の違いにより、たとえば、次の４段階に分けられている。電子カメラは、撮影時に選択されているデータ記録形式に応じて、本画像データの記録形式を切り換える。データ記録形式の選択は、たとえば、上記操作メニューによって行われる。

（１）画像データに画像処理を施さずに記録する「ＲＡＷ」
（２）所定の画像処理後の画像データを非圧縮のＲＧＢ−ＴＩＦＦ形式で記録する「ＴＩＦＦ」
（３）所定の画像処理後の画像データを圧縮率約１／５で記録する「ＦＩＮＥ」
（４）所定の画像処理後の画像データを圧縮率約１／１０で記録する「ＮＯＲＭＡＬ」
一般に上記（１）側が高画質であり、上記（４）側が低画質である。上記（３）、（４）における圧縮処理はＪＰＥＧ形式で行われる。なお、所定の画像処理とは、色温度調整処理などである。本実施形態では、本画像データの記録形式として（１）が選択される。

（画像合成モード）
モード切換スイッチによって画像合成モードに切換操作された電子カメラは、記録媒体１５に記録されている２つの画像（第１の画像および第２の画像と呼ぶ）を重ね合わせ合成する。画像合成処理は、１．画像選択、２．ゲイン設定、３．合成、４．保存の順に行われる。図２は、画像合成モードにおいて表示装置１３に表示される初期画面を例示する図である。

１．画像選択
ＣＰＵ１２は、図２の初期画面が表示装置１３に表示されている状態で、操作部材１６を構成する十字キーから第１の画像に対応する「Image 1」を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、表示装置１３に表示中の初期画面に代えて図３に示す画像選択画面を表示させる。図３において、記録媒体１５に記録されている６つの画像データファイルからそれぞれ読み出された６つのサムネイル画像が、上下２段に３画像ずつ表示されている。ＣＰＵ１２は、十字キーから上段中央の画像（ビル夜景）を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、当該画像を第１の画像とするとともに、表示装置１３に表示中の画像選択画面に代えて図４に示す画像合成画面を表示させる。なお、画像選択画面に表示されている６つのサムネイル画像以外の他のサムネイル画像についても、十字キー操作によって新たに記録媒体１５に記録されている画像データファイルから読み出して表示させることが可能に構成されている。

図４において、「Image 1」として第１の画像に対応するサムネイル画像と、「Preview」として第１の画像と同一のサムネイル画像が表示される。ＣＰＵ１２は、操作部材１６を構成する十字キーから第２の画像に対応する「Image 2」を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、表示装置１３に表示中の図４の表示画面に代えて図３のような画像選択画面を再び表示させる。ＣＰＵ１２は、十字キーから下段右の画像（月）を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、当該画像を第２の画像とするとともに、表示装置１３に表示中の画像選択画面に代えて図５に示す画像合成画面を表示させる。

図５において、「Image 1」として第１の画像に対応するサムネイル画像と、「Image 2」として第２の画像に対応するサムネイル画像と、「Preview」として第１の画像および第２の画像に対応する２つのサムネイル画像を合成したサムネイル画像が表示される。

２．ゲイン設定
ＣＰＵ１２は、操作部材１６を構成する十字キーから第１の画像に対するゲイン「Gain 1」を選択する操作信号が入力され、当該ゲインを増減させる操作信号が入力されると、第１の画像に対するゲインの設定値を初期値「1.0」から操作信号に応じた値に変更するとともに、変更後のゲインの値を示すデータをゲイン設定回路９へ送る。ゲイン設定回路９が変更後のゲインの設定値をゲイン回路７に設定することにより、表示装置１３には変更後のゲインがかけられた第１の画像に対応するサムネイル画像が再生表示される。

同様にＣＰＵ１２は、操作部材１６を構成する十字キーから第２の画像に対するゲイン「Gain 2」を選択する操作信号が入力され、当該ゲインを増減させる操作信号が入力されると、第２の画像に対するゲインの設定値を初期値「1.0」から操作信号に応じた値に変更するとともに、変更後のゲインの値を示すデータをゲイン設定回路９へ送る。ゲイン設定回路９が変更後のゲインの設定値をゲイン回路７に設定することにより、表示装置１３には変更後のゲインがかけられた第２の画像に対応するサムネイル画像が再生表示される。

図６は、第１の画像に対するゲインの設定値を「0.7」に、第２の画像に対するゲインの設定値を「1.3」に、それぞれ変更した場合の画像合成画面を例示する図である。図６において、第１の画像（ビル夜景）のゲインが１より小さく変更されることによって露出がアンダー側に補正され、第２の画像（月）のゲインが１より大きく変更されることによって露出がオーバー側に補正される。

図７は、第１の画像に対するゲインの設定値を「1.0」のままで、第２の画像に対するゲインの設定値を「0.3」に変更した場合の画像合成画面を例示する図である。図７において、第２の画像（月）のゲインが１より小さく変更されることにより、露出がアンダー側に補正される。

第１の画像および第２の画像に対応する２つのサムネイル画像の合成は、上記加算回路８が行う。加算回路８は、ゲインがかけられた第１の画像に対応するサムネイル画像、およびゲインがかけられた第２の画像に対応するサムネイル画像について、対応する画素同士を加算する。加算後（合成後）のサムネイル画像は、図５〜図７において「Preview」としてリアルタイムに表示される。

３．合成
ＣＰＵ１２は、図５〜図７のような画像合成画面が表示装置１３に表示されている状態で、操作部材１６を構成する十字キーから「合成」を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、第１の画像に対応する本画像と第２の画像に対応する本画像との合成を開始させる。

ＣＰＵ１２は、２つの本画像のデータを記録媒体１５からそれぞれ読み出し、読み出した本画像データをイメージメモリ５へそれぞれ格納する。ゲイン回路７は、第１の画像に対応する本画像および第２の画像に対応する本画像のそれぞれに対し、設定されているゲイン（図５〜図７に示す画像合成画面の中で表示されている値）をかける。加算回路８は、ゲインがかけられた第１の画像に対応する本画像、およびゲインがかけられた第２の画像に対応する本画像について、対応する画素同士を加算する。加算後（合成後）の本画像のデータは、合成画像データとしてイメージメモリ５に格納される。

４．保存
ＣＰＵ１２は、図５〜図７のような画像合成画面が表示装置１３に表示されている状態で、上記３の合成処理後に操作部材１６を構成する十字キーから「保存」を選択する操作信号が入力され、さらに決定キーから選択決定を示す操作信号が入力されると、上記３による合成画像データをイメージメモリ５からメモリ１４を経由して記録媒体１５に記録する。このとき、本画像に相当する合成画像と、サムネイル画像に相当する合成画像（本画像に相当する合成画像から１６０×１２０画素にリサイズ処理を施して生成する）とを含む画像データファイルとして記録する。本画像に相当するデータの記録形式は、撮影モードにおいて電子カメラで選択されているデータ記録形式に従う。

以上説明した実施形態についてまとめる。
（１）電子カメラは画像合成モードにおいて第１の画像および第２の画像を重ね合わせ合成する。画像合成処理は、１．画像選択、２．ゲイン設定、３．合成、４．保存の順に行う。上記２のゲイン設定後（ゲイン設定値が初期値「1.0」でよい場合は上記１の画像選択後）、第１の画像に対応するサムネイル画像と、第２の画像に対応するサムネイル画像とを合成したサムネイル画像を画像合成画面（図５〜図７）において「Preview」として表示する。一般に、画像データファイルに記録されているサムネイル画像は８ビットで示されるＹＣｂＣｒデータであり、画素数は１６０×１２０（＝１９２００）と本画像（たとえば、数百万画素）に比べて非常に小さい。さらに、サムネイル画像は補間処理や色温度処理が施されているため、「Preview」表示のために補間処理や色温度処理を行う必要もない。したがって、サムネイル画像同士の加算（合成）を瞬時に行って「Preview」としてのサムネイル合成画像を表示できるので、使用者は、本画像について画像合成を行う前に、即座に合成後の画像を確認できる。

（２）画像合成画面（図５〜図７）では、選択した２つのサムネイル画像（合成前のサムネイル画像）と、合成後のサムネイル画像とを同じ画面に表示したので、合成結果の確認が行いやすくなる。

（３）２つのサムネイル画像（合成前のサムネイル画像）に対するゲインを変更可能に構成し、サムネイルを構成する全画素に対して画素乗算するので、サムネイル画像の全域において合成時の露出加減の調節状態や合成結果を確認することができる。

（４）本画像データの記録形式として（１）「ＲＡＷ」形式としたので、合成後の本画像データも「ＲＡＷ」形式で記録させることができる。「ＲＡＷ」形式のデータ同士を合成（加算）することにより、合成時に乗じる階調特性などの劣化を「ＪＰＥＧ」同士のデータを合成（加算）する場合に比べて抑えることができる。さらに、合成後の本画像データも「ＲＡＷ」形式で記録させることにより、合成後の画像を他の画像とさらなる合成を行うことも可能になる。

（５）サムネイル画像同士の加算（合成）を行って「Preview」表示するために、記録媒体１５に記録されている画像データファイルに対して何も加工を施さなくてよいので、合成元の画像データファイルを破壊するおそれがない。

上述した説明では、本画像データの記録形式として画像処理の有無や圧縮処理時の圧縮率の違いで区別する例を示したが、たとえば、Ｌサイズ、Ｓサイズのようにデータサイズ（画素数）の違いで区別するようにしてもよい。

画像データファイルに含まれるサムネイル画像のデータを用いて「Preview」表示のための合成を行うようにしたが、本画像のデータよりデータサイズが小さい画像であれば、本画像のデータを間引くなどして生成したサムネイル以外の画像データを用いて「Preview」表示のための合成を行ってもよい。

上記の実施形態では、第１の画像と第２の画像との２画像を重ね合わせ合成する例を説明したが、合成する画像の数は２画像に限らず、３画像でも６画像でもよい。

画像選択画面（図３）において、６つのサムネイル画像を上下２段に表示させるようにしたが、１画面に表示するサムネイル画像の数は６画像に限ることなく、４画像でも９画像でもよい。

以上の説明では、画像合成処理を電子カメラで行う例を説明した。電子カメラ以外にも、フォトストレージャやフォトスタンド、ＰＤＡなどの電子画像を扱う機器に画像合成処理を行わせることにより、画像合成装置を構成するようにしてもよい。

特許請求の範囲における各構成要素と、発明を実施するための最良の形態における各構成要素との対応について説明する。画像合成手段および副画像合成手段は、たとえば、加算回路８によって構成される。第１の副画像および第２の副画像は、たとえば、サムネイル画像が対応する。重畳後の副画像は、たとえば、対応する画素同士が加算されたサムネイル画像が対応する。表示手段は、たとえば、表示回路１０および表示装置１３によって構成される。画像合成装置は、たとえば、電子カメラによって構成される。重畳比率は、たとえば、ゲインが対応する。重畳比率設定手段は、たとえば、ゲイン設定回路９によって構成される。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。

本発明の一実施の形態による電子カメラの構成を示す図である。 画像合成モードにおいて表示される初期画面を例示する図である。 画像選択画面を例示する図である。 画像合成画面を例示する図である。 画像合成画面を例示する図である。 ゲインを変更した場合の画像合成画面を例示する図である。 ゲインを変更した場合の画像合成画面を例示する図である。

符号の説明

２…撮像素子
５…イメージメモリ
６…画像処理回路
７…ゲイン回路
８…加算回路
９…ゲイン設定回路
１０…表示回路
１１…圧縮回路
１２…ＣＰＵ
１３…表示装置
１４…メモリ
１５…記録媒体
１６…操作部材

Claims (9)

1. 第１の画像と第２の画像とを重畳した画像を得る画像合成手段と、
   前記画像合成手段が前記画像の重畳を開始する前に、前記第１の画像のデータに基づいて生成された前記第１の画像よりデータ数が少ない第１の副画像と、前記第２の画像のデータに基づいて生成された前記第２の画像よりデータ数が少ない第２の副画像とを重畳し、前記画像合成手段で得られるであろう重畳後の画像に対応する副画像を得る副画像合成手段と、
   前記副画像合成手段による重畳後の副画像を表示する表示手段とを備えることを特徴とする画像合成装置。
2. 請求項１に記載の画像合成装置において、
   前記表示手段は、前記第１の副画像、前記第２の副画像、および前記重畳後の副画像を同じ画面内に表示することを特徴とする画像合成装置。
3. 請求項１または２に記載の画像合成装置において、
   前記第１の副画像は、前記第１の画像が記録されているデータファイル内に含まれているサムネイル画像であり、
   前記第２の副画像は、前記第２の画像が記録されているデータファイル内に含まれているサムネイル画像であることを特徴とする画像合成装置。
4. 請求項１〜３のいずれか一項に記載の画像合成装置において、
   前記画像合成手段が前記画像を重畳する際の重畳比率を設定する重畳比率設定手段をさらに備え、
   前記副画像合成手段は、前記重畳比率設定手段により設定されている重畳比率を用いて前記第１の副画像と前記第２の副画像とを重畳することを特徴とする画像合成装置。
5. 請求項１〜４のいずれか一項に記載の画像合成装置において、
   前記副画像合成手段が重畳後の副画像を得た後の開始指示に応じて、前記画像合成手段が前記画像の重畳を開始することを特徴とする画像合成装置。
6. 請求項５に記載の画像合成装置において、
   前記画像合成手段が前記重畳後の画像を得た後の開始指示に応じて、前記重畳後の画像の記録が開始されることを特徴とする画像合成装置。
7. 請求項６に記載の画像合成装置において、
   前記重畳後の画像の記録形式は、電子カメラに設定されている画像の記録形式とすることを特徴とする画像合成装置。
8. 請求項１〜７のいずれか一項に記載の画像合成装置において、
   前記画像合成手段が重畳する画像はＲＡＷデータで記録されていることを特徴とする画像合成装置。
9. 請求項１〜８のいずれか一項に記載の画像合成装置を備える電子カメラ。

Images