JP2012147379A

JP2012147379A - 撮像装置及び撮像装置の制御方法

Info

Publication number: JP2012147379A
Application number: JP2011005950A
Authority: JP
Inventors: Hiroshi Kondo; 浩近藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-01-14
Filing date: 2011-01-14
Publication date: 2012-08-02
Anticipated expiration: 2031-01-14
Also published as: JP5717453B2

Abstract

【課題】本発明の目的は、花火のような動体と静止物を適切な輝度バランスで撮影することのできる撮像装置を提供する。
【解決手段】１画面を複数領域に分割する画面領域分割手段を持ち、そのうちの領域Ａについては分割露光した各画像を加算合成し、領域Ｂについては、分割露光した各画像に対し、ピーク値を保持しながら合成し、最終的に各領域の合成画像を出力する。
【選択図】図２

Description

本発明は、連続的に撮影した画像を合成して１枚の画像を生成する撮像装置及び撮像装置の制御方法に関するものである。

従来、デジタルカメラで、花火のような光の軌跡を撮影する際には、シャッター秒時を長秒に設定し、手ぶれを防ぐために三脚等に固定して、マニュアル露出で撮影するのが一般的であった。
打ち上げ花火の場合、打ち上げのタイミングに合わせレリーズすることで、露光開始のタイミングを大きくはずすケースは少ない。しかし露光完了のタイミングについては、途中経過を確認しながら撮影することができないため、撮影者の勘に頼る部分が大きかった。

さらに、花火と夜景等のように撮影対象が花火だけでない場合は、全体の露出バランスを最適にすることは困難であった。夜景に対して適正な明るさになるように露出を合わせると、その間に打ち上げられた複数の花火が重なって白とびを起こしてしまうようなケースがあった。
このような場合、花火と夜景を別々に撮影して後から画像合成する手法が一般的に知られている。

例えば、特許文献１には、異なる光源下で露光時間を異ならせて撮影した画像を合成して１枚の画像を生成する方法が示されている。
この方法では、各々の露光時間が異ならせることができるため、露出・色味のバランスを最適にとることが可能である。

特開２００３−１５３２８７号公報

しかしながら、撮影時刻が異なるため、どうしても不自然に見えてしまうという問題があった。また複数の花火が重なった場合はやはり白とびになりやすい問題があった。

本発明は上記問題に鑑みてなされたものであり、動体と静止物を適切な輝度バランスで撮影することのできる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、請求項１に記載のとおり、被写体を撮影して画像データを出力する撮像手段と、前記画像データを第１の分割領域と第２の分割領域の少なくとも２つの領域に分割する分割手段と、前記分割手段により分割された前記画像データの前記第２の分割領域から得られる信号が所定の信号レベルとなるように第１の露光時間を設定する設定手段と、前記第１の露光時間に基づいて前記撮像手段の撮影する撮影枚数と各撮影の露光時間を決定する第１の決定手段と、前記第１の決定手段による決定に従って前記撮像手段により撮影された前記撮影枚数の画像データを用いて、前記第１の分割領域では、前記各画像データの対応する画素同士での最大値を保持しながら合成する第１の合成を行い、前記第２の分割領域では、各画像データの対応する画素同士を加算する第２の合成を行い、前記第１の分割領域及び前記第２の分割領域それぞれで生成された合成画像データから１画面分の合成画像データを生成する第３の合成を行う合成手段と、を備えたことを特徴とする。

また、本発明の撮像装置は、請求項２に記載のとおり、被写体を撮影して画像データを出力する撮像手段と、前記画像データを第１の分割領域と第２の分割領域の少なくとも２つの領域に分割する分割手段と、前記分割手段により前記画像データから分割された前記第２の分割領域から得られる信号が所定の信号レベルとなるように第１の露光時間を設定する設定手段と、前記第１の露光時間に基づいて前記撮像手段の撮影する撮影枚数と各撮影の露光時間を決定する第１の決定手段と、前記第１の露光時間とは異なる第２の露光時間を決定する第２の決定手段と、前記第１の分割領域では、前記第１の決定手段により決定された露光時間で撮影された画像データを前記第２の露光時間に相当する枚数だけ用いて、当該各画像データの対応する画素同士での最大値を保持しながら合成する第１の合成を行い、前記第２の分割領域では、前記第１の決定手段による決定に従って前記撮像手段により撮影された前記撮影枚数の画像データの対応する画素同士を加算する第２の合成を行い、前記第１の分割領域及び前記第２の分割領域それぞれで生成された合成画像データから１画面分の合成画像データを生成する第３の合成を行う合成手段と、を備えたことを特徴とする。

また、本発明の撮像装置は、請求項３に記載のとおり、被写体を撮影して画像データを出力する撮像手段と、前記撮像手段から出力された画像データを保持する第１のメモリと、前記第１のメモリから読みだされた画像データを分割する分割手段と、前記分割手段によって前記画像データから第１の分割領域を分割された画像データを保持する第２のメモリと、前記分割手段によって前記画像データから第２の分割領域を分割された画像データを保持する第３のメモリと、前記第２のメモリにおいて、前記分割手段から出力される前記第１の分割領域の画像データと、前記第２のメモリに保持されていた画像データとの対応する画素同士での最大値を選択して画素値とする第１の合成によって生成される画像データで前記第２のメモリに保持される画像データを更新し、前記第３のメモリにおいて、前記分割手段から出力される前記第２の分割領域の画像データと、前記第３のメモリに保持されていた画像データとの対応する画素同士を加算して合成する第２の合成によって生成される画像データで前記第３のメモリに保持される画像データを更新し、前記第２のメモリ及び前記第３のメモリに保持されている画像データを合成する第３の合成を行う合成手段と、を備えたことを特徴とする。

また、本発明の撮像装置の制御方法は、請求項９に記載のとおり、被写体を撮影して画像データを出力する撮像手段と、前記撮像手段により得られた画像データを合成する合成手段とを備えた撮像装置の制御方法であって、前記画像データを第１の分割領域及び第２の分割領域の少なくとも２つの領域に分割する分割ステップと、前記分割ステップにて分割された前記画像データの前記第２の分割領域から得られる信号が所定の信号レベルとなるように第１の露光時間を設定する設定ステップと、前記第１の露光時間に基づいて前記撮像手段の撮影する撮影枚数と各撮影の露光時間を決定する第１の決定ステップと、前記第１の決定ステップでの決定に従って前記撮像手段により撮影された前記撮影枚数の画像データを用いて、合成手段が、前記第１の分割領域について各画像データの対応する画素同士での最大値を保持しながら合成する第１の合成ステップと、合成手段が、前記第２の分割領域について各画像データの対応する画素同士を加算する第２の合成ステップと、合成手段が、前記第１の分割領域及び前記第２の分割領域それぞれで生成された合成画像データから１画面分の合成画像データを生成する第３の合成ステップと、を備えたことを特徴とする。

また、本発明の撮像装置の制御方法は、請求項１０に記載のとおり、被写体を撮影して画像データを出力する撮像手段と、前記撮像手段により得られた画像データを合成する合成手段とを備えた撮像装置の制御方法であって、前記画像データを第１の分割領域及び第２の分割領域の少なくとも２つの領域に分割する分割ステップと、前記分割ステップにて分割された前記画像データの前記第２の分割領域から得られる信号が所定の信号レベルとなるように第１の露光時間を設定する設定ステップと、前記第１の露光時間に基づいて前記撮像手段の撮影する撮影枚数と各撮影の露光時間を決定する第１の決定ステップと、前記第１の露光時間とは異なる第２の露光時間を決定する第２の決定ステップと、合成手段が、前記第１の分割領域について、前記第１の決定ステップで決定された露光時間で撮影された画像データを前記第２の露光時間に相当する枚数だけ用いて、当該各画像データの対応する画素同士で最大値を保持しながら合成する第１の合成ステップと、合成手段が、前記第２の分割領域について、前記第１の決定ステップでの決定に従って前記撮像手段により撮影された前記撮影枚数の画像データの対応する画素同士を加算する第２の合成ステップと、合成手段が、前記第１の分割領域及び前記第２の分割領域それぞれで生成された合成画像データから１画面分の合成画像データを生成する第３の合成ステップと、を備えたことを特徴とする。

また、本発明の撮像装置の制御方法は、請求項１１に記載のとおり、被写体を撮影して画像データを出力する撮像手段と、前記撮像手段により得られた画像データを合成する合成手段とを備えた撮像装置の制御方法であって、第１のメモリに、前記撮像手段から出力された画像データを保持する第１の保持ステップと、前記第１のメモリから読みだされた画像データを分割する分割ステップと、第２のメモリに、前記分割手段によって前記画像データから第１の分割領域を分割された画像データを保持する第２の保持ステップと、第３のメモリに、前記分割手段によって前記画像データから第２の分割領域を分割された画像データを保持する第３の保持ステップと、合成手段によって、前記第２のメモリにおいて、前記分割ステップで出力される前記第１の分割領域の画像データと、前記第２のメモリに保持されていた画像データとの対応する画素同士での最大値を選択して画素値とする第１の合成によって生成される画像データで前記第２のメモリに保持される画像データが更新される第１の合成ステップと、合成手段によって、前記第３のメモリにおいて、前記分割手段から出力される前記第２の分割領域の画像データと、前記第３のメモリに保持されていた画像データとの対応する画素同士を加算して合成する第２の合成によって生成される画像データで前記第３のメモリに保持される画像データが更新される第２の合成ステップと、前記第２のメモリ及び前記第３のメモリに保持されている画像データが合成される第３の合成ステップと、を備えたことを特徴とする。

本発明によれば、打ち上げ花火のような高輝度の動体が互いに重なった場合でも白とびが少なく、背景となる画像も含め、より好適な輝度バランスの画像を生成することができる。

のデジタルカメラのブロック図第１の実施形態のデジタルカメラのモード別撮影処理フローチャート花火夜景モード時の表示例分割露光画像のイメージ図第２の実施形態のデジタルカメラのモード別撮影処理フローチャート

［第１の実施形態］
図１は、本発明の実施形態にかかわる撮像装置としてのデジタルカメラの構成を示すブロック図である。なお、撮像装置としてはこれに限らない。

以下、図１を参照して、本発明の第１の実施形態による、デジタルカメラの構成について説明する。

１０１は被写体像を結像させるためのレンズであり、ここでは光量を調整するための絞りも含むものとする。１０２はレンズの光路上に配置されているメカニカルシャッタである。
１０３はレンズ１０１で結像した映像を電気的な情報に変換するための撮像部である。本発明では、撮像部に含まれる撮像素子としてＣＭＯＳイメージセンサやＣＣＤイメージセンサが使用される。また、撮像部１０３には撮像素子のほかにＣＤＳ回路（相関二重サンプリング回路）やＡＧＣ回路（オートゲインコントロール回路）を含むものとして扱う。
１０４はカメラを制御するためのＣＰＵであり、レンズ１０１、メカニカルシャッタ１０２、撮像部１０３の他に、後に説明するＬＣＤ１０８、外部メモリ１０７を制御する。

１０５は撮像部１０３から出力される画像信号と、バッファメモリ１０６に記録されている画像信号を基に様々な画像処理を行う画像処理部である。詳細は後述するが、本実施形態では、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、のカラーフィルタをベイヤー配列に配置した撮像素子から得られた信号から画像処理回路１０５がＲ、Ｇ、Ｂそれぞれのプレーンを補間によって生成する。生成されたＲ、Ｇ、Ｂの各信号は通常の撮影モードの際には現像され、表示部１０８に送られる。あるいは所定の記録フォーマットで圧縮され、外部メモリ１０７に送られる。本実施形態の特徴的な処理である合成処理を行う場合は、Ｒ、Ｇ、Ｂの各信号の状態でバッファメモリ１０６を利用して合成処理が行われ、最終的な合成画像データが現像され、表示、記録される。その他一般的な撮像装置で用いられる公知のホワイトバランス処理やガンマ処理等も画像処理部１０５にて適宜行われる。１０６は撮像部１０３からの画像データ、あるいは画像処理回路１０５により処理が施された画像データを一時的に格納するバッファメモリである。

１０７はバッファメモリ１０６に蓄えられた画像を保存するための外部メモリである。
１０８は撮影条件や、スルー画など、カメラの各種情報を表示するための表示部（表示手段及び表示制御手段）である。撮影された画像の画像データを表示用にリサイズ、ガンマ処理等を施して液晶等の表示媒体に表示する。
１０９は電源オン・オフの切替えを行う電源ボタン、撮影のトリガとなるレリーズスイッチや、撮影の中断を行う撮影中断ボタン、撮影モードを決定するモードダイヤルなどを含む操作部である。操作部１０９からのユーザ入力を検出し、ＣＰＵ１０４の判断で各種動作を行う。

また、操作部１０９は、使用者の意図する操作が可能であれば、その形状はボタンに限定されず、リング、面圧力センサなどでもよい。
その他カメラに備えられる一般的な部材及びブロックについては、本件とは直接関係しないため省略する。
操作部１０９内の電源ボタンによりカメラが起動すると、モードダイヤルに設定された撮影モードで動作する。撮影モードとしては、通常の撮影モード、風景を撮影するのに適したモード、ポートレート、動体をとらえるのに適したスポーツモード、そして本実施形態で特徴的な花火と夜景を１画面中に撮影するのに適した花火夜景モードなどが設定されている。
図２は本デジタルカメラの第１の実施形態における撮影時のモード別撮影処理を示すフローチャートである。本実施形態で特徴的な花火夜景モードの処理について詳細に説明し、それ以外のモードについての詳細な説明は省略する。

まず操作部１０９内のモードダイヤルで設定されているモードが花火夜景モードであるか否かを判定し（Ｓ２０１）、花火夜景以外のモードであれば、各撮影モードに応じた処理を施し（Ｓ２１６）、処理を終了する。
Ｓ２０１において、モードダイヤルが花火夜景モードに設定されていた場合には、ライブ画像に対して、花火部分と夜景部分の境界となる部分に境界線の重畳表示を行う（Ｓ２０２）。この境界線の表示位置は予め用意しているテンプレートを表示させてもよいし、ユーザに数パターンの中から選択させるようにしてもよい。また、「この部分に花火を入れて撮影して下さい」といったガイド表示を併記してもよい。次に、夜景部分の領域が適切な輝度レベルになるように、ＣＰＵ１０４が撮像部１０３からの撮像画像情報をもとに電子シャッターやゲインを調節することで、測光・露出制御を行う（Ｓ２０３）。

次に操作部１０９内のレリーズスイッチの状態を調べ（Ｓ２０４）、レリーズスイッチが押下されていなければＳ２０３へ戻る。押下されていた場合は、現状の測光結果に応じて
画像信号が所定の信号レベルになるようにトータル露光時間Ｔ（第１の露光時間）を設定する（設定ステップ：Ｓ２０５）。次にトータル露光時間Ｔから、分割露光時間ｔ及び分割露光回数Ｎ（撮影枚数）を算出する（第１の決定ステップ：Ｓ２０６）。次に現在の分割露光回数をカウントする変数ｉをゼロに初期化する（Ｓ２０７）。

ここからＮ回の分割露光撮影のための処理に入る。現在の分割露光回数がＮ回に到達したか（ｉとＮの大小比較）判定する（Ｓ２０８）。Ｎ回未満であった場合には、分割露光時間ｔにて露光・画像信号の読み出しを行った後、バッファメモリ１０６内の領域ＢＵＦＦＥＲ０（第１のメモリ）に保持する（第１の保持ステップ：Ｓ２０９）。次に現在の分割露光回数ｉがゼロであるかを判定する（Ｓ２１０）。その結果がゼロであった場合には、バッファメモリ１０６内の領域Ｂｕｆｆｅｒ０の領域Ａ部分をマスクした画像データ（第１の分割領域）をバッファメモリ１０６内の新たな領域Ｂｕｆｆｅｒ１（第２のメモリ）に置く（第２の保持ステップ：Ｓ２１１）。ここで、領域Ａとは前述の境界線で分割されたうちの夜景部分となる領域に相当する。さらに、バッファメモリ１０６内の領域Ｂｕｆｆｅｒ０の領域Ｂの部分をマスクした画像データ（第２の分割領域）をバッファメモリ１０６内の新たな領域Ｂｕｆｆｅｒ２（第３のメモリ）に置く（第３の保持ステップ：Ｓ２１２）。ここで、領域Ｂとは前述の境界線で分割されたうち、花火部分となる領域に相当する。

そして、分割露光回数ｉを１増加させ（Ｓ２１５）、Ｓ２０８へ処理を移す。Ｓ２１０において、次に現在の分割露光回数ｉがゼロでなかった場合は、Ｂｕｆｆｅｒ０の領域Ａ部分をマスクした画像データとＢｕｆｆｅｒ１の画像データの対応する画素同士を比較する。「対応する」画素同士とは、ここでは撮像している被写体が対応している画素同士のことを指し、画像同士の位置合わせの処理を行わない本実施形態では、同一アドレスの関係にある画素のことを指す。２画像の差分などから画像間のずれ量を算出するなどして位置合わせ処理を行った上で合成する場合には、「対応する」画素は位置合わせ後に被写体が対応している、すなわち同一アドレスとみなされる画素のことを指す。同一アドレスの画素同士で画素値の小さくない方を選択してＢｕｆｆｅｒ１の画素値を更新する（第１の合成ステップ：Ｓ２１３）。次にＢｕｆｆｅｒ０の領域Ｂ部分をマスクした上でＢｕｆｅｒ２内の画像データと加算してＢｕｆｆｅｒ２に格納し（第２の合成ステップ：Ｓ２１４）、Ｓ２１５へ処理を移す。

Ｓ２０８において、現在の分割露光回数がＮ回に達した場合は、Ｂｕｆｆｅｒ１及びＢｕｆｆｅｒ２にそれぞれ格納された合成画像データを合成し、最終的な１画面分の合成画像データを生成する（第３の合成ステップ：Ｓ２１７）。最終的な合成画像データは記録用の現像圧縮処理を経て（Ｓ２１８）、外部メモリに記録して（Ｓ２１９）処理を終了する。
図３は、花火夜景モード時に、実際に表示部１０８に表示される表示画像データのイメージを表したものである。３０１はライブ画に重畳表示される境界線、３０２は夜景部分の画像となる領域Ａ、３０３は花火部分の画像となる領域Ｂである。
図４（ａ）は、Ｔ＝５（秒）、ｔ＝１（秒）、Ｎ＝５（回）であるときの、露光開始から５秒後に読み出された画像例を示している。この画像データがＢｕｆｆｅｒ０に一旦格納される。図４（ｂ）は、この後Ｂｕｆｆｅｒ１に格納された画像データ、図４（ｃ）にはＢｕｆｆｅｒ２に格納された画像データの例を示したものである。これら領域Ａ及び領域Ｂが互いにマスクされたＢｕｆｆｅｒ１，Ｂｕｆｆｅｒ２の画像データを合成することで最終的な画像を生成することができる。

ここで、マスク領域のデータは具体的には触れていないが、画像信号として存在しない数値である必要がある。画像信号として数値０を使用しないのであれば、マスク領域のデータを全て数値０で埋めておけばよい。この場合は、Ｂｕｆｆｅｒ１，Ｂｕｆｆｅｒ２の画像データを単純加算するだけで双方の合成画像が生成できるため、合理的である。
Ｓ２０３における撮影前の測光時に、花火領域（領域Ｂ）の輝度レベル最大値を保存しておき、露出制御演算に利用しても良い。具体的には、絞り、ゲインなど、露光時間以外の設定に関して花火領域の輝度レベルの最大値を基に決定することにより、花火の輝度レベルを適切に保つことができる。
花火夜景モードという特定の撮影モードに設定された場合に、ライブ画に対して、花火部分と夜景部分の境界線を重畳表示することにより、ユーザはカメラを固定しておくだけで、あとはフレーミングに専念できる。そのため難しいシチュエーションであっても、簡単な操作で撮影を行うことができる。
この境界線の重畳表示については、たとえば縦位置に構えた時などカメラの姿勢変化に応じて切り替えることで、縦位置撮影にも対応することができる。

また、前述のように領域Ａ及び領域Ｂで異なる画像処理を行うため、境界線近傍は画像によっては、違和感のある画像となってしまうケースがある。その場合には、境界線の近傍画素に限定でデジタルローパスフィルタをかけるなど、境界部が目立たなくなるような平滑化処理などを施すようにしてもよい。あるいは、領域Ａ、領域Ｂをそれぞれ境界部近傍で重なりがでるようにとり、境界部近傍を合成することで目立たなくすることや、上記のフィルタ処理との組み合わせなどが考えられる。

なお、本実施形態においては、予め固定された境界線を表示することとしたが、例えばタッチパネルＬＣＤを搭載したカメラにおいては、境界線を手あるいはスタイラス等のポインティングデバイスにより入力し、指定するように構成しても良い。このようにすれば、フレーミングの自由度も広がり、さまざまな撮影シーンに対応することができる。

また、本実施形態では、領域ＡにマスクをしたＢｕｆｆｅｒ０の領域の合成方法を単純加算としたが、これに限らず、重みづけ平均などの平均をとって合成をしても良い。単純加算に比べて平均をとるとノイズなどの影響を抑えることもできる。

以上述べたように、画面分割された領域のうち、夜景部分について分割露光画像を加算することにより、長秒露光を行うのと同等の効果を得ることができる。また、花火部分については、連続的に露光した画像間の同一画素アドレスで信号レベルの大きな方を選択することにより、花火どうしが重なったとしても白とびをおこさずに記録することが可能である。また、露出制御に関して、トータル露光時間については夜景部分の輝度レベルが適切となるよう制御することで、花火部分と夜景部分の輝度バランスの良い画像を得ることができる。

［第２の実施形態］
図５は本デジタルカメラの第２の実施形態における撮影時のモード別撮影処理を示すフローチャートである。
Ｓ５０１〜Ｓ５１９については、図２のＳ２０１〜Ｓ２１９と同じであるため、この部分についての説明は省略する。
Ｓ５１０において、ｉ＝０以外の場合は、レリーズスイッチが押下された状態であるかどうかを検出し（Ｓ５５０）、もしレリーズＳＷが放されていた場合は、Ｓ５１３の処理となるＢｕｆｆｅｒ１の更新を行わず、Ｓ５１４へ移動する。つまり、レリーズスイッチが放された（第２の決定ステップ）あとは、花火部分には露光が行われないのと等価となる。この処理の意味するところは、花火部分の画像については、ユーザが露光完了タイミング（花火撮影に使う画像の枚数）を自由に制御できることである。

次にＳ２１４と同様に、Ｂｕｆｆｅｒ０の領域Ｂ部分をマスクした上でＢｕｆｅｒ２内の画像データと加算してＢｕｆｆｅｒ２に格納（Ｓ５１４）する。（夜景部分の更新）
その後、Ｂｕｆｆｅｒ１及びＢｕｆｆｅｒ２に格納された画像データを画像処理回路１０５で合成し（Ｓ５５１）、表示用の現像処理を経て（Ｓ５５２）、表示部１０８に送出する。

本実施形態では、夜景部分の輝度レベルを基にトータル露光時間を決定したが、花火部分に関しては、ユーザからの指示で露光完了タイミングを可変させることができる。すなわち花火部分（第１の分割領域）の露光時間（第２の露光時間）を自由に決められる。実際トータル露光時間の中で花火が打ち上げられる数は不明であるため、バルブ撮影のように、状況を見ながら画面に映りこむ花火の個数を制御できる方が作画しやすいというメリットがある。ここでは、花火部分の露光時間については、トータル露光時間を最大としたが、夜景部分よりも長くとるようにしてもなんら問題ない。

また本実施形態では、分割露光毎に途中経過を表示できるように構成したため、ユーザは露光途中の画像を、リアルタイムで表示を確認しながら撮影を行い、花火部分の露光完了タイミングを計ることができるため、より作画意図にあった撮影が可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０１レンズ
１０２メカニカルシャッタ
１０３撮像部
１０４ＣＰＵ
１０５画像処理回路
１０６バッファメモリ
１０７外部メモリ
１０８表示部
１０９操作部

Claims

被写体を撮影して画像データを出力する撮像手段と、
前記画像データを第１の分割領域と第２の分割領域の少なくとも２つの領域に分割する分割手段と、
前記分割手段により分割された前記画像データの前記第２の分割領域から得られる信号が所定の信号レベルとなるように第１の露光時間を設定する設定手段と、
前記第１の露光時間に基づいて前記撮像手段の撮影する撮影枚数と各撮影の露光時間を決定する第１の決定手段と、
前記第１の決定手段による決定に従って前記撮像手段により撮影された前記撮影枚数の画像データを用いて、
前記第１の分割領域では、前記各画像データの対応する画素同士での最大値を保持しながら合成する第１の合成を行い、
前記第２の分割領域では、各画像データの対応する画素同士を加算する第２の合成を行い、
前記第１の分割領域及び前記第２の分割領域それぞれで生成された合成画像データから１画面分の合成画像データを生成する第３の合成を行う合成手段と、を備えたことを特徴とする撮像装置。
被写体を撮影して画像データを出力する撮像手段と、
前記画像データを第１の分割領域と第２の分割領域の少なくとも２つの領域に分割する分割手段と、
前記分割手段により前記画像データから分割された前記第２の分割領域から得られる信号が所定の信号レベルとなるように第１の露光時間を設定する設定手段と、
前記第１の露光時間に基づいて前記撮像手段の撮影する撮影枚数と各撮影の露光時間を決定する第１の決定手段と、
前記第１の露光時間とは異なる第２の露光時間を決定する第２の決定手段と、
前記第１の分割領域では、前記第１の決定手段により決定された露光時間で撮影された画像データを前記第２の露光時間に相当する枚数だけ用いて、当該各画像データの対応する画素同士での最大値を保持しながら合成する第１の合成を行い、
前記第２の分割領域では、前記第１の決定手段による決定に従って前記撮像手段により撮影された前記撮影枚数の画像データの対応する画素同士を加算する第２の合成を行い、
前記第１の分割領域及び前記第２の分割領域それぞれで生成された合成画像データから１画面分の合成画像データを生成する第３の合成を行う合成手段と、を備えたことを特徴とする撮像装置。
被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段から出力された画像データを保持する第１のメモリと、
前記第１のメモリから読みだされた画像データを分割する分割手段と、
前記分割手段によって前記画像データから第１の分割領域を分割された画像データを保持する第２のメモリと、
前記分割手段によって前記画像データから第２の分割領域を分割された画像データを保持する第３のメモリと、
前記第２のメモリにおいて、前記分割手段から出力される前記第１の分割領域の画像データと、前記第２のメモリに保持されていた画像データとの対応する画素同士での最大値を選択して画素値とする第１の合成によって生成される画像データで前記第２のメモリに保持される画像データを更新し、
前記第３のメモリにおいて、前記分割手段から出力される前記第２の分割領域の画像データと、前記第３のメモリに保持されていた画像データとの対応する画素同士を加算して合成する第２の合成によって生成される画像データで前記第３のメモリに保持される画像データを更新し、
前記第２のメモリ及び前記第３のメモリに保持されている画像データを合成する第３の合成を行う合成手段と、を備えたことを特徴とする撮像装置。
前記画像データに基づいて表示画像データを生成し、表示手段に表示する表示制御手段を備え、
前記表示制御手段は、前記分割手段により分割される領域の境界に、境界線を前記表示画像データに重畳して表示することを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
前記分割手段は、前記画像データを分割したときの領域の境界を指定する指定手段を備えることを特徴とする、請求項１乃至４のいずれか１つに記載の撮像装置。
前記画像データを分割したときの領域の境界の近傍画素に平滑化処理を施す平滑化手段を備えることを特徴とする、請求項１乃至５のいずれか１つに記載の撮像装置。
前記第２の決定手段による前記第２の露光時間は、ユーザからの指示にしたがって決定されることを特徴とする請求項２に記載の撮像装置。
前記第２の決定手段は、前記合成手段による合成に用いられる画像が撮影されるよりも前に保存された前記第２の分割領域における輝度レベルの最大値を用いて前記第２の露光時間を決定することを特徴とする請求項２に記載の撮像装置。
被写体を撮影して画像データを出力する撮像手段と、前記撮像手段により得られた画像データを合成する合成手段とを備えた撮像装置の制御方法であって、
前記画像データを第１の分割領域及び第２の分割領域の少なくとも２つの領域に分割する分割ステップと、
前記分割ステップにて分割された前記画像データの前記第２の分割領域から得られる信号が所定の信号レベルとなるように第１の露光時間を設定する設定ステップと、
前記第１の露光時間に基づいて前記撮像手段の撮影する撮影枚数と各撮影の露光時間を決定する第１の決定ステップと、
前記第１の決定ステップでの決定に従って前記撮像手段により撮影された前記撮影枚数の画像データを用いて、
合成手段が、前記第１の分割領域について各画像データの対応する画素同士での最大値を保持しながら合成する第１の合成ステップと、
合成手段が、前記第２の分割領域について各画像データの対応する画素同士を加算する第２の合成ステップと、
合成手段が、前記第１の分割領域及び前記第２の分割領域それぞれで生成された合成画像データから１画面分の合成画像データを生成する第３の合成ステップと、を備えたことを特徴とする撮像装置の制御方法。
被写体を撮影して画像データを出力する撮像手段と、前記撮像手段により得られた画像データを合成する合成手段とを備えた撮像装置の制御方法であって、
前記画像データを第１の分割領域及び第２の分割領域の少なくとも２つの領域に分割する分割ステップと、
前記分割ステップにて分割された前記画像データの前記第２の分割領域から得られる信号が所定の信号レベルとなるように第１の露光時間を設定する設定ステップと、
前記第１の露光時間に基づいて前記撮像手段の撮影する撮影枚数と各撮影の露光時間を決定する第１の決定ステップと、
前記第１の露光時間とは異なる第２の露光時間を決定する第２の決定ステップと、
合成手段が、前記第１の分割領域について、前記第１の決定ステップで決定された露光時間で撮影された画像データを前記第２の露光時間に相当する枚数だけ用いて、当該各画像データの対応する画素同士で最大値を保持しながら合成する第１の合成ステップと、
合成手段が、前記第２の分割領域について、前記第１の決定ステップでの決定に従って前記撮像手段により撮影された前記撮影枚数の画像データの対応する画素同士を加算する第２の合成ステップと、
合成手段が、前記第１の分割領域及び前記第２の分割領域それぞれで生成された合成画像データから１画面分の合成画像データを生成する第３の合成ステップと、を備えたことを特徴とする撮像装置の制御方法。
被写体を撮影して画像データを出力する撮像手段と、前記撮像手段により得られた画像データを合成する合成手段とを備えた撮像装置の制御方法であって、
第１のメモリに、前記撮像手段から出力された画像データを保持する第１の保持ステップと、
前記第１のメモリから読みだされた画像データを分割する分割ステップと、
第２のメモリに、前記分割手段によって前記画像データから第１の分割領域を分割された画像データを保持する第２の保持ステップと、
第３のメモリに、前記分割手段によって前記画像データから第２の分割領域を分割された画像データを保持する第３の保持ステップと、
合成手段によって、前記第２のメモリにおいて、前記分割ステップで出力される前記第１の分割領域の画像データと、前記第２のメモリに保持されていた画像データとの対応する画素同士での最大値を選択して画素値とする第１の合成によって生成される画像データで前記第２のメモリに保持される画像データが更新される第１の合成ステップと、
合成手段によって、前記第３のメモリにおいて、前記分割手段から出力される前記第２の分割領域の画像データと、前記第３のメモリに保持されていた画像データとの対応する画素同士を加算して合成する第２の合成によって生成される画像データで前記第３のメモリに保持される画像データが更新される第２の合成ステップと、
前記第２のメモリ及び前記第３のメモリに保持されている画像データが合成される第３の合成ステップと、を備えたことを特徴とする撮像装置の制御方法。
請求項９乃至１１のいずれか１つに記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
請求項９乃至１１のいずれか１つに記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。