以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の撮像装置は、被写体の画像である第1の画像を連続して撮像し、記録が指示された場合、前記第1の画像のうちの複数のものを重ね合わせて記録する撮像装置において、前記第1の画像を連続して撮像する撮像手段(例えば、図5の撮像素子41)と、撮像された前記第1の画像のうちの複数のものを重ね合わせて第2の画像を生成する重ね合わせ手段(例えば、図5の重ね合わせ処理部53)と、構図を確認させるための前記第1の画像とともに、重ね合わせの結果を確認させるための前記第2の画像を表示する表示手段(例えば、図5のLCDパネル21)とを備える。
前記撮像手段には、重ね合わせられる前記第1の画像の撮像に連続して、構図を確認させるための前記第1の画像を撮像させ(例えば、図10のステップS51)、前記表示手段には、重ね合わせられる前記第1の画像に連続して撮像された、構図を確認させるための前記第1の画像とともに、前記第2の画像を表示させることができる(例えば、図11のステップS77)。
前記撮像装置には、前記第1の画像のデータである画像データを格納する格納手段(例えば、図5の画像RAM51)をさらに設け、前記重ね合わせ手段には、格納されている複数の前記画像データより、前記第2の画像を生成させることができる(例えば、図11のステップS75)。
前記撮像手段には、第1の周期で前記第1の画像を撮像させ(例えば、図10のステップS51)、前記重ね合わせ手段には、前記第1の周期より長い第2の周期で前記第2の画像を生成させ(例えば、図11のステップS75)、前記表示手段には、前記第2の周期で前記第1の画像と前記第2の画像とを表示させることができる(例えば、図11のステップS77)。
前記表示手段には、1つの画面上の第1の表示領域に前記第1の画像を表示させ(例えば、図11のステップS77)、前記画面上の第2の表示領域に前記第2の画像を表示させることができる(例えば、図11のステップS77)。
前記撮像装置には、前記表示手段による前記第1の画像と前記第2の画像とが配置される表示と、前記表示手段による前記第1の画像のみが配置される表示とを切り替える切り替え手段(例えば、図2のLCDパネル表示切り替えボタン26)をさらに設けることができる。
前記表示手段には、合焦の位置および露出の値が固定されていないときに、前記第1の画像のみを表示させ、合焦の位置または露出の値のいずれか一方が固定されたときに、前記第1の画像と前記第2の画像とを表示させることができる。
本発明の一側面の表示方法は、被写体の画像である第1の画像を連続して撮像し、記録が指示された場合、前記第1の画像のうちの複数のものを重ね合わせて記録する撮像装置の表示方法において、前記第1の画像を連続して撮像し(例えば、図10のステップS51)、撮像された前記第1の画像のうちの複数のものを重ね合わせて第2の画像を生成し(例えば、図11のステップS75)、構図を確認させるための前記第1の画像とともに、重ね合わせの結果を確認させるための前記第2の画像を表示するステップ(例えば、図11のステップS77)を含む。
本発明の一側面のプログラムは、被写体の画像である第1の画像を連続して撮像し、記録が指示された場合、前記第1の画像のうちの複数のものを重ね合わせて記録する撮像装置の表示を制御する処理をコンピュータに行わせるプログラムにおいて、前記第1の画像を連続して撮像し(例えば、図10のステップS51)、撮像された前記第1の画像のうちの複数のものを重ね合わせて第2の画像を生成し(例えば、図11のステップS75)、構図を確認させるための前記第1の画像とともに、重ね合わせの結果を確認させるための前記第2の画像を表示するステップ(例えば、図11のステップS77)を含む。
図1乃至図3は、本発明の一実施の形態に係るデジタルスチルカメラ1の外観の構成の例を示す図である。図1乃至図3において、それぞれ対応する部分には同じ符号を付してある。なお、以下においては、本発明をデジタルスチルカメラに適用した場合について説明するが、本発明を、画像を撮像することのできる各種の機器に適用することも可能である。
また、以下においては、デジタルスチルカメラ1が、画像を撮像し記録することを撮影と称する。
図1はデジタルスチルカメラ1の正面(被写体から見た面)の外観を示す。
図1に示されるように、デジタルスチルカメラ1の本体11の上面に、被写体側から見て左側にシャッターボタン(レリーズボタン)12が設けられ、ほぼ中央に、電源のオン/オフを切り替えるときに操作される電源ボタン13が設けられる。
また、本体11の正面上方にはフラッシュランプ14が設けられ、右方には撮像レンズ15が設けられる。デジタルスチルカメラ1に設けられる撮像レンズ15は沈胴式のレンズとなっており、電源ボタン13が操作されて電源がオンとなり、撮影モードが選択されているときには、図3に示されるように、撮像レンズ15は本体11の表面から突出した状態になる。
図2はデジタルスチルカメラ1の背面(ユーザから見た面)の外観を示す。
図2に示されるように、本体11の背面には、その広い範囲に渡って液晶ディスプレイパネル21(以下、LCD(Liquid Crystal Display)パネル21という)が設けられている。LCDパネル21には、ユーザが被写体の画像の構図を確認するための画像であるスルー画、撮影済みの画像、または各種のメニュー画面がユーザの操作に応じて表示される。
LCDパネル21の右方には、ユーザが各種の操作を行うときに操作されるボタンが設けられている。図2の例においては、上から、撮像範囲のズーム/テレを調整するときに操作されるズームボタン22(“−”ズームダウン、“+”ズームアップ)、撮影済みの画像を再生するときに操作される撮影画像再生ボタン23、およびLCDパネル21に表示されているカーソルを移動させたり、閲覧する画像を切り替えたりするときに操作される上下左右ボタンと、項目を決定するときに操作される決定ボタンとからなるカーソル指示ボタン24が設けられている。カーソル指示ボタン24の左右には、メニュー画面をLCDパネル21に表示させるときに操作されるメニューボタン25、LCDパネル21の表示を切り替えるときに操作されるLCDパネル表示切り替えボタン26がそれぞれ設けられている。
図3はデジタルスチルカメラ1の側面(正面左側)の外観を示す。
図3に示されるように、デジタルスチルカメラ1の本体11の左側面には、リチウムイオン充電池の挿入口であるバッテリ挿入口31、メモリカードの挿入口である画像記録用メモリカード挿入口32が設けられている。また、バッテリ挿入口31と画像記録用メモリカード挿入口32の下には、USB(Universal Serial Bus)ケーブルの端子の接続口であるUSB端子口33(外部接続端子口)が設けられている。
これらのバッテリ挿入口31、画像記録用メモリカード挿入口32、およびUSB端子口33は、図4に示されるような、左側面のほぼ全面を覆うサイズの蓋部材である保護カバー34により、通常は外部から見えないようになっている。例えば、バッテリやメモリカードを入れ替えたり、USBケーブルを用いてパーソナルコンピュータなどにデジタルスチルカメラ1を接続したりするときなどに、保護カバー34が開けられてバッテリ挿入口31、画像記録用メモリカード挿入口32、およびUSB端子口33が外部から見える状態になる。
図5はデジタルスチルカメラ1の電気的な構成の例を示すブロック図である。デジタルスチルカメラ1の本体には、上述のフラッシュランプ14などに加えて、撮像レンズ15、LCDパネル21、撮像素子41、アナログ信号処理部42、A/D(Analog/Digital)変換部43、デジタル信号処理部44、およびI/O(IN/OUT)制御部45が設けられ、I/O制御部45には、メモリカード46が着脱自在に装着される。さらに、デジタルスチルカメラ1の本体には、制御バス47、操作入力部48、CPU49、プログラムRAM50、画像RAM51、フラッシュメモリ52、重ね合わせ処理部53、および画像信号生成処理部54が設けられる。
撮像素子41は、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサからなり、撮像レンズ15を介して入射する被写体からの光を受光して光電変換を行い、受光量に応じた電気信号としてのアナログ信号である画像信号をアナログ信号処理部42に供給する。すなわち、撮像素子41は、撮像することによって画像を取り込む。
CMOSセンサは、例えば、CCDイメージセンサと比較した場合、画像信号の出力レートがより高速であり、撮像した画像を重ね合わせて記録する場合、画像の撮像の間隔をより短くすることができ、これにより、撮像し記録される画像、すなわち撮影される画像のぶれをより低減させることができる。
アナログ信号処理部42は、撮像素子41からのアナログ信号である画像信号の増幅、ガンマ補正、ホワイトバランス調整などのアナログ信号処理を行い、そのアナログ信号処理の結果得られる画像信号をA/D(Analog/Digital)変換部43に供給する。
A/D変換部43は、アナログ信号処理部42からのアナログ信号の画像信号をA/D変換し、その結果得られるデジタル信号の画像データをデジタル信号処理部44に供給する。
デジタル信号処理部44は、制御バス47を介して行われるCPU49による制御に従って、A/D変換部43からの画像データに対し、ノイズ除去処理などのデジタル信号処理を施す。また、デジタル信号処理部44は、2つの画像データに対して合成の処理を施す。デジタル信号処理部44の合成の処理により、2つの画像データから、2つの画像データによる画像のそれぞれが別個に配置されてなる1つの画像を表示させる1つの画像データが生成される。
より詳細には、デジタル信号処理部44は、撮像素子41により連続して撮像された複数の画像が重ね合わせられて得られた1つの画像の画像データと、撮像素子41により撮像された1つの画像の画像データとに合成の処理を適用して、1つの画像を表示させる1つの画像データを生成する。例えば、デジタル信号処理部44は、撮像素子41により撮像された1つの画像がLCDパネル21の全体の領域に表示され、重ね合わせられて得られた1つの画像がLCDパネル21の全体の領域より小さい領域に表示されるような画像データを生成する。ここで、2つの画像データによる画像は、上述した説明とは逆に表示されてもよいし、同じ大きさの領域にそれぞれ表示されるようにしてもよい。
デジタル信号処理部44は、撮像素子41によって撮像され取り込まれた画像をLCDパネル21に表示させる場合、すなわちスルー画を表示させる場合、デジタル信号処理や2つの画像データの合成の処理を施した画像データを、制御バス47を介して画像RAM(Random Access Memory)51に供給したり、画像信号生成処理部54に供給したりする。
また、デジタル信号処理部44は、画像を記録するとき、すなわち撮像された画像の記録がユーザにより指示されたとき、制御バス47を介して画像RAM51から供給される画像データを、例えば、JPEG(Joint Photographic Experts Group)方式などで符号化することにより圧縮し、その結果得られる圧縮画像データを、制御バス47を介してI/O(IN/OUT)制御部45に供給する。I/O制御部45は、デジタル信号処理部44から供給された圧縮画像データを、メモリカード46に記録させる。
さらに、デジタル信号処理部44は、画像を再生するとき、I/O制御部45に、メモリカード46から圧縮画像データを読み出させる。I/O制御部45は、制御バス47を介して、メモリカード46から読み出した圧縮画像データを供給してくるので、デジタル信号処理部44は、圧縮画像データを復号することにより伸張し、その結果得られる画像データを、制御バス47を介して画像RAM51に供給する。
I/O制御部45は、画像データを記録するとき、デジタル信号処理部44から制御バス47を介して供給された圧縮画像データを、本体11の画像記録用メモリカード挿入口32に挿入されて装着され、I/O制御部45と電気的に接続されているメモリカード46に記録させる。また、I/O制御部45は、メモリカード46に記録されている画像データによって画像を表示したり、画像データをパーソナルコンピュータなどに転送したりするとき、メモリカード46に記録されている画像データを読み出し、それを制御バス47上に出力する。
操作入力部48は、シャッターボタン12、電源ボタン13、ズームボタン22、撮影画像再生ボタン23、カーソル指示ボタン24、メニューボタン25、またはLCDパネル表示切り替えボタン26など、本体11に設けられる各種のボタンに対するユーザの操作を検出し、ユーザの操作に対応する信号をCPU(Central Processing Unit)49に出力する。
CPU49は、フラッシュメモリ52に記録されているプログラムをプログラムRAM50に展開させて、プログラムRAM50に記録されたプログラムを実行することにより、デジタルスチルカメラ1を構成する各部を制御する。
また、CPU49は、操作入力部48からの信号に応じて各種の処理を行う。CPU49により、例えば、撮像のための絞りや撮像レンズ15のズームの調整、露出時間の制御などの撮影処理や、撮影した画像の再生処理、撮像している被写体のスルー画の表示の処理などが行われる。
プログラムRAM50は、CPU49が実行するプログラムや、CPU49がプログラムを実行する上で必要なデータを一時的に記録する。
画像RAM51は、制御バス47を介して供給される画像データを一時的に記録する。また、画像RAM51は、重ね合わせ処理部53から供給される重ね合わせられた画像データを一時的に記録する。
フラッシュメモリ52は、CPU49が実行するプログラムや、デジタルスチルカメラ1に設定された各種の情報その他の、デジタルスチルカメラ1の電源がオフにされたときも保持しておく必要があるデータ等を記録する。また、フラッシュメモリ52は、デジタルスチルカメラ1の電源がオンにされたときに、CPU49が実行するプログラムをプログラムRAM50に転送する。
重ね合わせ処理部53は、後述する重ね合わせ制御部65の指示によって、画像RAM51から供給される複数の画像データを重ね合わせて、1つの画像データにする。すなわち、重ね合わせ処理部53は、重ね合わせの処理を行う。
より詳細には、例えば、重ね合わせ処理部53は、あらかじめ定めた期間に連続して撮像された複数の画像データを取得し、複数の画像データについて各画素の動きベクトルを検出する。重ね合わせ処理部53は、画像データ毎に検出された各画素の動きベクトルによって画像データに動き補正の処理を施す。重ね合わせ処理部53は、動き補正の処理の結果得られた画像データ毎の画面上で同じ位置の各画素の画素値を、画素毎に加算しその平均の画素値を算出する。重ね合わせ処理部53は、算出された平均の画素値より1つの画像データを生成する。
また、例えば、重ね合わせ処理部53は、撮像素子41によって撮像された露光量の異なる複数の画像の画像データを取得する。重ね合わせ処理部53は、得られた複数の画像の画像データの画素値と、所定の基準値とを比較して、露光が適正であると判定された画素値からなる画像の部分を合成することで、1つの画像データを生成する。例えば、輝度差の大きい被写体を撮像した場合、露光量の大きい画像における明るい部分は白飛びし、暗い部分は、露光が適正になるので、好ましい階調で適切に撮像される。一方、露光量の小さい画像における明るい部分は、好ましい階調で適切に撮像され、暗い部分は黒つぶれとなる。重ね合わせ処理部53は、このような露光量の異なる複数の画像から適切に撮像された部分を合成して、1つの画像データを生成する。
このようにして、重ね合わせ処理部53は、重ね合わせの処理を行うことで、より広ダイナミックレンジの画像を生成することができる。
画像信号生成処理部54は、メモリカード46からI/O制御部45により読み出された圧縮画像データがデジタル信号処理部44において復号されることにより得られた画像データや、撮像素子41により撮像されて取り込まれた画像の画像データであって、制御バス47を介して供給された画像データから表示のための画像信号を生成し、生成した画像信号に基づいてLCDパネル21に画像を表示させる。
図6は、デジタルスチルカメラ1の機能の構成の例を示すブロック図である。この機能は、図5のCPU49により所定のプログラムが実行されることで実現される。
図6に示されるように、撮影制御部61、再生制御部62、表示制御部63、格納制御部64、および重ね合わせ制御部65が、プログラムを実行するCPU49により実現される。
撮影制御部61は、図5に示されるデジタルスチルカメラ1の各部を制御して、撮影を制御する。
再生制御部62は、図5に示されるデジタルスチルカメラ1の各部を制御して、再生を制御する。
表示制御部63は、図5に示されるデジタルスチルカメラ1の各部を制御して、LCDパネル21への画像の表示の処理を制御する。例えば、表示制御部63は、画像信号生成処理部54を制御して、スルー画をLCDパネル21に表示させる。
格納制御部64は、図5に示されるデジタルスチルカメラ1の各部を制御して、画像RAM51への画像データの格納の処理を制御する。例えば、格納制御部64は、重ね合わせの処理に用いられる画像データであって、撮像素子41の撮像により得られた画像データを、画像RAM51に一時的に記録させる。また、格納制御部64は、重ね合わせ処理部53から供給される重ね合わせられた画像データを、画像RAM51に一時的に記録させる。
重ね合わせ制御部65は、重ね合わせ処理部53を制御して、画像RAM51に記録されている画像データの重ね合わせの処理を重ね合わせ処理部53に行わせる。
このように構成されるデジタルスチルカメラ1は、CPU49の制御によって、被写体の撮影処理や撮影した画像の再生処理、撮像している被写体のスルー画の表示の処理に加え、再生した画像のうちの不要な画像を削除したり、撮影した画像を一覧表示したり、USBなどの外部接続端子を介して外部装置と接続されたりするが、以下では、デジタルスチルカメラ1の撮影処理、再生処理、およびスルー画の表示処理について説明する。
まず、デジタルスチルカメラ1の撮影処理について説明する。
図5のように構成されるデジタルスチルカメラ1による撮影処理は、撮影制御部61で処理が実行されることによって実現される。
デジタルスチルカメラ1が被写体を撮像しているとき、ユーザによってシャッターボタン12が押下されることで、撮像素子41は、撮像レンズ15によって結像されている被写体の像を光電変換し、光電変換によって得られたアナログ信号である画像信号をアナログ信号処理部42に供給する。すなわち、撮像素子41は、撮像することによって画像を取り込む。
アナログ信号処理部42は、撮像素子41から供給された画像信号に対してホワイトバランス調整、およびガンマ補正を行い、得られた画像信号をA/D変換部43に供給する。
A/D変換部43は、アナログ信号処理部42から供給された画像信号をデジタル信号の画像データにA/D変換し、得られた画像データをデジタル信号処理部44に供給する。
デジタル信号処理部44は、得られた画像データを、制御バス47を介して画像RAM51に供給する。画像RAM51は、画像データを一時的に記録する。
デジタル信号処理部44は、画像RAM51に記録された画像データを再度取得する。デジタル信号処理部44は、画像データに対してJPEG方式などによる符号化処理を行い、サムネイル画像を付加した圧縮画像データを1つの画像ファイルとして、制御バス47を介してI/O制御部45に供給する。I/O制御部45は、供給された圧縮画像データをメモリカード46に記録させる。以上の処理により撮影が行われる。
また、デジタルスチルカメラ1は、上述した通常の撮影処理だけでなく、重ね合わせ撮影の処理を行う。例えば、ユーザによってカーソル指示ボタン24およびメニューボタン25が操作され、重ね合わせ撮影モードが選択されると、デジタルスチルカメラ1の撮影モードは、重ね合わせ撮影モードとなる。
ここで、ユーザによってシャッターボタン12が押下されると、デジタルスチルカメラ1は、上述した撮影処理の説明における、撮像素子41が画像を取り込んでから画像RAM51が画像データを記録するまでの処理を、撮影制御部61によって指定される回数だけ繰り返す。すなわち、画像RAM51には、撮影制御部61によって指定された数の画像データが格納される。
重ね合わせ制御部65は、重ね合わせ処理部53に、画像RAM51に格納されている複数の画像データの重ね合わせの処理を実行するよう指示する。
重ね合わせ処理部53は、重ね合わせ制御部65からの指示によって、画像RAM51に格納されている複数の画像データを取得し、重ね合わせの処理を行う。重ね合わせ処理部53は、重ね合わせの処理の結果得られた1つの画像データを、デジタル信号処理部44に供給する。
デジタル信号処理部44は、供給された画像データに対して、JPEG方式などによる圧縮符号化処理を行い、サムネイル画像を付加した圧縮画像データを1つの画像ファイルとして、制御バス47を介してI/O制御部45に供給する。I/O制御部45は、供給された圧縮画像データをメモリカード46に記録させる。以上の処理により重ね合わせ撮影が行われる。
このように、デジタルスチルカメラ1は、通常の撮影または重ね合わせ撮影を行うことができる。
次に、デジタルスチルカメラ1の再生処理について説明する。
図5のように構成されるデジタルスチルカメラ1による再生処理は、再生制御部62で処理が実行されることによって実現される。
再生制御部62は、ユーザによって操作入力部48が操作されることによって生成される情報であって、画像の再生の対象を示す情報であるCPU49の内蔵メモリ内のデータベース情報およびディレクトリ情報を参照して、再生する画像の画像データを指定する。再生制御部62は、その指定に応じて、I/O制御部45にメモリカード46から画像データを読み出させる。
I/O制御部45は、読み出された画像データを、制御バス47を介してデジタル信号処理部44に供給する。
デジタル信号処理部44は、供給された画像データに対して、復号処理などを行う。デジタル信号処理部44は、得られた画像データを、制御バス47を介して画像RAM51に供給する。
画像信号生成処理部54は、制御バス47を介して画像RAM51から画像データを取得する。画像信号生成処理部54は、取得した画像データから画像信号を生成し、生成した画像信号に基づいてLCDパネル21に画像を表示させる。以上の処理により再生が行われる。
このように、デジタルスチルカメラ1は、再生処理を行うことができる。
次に、デジタルスチルカメラ1の、通常の撮影を行うモードである通常撮影モードにおけるスルー画の表示の処理について説明する。
図7は、デジタルスチルカメラ1の、通常撮影モードにおけるスルー画の表示の処理の例を示すフローチャートである。
図5のように構成されるデジタルスチルカメラ1によるスルー画の表示の処理は、表示制御部63で処理が実行されることによって実現される。
ステップS11において、表示制御部63は、撮像素子41に、撮像レンズ15により結像されている被写体の像を光電変換させる。すなわち、撮像素子41は、撮像することによって被写体の画像を取り込む。表示制御部63は、撮像素子41に、光電変換によって得られたアナログ信号である画像信号をアナログ信号処理部42に供給させる。
ステップS12において、表示制御部63は、アナログ信号処理部42に、撮像素子41から供給された画像信号に対してホワイトバランス調整、およびガンマ補正を行わせ、得られた画像信号をA/D変換部43に供給させる。
ステップS13において、表示制御部63は、A/D変換部43に、アナログ信号処理部42から供給された画像信号をデジタル信号の画像データにA/D変換させ、得られた画像データをデジタル信号処理部44に供給させる。
ステップS14において、表示制御部63は、デジタル信号処理部44に、得られた画像データを、制御バス47を介して画像RAM51に供給させる。すなわち、デジタル信号処理部44は、画像データを画像RAM51に格納する。
ステップS15において、表示制御部63は、画像信号生成処理部54に、制御バス47を介して画像RAM51から画像データを取得させて画像信号を生成させる。LCDパネル21は、生成された画像信号に基づいて表示を更新する。
このように、デジタルスチルカメラ1は、スルー画の表示の処理を行うことができる。
デジタルスチルカメラ1は、ステップS11乃至ステップS15の処理を、一定の周期で繰り返すことによって、通常撮影モードにおけるスルー画の表示を実現する。この周期が長いほど、被写体として撮像されている物体への追従性や、ユーザがデジタルスチルカメラ1を動かしたときのスルー画の表示の追従性が悪くなる。
一般的に、スルー画の表示の処理の周期として、テレビジョン受像機の表示の周期と同じ1/60秒であれば、ユーザは、特に追従性の悪さを感じることなく、LCDパネル21を確認しながら画像の構図を決定することができる。
次に、デジタルスチルカメラ1の、重ね合わせ撮影モードにおけるスルー画の表示について説明する。
図8は、デジタルスチルカメラ1の、重ね合わせ撮影モードにおけるスルー画の表示の処理の例を示すフローチャートである。デジタルスチルカメラ1の重ね合わせ撮影モードにおけるスルー画の表示の処理は、表示制御部63、格納制御部64、および重ね合わせ制御部65で処理が実行されることによって実現される。
ステップS31において、表示制御部63は、スルー画の表示の処理を行うタイミングであるか否かを判定する。
図9は、デジタルスチルカメラ1の撮像素子41の撮像の周期を説明するタイミングチャートの例である。図9において、波形が立ち上がっている期間(立ち上がりのエッジから立ち下がりのエッジまでの期間)は、撮像素子41の撮像が実行されるように駆動される期間を示す。
図9に示されるように、重ね合わせ撮影モードにおいて、撮像素子41は、1/60秒より短い周期、例えば1/60秒を分周した1/300秒の周期で撮像が実行されるように駆動される。スルー画の表示の処理は、通常の撮影モードと同様、1/60秒の周期で行われる。また、重ね合わせの処理に用いる複数の画像データを格納する処理は、スルー画の表示の処理が行われるタイミングでない周期で行われる。
例えば、図9において、撮像素子41により撮像が実行されるタイミングのうち、0秒、および5/300秒のタイミング、すなわち1/60秒周期で、スルー画の表示の処理が行われ、1/300秒、2/300秒、3/300秒、および4/300秒、並びに6/300、7/300秒、および8/300秒のそれぞれのタイミングで、重ね合わせの処理に用いられる複数の画像データを格納する処理が行われる。
すなわち、デジタルスチルカメラ1は、撮像の5回に1回の割合で、撮像により取り込まれた画像によるスルー画の表示の処理を行い、それ以外の4回の周期では、撮像により取り込まれた画像であって、重ね合わせの処理に用いられる画像の画像データを格納する処理を行う。
図8のフローチャートに戻り、ステップS31において、スルー画の表示を行うタイミングでないと判定された場合、すなわち、例えば、図9におけるn/300秒(n=0,5,10,15,…)のタイミングでない場合、ステップS32に進む。
ステップS32において、格納制御部64は、重ね合わせの処理に用いられる画像データを格納させる。すなわち、格納制御部64で処理が実行されて、画像データ格納処理が実現される。
ここで、図10のフローチャートを参照して、ステップS32に対応する、画像データ格納処理の詳細な例について説明する。
ステップS51において、格納制御部64は、撮像素子41に、撮像レンズ15により結像されている被写体の像を光電変換させる。すなわち、撮像素子41は、撮像することによって被写体の画像を取り込む。このとき、例えば、撮像素子41は、4回の格納の処理により格納された画像を重ね合わせる場合、4枚の画像を重ね合わせて適正な露出の画像が得られるような撮像レンズ15の露出の設定で、画像を取り込む。格納制御部64は、撮像素子41に、光電変換によって得られたアナログ信号である画像信号をアナログ信号処理部42に供給させる。
ステップS52において、格納制御部64は、アナログ信号処理部42に、撮像素子41から供給された画像信号に対してホワイトバランス調整、およびガンマ補正を行わせ、得られた画像信号をA/D変換部43に供給させる。
ステップS53において、格納制御部64は、A/D変換部43に、アナログ信号処理部42から供給された画像信号をデジタル信号の画像データにA/D変換させ、得られた画像データをデジタル信号処理部44に供給させる。
ステップS54において、格納制御部64は、デジタル信号処理部44に、得られた画像データを、制御バス47を介して画像RAM51に供給させる。すなわち、デジタル信号処理部44は、画像データを画像RAM51に格納して、処理は終了する。
なお、画像データ格納処理のそれぞれにより、画像データは、個々に、画像RAM51に格納される。例えば、スルー画表示処理の次に実行される画像データ格納処理により、画像RAM51の所定の領域に画像データが格納され、スルー画表示処理から2番目乃至4番目に実行される画像データ格納処理のそれぞれにより、画像RAM51の別個独立の領域に画像データがそれぞれ格納される。
ステップS51乃至ステップS54の処理は、上述したように、1/300秒の周期で複数回連続して行われる。このように、画像の撮像の間隔を短くすることで、撮像した画像を重ね合わせた画像に対する手ぶれの影響を少なくさせることができる。すなわち、重ね合わせに適した複数の画像データを、画像RAM51に格納することができる。
図8のフローチャートに戻り、一方、ステップS31において、スルー画の表示を行うタイミングであると判定された場合、すなわち、例えば、図8におけるn/300秒(n=0,5,10,15,…)のタイミングである場合、ステップS33に進む。
ステップS33において、表示制御部63は、スルー画の表示とともに、重ね合わせの処理によって得られる画像の表示の処理を行う。すなわち、表示制御部63で処理が実行されて、スルー画および重ね合わせ画像表示処理が実現される。
ここで、図11のフローチャートを参照して、ステップS33に対応する、スルー画および重ね合わせ画像表示処理の詳細な例について説明する。
ステップS71において、表示制御部63は、撮像素子41に、撮像レンズ15により結像されている被写体の像を光電変換させる。すなわち、撮像素子41は、撮像することによって被写体の画像を取り込む。このとき、撮像素子41は、被写体に応じてゲインを上げ、スルー画に適した露出に設定して画像を取り込む。表示制御部63は、撮像素子41に、光電変換によって得られたアナログ信号である画像信号をアナログ信号処理部42に供給させる。
ステップS72において、表示制御部63は、アナログ信号処理部42に、撮像素子41から供給された画像信号に対してホワイトバランス調整、およびガンマ補正を行わせ、得られた画像信号をA/D変換部43に供給させる。
ステップS73において、表示制御部63は、A/D変換部43に、アナログ信号処理部42から供給された画像信号をデジタル信号の画像データにA/D変換させ、得られた画像データをデジタル信号処理部44に供給させる。
ステップS74において、表示制御部63は、デジタル信号処理部44に、得られた画像データを、制御バス47を介して画像RAM51に供給させる。すなわち、デジタル信号処理部44は、画像データを画像RAM51に格納する。
なお、ステップS74において、画像データは、ステップS54において画像データが格納された画像RAM51の領域とは異なる領域に格納される。
ステップS75において、表示制御部63は、重ね合わせ制御部65に、重ね合わせの処理を重ね合わせ処理部53に行わせるように指示する。重ね合わせ処理部53は、重ね合わせ制御部65の制御によって、図10のフローチャートのステップS54において画像RAM51に格納された複数の画像データを重ね合わせて、1つの画像データを生成する。すなわち、重ね合わせ処理部53は、重ね合わせの処理を行う。より具体的には、例えば、重ね合わせ処理部53は、画像RAM51に格納されている4枚の画像の画像データに対して重ね合わせの処理を適用し、1枚の画像の画像データを生成する。
ステップS76において、表示制御部63は、デジタル信号処理部44に、ステップS74において画像RAM51に格納された画像データを通常のスルー画の画像データとして取得させ、重ね合わせの処理によって得られた重ね合わせの画像データとスルー画の画像データとを合成させる。より具体的には、例えば、デジタル信号処理部44は、スルー画がLCDパネル21の全体の領域に表示され、重ね合わせの画像がスルー画より小さい領域にスルー画の上に表示されるような1つの画像データを生成する。表示制御部63は、デジタル信号処理部44に、合成された画像データを画像RAM51に供給させる。
ステップS77において、表示制御部63は、画像信号生成処理部54に、制御バス47を介して画像RAM51から合成された画像データを取得させて画像信号を生成させる。LCDパネル21は、生成された画像信号に基づいて表示を更新し、処理は終了する。
なお、ステップS75において、重ね合わせ処理部53は、画像RAM51に格納されている4枚の画像データに対して重ね合わせの処理を行うようにしたが、4枚の画像データに、ステップS74において画像RAM51に格納された画像データを加えた5枚の画像データに対して重ね合わせの処理を行うようにしてもよい。
図8のフローチャートに戻り、ステップS32またはステップS33の処理の後、重ね合わせ撮影モードにおけるスルー画の表示の処理は終了する。
図12は、重ね合わせ撮影モードにおけるスルー画の表示の処理の結果得られるスルー画の表示の例を示す図である。
図12に示されるように、LCDパネル21には、LCDパネル21の画面の全体の領域に通常のスルー画81が表示され、LCDパネル21の画面の一部の領域、すなわちスルー画81が表示される領域より小さい領域に、重ね合わせの処理の結果である重ね合わせ画像82がスルー画81の上に表示されている。重ね合わせ画像82が表示される領域では、重ね合わせ画像82だけが表示される。
このようにして、デジタルスチルカメラ1は、スルー画81を表示するとともに、重ね合わせ撮影の結果である、重ね合わせの処理によって得られた重ね合わせ画像82をLCDパネル21に表示することができる。
なお、上述した説明において、スルー画81がLCDパネル21の全体の領域に表示され、重ね合わせ画像82がスルー画81より小さい領域に表示されるようにしたが、図13に示されるように、重ね合わせ画像82がLCDパネル21の全体の領域に表示され、スルー画81が重ね合わせ画像82より小さい領域に、重ね合わせ画像82の上に表示されるようにしてもよいし、図示は省略するが、スルー画81と重ね合わせ画像82とが大きさの等しい領域に表示されるようにしてもよい。
また、図14に示されるように、LCDパネル21のアスペクト比が4:3でなく、16:9である場合、LCDパネル21には、スルー画81が表示される領域と重ね合わせ画像82が表示される領域とを明確に分けて、スルー画81と重ね合わせ画像82の全体がそれぞれ表示されるようにしてもよい。
さらに、上述した説明において、撮影モードが重ね合わせ撮影モードである場合、LCDパネル表示切り替えボタン26が押下されることによって、図15に示されるように、スルー画81と重ね合わせ画像82とが配置される表示と、スルー画81のみが配置される表示とを切り替えるようにしてもよいし、撮影モードがどのモードの場合であっても、LCDパネル表示切り替えボタン26が押下されることによって、図15に示されるように、スルー画81と重ね合わせ画像82とが配置される表示と、スルー画81のみが配置される表示とを切り替えるようにしてもよい。このとき、LCDパネル21の所定の位置に、撮影モードを示すガイドが表示されるようにしてもよい。
さらにまた、撮影モードが重ね合わせ撮影モードである場合、図16に示されるように、通常時、すなわち被写体をただ撮像しているときはスルー画81が表示され、シャッターボタン12が半押しされAF/AE(Auto Focus/Auto Exposure)ロックを行ったときのみ、すなわち合焦位置または露出の値を固定したときのみ、スルー画81と重ね合わせ画像82とが表示されるようにしてもよい。この場合、さらにシャッターボタン12を深押ししたときに、撮影が行われる。このように、通常時には、常に重ね合わせ画像82が表示されないため、ユーザが画像の構図を考えるときに邪魔ならず、また、撮影直前には、ユーザは、重ね合わせ画像82により重ね合わせ撮影後の画像を確認することができる。
また、重ね合わせ画像82が表示されている場合には、デジタルスチルカメラ1のユーザは、重ね合わせによる広ダイナミックレンジの画像を取得したいと考えられる。この場合、撮影モードにかかわらず、LCDパネル表示切り替えボタン26が押下され、重ね合わせ画像82が表示されるか否かを切り替えることによって、スルー画81のみが表示されているときにシャッターボタン12を押下すると、通常撮影を行い、スルー画81と重ね合わせ画像82とが表示されているときにシャッターボタン12を押下すると、重ね合わせ撮影を行うようにしてもよい。
さらに、図17に示されるように、LCDパネル21の表示を、候補画像91、候補画像92、候補画像93、および代表画像94から構成されるようにしてもよい。図17のLCDパネル21の右側に表示されている候補画像91乃至候補画像93は、それぞれ設定が異なる重ね合わせの画像である。より具体的には、例えば、候補画像91乃至候補画像93は、重ね合わせの回数、露出の値、色などがそれぞれ異なる重ね合わせ画像である。代表画像94は、候補画像91乃至候補画像93のうちの、ユーザにより例えばカーソル指示ボタン24などの操作入力部48が操作されることにより指示された画像である。このような構成により、種々の設定の重ね合わせ画像がスルー画として表示され、ユーザに確認させることができる。また、候補画像91乃至候補画像93のうちのいずれか一つ、例えば候補画像93は、重ね合わせの処理が適用されない画像であってもよい。
このようにして、スルー画とともに、撮像間隔の短い画像の重ね合わせの結果が表示されることで、ユーザは、スルー画を確認しながら画像の構図を検討する際、被写体内の物体が動いていたり、手持ち撮影によって手ぶれしたりするなどの表示上の悪影響を受けずに、重ね合わせの結果を事前に確認することができ、操作性が向上する。
また、低照度の被写体に対して、重ね合わせの処理により高感度かつ手ぶれの影響のない画像が得られるにもかかわらず、ユーザは、スルー画のゲイン増大によるざらついた表示が撮影結果であると誤解をすることがなくなる。
さらに、従来は、逆光の被写体のように明るい場所と暗い場所の差が激しい場合、黒つぶれや白飛びのスルー画が表示され、撮影時に初めて重ね合わせの処理が実行されるが、上述した発明により、黒つぶれや白飛びのスルー画だけでなく、重ね合わせの画像も同時に表示されるので、ユーザは、黒つぶれや白飛びのスルー画を撮影結果と誤解することがなくなる。
なお、上述した説明において、デジタルスチルカメラ1によって撮像し記録される画像は静止画像であるものとして説明したが、デジタルスチルカメラ1によって撮像し記録される画像は動画像であってもよい。
以上のように、被写体の画像の構図を確認するための画像を表示するようにした場合には、被写体の画像の構図を確認させることができる。また、第1の画像を連続して撮像し、撮像された第1の画像のうちの複数のものを重ね合わせて第2の画像を生成し、構図を確認させるための第1の画像とともに、重ね合わせの結果を確認させるための第2の画像を表示するようにした場合には、重ね合わせの結果を事前に確認させると共に、被写体の変化に遅れることなく構図を決定させることができる。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 デジタルスチルカメラ, 15 撮像レンズ, 21 LCDパネル, 41 撮像素子, 42 アナログ信号処理部, 43 A/D変換部, 44 デジタル信号処理部, 45 I/O制御部, 46 メモリカード, 47 制御バス, 48 操作入力部, 49 CPU, 50 プログラムRAM, 51 画像RAM, 52 フラッシュメモリ, 53 重ね合わせ処理部, 54 画像信号処理部, 61 撮影制御部, 62 再生制御部, 63 表示制御部, 64 格納制御部, 65 重ね合わせ制御部, 81 スルー画, 82 重ね合わせ画像