JP2016201627A - 撮像装置、合成撮影方法及び合成撮影プログラム - Google Patents

Abstract

【課題】 撮影時に、バルブ撮影やコンポジット撮影等の合成撮影において、画像中の一部の画像部分について操作に応じた画像処理を施すことを可能にすることにより、希望する合成画像を簡単に取得する。【解決手段】 撮像装置は、被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像部と、上記複数の撮像画像を蓄積するための蓄積制御部と、上記複数の撮像画像のうちの複数の画像に含まれる所定の被写体の画像部分を対象画像部分として指定する画像指定部と、上記対象画像部分を含む複数の画像中の上記対象画像部分に対応する像信号を補正する補正部と、上記対象画像部分が補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を得る合成部と、を具備する。【選択図】図１

Description

本発明は、バルブ撮影やコンポジット撮影等に好適な撮像装置、合成撮影方法及び合成撮影プログラムに関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）が普及している。この種の撮像装置においては表示部を備えて、撮影画像を表示する機能を有するものもある。更に、表示部にメニュー画面を表示して、撮像装置の操作を容易にしたものもある。

撮像装置においては、シャッタボタンが押されている間とか、操作と操作の間に露光が行われるバルブ撮影機能を有するものがある。バルブ撮影機能を利用することで、星空や夜景撮影等において効果的な写真を得ることができる。例えば、特許文献１においては、天体撮影等の長時間撮影に利用されるバルブ撮影モードにおいて、撮影可能時間を表示させることで、ユーザが撮影可能時間を把握でき、意図する良好な撮影を行うことを容易にした撮像装置が提案されている。

更に、バルブ撮影時において、最終的に得られる画像だけでなく露光途中の時々刻々変化する画像を表示可能にしたライブバルブ機能を有する撮像装置も商品化されている。例えば、破壊読み出しを行う撮像素子を用いてライブバルブ機能を達成する装置も開示されている。このような装置では、露光及び読み出しを複数回繰り返し、各読み出し毎の像信号を積分することで、バルブ撮影において所定の露光時間毎の画像を得るようになっている。このようなライブバルブ機能では、ユーザは、表示された画像を見ながらバルブ撮影を停止させるタイミングを知ることができる。

また、被写体を繰り返し撮影して一連の画像を取得し、取得した一連の画像の特徴に応じて、合成する部分を決定する比較明合成することによって、バルブ撮影と同様の効果を得るコンポジット撮影機能を有する撮像装置も開発されている。

特開２００８−１１３３７７号公報

しかしながら、バルブ撮影やコンポジット撮影においては、撮影の開始から終了までの露光時間をユーザが自由に設定することができるだけであり、取得した画像に特殊な画像効果を簡単に付与することはできない。このような画像効果を付与するためには、撮影して得られた画像をパーソナルコンピュータ等によって読み込み、パーソナルコンピュータによる画像処理を施す必要があり、ユーザが希望する合成画像を得るためには、煩雑な画像処理作業が必要となる。

なお、撮像画像に対してアートフィルタ等の規定のフィルタ処理を適用する撮影機器も商品化されている。しかしながら、このフィルタ処理は、画像全体に対して決まった処理しかできず、画像の一部に対してユーザが希望する画像処理を施すことはできない。

本発明は、撮影時に、バルブ撮影やコンポジット撮影等の合成撮影において、画像中の一部の画像部分について操作に応じた画像処理を施すことを可能にすることにより、希望する合成画像を簡単に取得することができる撮像装置、合成撮影方法及び合成撮影プログラムを提供することを目的とする。

本発明に係る撮像装置は、被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像部と、上記複数の撮像画像を蓄積するための蓄積制御部と、上記複数の撮像画像のうちの複数の画像に含まれる所定の被写体の画像部分を対象画像部分として指定する画像指定部と、上記対象画像部分を含む複数の画像中の上記対象画像部分に対応する像信号を補正する補正部と、上記対象画像部分が補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を得る合成部と、を具備する。

また、本発明に係る合成撮影方法は、被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、上記複数の撮像画像を蓄積するための蓄積制御ステップと、上記複数の撮像画像のうちの複数の画像に含まれる所定の被写体の画像部分を対象画像部分として指定する画像指定ステップと、上記対象画像部分を含む複数の画像中の上記対象画像部分に対応する像信号を補正する補正ステップと、上記対象画像部分が補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を得る合成ステップと、を具備する。

また、本発明に係る合成撮影プログラムは、コンピュータに、被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、上記複数の撮像画像を蓄積するための蓄積制御ステップと、上記複数の撮像画像のうちの複数の画像に含まれる所定の被写体の画像部分を対象画像部分として指定する画像指定ステップと、上記対象画像部分を含む複数の画像中の上記対象画像部分に対応する像信号を補正する補正ステップと、上記対象画像部分が補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を得る合成ステップと、を実行させる。

本発明によれば、撮影時に、バルブ撮影やコンポジット撮影等の合成撮影において、画像中の一部の画像部分について操作に応じた画像処理を施すことを可能にすることにより、希望する合成画像を簡単に取得することができるという効果を有する。

本発明の第１の実施の形態に係る撮像装置の回路構成を示すブロック図。 カメラ制御を説明するためのフローチャート。 第１の実施の形態を説明するための説明図。 第１の実施の形態を説明するための説明図。 第１の実施の形態を説明するための説明図。 第１の実施の形態を説明するための説明図。 メニュー表示の一例を示す説明図。 メニュー表示の一例を示す説明図。 ユーザ操作の一例を示す説明図。 ユーザ操作の一例を示す説明図。 本発明の第２の実施の形態において採用される動作フローを示すフローチャート。 本発明の第３の実施の形態において採用される動作フローを示すフローチャート。 第３の実施の形態における動作を説明するための説明図。 第３の実施の形態における動作を説明するための説明図。 第３の実施の形態における動作を説明するための説明図。 第３の実施の形態における動作を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置の回路構成を示すブロック図である。本実施の形態における撮像装置１は、同一被写体を繰り返し撮像して一連の複数の画像を得るバルブ撮影やコンポジット撮影等の合成撮影時において、画像中の一部の被写体、例えば、動きのある被写体について、ユーザ操作に応じた画像に補正した合成画像を得ることを可能にしたものである。例えば、動きのある被写体について、例えば撮影時間の経過に従った強調処理や減衰処理を施すことで、フェードインやフェードアウト効果を付加した合成画像を得ることもできる。

図１において、撮像装置１は撮像部１０及び制御部２０を含む。撮像部１０は、ＣＣＤやＣＭＯＳセンサ等の図示しない撮像素子と、被写体の光学像を撮像素子の撮像面に導く図示しない光学系とを備える。光学系は、ズームやフォーカシングのためのレンズ及び絞り等を備えている。

制御部２０は、図示しないＣＰＵ等のプロセッサによって構成することができ、図示しないメモリに記憶されたプログラムに従って各部を制御することができるようになっている。制御部２０には撮像部１０からの撮像画像が与えられる。画像取得部２１は撮像部１０からの画像を取り込むようになっている。画像取得部２１には撮像制御部２２が設けられており、撮像制御部２２は撮像部１０を制御する。撮像制御部２２は、撮像部１０の撮像素子及び光学系を駆動制御する。例えば、撮像制御部２２は、ズームやフォーカシングのためのレンズ及び絞りを駆動して、ズーム及びピント位置や絞りを変更することができる。また、撮像制御部２２は、撮像部１０の撮像素子を駆動制御して、撮像素子からの撮像画像を取得することができるようになっている。また、撮像制御部２２は、撮像素子からの画素信号の読み出しに際して、画素信号を必要に応じて加算したり間引いたりして出力することもできる。

更に、本実施の形態においては、撮像制御部２２は、撮像部１０を制御して、同一被写体について繰り返し撮像を行って一連の複数の撮像画像を得るバルブ撮影やコンポジット撮影のための撮影制御が可能である。こうして、画像取得部２１は、一連の複数の撮像画像を取得する。

画像取得部２１が取得した複数の画像は蓄積合成制御部２３に与えられる。蓄積制御部としての蓄積合成制御部２３は、入力された画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行うこともできる。蓄積合成制御部２３は、信号処理後の画像を記録制御部２７及び表示制御部２９に出力することができる。

蓄積合成制御部２３は、バルブ撮影やコンポジット撮影等の合成撮影モード時には、合成撮影制御部２６によって制御されて、入力される複数の画像を順次蓄積部２５に与えると共に、順次入力される撮像画像を合成して蓄積部２５に与える。蓄積部２５は、蓄積合成制御部２３に制御されて、蓄積合成制御部２３から与えられる画像を記憶すると共に、記憶した画像を蓄積合成制御部２３及び補正部２４に出力することができるようになっている。

合成部としての蓄積合成制御部２３は、画像取得部２１からの撮像画像を蓄積部２５に与えて記憶させると共に、蓄積部２５に蓄積された画像と画像取得部２１からの撮像画像とを合成した合成画像を生成することができる。更に、蓄積部２５は、蓄積部２５に記憶されている複数の画像を合成した合成画像を生成することもできる。これにより、蓄積合成制御部２３は、撮像部１０による合成撮影によって得られた一連の撮像画像のうちの所定の画像のみを合成することも可能である。

本実施の形態においては、画像中の一部、例えば、動きのある被写体に対して所定の画像効果を付与するために、補正部２４が設けられている。補正部２４は、合成撮影制御部２６に制御されて、蓄積部２５に記憶されている画像を補正した後蓄積合成制御部２３に与えることができるようになっている。例えば、補正部２４は、蓄積部２５に蓄積された画像中のユーザが指定した被写体部分について、像信号のレベルを低下又は増大させる処理を行うことができる。更に、補正部２４は、合成撮影制御部２６に制御されて、像信号に対するレベルの低下又は増大の度合いを、撮影時間の経過に対応する一連の撮像画像について、各画像毎に変化させることができるようになっている。これにより、補正部２４は、蓄積部２５に蓄積された画像の一部、例えば、動きのある被写体の画像部分について、時間の経過と共に明るさを変化させることもできるようになっている。このような画像を合成した場合には、合成画像は、動きのある被写体の画像部分がフェードインやフェードアウト効果を有することになる。

ユーザは、後述する操作部３２又はタッチパネル３１ａによって、補正部２４において補正する画像部分を指定することができるようになっており、操作判定部２８はユーザの指定操作に基づく信号を合成撮影制御部２６に与える。画像指定部としての合成撮影制御部２６は、ユーザの指定操作に基づく画像部分を補正対象の画像部分（以下、対象画像部分という）として補正部２４に指示する。

蓄積合成制御部２３は、蓄積部２５に蓄積された画像及び補正部２４によって補正された画像を用いて合成画像を生成することができる。これにより、蓄積合成制御部２３は、画像の一部において、所定の画像効果が付与された合成画像を生成することができるようになっている。蓄積合成制御部２３は生成した合成画像等を記録制御部２７及び表示制御部２９に出力することができる。記録部３３としては、種々の記録媒体を採用することができる。例えば、記録部３３として、カードインターフェースを採用した場合には、記録制御部２７は、メモリカード等の記録媒体に画像を記録可能である。

表示制御部２９は、表示に関する各種処理を実行する。表示制御部２９は、与えられた画像を表示部３１に与えて表示させることができる。表示部３１は、ＬＣＤ等の表示画面３１ｂ（図３Ａ参照）を有しており、表示制御部２９から与えられた画像を表示する。また、表示制御部２９は、各種メニュー表示等を表示部３１の表示画面３１ｂに表示させることもできるようになっている。

本実施の形態においては、合成撮影モード時には、表示制御部２９は、合成撮影制御部２６によって制御されて、蓄積合成制御部２３から与えられた画像をサムネイル表示することもできるようになっている。なお、表示部３１の表示画面３１ｂは撮像装置１の筐体１ａ（図３Ａ参照）の背面に沿って設けられており、撮影者は、撮影時に表示部３１の表示画面３１ｂ上に表示されたスルー画やサムネイル表示等を確認することができ、スルー画等を確認しながら撮影操作を行うこともできる。

操作判定部２８は、図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部３２に対するユーザ操作を受け付けるようになっている。また、表示部３１の表示画面３１ｂ上には、タッチパネル３１ａが設けられている。タッチパネル３１ａは、ユーザが指で指し示した表示画面３１ｂ上の位置やスライド操作に応じた操作信号を発生することができる。この操作信号も操作判定部２８に供給される。操作判定部２８は操作部３２及びタッチパネル３１ａに対する操作を判定して、判定結果を合成撮影制御部２６に与える。こうして、合成撮影制御部２６はユーザの指示に従って合成撮影における各部の制御を行う。

次に、このように構成された実施の形態の動作について図２乃至図４、図５Ａ、図５Ｂ、図６Ａ及び図６Ｂを参照して説明する。図２はカメラ制御を説明するためのフローチャートである。また、図３Ａ〜図３Ｃ及び図４は第１の実施の形態を説明するための説明図であり、合成画像の作成方法の概要を示している。また、図５Ａ及び図５Ｂはメニュー表示の一例を示す説明図である。図６Ａ及び図６Ｂはユーザ操作の一例を示す説明図である。

図２のステップＳ１において、制御部２０は、撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、制御部２０は、再生モードが指定されているか否かを判定する（ステップＳ３１）。再生モードが指示されると、制御部２０は、ステップＳ３２において、指定された画像を再生する。制御部２０は、ステップＳ３３において再生画像の変更が指示されたか否かを判定しており、変更が指示された場合には指定された画像に変更して再生を行う（ステップＳ３４）。また、制御部２０は、再生モードが指示されていない場合には、ステップＳ３５において、画像通信モードに移行する。

一方、撮影モードが指示されると、制御部２０は、ステップＳ２においてレンズ交換が行われたか否かを判定する。レンズ交換が行われている場合には、制御部２０は、撮像部１０との間でレンズ通信を行って、撮像部１０の光学系及び撮像素子に関する情報を取得すると共に、ユーザ操作に応じて、光学系及び撮像素子の設定を行う（ステップＳ３）。

撮影モードにおいては、制御部２０の表示制御部２９は、例えば、図５Ａ及び図５Ｂに示すメニュー表示を表示するようにしてもよい。図５Ａに示すように、撮像装置１の筐体１ａの背面に設けられた表示画面３１ｂ上には、撮影モードを選択するための選択表示５１が表示されている。選択表示５１上をタッチ操作すると、例えば、表示制御部２９は、図５Ｂに示すメニュー表示を表示させる。図５Ｂにおいては、表示画面３１ｂ上に、合成撮影モードを選択するための選択表示５２，５３が表示されている。なお、通常撮影モード等の他の撮影モードを選択するための選択表示については画面をスクロールすることによって表示可能であるが、図示を省略する。選択表示５２は、バルブ撮影やコンポジット撮影等の通常の合成撮影モードを指定するためのものであり、選択表示５３は、本実施の形態における上述した画像効果を付加した合成撮影モード（以下、効果付き合成撮影モードという）を選択するためのものである。

いま、撮影モードとして効果付き合成撮影モードが指定されているものとする。合成撮影制御部２６は、ステップＳ４において、撮像制御部２２を制御して撮像部１０の撮像を開始させる。合成撮影制御部２６は、画像取得部２１を制御して撮像部１０から撮像画像を取得し、取得した画像を蓄積合成制御部２３に与える。蓄積合成制御部２３は、取得した画像に所定の信号処理を施した後、表示制御部２９に与える。表示制御部２９は表示部３１の表示画面３１ｂ上にスルー画を表示させる。

次に、制御部２０は、ステップＳ５においてレンズ操作があったか否かを判定する。レンズ操作が行われた場合には、制御部２０はレンズ操作に応じた制御を行って、操作結果を反映させる（ステップＳ６）。次に、制御部２０は、ステップＳ７においてボディ操作があったか否かを判定する。ボディ操作が行われた場合には、制御部２０はボディ操作に応じた制御を行って、操作結果を反映させる（ステップＳ８）。

次に、制御部２０は、ステップＳ９において、合成撮影が開始されたか否かを判定する。例えば、ユーザがシャッタボタン３２ａを押下操作することによって、合成撮影が開始される。合成撮影モード時には、合成撮影制御部２０によって各部が制御され、所定の露光時間が設定されて合成撮影が行われる。撮像部１０の撮像によって得られた画像の蓄積が開始される（ステップＳ１０）。

即ち、撮像部１０は、撮像制御部２２に制御されて、同一被写体を繰り返し撮像し、一連の複数の撮像画像を出力する。画像取得部２１は、同一被写体について撮影された複数の画像を順次取得して蓄積合成制御部２３に出力し、蓄積合成制御部２３は、入力された画像を順次蓄積部２５に与えて記憶させる。

蓄積合成制御部２３は、合成撮影における１回の撮影に要する露光時間が経過したか否かをステップＳ１１において判定し、１回の撮影に要する露光時間が経過する毎に、ステップＳ１２において合成撮影枚数ｎをカウントし、ステップＳ１３において蓄積結果を順次表示する。即ち、蓄積合成制御部２３は、蓄積部２５に画像を蓄積しながら像信号を積算することで、合成画像を順次生成する。蓄積合成制御部２３は、蓄積結果の合成画像を表示制御部２９に与える。表示制御部２９は、ステップＳ１３において、入力された合成画像を表示部３１に与えて表示させる。なお、表示制御部２９は、合成後において合成前の複数の撮像画像が与えられると、これらの各画像のサムネイル画像を生成し、生成したサムネイル画像を一覧表示させるようにしてもよい。

図３Ａ〜図３Ｃはこのような画像表示の一例を示すものであり、夜景を合成撮影によって撮影した場合における表示画面３１ｂ上の表示例を示している。図３Ａは合成撮影期間の最初の撮像画像を示し、図３Ｂは合成撮影期間の最後の合成画像、即ち、レックビュー表示を示し、図３Ｃは補正することで画像効果が付与された合成画像（以下、効果付き合成画像という）を示している。

図３Ａに示すように、合成撮影期間の最初の撮像画像４１は、空の画像部分４２、建物の画像部分４３及び建物の窓等から漏れる明かりやネオン等による光点の画像部分４４を含む。更に、画像部分４２の空の一部には、飛行機による光の画像部分４５ａも含まれる。

図３Ｂに示すように、合成撮影期間の最後の合成後の画像４６についても、空の画像部分４２、建物の画像部分４３及び明かりやネオン等による光点の画像部分４４を含む。更に、画像４６には、飛行機の移動に伴う光の軌跡の画像部分４８ａも含まれる。

合成撮影制御部２６は、ユーザが画像効果を付加したい対象画像部分を指定すると、処理をステップＳ１４からステップＳ１５に移行して、指定された対象画像部分に対して画像効果を付加するための補正を行うように、補正部２４に指示する。ユーザは、飛行機の移動に伴う光の軌跡の画像部分４８ａ分をタッチする操作やスライドさせる操作等によって、対象画像部分として画像部分４８ａを指定すると共に画像効果の種類を指定する。合成撮影制御部２６は、ユーザがタッチした位置の被写体検出によって画像部分４８ａを判定してもよく、また、動く被写体の検出によってユーザが指定した画像部分４８ａを対象画像部分として特定してもよい。

また、合成撮影制御部２６は、ユーザによってスライド操作が行われた場合には、スライド方向と動く被写体の移動方向とに基づいて画像効果の種類を判定してもよい。例えば、合成撮影制御部２６は、スライド方向と動く被写体の移動方向とが略一致している場合にはフェードイン効果を付与するように補正部２４の補正を制御してもよく、スライド方向と動く被写体の移動方向とが略逆方向である場合にはフェードアウト効果を付与するように補正部２４の補正を制御してもよい。

図６Ａはタッチ及びスライド操作によって、対象画像部分を指定する操作及び画像効果の種類や程度を指定する例を示している。図６Ａはユーザが指５５ａの位置でタッチパネル３１ａにタッチし、その位置から指５５ｂの位置まで矢印５６方向に指をスライドさせたことを示している。ユーザが最初にタッチした位置に対応する対象画像部分が、合成撮影制御部２６によって判定されて、例えば動く被写体等の画像部分が対象画像部分として検出される。ユーザがタッチした位置から指をスライドさせるまでの時間によって、画像効果の程度を指定することができる。例えば、合成撮影制御部２６は、指を１秒間タッチ位置で静止させた後スライドさせる操作により、指定した画像部分の像信号のレベルを単位時間当たり１．５倍ずつ増加させる制御を行い、指を２秒間タッチ位置で静止させた後スライドさせる操作により、指定した画像部分の像信号のレベルを単位時間当たり２倍ずつ増加させる等の制御が可能である。もちろん、合成撮影制御部２６は、このような強調処理ではなく、減衰処理、強調及び減衰処理等の各種画像処理を行うようになっていてもよい。

また、例えば、合成撮影制御部２６は、指をタッチ位置からスライドさせる場合のスライド操作の速度に応じて、強調処理や減衰処理等の画像処理の単位時間当たりの変化量を設定するようにしてもよい。

図６Ｂは表示画面３１ｂ上に、合成撮影における一連の撮像画像をサムネイル表示させた例を示している。サムネイル表示４１ａは、図３Ａの画像４１に対応したものであり、サムネイル表示４１ｂ〜４１ｄは、画像４１に続けて得られる一連の画像を示している。ユーザが例えば、サムネイル表示４１ａを指５５によってタッチすることによって、合成撮影制御部２６ａは、例えば、画像４１中の動く被写体の像信号レベルをタッチした時間に応じて強調又は減衰処理等の所定の画像処理を施こすように制御することも可能である。

補正部２４は、ステップＳ１５において、合成撮影制御部２６に制御されて、指定された画像についての画像補正を行って、蓄積合成制御部２３に出力する。蓄積合成制御部２３は、ユーザが指定した対象画像部分が補正された画像を取得し、この補正画像及び補正していない画像を用いて、合成画像を生成する。

図４は被写体からの光を光電変換によって電気信号に変えて、蓄積や積分を行っている例を示した模式的な図である。画面内の特定の画素などから出る結果を想定している。図４は横軸に所定時間（１回の撮影）間隔毎の時間をとり縦軸に積算結果をとって、補正部２４による補正の一例を示している。図４（ａ）は補正を行わない場合の例を示し、図４（ｂ）はユーザが指定した対象画像部分について、積算する像信号（Ｒ，Ｇ，Ｂ信号）のレベルを減衰させると共に時間の経過と共に減衰量を小さくした補正を行った例を示している。図４のコマＡは図６Ｂのサムネイル画像４１ａに対応し、コマＢは図６Ｂのサムネイル画像４１ｂに対応し、コマＣは図６Ｂのサムネイル画像４１ｃに対応し、コマＤは図６Ｂのサムネイル画像４１ｄに対応する。

図４（ａ）は補正を行わない例であり、各各コマの像信号のレベルが単純に順次積算されていることを示している。なお、各コマの左側のＲ，Ｇ，Ｂ信号（像信号）は、移動しない被写体の明るさを示し、各コマの右側のＲ，Ｇ，Ｂ信号（像信号）は、移動する被写体の明るさを示している。積算の結果、移動しない被写体の画像部分は順次像信号が積算されて明るくなり、移動する被写体の画像部分はその明るさの画像部分が移動と共に広がる。

これに対し、図４（ｂ）は、ユーザが指定した対象画像部分について補正を行いながら積算を行う例を示している。コマＡの像信号はハッチングに示すように比較的大きく補正（例えば１／４に低減）されて積算されている。また、コマＢの像信号は、例えば１／２に低減されて積算されている。また、コマＣの画像は補正されることなくそのまま積算されている。この場合には、同じ明るさの移動する被写体を撮影した場合でも、移動する被写体の明るさは時間と共に次第に明るくなる。

こうして、効果付き合成画像が得られる。なお、単純なバルブ撮影では、移動しない被写体部分は積算によって次第に明るくなるが、比較明合成を行うコンポジット撮影では明るさに変化のない画像部分は積算されない。バルブ撮影及びコンポジット撮影のいずれの場合でも、本実施の形態においては、移動する被写体等のユーザが指定した対象画像部分について、例えばフェードイン効果やフェードアウト効果を付与することが可能である。ユーザはタッチ操作やスライド操作等によって、対象画像部分の指定や画像効果の種類の指定等を行うだけで、このような画像効果を付加した合成画像を得ることができる。

合成撮影制御部２６は、ステップＳ１６において合成撮影の終了を判定する。合成撮影制御部２６は、合成撮影が終了していない場合には、処理をステップＳ１１に戻して、ステップＳ１１〜Ｓ１６を繰り返す。ユーザによって合成撮影の終了操作が行われた場合、或いは予め決められた合成撮影期間が経過すると、合成撮影制御部２６は処理をステップＳ１７に移行して、最終的に記録などが行われる前の合成画像の表示を行う。

図３Ｃは表示画面３１ｂに表示される合成画像４７を示している。図３Ｃの合成画像４７は、飛行機の移動に伴う軌跡が次第に明るく変化するフェードイン効果を有する画像部分４８ｂを含んでいる。例えば、ユーザが図３Ｂの画像４６上の画像部分４８ａをタッチしスライドさせることによって、図３Ｃの効果付き合成画像４７を得ることができる。

合成撮影制御部２６は、合成画像の表示後にステップＳ１８に移行して、表示した合成画像にユーザが満足したか否かの判定を行う。この場合には、例えば、表示画面３１ｂ上に、ユーザが表示された合成画像に満足しているか否かの判定のためのボタン表示を表示させてもよい。ユーザが合成画像に満足していることを示す操作を行うと、合成撮影制御部２６は、処理をステップＳ１９に移行して記録処理を行う。蓄積合成制御部２３は、合成画像を記録制御部２７に与えて記録部３３に記録させる。なお、蓄積合成制御部２３は、各コマの画像についても記録させるようにしてもよい。

また、ユーザが合成画像に満足していないことを示す操作を行うと、合成撮影制御部２６は、処理をステップＳ２０に移行して操作判定及び補正処理を行う。ステップＳ２０における操作判定及び補正処理は、ステップＳ１４，Ｓ１５の処理と同様の処理であり、蓄積合成制御部２３は、ユーザのステップＳ１５において生成した効果付き合成画像をキャンセルし、再度ユーザに画像効果を付与する対象画像部分を指定させ、指定された対象画像部分を補正した後合成を行う。こうして、ユーザは希望する効果付き合成画像が得られるまで、画像合成処理を繰り返させることができる。

このように本実施の形態においては、合成撮影期間において撮影される一連の画像を記憶させておくことで、レックビュー表示時において、ユーザが指定した対象画像部分に対して画像効果を付与することができる。ユーザはタッチ操作やスライド操作等の極めて簡単な操作によって、対象画像部分の指定や画像効果の種類等を指定することができ、簡単な操作で所望の合成画像を得ることができる。

なお、本実施の形態においては、ユーザ操作によって、対象画像部分の指定及び付加する画像効果の種類や程度を指定する例について説明したが、これらの全て又は一部を自動化することも可能である。例えば、画像の各部についての動きを検出し、動きのある被写体の画像部分を対象画像部分であると自動的に設定するようにしてもよい。また、例えば、予め付加する画像効果の種類として画像強調又は減衰処理を設定しておき、強調又は減衰の程度を時間の経過に応じた割合で変化させるように設定しておいてもよい。

例えば、対象画像部分である動きのある被写体の画像部分が第１コマから第Ｎコマにおいて撮影されている場合には、各撮影の露出時間をＴｅ１とすると、第１〜第Ｎコマの対象画像部分についての強調係数Ｎｋ（ｋはコマ番号）をＮｋ＝α×ｋ×Ｔｅ１（αは所定の係数）に設定してもよい。この場合には、対象画像部分の像信号レベルが画像毎にＮｋ倍された効果付き合成画像が得られる。

（第２の実施の形態）
図７は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。図７において図２と同一のステップには同一符号を付して説明を省略する。本実施の形態のハードウェア構成は第１の実施の形態と同様である。本実施の形態は各撮影の露出時間Ｔｅ１を可変にした例を示している。

図７のフローはステップＳ４１において露光時間を決定する点が図２のフローと異なる。動きのある被写体の画像部分に対して画像効果を付与する場合において、被写体の移動速度が比較的速い場合には、各回の撮影の露光時間が比較的長いときには、１回の撮影だけで被写体の画像部分が画面内を通過してしまうことが考えられる。そこで、画像効果を付与する効果付き合成撮影モードにおいては、合成撮影制御部２６は、取得された一連の撮像画像の画像解析処理を行って、画面内変化の大きさを検出する。合成撮影制御部２６は、画面内の変化の大きさが大きい場合には、動く被写体の速度が速いものと判定して、露光時間を短くする制御を行う。また、合成撮影制御部２６は、被写体が明るすぎる場合においても、露出量の飽和を防ぐために、各回の露光時間を短くする制御を行う。

このように構成された実施の形態においては、露光時間が適切に制御されるので、移動する被写体の画像部分を対象画像部分に設定する場合でも、対象画像部分が比較的多くの枚数の撮像画像に写されることになるので、画像効果を効果的に付与することが可能である。

（第３の実施の形態）
図８は本発明の第３の実施の形態において採用される動作フローを示すフローチャートである。本実施の形態のハードウェア構成は第１の実施の形態と同様である。本実施の形態は、画像効果を付与する補正処理の一例を示している。また、図９Ａ、図９Ｂ、図１０Ａ及び図１０Ｂは本実施の形態における動作を説明するための説明図である。なお、本実施の形態においても、図７と同様のカメラ制御フローを採用することができる。

第２の実施の形態においては、合成撮影モードにおける各撮影の露光時間を動く被写体の移動速度等に応じて調整可能にすることで、画像処理に用いるコマ数を多くし、画像効果を付与しやすくした。しかし、動く被写体の移動速度によっては、対象画像部分が含まれるコマ数が比較的少ない場合が考えられる。

図９Ａはこの場合における合成画像の一例を示している。図９Ａに示すように、合成画像６１は、空の画像部分４２、建物の画像部分４３及び建物の窓等から漏れる明かりやネオン等による光点の画像部分４４を含む。更に、画像部分４２の空の一部には、飛行機による光の軌跡の３つに分割された画像部分６２も含まれる。図９Ａの例は、飛行機による光の軌跡が３コマで撮影されたことを示している。通常、撮像部１０からの各コマの画像の出力期間には露光することができないことから、合成撮影における合成画像中の動く被写体の画像部分は、画像出力期間において不連続となる。動く被写体が比較的多くのコマで撮影された場合には、不連続期間は十分に短く目立たない。本実施の形態においては、図８の補正処理において、このような不連続な画像部分の補正を行うようになっている。なお、図８の補正処理は、図７のステップＳ１５において実施することができる。

合成撮影制御部２６は、図８のステップＳ５１において合成処理されるコマ数（合成コマ数）をカウントし、ステップＳ５２において対象画像部分の不連続部のサイズが所定の閾値よりも大きいか否かを判定する。例えば、合成撮影制御部２６は、不連続部の画素数によって不連続部のサイズを判定してもよい。また、合成撮影制御部２６は、対象画像部分を含む合成コマ数が所定の閾値よりも小さいか否かによって、不連続部のサイズが大きいか否かを判定してもよい。

合成撮影制御部２６は、不連続部のサイズが所定の閾値よりも大きいと判定した場合には、処理をステップＳ５３に移行して、対象画像部分の合成画像中における起点位置及び終点位置を求める。合成撮影制御部２６は、ステップＳ５４において、起点から終点までの対象画像部分が連続するように、補間処理を行う。

図９Ｂは補間後の合成画像６１ａを示している。図９Ａに示す３つに分割された画像部分６２は、補間されることで連続した１つの画像部分６２ａに補正されている。

次に、合成撮影制御部２６は、ステップＳ５５〜Ｓ６２において、画像効果を得るための補正処理を行う。合成撮影制御部２６は、補正モードをユーザに設定させるために表示制御部２９を制御して、例えば、図１０Ａに示すメニュー表示を表示画面３１ｂ上に表示させてもよい。図１０Ａに示すように、表示画面３１ｂ上には、補正モードを変更するための変更表示６４が表示されている。変更表示６４上をタッチ操作すると、例えば、表示制御部２９は、表示画面３１ｂ上に、補正モードとしてタッチ操作による補正を可能にする選択表示６５、スライド操作による補正を可能にする選択表示６６及び強調補正を可能にする選択表示６７を表示させる。

いま、ユーザがタッチ操作のために選択表示６５の表示部分をタッチするものとする。この場合には、合成撮影制御部２６は、処理をステップＳ５５からステップＳ５６に移行して、最初のタッチ位置の画像部分を対象画像部分に設定すると共に、２回目のタッチ位置と最初のタッチ位置との距離に応じた補正量の強調処理を施す。合成撮影制御部２６は、２回目のタッチ位置が被写体の移動方向側である場合には強調処理を施し、移動方向と反対方向側である場合には減衰処理を施すようにしてもよい。

また、ユーザがスライド操作のために選択表示６６の表示部分をタッチするものとする。この場合には、合成撮影制御部２６は、処理をステップＳ５７からステップＳ５８に移行して、タッチ開始位置の画像部分を対象画像部分に設定すると共に、スライドの終点位置の強調係数を０倍として、スライド距離に応じて強調係数を変化させるように制御する。

また、ユーザが強調補正のために選択表示６７の表示部分をタッチするものとする。この場合には、合成撮影制御部２６は、処理をステップＳ５９からステップＳ６０に移行して、対象画像部分を含む各コマをサムネイル表示（図６Ｂ参照）させる。次に、合成撮影制御部２６は、ステップＳ６１において、ユーザがタッチ操作したコマにつては対象画像部分を強調処理し、ユーザがタッチ操作しなかったコマにつては対象画像部分を減衰処理するように制御する。なお、この場合には、合成撮影制御部２６は、タッチ時間に応じて強調処理量及び減衰処理量を変化させてもよい。

ステップＳ５６，Ｓ５８，Ｓ６１の処理によって、各コマの撮影時間に応じて強調量や減衰量を変化させた補正を行うことができる。例えば、対象画像部分が移動する被写体である場合には、被写体の移動に応じて強調量や減衰量を変化させた補正を行うことができる。また、例えば、対象画像部分の移動に伴って、強調し減衰させる処理や、減衰させた後強調させる処理等、強調と減衰を組み合わせた補正処理を行うことも可能である。これらの補正処理をユーザの簡単な操作によって指示することが可能である。

合成撮影制御部２６は、ステップＳ６２において、ユーザ操作が終了して、補正が終了したか否かを判定する。例えば、合成撮影制御部２６は、ユーザがタッチ操作を止めた後所定の時間が経過すると、ユーザ操作が終了したものと判定して補正処理を終了してもよい。

図１０Ｂは補正処理の結果の合成画像の一例を示している。図１０Ｂは図９Ｂの合成画像６１ａをユーザ操作に応じて補正して得られた効果付き合成画像６１ｂを示している。効果付き合成画像６１ｂは、補間後の飛行機の光の軌跡の画像部分６２ａがユーザ操作に応じて減衰処理された画像部分６２ｂを含む。図１０Ｂの効果付き合成画像は、例えば、ユーザが図９Ｂの画像部分６２ａの右端の位置（対象画像部分の終点位置）を最初にタッチし、移動方向の逆方向にスライドさせる操作によって得られる。

このように本実施の形態においては、第１及び第２の実施の形態と同様の効果が得られると共に、移動する被写体の移動速度が比較的速い場合等においても、簡単な操作で、ユーザが希望する効果付き合成画像を得ることができる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。ここでは特に、暗いシーンで、ゆっくり露光する例を説明したが、短時間の露光で、それを足したり引いたりして画像を得る場合にも利用できる。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。例えば、内視鏡や顕微鏡に適用することで、被検体中の適宜の画像部分に所定の画像効果を付与することで観察しやすい画像を得ることも可能である。検査やチェックのための画像をリアルタイムの観察ではなく、記録によって得ることは、例えば、非貫通型潜望鏡のような、極端に異なる分野においても行われることである。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮像装置を実現することができる。

１…撮像装置、１０…撮像部、２０…制御部、２１…画像取得部、２２…撮像制御部、２３…蓄積合成制御部、２４…補正部、２５…蓄積部、２６…合成撮影制御部、２７…記録制御部、２８…操作判定部、２９…表示制御部、３１…表示部、３１ａ…タッチパネル、３２…操作部、３３…記録部。

Claims (9)

1. 被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像部と、
   上記複数の撮像画像を蓄積するための蓄積制御部と、
   上記複数の撮像画像のうちの複数の画像に含まれる所定の被写体の画像部分を対象画像部分として指定する画像指定部と、
   上記対象画像部分を含む複数の画像中の上記対象画像部分に対応する像信号を補正する補正部と、
   上記対象画像部分が補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を得る合成部と、
   を具備したことを特徴とする撮像装置。
2. 上記対象画像部分は、上記一連の複数の撮像画像中に含まれる動く被写体の画像部分である
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記画像指定部は、ユーザ操作に応じて、上記対象画像部分を指定する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 上記補正部は、ユーザ操作に応じて、上記対象画像部分に対する上記補正の種類を設定する
   ことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
5. 上記補正部は、ユーザ操作に応じて、上記対象画像部分に対する上記補正の補正量を設定する
   ことを特徴とする請求項４に記載の撮像装置。
6. 上記補正部は、上記対象画像部分に対する上記補正の補正量を上記一連の複数の撮像画像の撮影時間に応じて変化させる
   ことを特徴とする請求項５に記載の撮像装置。
7. 上記画像指定部は、上記複数の撮像画像に対する画像解析処理によって、上記動く被写体の画像部分を上記対象画像部分として設定する
   ことを特徴とする請求項２に記載の撮像装置。
8. 被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、
   上記複数の撮像画像を蓄積するための蓄積制御ステップと、
   上記複数の撮像画像のうちの複数の画像に含まれる所定の被写体の画像部分を対象画像部分として指定する画像指定ステップと、
   上記対象画像部分を含む複数の画像中の上記対象画像部分に対応する像信号を補正する補正ステップと、
   上記対象画像部分が補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を得る合成ステップと、
   を具備したことを特徴とする合成撮影方法。
9. コンピュータに、
   被写体を繰り返し撮像して合成用の一連の複数の撮像画像を出力する撮像ステップと、
   上記複数の撮像画像を蓄積するための蓄積制御ステップと、
   上記複数の撮像画像のうちの複数の画像に含まれる所定の被写体の画像部分を対象画像部分として指定する画像指定ステップと、
   上記対象画像部分を含む複数の画像中の上記対象画像部分に対応する像信号を補正する補正ステップと、
   上記対象画像部分が補正された画像を含む上記一連の複数の撮像画像を合成して合成画像を得る合成ステップと、
   を実行させるための合成撮影プログラム。