JP2007124396A - 撮像装置 - Google Patents

Abstract

【課題】 被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成可能とすること。
【解決手段】 移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する撮像部と、動画像の生成に並行して、複数フレームの第１画像それぞれの画面内全領域について、高域空間周波数成分を抑制して、第１画像の各フレームに対応づけられた複数フレームの第２画像を生成する画像生成部と、複数フレームの第１画像のそれぞれを、その画像に含まれる移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、複数フレームの第１画像とその画像に対応する第２画像とを合成する際の混合比を、複数の領域ごとに決定する決定部と、複数フレームの第１画像とその画像に対応する第２画像とを、混合比に基づいて、複数の領域ごとに合成して複数フレームの第３画像を生成する合成部とを備える。
【選択図】 図１

Description

本発明は、被写体像を連続的に撮像して動画像を生成する撮像装置に関する。

従来より、動画像の生成において、合焦位置が徐々に変化する映像効果を有する動画像を生成する技術が考えられている（例えば、特許文献１参照）。特許文献１の発明では、合焦状態を変化させて２枚の静止画像を撮影し、これらを合成して、画像における合焦位置が徐々に変化する映像効果を有する動画像を生成している。
特開２００２−２９０８３１号公報

しかし、上述した特許文献１の発明では、合成の際に画像における被写体の位置に基づいて位置合わせを行う。そのため、２枚の静止画像を撮影している間に被写体が移動した場合、被写体が実際には移動しているにもかかわらず、被写体の位置が変化しない動画像が生成される。
本発明の撮像装置は、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成可能とすることを目的とする。

本発明の撮像装置は、移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する撮像部と、前記動画像の生成に並行して、前記複数フレームの第１画像それぞれの画面内全領域について、高域空間周波数成分を抑制して、前記第１画像の各フレームに対応づけられた前記複数フレームの第２画像を生成する画像生成部と、前記複数フレームの第１画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、前記複数フレームの第１画像とその画像に対応する前記第２画像とを合成する際の混合比を、前記複数の領域ごとに決定する決定部と、前記複数フレームの第１画像とその画像に対応する前記第２画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第３画像を生成する合成部とを備える。

なお、好ましくは、前記決定部は、前記複数の領域のうち前記被写体像を含む領域については、前記第１画像と前記第２画像との何れか一方の画像の混合比を他方の画像の混合比よりも大きく決定し、前記複数の領域のうち前記被写体像を含む領域を除く領域については、前記第１画像と前記第２画像とのうち前記他方の画像の混合比を前記一方の画像の混合比よりも大きく決定しても良い。

また、好ましくは、前記移動する被写体像の動き量を算出する動き検出部をさらに備え、前記決定部は、前記被写体像の動き量に応じて、前記被写体像を含む領域、または前記被写体像を含む領域を除く領域における前記混合比を決定しても良い。
また、好ましくは、前記動画像の生成に並行して、前記撮像装置から前記被写体までの距離に関する情報を随時取得する取得部をさらに備え、前記決定部は、前記距離に関する情報に基づいて、前記混合比を決定しても良い。

また、好ましくは、前記動画像を表示する表示部をさらに備え、前記撮像部は、予備的な撮像により構図確認用の動画像であるスルー画像を生成し、前記表示部は、前記スルー画像の生成動作と並行して、前記合成部により生成した前記複数フレームの第３画像によ
り構成される動画像の表示を行っても良い。
本発明の別の撮像装置は、移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する第１撮像部と、前記第１撮像部と同期して前記移動する被写体像を連続的に撮像して、前記第１画像よりも画素数が少なく、かつ、焦点調節または露光量決定用の複数フレームの第２画像を生成する第２撮像部と、前記複数フレームの第１画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、前記複数フレームの第１画像とその画像に対応する前記第２画像とを合成する際の混合比を、前記複数の領域ごとに決定する決定部と、前記複数フレームの第１画像とその画像に対応する前記第２画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第３画像を生成する合成部とを備える。

本発明の撮像装置によれば、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成することができる。

以下、図面を用いて本発明の実施形態について説明する。なお、以下の実施形態では、本発明の撮像装置の一例として、電子カメラを用いて説明を行う。
≪第１実施形態≫
図１は、第１実施形態の電子カメラの構成を示すブロック図である。
電子カメラ１は、撮影レンズ１１と、レンズ駆動部（回路）１２と、撮像素子１３と、信号処理部（回路）１４と、画像処理部（回路）１５と、圧縮伸長処理部（回路）１６と、カードＩ／Ｆ１７と、操作部材１８と、表示制御部（回路）１９と、モニタ２０と、測光部（回路）２１と、ＣＰＵ２２と、データバス２３とを有する。なお、信号処理部１４、画像処理部１５、圧縮伸長処理部１６、カードＩ／Ｆ１７、表示制御部１９およびＣＰＵ２２は、データバス２３を介して接続される。

撮影レンズ１１は、不図示のズームレンズを含む複数のレンズにより構成され、ズーム時および焦点調節時にはレンズ駆動部１２より光軸方向に駆動調整される。
撮像素子１３は、撮影レンズ１１を通過した光速を光電変換して被写体像のアナログ画像信号を生成する。撮像素子１３は、静止画像の撮像、静止画像の連続撮像、および動画像の撮像が可能な撮像素子であり、例えば、ＣＣＤ撮像素子、ＣＭＯＳ型撮像素子などで構成される。なお、撮像素子１３は、非レリーズ時にも所定間隔ごとに被写体を露光してアナログ画像信号（スルー画像信号）を出力することができる。このスルー画像信号は、それぞれ後述のＡＦ演算およびＡＥ演算やファインダ用画像の生成などに使用される。

信号処理部１４は、撮像素子１３のアナログ画像信号をデジタルデータに変換する。また、信号処理部１４は、画像処理部１５での画像処理の前工程および後工程でデジタルデータまたは後述する画像データを一時的に保存する不図示のバッファメモリを備える。
画像処理部１５は、デジタルデータに画像処理を施して撮影画像データを生成する。また、画像処理部１５は、スルー画像信号に基づいてファインダ用画像データを順次生成する。また、後述する「ボケ強調モード」では、画像処理部１５は、ボケ効果を付加するための画像処理を行う。

圧縮伸長処理部１６は、撮影画像データに対して、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式による圧縮伸長処理を実行する。
カードＩ／Ｆ１７には、記録媒体２４を接続するためのコネクタが形成されている。記録媒体２４は、公知の半導体メモリや小型ハードディスク、ＤＶＤなどの光ディスクなどで構成される。そして、カードＩ／Ｆ１７は、記録媒体２４に対する撮影画像データの書
き込みおよび読み込みを制御する。

操作部材１８は、入力釦やレリーズ釦などを備えている。操作部材１８の入力釦は、例えば、電子カメラ１の撮影モード（通常撮影モード、動画像撮影モード、ボケ強調モード等）の切り換え入力などにかかわるユーザ操作を受け付ける。
表示制御部１９は、モニタ２０に画像を表示するための各種制御を行う。モニタ２０は、例えば、液晶表示素子により構成され、主として電子カメラ１の背面部分に配置される。モニタ２０には、撮影画像データの再生画面や電子カメラ１の各種設定を変更するための設定画面などを表示できる。

測光部２１は、被写体を測光して結果をＣＰＵ２２に出力する。また、撮像素子１３より出力されるアナログ画像信号をもとに、測光動作を行うものであっても良い。この場合には、撮像素子１３が測光部２１としても機能する。なお、測光結果は、ＡＦ演算やＡＥ演算などに利用される。
ＣＰＵ２２は、不図示のＲＯＭに格納されたシーケンスプログラムにしたがって、電子カメラ１の各部の動作を制御する。また、ＣＰＵ２２は、スルー画像信号に基づいて公知のコントラスト方式のＡＦ演算や公知のＡＥ演算などを実行する。なお、ＡＦ演算の方法はコントラスト方式に限定されず、例えば、公知の位相差方式などであっても良い。

以上説明した構成の電子カメラ１において、本発明の特徴である「ボケ強調モード」について説明する。
「ボケ強調モード」は、画像処理によって前景または背景をぼかして、主要被写体を浮かび上がらせたポートレート撮影調の動画像を生成するモードである。
はじめに、画像処理部１５の詳細な構成について、図２を用いて説明する。

画像処理部１５は、図２に示すように、スイッチ３１、ＬＰＦ（Low Pass Filter）３２、ＤＬＹ（Delay）回路３３、動き検出回路３４、混合回路３５の各部を備える。なお、これらの各部は本発明の特徴部分に関する構成であり、画像処理部１５は、公知の各画像処理を行うための各部をさらに備える。
スイッチ３１は、２つの入力端子ＡおよびＢと、出力端子Ｃとを備える。入力端子Ａには、信号処理部１４からの出力がデータバス２３を介して接続される。また、入力端子Ｂには、圧縮伸長処理部１６からの出力がデータバス２３を介して接続される。スイッチ３１は、撮影モードが設定されているときには入力端子Ａと出力端子Ｃとを接続し、再生モードが設定されているときには入力端子Ｂと出力端子Ｃとを接続する。

なお、図２では、信号処理部１４、圧縮伸長処置部１６からの出力を選択的に入力する動作をスイッチ３１を用いて行う構成について説明したが、ラッチ回路等の素子を用いて同等の機能を実現する構成としても良い。
スイッチ３１により接続された入力端子からの出力は、出力端子Ｃから、ＬＰＦ３２、ＤＬＹ回路３３、動き検出回路３４にそれぞれ接続される。

ＬＰＦ３２は、出力端子Ｃから入力されたデジタルデータ（画像データ）に対して、例えばデジタルフィルタによって、画面内の全領域について、高域空間周波数成分を抑制する画面内低域通過フィルタ処理を施して、混合回路３５に出力する。低域通過フィルタの処理特性は、ＣＰＵ２２の制御によって変更可能な構成とする。
ＤＬＹ回路３３は、ＬＰＦ３２におけるデータ処理時間に相当する時間だけ、出力端子Ｃから入力されたデジタルデータ（画像データ）を遅延させて、遅延画像データを、ＬＰＦ３２からの出力画像データと同じタイミングで、混合回路３５に出力する。

動き検出回路３４は、前フレーム画像のデジタルデータ（画像データ）、および出力端
子Ｃから入力されたデジタルデータ（画像データ）をもとに、前フレーム画像中の移動する主要被写体領域の分割された各ブロックの、両フレーム間の動きベクトルを算出し、前フレーム画像中の当該被写体領域を、算出された動きベクトル分だけシフトさせて、入力された現フレーム画像における主要被写体領域の位置を算出する。この位置情報は、混合回路３５に出力される。

混合回路３５は、動き検出回路３４から出力された主要被写体領域の位置情報に基づいて、ＬＰＦ３２およびＤＬＹ回路３３から出力された画像データを、所定の混合比で混合(加算)し、データバス２３を介して各部に出力する。
なお、混合回路３５は、動き検出回路３４で抽出した主要被写体領域については、ＬＰＦ３２およびＤＬＹ回路３３から出力される画像データの混合比を、例えば０（ＬＰＦ３２）：１（ＤＬＹ回路３３）とし、その他の領域については、例えば０．７５（ＬＰＦ３２）：０．２５（ＤＬＹ回路３３）とする。すなわち、ＬＰＦ３２から出力される画像データをＸ、ＤＬＹ回路３３から出力される画像データをＹ、ＬＰＦ３２から出力される画像データの混合比をＫとすると、混合回路３５は、以下の式にしたがって、画像データの混合を行う。

Ｋ×Ｘ＋（１−Ｋ）×Ｙ・・・（式１）
ただし、式１において、Ｋは、０≦Ｋ≦１である。
ここで、動き検出回路３４において、さらに、移動する主要被写体の動き量を算出し、この動き量が大きいほど上述のその他の領域における混合比Ｋの値を大きくするように制御すると、動きの大きさによって付加されるボケ効果の大きさが変化する動画像を生成することができる。

上記の例では、例えば、主要被写体の動き量が大きいほど、主要被写体領域を除いた領域に付加されるボケ効果が大きくなるように、Ｋの値が制御される。このような制御に代えて、主要被写体の動き量が大きいほど、主要被写体領域に付加されるボケ効果が大きくなるようにＫの値を制御する構成としても良い。
なお、上記の方法に代えて、面積変調（ｄｉｔｈｅｒ）による混合を行う構成としても良い。面積変調とは、一般的なインクジェットプリンタの階調表現に利用される方法であり、１つの画素を、それより小さいドットの集合体として表現する際に、異なる色のインクドットの面積比で混合比を表現するものである。マクロ的にこの画素を見ると、あたかもその混合比でインクが混合されたように見える。例えば、Ｃ、Ｍ、Ｙの３色素でフルカラーを表現する場合、１画素をＮドット、そのうちのＣ、Ｍ、Ｙのドット数をそれぞれＮＣ、ＮＭ、ＮＹとすると、ＮＣ＝０．５Ｎ、ＮＭ＝０．５Ｎ、ＮＹ＝０では、この画素は、マクロ的には青色に見える。また、ＮＣ＝０．５Ｎ、ＮＭ＝０、ＮＹ＝０．５Ｎでは、この画素は、マクロ的には緑色に見える。何れの場合も、実際には色素の加算が行われているわけではない。これと同様に、１画素のドット数がＮ、ボケ効果の大きい画像のドット数をＮＯＦ、ボケ効果の小さい画像のドット数をＮＩＦとして混合を行うことにより、実際の加算を行わなくても、混合比をコントロールできる。

次に、「ボケ強調モード」実行時におけるＣＰＵ２２の動作について、図３のフローチャートを用いて説明する。
ステップＳ１において、ＣＰＵ２２は、操作部材１８を介したユーザ操作により、撮像開始が指示されたか否かを判定する。ＣＰＵ２２は、撮像開始が指示されるまで待機し、撮像開始が指示されると、ステップＳ２に進む。

ステップＳ２において、ＣＰＵ２２は、各部を制御して、動画像の撮像を開始する。なお、ＣＰＵ２２は、信号処理部１４によるデジタル信号変換を行うたびに、デジタルデータを、信号処理部１４内の不図示のバッファメモリに一時保存する。また、ＣＰＵ２２は
、スイッチ３１の入力端子Ａと出力端子Ｃとが接続されるように、スイッチ３１に対して制御信号を出力する。

ステップＳ３において、ＣＰＵ２２は、信号処理部１４内の不図示のバッファメモリから、１フレーム目のデジタルデータ（画像データ）を取得し、画像処理部１５のスイッチ３１の入力端子Ａに入力する。
ステップＳ４において、ＣＰＵ２２は、画像処理部１５の動き検出回路３４を介して、出力端子Ｃから入力されたデジタルデータ（画像データ）をもとに、主要被写体抽出を行う。なお、１フレーム目の画像データに関しては、焦点検出領域に基づいて主要被写体抽出を行うようにしても良い。また、モニタ２０上にカーソル等を表示して、操作部材１８を介したユーザ操作により指定させるようにしても良い。さらに、撮像画像の輪郭画像と予め登録されている輪郭パターンとのマッチングなどの手法を用いるようにしても良い。

ステップＳ５において、ＣＰＵ２２は、ステップＳ４の主要被写体抽出結果に基づいて、画像処理部１５の混合回路１５を介して混合比を決定する。なお、混合回路３５は、ステップＳ４の被写体抽出結果に基づいて、主要被写体を含む領域と、それ以外の領域とのそれぞれについて混合比を決定する。なお、主要被写体を含まない領域を、例えば、撮影距離情報をもとに適宜分割し、分割した領域ごとに混合比を決定しても良い。この場合、分割した領域のうち、主要被写体を含む領域との撮影距離の差が大きい領域ほど、前述の混合比Ｋの値を大きくし、付加されるボケ効果が大きくなるように制御する。

ステップＳ６において、ＣＰＵ２２は、混合回路３５を介して、ステップＳ５で決定した混合比に基づいて、ＬＰＦ３２およびＤＬＹ回路３３から出力された画像データを、混合する。そして、ＣＰＵ２２は、混合により生成した画像データを信号処理部１４内の不図示のバッファメモリに一時保存するとともに、表示制御部１９を介してモニタ２０に順次出力し、電気的なボケ効果の付加された画像を表示する。

ステップＳ７において、ＣＰＵ２２は、信号処理部１４内の不図示のバッファメモリから、次のフレームのデジタルデータ（画像データ）を取得し、画像処理部１５のスイッチ３１の入力端子Ａに入力する。
ステップＳ８において、ＣＰＵ２２は、画像処理部１５の動き検出回路３４を介して、前フレームのデジタルデータ（画像データ）、および出力端子Ｃから入力されたデジタルデータ（画像データ）をもとに、前フレームの主要被写体領域を分割した各ブロックについて、現フレームとの間の動きベクトルを算出し、前フレームの主要被写体領域を、算出された動きベクトルの分だけ移動させて、現フレームにおける主要被写体領域の位置情報を得て、主要被写体領域を特定する。

このように動き検出の結果を利用して、現フレームの主要被写体領域の位置情報を得る構成としたので、従来の静止画撮影時のようにフレームごとに被写体抽出を行う場合に比較して、処理時間を大幅に短縮することができる。
ステップＳ９において、ＣＰＵ２２は、ステップＳ８の主要被写体抽出および動き検出の結果に基づいて、画像処理部１５の混合回路１５を介して、混合比を決定する。移動する主要被写体領域に適用される前述の混合比を、前フレームと現フレームとで変化させないものとすれば、同じ混合比が適用される領域（主要被写体領域）が動きベクトルの分だけ移動したことになる。

ステップＳ１０において、ＣＰＵ２２は、混合回路３５を介して、ステップＳ９で決定した混合比に基づいて、ステップＳ６と同様に、ＬＰＦ３２およびＤＬＹ回路３３から出力された画像データを混合する。そして、ＣＰＵ２２は、混合により生成した画像データを、信号処理部１４内の不図示のバッファメモリに一時保存するとともに、表示制御部１
９を介して、モニタ２０に順次出力し、電気的なボケ効果の付加された画像を表示する。

ステップＳ１１において、ＣＰＵ２２は、操作部材１８を介したユーザ操作により、撮像終了が指示されたか否かを判定する。ＣＰＵ２２は、撮像終了が指示されると、ステップＳ１２に進む。一方、撮像終了が指示されない場合、ステップＳ７に戻り、ステップＳ７以降の処理を繰り返す。
ステップＳ１２において、ＣＰＵ２２は、信号処理部１４内の不図示のバッファメモリに一時保存した全てのデジタルデータ（画像データ）の処理が終了したか否かを判定する。ＣＰＵ２２は、全てのデジタルデータ（画像データ）の処理が終了すると、信号処理部１４内の不図示のバッファメモリに一時保存した全ての画像データ（混合後の画像データ）を、カードＩ／Ｆ１７を介して記録媒体２４に記録して、一連の処理を終了する。一方、全ての画像データの処理が終了していない場合、ステップＳ７に戻り、ステップＳ７以降の処理を繰り返す。

なお、記録媒体２４への記録動作は、ステップＳ１０において、１フレームごとに順次行われる構成としても良い。また、ステップＳ５およびステップＳ９で説明した混合比の決定において、電子カメラ１から主要被写体までの距離に関する情報を加味しても良い。すなわち、動画像の生成に並行して、電子カメラ１から主要被写体までの情報を随時取得し、取得した情報に基づいて混合比を決定する。例えば、ある時点と比較して、電子カメラ１から主要被写体までの距離が短くなった場合、主要被写体と背景との間の距離は広がったと考えられる。電子カメラ１においては、主要被写体に対して連続的または間欠的に随時ＡＦ動作が行われているので、主要被写体の焦点状態は変化しない。そのため、この場合には、ある時点に比較して、背景のボケ効果を大きくするように混合比を決定する。また、ある時点と比較して、電子カメラ１から主要被写体までの距離が長くなった場合、主要被写体と背景との間の距離は縮まったと考えられる。そのため、この場合には、ある時点に比較して、背景のボケ効果を小さくするように混合比を決定する。このような構成とすることにより、移動する被写体の状況に応じて混合比を自動的に変更し、撮影光学系の光軸方向における被写体の位置の変化に即したボケ効果を付加することができる。

また、複数の被写体が存在する場合には、複数の被写体のうち、例えば、操作部材１８を介したユーザ操作により選択された特定の被写体（２以上であっても良い）については、ＤＬＹ回路３３による遅延処理を施し、複数の被写体のうち、特定の被写体を除いた被写体を含む他の領域については、ＬＰＦ３２を介した高域空間周波数成分の抑制処理を施すようにしても良い。さらに、特定の被写体の数を時間の経過とともに変化させるようにしても良い。すなわち、はじめは１つの特定の被写体を浮かび上がらせるような処理（１つの特定被写体領域について、例えば、ＬＰＦ３２による処理を行わずに、ＤＬＹ回路３３による遅延処理のみを施し、他の領域については、ＬＰＦ３２の出力データの混合比を、ＤＬＹ回路３３の出力データの混合比よりも大きくする処理）を行い、徐々に、２以上の特定の被写体を浮かび上がらせるような処理（例えば、他の特定被写体領域について、時間の経過とともにＤＬＹ回路３３の出力データの混合比がＬＰＦ３２の出力データの混合比よりも大きくなるように、混合比を制御する処理）を行っても良い。また、複数の被写体が存在する場合には、上述した距離に関する情報を用いて混合比を決定するようにしても良い。例えば、複数の被写体のうち、浮かび上がらせる処理（周辺の領域と比較して、ＤＬＹ回路３３の出力データの混合比を大きくする処理）を行う対象を、電子カメラ１とのとの間の距離が長い順（または短い順）に、時間の経過とともに変化させるようにしても良い。このような処理は、前述の混合比Ｋの値を時間の経過とともに変化させることによってなされる。

また、図２を用いて説明した画像処理部１５を、図４に示すように構成しても良い。すなわち、図２に示した構成の混合回路３５に代えて合成回路を備え、ＬＰＦ３２、ＤＬＹ
回路３３、動き検出回路３４、合成回路３６を１つの処理ブロックとして、この処理ブロックを複数備える。そして、各々の処理ブロックの合成回路３６の出力を、図２と同様の構成の混合回路３５に入力する。

そして、各処理ブロックは、異なる被写体を処理対象とし、動き検出回路３４による検出結果に基づいて、移動する被写体を含む領域については、ＤＬＹ回路３３から出力される画像データを使用し、移動する被写体を含まない領域については、ＬＰＦ３２から出力される画像データを使用して、合成回路３６において、前述の加算処理や面積変調処理を伴わない合成処理（いわゆるはめ込み合成処理）を行う。

この結果各処理ブロックの出力は、移動する１つの被写体を含む領域については、ＬＰＦ処理が施されていないボケ効果の小さい画像データとなり、その他の領域については、ＬＰＦ処理が施されたボケ効果の大きい画像データとなる。そして、各処理ブロックの合成回路３６から出力された画像データを、各処理ブロックにおいて動き検出回路３４より出力される動き情報を用いて、上述したように混合回路３５において混合する。したがって、図４のように画像処理部１５を構成すれば、デジタルデータ（画像データ）に複数の被写体が含まれる場合でも、各被写体の位置の時間的変化に応じたボケ効果を付加することができる。

以上説明したように、第１実施形態によれば、移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する際に、動画像の生成に並行して、複数フレームの第１画像それぞれの画面内全領域について、高域空間周波数成分を抑制して、第１画像の各フレームに対応づけられた複数フレームの第２画像を生成し、複数フレームの第１画像のそれぞれを、その画像に含まれる移動する被写体像の画面内位置に応じて、複数の領域に分割する。そして、複数フレームの第１画像とその画像に対応する第２画像とを合成する際の混合比を、複数の領域ごとに決定し、複数フレームの第１画像とその画像に対応する第２画像とを、決定した混合比に基づいて、複数の領域ごとに合成して複数フレームの第３画像を生成する。このような構成とすれば、動画像の生成に並行して第２画像が生成される。そして、第１画像および第２画像の混合比を制御するだけで、電気的なボケの付加処理を行うことができる。そのため、例えば、ＬＰＦのタップ数、係数、あるいは畳み込み演算処理を行う点拡がり関数のタップ数、係数を、移動する被写体像の画面内位置に応じてその都度変更して、入力される全画素データに対して演算処理を行い高域空間周波数成分を抑制する場合に比較して、演算処理時間が短縮される。したがって、電気的なボケの付加処理を迅速、かつ容易に行うことができる。したがって、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成することができる。

また、撮像装置においては、今現に撮像している画像をユーザが確認するための表示装置を備えていることが多い。このような表示装置の表示画像中の被写体像の動きと、実際の被写体の動きとの間の時間的なずれが大きくなるほど、例えばシャッタチャンスを逃してしまうなど、ユーザによる撮影動作に影響を及ぼす可能性が高くなる。本発明は、このような場合に対しても、有効に適用することができる。

また、第１実施形態によれば、混合比を決定する際に、複数の領域のうち被写体像を含む領域については、第１画像と第２画像との何れか一方の画像の混合比を他方の画像の混合比よりも大きく決定し、複数の領域のうち被写体像を含む領域を除く領域については、第１画像と第２画像とのうち、前述した他方の画像の混合比を前述した一方の画像の混合比よりも大きく決定する。したがって、被写体の部分はボケ効果を小さくし、かつ、背景部分はボケ効果を大きくすることにより、主要被写体を浮かび上がらせた表現を可能とすることができる。

また、第１実施形態によれば、移動する被写体像の動き量を算出し、被写体像の動き量に応じて、被写体像を含む領域、または被写体像を含む領域を除く領域における混合比を決定する。したがって、動き量の大きさによって付加されるボケ効果の大きさが変化する動画像を生成することができる。
なお、第１実施形態では、ＬＰＦ３２において、デジタルフィルタ処理によって、画面全領域に画面内低域通過フィルタ処理を施す例を示したが、点拡がり関数による畳み込み演算処理など他の方法を用いて高域空間周波成分を抑制する構成としても良い。

≪第２実施形態≫
図５は、第２実施形態の電子カメラの構成を示すブロック図である。
電子カメラ５１は、第１実施形態の電子カメラ１の測光部２１に代えて、撮像素子５２および光路分岐部材５３を備える。その他の構成については、第１実施形態の電子カメラ１と同様の符号を用いて説明する。撮像素子５２は、撮像素子１３よりも画素数が少なく、焦点調節または露光量決定用の情報を取得する際に用いられる撮像素子である。したがって、撮像素子５２は、第１実施形態の電子カメラ１の測光部２１と同様の機能を有するように構成することができる。

撮像レンズ１１を介して入射された光束は、光路分岐部材５３で、２つの光束に分岐され、撮像素子１３および撮像素子５２の撮像面上にそれぞれ結像される。撮像素子１３および撮像素子５２は、各々の素子の画素が対応づけられるように、配置および設計がなされている。
撮像素子５２は、撮像素子１３と同期して(同じフレーム周波数で)駆動され、同時に映像信号が出力される。撮像素子５２の画素数は、撮像素子１３の画素数より少ないため、撮像素子５２により生成される画像データは、撮像素子１３により生成される画像データよりも解像度が低く、高域空間周波数成分が抑制されている。

撮像素子１３の出力は、信号処理部１４およびデータバス２３を介して、図２で説明した混合回路３５の一方の画像データ入力端子に入力される。また、撮像素子５２の出力は、信号処理部１４およびデータバス２３を介して、図２で説明した混合回路３５の他方の画像データ入力端子に入力され、前述と同様のボケ効果を付加する画像処理が迅速、容易に行われる。

なお、撮像素子５２により出力される画像データの高域空間周波数成分の抑制が、不足する場合は、図２で説明したＬＰＦ３２を介して、撮像素子５２による画像データを混合回路３５に供給する構成とすれば良い。また、撮像素子５２により生成される画像データは、撮像素子１３により生成された画像データより画素数が少ないので、両者の画素数を揃えるために、混合回路３５に入力される前の段階で、撮像素子５２により生成された画像データの画素数を撮像素子１３により生成された画像データの画素数に揃える画素数変換処理を施す構成とすれば良い。このような画素数変換処理を施したとしても、同処理後の画像は、撮像素子１３により生成された画像と比較して、高域空間周波数成分が抑制されていることは言うまでもない。また、図２で説明したＤＬＹ回路３３は、上記の処理の遅延時間に応じて、適宜、撮像素子１３により生成された画像データを遅延させる。

なお、撮像素子５２の画素数は、撮像素子１３よりも少ない例を示したが、撮像素子５２の画素数は、撮像素子１３よりも多くても良いし、同じでも良い。また、撮像素子５２は、焦点調節または露光量決定用の撮像素子である例を示したが、撮像素子１３と同様に被写体像の撮像専用の撮像素子でも良い。
以上説明したように、第２実施形態によれば、移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する第１撮像部と、第１撮像部と
同期して移動する被写体像を連続的に撮像して、第１画像よりも画素数が少なく、かつ、焦点調節または露光量決定用の複数フレームの第２画像を生成する第２撮像部とを備える。そして、複数フレームの第１画像のそれぞれを、その画像に含まれる移動する被写体像の画面内位置に応じて、複数の領域に分割する。さらに、複数フレームの第１画像とその画像に対応する第２画像とを合成する際の混合比を、複数の領域ごとに決定し、複数フレームの第１画像とその画像に対応する第２画像とを、決定した混合比に基づいて、複数の領域ごとに合成して複数フレームの第３画像を生成する。したがって、第１実施形態と同様に、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成することができる。

なお、第１実施形態および第２実施形態では、撮像開始指示によって、動画像の撮像を開始し、撮像動作と並行してボケ効果の付加を行う例を示したが、本発明はこの例に限定されない。例えば、予備撮像（スルー画像撮像時）にも本発明を同様に適用することができる。すなわち、予備的な撮像により構図確認用の動画像であるスルー画像を生成し、スルー画像の生成動作およびモニタ２０へのスルー画像の表示と並行して、画像処理部１５により生成したボケ効果を付加した動画像を表示するようにしても良い。また、連続撮像時（連写モード実行時）にも本発明を同様に適用することができる。

また、第１実施形態および第２実施形態では、動画像の撮像と並行して、ボケ効果を付加する処理を行う例を示したが、記録媒体２４に記録された画像データの画像処理部１５への入力動作と並行して、同様の処理を行うことができる。また、電子カメラの外部から入力される画像データに対しても同様の処理を行うことができる。
また、第１実施形態および第２実施形態において、混合比を時間経過とともに徐々に変化させるようにしても良い。例えば、被写体領域と背景領域とにおける混合比を連動して変化させれば、画像全体のボケ効果を徐々に変化させることができる。また、被写体領域と背景領域との一方の混合比を固定し、他方の混合比を変化させれば、画像における被写体領域また背景領域のボケ効果のみを徐々に変化させることができる。また、被写体領域と背景領域とのうち、一方のボケ効果を大きくし他方のボケ効果を小さくするように混合比を変化させれば、例えば、被写体領域にピントが合っていて、かつ、背景領域がボケている画像から、被写体領域がボケていて、かつ、背景領域にピントが合った画像へと徐々に変化する動画像を生成することができる。このように、混合比を時間経過とともに徐々に変化させることにより、動画像において様々な表現を実現することができる。

また、第１実施形態および第２実施形態では、移動する被写体を含む領域については、第１画像の混合比を第２画像の混合比よりも大きく決定し、移動する被写体を含む領域を除く領域（背景領域）については、第２画像の混合比を第１画像の混合比よりも大きく決定することにより、被写体の部分はボケ効果を小さくし、かつ、背景部分はボケ効果を大きくする例を示したが、被写体の状況やユーザの希望に応じて混合比の大小関係を逆にして、移動する被写体の部分はボケ効果を大きくし、かつ、背景部分はボケ効果を小さくする構成としても良い。

また、第１実施形態および第２実施形態では、電子カメラを例に挙げて説明を行ったが、他の撮像装置あるいはデータ処理装置に本発明を適用しても良い。すなわち、原画像と、原画像に対して高域空間周波数成分の抑制された画像との混合比を変更できる装置であれば、本発明を同様に適用できる。また、ボケ効果を付加する処理をコンピュータなどの外部装置で行う構成としても良い。この場合、撮像装置から、画像データとともに各種付帯データをコンピュータなどの外部装置に転送する。外部装置には、図３で示したフローチャートと同様の処理を実現可能なプログラムを予めインストールしておけば良い。なお、上記の撮影距離情報などを、付帯データに入力すれば良い。

第１実施形態の電子カメラ１の構成を示すブロック図である。 画像処理部１５について説明する図である。 第１実施形態の電子カメラ１の動作を示すフローチャートである。 画像処理部１５の変形例について説明する図である。 第２実施形態の電子カメラ５１の構成を示すブロック図である。

符号の説明

１・５１，電子カメラ １３・５２，撮像素子 １５，画像処理部 ２２，ＣＰＵ ３２，ＬＰＦ ３３，ＤＬＹ回路 ３４，動き検出回路 ３５，混合回路

Claims (6)

1. 移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する撮像部と、
   前記動画像の生成に並行して、前記複数フレームの第１画像それぞれの画面内全領域について、高域空間周波数成分を抑制して、前記第１画像の各フレームに対応づけられた前記複数フレームの第２画像を生成する画像生成部と、
   前記複数フレームの第１画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、
   前記複数フレームの第１画像とその画像に対応する前記第２画像とを合成する際の混合比を、前記複数の領域ごとに決定する決定部と、
   前記複数フレームの第１画像とその画像に対応する前記第２画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第３画像を生成する合成部と
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記決定部は、前記複数の領域のうち前記被写体像を含む領域については、前記第１画像と前記第２画像との何れか一方の画像の混合比を他方の画像の混合比よりも大きく決定し、前記複数の領域のうち前記被写体像を含む領域を除く領域については、前記第１画像と前記第２画像とのうち前記他方の画像の混合比を前記一方の画像の混合比よりも大きく決定する
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記移動する被写体像の動き量を算出する動き検出部をさらに備え、
   前記決定部は、前記被写体像の動き量に応じて、前記被写体像を含む領域、または前記被写体像を含む領域を除く領域における前記混合比を決定する
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記動画像の生成に並行して、前記撮像装置から前記被写体までの距離に関する情報を随時取得する取得部をさらに備え、
   前記決定部は、前記距離に関する情報に基づいて、前記混合比を決定する
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記動画像を表示する表示部をさらに備え、
   前記撮像部は、予備的な撮像により構図確認用の動画像であるスルー画像を生成し、
   前記表示部は、前記スルー画像の生成動作と並行して、前記合成部により生成した前記複数フレームの第３画像により構成される動画像の表示を行う
   ことを特徴とする撮像装置。
6. 移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する第１撮像部と、
   前記第１撮像部と同期して前記移動する被写体像を連続的に撮像して、前記第１画像よりも画素数が少なく、かつ、焦点調節または露光量決定用の複数フレームの第２画像を生成する第２撮像部と、
   前記複数フレームの第１画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、
   前記複数フレームの第１画像とその画像に対応する前記第２画像とを合成する際の混合
   比を、前記複数の領域ごとに決定する決定部と、
   前記複数フレームの第１画像とその画像に対応する前記第２画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第３画像を生成する合成部と
   を備えたことを特徴とする撮像装置。
   

Images