JP2010136058A - 電子カメラおよび画像処理プログラム - Google Patents

Abstract

【課題】容易に流し撮り画像を得ることができる撮像装置を構成する。
【解決手段】複数枚の画像を連写する撮影部と、撮影部が連写した複数枚の像を一時的に記憶する記憶部と、複数枚の画像から動体情報を検出する動体検出部と、検出した動体情報に応じて撮影画像を所定サイズの分割領域に分割する領域分割部と、分割領域毎に動体画像分割領域であるか静止体画像分割領域であるかを判別する領域判別部と、基準となる動体画像分割領域を決定する動体画像選択部と、動体画像分割領域の位置を合わせる位置合わせ部と、位置合わせ部が位置合わせ後の同一の分割領域毎に１つの静止体画像分割領域を複数枚の画像の中から時系列順に選択する静止体画像選択部と、動体画像選択部が選択した動体画像分割領域と静止体画像選択部が選択した静止体画像分割領域を合成して１枚の画像を生成する画像合成部とを備える。
【選択図】図１

Description

本発明は、電子カメラおよび画像処理プログラムに関する。

フィルムカメラの時代から動いている被写体（動体）の動きに合わせてカメラを移動して１枚の静止画を撮影する流し撮りの方法が知られている。このような流し撮りをデジタルカメラで実現するために、例えば連続して撮影された複数枚の画像からメインの動体部分の相対的なずれ量とずれ方向を検出して、動体部分が同じ位置に重なるように合成する技術が検討されている（例えば、特許文献１参照）。
特開２００６−３３９９０３号公報

従来の流し撮りは、露光条件が適切にならなかったり、複数枚の画像から動体部分のずれ量やずれ方向など複雑なパラメータを求める必要があり、容易に流し撮り画像を作成することができないという問題があった。

本発明の目的は、時間的に連続して撮影された画像から容易に流し撮り画像を合成することができる電子カメラおよび画像処理プログラムを提供することである。

本発明に係る電子カメラは、同一動体を含む複数枚の画像を連写する撮影部と、前記撮影部が連写した複数枚の画像を一時的に記憶する記憶部と、前記記憶部に記憶された複数枚の画像から動体情報を検出する動体検出部と、前記動体検出部が検出した動体情報に応じて、撮影画像を所定サイズの分割領域に分割する領域分割部と、前記複数枚の画像のそれぞれにおいて、前記領域分割部が分割した分割領域毎に、前記動体検出部が検出した動体を含む動体画像分割領域であるか動体を含まない静止体画像分割領域であるかを判別する領域判別部と、前記複数枚の画像の中から基準となる動体画像分割領域を決定する動体画像選択部と、前記基準となる動体画像分割領域の位置に、前記複数枚の画像の動体画像分割領域の位置を合わせる位置合わせ部と、前記位置合わせ部が位置合わせ後の同一の前記分割領域毎に１つの静止体画像分割領域を前記複数枚の画像の中から時系列順に選択する静止体画像選択部と、前記動体画像選択部が選択した動体画像分割領域と前記静止体画像選択部が選択した静止体画像分割領域を合成して１枚の画像を生成する画像合成部とを備えることを特徴とする。

また、好ましくは、前記静止体画像選択部は、前記複数枚の画像の中から時系列順に静止体画像分割領域を選択する際に、前記動体検出部が検出した動体情報のうち動体の移動方向に応じて前記複数枚の画像の中から静止体画像分割領域を選択することを特徴とする。

また、好ましくは、前記領域分割部は、前記動体検出部が検出した動体情報のうち動体のサイズと移動速度の少なくとも１つの条件に応じて、前記所定の分割領域の大きさを可変することを特徴とする。

また、好ましくは、前記動体画像選択部は、前記複数枚の動体の焦点状態を評価して、最も焦点状態の良い動体画像の分割領域を選択することを特徴とする。

また、好ましくは、前記動体検出部は、時間的に前後する画像の差分が閾値以上のものを動体として検出することを特徴とする。

また、好ましくは、前記動体検出部は、時間的に前後する画像の差分が閾値以上の領域を動体候補領域として検出し、さらに前記動体候補領域のサイズおよび移動速度の少なくとも１つの条件が閾値以上のものを動体として検出することを特徴とする。

また、好ましくは、前記差分の閾値，前記動体候補領域のサイズおよび移動速度の閾値の少なくとも１つの条件を可変する閾値変更部を更に設けたことを特徴とする。

本発明に係る画像処理プログラムは、同一動体を含む連写された複数枚の画像が記憶された記憶媒体から画像データを読み出して画像処理を行うコンピュータの画像処理プログラムであって、前記複数枚の画像から動体情報を検出する動体検出手順と、前記動体検出手順が検出した動体情報に応じて、撮影画像を所定サイズの分割領域に分割する領域分割手順と、前記複数枚の画像のそれぞれにおいて、前記領域分割手順が分割した分割領域毎に、前記動体検出手順が検出した動体を含む動体画像分割領域であるか動体を含まない静止体画像分割領域であるかを判別する領域判別手順と、前記複数枚の画像の中から基準となる動体画像分割領域を決定する動体画像選択手順と、前記基準となる動体画像分割領域の位置に、前記複数枚の画像の動体画像分割領域の位置を合わせる位置合わせ手順と、前記位置合わせ手順が位置合わせ後の同一の前記分割領域毎に１つの静止体画像分割領域を前記複数枚の画像の中から時系列順に選択する静止体画像選択手順と、前記動体画像選択手順が選択した動体画像分割領域と前記静止体画像選択手順が選択した静止体画像分割領域を合成して１枚の画像を生成する画像合成手順とを備えることを特徴とする。

本発明によれば、時間的に連続して撮影された画像から容易に流し撮り画像を合成することができる。

以下、本発明に係る電子カメラおよび画像処理プログラムに関する実施形態について図面を用いて詳しく説明する。

（第１の実施形態）
図１は、第１の実施形態に係る電子カメラ１０１の構成を示すブロック図である。電子カメラ１０１は、レンズ光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）１０５と、Ａ／Ｄ変換部１０６と、画像バッファ１０７と、画像処理部１０８と、制御部１０９と、表示部１１０と、記憶部１１１と、操作部１１２とで構成される。

尚、本実施形態に係る電子カメラ１０１は、操作部１１２に含まれるレリーズボタンの押下毎に１枚の画像を撮影する「通常撮影モード」以外に、１回のレリーズボタンの押下で時間的に連続した複数枚の画像を撮影する「連写撮影モード」を有する。さらに、本実施形態に係る電子カメラ１０１は、「連写撮影モード」で連続撮影した複数枚の画像から流し撮り画像を合成する「流し撮りモード」を有する。

図１において、レンズ光学系１０２に入射された被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。尚、レンズ光学系１０２は、ズームレンズやフォーカスレンズなどのレンズ機構や絞り１０２ａなどを含む。

撮像素子１０４は、受光面に二次元状に配置された光電変換部を有し、受光面に入射された被写体光をその光量に応じた電気信号に変換してＡＦＥ１０５に出力する。

ＡＦＥ１０５は、撮像素子１０４から出力される電気信号のノイズ除去や増幅などを行った後、Ａ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、ＡＦＥ１０５から出力される電気信号をデジタルの画像データに変換し、変換した画像データを画像バッファ１０７に一時的に記憶する。尚、画像バッファ１０７は、連写撮影された複数の画像データも記憶する。

画像処理部１０８は、制御部１０９の指令に応じて、画像バッファ１０７に一時的に記憶された画像データのホワイトバランス処理や色補間処理などを行う。

このようにして、通常撮影モードや連写撮影モードの場合は、レリーズボタンが押下されると、撮影された画像データは画像バッファ１０７に一時的に記憶され、画像処理部１０８で画像処理され、制御部１０９を介して記憶部１１１に保存される。尚、記憶部１１１は、電子カメラ１０１に内蔵の不揮発性メモリであってもよいし、電子カメラ１０１に着脱可能なメモリカードであっても構わない。また、記憶部１１１に保存されている撮影済みの画像データや画像バッファ１０７に一時的に記憶されている画像データは、制御部１０９の指令に応じて、表示部１１０に表示される。

次に、制御部１０９の動作について説明する。尚、制御部１０９は、内部に予め記憶されているプログラムに従って動作する。図１において、制御部１０９は、レンズ制御部１２１と、絞り制御部１２２と、シャッタ制御部１２３と、ＡＦ（自動焦点）制御部１２４と、ＡＥ（自動露光）制御部１２５と、手振れ検出部１２６と、動体検出部１２７と、領域分割部１２８と、領域判別部１２９と、動体画像選択部１３０と、位置合わせ部１３１と、静止体画像選択部１３２と、画像合成部１３３とで構成される。尚、本実施形態では説明が分かり易いように、レンズ制御部１２１，絞り制御部１２２，シャッタ制御部１２３，ＡＦ制御部１２４，ＡＥ制御部１２５，手振れ検出部１２６，動体検出部１２７，領域分割部１２８，領域判別部１２９，動体画像選択部１３０，位置合わせ部１３１，静止体画像選択部１３２，画像合成部１３３は、制御部１０９に含めて描いてあるが、制御部１０９とは別のハードウェア回路で構成しても構わない。或いは、動体検出部１２７，領域分割部１２８，領域判別部１２９，動体画像選択部１３０，位置合わせ部１３１，静止体画像選択部１３２，画像合成部１３３は、画像処理部１０８に含めても構わないし、いくつかのブロックを統合しても構わない。

撮影者は、操作部１１２の操作ボタン（電源ボタン、レリーズボタン、ズームボタン、撮影モード選択ボタン、カーソルボタンなど）を操作して、電子カメラ１０１を操作する。操作部１１２の操作情報は制御部１０９に入力され、制御部１０９はその操作情報に応じて電子カメラ１０１の各部の動作を制御する。

例えば、制御部１０９は、操作部１１２のズームボタンの操作に応じて、レンズ制御部１２１を介してレンズ光学系１０２のズームレンズの位置を移動させる。同様に、制御部１０９は、絞り制御部１２２を介してレンズ光学系１０２の絞り１０２ａの絞り値を調節する。また、制御部１０９は、シャッタ制御部１２３を介して、シャッタ速度に応じてメカシャッタ１０３を開閉する。

ＡＦ制御部１２４は、画像バッファ１０７に取り込まれた画像の所定位置（ＡＦ測定位置）において山登り方式などの焦点検出方式によってデフォーカス量を算出し、焦点位置を求める。制御部１０９は、ＡＦ制御部１２４が求めた焦点位置に合うように、レンズ制御部１２１を介してレンズ光学系１０２のフォーカスレンズの位置を調節する。

ＡＥ制御部１２５は、画像バッファ１０７に取り込まれた画像の所定位置（ＡＥ測光位置）において測光を行う。制御部１０９は、ＡＥ制御部１２５が求めた測光値に応じて、適正露光になるように、絞り１０２ａの絞り値やメカニカルシャッタ１０３のシャッタ速度などを決定し、絞り制御部１２２やシャッタ制御部１２３に指令する。尚、本実施形態に係る電子カメラ１０１では、メカニカルシャッタ１０３を用いているが、メカニカルシャッタ１０３を開放状態にして、撮像素子１０４の露光時間によってシャッタ速度を制御する電子シャッタを用いても構わない。

ここで、本実施形態では、電子カメラ１０１が「流し撮りモード」に設定されている場合は、連写撮影の最初の画像を撮影する時の絞り１０２ａの絞り値やメカニカルシャッタ１０３のシャッタ速度、或いはＡＦＥ１０５に設定される撮影感度や、フォーカスレンズの位置などの撮影条件は、同じ条件に固定される。

手振れ検出部１２６は、電子カメラ１０１の筐体の動きを検出する加速度センサや撮影構図確認用のプレビュー画像の動きベクトルの変化などにより、レリーズボタン押下時の手振れの有無や手振れの度合いを検出する。

動体検出部１２７は、電子カメラ１０１が「流し撮りモード」に設定されている場合に、時間的に前後して撮影される２枚の画像間の差分を取る。例えば、図２に示したように、連写撮影される画像２０１と画像２０２の差分を取った後、引き続き画像２０２と画像２０３の差分を取る。ここで、差分を取る場合、２枚の画像の同じ位置の画素の輝度差の絶対値を差分値とし、全画素のそれぞれについて差分値を計算する。そして、差分値が予め設定された閾値以上の画素を判別し、これらの画素を多く含む一塊の領域を動体領域として検出する。また、動体領域を構成する画素数に応じて動体領域のサイズも検出する。さらに、時間的に連続する２枚の画像間の動体領域の特徴点の移動距離と撮影間隔によって動体領域の移動速度や移動方向も検出する。

このようにして求めた動体領域のサイズや移動速度を用いて、最終的な動体領域を決定する。例えば、差分で検出した動体領域を動体領域候補として検出し、この動体領域候補が予め設定した所定のサイズ（閾値）以上の大きさで、且つ予め設定した所定の移動速度（閾値）以上の速さで移動している場合に最終的な動体領域として検出する。或いは、動体領域のサイズまたは移動速度の少なくとも１つの条件を用いて最終的な動体領域を検出しても構わないし、差分だけで検出した動体領域候補を動体領域としても構わない。尚、本実施形態では、動体領域の検出方法として差分を取る方法について説明したが、動画撮影で利用される動きベクトルを用いて動体領域の検出を行っても構わない。特に動きベクトルを用いる場合は移動速度も同時に求めることができる。或いは、これら以外の方法で動体検出を行っても構わない。

領域分割部１２８は、撮影画像を所定の分割領域に分割する。例えば、図３に示したように、電子カメラ１０１で風景３０１の撮影画角３０２の部分を撮影する場合、撮影画角３０２で撮影される画像Ｐを複数の分割領域に分割する。図３の例では、横方向に８分割、縦方向に６分割された合計４８個の分割領域に分けられる。尚、図３において、Ｐ（１，１）からＰ（６，８）はそれぞれ分割領域を示している。

ここで、領域分割部１２８は、動体のサイズや移動速度に応じて分割領域のサイズの目安を決定する。例えば、動体のサイズに対して移動速度が遅い場合は、重複部分が多いので分割領域のサイズを小さくする。また、動体のサイズに対して移動速度が速い場合は、重複部分が少ないので分割領域のサイズを比較的大きくする。尚、いずれの場合でも、分割領域のサイズは小さい方が動体部分を忠実に抽出できるが、分割領域を小さくし過ぎると分割領域の数が多くなるので領域毎に静止体画像であるか動体画像であるかを判別する領域判別部１２９，動体画像選択部１３０，位置合わせ部１３１，静止体画像選択部１３２および画像合成部１３３の処理量が増加する。そこで、領域分割部１２８は、制御部１０９の処理速度と撮影する画像の解像度とから最適な分割領域のサイズを決定するようにしても構わない。或いは、設定メニューで撮影者が自由に変更できるようにしても構わない。このようにして、制御部１０９の領域分割部１２８は、撮影画像を分割する分割領域のサイズ（または数）を決定する。

領域判別部１２９は、分割領域毎に動体画像であるか静止体画像であるかを判定する。例えば、図４の画像Ｐ１の場合は、分割領域Ｐ１（５，１）と分割領域Ｐ１（５，２）と分割領域Ｐ１（５，３）と分割領域Ｐ１（６，１）と分割領域Ｐ１（６，２）と分割領域Ｐ１（６，３）との６つの分割領域に動体検出部１２７が検出した動体３０３が含まれているので、これらの分割領域は動体画像と判定する。逆に、これら以外の分割領域には、動体３０３が含まれていないので、これらの分割領域は静止体画像と判定する。尚、領域判別部１２９の判定の前に、動体検出部１２７は、例えば時間的に前後して撮影された画像Ｐ１と画像Ｐ２との差分を取って、動体３０３を動体領域として認識しているものとする。

次に、画像Ｐ１に続いて撮影された画像Ｐ２の場合、領域判別部１２９は、分割領域Ｐ２（５，２）と分割領域Ｐ２（５，３）と分割領域Ｐ２（５，４）と分割領域Ｐ２（６，２）と分割領域Ｐ２（６，３）と分割領域Ｐ２（６，４）との６つの分割領域に動体３０３が含まれているので、これらの分割領域は動体画像と判定する。逆に、これら以外の分割領域には、動体３０３が含まれていないので、これらの分割領域は静止体画像と判定する。

同様に、画像Ｐ２に続いて撮影された画像Ｐ３の場合、領域判別部１２９は、分割領域Ｐ３（５，３）と分割領域Ｐ３（５，４）と分割領域Ｐ３（５，５）と分割領域Ｐ３（６，３）と分割領域Ｐ３（６，４）と分割領域Ｐ３（６，５）との６つの分割領域に動体３０３が含まれているので、これらの分割領域は動体画像と判定する。逆に、これら以外の分割領域には、動体３０３が含まれていないので、これらの分割領域は静止体画像と判定する。このようにして、図４に示した８枚の連写された画像Ｐ１から画像Ｐ８のそれぞれの分割領域毎に動体画像であるか静止体画像であるかを判定する。尚、判定結果は、画像バッファ１０７または記憶部１１１に一時的に記憶される。

動体画像選択部１３０は、「流し撮り」の基準となる画像を選択し、選択した画像の中の動体画像の分割領域を決める。ところが、領域判別部１２９が動体画像と判定した分割領域は、複数枚の画像のそれぞれに同じ動体を含む動体画像の分割領域があるので、どの画像の動体画像の分割領域を「流し撮り」の動体画像の分割領域として用いるかを選択する必要がある。例えば、図４において、画像Ｐ１から画像Ｐ８の８枚の画像の中からいずれかの画像を１つ選択し、選択した画像の中の動体画像の分割領域を「流し撮り」の基準画像とする。例えば、画像Ｐ３を選択した場合、画像Ｐ３の分割領域Ｐ３（５，３）と分割領域Ｐ３（５，４）と分割領域Ｐ３（５，５）と分割領域Ｐ３（６，３）と分割領域Ｐ３（６，４）と分割領域Ｐ３（６，５）の６つの分割領域が「流し撮り」の基準となる動体画像の分割領域として選択される。

ここで、複数枚の画像の中から１枚の画像を選択する方法として、例えば、予め連写撮影した複数枚の画像の真ん中の画像を選択するように決めておいても構わないし、連写撮影後に、一連の連写画像を表示部１１０に表示して、撮影者が操作部１１２を用いて選択できるようにしても構わない。或いは、連写撮影した複数枚の画像の真ん中付近の複数枚の画像から撮影状態の良い最適な１枚を選択するようにしても構わない。例えば、選択基準として、コントラストや画像圧縮処理した時のデータ量、或いは撮影画像毎に手振れ検出部１２６の手振れ度合いなどで評価する。何れの方法を用いた場合でも、最もフォーカス状態が良い（フォーカスが一番合っていると思われる）画像を選択する。ここで、コントラストによる評価方法は、例えば、画素間の差分値を積算した値が最も大きい画像を最もフォーカス状態が良い画像であると判断する。また、画像圧縮処理した時のデータ量による評価方法は、ＪＰＥＧ規格などによる同じ画像圧縮方法で画像データを圧縮した時のデータ量が最も大きいものが最もフォーカス状態が良い画像であると判断する。或いは、手振れ度合いによる評価方法は、手振れ検出部１２６で検出した手振れ度合いが最も小さいもの（手振れが少ないもの）が最もフォーカス状態が良い画像であると判断する。

このようにして、動体画像選択部１３０は、「流し撮り」の基準となる画像を選択し、選択した画像の中の動体画像の分割領域を決める。

位置合わせ部１３１は、連写撮影された複数枚の画像の各分割領域の位置を「流し撮り」の基準となる動体画像の分割領域に合わせる処理を行う。例えば、図４に示した画像Ｐ１から画像Ｐ８の８枚の連写撮影された画像において、画像Ｐ３の分割領域Ｐ３（５，３）と分割領域Ｐ３（５，４）と分割領域Ｐ３（５，５）と分割領域Ｐ３（６，３）と分割領域Ｐ３（６，４）と分割領域Ｐ３（６，５）の６つの分割領域を「流し撮り」の基準となる動体画像の分割領域として選択した場合、図４の画像Ｐ１から画像Ｐ８の各画像の分割領域の位置は、図５の画像Ｐ１’，画像Ｐ２’，画像Ｐ３，画像Ｐ４’，画像Ｐ５’，画像Ｐ６’，画像Ｐ７’，画像Ｐ８’に示す各位置に変換される。例えば、図４の画像Ｐ１の分割領域Ｐ１（６，１）は図５の画像Ｐ１’の分割領域Ｐ１’（６，３）の位置になる。同様に、図４の画像Ｐ２の分割領域Ｐ２（６，２）は図５の画像Ｐ２’の分割領域Ｐ２’（６，３）の位置になる。位置合わせ部１３１は、このような位置合わせ処理を連写撮影された複数枚の画像に対して行い、連写撮影された複数枚の画像の各分割領域の位置を「流し撮り」の基準となる動体画像の分割領域に合わせる。この結果、例えば「流し撮り」の基準となる画像Ｐ３の動体画像の分割領域Ｐ３（６，３）と同じ位置には、図５に示すように、画像Ｐ１’（６，３）と画像Ｐ２’（６，３）と画像Ｐ４’（６，３）と画像Ｐ５’（６，３）と画像Ｐ６’（６，３）と画像Ｐ７’（６，３）と画像Ｐ８’（６，３）とが配置される。

静止体画像選択部１３２は、連写撮影された複数枚の画像の中の静止体画像の分割領域を１つ選択する。この時、複数枚の画像において、位置合わせ部１３１が位置合わせ後の各分割領域の位置を用い、同じ位置の複数の静止体画像の分割領域から所定条件に応じて１つの静止体画像の分割領域を選択する。尚、この処理は基準となる動体画像の分割領域の位置を除く分割領域に対して行われる。例えば、図５において、画像Ｐ３の「流し撮り」の基準となる動体画像の分割領域Ｐ３（５，３）と分割領域Ｐ３（５，４）と分割領域Ｐ３（５，５）と分割領域Ｐ３（６，３）と分割領域Ｐ３（６，４）と分割領域Ｐ３（６，５）の６つの分割領域を領域ＭＯ１と呼ぶことにすると、領域ＭＯ１を除く各分割領域に１つの静止体画像の分割領域を選択する。この時、静止体画像選択部１３２は、位置合わせ後の同じ位置の複数の静止体画像の分割領域から所定条件に応じて１つの静止体画像の分割領域を選択する。

ここで、１つの静止体画像の分割領域を選択する時の所定条件について説明する。所定条件の一例として、図６に示すように、連写撮影された複数枚の画像の時間的順序に応じて紙面右側の分割領域の列から順番に位置合わせ後の画像Ｐ１’，画像Ｐ２’，画像Ｐ３，画像Ｐ４’，画像Ｐ５’，画像Ｐ６’，画像Ｐ７’，画像Ｐ８’の各列を選択する。例えば、図６（ａ）は、連写撮影された最初の画像Ｐ１’は８列目の静止体画像の分割領域を選択し、次の画像Ｐ２’は７列目の静止体画像の分割領域を選択する。同様に、撮影順序に従って選択する列番号を１つずつ減らしていき、画像Ｐ３は６列目，画像Ｐ４’は５列目，画像Ｐ５’は４列目，画像Ｐ６’は３列目，画像Ｐ７’は２列目，画像Ｐ８’は１列目の静止体画像の分割領域をそれぞれ選択する。或いは、図６（ｂ）に示すように、紙面左側の分割領域の列から順番に位置合わせ後の画像Ｐ１’，画像Ｐ２’，画像Ｐ３，画像Ｐ４’，画像Ｐ５’，画像Ｐ６’，画像Ｐ７’，画像Ｐ８’の各列を選択しても構わない。尚、図６（ａ）および図６（ｂ）のいずれの場合でも、画像Ｐ３の「流し撮り」の基準となる動体画像の領域ＭＯ１は除く。

上記の例では、静止体画像選択部１３２は、１つの静止体画像の分割領域を選択する時に、連写撮影された複数枚の画像の時間的順序に応じて静止体画像の分割領域を選択するようにしたが、特に本実施形態では、時間的順序に応じて静止体画像の分割領域を選択する際に、動体３０３の移動方向とは逆方向になるように連写撮影された複数枚の画像の時間的に古い順に静止体画像の分割領域を選択する。尚、動体３０３の移動方向は、動体検出部１２７が動体検出を行う際に得た動体情報によって判別する。例えば、図４および図５に示した連写撮影された８枚の画像の場合は、動体検出部１２７は動体３０３は紙面右方向に移動していることを検出する。そこで、静止体画像選択部１３２は、図６（ａ）に示すように、動体３０３の移動方向が紙面右方向とは逆の左方向に連写撮影された８枚の画像を時間的に古い順番に選択する。尚、この時、図６（ａ）に示すように１列毎に選択する必要はなく、複数列毎に選択するようにしても構わない。例えば、例えば２列毎に選択する場合は、図６（ｃ）に示すように、分割領域の８列目と７列目に連写撮影された最初の画像Ｐ１’の静止体画像の分割領域を選択し、次の６列目と５列目には画像Ｐ２’、４列目と３列目に画像Ｐ３、２列目と１列目には画像Ｐ４’の静止体画像の分割領域をそれぞれ選択する。また、何列毎に選択するかは予め撮影者が設定できるようにしても構わないし、動体検出部１２７が動体検出を行う時に求めた動体３０３の移動速度や分割領域数に応じて可変しても構わない。例えば、移動速度が速い場合や分割領域数が多い場合は複数列毎に選択する列数を増やし、逆に移動速度が遅い場合や分割領域数が少ない場合は複数列毎に選択する列数を減らすようにする。

ここまでの処理で、動体画像選択部１３０が選択した動体画像の分割領域と、静止体画像選択部１３２が選択した静止体画像の分割領域とが選択され、図３に示した４８個の分割領域の全てに対応する動体画像または静止体画像の分割領域が確定する。

画像合成部１３３は、動体画像選択部１３０と静止体画像選択部１３２の処理によって選択された動体画像の分割領域と静止体画像の分割領域をそれぞれの分割領域の位置に組み合わせて合成し、図７（ａ）に示すような１枚の流し撮り画像Ｐａを作成する。図７（ａ）において、流し撮り画像Ｐａは、図５に示した位置合わせ後の８枚の画像から、画像Ｐ３の領域ＭＯ１が基準となる動体画像の分割領域とし、これに図６（ａ）に示すような順番で静止体画像の分割領域を合成した画像である。図７（ａ）の合成画像Ｐａの各分割領域には、図７（ｂ）に示すように、各画像の分割領域が組み合わされる。尚、図７（ｂ）の各分割領域において、Ｐ１’，Ｐ２’，Ｐ３，Ｐ４’，Ｐ５’，Ｐ６’，Ｐ７’，Ｐ８’の記号は図５の画像Ｐ１’から画像Ｐ８’の８枚の画像のいずれかを示し、（１，１）から（６，８）の座標は各画像における分割領域の位置を示している。

このようにして、本実施形態に係る電子カメラ１０１は、時間的に連続して撮影された画像から容易に流し撮り画像を合成することができる。

（画像合成のその他の例１）
図７では、分割領域の列８から列１に向けて時系列順に撮影した８枚の画像を順番に並べるように配置したが、分割領域の所定列数毎に連写した複数の画像の静止体画像の分割領域を繰り返して用いても構わない。例えば、図７（ｂ）において、分割領域の列８に画像Ｐ１’，列７に画像Ｐ２’，列６に画像Ｐ３’，列５に画像Ｐ４’をそれぞれ選択し、次の列４から再び画像Ｐ１’を用いて、列４に画像Ｐ１’，列３に画像Ｐ２’，列２に画像Ｐ３’，列１に画像Ｐ４’をそれぞれ選択する。この場合の例を図８から図１０を用いて説明する。

図８は、図４に相当するもので、時間的に連続して撮影された４枚の画像Ｐ１１から画像Ｐ１４を示している。図４の例と同様に、動体検出部１２７は動体３０３を検出し、領域判別部１２９は領域分割部１２８が分割した４８個の分割領域について動体画像の分割領域であるか静止体画像の分割領域であるかを判別する。そして、動体画像選択部１３０は、画像Ｐ１３の分割領域Ｐ１３（５，３）と分割領域Ｐ１３（５，４）と分割領域Ｐ１３（５，５）と分割領域Ｐ１３（６，３）と分割領域Ｐ１３（６，４）と分割領域Ｐ１３（６，５）の６つの領域ＭＯ２を流し撮りの基準となる動体領域として選択する。次に、図５の例と同様に、位置合わせ部１３１は、図８の４枚の画像を画像Ｐ１３の領域ＭＯ２基準に画像Ｐ１１’から画像Ｐ１４’の各分割領域の列位置を図９に示すように合わせる。

そして、画像合成部１３３は、図９に示す位置合わせ後の各画像の分割領域を動体３０３の移動方向とは逆方向の紙面左方向に時系列順に繰り返して配置し、図１０（ａ）に示すような流し撮り画像Ｐｂを作成する。図１０（ａ）は図１０（ｂ）に示すように、分割領域の列８から列５と分割領域の列４から列１とで図９の４枚の画像が繰り返して用いられている。例えば、図１０（ｂ）において、分割領域の列８と列４の領域ＭＯ２を除く静止体画像の分割領域には画像Ｐ１’が用いられ、分割領域の列７と列３の領域ＭＯ２を除く静止体画像の分割領域には画像Ｐ２’が用いられている。同様に、分割領域の列６と列２の分割領域には画像Ｐ３’が用いられ、分割領域の列５と列１の領域ＭＯ２を除く静止体画像の分割領域には画像Ｐ４’が用いられている。この結果、図１０（ａ）に示すような流し撮り画像Ｐｂを作成することができる。

このように、画像合成部１３３は、分割領域の列数が連写した画像の枚数よりも多い場合でも、時系列順に連写した画像を繰り返して用いることにより、流し撮り画像を合成することができる。尚、分割領域の列数より連写した画像の枚数の方が多い場合でも、連写した画像の一部の画像を繰り返して用いても構わない。特に、連写した画像を数枚置きに選択して用いても構わない。特にこの場合は、撮影状態の良い最適な１枚の静止体画像を選択するようにしても構わない。この場合の選択基準は、先に動体画像選択部１３０の説明の中で述べた方法により、最もフォーカス状態が良い画像を選択する。

このようにして、本実施形態に係る電子カメラ１０１は、時間的に連続して撮影された画像から容易に流し撮り画像を合成することができる。

（画像合成のその他の例２）
図７および図１０で説明した例は、動体３０３が水平方向に移動する場合の流し撮り画像の合成例である。ここでは、斜め方向に動体が移動する場合の例について説明する。図１１は、図４および図８に相当するもので、時間的に連続して撮影された３枚の画像Ｐ２１から画像Ｐ２３を示している。図４の例と同様に、動体検出部１２７は動体３０４を検出し、領域判別部１２９は領域分割部１２８が分割した４８個の分割領域について動体画像の分割領域であるか静止体画像の分割領域であるかを判別する。そして、動体画像選択部１３０は、画像Ｐ２３の分割領域Ｐ２３（３，３）と分割領域Ｐ２３（３，４）と分割領域Ｐ２３（３，５）と分割領域Ｐ２３（４，３）と分割領域Ｐ２３（４，４）の５つの動体画像の分割領域（領域ＭＯ３）を流し撮りの基準となる動体領域として選択する。次に、図５の例と同様に、位置合わせ部１３１は、図１１の画像Ｐ２３の領域ＭＯ３を基準に、画像Ｐ２１’，画像Ｐ２２’，画像Ｐ２３の各分割領域の列位置と行位置とを図１２に示すように合わせる。例えば、図１１の画像Ｐ２１の分割領域（４，１）の静止体画像の分割領域は図１２の画像Ｐ２１’の分割領域（２，３）の分割領域の位置に変換される。同様に、図１１の画像Ｐ２２の分割領域（３，２）の静止体画像の分割領域は図１２の画像Ｐ２２’の分割領域（２，３）の分割領域の位置に変換される。

ここで、静止体画像選択部１３２は、同じ分割領域位置の複数の静止体画像の分割領域から所定条件（例えば、動体３０４の移動方向）に応じて１つの静止体画像の分割領域を選択する。図１２において、動体３０４の移動方向は紙面右斜め上なので、先に説明したように、移動方向とは逆方向の紙面左下方向に時系列順に静止体画像の分割領域を選択する。この様子を図１３（ａ）に示す。図１３（ａ）は合成画像Ｐｃの各分割領域に配置する画像番号と分割領域位置を示した図である。図１３（ａ）において、太い点線で示したように、紙面右上から左下方向に静止体画像の分割領域が連写された複数枚の画像の時系列順に、動体画像の６つの分割領域がある領域ＭＯ３を除いて配置される。例えば、分割領域の位置（１，７）と位置（１，８）と位置（２，８）には画像Ｐ２１’の静止体画像の分割領域が配置され、分割領域の位置（１，５）と位置（１，６）と位置（２，６）と位置（１，７）と位置（３，７）と位置（３，８）と位置（４，８）には画像Ｐ２２’の静止体画像の分割領域が配置される。同様に、分割領域の位置（１，３）と位置（１，４）と位置（２，４）と位置（２，５）と位置（３，６）と位置（４，６）と位置（４，７）と位置（５，７）と位置（５，８）と位置（６，８）には画像Ｐ２３の静止体画像の分割領域が配置される。さらに紙面左下方向の分割領域には、再び、画像Ｐ２１’と画像Ｐ２２’と画像Ｐ２３の各静止体画像の分割領域が２列毎に繰り返し配置される。

そして、画像合成部１３３は、図１３（ａ）に示す各分割領域毎の画像番号とその画像の分割領域位置に応じて、図１３（ｂ）に示すような１枚の流し撮り画像Ｐｃを合成する。

このようにして、本実施形態に係る電子カメラ１０１は、動体が斜め方向に移動する場合でも、動体の移動方向に応じて、時間的に連続して撮影された画像から容易に流し撮り画像を合成することができる。尚、動体が上下方向に移動する場合でも、図７や図１０および図１３で説明した流し撮り画像と同様に、連写撮影した複数枚の画像から静止体画像の分割領域を時系列順に選択する際に、動体の移動方向とは逆方向に複数枚の画像の静止体画像の分割領域を配置すればよい。

以上、本実施形態に係る電子カメラ１０１の各部の動作について説明してきたが、最後に電子カメラ１０１が「流し撮りモード」に設定されている場合の一連の動作の流れについて、図１４のフローチャートを用いて説明する。尚、図１４のフローチャートは、制御部１０９の内部に予め組み込まれたプログラムに従って動作する。以下、図１４のフローチャートに従って順番に説明する。

（ステップＳ１０１）撮影者は、電子カメラ１０１の操作部１１２に含まれる電源ボタンを押して電源をＯＮする。この状態で、電子カメラ１０１は、レンズ光学系１０２を介して撮像素子１０４で撮影するプレビュー画像を表示部１１０に表示する。撮影者は、このプレビュー画像を見ながら撮影画角や被写体を確認する。尚、プレビュー画像を撮影している時は、メカニカルシャッタ１０３は常に開放状態になっており、電子シャッタによる撮影が行われる。また、プレビュー画像の撮影中、ＡＦ制御部１２４は、予め設定された所定位置で焦点位置を求め、レンズ制御部１２１を介してレンズ光学系１０２のフォーカスレンズの位置を常に調節している。同様に、ＡＥ制御部１２５は、適正露光になるように、露光時間を常に調節している。

（ステップＳ１０２）制御部１０９は、撮影者が電子カメラ１０１の操作部１１２に含まれるレリーズボタンを押下したか否かを判別する。レリーズボタンが押下された場合はステップＳ１０３に進み、レリーズボタンが押下されていない場合はステップＳ１０２の処理を繰り返す。

（ステップＳ１０３）制御部１０９は、シャッタ制御部１２３に指令して、予め設定された所定枚数の連写撮影を行う。尚、連写撮影は、メカニカルシャッタ１０３を開閉して撮影しても構わないし、プレビュー画像のように撮像素子１０４の露光時間を調節する電子シャッタで撮影しても構わない。但し、連写撮影している間は、ＡＦ制御部１２４やＡＥ制御部１２５は動作を一時的に停止し、固定の露出条件、フォーカス位置でほぼ同じ撮影画角（略同一の撮影画角）で撮影される。

（ステップＳ１０４）制御部１０９は、連写撮影された複数枚の撮影画像を画像バッファ１０７に一時的に記憶する。

（ステップＳ１０５）制御部１０９の動体検出部１２７は、図２で説明したように、時間的に前後して撮影される２枚の画像間の差分を算出する。

（ステップＳ１０６）制御部１０９の動体検出部１２７は、先に説明したように、動体領域を構成する画素数に応じて動体領域のサイズや移動速度および移動方向などの動体情報を求めて動体領域の検出を行う。

（ステップＳ１０７）制御部１０９の領域分割部１２８は、動体領域のサイズや移動速度に応じて、撮影画像を分割する分割領域のサイズ（または数）を決定し設定する。

（ステップＳ１０８）制御部１０９の領域判別部１２９は、ステップＳ１０７で領域分割部１２８が分割した分割領域毎に動体画像であるか静止体画像であるかを判定し、連写された各画像の分割領域毎に判定結果を対応させて画像バッファ１０７または記憶部１１１に一時的に記憶しておく。

（ステップＳ１０９）制御部１０９の動体画像選択部１３０は、先に説明したように、連写された複数枚の画像の中から「流し撮り」の基準となる画像を選択し、選択した画像の中の動体画像の分割領域を決める。

（ステップＳ１１０）制御部１０９の位置合わせ部１３１は、先に説明したように、連写撮影された複数枚の画像の各分割領域の位置を「流し撮り」の基準となる動体画像の分割領域に合わせる。

（ステップＳ１１１）制御部１０９の静止体画像選択部１３２は、先に説明したように、連写撮影された複数枚の画像において、位置合わせ後の各分割領域の同じ位置の複数の静止体画像の分割領域から所定条件に応じて１つの静止体画像の分割領域を選択する。この時、「流し撮り」の基準となる動体画像の分割領域は除く。

（ステップＳ１１２）制御部１０９の画像合成部１３３は、ステップＳ１０９およびステップＳ１１１で選択した動体画像の分割領域と静止体画像の分割領域をパッチワーク状に組み合わせて合成し、１枚の流し撮り画像を作成する。

ここで、先に説明した分割領域のサイズが大きい場合と小さい場合の違いについて説明する。図１０（ａ）の画像Ｐｂは大きな４８個の分割領域に分けられているが、図１５の画像Ｐｂ’は１９２個（横１６×縦１２）の小さな分割領域に分けられている。図１０（ａ）の画像Ｐｂでは、動体３０３は長方形状の６つの分割領域ＭＯ２で選択されていたが、図１５の画像Ｐｂ’では、動体３０３の形状に近い多角形状の２１個の分割領域ＭＯ４で選択される。このように、分割領域を小さくするほど動体３０３を精密に抽出することができる。また、静止体画像の分割領域についても分割領域を小さくするほど、図１５の画像Ｐｂ’に示すように、自然な流れを表現することができ、きれいな流し撮り画像が得られる。

（ステップＳ１１３）制御部１０９は、ステップ１１２で作成された流し撮り画像を表示部１１０に表示したり、記憶部１１１に保存する。

（ステップＳ１１４）一連の「流し撮りモード」における撮影処理を終了する。

尚、本実施形態では、説明を分かり易くするために、撮影画像の中に１つの動体しか存在しない場合について説明したが、複数の動体が存在しても構わない。この場合は、動体検出部１２７は、先に説明したように動体領域のサイズや移動速度および移動方向などの動体情報によって、複数の動体を検出する。そして、検出した動体が含まれる分割領域を動体画像として抽出し、以降、先に説明した１つの動体の場合と同様に流し撮り画像を合成する。

また、図１４のフローチャートでは、撮影時の処理として説明したが、連写した撮影済みの画像を記憶部１１１に保存しておいて、これを再生する際に流し撮り画像を合成するようにしても構わない。この場合は、図１４のフローチャートにおいて、ステップＳ１０５以降の処理を実行し、ステップＳ１０５の処理において、記憶部１１１に保存されている連写された画像データを撮影順に読み出して差分を算出する。

このように、本実施形態に係る電子カメラ１０１は、複数枚の画像のそれぞれは最適な撮影条件で撮影されているので、従来の流し撮り画像のように露出オーバーや露出アンダーになることなく、容易に流し撮り画像を得ることができる。

尚、本実施形態では、電子カメラ１０１の場合の例について説明したが、図１４のフローチャートにおいて、ステップＳ１０１からステップＳ１０４の撮影処理を除くステップＳ１０５以降の処理を、パソコンなどのコンピュータで実行する画像処理プログラムとしても構わない。この場合は、連写した複数枚の画像が記憶部１１１に相当するメモリカードに保存されているものとし、そのメモリカードをパソコンに装着して、図１４のフローチャートのステップＳ１０５以降の画像処理プログラムを実行する。尚、この場合、パソコンの画像処理プログラムは、ステップＳ１０５の処理において、メモリカードに保存されている連写された画像データを撮影順に読み出して差分を算出する。

このようにして、パソコンなどのコンピュータで実行する画像処理プログラムの場合でも、電子カメラ１０１と同様の効果を得ることができる。尚、画像処理プログラムは、ＣＤなどの記憶媒体に記憶した状態で提供しても構わないし、インターネットなどの通信媒体を介して電子的に配布するようにしても構わない。

本実施形態に係る電子カメラ１０１のブロック図である。 連写撮影画像の差分を説明するための補助図である。 分割領域を説明するための補助図である。 連写された画像例を示す補助図である。 位置合わせ処理を説明するための補助図である。 静止体画像の選択方法を説明するための補助図である。 合成例を示す補助図である。 連写された画像例を示す補助図である。 位置合わせ処理を説明するための補助図である。 合成例を示す補助図である。 連写された画像例を示す補助図である。 位置合わせ処理を説明するための補助図である。 合成例を示す補助図である。 本実施形態に係る電子カメラ１０１の処理を示すフローチャートである。 分割領域のサイズによる違いを説明するための補助図である。

符号の説明

１０１・・・カメラ １０２・・・レンズ光学系
１０３・・・メカニカルシャッタ １０４・・・撮像素子
１０５・・・ＡＦＥ １０６・・・Ａ／Ｄ変換部
１０７・・・画像バッファ １０８・・・画像処理部
１０９・・・制御部 １１０・・・表示部
１１１・・・記憶部 １１２・・・操作部
１２１・・・レンズ制御部 １２２・・・絞り制御部
１２３・・・シャッタ制御部 １２４・・・ＡＦ制御部
１２５・・・ＡＥ制御部 １２６・・・手振れ検出部
１２７・・・動体検出部 １２８・・・領域分割部
１２９・・・領域判別部 １３０・・・動体画像選択部
１３１・・・位置合わせ部 １３２・・・静止体画像選択部
１３３・・・画像合成部

Claims (8)

1. 同一動体を含む複数枚の画像を連写する撮影部と、
   前記撮影部が連写した複数枚の画像を一時的に記憶する記憶部と、
   前記記憶部に記憶された複数枚の画像から動体情報を検出する動体検出部と、
   前記動体検出部が検出した動体情報に応じて、撮影画像を所定サイズの分割領域に分割する領域分割部と、
   前記複数枚の画像のそれぞれにおいて、前記領域分割部が分割した分割領域毎に、前記動体検出部が検出した動体を含む動体画像分割領域であるか動体を含まない静止体画像分割領域であるかを判別する領域判別部と、
   前記複数枚の画像の中から基準となる動体画像分割領域を決定する動体画像選択部と、
   前記基準となる動体画像分割領域の位置に、前記複数枚の画像の動体画像分割領域の位置を合わせる位置合わせ部と、
   前記位置合わせ部が位置合わせ後の同一の前記分割領域毎に１つの静止体画像分割領域を前記複数枚の画像の中から時系列順に選択する静止体画像選択部と、
   前記動体画像選択部が選択した動体画像分割領域と前記静止体画像選択部が選択した静止体画像分割領域を合成して１枚の画像を生成する画像合成部と
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記静止体画像選択部は、前記複数枚の画像の中から時系列順に静止体画像分割領域を選択する際に、前記動体検出部が検出した動体情報のうち動体の移動方向に応じて前記複数枚の画像の中から静止体画像分割領域を選択する
   ことを特徴とする電子カメラ。
3. 請求項１または２に記載の電子カメラにおいて、
   前記領域分割部は、前記動体検出部が検出した動体情報のうち動体のサイズと移動速度の少なくとも１つの条件に応じて、前記所定の分割領域の大きさを可変する
   ことを特徴とする電子カメラ。
4. 請求項１から３のいずれか一項に記載の電子カメラにおいて、
   前記動体画像選択部は、前記複数枚の動体の焦点状態を評価して、最も焦点状態の良い動体画像の分割領域を選択する
   ことを特徴とする電子カメラ。
5. 請求項１から４のいずれか一項に記載の電子カメラにおいて、
   前記動体検出部は、時間的に前後する画像の差分が閾値以上のものを動体として検出する
   ことを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記動体検出部は、時間的に前後する画像の差分が閾値以上の領域を動体候補領域として検出し、さらに前記動体候補領域のサイズおよび移動速度の少なくとも１つの条件が閾値以上のものを動体として検出する
   ことを特徴とする電子カメラ。
7. 請求項６に記載の電子カメラにおいて、
   前記差分の閾値，前記動体候補領域のサイズおよび移動速度の閾値の少なくとも１つの条件を可変する閾値変更部を更に設けた
   ことを特徴とする電子カメラ。
8. 同一動体を含む連写された複数枚の画像が記憶された記憶媒体から画像データを読み出して画像処理を行うコンピュータの画像処理プログラムであって、
   前記複数枚の画像から動体情報を検出する動体検出手順と、
   前記動体検出手順が検出した動体情報に応じて、撮影画像を所定サイズの分割領域に分割する領域分割手順と、
   前記複数枚の画像のそれぞれにおいて、前記領域分割手順が分割した分割領域毎に、前記動体検出手順が検出した動体を含む動体画像分割領域であるか動体を含まない静止体画像分割領域であるかを判別する領域判別手順と、
   前記複数枚の画像の中から基準となる動体画像分割領域を決定する動体画像選択手順と、
   前記基準となる動体画像分割領域の位置に、前記複数枚の画像の動体画像分割領域の位置を合わせる位置合わせ手順と、
   前記位置合わせ手順が位置合わせ後の同一の前記分割領域毎に１つの静止体画像分割領域を前記複数枚の画像の中から時系列順に選択する静止体画像選択手順と、
   前記動体画像選択手順が選択した動体画像分割領域と前記静止体画像選択手順が選択した静止体画像分割領域を合成して１枚の画像を生成する画像合成手順と
   を備えることを特徴とする画像処理プログラム。

Images