JP2016009991A - 画像処理装置、カメラおよび画像処理プログラム - Google Patents

Abstract

【課題】流し撮りの技法により撮影された画像をよりよく再現した画像を得る画像処理装置を提供する。【解決手段】画像処理装置は、第１時刻に撮影され主要被写体部分を含む第１画像と、第２時刻に撮影され主要被写体部分を含み第１画像とは異なる範囲を撮影した第２画像と、から主要被写体部分以外の部分である背景部分を特定する背景特定手段と、第１画像と第２画像とについて背景特定手段により特定された背景部分に基づき、第１時刻から第２時刻にかけての背景部分の移動軌跡を推定する移動推定手段と、移動推定手段により推定された移動軌跡に基づき、第１時刻に露光を開始し第２時刻に露光を終了することにより撮影される流し撮り画像のうち背景部分の画像を推定する背景画像推定手段と、第１画像または第２画像の主要被写体部分と、背景画像推定手段により推定された背景部分の画像とを合成して流し撮り画像を作成する合成手段と、を備える。【選択図】図１

Description

本発明は、画像処理装置、カメラおよび画像処理プログラムに関する。

従来、時間的に連続する複数枚の画像を合成し、いわゆる流し撮りの技法により撮影される流し撮り画像を再現した画像を作成する撮像装置が知られている（例えば特許文献１）。このような撮像装置を用いると、高度な撮影技術を持たない撮影者であっても、流し撮り画像に似た画像を撮影することができる。

特開２０１０−２４６１６２号公報

特許文献１に記載の撮像装置は、流し撮りに似た効果が付与された画像を作成するものであり、実際の流し撮り画像を十分に再現できていない。

請求項１に記載の画像処理装置は、第１時刻に撮影され主要被写体部分を含む第１画像と、前記第１時刻より後の第２時刻に撮影され前記主要被写体部分を含み前記第１画像とは異なる範囲を撮影した第２画像と、から前記主要被写体部分以外の部分である背景部分を特定する背景特定手段と、前記第１画像と前記第２画像とについて前記背景特定手段により特定された背景部分に基づき、前記第１時刻から前記第２時刻にかけての背景部分の移動軌跡を推定する移動推定手段と、前記移動推定手段により推定された前記移動軌跡に基づき、前記第１時刻に露光を開始し前記第２時刻に露光を終了することにより撮影される流し撮り画像のうち背景部分の画像を推定する背景画像推定手段と、前記第１画像または前記第２画像の前記主要被写体部分と、前記背景画像推定手段により推定された背景部分の画像とを合成して流し撮り画像を作成する合成手段と、を備えることを特徴とする。
請求項５に記載のカメラは、請求項１〜４のいずれか一項に記載の画像処理装置を備えることを特徴とする。
請求項６に記載の画像処理プログラムは、第１時刻に撮影され主要被写体部分を含む第１画像と、前記第１時刻より後の第２時刻に撮影され前記主要被写体部分を含み前記第１画像とは異なる範囲を撮影した第２画像と、から前記主要被写体部分以外の部分である背景部分を特定する背景特定ステップと、前記第１画像と前記第２画像とについて前記背景特定ステップにより特定された背景部分に基づき、前記第１時刻から前記第２時刻にかけての背景部分の移動軌跡を推定する移動推定ステップと、前記移動推定ステップにより推定された前記移動軌跡に基づき、前記第１時刻に露光を開始し前記第２時刻に露光を終了することにより撮影される流し撮り画像のうち背景部分の画像を推定する背景画像推定ステップと、前記第１画像または前記第２画像の前記主要被写体部分と、前記背景画像推定ステップにより推定された背景部分の画像とを合成して流し撮り画像を作成する合成ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、従来技術よりも流し撮りの技法により撮影された画像をよりよく再現した画像を得ることができる。

本発明の第１の実施の形態に係るデジタルカメラの構成を模式的に示す断面図である。 制御部１１の要部構成を例示する図である。 流し撮り画像作成処理の概念を説明する図である。 背景部分と撮像画素との関係を模式的に示す図である。 制御部１１が実行する流し撮り画像作成処理のフローチャートである。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るデジタルカメラの構成を模式的に示す断面図である。レンズ一体型のデジタルカメラ１は、撮像素子１０と、制御部１１とを備える。撮像素子１０は、被写体像を撮像して撮像信号を出力する。制御部１１は、不図示のＣＰＵ、ＲＡＭおよび周辺回路から構成され、デジタルカメラ１全体を制御する。

図２は、制御部１１の要部構成を例示する図である。制御部１１は、不図示の記憶媒体から所定の制御プログラムを読み込んで実行することにより、図２に示す各部をソフトウェア的に実現している。制御部１１は、背景特定部２１と、動きベクトル検出部２２と、背景画像推定部２３と、主要被写体画像抽出部２４と、合成部２５とを備える。

（流し撮り画像作成機能の説明）
次に、デジタルカメラ１が有する流し撮り画像作成機能について説明する。流し撮りとは、露光開始から露光完了までの時間（露光時間）中に、移動する被写体（主要被写体）が撮影画面中の略同一位置に存在するようにカメラを動かす撮影技法である。このように撮影を行うと、主要被写体が鮮鋭に写り、かつ、背景がカメラを動かした方向に流れて（ブレて）写った画像（流し撮り画像）が得られる。流し撮りは、主要被写体を略同一位置に保ちながらカメラを動かすという高度な技術を要する撮影技法である。デジタルカメラ１が有する流し撮り画像作成機能は、流し撮り画像を、そのような高度な技術を持ち合わせていなくても撮影することができる機能である。

流し撮り画像作成機能の利用手順について説明する。撮影者は、まず、流し撮り画像作成機能の利用を開始することをデジタルカメラ１に指示する。次に撮影者は、移動する主要被写体を撮影画面に入れたまま、２枚以上の連続撮影を行う。この連続撮影において、撮影画面における主要被写体の位置は同一であることが望ましいが、通常の流し撮りのように厳密に一致している必要はない。また、撮影者または制御部１１が設定する露出設定（いわゆるシャッタースピード等）は、主要被写体が鮮鋭に写るように設定されることが望ましい。その後、撮影者がデジタルカメラ１に撮影完了を指示すると、制御部１１は連続撮影により得られた２枚以上の画像に基づき、流し撮り画像を作成する。なお、ここで作成される画像は、流し撮り画像（通常の流し撮りにより得られる画像）と完全に同一ではないが、流し撮り画像を高度に再現した画像であるため、以下の説明では単に流し撮り画像と称する。

以下、制御部１１が２枚の画像から流し撮り画像を作成する流し撮り画像作成処理について説明する。その後、３枚以上の画像から流し撮り画像を作成する方法について説明する。

図３は、流し撮り画像作成処理の概念を説明する図である。図３（ａ）には、流し撮り画像作成機能による撮影のタイムチャートを、図３（ｂ）には、通常の流し撮り技法による流し撮り画像撮影のタイムチャートを、それぞれ示している。

図３（ａ）に示すように、時刻ｔ１に１枚目の撮影画像（以下、第１撮影画像と称する）の露光が開始され、それから第１露光時間Ｔａ後の時刻ｔ２に露光が完了する。そして、時刻ｔ２から時間Ｔｂだけ後の時刻ｔ３に、２枚目の撮影画像（以下、第２撮影画像と称する）の露光が開始され、それから第２露光時間Ｔｃ後の時刻ｔ４に露光が完了する。制御部１１は、第１撮影画像と第２撮影画像とに基づいて流し撮り画像を作成する。

次に、図３（ａ）と同一の期間において、実際の流し撮りを行う場合について検討する。実際の流し撮りを行う場合は、図３（ｂ）に示すように、まず時刻ｔ１に露光を開始し、それから時間Ｔｄ後の時刻ｔ４に露光が完了する。ここで、時間Ｔｄは、第１露光時間Ｔａと、時間Ｔｂと、第２露光時間Ｔｃとの合計に等しい。つまり、実際の流し撮り画像は、時刻ｔ１から時刻ｔ４までの期間に、継続して露光を行った画像である。時刻ｔ１から時刻ｔ４までの期間において流し撮りを行った場合、主要被写体のある一点からの光は、対応する１つの撮像画素に継続的に入射する。また、背景のある一点からの光は、デジタルカメラ１を動かした方向とは逆の方向に並んだ複数の撮像画素に順次入射する。

制御部１１は、第１撮影画像と第２撮影画像とに対して以下に説明する処理を実行することにより、この実際の流し撮り画像を忠実に再現する。

まず、動きベクトル検出部２２が、周知の方法（例えばブロックマッチングやオプティカルフローなど）により、第１撮影画像と第２撮影画像との間で動きベクトルを検出する。次に背景特定部２１が、周知の方法により、第１撮影画像と第２撮影画像との各々において背景部分を特定する。ここで背景部分とは、撮影画面全体のうち主要被写体部分以外の部分である。従って、主要被写体を識別する周知の方法を用いて主要被写体部分を特定すれば、背景部分を特定することができる。

例えば、撮影直前に行った焦点検出の結果（ピントが合っている物体が主要被写体であると判断可能）、動きベクトル検出部２２によりされた動きベクトル、周知の方法により検出される特徴点などにより、主要被写体部分を特定することが可能である。

次に背景画像推定部２３が、第１撮影画像の背景部分と、第２撮影画像の背景部分とに基づいて、流し撮り画像のうち背景部分の画像を推定する。以下、この点について詳述する。

図４は、背景部分と撮像画素との関係を模式的に示す図であり、図４（ａ）は第１撮影画像の撮影時（図３（ａ）の時刻ｔ１〜ｔ２）における背景部分と撮像画素との関係を、図４（ｂ）は第２撮影画像の撮影時（図３（ａ）の時刻ｔ３〜ｔ４）における背景部分と撮像画素との関係をそれぞれ示している。なお、図４では便宜上、背景部分と撮像画素とを共に１次元的に図示している。

ここで、撮像画素Ｘ６に注目する。図４（ａ）に示す１回目の撮影時（すなわち時刻ｔ１〜ｔ２の時点）、撮像画素Ｘ６には、背景部分のＦ点からの光束が入射している。１回目の撮影時、撮像画素Ｘ６からは、Ｆ点からの光量と露出設定（露光時間（シャッタースピード）Ｔａ（図３）、絞り値、感度）とに対応する信号ｓ１６が出力される。同様に、背景部分のＡ点、Ｂ点、Ｃ点、Ｄ点、Ｅ点、…からの光束は、それぞれ撮像画素Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５、…に入射している。撮像画素Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５、…からは、それぞれ信号ｓ１１、ｓ１２、ｓ１３、ｓ１４、ｓ１５、…が出力される。

図４（ｂ）に示す２回目の撮影時（すなわち時刻ｔ３〜ｔ４の時点）、１回目の撮影時と比べて、背景部分は紙面右方向に５ピクセルに相当する量だけ移動している（デジタルカメラ１が紙面左方向に５ピクセルに相当する量だけ移動している）。背景画像推定部２３は、動きベクトル検出部２２により検出された動きベクトルから、このような背景部分の移動を認識することができる。具体的には、撮像画素Ｘ６を先頭とし紙面右方向を向く大きさ５の動きベクトルが検出されたとき、背景画像推定部２３は背景部分に図４（ｂ）に示す動きがあったと認識する。つまり、この「撮像画素Ｘ６を先頭とし紙面右方向を向く大きさ５の動きベクトル」は、背景部分のＡ点の移動軌跡を表している。

図４（ｂ）に示す動きの結果、２回目の撮影時に撮像画素Ｘ６からは、Ａ点からの光量と露出設定（露光時間Ｔｃ（図３）、絞り値、感度）とに対応する信号ｓ３６が出力される。同様に、背景部分のＢ点、Ｃ点、…からの光束は、それぞれ撮像画素Ｘ７、Ｘ８、…に入射している。撮像画素Ｘ７、Ｘ８、…からは、それぞれ信号、ｓ３７、ｓ３８、…が出力される。

ここで、１回目の撮影開始時から２回目の撮影終了時まで、すなわち時刻ｔ１〜ｔ４（図３）までの期間に流し撮りを行っていた場合を想定する。時刻ｔ１〜ｔ４にかけて、撮像画素Ｘ６に対応する背景部分はＦ点からＡ点まで移動している。従って、もし時刻ｔ１〜ｔ４にかけて継続的に露光を行っていた場合、撮像画素Ｘ６には背景部分のＦ点、Ｅ点、Ｄ点、Ｃ点、Ｂ点、Ａ点からの光束が順次入射していたはずである。時刻ｔ１〜ｔ４にかけて、背景部分の移動速度が一定であると仮定すると、各点からの光束が撮像画素Ｘ６に入射していた時間τ１は、次式（１）により算出することができる。
τ１＝Ｔｄ／Ｎ ・・・（１）

上式（１）において、Ｎは対応する背景部分の点の数であり、ここではＡ点〜Ｆ点が該当するのでＮは６である。また、Ｔｄは図３に示すように、第１撮影画像の撮影開始時刻ｔ１から第２撮影画像の撮影終了時刻ｔ４までの時間である。

第１撮影画像の、撮像画素Ｘ６の画素値は、第２撮影画像の信号ｓ４１の信号量と等価であると推定される。前述の通り、信号ｓ１６は、背景部分のＦ点からの光を露光時間Ｔａだけ受光したときの信号である。信号量は露光時間に比例すると考えられるので、次式（２）によって、Ｆ点からの光束を時間τ１だけ受光した場合の受光信号ｓｆの信号量（信号ｓ１６の信号量のうち、流し撮り画像における撮像画素Ｘ６に対応する画素の画素値に寄与する量）を演算することができる。
ｓｆ＝ｓ１６×（τ１／Ｔａ） ・・・（２）

背景画像推定部２３は、上式（２）の演算を行い、「Ｆ点からの光束を時間τ１だけ受光した場合の受光信号ｓｆ」の信号量を演算する。背景画像推定部２３は、Ａ点〜Ｅ点についても同様の演算を行い、各点からの光束を時間τ１だけ受光した場合の信号量をそれぞれ求める。そして、Ａ点〜Ｆ点の各々に対応するそれら６つの信号量を合計することにより、流し撮りを行った場合に撮像画素Ｘ６から出力されるであろう信号量を推定する。背景画像推定部２３は、以上の処理を、背景部分の全ての撮像画素について実行するにより、流し撮り画像のうち背景部分の画像を作成する。

主要被写体画像抽出部２４は、第２撮影画像から、背景特定部２１により特定された背景部分以外の部分、すなわち主要被写体部分を抽出する。なお、第２撮影画像でなく第１撮影画像から主要被写体部分を抽出してもよい。最後に合成部２５が、背景画像推定部２３により作成された背景部分の画像と、主要被写体画像抽出部２４により抽出された主要被写体部分の画像とを合成し、流し撮り画像を作成する。なお、抽出した主要被写体部分の画像は、流し撮り画像の任意の位置に配置することができる。例えば、第１撮影画像における主要被写体部分の位置に配置してもよいし、第２撮影画像における主要被写体部分の位置に配置してもよい。あるいは、第１撮影画像における主要被写体部分の位置と、第２撮影画像における主要被写体部分の位置との中間地点等に配置することもできる。例えば、第１撮影画像において主要被写体部分が画面左端近傍に位置しており、第２撮影画像において主要被写体部分が画面右端近傍に位置している場合には、流し撮り画像の左右中央近傍に主要被写体部分を配置する。

次に、３枚の撮影画像から流し撮り画像を作成する処理について説明する。図３（ｃ）に示すように、時刻ｔ１から時刻ｔ４までの間に、１回目の撮影と２回目の撮影と３回目の撮影とが行われる。この場合には、１回目の撮影の露光時間Ｔａ（時刻ｔ１〜ｔ２）と、１回目と２回目の撮影間隔Ｔｂ（時刻ｔ２〜ｔ３）と、２回目の撮影の露光時間Ｔｃ（時刻ｔ３〜ｔ３１）と、２回目と３回目の撮影間隔Ｔｅ（時刻ｔ３１〜ｔ３２）と、３回目の撮影の露光時間Ｔｆ（時刻ｔ３２〜ｔ４）とを合計した時間Ｔｄの間に流し撮りを行うことを想定すればよい。

制御部１１は、まず、３回目の撮影により得られた第３撮影画像と、２回目の撮影により得られた第２撮影画像とを用いて、時刻ｔ３〜ｔ４の間に流し撮りを行った場合の流し撮り画像を合成する。次に、この流し撮り画像と、１回目の撮影により得られた第１撮影画像とを用いて、時刻ｔ１〜ｔ４の間に流し撮りを行った場合の流し撮り画像（最終的な流し撮り画像）を合成する。以下、これらの処理について順に説明する。

動きベクトル検出部２２は、まず、３回目の撮影により得られた第３撮影画像と、２回目の撮影により得られた第２撮影画像との間で、動きベクトルを検出する。背景画像推定部２３は、第３撮影画像と第２撮影画像に基づき、撮像画素Ｘ６について、時刻ｔ３〜ｔ４までの間に背景部分の各点からの光束を（ｔ４−ｔ３）／Ｎだけ受光した場合の信号量をそれぞれ求める。ここでＮは、第３撮影画像と第２撮影画像との間で検出された動きベクトルから決定される数である。背景画像推定部２３は、以上のように撮像画素Ｘ６について算出された各々の信号量を合算することにより、時刻ｔ３から時刻ｔ４の期間において流し撮りを行った場合の撮像画素Ｘ６に対応するピクセルの画素値を推定する。背景画像推定部２３は、同様の処理を背景部分に対応する全撮像画素について行うことで、流し撮り画像の背景部分の画像を推定する。

次に、動きベクトル検出部２２は、２回目の撮影により得られた第２撮影画像と、１回目の撮影により得られた第１撮影画像との間で、動きベクトルを検出する。背景画像推定部２３は、第２撮影画像と第１撮影画像に基づき、撮像画素Ｘ６について、時刻ｔ１〜ｔ３１までの間に背景部分の各点からの光束を（ｔ３１−ｔ１）／Ｎだけ受光した場合の信号量をそれぞれ求める。ここでＮは、第２撮影画像と第１撮影画像との間で検出された動きベクトルから決定される数である。背景画像推定部２３は、以上のように撮像画素Ｘ６について算出された各々の信号量と、既出のｔ３〜ｔ４の期間において流し撮りを行った場合の撮像画素Ｘ６に対応するピクセルの画素値を合算することにより、時刻ｔ３から時刻ｔ４の期間において流し撮りを行った場合の撮像画素Ｘ６に対応するピクセルの画素値を推定する。背景画像推定部２３は、同様の処理を背景部分に対応する全撮像画素について行うことで、流し撮り画像の背景部分の画像を推定する。合成部２５は、その背景部分の画像と、主要被写体画像抽出部２４が第３撮影画像から抽出した主要被写体部分の画像とを合成することにより、時刻ｔ３〜ｔ４の間に流し撮りを行った場合の流し撮り画像を合成する。

背景画像推定部２３は、以上のように撮像画素Ｘ６について算出された各々の信号量を合算することにより、時刻ｔ１から時刻ｔ４の期間において流し撮りを行った場合の撮像画素Ｘ６に対応するピクセルの画素値を推定する。背景画像推定部２３は、同様の処理を背景部分に対応する全撮像画素について行うことで、流し撮り画像の背景部分の画像を推定する。合成部２５は、その背景部分の画像と、主要被写体画像抽出部２４が第３撮影画像から抽出した主要被写体部分の画像とを合成することにより、時刻ｔ１〜ｔ４の間に流し撮りを行った場合の流し撮り画像を合成する。

このように、２枚の撮影画像に基づいて流し撮り画像を合成する処理を繰り返し実行することにより、任意の枚数の撮影画像に基づく流し撮り画像を合成することができる。なお、途中で流し撮り画像を合成せずに、複数の撮影画像から直接最終的な流し撮り画像を作成することも可能である。この場合、１枚目の撮影画像と２枚目の撮影画像、２枚目の撮影画像と３枚目の撮影画像など、隣接する２つの撮影画像間における各撮像画素の受光信号を個別に演算し、最後にそれらを合算することで当該撮像画素の出力信号を推定すればよい。

図５は、制御部１１が実行する流し撮り画像作成処理のフローチャートである。この処理は、制御部１１が実行する制御プログラムに含まれる。まずステップＳ１０で、撮像素子１０が被写体像を撮像し制御部１１が撮影画像を作成する。このとき制御部１１は、撮影画像と共に、撮影開始時刻、撮影終了時刻、露出設定（シャッタースピードすなわち露光時間、絞り値、感度等）を記憶する。

ステップＳ２０で制御部１１は、撮影者により所定の撮影終了操作が為されたか否かを判定する。撮影終了操作が為されていない場合、制御部１１は処理をステップＳ１０に進める。他方、撮影終了操作が為されていた場合、制御部１１は処理をステップＳ３０に進める。

ステップＳ３０で背景特定部２１は、撮影画像の背景部分を特定する。ステップＳ４０で動きベクトル検出部２２は、連続する２つの撮影画像間の動きベクトルを検出する。以下の説明では便宜上、連続する２つの撮影画像のうち時系列順で前の撮影画像を第１撮影画像、後の撮影画像を第２撮影画像と呼ぶ。

ステップＳ５０で背景画像推定部２３は、第１撮影画像の背景部分から未選択の画素を注目画素として１つ選択する。ステップＳ６０で背景画像推定部２３は、第１撮影画像で選択された注目画素の、第１撮影画像から第２撮影画像にかけての移動軌跡、すなわち当該注目画素を先頭とする動きベクトルを特定する。ステップＳ７０で背景画像推定部２３は、第１撮影画像の移動軌跡の画素を特定する。例えば図４（ａ）に示したＡ点に相当する画素を注目画素として選択していた場合、移動軌跡は紙面右方向を向く５ピクセル分の軌跡であり、ここで特定される画素はＡ点、Ｂ点、Ｃ点、Ｄ点、Ｅ点、Ｆ点にそれぞれ対応する画素、すなわち撮像画素Ｘ１〜Ｘ６から出力された信号ｓ１１〜ｓ１６である。

ステップＳ８０で背景画像推定部２３は、ステップＳ７０で特定された各画素に対応する被写体の各点からの光束１つ１つが１つの撮像画素に入射していた時間τ１、すなわち被写体の各点に対応する露光時間τ１を、上式（１）により算出する。ステップＳ９０で背景画像推定部２３は、ステップＳ７０で特定された各画素の画素値から、露光時間τ１だけ被写体の各点からの光束を受光した場合における信号量を上式（２）により個別に演算し、演算結果を合算する。この合算した値が、流し撮り画像における注目画素の画素値である。

ステップＳ１００で背景画像推定部２３は、ステップＳ５０において背景部分の全ての画素を選択し終わったか否かを判定する。未選択の画素が残っている場合、背景画像推定部２３は処理をステップＳ５０に進める。他方、全ての画素を選択し終わった場合、すなわち、背景部分の全ての画素について、流し撮り画像における当該画素の画素値を算出し終わった場合、換言すると、流し撮り画像における背景部分の画像を作成し終わった場合には、処理をステップＳ１１０に進める。

ステップＳ１１０において、主要被写体画像抽出部２４は、第１撮影画像または第２撮影画像から、主要被写体部分の画像を抽出する。ステップＳ１２０で合成部２５が、背景画像推定部２３により作成された背景部分の画像と、ステップＳ１１０において抽出された主要被写体部分の画像とを合成して流し撮り画像を作成する。

上述した第１の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）背景特定部２１は、第１時刻に撮影され主要被写体部分を含む第１画像（第１撮影画像）と、第１時刻より後の第２時刻に撮影され主要被写体部分を含み第１画像とは異なる範囲を撮影した第２画像（第２撮影画像）と、から主要被写体部分以外の部分である背景部分を特定する。動きベクトル検出部２２（移動推定手段）は、第１画像と第２画像とについて背景特定部２１により特定された背景部分に基づき、第１時刻から第２時刻にかけての背景部分の移動軌跡である動きベクトルを推定する。背景画像推定部２３は、動きベクトル検出部２２により推定された移動軌跡に基づき、第１時刻に露光を開始し第２時刻に露光を終了することにより撮影される流し撮り画像のうち背景部分の画像を推定する。合成部２５は、第１画像または第２画像の主要被写体部分と、背景画像推定部２３により推定された背景部分の画像とを合成して流し撮り画像を作成する。このようにしたので、流し撮りの技法により撮影された画像をよりよく再現した画像を得ることができる。

（２）背景画像推定部２３は、第１画像の背景部分から注目画素を選択し、第１画像の注目画素に関する移動軌跡上の各画素の値に基づき、流し撮り画像における注目画素の値を推定する。このようにしたので、流し撮りの技法により撮影された画像をよりよく再現した画像を得ることができる。

（３）背景画像推定部２３は、第１画像を撮影したときの露光時間に基づいて、第１画像の移動軌跡上の各画素の値のうち、流し撮り画像における注目画素の値に寄与する量を演算する。このようにしたので、流し撮りの技法により撮影された画像をよりよく再現した画像を得ることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上式（２）の演算に利用する信号量は、第１撮影画像ではなく第２撮影画像から得てもよい。例えば図４において、被写体のＦ点からの光束の光量は、第１撮影画像において、撮像画素Ｘ６の画素値（すなわち信号ｓ１６）から得ることもできるし、第２撮影画像において、撮像画素Ｘ１０の画素値（すなわち信号ｓ４１）から得ることもできる。

特に、撮影画面の端部の画素については、一方の撮影画像に存在する画素が他方の撮影画像には存在しないということがある。この場合には、当該画素が存在する方の撮影画像から得られた画素値を演算に利用することが望ましい。

（変形例２）
上述した実施形態では、背景特定部２１による背景部分の特定、動きベクトル検出部２２による動きベクトルの検出、背景画像推定部２３による背景画像の推定、主要被写体画像抽出部２４による主要被写体画像の抽出、合成部２５による流し撮り画像の合成、の全てを１画素単位で行っていた。本発明はこのような実施形態に限定されない。例えば、複数の画素から成るブロック単位でこれらの一部もしくは全ての処理を行ってもよい。

また、背景部分の全領域について背景画像推定部２３による背景画像の推定処理を行う必要はない。例えば、動きベクトルから動きが全くない（またはほとんどない）ことが判明した画素（ブロック）については、単純に第１撮影画像または第２撮影画像から当該画素（ブロック）を抽出して、流し撮り画像における当該画素（ブロック）とすることができる。

更に、背景部分のうち、主要被写体部分の輪郭近傍の画素については、他の部分とは異なる処理を行ってもよい。例えば、そのような部分に対して、動きベクトルに応じた平滑化処理を行うことにより、主要被写体部分と背景部分とをより自然な形で合成することができる。

（変形例３）
図３（ｃ）では、１回目の撮影と、２回目の撮影と、３回目の撮影との間に、撮影を行っていない時間Ｔｂ、Ｔｅが存在していたが、この期間に撮影を行ってもよい。つまり、時刻ｔ１から絶え間なく連続して撮影を行い、それら多数の撮影画像から流し撮り画像を作成してもよい。このとき、流し撮り画像の背景画像は、それら多数の撮影画像すべてを用いて推定してもよいし、それら多数の撮影画像のうち任意の撮影画像の間（例えば２回目の撮影画像と５回目の撮影画像の間など）で推定してもよい。主要被写体部分についても同様に、任意の撮影画像から抽出してよい。換言すると、任意の撮影画像の組み合わせで流し撮り画像を合成することができる。

また、多数の撮影画像のうち、どの撮影画像間で流し撮り画像を合成するかを決定する際に、主要被写体部分の位置に基づいて流し撮り画像の合成に用いる撮影画像を決定してもよい。例えば全５回の撮影を行い、第１〜第５の撮影画像を得たと仮定して、これら５つの撮影画像から任意の２つの撮影画像を選択してその２つの撮影画像に基づく流し撮り画像を作成する場合を考える。このとき、５つの撮影画像のうち、主要被写体部分が画面中央に最も近いのが、第２の撮影画像と第４の撮影画像であったとすれば、これら２つを選択して流し撮り画像を合成する。このとき、主要被写体部分はいずれか一方から抽出すればよい。あるいは、第２の撮影画像または第４の撮影画像の一方を選択し、もう１つの撮影画像は残りの撮影画像から任意に選択して流し撮り画像を合成してもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…デジタルカメラ、１０…撮像素子、１１…制御部、２１…背景特定部、２２…動きベクトル検出部、２３…背景画像推定部、２４…主要被写体画像抽出部、２５…合成部

Claims (6)

1. 第１時刻に撮影され主要被写体部分を含む第１画像と、前記第１時刻より後の第２時刻に撮影され前記主要被写体部分を含み前記第１画像とは異なる範囲を撮影した第２画像と、から前記主要被写体部分以外の部分である背景部分を特定する背景特定手段と、
   前記第１画像と前記第２画像とについて前記背景特定手段により特定された背景部分に基づき、前記第１時刻から前記第２時刻にかけての背景部分の移動軌跡を推定する移動推定手段と、
   前記移動推定手段により推定された前記移動軌跡に基づき、前記第１時刻に露光を開始し前記第２時刻に露光を終了することにより撮影される流し撮り画像のうち背景部分の画像を推定する背景画像推定手段と、
   前記第１画像または前記第２画像の前記主要被写体部分と、前記背景画像推定手段により推定された背景部分の画像とを合成して流し撮り画像を作成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記背景画像推定手段は、前記第１画像の背景部分から注目画素を選択し、前記第１画像の前記注目画素に関する前記移動軌跡上の各画素の値に基づき、流し撮り画像における注目画素の値を推定することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記背景画像推定手段は、前記第１画像を撮影したときの露光時間に基づいて、前記第１画像の前記移動軌跡上の各画素の値のうち、流し撮り画像における前記注目画素の値に寄与する量を演算することを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   前記移動推定手段は、前記第１画像と前記第２画像との動きベクトルを演算することにより、前記移動軌跡を推定することを特徴とする画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置を備えることを特徴とするカメラ。
6. 第１時刻に撮影され主要被写体部分を含む第１画像と、前記第１時刻より後の第２時刻に撮影され前記主要被写体部分を含み前記第１画像とは異なる範囲を撮影した第２画像と、から前記主要被写体部分以外の部分である背景部分を特定する背景特定ステップと、
   前記第１画像と前記第２画像とについて前記背景特定ステップにより特定された背景部分に基づき、前記第１時刻から前記第２時刻にかけての背景部分の移動軌跡を推定する移動推定ステップと、
   前記移動推定ステップにより推定された前記移動軌跡に基づき、前記第１時刻に露光を開始し前記第２時刻に露光を終了することにより撮影される流し撮り画像のうち背景部分の画像を推定する背景画像推定ステップと、
   前記第１画像または前記第２画像の前記主要被写体部分と、前記背景画像推定ステップにより推定された背景部分の画像とを合成して流し撮り画像を作成する合成ステップと、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images