JP2011041041A - 撮像装置、撮像方法及びプログラム - Google Patents

撮像装置、撮像方法及びプログラム Download PDF

Info

Publication number
JP2011041041A
JP2011041041A JP2009187084A JP2009187084A JP2011041041A JP 2011041041 A JP2011041041 A JP 2011041041A JP 2009187084 A JP2009187084 A JP 2009187084A JP 2009187084 A JP2009187084 A JP 2009187084A JP 2011041041 A JP2011041041 A JP 2011041041A
Authority
JP
Japan
Prior art keywords
image
background
subject
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009187084A
Other languages
English (en)
Inventor
Tetsuji Makino
哲司 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009187084A priority Critical patent/JP2011041041A/ja
Publication of JP2011041041A publication Critical patent/JP2011041041A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】被写体画像との合成用の背景画像の生成を適正に行う。
【解決手段】撮像装置100であって、背景内に動く被写体が存在する背景生成用画像を連続して撮像する電子撮像部2及び撮像制御部3と、電子撮像部により撮像される画角内で被写体画像の位置を指定する選択決定ボタン12bと、電子撮像部により連続して撮像された複数の背景生成用画像のうち、所定枚数の背景生成用画像に基づいて、背景内から動く被写体を消去して被写体画像との合成用の背景画像を生成する背景生成部8dと、を備えている。
【選択図】図1

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。
従来、連写撮影された画像から動いている被写体を消去して動かない被写体からなる画像を生成する技術が知られている(例えば、特許文献1参照)。
特開2008−278386号公報
ところで、上記特許文献1の場合、雑踏の中でも止まっている背景のみの画像を生成することできるが、被写体として人を撮影する場合、その人が連写中に動いてしまうと、動いた部分だけが消えてしまうといった問題があった。
そこで、本発明の課題は、被写体画像との合成用の背景画像の生成を適正に行うことができる撮像装置、撮像方法及びプログラムを提供することである。
上記課題を解決するため、請求項1に記載の発明の撮像装置は、
背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段と、この撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定手段と、前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成手段と、を備えることを特徴としている。
請求項2に記載の発明は、請求項1に記載の撮像装置において、
前記背景生成手段により生成された前記背景画像と前記被写体画像とを合成する合成手段を更に備えることを特徴としている。
請求項3に記載の発明は、請求項2に記載の撮像装置において、
前記合成手段は、前記位置指定手段により指定された位置を基準として、前記背景画像と前記被写体画像を合成することを特徴としている。
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の撮像装置において、
前記被写体画像の寸法を指定する寸法指定手段を更に備えることを特徴としている。
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の撮像装置において、
前記撮像手段により撮像された被写体存在画像から被写体が含まれる領域を抽出して前記被写体画像を生成する被写体生成手段を更に備えることを特徴としている。
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の撮像装置において、
前記背景生成手段は、前記撮像手段により撮像された三以上の奇数枚の背景用画像に基づいて、前記背景画像を生成することを特徴としている。
請求項7に記載の発明は、請求項6に記載の撮像装置において、
前記背景生成手段は、前記三以上の奇数枚の背景用画像における各同一座標の複数の画素値の中央値若しくは平均値に基づいて、前記背景画像を生成することを特徴としている。
請求項8に記載の発明は、請求項1〜7の何れか一項に記載の撮像装置において、
前記撮像手段による背景用画像の撮像指示を入力する入力手段を更に備え、前記撮像手段は、前記入力手段により撮像指示が入力されている間、前記三以上の奇数枚の背景用画像に続けて新たに所定の偶数枚の背景用画像を順次撮像し、前記背景生成手段は、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、当該所定の偶数枚の背景用画像と前記三以上の奇数枚の背景用画像とに基づいて、前記背景画像を順次生成することを特徴としている。
請求項9に記載の発明は、請求項8に記載の撮像装置において、
前記背景生成手段は、前記三以上の奇数枚の背景用画像に基づいて背景画像を生成し、且つ、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、撮像済みの全ての背景用画像に基づいて、新たな背景画像を順次生成することを特徴としている。
請求項10に記載の発明は、請求項8に記載の撮像装置において、
前記背景生成手段は、前記三以上の奇数枚の背景用画像に基づいて背景画像を生成し、且つ、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、当該所定の偶数枚の背景用画像と生成済みの直近の背景画像とに基づいて、新たな背景画像を順次生成することを特徴としている。
請求項11に記載の発明は、請求項1〜10の何れか一項に記載の撮像装置において、
前記背景生成手段は、前記背景画像の生成に係る前記背景用画像の全枚数が所定枚数に達したか否かを判定し、前記所定枚数に達した後は、全体として奇数枚若しくは偶数枚の前記背景用画像に基づいて、前記背景画像を生成することを特徴としている。
請求項12に記載の発明の撮像方法は、
背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段を備える撮像装置に、前記撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定ステップと、前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成ステップと、を実行させることを特徴としている。
請求項13に記載の発明のプログラムは、
背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段を備える撮像装置のコンピュータを、前記撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定手段、前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成手段、として機能させることを特徴としている。
本発明によれば、背景内から動く被写体が消去された背景画像の生成を適正に行うことができる。
本発明を適用した実施形態1の撮像装置の概略構成を示すブロック図である。 図1の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図2の被写体切り抜き処理の続きを示すフローチャートである。 図2の被写体切り抜き処理における領域検出処理に係る動作の一例を示すフローチャートである。 図2の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 図2の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 図1の撮像装置による第1合成画像生成処理に係る動作の一例を示すフローチャートである。 図7の第1合成画像生成処理における第1背景生成処理に係る動作の一例を示すフローチャートである。 図7の第1合成画像生成処理を説明するための画像の一例を模式的に示す図である。 本発明を適用した実施形態2の撮像装置による第2合成画像生成処理に係る動作の一例を示すフローチャートである。 図10の第2合成画像生成処理における第2背景生成処理に係る動作の一例を示すフローチャートである。 変形例1の第2背景生成処理に係る動作の一例を示すフローチャートである。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
[実施形態1]
実施形態1の撮像装置100は、背景内に動く被写体が存在する背景生成用画像P5(図9(a)参照)の撮像の際に、背景画像P6(図9(c)参照)と合成される被写体画像A(図9(a)参照)の合成位置を画角内で指定し、連続して撮像された三以上の固定奇数枚の背景生成用画像P5に基づいて、背景内から動く被写体を消去して背景画像P6を生成する。
図1は、本発明を適用した実施形態1の撮像装置100の概略構成を示すブロック図である。
図1に示すように、撮像装置100は、レンズ部1と、電子撮像部2と、撮像制御部3と、画像データ生成部4と、画像メモリ5と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、記録媒体9と、表示制御部10と、表示部11と、操作入力部12と、CPU13とを備えている。
また、撮像制御部3と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、CPU13は、例えば、カスタムLSI1Aとして設計されている。
レンズ部1は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部1は、図示は省略するが、被写体Sの撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
電子撮像部2は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部1の各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部3は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部3は、タイミング発生器、ドライバにより電子撮像部2を走査駆動して、所定周期毎に光学像を電子撮像部2により二次元の画像信号に変換させ、当該電子撮像部2の撮像領域から1画面分ずつ画像フレームを読み出して画像データ生成部4に出力させる。
また、撮影時にライブビュー画像表示を行う場合には、撮像制御部3は、電子撮像部2により被写体Sを所定の撮像フレームレートで連続して撮像させて、各画像フレームを電子撮像部2から画像データ生成部4に逐次出力させる。
このように構成されたレンズ部1、電子撮像部2及び撮像制御部3は、第1合成画像生成処理(後述)にて、背景内に動く被写体が存在する背景生成用画像P5を所定のフレームレートで連続して撮像する撮像手段を構成している。
また、撮像制御部3は、レンズ部1及び電子撮像部2による撮像条件の調整制御を行う。例えば、撮像制御部3は、レンズ部1を光軸方向に移動させて合焦条件を調整するAF(自動合焦処理)や、露出条件(シャッター速度、絞り、増幅率等)を調整するAE(自動露出処理)や、ホワイトバランスを調整するAWB(自動ホワイトバランス)等を行う。
画像データ生成部4は、電子撮像部2から転送された画像フレームのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用される画像メモリ5にDMA転送される。
なお、A/D変換後のデジタルデータを現像するデモザイク部(図示略)が、カスタムLSI1Aに実装されていても良い。
画像メモリ5は、例えば、DRAM等により構成され、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、CPU13等によって処理されるデータ等を一時記憶する。
特徴量演算部6は、被写体非存在画像P2や背景生成用画像P5の画像フレームから特徴点を抽出する特徴抽出処理を行う。
具体的には、特徴量演算部6は、被写体非存在画像P2や背景生成用画像P5のYUVデータに基づいて、高周波成分の多い特徴の高いブロック領域(例えば、16×16画素の正方形)を特徴点として抽出する。
ブロックマッチング部7は、被写体非存在画像P2と被写体存在画像P1との位置合わせのためのブロックマッチング処理を行う。
ブロックマッチング部7は、例えば、被写体非存在画像P2を基準画像とするとともに、被写体存在画像P1を対象画像として位置合わせを行う。具体的には、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレート(例えば、16×16画素の正方形)が被写体存在画像P1内のどこに対応するか、つまり、被写体存在画像P1内にてテンプレートの画素値が最適にマッチする位置(対応領域)を探索する。そして、画素値の相違度の評価値(例えば、差分二乗和(SSD)や差分絶対値和(SAD)等)が最も良かった被写体非存在画像P2と被写体存在画像P1間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
また、ブロックマッチング部7は、背景生成用画像P5どうしの位置合わせのためのブロックマッチング処理を行う。即ち、ブロックマッチング部7は、連写された複数の背景生成用画像P5のうち、何れか一の背景生成用画像P5を基準画像とするとともに、当該基準画像とされた背景生成用画像P5と異なる背景生成用画像P5を対象画像として位置合わせを行う。
なお、このブロックマッチング処理の具体的な内容は、上記と同様であり、その詳細な説明は省略する。
また、画像処理部8は、被写体存在画像P1と被写体非存在画像P2との位置合わせを行う位置合わせ部8aを具備している。
位置合わせ部8aは、被写体非存在画像P2から抽出した特徴点に基づいて、被写体存在画像P1と被写体非存在画像P2との位置合わせを行う。即ち、位置合わせ部8aは、被写体非存在画像P2から抽出した特徴点に基づいて、被写体非存在画像P2に対する被写体存在画像P1の各画素の座標変換式(射影変換行列)を算出し、当該座標変換式に従って被写体存在画像P1を座標変換して被写体非存在画像P2と位置合わせを行う。
具体的には、位置合わせ部8aは、ブロックマッチング部7により算出された複数のテンプレートの動きベクトルを多数決により演算して、統計的に所定%(例えば、50%)以上となると判断された動きベクトルを全体の動きベクトルとして、当該動きベクトルに係る特徴点対応を用いて被写体存在画像P1の射影変換行列を算出する。そして、位置合わせ部8aは、射影変換行列に従って被写体存在画像P1を座標変換して被写体非存在画像P2と位置合わせを行う。
また、位置合わせ部8aは、連写された複数の背景生成用画像P5どうしの位置合わせを行う。即ち、位置合わせ部8aは、複数の背景生成用画像P5のうち、何れか一の背景生成用画像P5から抽出した特徴点に基づいて、当該背景生成用画像P5以外の背景生成用画像P5との位置合わせを行う。
なお、この位置合わせの具体的な内容は、上記と同様であり、その詳細な説明は省略する。
また、画像処理部8は、被写体存在画像P1から被写体領域を抽出するためのマスク画像Mを生成するマスク生成部8bを具備している。
マスク生成部8bは、被写体非存在画像P2と被写体存在画像P1との対応する各画素の相違度Dを下記式(1)若しくは(2)に従って算出して相違度マップを生成する。そして、マスク生成部8bは、生成した相違度マップを所定の閾値で二値化(0、255)してマスク画像Mを生成する。
Figure 2011041041
なお、上記式にあっては、被写体非存在画像P2のYUVデータを「Y」、「U」、「V」で表し、被写体存在画像P1のYUVデータを「Yc」、「Uc」、「Vc」で表す。また、Gは、色差信号U、Vのゲインを表している。
また、上記した相違度Dの算出式(1)、(2)は、一例であってこれらに限られるものではない。
また、マスク生成部8bは、細かいノイズを除去するための収縮処理を行って所定値よりも小さい画素集合を除いた後、収縮分を修正するための膨張処理を行い、その後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めも行う。さらに、マスク生成部8bは、領域情報に対して平均化フィルタをかけて領域の縁部に合成階調をつける。
また、画像処理部8は、被写体Sの画像を所定の単一色背景画像P3(図6(b)参照)と合成して被写体切り抜き画像P4(図6(b)参照)の画像データを生成する切抜画像生成部8cを具備している。
切抜画像生成部8cは、マスク生成部8bにより生成されたマスク画像Mを用いて被写体存在画像P1から被写体領域を切り出して、単一色背景画像P3と合成して被写体切り抜き画像P4の画像データを生成する。なお、マスク画像Mの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像P3との境界部分がはっきりしていない自然な感じに合成することができる。
ここで、切抜画像生成部8cは、被写体非存在画像P2と被写体存在画像P1の対応する各画素の差分情報に基づいて、被写体存在画像P1から被写体Sが含まれる領域を抽出して被写体画像Aを生成する被写体生成手段を構成している。
また、画像処理部8は、連写された三以上の固定奇数枚(例えば、5枚)の背景生成用画像P5に基づいて、背景内から動く被写体を消去して背景画像P6を生成する背景生成部8dを具備している。
背景生成部8dは、三以上の奇数枚の背景生成用画像P5における各同一座標の複数の画素値の中央値に基づいて、背景画像P6を生成する。具体的には、背景生成部8dは、先ず、処理対象となる座標(x,y)毎に、三以上の固定奇数枚の背景生成用画像(画像フレーム)P5から同一座標(x,y)の各画素値を取得していき、下記式(3)に従って各画像フレーム毎に格納する。
Figure 2011041041
なお、上記式において、「n」は自然数であり、「f(n,x,y)」はn番目のフレームの画像の座標(x,y)における画素値であり、「table[n]」はフレームnの画素値を格納する配列である。
次に、背景生成部8dは、取得した複数の画像値f(n,x,y)を下記式(4)に従って画素値順に並べ替える。
Figure 2011041041
なお、上記式において、「sort」はtable[n]のソート関数である。
そして、背景生成部8dは、値が複数の画素値の中央となる中央値fb(x,y)を下記式(5)に従って演算して、背景画像P6の当該画素における画素値として特定する。
Figure 2011041041
なお、上記式において、「fb(x,y)」は座標(x,y)における全ての画像フレームの画素値の中央値(=背景座標の画素値)である。
例えば、図9(a)、図9(b)に示すように、被写体画像Aとの合成用の背景画像P6を静止体である「建物」を含む画像とする場合、当該建物の手前側には、複数の通行人が動く被写体として存在している。この場合、連写された三以上の奇数枚の背景生成用画像P5において、静止体(例えば、「建物」)と重なる座標上では、静止体画像の画素値の数は、動く被写体である「通行人」の画像の画素値の数よりも多くなる。そこで、三以上の奇数数の背景生成用画像P5の各座標の画素値f(n,x,y)を昇順(又は、降順)に並べ替えると、並べ替えられた画素値f(n,x,y)の中央値は、静止体画像の画素値となる可能性が高くなる。
背景生成部8dは、これらの処理を全ての座標(x,y)の画素について行うことで、背景内から動く被写体「通行人」が消去された静止体からなる背景画像P6(例えば、「建物」を主要被写体とする画像)を生成する。
なお、背景生成用画像P5の固定枚数は、例えば、人通りや風景や夜景等の撮影環境や、ズーム倍率やぶれ補正の有無等の撮影条件等に応じて適宜任意に変更することができる。
ここで、背景生成部8dは、レンズ部1、電子撮像部2及び撮像制御部3により連続して撮像された複数の背景生成用画像P5のうち、所定枚数の背景生成用画像P5に基づいて、背景内から動く被写体を消去して被写体画像Aとの合成用の背景画像P6を生成する背景生成手段を構成している。
また、画像処理部8は、背景生成部8dにより生成された背景画像P6と被写体切り抜き画像P4の被写体画像Aとを合成する画像合成部8eを具備している。
画像合成部8eは、ユーザによる選択決定ボタン12bの所定操作に基づいて指定された被写体切り抜き画像P4の被写体画像Aの位置を基準として、当該被写体画像Aと背景画像P6とを合成する。具体的には、画像合成部8eは、指定された被写体画像Aの位置に応じてマスク画像Mをずらして配置した後、背景画像P6の各画素のうち、マスク画像Mの画像データの塗りつぶした部分(被写体S以外の斜線部分)で覆われる画素については、何もせずに透過させる一方で、被写体S部分の画素については、被写体切り抜き画像P4の被写体画像Aの対応する画素の画素値で上書きする。
なお、被写体画像Aの合成位置に応じてマスク画像Mをずらして配置した状態で、背景画像P6とマスク画像Mとがずれてしまいマスク画像Mの画像データの塗りつぶした部分(被写体S以外の斜線部分)の範囲外となる領域については、塗りつぶした部分を拡大してマスク画像Mにより被覆されない領域を生じさせないようにする。
ここで、画像合成部8eは、背景生成部8dにより生成された背景画像P6と被写体画像Aとを合成する合成手段を構成している。
記録媒体9は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、画像処理部8のJPEG圧縮部(図示略)により符号化された撮像画像の記録用の画像データを記憶する。
また、記録媒体9は、画像処理部8のマスク生成部8bにより生成されたマスク画像Mと、被写体切り抜き画像P4の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像P4の画像データの拡張子を「.jpe」として保存する。
表示制御部10は、画像メモリ5に一時的に記憶されている表示用画像データを読み出して表示部11に表示させる制御を行う。
具体的には、表示制御部10は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、CPU13の制御下にて画像メモリ5から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部11に出力する。
表示部11は、例えば、液晶表示装置であり、表示制御部10からのビデオ信号に基づいて電子撮像部2により撮像された画像などを表示画面に表示する。具体的には、表示部11は、撮像モードにて、レンズ部1及び電子撮像部2による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
操作入力部12は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部12は、被写体の撮影指示に係るシャッタボタン12a、メニュー画面にて撮像モードや機能等の選択指示に係る選択決定ボタン12b、ズーム量の調整指示に係るズームボタン(図示略)等を備えている。
そして、ユーザにより操作入力部12の所定のボタンが操作されると、当該ボタンに対応する制御指示をCPU13に出力する。CPU13は、制御指示が入力されると、操作されたボタンに応じて各部を制御する処理を行う。
また、選択決定ボタン12bは、ユーザによる所定操作に基づいて画角内で被写体画像Aの合成位置が指定されると、当該合成位置の指定指示をCPU13に出力する。具体的には、背景生成用画像P5のライブビュー画像が表示部11に表示された状態で、ユーザによる選択決定ボタン12bの所定操作に基づいて被写体画像Aの合成位置(例えば、中心座標)が調整されて指定されると、選択決定ボタン12bは、当該被写体画像Aの中心座標を合成位置とする指定指示をCPU13に出力する。
CPU13は、選択決定ボタン12bから出力された合成位置の指定指示の入力に基づいて、被写体画像Aの合成位置を指定する。
ここで、選択決定ボタン12b及びCPU13は、画角内で被写体画像Aの位置を指定する位置指定手段を構成している。
また、選択決定ボタン12bは、寸法指定手段として、ユーザによる所定操作に基づいて被写体画像Aの大きさ(寸法)が指定されると、当該大きさの指定指示をCPU13に出力する。具体的には、背景生成用画像P5のライブビュー画像が表示部11に表示された状態で、ユーザによる選択決定ボタン12bの所定操作に基づいて被写体画像Aの大きさ(例えば、拡大縮小倍率)が調整されて指定されると、選択決定ボタン12bは、当該被写体画像Aの拡大縮小倍率の指定指示をCPU13に出力する。
CPU13は、選択決定ボタン12bから出力された大きさの指定指示の入力に基づいて、被写体画像Aの大きさを指定する。
ここで、選択決定ボタン12b及びCPU13は、被写体画像Aの寸法を指定する寸法指定手段を構成している。
CPU13は、撮像装置100の各部を制御するものである。具体的には、CPU13は、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行うものである。
次に、撮像装置100による被写体切り抜き処理について、図2〜図6を参照して説明する。
図2及び図3は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
被写体切り抜き処理は、ユーザによる選択決定ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に、CPU13によって制御される当該撮像装置100の各部により実行される処理である。
図2に示すように、先ず、表示制御部10は、レンズ部1、電子撮像部2及び撮像制御部3による被写体Sの撮像により順次生成された複数の画像フレームに基づいてライブビュー画像を表示部11の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体撮像指示メッセージ(例えば、「被写体を撮影して下さい」等)を表示部11の表示画面に表示させる(ステップS1;図5(a)参照)。
そして、表示制御部10は、レンズ部1、電子撮像部2及び撮像制御部3による被写体Sの撮像によって順次生成された複数の画像フレームに基づいてライブビュー画像を更新させる制御を行う(ステップS2)。
続けて、CPU13は、ユーザによるシャッタボタン12aの所定操作に基づいて撮像指示が入力されたか否かを判定する(ステップS3)。
ここで、撮像指示が入力されていないと判定されると(ステップS3;NO)、CPU13は、処理をステップS2に移行して、それ以降の処理を実行する。
CPU13は、上記の処理を、ステップS3にて撮像指示が入力されたと判定されるまで(ステップS3;YES)、繰り返す。
そして、ステップS3にて、撮像指示が入力されたと判定されると(ステップS3;YES)、撮像制御部3は、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の条件を調整して、被写体存在画像P1(図5(a)参照)の光学像を電子撮像部2により撮像させる(ステップS4)。画像データ生成部4は、電子撮像部2から転送された被写体存在画像P1の画像フレームのYUVデータを生成して、画像メモリ5に一時記憶する。
また、撮像制御部3は、当該被写体存在画像P1の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
次に、表示制御部10は、レンズ部1、電子撮像部2及び撮像制御部3による被写体Sの撮像により順次生成された複数の画像フレームに基づいてライブビュー画像を表示部11の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P1の半透過の表示態様の画像と被写体非存在画像P2の撮像指示メッセージ(例えば、「背景を撮影してください」等)を表示部11の表示画面に表示させる(ステップS5;図5(b)参照)。
そして、表示制御部10は、レンズ部1、電子撮像部2及び撮像制御部3による被写体Sの撮像によって順次生成された複数の画像フレームに基づいてライブビュー画像を更新させる制御を行う(ステップS6)。
続けて、CPU13は、ユーザによるシャッタボタン12aの所定操作に基づいて撮像指示が入力されたか否かを判定する(ステップS7)。
ここで、撮像指示が入力されていないと判定されると(ステップS7;NO)、CPU13は、処理をステップS6に移行して、それ以降の処理を実行する。
CPU13は、上記の処理を、ステップS7にて撮像指示が入力されたと判定されるまで(ステップS7;YES)、繰り返す。
そして、ユーザは、被写体Sを画角外に移動させるか、或いは被写体Sが移動するのを待った後(図5(b)参照)、ユーザにより被写体非存在画像P2が被写体存在画像P1の半透過の画像と重なるようにカメラ位置が調整されて、ユーザによるシャッタボタン12aの所定操作に基づいて撮像指示が入力されたと判定されると(ステップS7;YES)、撮像制御部3は、被写体非存在画像P2(図5(c)参照)の光学像を被写体存在画像P1の撮像後に固定された条件で電子撮像部2により撮像させる(ステップS8)。画像データ生成部4は、電子撮像部2から転送された被写体非存在画像P2の画像フレームに基づいて、被写体非存在画像P2のYUVデータを生成して、画像メモリ5に一時記憶する。
図3に示すように、CPU13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、被写体非存在画像P2のYUVデータを基準として、被写体存在画像P1のYUVデータと被写体非存在画像P2のYUVデータとを位置合わせする処理を行わせる(ステップS9)。
具体的には、特徴量演算部6は、被写体非存在画像P2のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロック領域の内容をテンプレートとして抽出する。そして、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像P1内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像P2と被写体存在画像P1間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部8の位置合わせ部8aは、ブロックマッチング部7により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像P1の射影変換行列を算出した後、当該射影変換行例に基づいて被写体存在画像P1を射影変換することで、被写体存在画像P1のYUVデータと被写体非存在画像P2のYUVデータとを位置合わせする処理を行わせる。
次に、画像処理部8は、位置合わせが成功したか否かを判定する(ステップS10)。即ち、画像処理部8は、ステップS9にて、複数のテンプレートの動きベクトルから全体の動きベクトルを統計的に算出でき、当該動きベクトルに係る特徴点対応を用いて被写体存在画像P1の射影変換行列を算出することができたか否かを判定する。
ここで、位置合わせが成功したと判定されると(ステップS10;YES)、画像処理部8は、被写体存在画像P1から被写体Sが含まれる被写体領域を検出する領域検出処理を行う(ステップS11)。
ここで、領域検出処理について図4を参照して詳細に説明する。
図4は、領域検出処理に係る動作の一例を示すフローチャートである。
図4に示すように、画像処理部8のマスク生成部8bは、被写体非存在画像P2と被写体存在画像P1との対応する各画素の相違度Dを下記式(1)若しくは(2)に従って算出し、算出された相違度Dに基づいて相違度マップを生成する(ステップS21)。
Figure 2011041041
次に、マスク生成部8bは、生成した相違度マップを所定の閾値で二値化してマスク画像Mを生成する(ステップS22)。そして、マスク生成部8bは、例えば、背景(二値化;0)の領域が著しく小さいか否か等を判定することで、二値化が成功したか否かを判断する(ステップS23)。
ここで、二値化に成功したと判断されると(ステップS23;YES)、マスク生成部8bは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像M(図6(a)参照)の画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後(ステップS24)、収縮分を修正するための膨張処理を行う(ステップS25)。
続けて、被写体Sに背景色と似たような色がある場合、マスク画像Mの被写体領域内が欠損するため、マスク生成部8bは、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理により、マスク画像Mの画像データの有効領域の構成画素数における所定の比率以下の領域を有効領域に置き換えることで穴埋めを行う(ステップS26)。
そして、マスク生成部8bは、マスク画像Mの画像データに対して平均化フィルタをかけて、被写体領域の縁部に合成階調をつけて(ステップS27)、領域検出成功とする(ステップS28)。
一方、ステップS23にて、二値化に成功しなかったと判断されると(ステップS23;NO)、例えば、背景(二値化;0)の領域が著しく小さい場合などには、マスク生成部8bは、二値化に失敗したとみなして領域検出失敗とする(ステップS29)。
これにより、領域検出処理を終了する。
図3に示すように、次に、マスク生成部8bは、被写体領域の検出が成功したか否かを判定する(ステップS12)。
ここで、被写体領域の検出が成功したと判定されると(ステップS12;YES)、切抜画像生成部8cは、αブレンドを利用して、領域検出処理にて生成されたマスク画像Mを用いて被写体存在画像P1から被写体領域を切り出して、所定の単一色背景画像P3と合成して被写体切り抜き画像P4の画像データを生成する(ステップS13)。
具体的には、切抜画像生成部8cは、被写体存在画像P1、単一色背景画像P3及びマスク画像Mの画像データを読み出して画像メモリ5に展開した後、被写体存在画像P1のうち、マスク画像Mの画像データの塗りつぶした部分(被写体S以外の斜線部分)で覆われる画素については、単一色背景画像P3の所定の単一色で塗りつぶす一方で、被写体S部分の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、マスク画像Mの縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色背景画像P3との境界部分がはっきりしていない自然な感じとなる。
その後、表示制御部10は、切抜画像生成部8cにより生成された被写体切り抜き画像P4の画像データに基づいて、所定の単一色背景画像P3に被写体Sが重畳された被写体切り抜き画像P4を表示部11の表示画面に表示させる(図6(b)参照)。
次に、CPU13は、記録媒体9の所定の記憶領域に、マスク生成部8bにより生成されたマスク画像Mの画像データと被写体切り抜き画像P4の画像データを対応付けて、当該被写体切り抜き画像P4の画像データの拡張子を「.jpe」として一ファイルで保存させる(ステップS14)。
これにより、被写体切り抜き処理を終了する。
一方、ステップS12にて、被写体領域の検出が成功しなかったと判定されると(ステップS12;NO)、表示制御部10は、被写体Sの切り抜きの失敗に係る所定のメッセージ(例えば、「被写体の切り抜きに失敗しました」等)を表示部11の表示画面に表示させて(ステップS15)、被写体切り抜き処理を終了する。
また、ステップS10にて、背景生成が成功しなかったと判定された場合にも(ステップS10;NO)、CPU13は、処理をステップS15に移行させて、表示制御部10は、被写体Sの切り抜きの失敗に係る所定のメッセージを表示部11の表示画面に表示させた後(ステップS15)、被写体切り抜き処理を終了する。
次に、撮像装置100による画像処理方法に係る第1合成画像生成処理について、図7〜図9を参照して説明する。
図7は、第1合成画像生成処理に係る動作の一例を示すフローチャートである。
第1合成画像生成処理は、ユーザによる選択決定ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像合成モードが選択指示された場合に実行される処理である。
図7に示すように、ユーザによる操作入力部12の所定操作に基づいて、記録媒体9に記録されている複数の画像の中で所望の被写体切り抜き画像P4(図6(b)参照)が選択して指定されると、画像処理部8は、指定された被写体切り抜き画像P4の画像データを読み出して画像メモリ5に展開する(ステップS41)。
次に、表示制御部10は、レンズ部1、電子撮像部2及び撮像制御部3による被写体の撮像により順次生成された複数の画像フレームに基づいてライブビュー画像を表示部11の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体切り抜き画像P4の被写体画像Aの半透過の表示態様の画像を表示部11の表示画面に表示させる(ステップS42;図9(a)参照)。
そして、表示制御部10は、レンズ部1、電子撮像部2及び撮像制御部3による被写体の撮像によって順次生成された複数の画像フレームに基づいてライブビュー画像を更新させる制御を行う(ステップS43)。
続けて、ライブビュー画像が表示部11に表示された状態で、ユーザによる選択決定ボタン12bの所定操作に基づいて、被写体画像Aの合成位置や拡大縮小倍率(大きさ)が調整され、CPU13は、調整された被写体画像Aの合成位置や拡大縮小倍率を指定する(ステップS44;図9(a)参照)。即ち、図9(a)、図9(b)に示すように、主要被写体が「建物」である画像を背景画像P6として被写体画像Aを合成する場合に、当該被写体画像Aの半透過の表示態様の画像の合成位置や拡大縮小倍率等が指定される。
その後、CPU13は、ユーザによるシャッタボタン12aの所定操作に基づいて撮像指示が入力されたか否かを判定する(ステップS45)。
ここで、撮像指示が入力されていないと判定されると(ステップS45;NO)、CPU13は、処理をステップS43に移行して、それ以降の処理を実行する。
CPU13は、上記の処理を、ステップS45にて撮像指示が入力されたと判定されるまで(ステップS45;YES)、繰り返す。
そして、ユーザによるシャッタボタン12aの所定操作に基づいて撮像指示が入力されたと判定されると(ステップS45;YES)、撮像制御部3は、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の条件を調整して、背景生成用画像P5(図9(b)参照)の光学像を電子撮像部2により所定の撮像フレームレートで固定奇数枚連続して撮像させる(ステップS46)。画像データ生成部4は、電子撮像部2から順次転送された背景生成用画像P5の画像フレームのYUVデータを生成する(ステップS46)。これにより、例えば、図9(b)に示すように、「建物」の手前側で複数の「通行人」が動く被写体として存在している固定奇数枚の背景生成用画像P5の画像フレームが生成される。
次に、CPU13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、固定奇数枚の背景生成用画像P5の画像フレームに基づいて、背景内から動く被写体(例えば、「通行人」)を消去して背景画像P6を生成する第1背景生成処理を行わせる(ステップS47)。
ここで、第1背景生成処理について図8を参照して詳細に説明する。
図8は、第1背景生成処理に係る動作の一例を示すフローチャートである。
図8に示すように、先ず、CPU13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、固定奇数枚の背景生成用画像P5のうち、何れか一の背景生成用画像(基準画像)P5から抽出した特徴点に基づいて、当該背景生成用画像P5以外の背景生成用画像(対象画像)P5と位置合わせする処理を行わせる(ステップS61)。
具体的には、特徴量演算部6は、何れか一の背景生成用画像(例えば、最初に連写撮影された背景生成用画像)P5のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロック領域の内容をテンプレートとして抽出する。そして、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を対象画像である背景生成用画像P5内にて探索して、画素値の相違度の評価値が最も良かった各対象画像(背景生成用画像P5)に対する最適なオフセットを当該テンプレートの動きベクトルとして算出する。
そして、画像処理部8の位置合わせ部8aは、ブロックマッチング部7により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて各対象画像(背景生成用画像P5)の射影変換行列を算出した後、当該射影変換行例に基づいて各対象画像(背景生成用画像P5)を射影変換することで、基準画像(背景生成用画像P5)のYUVデータと各対象画像(背景生成用画像P5)のYUVデータとを位置合わせする処理を行わせる。
次に、画像処理部8の背景生成部8dは、処理対象座標(x,y)を初期化し(x=0,Y=0)た後(ステップS62)、固定奇数枚の背景生成用画像P5の中で処理対象の画像フレームを指定する(ステップS63)。具体的には、背景生成部8dは、「n=1」として、固定奇数枚の背景生成用画像P5の中で最初に連写撮影された背景生成用画像P5を処理対象の画像フレームとして指定する。
次に、背景生成部8dは、処理対象の画像フレーム(背景生成用画像P5)にて、処理対象となる座標(x,y)の画素値を取得して、下記式(3)に従って各画像フレーム毎に格納する(ステップS64)。
Figure 2011041041
続けて、背景生成部8dは、固定奇数枚の全ての背景生成用画像P5を処理したか否かを「n=Page」であるか否かに応じて判定する(ステップS65)。
ここで、「n=Page」でないと判定されると(ステップS65;NO)、背景生成部8dは、「n=n+1」として、固定奇数枚の背景生成用画像P5の中で、次に連写撮影された背景生成用画像P5を処理対象の画像フレームとして指定する(ステップS66)。その後、背景生成部8dは、処理をステップS64に移行して、それ以降の処理を実行する。
背景生成部8dは、上記の処理を、ステップS65にて「n=Page」であると判定されるまで、即ち、固定奇数枚の全ての背景生成用画像P5を処理したと判定されるまで(ステップS65;YES)、繰り返す。
そして、固定奇数枚の全ての背景生成用画像P5にて、処理対象となる座標(x,y)の画素値が取得されて、ステップS65にて「n=Page」であると判定されると(ステップS65;YES)、背景生成部8dは、固定奇数枚の全ての背景生成用画像P5から取得した処理対象座標の複数の画像値f(n,x,y)を下記式(4)に従って画素値順に並べ替えた後、値が複数の画素値の中央となる中央値fb(x,y)を下記式(5)に従って演算して、合成される背景画像P6の当該画素における画素値として特定して登録する(ステップS67)。
Figure 2011041041
Figure 2011041041
次に、背景生成部8dは、背景生成用画像P5における全ての座標の画素について処理したか否かを判定する(ステップS68)。ここで、全ての座標の画素について処理していないと判定されると(ステップS68;NO)、背景生成部8dは、処理対象として次の座標を指定した後(ステップS69)、処理をステップS63に移行して、それ以降の処理を実行する。
上記の処理を、ステップS68にて全ての座標の画素について処理したと判定されるまで(ステップS68;YES)、繰り返すことで、背景生成部8dは、全ての座標の画素値を取得して、これらの画素値からなる背景画像P6の画像データを生成する。例えば、図9(c)に示すように、主要被写体としての「建物」を含む背景内から動く被写体である「通行人」が消去された背景画像P6を生成する。
これにより、第1背景生成処理を終了する。
図7に示すように、次に、表示制御部10は、第1背景生成処理にて生成された背景画像P6の画像データに基づいて、背景画像P6を表示部11の表示画面に表示させる(ステップS48)。
その後、画像処理部8の画像合成部8eは、背景画像P6と被写体切り抜き画像P4の被写体画像Aとを合成して被写体合成画像P7を生成する画像合成処理を行う(ステップS49)。
具体的には、画像合成部8eは、背景画像P6、被写体切り抜き画像P4及びマスク画像Mの画像データを読み出して画像メモリ5に展開する。そして、画像合成部8eは、ユーザにより指定された被写体画像Aの位置に応じてマスク画像Mをずらして配置した後、背景画像P6の各画素のうち、マスク画像Mの画像データの塗りつぶした部分(被写体S以外の斜線部分)で覆われる画素については、何もせずに透過させる一方で、被写体S部分の画素については、被写体切り抜き画像P4の被写体画像Aの対応する画素の画素値で上書きする。なお、被写体画像Aの合成位置に応じてマスク画像Mをずらして配置した状態で、背景画像P6とマスク画像Mとがずれてしまいマスク画像Mの画像データの塗りつぶした部分(被写体S以外の斜線部分)の範囲外となる領域については、塗りつぶした部分を拡大してマスク画像Mにより被覆されない領域を生じさせないようにする。また、マスク画像Mの縁部分には、合成階調がつけられているため、合成される被写体画像Aと背景画像P6との境界部分がはっきりしていない自然な感じとなる。
その後、表示制御部10は、画像合成部8eにより生成された被写体合成画像P7の画像データに基づいて、動く被写体が消去された背景画像P6に被写体Sが重畳された被写体合成画像P7を表示部11の表示画面に表示させる(図9(c)参照)。
これにより、第1合成画像生成処理を終了する。
以上のように、実施形態1の撮像装置100によれば、背景内に動く被写体が存在する背景生成用画像P5の撮像の際に、被写体切り抜き処理にて被写体存在画像P1から抽出された被写体切り抜き画像P4の被写体画像Aの位置を画角内で指定するので、背景生成用画像P5及び当該背景生成用画像P5に基づいて生成される背景画像P6の構図の決定を被写体画像Aの位置を基準として容易に行うことができる。
そして、連写された三以上の固定奇数枚の背景生成用画像P5に基づいて、当該背景生成用画像P5の背景内から動く被写体を消去して背景画像P6を生成する。具体的には、固定奇数枚の背景生成用画像P5における各同一座標の複数の画素値の中央値を、背景画像P6の当該座標の画素における画素値とすることにより、静止体を含む背景内から動く被写体が消去された背景画像P6を生成することができる。
従って、被写体画像Aとの合成用の、背景内から動く被写体が消去された背景画像P6の生成を適正に行うことができる。
また、生成された背景画像P6と被写体切り抜き画像P4の被写体画像Aとを合成して被写体合成画像P7を生成することができる。即ち、被写体画像Aを背景画像P6とは別に作成しておくことで、従来のように、連写撮影中に動く部分全てが消去されてしまうといったことがなくなる。さらに、被写体切り抜き画像P4として動画像を生成しても良く、これにより、不必要な動く被写体が消去された背景画像P6内で被写体S(被写体画像A)が動くような被写体合成画像の生成も容易に行うことができる。
また、背景生成用画像P5の連写の際に画角内で指定された被写体画像Aの位置を基準として、背景画像P6と被写体切り抜き画像P4の被写体画像Aとを合成するので、静止体を含む背景内から動く被写体が消去された背景画像P6に所望の被写体画像Aが所望の位置に重畳された被写体合成画像P7を適正に生成することができる。
さらに、背景画像P6に合成される被写体切り抜き画像P4の被写体画像Aの寸法を指定することで、背景画像P6の構図の決定を適正に行うことができるだけでなく、背景画像P6に所望の大きさの被写体画像Aが重畳された被写体合成画像P7を適正に生成することができる。
[実施形態2]
以下に、実施形態2の撮像装置について、図面を参照して説明する。
実施形態2の撮像装置は、シャッタボタン12aが操作されている間、背景生成用画像P5の撮像を継続して行い、撮像済みの全ての背景生成用画像P5に基づいて背景内から動く被写体を消去して背景画像P6を生成する。
なお、実施形態2の撮像装置は、以下に説明する以外の点で上記実施形態1の撮像装置100と略同様の構成をなし、その説明は省略する。
背景生成部8dは、三以上の奇数枚(例えば、五枚)の背景生成用画像P5の撮像に続けて所定の偶数枚(例えば、二枚)の背景生成用画像P5が新たに撮像される毎に、撮像済みの全ての背景生成用画像P5に基づいて背景画像P6を生成する。具体的には、背景生成部8dは、三以上の奇数枚の背景生成用画像P5に基づいて背景画像P6を生成し、且つ、所定の偶数枚の背景生成用画像P5が新たに撮像される毎に、撮像済みの全ての背景生成用画像P5に基づいて新たな背景画像P6を順次生成していく。
そして、ユーザによるシャッタボタン12aの押し込み操作が開放(解除)されて、CPU13から撮像制御部3に対する撮像指示の入力が終了すると、背景生成部8dによる背景画像P6の生成を終了する。
このように、背景生成部8dは、所定の偶数枚の背景生成用画像P5が新たに撮像される毎に、当該所定の偶数枚の背景生成用画像P5と三以上の奇数枚の背景生成用画像P5とに基づいて、背景画像P6を順次生成する。
また、シャッタボタン12aは、所定方向に押し込み操作可能に構成され、ユーザにより押し込み操作されている間、当該操作に対応する操作信号をCPU13に出力する。
CPU13は、シャッタボタン12aから出力された操作信号の入力に基づいて、撮像制御部3にレンズ部1及び電子撮像部2による撮像指示を出力する。
撮像制御部3は、CPU13から出力された撮像指示が入力されている間、レンズ部1を通過した光学像(例えば、背景生成用画像P5の光学像)を電子撮像部2により所定の撮像フレームレートで順次撮像させる。
ここで、シャッタボタン12a及びCPU13は、レンズ部1、電子撮像部2及び撮像制御部3による背景生成用画像P5の撮像指示を入力する入力手段を構成している。
次に、撮像装置による第2合成画像生成処理について、図10及び図11を参照して説明する。
図10は、第2合成画像生成処理に係る動作の一例を示すフローチャートである。
なお、シャッタボタン12aが押し込み操作されている間に行われる処理以外の処理は、第1合成画像生成処理と略同様であり、その詳細な説明を省略する。
図10に示すように、第1合成画像生成処理と同様に、CPU13は、ステップS41〜S45の各処理を行う。即ち、ユーザによる操作入力部12の所定操作に基づいて、所望の被写体切り抜き画像P4(図6(b)参照)が選択して指定された後、画像処理部8は、指定された被写体切り抜き画像P4の画像データを読み出す(ステップS41)。次に、表示制御部10は、ライブビュー画像を表示部11の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体切り抜き画像P4の被写体画像Aの半透過の表示態様の画像を表示部11の表示画面に表示させる(ステップS42;図9(a)参照)。
続けて、表示制御部10は、ライブビュー画像を更新させる制御を行って(ステップS43)、ライブビュー画像が表示部11に表示された状態で、CPU13は、被写体画像Aの合成位置や拡大縮小倍率(大きさ)を指定する(ステップS44;図9(a)参照)。
その後、CPU13は、ユーザによるシャッタボタン12aの押し込み操作に基づいて撮像指示が入力されたか否かを判定する処理を行い(ステップS45)、撮像指示が入力されたと判定されると(ステップS45;YES)、撮像制御部3は、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の条件を調整して、背景生成用画像P5(図9(b)参照)の光学像を電子撮像部2により所定の撮像フレームレートで3枚連続して撮像させる(ステップS201)。画像データ生成部4は、電子撮像部2から順次転送された3枚の背景生成用画像P5の画像フレームのYUVデータを生成する。また、撮像制御部3は、当該背景生成用画像P5の撮像の際の撮像フレームレートや合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
続けて、撮像制御部3は、背景生成用画像P5(図9(b)参照)の光学像を3枚の背景生成用画像P5の撮像後に固定された条件で電子撮像部2により2枚連続して撮像させる(ステップS202)。画像データ生成部4は、電子撮像部2から順次転送された2枚の背景生成用画像P5の画像フレームのYUVデータを生成する。
次に、CPU13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、撮像済みの全ての背景生成用画像P5の画像フレームに基づいて、背景内から動く被写体(例えば、「通行人」)を消去して背景画像P6を生成する第2背景生成処理を行わせる(ステップS203)。
ここで、第2背景生成処理について図11を参照して詳細に説明する。
図11は、第2背景生成処理に係る動作の一例を示すフローチャートである。
なお、背景生成用画像P5が2枚ずつ連写される毎に、背景生成に用いられる背景生成用画像P5の枚数を2枚ずつ増加させる処理以外の処理は、第1背景生成処理と略同様であり、その詳細な説明を省略する。
図11に示すように、先ず、背景生成部8dは、背景画像P6を生成済みであるか否かを判定する(ステップS221)。ここで、背景画像P6を生成済みでないと判定されると(ステップS221;NO)、背景生成部8dは、「Page=5」として、背景生成に用いられる背景生成用画像P5の枚数を5枚に指定する(ステップS222)。
続けて、第1背景生成処理と同様に、CPU13は、ステップS61〜S69の各処理を行う。即ち、CPU13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、撮像済みの5枚の背景生成用画像P5のうち、何れか一の背景生成用画像P5(基準画像)から抽出した特徴点に基づいて、当該背景生成用画像P5以外の背景生成用画像P5(対象画像)と位置合わせする処理を行わせる(ステップS61)。次に、画像処理部8の背景生成部8dは、5枚の背景生成用画像P5における各同一座標の複数の画素値の中央値を各座標の画素値として取得して、これらの画素値からなる背景画像P6の画像データを生成する(ステップS62〜S69)。
これにより、第2背景生成処理を終了する。
一方、ステップS221にて、背景画像P6を生成済みであると判定されると(ステップS221;YES)、背景生成部8dは、「Page=Page+2」として、背景生成に用いられる背景生成用画像P5の枚数を2枚増加した値に指定する(ステップS223)。
続けて、上記と同様に、CPU13は、ステップS61〜S69の各処理を行う。即ち、CPU13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、撮像済みの全て(例えば、7枚、9枚、…)の背景生成用画像P5のうち、何れか一の背景生成用画像(基準画像)P5から抽出した特徴点に基づいて、当該背景生成用画像P5以外の背景生成用画像(対象画像)P5と位置合わせする処理を行わせる(ステップS61)。次に、画像処理部8の背景生成部8dは、全ての背景生成用画像P5における各同一座標の複数の画素値の中央値を各座標の画素値として取得して、これらの画素値からなる背景画像P6の画像データを生成する(ステップS62〜S69)。
これにより、第2背景生成処理を終了する。
図10に示すように、次に、表示制御部10は、第2背景生成処理にて生成された背景画像P6の画像データに基づいて、背景画像P6を表示部11の表示画面に表示させる(ステップS48)。
続けて、CPU13は、ユーザによるシャッタボタン12aの押し込み操作が開放されているか否かをシャッタボタン12aからの操作信号の入力の有無に応じて判定する(ステップS204)。
ここで、シャッタボタン12aからの操作信号の入力が継続されており、ユーザによるシャッタボタン12aの押し込み操作が開放されていないと判定されると(ステップS204;NO)、CPU13は、撮像済みの全ての背景生成用画像P5の位置合わせ限界に達したか否かを判定する(ステップS205)。
この位置合わせ限界の判定は、例えば、背景生成用画像P5の位置合わせ限界枚数や、一時記憶メモリの容量等に応じて判断する。
そして、ステップS205にて、背景生成用画像P5の位置合わせ限界に達していないと判定されると(ステップS205;NO)、CPU13は、処理をステップS202に移行して、それ以降の処理を実行する。
CPU13は、上記の処理を、ステップS204にてユーザによるシャッタボタン12aの押し込み操作が開放されたと判定されるか(ステップS204;YES)、或いは、ステップS205にて背景生成用画像P5の位置合わせ限界に達したと判定されるまで(ステップS205;YES)、繰り返す。
これにより、背景生成用画像P5が2枚ずつ連写される毎に、背景生成に用いられる背景生成用画像P5の枚数を2枚ずつ増加させて、それら全ての背景生成用画像P5に基づいて背景画像P6が生成される。
そして、ステップS204にてユーザによるシャッタボタン12aの押し込み操作が開放されたと判定されるか(ステップS204;YES)、或いは、ステップS205にて背景生成用画像P5の位置合わせ限界に達したと判定されると(ステップS205;YES)、画像処理部8の画像合成部8eは、第1合成画像生成処理と同様に、生成された背景画像P6と被写体切り抜き画像P4の被写体画像Aとを合成して被写体合成画像P7を生成する画像合成処理を行う(ステップS49)。
その後、表示制御部10は、画像合成部8eにより生成された被写体合成画像P7の画像データに基づいて、背景画像P6に被写体Sが重畳された被写体合成画像P7を表示部11の表示画面に表示させる(図9(c)参照)。
これにより、第2合成画像生成処理を終了する。
以上のように、実施形態2の撮像装置によれば、シャッタボタン12aが操作されている間、三以上の奇数枚の背景生成用画像P5に続けて新たに所定の偶数枚の背景生成用画像P5を順次撮像していき、所定の偶数枚の背景生成用画像P5が新たに撮像される毎に、当該所定の偶数枚の背景生成用画像P5と三以上の奇数枚の背景生成用画像P5とに基づいて、当該背景生成用画像P5の背景内から動く被写体を消去して背景画像P6を順次生成する。具体的には、三以上の奇数枚の背景生成用画像P5に基づいて背景画像P6を生成した後、シャッタボタン12aが操作されている間、所定の偶数枚の背景生成用画像P5が新たに撮像される毎に、撮像済みの全ての背景生成用画像P5に基づいて、新たな背景画像P6を順次生成するので、背景生成用画像P5の連写撮影枚数をより増加させることで、静止体画像の画素値の数は動く被写体の画像の画素値の数よりも多くなって、静止体を含む背景内からの動く被写体の消去をより適正に行うことができる。これにより、動く被写体が消去された背景画像P6並びに当該背景画像P6と所望の被写体画像Aとが合成された被写体合成画像P7の生成を適正に行うことができる。
なお、上記実施形態2にあっては、背景画像P6の生成にて、連写された全ての背景生成用画像P5の各画素の画素値をソートして中央値を求めるようにしたが、背景画像P6の生成方法はこれに限られるものではない。
即ち、背景生成部8dは、三以上の奇数枚の背景生成用画像P5に基づいて背景画像P6を生成した後、所定の偶数枚の背景生成用画像P5(例えば、2枚)が新たに撮像される毎に、当該所定の偶数枚の背景生成用画像P5と生成済みの直近の背景画像P6とに基づいて、新たな背景画像P6を順次生成するようにしても良い(図12参照)。
以下に、第2背景生成処理の変形例について、図12を参照して説明する。
なお、背景生成用画像P5を5枚撮像後、背景生成用画像P5が2枚ずつ連写される毎に、既に生成済みの直近の背景画像P6を新たな背景画像P6の生成用の画像フレームとして追加する処理以外の処理は、実施形態2の第2背景生成処理と略同様であり、その詳細な説明を省略する。
図12に示すように、先ず、背景生成部8dは、背景画像P6を生成済みであるか否かを判定する(ステップS221)。ここで、背景画像P6を生成済みでないと判定されると(ステップS221;NO)、実施形態2の第2背景生成処理と同様に、背景生成部8dは、「Page=5」として、背景生成に用いられる背景生成用画像P5の枚数を5枚に指定する(ステップS222)。
続けて、実施形態2の第2背景生成処理と同様に、CPU13は、ステップS61〜S69の各処理を行う。これにより、5枚の背景生成用画像P5における各同一座標の複数の画素値の中央値を各座標の画素値とする背景画像P6の画像データが生成される。
一方、ステップS221にて、背景画像P6を生成済みであると判定されると(ステップS221;YES)、背景生成部8dは、既に生成済みの直近の背景画像P6を新たな背景画像P6の生成用の画像フレームとして処理対象PAGEに含めた後(ステップS231)、「Page=3」として、背景生成に用いられる背景生成用画像P5の枚数を3枚に指定する(ステップS232)。
続けて、上記と同様に、CPU13は、ステップS61〜S69の各処理を行う。これにより、新たに連写された2枚の背景生成用画像P5及び生成済みの背景画像P6における各同一座標の複数の画素値の中央値を各座標の画素値とする新たな背景画像P6の画像データが生成される。
従って、三以上の奇数枚の背景生成用画像P5に基づいて背景画像P6を生成した後、シャッタボタン12aが操作されている間、所定の偶数枚の背景生成用画像P5が新たに撮像される毎に、当該所定の偶数枚の背景生成用画像P5と生成済みの直近の背景画像P6とに基づいて新たな背景画像P6を順次生成するので、背景生成用画像P5の連写撮影枚数をより増加させることで、静止体を含む背景内からの動く被写体の消去をより適正に行うことができるだけでなく、一の背景画像P6の生成に実際に用いられる画像フレーム数(単位時間あたりの処理画像フレーム数)を減少させて当該背景画像P6の生成速度をより高速化することができる。
なお、本発明は、上記実施形態1、2に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、背景画像P6の生成を、三以上の奇数枚の背景生成用画像P5における各同一座標の複数の画素値の中央値に基づいて行うようにしたが、これに限られるものではなく、複数の画素値の平均値に基づいて行うようにしても良い。即ち、背景生成用画像P5の連写撮影枚数をより増加させた場合には、静止体画像の画素値の数は、動く被写体の画像の画素値の数よりも多くなることから、複数の画素値の中央値に替えて平均値を適用しても良い。
また、上記実施形態1、2にあっては、背景画像P6の生成にて、全体として奇数枚の背景生成用画像P5に基づいて行うようにしたが、これに限られるものではなく、全体として偶数枚の背景生成用画像P5に基づいて行うようにしても良い。即ち、背景生成用画像P5の連写撮影枚数をより増加させた場合には、静止体画像の画素値の数は、動く被写体の画像の画素値の数よりも多くなることから、必ずしも奇数枚の背景生成用画像P5における各同一座標の複数の画素値の中央値や平均値に基づいて背景画像P6を生成する必要はない。
具体的には、背景生成部8dは、背景生成用画像P5の全体の撮像枚数が所定枚数に達したか否かを判定し、所定枚数に達した後は、全体として奇数枚若しくは偶数枚の背景生成用画像P5に基づいて背景画像P6を生成する。
さらに、上記実施形態1、2にあっては、背景生成用画像P5の連写の際に画角内で被写体画像Aの合成位置を指定するようにしたが、指定される位置は合成位置に限られる必要はなく、構図の決定用の基準となる位置であっても良い。
また、背景生成用画像P5の連写の際に被写体画像Aの拡大縮小倍率(寸法)を指定するようにしたが、被写体画像Aの寸法の指定は必ずしも行う必要はなく、適宜任意に変更することができる。
また、上記実施形態1、2にあっては、背景画像P6と合成される被写体画像Aとして、被写体切り抜き処理にて抽出された被写体切り抜き画像P4の被写体画像Aを例示したが、これに限られるものではなく、被写体画像Aは適宜任意に変更することができる。
さらに、上記実施形態1、2にあっては、被写体存在画像P1から被写体領域を抽出するための抽出用情報として、マスク画像Mを例示したが、これに限られるものではなく、被写体存在画像P1内の被写体領域の位置を特定して当該被写体領域を抽出することができるものであれば如何なるものであっても良い。
また、上記実施形態1、2にあっては、マスク画像Mの画像データと被写体切り抜き画像P4の画像データを対応付けて一ファイルで保存させるようにしたが、マスク画像Mの画像データと被写体存在画像P1の画像データを対応付けて一ファイルで記録媒体(記憶手段)9に保存させるようにしても良い。この場合、当該ファイルの再生には、被写体存在画像P1を再生させるモードと、再生時にマスク画像Mの画像データを適用して被写体切り抜き画像P4を合成して表示する2モードを用意しておくとよい。
さらに、撮像装置100の構成は、上記実施形態1、2に例示したものは一例であり、これに限られるものではない。
加えて、上記実施形態1、2にあっては、位置指定手段、背景生成手段としての機能を、CPU13と、画像処理部8の背景生成部8dとが駆動することにより実現される構成としたが、これに限られるものではなく、CPU13によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、位置指定処理ルーチン、背景生成処理ルーチンを含むプログラムを記憶しておく。そして、位置指定処理ルーチンによりCPU13を、撮像手段により撮像される画角内で被写体画像Aの位置を指定する位置指定手段として機能させるようにしても良い。また、背景生成処理ルーチンによりCPU13を、撮像手段により連続して撮像された複数の背景生成用画像P5のうち、所定枚数の背景生成用画像P5に基づいて、背景内から動く被写体を消去して被写体画像Aとの合成用の背景画像P6を生成する背景生成手段として機能させるようにしても良い。
100 撮像装置
1 レンズ部
2 電子撮像部
3 撮像制御部
6 特徴量演算部
7 ブロックマッチング部
8 画像処理部
8b マスク生成部
8c 切抜画像生成部
8d 背景生成部
8e 画像合成部
12a シャッタボタン
12b 選択決定ボタン
13 CPU

Claims (13)

  1. 背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段と、
    この撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定手段と、
    前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成手段と、
    を備えることを特徴とする撮像装置。
  2. 前記背景生成手段により生成された前記背景画像と前記被写体画像とを合成する合成手段を更に備えることを特徴とする請求項1に記載の撮像装置。
  3. 前記合成手段は、
    前記位置指定手段により指定された位置を基準として、前記背景画像と前記被写体画像を合成することを特徴とする請求項2に記載の撮像装置。
  4. 前記被写体画像の寸法を指定する寸法指定手段を更に備えることを特徴とする請求項1〜3の何れか一項に記載の撮像装置。
  5. 前記撮像手段により撮像された被写体存在画像から被写体が含まれる領域を抽出して前記被写体画像を生成する被写体生成手段を更に備えることを特徴とする請求項1〜4の何れか一項に記載の撮像装置。
  6. 前記背景生成手段は、
    前記撮像手段により撮像された三以上の奇数枚の背景用画像に基づいて、前記背景画像を生成することを特徴とする請求項1〜5の何れか一項に記載の撮像装置。
  7. 前記背景生成手段は、
    前記三以上の奇数枚の背景用画像における各同一座標の複数の画素値の中央値若しくは平均値に基づいて、前記背景画像を生成することを特徴とする請求項6に記載の撮像装置。
  8. 前記撮像手段による背景用画像の撮像指示を入力する入力手段を更に備え、
    前記撮像手段は、
    前記入力手段により撮像指示が入力されている間、前記三以上の奇数枚の背景用画像に続けて新たに所定の偶数枚の背景用画像を順次撮像し、
    前記背景生成手段は、
    前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、当該所定の偶数枚の背景用画像と前記三以上の奇数枚の背景用画像とに基づいて、前記背景画像を順次生成することを特徴とする請求項1〜7の何れか一項に記載の撮像装置。
  9. 前記背景生成手段は、
    前記三以上の奇数枚の背景用画像に基づいて背景画像を生成し、且つ、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、撮像済みの全ての背景用画像に基づいて、新たな背景画像を順次生成することを特徴とする請求項8に記載の撮像装置。
  10. 前記背景生成手段は、
    前記三以上の奇数枚の背景用画像に基づいて背景画像を生成し、且つ、前記撮像手段により前記所定の偶数枚の背景用画像が新たに撮像される毎に、当該所定の偶数枚の背景用画像と生成済みの直近の背景画像とに基づいて、新たな背景画像を順次生成することを特徴とする請求項8に記載の撮像装置。
  11. 前記背景生成手段は、
    前記背景画像の生成に係る前記背景用画像の全枚数が所定枚数に達したか否かを判定し、前記所定枚数に達した後は、全体として奇数枚若しくは偶数枚の前記背景用画像に基づいて、前記背景画像を生成することを特徴とする請求項1〜10の何れか一項に記載の撮像装置。
  12. 背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段を備える撮像装置に、
    前記撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定ステップと、
    前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成ステップと、
    を実行させることを特徴とする撮像方法。
  13. 背景内に動く被写体が存在する背景用画像を連続して撮像する撮像手段を備える撮像装置のコンピュータを、
    前記撮像手段により撮像される画角内で被写体画像の位置を指定する位置指定手段、
    前記撮像手段により連続して撮像された複数の前記背景用画像のうち、所定枚数の背景用画像に基づいて、前記背景内から動く被写体を消去して前記被写体画像との合成用の背景画像を生成する背景生成手段、
    として機能させることを特徴とするプログラム。
JP2009187084A 2009-08-12 2009-08-12 撮像装置、撮像方法及びプログラム Pending JP2011041041A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009187084A JP2011041041A (ja) 2009-08-12 2009-08-12 撮像装置、撮像方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009187084A JP2011041041A (ja) 2009-08-12 2009-08-12 撮像装置、撮像方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2011041041A true JP2011041041A (ja) 2011-02-24

Family

ID=43768345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009187084A Pending JP2011041041A (ja) 2009-08-12 2009-08-12 撮像装置、撮像方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2011041041A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872340A (zh) * 2019-01-03 2019-06-11 广东智媒云图科技股份有限公司 构图方法及其电子设备、计算机可读存储介质
KR102061867B1 (ko) 2018-09-10 2020-01-02 한성욱 이미지 생성 장치 및 그 방법
CN113379801A (zh) * 2021-06-15 2021-09-10 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法
CN113379801B (zh) * 2021-06-15 2024-04-30 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061867B1 (ko) 2018-09-10 2020-01-02 한성욱 이미지 생성 장치 및 그 방법
CN109872340A (zh) * 2019-01-03 2019-06-11 广东智媒云图科技股份有限公司 构图方法及其电子设备、计算机可读存储介质
CN113379801A (zh) * 2021-06-15 2021-09-10 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法
CN113379801B (zh) * 2021-06-15 2024-04-30 江苏科技大学 一种基于机器视觉的高空抛物监测定位方法

Similar Documents

Publication Publication Date Title
JP5413002B2 (ja) 撮像装置および方法、並びにプログラム
JP4760973B2 (ja) 撮像装置及び画像処理方法
JP4798236B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5051156B2 (ja) 画像処理装置及びプログラム
JP4947136B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5359856B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP2010224607A (ja) 画像合成装置及びプログラム
JP5504990B2 (ja) 撮像装置、画像処理装置及びプログラム
JP5402166B2 (ja) 画像合成装置及びプログラム
JP5267279B2 (ja) 画像合成装置及びプログラム
JP5733588B2 (ja) 画像処理装置および方法、並びにプログラム
JP2011041041A (ja) 撮像装置、撮像方法及びプログラム
JP5402148B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP2010273268A (ja) 画像再生装置、撮像装置、画像再生方法、画像再生プログラム
JP5493839B2 (ja) 撮像装置、画像合成方法及びプログラム
JP5131399B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5476900B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP2011182014A (ja) 撮像装置、撮像処理方法及びプログラム
JP5636660B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5494537B2 (ja) 画像処理装置及びプログラム
JP2010278701A (ja) 画像合成装置、画像合成方法及びプログラム
JP5565227B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5402361B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5310361B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5381207B2 (ja) 画像合成装置及びプログラム