JP2012151704A - 撮像補助装置、撮像補助方法及びプログラム - Google Patents
撮像補助装置、撮像補助方法及びプログラム Download PDFInfo
- Publication number
- JP2012151704A JP2012151704A JP2011009428A JP2011009428A JP2012151704A JP 2012151704 A JP2012151704 A JP 2012151704A JP 2011009428 A JP2011009428 A JP 2011009428A JP 2011009428 A JP2011009428 A JP 2011009428A JP 2012151704 A JP2012151704 A JP 2012151704A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- unit
- moving body
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】撮像装置100であって、ユーザによる操作入力部7の所定の入力操作に基づいて、表示部11の表示領域における移動体の想定される移動軌跡を特定する移動軌跡特定部8bと、移動体の連続撮像の前に、移動体の撮像タイミング及び撮像枚数により規定される当該連続撮像処理の開始から終了までの所要時間内での所定の時点までの経過を指示する経過指示画像を、移動軌跡特定部により特定された移動軌跡に対応する形状で表示部に表示させる表示制御部10とを備えている。
【選択図】図1
Description
なお、連続撮像された画像の中で、合成対象となる画像を自動的に選択して合成する技術も知られているが、この場合に、選択されなかった画像が破棄されてしまうと、連続撮像のために設定された時間間隔が合成画像の生成に適当であったのかどうかを確認することは難しいといった問題もある。
撮像手段による移動体の撮像により生成された画像を表示する表示手段と、ユーザによる操作入力手段の所定の入力操作に基づいて、前記表示手段の表示領域における前記移動体の想定される移動軌跡を特定する軌跡特定手段と、前記撮像手段による前記移動体の連続撮像の前に、前記移動体の撮像タイミング及び撮像枚数により規定される当該連続撮像処理の開始から終了までの所要時間内での所定の時点までの経過を指示する経過指示画像を、前記軌跡特定手段により特定された前記移動軌跡に対応する形状で前記表示手段に表示させる表示制御手段と、を備えることを特徴としている。
撮像手段による移動体の撮像により生成された画像を表示する表示手段を備える撮像補助装置を用いた撮像補助方法であって、ユーザによる操作入力手段の所定の入力操作に基づいて、前記表示手段の表示領域における前記移動体の想定される移動軌跡を特定する処理と、前記撮像手段による前記移動体の連続撮像の前に、前記移動体の撮像タイミング及び撮像枚数により規定される当該連続撮像処理の開始から終了までの所要時間内での所定の時点までの経過を指示する経過指示画像を、前記軌跡特定手段により特定された前記移動軌跡に対応する形状で前記表示手段に表示させる処理と、を含むことを特徴としている
。
撮像手段による移動体の撮像により生成された画像を表示する表示手段を備える撮像補助装置のコンピュータを、ユーザによる操作入力手段の所定の入力操作に基づいて、前記表示手段の表示領域における前記移動体の想定される移動軌跡を特定する軌跡特定手段、前記撮像手段による前記移動体の連続撮像の前に、前記移動体の撮像タイミング及び撮像枚数により規定される当該連続撮像処理の開始から終了までの所要時間内での所定の時点までの経過を指示する経過指示画像を、前記軌跡特定手段により特定された前記移動軌跡に対応する形状で前記表示手段に表示させる表示制御手段、として機能させることを特徴としている。
図1に示すように、撮像装置100は、レンズ部1、電子撮像部2、ユニット回路部3、撮像制御部4、画像生成部5、画像処理部6、操作入力部7、撮像補助処理部8、画像合成部9、表示制御部10、表示部11、記録媒体制御部12、メモリ13、中央制御部14等を備えている。
また、撮像制御部4、画像生成部5、画像処理部6、撮像補助処理部8、画像合成部9、表示制御部10、記録媒体制御部12、メモリ13、中央制御部14は、バスライン15を介して接続されている。
ここで、被写体としては、例えば、画角内を所定の速度で所定方向に移動する動体、即ち、移動体(例えば、二輪車等;図6(b)等参照)等が挙げられる。
また、レンズ部1、電子撮像部2及びユニット回路部3は、例えば、移動体の連続撮像処理の後、当該連続撮像処理の撮像条件を固定した状態で、略同一の画角内に移動体が存在しない移動体非存在画像を撮像しても良い。
即ち、撮像制御部4は、例えば、モータ等の駆動源と、この駆動源を駆動するドライバ等(何れも図示略)を備え、レンズ部1のズームレンズやフォーカスレンズを光軸方向に駆動させる。また、撮像制御部4は、例えば、レンズ部1の絞りの拡径や縮径を行う絞り駆動部(図示略)を備え、露出調整条件に応じて絞りの拡径や縮径を行う。また、撮像制御部4は、例えば、TG(Timing Generator)、電子撮像部2を駆動するドライバ等(何れも図示略)を備え、駆動フレームレートや撮像条件(例えば、露光時間等)に従ってTG及びドライバを介して電子撮像部2の動作タイミングを制御する。また、撮像制御部4は、撮像フレームレートに従ってユニット回路部3の動作タイミングを制御する。
即ち、撮像制御部4は、連続撮像条件設定部8eにより設定された移動体の撮像位置間隔や撮像時間間隔を規定する撮像タイミング(撮像フレームレートに応じた所定の周期)及び撮像枚数に従って、レンズ部1、電子撮像部2及びユニット回路部3等の動作を制御して移動体を連続して撮像させる。つまり、撮像制御部4は、連続撮像処理にて、予め指定した撮像間隔で予め指定した撮像枚数だけ、移動体の撮像を自動的に繰り返し実行させる。
そして、ユニット回路部3は、移動体の連続撮像により生成された各フレーム画像のデジタルの画像信号を画像生成部5に送信する。
具体的には、画像生成部5は、所定の周期毎にユニット回路部3から送られてきた各フレーム画像のデジタルの画像データに対して、カラープロセス回路(図示略)で画素補間
処理及びγ補正処理を含むカラープロセス処理をそれぞれ行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。そして、画像生成部5は、生成された輝度色差信号の画像データを、撮像制御部4及び画像処理部6に出力する。
タッチパネル7aは、表示部11の画像表示領域をなす表示画面に直接的若しくは間接的に接触するユーザの指(手)やタッチペン等の接触位置を検出する(図5(b)参照)。即ち、タッチパネル7aは、例えば、表示画面上或いは当該表示画面よりも内側に設けられ、抵抗膜方式、超音波表面弾性波方式、静電容量方式等の各種方式により、表示画面上における接触位置のXY座標を検出する。そして、タッチパネル7aは、接触位置のXY座標に係る位置信号を中央制御部14に出力する。
なお、タッチパネル7aによる表示画面上における接触位置の検出精度は、適宜任意に変更可能であり、例えば、厳密に一の画素を接触位置としても良いし、一の画素を中心とする所定範囲内の複数の画素を接触位置としても良い。
即ち、移動体寸法特定部8aは、レンズ部1、電子撮像部2及びユニット回路部3による撮像によって表示部11の表示領域に移動体が表示されると想定した場合に、当該表示領域にて移動体が含まれる範囲の寸法(例えば、水平方向及び垂直方向の画素数等)を特定する。具体的には、移動体寸法特定部8aは、例えば、ユーザによる操作入力部7の所定操作に基づいて、連続撮像処理にて撮像された移動体が表示部11の表示領域に表示された状態で当該移動体が存するであろうと想定される範囲の寸法を移動体の寸法として特定する(図5(a)参照)。なお、図5(a)にあっては、表示部11の表示領域にて移動体の占める範囲を破線Aを用いて模式的に表している。
ここで、移動体寸法特定部8aは、予め移動体を実際に撮像した画像(図示略)を取得して、当該画像内から移動体が含まれる範囲を抽出して、その範囲の寸法を特定しても良い。
なお、例えば、移動体が撮像装置100本体に対して前後に移動する場合など、移動体の移動方向によっては、表示領域にて移動体の占める範囲が変化するため、この場合には、特定された移動体の寸法に対して正負の誤差範囲を設定しても良い。
このように、移動体寸法特定部8aは、表示部11の表示領域に表示される移動体の寸法を特定する寸法特定手段を構成している。
即ち、ユーザが表示部11の表示領域における移動体の移動する軌跡を想定して、当該軌跡の描画操作を操作入力部7のタッチパネル7aを用いて行う。そして、タッチパネル7aにより連続して検出された接触位置のXY座標に係る位置信号が中央制御部14から出力されて移動軌跡特定部8bに入力されると、当該移動軌跡特定部8bは、タッチパネル7aの接触位置の各々を表示部11の表示領域における操作点の各々として特定する。そして、移動軌跡特定部8bは、特定された複数の操作点どうしを結んだ線Yを、表示部11の表示領域における移動体の想定される移動軌跡として特定する。
なお、移動体の移動する軌跡の描画操作を、タッチパネル7aを用いて行うようにしたが、一例であってこれに限られるものではなく、操作入力部7の他のボタン、例えば、選択決定用ボタンを用いて行っても良い。
このように、移動軌跡特定部8bは、ユーザによる操作入力部7の所定の入力操作に基づいて、表示部11の表示領域における移動体の想定される移動軌跡を特定する軌跡特定手段を構成している。
即ち、軌跡全長特定部8cは、移動軌跡を構成する複数の操作点のうち、隣合う操作点どうしの位置(XY座標)に基づいて所定の演算を行って、当該隣合う操作点どうしの距離を順次算出する。そして、軌跡全長特定部8cは、算出された隣合う操作点どうしの距離の各々を加算したものを移動軌跡の全体の長さとして特定する。
即ち、軌跡指示時間特定部8dは、ユーザによる操作入力部7の所定操作に基づいて移動軌跡が描画操作される際に、当該移動軌跡の描画操作にかかる描画時間を指示時間として特定する。具体的には、操作入力部7のタッチパネル7aに対するユーザの接触操作(描画操作)によって移動軌跡を入力する場合、軌跡指示時間特定部8dは、例えば、ユーザによるタッチパネル7aの接触操作が開始されてから終了するまでの時間を指示時間として特定する。
なお、移動体の移動軌跡の描画操作を、例えば、選択決定用ボタン等の操作入力部7の所定のボタンを用いて行う場合も、軌跡指示時間特定部8dは、同様に、ユーザによる所定のボタンの操作が開始されてから終了するまでの時間を指示時間として特定しても良い。
このように、軌跡指示時間特定部8dは、ユーザによる操作入力部7の入力操作に基づいて移動軌跡が入力指示される際の指示時間を特定する時間特定手段を構成している。
即ち、連続撮像条件設定部8eは、ユーザによる操作入力部7の所定操作に基づいて移動軌跡が指示入力される際の指示速度及び移動体寸法特定部8aにより特定された移動体の寸法に基づいて、連続撮像処理における移動体の撮像タイミング及び撮像枚数を連続撮像条件として設定する。具体的には、連続撮像条件設定部8eは、軌跡全長特定部8cにより特定された移動体の移動軌跡の全体の長さと、軌跡指示時間特定部8dにより特定された移動軌跡が指示入力される際の指示時間とに基づいて、移動軌跡が指示入力される際の指示速度を特定する。例えば、連続撮像条件設定部8eは、軌跡全長特定部8cにより特定された移動体の移動軌跡の全体の長さを、軌跡指示時間特定部8dにより特定された移動軌跡が指示入力される際の指示時間で除算することにより、移動軌跡の指示速度を算
出する。
なお、指示速度は、操作入力部7のタッチパネル7aに対するユーザの接触操作(描画操作)によって移動軌跡を入力する場合、ユーザによるタッチパネル7aの接触操作に基づいて移動軌跡を構成する複数の操作点が順次入力指示されていき、これら複数の操作点を順次入力指示する速度を移動軌跡の指示速度としても良い。
このように、連続撮像条件設定部8eは、ユーザによる操作入力部7の入力操作に基づいて移動軌跡が入力指示される際の指示速度を特定する速度特定手段を構成している。
具体的には、連続撮像条件設定部8eは、連続して撮像された各フレーム画像から抽出された被写体領域どうしを合成して移動体合成画像P3(図6(b)参照;後述)を生成した状態で、被写体領域どうしが重なり合わないような移動体の位置間隔及び撮像時間間隔となるように撮像フレームレートを設定する。例えば、移動体合成画像P3に相当する表示部11の表示領域にて移動体が所定方向に沿って移動する場合、連続撮像条件設定部8eは、移動体寸法特定部8aにより特定された移動体の寸法を基準として、移動体合成画像P3にて移動体の占める範囲の所定方向の長さ分の間隔を空けて各移動体が配置される位置間隔及び撮像時間間隔となるように撮像フレームレートを設定する。また、連続撮像条件設定部8eは、設定された撮像フレームレートに基づいて、移動体合成画像P3に相当する表示部11の表示領域の寸法(例えば、所定方向の長さ)からフレーム画像の撮像枚数を設定する。
なお、連続撮像条件の設定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。同様に、連続撮像条件として例示した撮像タイミング及び撮像枚数は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
このように、連続撮像条件設定部8eは、移動軌跡が指示入力される際の指示速度と移動体の寸法とに基づいて、連続撮像処理における移動体の撮像タイミング及び撮像枚数を設定する第2設定手段を構成している。
即ち、経過指示画像生成部8fは、移動軌跡特定部8bにより特定された移動体の移動軌跡に対応する形状で形成された経過指示画像P2の画像データを生成する。具体的には、経過指示画像生成部8fは、連続撮像処理の開始から終了までの所要時間、即ち、連続撮像条件設定部8eにより設定された連続撮像条件(移動体の撮像タイミング及び撮像枚数)により規定される連続撮像処理の開始から終了までの所要時間を表す画像の画像データを生成する。所要時間を表す画像としては、当該所要時間を移動軌跡の形状に沿って延在する略線状の線形画像Lの全体の長さで表す画像(図6(a)参照)が挙げられる。
ここで、略線状の線形画像Lとは、連続した一本の線により構成された画像であっても良いし、断続的に延在する複数の点や線等により全体として線状に形成された画像であっても良い。
また、経過指示画像生成部8fは、所要時間内における移動体の撮像タイミングを指示するタイミング指示標識B(図6(a)参照)の画像データを生成する。即ち、経過指示画像生成部8fは、連続撮像の際に所定の撮像フレームレートで移動体を撮像すると想定した場合に、表示部11の表示領域における当該移動体の撮像時間間隔に対応する各位置を指示するタイミング指示標識Bの画像データを生成する。なお、図6(a)にあっては、タイミング指示標識Bを矢印を用いて表したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
このように、経過指示画像生成部8fは、連続撮像処理の開始から終了までの所要時間を表す画像及び所要時間内における移動体の撮像タイミングを指示するタイミング指示標識Bを含む経過指示画像P2の画像データを生成する。
具体的には、抽出画像生成部9aは、図示は省略するが、特徴量演算部、ブロックマッチング、位置合わせ部、被写体領域抽出部、位置情報生成部、画像生成部等を備えている。
ブロックマッチング部は、移動体抽出画像を生成する際に、移動体の連続撮像により生成された各フレーム画像と移動体非存在画像との位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部は、特徴抽出処理にて抽出されたテンプレートが各フレーム画像内のどこに対応するか、つまり、各フレーム画像内にてテンプレートの画素値が最適にマッチする位置(対応領域)を探索する。そして、ブロックマッチング部は、各フレーム画像について、画素値の相違度の評価値(例えば、差分二乗和(SSD)や差分絶対値和(SAD)等)が最も良かった移動体非存在画像との間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
位置合わせ部は、移動体非存在画像から抽出した特徴点に基づいて、移動体非存在画像に対する各フレーム画像の各画素の座標変換式(射影変換行列)を算出し、当該座標変換式に従ってフレーム画像を座標変換して移動体非存在画像と位置合わせを行う。
被写体領域抽出部は、位置合わせ部により位置合わせされた各フレーム画像と移動体非存在画像との間で対応する各画素の差分情報を生成し、当該差分情報を基準として各フレーム画像から被写体(移動体)が含まれる被写体領域を抽出する。
位置情報生成部は、フレーム画像から抽出された被写体領域の位置を特定して、フレーム画像における被写体領域の位置を示す位置情報(例えば、アルファマップ)を生成する。ここで、アルファマップとは、フレーム画像の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したものである。
画像生成部は、生成されたアルファマップに基づいて、各フレーム画像の各画素のうち、アルファ値が「1」の画素を所定の単一色画像(図示略)に対して透過させずに、且つ、アルファ値が「0」の画素を透過させるように、被写体の画像を所定の単一色画像と合成して各移動体抽出画像の画像データを生成する。
即ち、合成画像生成部9bは、連続して撮像された複数のフレーム画像の各々から生成された移動体抽出画像の各々と所定の背景用画像とを合成して移動体合成画像P3を生成する。具体的には、例えば、合成画像生成部9bは、所定の背景用画像の各画素のうち、アルファ値が「0」の画素は透過させ、アルファ値が「1」の画素は移動体抽出画像の対応する画素の画素値で上書きし、さらに、背景用画像の各画素のうち、アルファ値が0<
α<1の画素は1の補数(1−α)を用いて被写体領域を切り抜いた画像(背景用画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて移動体抽出画像を生成した際に単一背景色とブレンドした値を計算し、当該値を移動体抽出画像から減算し、それを被写体領域を切り抜いた画像(背景用画像×(1−α))と合成する。
このとき、合成画像生成部9bは、最初のフレーム番号の移動体抽出画像については移動体非存在画像を背景用画像として指定し、その後(例えば、二番目)のフレーム番号の移動体抽出画像については一つ前(例えば、最初)のフレーム番号の移動体が合成された画像を背景用画像として順次指定していく。
これにより、移動体非存在画像に対して、移動体の連続撮像により生成された各移動体抽出画像の被写体領域の画像部分が加算合成された移動体合成画像P3(マルチモーション画像)が生成される(図6(b)参照)。
このように、合成画像生成部9bは、連続撮像処理により連続して撮像された画像の各々から抽出された移動体の画像部分を所定の背景画像と合成して合成画像を生成する生成手段を構成している。
具体的には、表示制御部10は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、メモリ13から読み出されてVRAM(図示略)に記憶されている複数のフレーム画像の輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから所定の再生フレームレート(例えば、30fps)で読み出して、これらのデータを元にビデオ信号を発生して表示部11に出力する。
このように、表示制御部10は、連続撮像処理の開始から終了までの所要時間内での所定の時点までの経過を指示する経過指示画像P2を、移動体の移動軌跡に対応する形状で表示部11に表示させる表示制御手段を構成している。
即ち、表示部11は、表示手段として、レンズ部1、電子撮像部2及びユニット回路部3による移動体の撮像により生成された画像を表示する。具体的には、表示部11は、被写体である移動体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像P1を表示する。また、表示部11は、連続撮像処理にて、所定の連続撮像条件に従って連続して撮像された移動体のフレーム画像を逐次更新しながら表示したり、連続撮像の終了後に、静止画として記録される移動体合成画像P3(レックビュー画像)を表示する。
のデータの読み出しや記録媒体Mに対するデータの書き込みを制御する。
即ち、記録媒体制御部12は、画像処理部6の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像データを記録媒体Mに記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
図2は、連続撮像処理に係る動作の一例を示すフローチャートである。また、図3は、移動体抽出処理に係る動作の一例を示すフローチャートである。また、図4は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図5及び図6は、連続撮像処理を説明するための図である。
なお、以下の連続撮像処理は、ユーザによる操作入力部7の選択決定用ボタンの所定操作に基づいて、複数の撮像モードの中から移動体の連続撮像モードが選択指示された場合に実行される。
次に、移動体寸法特定部8aは、ユーザによる操作入力部7の所定操作に基づいて表示部11の表示領域における移動体の占める寸法を特定する(ステップS2)。具体的には、移動体寸法特定部8aは、連続撮像処理にて撮像された移動体が表示部11の表示領域に表示された状態で当該移動体が存するであろうと想定される範囲の寸法を移動体の寸法として特定する(図5(a)参照)。
具体的には、軌跡全長特定部8cは、移動体の移動軌跡を構成する複数の操作点のうち
、隣合う操作点どうしの距離を順次算出し、算出された隣合う操作点どうしの距離を加算したものを移動軌跡の全体の長さとして特定する。軌跡指示時間特定部8dは、操作入力部7のタッチパネル7aに対するユーザの接触操作(描画操作)によって移動軌跡を入力する際に、タッチパネル7aの接触操作が開始されてから終了するまでの時間を指示時間として特定する。
そして、連続撮像条件設定部8eは、軌跡全長特定部8cにより特定された移動体の移動軌跡の全体の長さと、軌跡指示時間特定部8dにより特定された移動軌跡が指示入力される際の指示時間とに基づいて、移動軌跡が指示入力される際の指示速度を特定する。その後、連続撮像条件設定部8eは、算出された移動軌跡が指示入力される際の指示速度と、移動体寸法特定部8aにより特定された移動体の寸法とに基づいて、連続撮像の際に表示領域に表示されると想定される移動体の位置(撮像位置)の間隔及び撮像時間間隔を規定する撮像フレームレート(撮像タイミング)及びフレーム画像の撮像枚数を設定する。
具体的には、経過指示画像生成部8fは、連続撮像処理の所要時間を移動軌跡の形状に沿って延在する略線状の線形画像Lの全体の長さで表す画像の画像データ及び所要時間内における移動体の撮像タイミングを指示するタイミング指示標識Bの画像データを含む経過指示画像P2の画像データを生成する。そして、表示制御部10は、経過指示画像生成部8fにより生成された経過指示画像P2の画像データを取得して、連続撮像処理の所要時間を略線状の線形画像Lの全体の長さで表す画像を表示部11に表示させるとともに、移動体の表示部11の表示領域における撮像位置の各々を指示するタイミング指示標識Bを撮像時間間隔に対応させて表示部11にシミュレーション表示させる。
ここで、連続撮像条件の再設定指示が入力されたと判定されると(ステップS7;YES)、中央制御部14は、処理をステップS2に移行して、それ以降の処理の実行を制御する。即ち、ステップS2〜S5の各処理が行われることにより、連続撮像処理における移動体の撮像タイミング及び撮像枚数等の連続撮像条件が再度設定されて、新たに生成された経過指示画像P2の画像データに基づいて移動軌跡に対応する線形画像L及びタイミング指示標識Bが表示部11に表示される。
ここで、撮像指示が入力されていないと判定されると(ステップS8;NO)、中央制御部14は、処理をステップS7に移行して、連続撮像条件の再設定指示が入力されたか否かを判定する。
そして、ユニット回路部3は、移動体の連続撮像により生成された各フレーム画像のデジタルの画像信号を画像生成部5に送信する。画像生成部5は、ユニット回路部3から送られてきた各フレーム画像のデジタルの画像信号からデジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
また、撮像制御部4は、上記の連続撮像処理の後、当該連続撮像処理の各撮像条件を固定した状態で、略同一の画角内に移動体が存在しない移動体非存在画像を撮像する。
以下に、移動体抽出処理について図3を参照して説明する。
具体的には、抽出画像生成部9aの特徴量演算部は、移動体非存在画像のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、抽出画像生成部9aのブロックマッチング部は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を一のフレーム画像(例えば、最初に撮像されたフレーム画像等)内にて探索して、画素値の相違度の評価値が最も良かった移動体非存在画像と各フレーム画像間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、抽出画像生成部9aの位置合わせ部は、ブロックマッチング部により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて各フレーム画像の射影変換行列を算出する。
上記の処理が複数のフレーム画像の各々について行われることで、当該複数のフレーム画像の各々の射影変換行列が算出される。
上記の処理が複数のフレーム画像の各々について行われることで、当該複数のフレーム画像の各々が射影変換される。
具体的には、被写体領域抽出部7bは、一のフレーム画像(例えば、最初に撮像されたフレーム画像等)のYUVデータと移動体非存在画像のYUVデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部は、ローパスフィルタをかけたフレーム画像と移動体非存在画像との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部は、各画素に係る相違度マップを所定の閾値で二値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。
上記の処理が複数のフレーム画像の各々について行われることで、当該複数のフレーム画像の各々から被写体領域が抽出される。
具体的には、位置情報生成部は、一のフレーム画像(例えば、最初に撮像されたフレーム画像等)内で抽出された被写体領域の位置を特定して、当該フレーム画像における被写体領域の位置を示すアルファマップを生成する。
上記の処理が複数のフレーム画像の各々について行われることで、当該複数のフレーム画像についてアルファマップが生成される。
具体的には、画像生成部は、一のフレーム画像(例えば、最初に撮像されたフレーム画像等)、アルファマップを読み出してメモリ13に展開した後、フレーム画像の全ての画素について、アルファ値が「0」の画素については(α=0)、透過させ、アルファ値が「1」の画素については(α=1)、透過させないようにする。
上記の処理が複数のフレーム画像の各々について行われることで、複数の移動体抽出画像が生成される。
これにより、移動体抽出処理を終了する。
以下に、合成画像生成処理について図4を参照して説明する。
ここで、全ての画素について処理していないと判定されると(ステップS38;NO)、合成画像生成部9bは、処理対象として次の画素を指定して当該画素に処理対象を移動させて(ステップS39)、処理をステップS35に移行させる。
上記の処理を、ステップS38にて全ての画素について処理したと判定されるまで(ステップS38;YES)、繰り返すことで、合成画像生成部9bは、複数の移動体抽出画像のうち、最初のフレーム番号の移動体抽出画像と背景用画像とを合成した画像を生成する。
ここで、全ての移動体抽出画像について処理していないと判定されると(ステップS40;NO)、合成画像生成部9bは、生成された移動体抽出画像と背景用画像とを合成した画像を背景用画像として指定した後(ステップS41)、処理対象に係るフレーム番号を+1インクリメントして指定する(ステップS42)。これにより、複数の移動体抽出画像のうち、二番目(フレーム番号「2」)のフレーム画像に対応する移動体抽出画像が画像合成処理の対象として指定される。
そして、二番目のフレーム画像に対応する移動体抽出画像の合成が完了することによって、ステップS38にて全ての画素について処理したと判定されると(ステップS38;YES)、処理をステップS40に移行させて、合成画像生成部9bは、複数の移動体抽出画像の全てについて処理したか否かを判定する(ステップS40)。
上記の処理を、全ての移動体抽出画像について処理したと判定されるまで(ステップS40;YES)、繰り返すことで、合成画像生成部9bは、複数の移動体抽出画像の全ての被写体領域の画像部分が加算合成された移動体合成画像P3を生成する。
これにより、合成画像生成処理を終了する。
特に、ユーザによる操作入力部7の入力操作に基づいて移動軌跡が入力指示される際の指示速度と、表示部11の表示領域に表示される移動体の寸法とに基づいて、連続撮像処理における移動体の撮像タイミング及び撮像枚数を自動的に設定することができるので、
ユーザが移動体の移動軌跡と移動速度を予測しながら操作入力部7を用いて所定の描画操作を行うだけで、移動体の撮像タイミング及び撮像枚数等の連続撮像条件の設定を簡便に行うことができるだけでなく、連続撮像処理における移動体の撮像タイミングや撮像枚数の変化に応じた所要時間や移動体の撮像位置の変化をユーザに容易に認識させることができる。
特に、経過指示画像P2をライブビュー画像に重畳させて表示させるので、ユーザはライブビュー画像により画角や構図等を確認しながら移動体の撮像タイミングや所要時間の変化を確認することができる。
以下に、撮像装置の変形例について説明する。
なお、撮像装置の各変形例は、以下に詳細に説明する以外の点で上記実施形態の撮像装置100と略同様の構成をなし、詳細な説明は省略する。
図7は、変形例1の撮像装置200の概略構成を示すブロック図である。
変形例1の撮像装置200は、ユーザによる操作入力部7の所定の入力操作に基づいて移動軌跡が入力指示される際の指示時間を特定し、特定された指示時間と移動体の撮像枚数とに基づいて、連続撮像処理における移動体の撮像タイミングを設定する。
ここで、連続撮像処理における移動体の撮像枚数は、例えば、ユーザによる操作入力部7の所定操作に基づいて任意の枚数に設定されても良いし、デフォルトとして予め定められている枚数に設定されても良い。
このように、連続撮像条件設定部8eは、移動軌跡が指示入力される際の指示時間と移動体の撮像枚数とに基づいて、連続撮像処理における移動体の撮像タイミングを設定する第1設定手段を構成している。
図8は、連続撮像処理に係る動作の一例を示すフローチャートである。
なお、以下の連続撮像処理は、以下に説明する以外の点で上記実施形態における連続撮像処理と同様であり、その詳細な説明は省略する。
次に、ユーザによる操作入力部7の所定操作に基づいて、連続撮像処理における移動体の撮像枚数が入力されると、連続撮像条件設定部8eは、入力された撮像枚数を連続撮像処理における移動体の撮像枚数として設定する(ステップS51)。
具体的には、軌跡指示時間特定部8dは、操作入力部7のタッチパネル7aに対するユーザの接触操作(描画操作)によって移動軌跡を入力する際に、タッチパネル7aの接触操作が開始されてから終了するまでの時間を指示時間として特定する。
そして、連続撮像条件設定部8eは、軌跡指示時間特定部8dにより特定された移動軌跡が指示入力される際の指示時間と移動体の撮像枚数とに基づいて、連続撮像の際に表示領域に表示されると想定される移動体の位置(撮像位置)の間隔及び撮像時間間隔を規定する撮像フレームレート(撮像タイミング)を設定する。
なお、ステップS5以降の各処理は、上記実施形態の連続撮像処理における処理と略同様であり、その詳細な説明は省略する。
図9は、変形例2の撮像装置300の概略構成を示すブロック図である。
変形例2の撮像装置300は、連続撮像処理の前に、連続撮像処理の開始から所定時間が経過した時点を指示する時間指示標識Cを線形画像Lに対応するように移動させて表す
経過指示画像P4を表示させる。
ここで、連続撮像処理における移動体の撮像タイミング及び撮像枚数は、例えば、ユーザによる操作入力部7の所定操作に基づいて任意の撮像タイミングや枚数に設定されても良いし、デフォルトとして予め定められている撮像タイミングや枚数に設定されても良い。
また、経過指示画像生成部8fは、連続撮像処理の開始から所定時間が経過した時点を指示する時間指示標識C(図10参照)の画像データを生成する。時間指示標識Cは、線形画像Lに対応するように、即ち、線形画像Lに沿って所定の速度で移動する画像であり、当該時間指示標識Cの線形画像Lに対する位置によって、所要時間に対して所定の時点までに経過した時間の割合が表される。
つまり、時間指示標識Cは、連続撮像処理における移動体の撮像タイミングや撮像枚数が変更されることによって連続撮像処理の開始から終了までの所要時間が変更されると、線形画像Lに沿った移動速度(表示部11における表示態様)が変更される。
なお、図10にあっては、時間指示標識Cを線形画像Lの色を変えて表したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。同様に、時間指示標識Cの移動速度が変更された場合にも、当該移動速度に応じて色を変えても良い。
このとき、ユーザによる操作入力部7の所定の入力操作に基づいて移動体の撮像タイミングや撮像枚数が変更されると、表示制御部10は、変更後の撮像タイミングや撮像枚数に応じて経過指示画像P4(特に、時間指示標識C)の表示態様を変化させて表示部11に表示させても良い。
位置によって、所要時間に対して所定の時点までに経過した時間の割合を表すので、連続撮像処理における移動体の撮像タイミング及び撮像枚数に応じた所要時間の変化をユーザに容易に認識させることができる。
特に、ユーザによる操作入力部7の所定の入力操作に基づいて移動体の撮像タイミングや撮像枚数が変更された場合に、変更後の撮像タイミングや撮像枚数に応じて経過指示画像P4の表示態様を変化させることにより、連続撮像処理の所要時間の変化をユーザにより容易に認識させることができる。
即ち、プログラムを記憶するプログラムメモリに、軌跡特定処理ルーチン、表示制御処理ルーチンを含むプログラムを記憶しておく。そして、軌跡特定処理ルーチンにより中央制御部14のCPUを、ユーザによる操作入力手段の所定の入力操作に基づいて、表示手段の表示領域における移動体の想定される移動軌跡を特定する軌跡特定手段として機能させるようにしても良い。また、表示制御処理ルーチンにより中央制御部14のCPUを、撮像手段による移動体の連続撮像の前に、移動体の撮像タイミング及び撮像枚数により規定される当該連続撮像処理の開始から終了までの所要時間内での所定の時点までの経過を指示する経過指示画像P2(P4)を、軌跡特定手段により特定された移動軌跡に対応する形状で表示手段に表示させる表示制御手段として機能させるようにしても良い。
コンピュータのゲームなどにおけるキャラクタの動きを示すプログレスバーを変形させるようにしてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
に表示させても良い。
1 レンズ部
2 電子撮像部
4 撮像制御部
7 操作入力部
8 撮像補助処理部
8a 移動体寸法特定部
8b 移動軌跡特定部
8c 軌跡全長特定部
8d 軌跡指示時間特定部
8e 連続撮像条件設定部
9 画像合成部
10 表示制御部
11 表示部
14 中央制御部
Claims (11)
- 撮像手段による移動体の撮像により生成された画像を表示する表示手段と、
ユーザによる操作入力手段の所定の入力操作に基づいて、前記表示手段の表示領域における前記移動体の想定される移動軌跡を特定する軌跡特定手段と、
前記撮像手段による前記移動体の連続撮像の前に、前記移動体の撮像タイミング及び撮像枚数により規定される当該連続撮像処理の開始から終了までの所要時間内での所定の時点までの経過を指示する経過指示画像を、前記軌跡特定手段により特定された前記移動軌跡に対応する形状で前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする撮像補助装置。 - 前記連続撮像処理は、予め指定した撮像間隔で予め指定した撮像枚数だけ、自動的に撮像を繰り返す処理であることを特徴とする請求項1に記載の撮像補助装置。
- 前記経過指示画像は、前記所要時間を前記移動軌跡の形状に沿って延在する略線状の線形画像の全体の長さで表すとともに、前記連続撮像処理の開始から所定時間が経過した時点を指示する時間指示標識を前記線形画像に対応するように移動させて表す画像を含み、
前記線形画像に対する前記時間指示標識の位置によって、前記所要時間に対して所定の時点までに経過した時間の割合を表すことを特徴とする請求項1又は2に記載の撮像補助装置。 - 前記表示制御手段は、更に、
ユーザによる操作入力手段の所定の入力操作に基づいて指定された、前記連続撮像処理における前記撮像手段による前記移動体の撮像タイミング及び撮像枚数のうちの少なくとも一方に基づいて、前記経過指示画像の表示態様を変化させて前記表示手段に表示させることを特徴とする請求項1〜3の何れか一項に記載の撮像補助装置。 - 前記経過指示画像は、前記所要時間を前記移動軌跡の形状に沿って延在する略線状の線形画像の全体の長さで表すとともに、前記所要時間内における前記移動体の撮像タイミングを指示するタイミング指示標識の画像を含むことを特徴とする請求項1〜4の何れか一項に記載の撮像補助装置。
- ユーザによる前記操作入力手段の入力操作に基づいて前記移動軌跡が入力指示される際の指示時間を特定する時間特定手段と、
この時間特定手段により特定された前記指示時間と前記連続撮像処理における前記撮像手段による前記移動体の撮像枚数とに基づいて、前記連続撮像処理における前記撮像手段による前記移動体の撮像タイミングを設定する第1設定手段と、を更に備えることを特徴とする請求項1〜5の何れか一項に記載の撮像補助装置。 - 前記表示手段の表示領域に表示される前記移動体の寸法を特定する寸法特定手段と、
ユーザによる前記操作入力手段の入力操作に基づいて前記移動軌跡が入力指示される際の指示速度を特定する速度特定手段と、
この速度特定手段により特定された前記指示速度と前記寸法特定手段により特定された前記移動体の寸法とに基づいて、前記連続撮像処理における前記撮像手段による前記移動体の撮像タイミング及び撮像枚数を設定する第2設定手段と、を更に備えることを特徴とする請求項1〜6の何れか一項に記載の撮像補助装置。 - 前記表示手段は、前記撮像手段により撮像されたライブビュー画像を表示し、
前記表示制御手段は、前記ライブビュー画像に重畳させて前記経過指示画像を前記表示手段に表示させることを特徴とする請求項1〜7の何れか一項に記載の撮像補助装置。 - 前記連続撮像処理にて前記撮像手段により連続して撮像された画像の各々から抽出された前記移動体の画像部分を所定の背景画像と合成して合成画像を生成する生成手段を更に備えることを特徴とする請求項1〜8の何れか一項に記載の撮像補助装置。
- 撮像手段による移動体の撮像により生成された画像を表示する表示手段を備える撮像補助装置を用いた撮像補助方法であって、
ユーザによる操作入力手段の所定の入力操作に基づいて、前記表示手段の表示領域における前記移動体の想定される移動軌跡を特定する処理と、
前記撮像手段による前記移動体の連続撮像の前に、前記移動体の撮像タイミング及び撮像枚数により規定される当該連続撮像処理の開始から終了までの所要時間内での所定の時点までの経過を指示する経過指示画像を、前記軌跡特定手段により特定された前記移動軌跡に対応する形状で前記表示手段に表示させる処理と、
を含むことを特徴とする撮像補助方法。 - 撮像手段による移動体の撮像により生成された画像を表示する表示手段を備える撮像補助装置のコンピュータを、
ユーザによる操作入力手段の所定の入力操作に基づいて、前記表示手段の表示領域における前記移動体の想定される移動軌跡を特定する軌跡特定手段、
前記撮像手段による前記移動体の連続撮像の前に、前記移動体の撮像タイミング及び撮像枚数により規定される当該連続撮像処理の開始から終了までの所要時間内での所定の時点までの経過を指示する経過指示画像を、前記軌跡特定手段により特定された前記移動軌跡に対応する形状で前記表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011009428A JP5703771B2 (ja) | 2011-01-20 | 2011-01-20 | 撮像補助装置、撮像補助方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011009428A JP5703771B2 (ja) | 2011-01-20 | 2011-01-20 | 撮像補助装置、撮像補助方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012151704A true JP2012151704A (ja) | 2012-08-09 |
JP2012151704A5 JP2012151704A5 (ja) | 2014-02-27 |
JP5703771B2 JP5703771B2 (ja) | 2015-04-22 |
Family
ID=46793534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011009428A Expired - Fee Related JP5703771B2 (ja) | 2011-01-20 | 2011-01-20 | 撮像補助装置、撮像補助方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5703771B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014064194A (ja) * | 2012-09-21 | 2014-04-10 | Olympus Imaging Corp | 撮像装置 |
JP2015032231A (ja) * | 2013-08-06 | 2015-02-16 | キヤノン株式会社 | 画像抽出方法及び画像抽出装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005452A (ja) * | 2004-06-15 | 2006-01-05 | Nippon Hoso Kyokai <Nhk> | 画像合成装置及び画像合成システム |
US20090231453A1 (en) * | 2008-02-20 | 2009-09-17 | Sony Corporation | Image processing apparatus, image processing method, and program |
US20100208094A1 (en) * | 2009-02-13 | 2010-08-19 | Casio Computer Co., Ltd. | Imaging apparatus, method for setting continuous shooting speed, and storage medium |
-
2011
- 2011-01-20 JP JP2011009428A patent/JP5703771B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005452A (ja) * | 2004-06-15 | 2006-01-05 | Nippon Hoso Kyokai <Nhk> | 画像合成装置及び画像合成システム |
US20090231453A1 (en) * | 2008-02-20 | 2009-09-17 | Sony Corporation | Image processing apparatus, image processing method, and program |
US20100208094A1 (en) * | 2009-02-13 | 2010-08-19 | Casio Computer Co., Ltd. | Imaging apparatus, method for setting continuous shooting speed, and storage medium |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014064194A (ja) * | 2012-09-21 | 2014-04-10 | Olympus Imaging Corp | 撮像装置 |
JP2015032231A (ja) * | 2013-08-06 | 2015-02-16 | キヤノン株式会社 | 画像抽出方法及び画像抽出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5703771B2 (ja) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5105550B2 (ja) | 画像合成装置及びプログラム | |
JP5163676B2 (ja) | 撮像装置、撮像方法及びプログラム | |
US20130063555A1 (en) | Image processing device that combines a plurality of images | |
US10397467B2 (en) | Imaging apparatus, image processing device, imaging method, and computer-readable recording medium | |
US10382704B2 (en) | Image processing device that generates a composite image | |
US10275917B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP2007266667A (ja) | カメラ付き携帯機器、その制御方法及びその撮影支援方法 | |
JP2013162333A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP5874626B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
KR20170000311A (ko) | 디지털 촬영 장치 및 그 동작 방법 | |
KR20150023602A (ko) | 화상 처리 장치, 화상 처리 방법 및 기억 매체 | |
JP2014127735A (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
JP5703771B2 (ja) | 撮像補助装置、撮像補助方法及びプログラム | |
JP5402166B2 (ja) | 画像合成装置及びプログラム | |
JP5267279B2 (ja) | 画像合成装置及びプログラム | |
JP2011066827A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009044329A (ja) | プログラム、画像処理方法および画像処理装置 | |
JP2009038478A (ja) | プログラム、画像処理装置、撮像装置および画像処理方法 | |
JP5402148B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP5892211B2 (ja) | 撮像装置、及びプログラム | |
JP5476900B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP2011110074A (ja) | 動画再生装置、及び、プログラム | |
JP5636660B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6322964B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP5942844B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5703771 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |