JP2011182014A - 撮像装置、撮像処理方法及びプログラム - Google Patents
撮像装置、撮像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2011182014A JP2011182014A JP2010041564A JP2010041564A JP2011182014A JP 2011182014 A JP2011182014 A JP 2011182014A JP 2010041564 A JP2010041564 A JP 2010041564A JP 2010041564 A JP2010041564 A JP 2010041564A JP 2011182014 A JP2011182014 A JP 2011182014A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- imaging
- unit
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】以前に撮像された画像との位置合わせ、及び当該位置合わせを行いながらの撮像を簡便なものとする。
【解決手段】撮像装置100であって、被写体非存在画像の撮像の際に、当該被写体非存在画像のライブビュー画像と被写体存在画像とを表示部10に表示させる表示制御部9と、被写体非存在画像と被写体存在画像との類似度を算出する類似度算出部8cと、算出された類似度を報知する表示部10とを備えている。
【選択図】図1
【解決手段】撮像装置100であって、被写体非存在画像の撮像の際に、当該被写体非存在画像のライブビュー画像と被写体存在画像とを表示部10に表示させる表示制御部9と、被写体非存在画像と被写体存在画像との類似度を算出する類似度算出部8cと、算出された類似度を報知する表示部10とを備えている。
【選択図】図1
Description
本発明は、撮像装置、撮像処理方法及びプログラムに関する。
従来、デジタルカメラなどの撮像装置にて、現に撮像している画像のライブビュー画像に重畳させて以前に撮像した画像を表示することで、これら二つの画像どうしの位置合わせを補助する技術が知られている(例えば、特許文献1参照)。
しかしながら、上記特許文献1の技術にあっては、ユーザは以前に撮像した画像と比較しながら撮像を行うことができるものの、画像どうしの位置合わせがどの程度成功しているのかを把握することができなかった。
そこで、本発明の課題は、以前に撮像された画像との位置合わせ、及び当該位置合わせを行いながらの撮像を簡便なものとすることができる撮像装置、撮像処理方法及びプログラムを提供することである。
上記課題を解決するため、請求項1に記載の発明の撮像装置は、
撮像手段と、画像を記憶する記憶手段と、記記憶手段に記憶されている第1の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示する表示制御手段と、この表示制御手段により前記表示手段に表示されている前記第1の画像と前記ライブビュー画像との類似度を算出する算出手段と、この算出手段によって算出された類似度を報知する報知手段と、を備えたことを特徴としている。
撮像手段と、画像を記憶する記憶手段と、記記憶手段に記憶されている第1の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示する表示制御手段と、この表示制御手段により前記表示手段に表示されている前記第1の画像と前記ライブビュー画像との類似度を算出する算出手段と、この算出手段によって算出された類似度を報知する報知手段と、を備えたことを特徴としている。
請求項2に記載の発明は、請求項1に記載の発明において、
前記第1の画像及び前記ライブビュー画像の各々を複数の画像領域に分割する分割手段を更に備え、前記算出手段は、前記分割手段により分割された前記第1の画像及び前記ライブビュー画像の対応する各画像領域の差分に基づいて前記類似度を算出することを特徴としている。
前記第1の画像及び前記ライブビュー画像の各々を複数の画像領域に分割する分割手段を更に備え、前記算出手段は、前記分割手段により分割された前記第1の画像及び前記ライブビュー画像の対応する各画像領域の差分に基づいて前記類似度を算出することを特徴としている。
請求項3に記載の発明は、請求項1又は2に記載の発明において、
前記算出手段によって算出された類似度が所定値以上であるか否かを判定する判定手段と、前記判定手段により類似度が所定値以上であると判定された場合に、第2の画像を撮像する第1の撮像制御手段とを更に備えることを特徴としている。
前記算出手段によって算出された類似度が所定値以上であるか否かを判定する判定手段と、前記判定手段により類似度が所定値以上であると判定された場合に、第2の画像を撮像する第1の撮像制御手段とを更に備えることを特徴としている。
請求項4に記載の発明は、請求項1又は2に記載の発明において、
前記撮像手段による第2の画像の撮像を指示する指示手段と、前記指示手段による指示に応じて、前記撮像手段により前記第2の画像を撮像する第2の撮像制御手段と、前記判定手段により類似度が所定値未満であると判定された場合は、前記第1の画像及び前記第2の画像を記録手段に記録させる記録制御手段とを更に備えることを特徴としている。
前記撮像手段による第2の画像の撮像を指示する指示手段と、前記指示手段による指示に応じて、前記撮像手段により前記第2の画像を撮像する第2の撮像制御手段と、前記判定手段により類似度が所定値未満であると判定された場合は、前記第1の画像及び前記第2の画像を記録手段に記録させる記録制御手段とを更に備えることを特徴としている。
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の発明において、
前記第1の画像から第2の画像との差分領域を切り抜いて切り抜き画像を生成する画像生成手段を更に備えることを特徴としている。
前記第1の画像から第2の画像との差分領域を切り抜いて切り抜き画像を生成する画像生成手段を更に備えることを特徴としている。
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の発明において、
前記表示制御手段は、前記第1の画像を前記ライブビュー画像に重ねて表示させることを特徴としている。
前記表示制御手段は、前記第1の画像を前記ライブビュー画像に重ねて表示させることを特徴としている。
請求項7に記載の発明は、請求項1〜6の何れか一項に記載の発明において、
前記報知手段は、前記類似度を示す情報を前記表示手段に表示させることを特徴としている。
前記報知手段は、前記類似度を示す情報を前記表示手段に表示させることを特徴としている。
請求項8に記載の発明の撮像処理方法は、
撮像手段と、画像を記憶する記憶手段とを備える撮像装置を用いた撮像処理方法であって、前記記憶手段に記憶されている第1の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる処理と、前記表示手段に表示されている前記第1の画像と前記ライブビュー画像との類似度を算出する処理と、算出された類似度を報知する処理と、を含むことを特徴としている。
撮像手段と、画像を記憶する記憶手段とを備える撮像装置を用いた撮像処理方法であって、前記記憶手段に記憶されている第1の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる処理と、前記表示手段に表示されている前記第1の画像と前記ライブビュー画像との類似度を算出する処理と、算出された類似度を報知する処理と、を含むことを特徴としている。
請求項9に記載の発明のプログラムは、
撮像手段と、画像を記憶する記憶手段とを備える撮像装置のコンピュータを、前記記憶手段に記憶されている第1の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる表示制御手段、前記表示手段に表示されている前記第1の画像と前記ライブビュー画像との類似度を算出する算出手段、この算出手段により算出された類似度を報知手段から報知させる報知制御手段、として機能させることを特徴としている。
撮像手段と、画像を記憶する記憶手段とを備える撮像装置のコンピュータを、前記記憶手段に記憶されている第1の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる表示制御手段、前記表示手段に表示されている前記第1の画像と前記ライブビュー画像との類似度を算出する算出手段、この算出手段により算出された類似度を報知手段から報知させる報知制御手段、として機能させることを特徴としている。
本発明によれば、以前に撮像された画像との位置合わせを容易にさせることができ、さらに、当該位置合わせを行いながらの撮像を簡便なものとすることができる。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
本実施形態の撮像装置100は、ライブビュー表示されている背景内に被写体Sが存在しない被写体非存在画像P2(図4(c)参照)と背景内に被写体Sが存在する被写体存在画像P1(図4(a)参照)とを表示部10に表示するとともに、被写体非存在画像P2と被写体存在画像P1との類似度を算出して、当該類似度を報知する。
具体的には、図1に示すように、撮像装置100は、レンズ部1と、電子撮像部2と、撮像制御部3と、画像データ生成部4と、画像メモリ5と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、表示制御部9と、表示部10と、記録媒体制御部11と、操作入力部12と、中央制御部13とを備えている。
また、撮像制御部3と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、中央制御部13は、例えば、カスタムLSI1Aとして設計されている。
具体的には、図1に示すように、撮像装置100は、レンズ部1と、電子撮像部2と、撮像制御部3と、画像データ生成部4と、画像メモリ5と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、表示制御部9と、表示部10と、記録媒体制御部11と、操作入力部12と、中央制御部13とを備えている。
また、撮像制御部3と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、中央制御部13は、例えば、カスタムLSI1Aとして設計されている。
レンズ部1は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部1は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
また、レンズ部1は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
電子撮像部2は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部1の各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部3は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部3は、タイミング発生器、ドライバにより電子撮像部2を走査駆動して、所定周期毎に光学像を電子撮像部2により二次元の画像信号に変換させ、当該電子撮像部2の撮像領域から1画面分ずつ画像フレームを読み出して画像データ生成部4に出力させる。このように、撮像制御部3及び電子撮像部2は、撮像手段を構成している。
また、撮像制御部3は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体の撮像条件の調整制御を行う。
また、撮像制御部3は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体の撮像条件の調整制御を行う。
画像データ生成部4は、電子撮像部2から転送された画像フレームのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。また、画像データ生成部4は、YUVデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度の縮小画像データを生成する。
カラープロセス回路から出力されるYUVデータは、図示しないDMAコントローラを介して、バッファメモリとして使用される画像メモリ5にDMA転送される。
カラープロセス回路から出力されるYUVデータは、図示しないDMAコントローラを介して、バッファメモリとして使用される画像メモリ5にDMA転送される。
画像メモリ5は、例えば、DRAM等により構成され、画像データ生成部4から転送された被写体存在画像P1や被写体非存在画像P2のYUVデータを一時的に記憶する。また、画像メモリ5は、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、中央制御部13等によって処理されるデータ等を一時的に記憶する。
特徴量演算部6は、背景内に被写体Sが存在しない被写体非存在画像P2を基準として、当該被写体非存在画像P2から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部6は、例えば、被写体非存在画像P2のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレート(例えば、16×16画素の正方形)として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
ブロックマッチング部7は、被写体切り抜き画像P3を生成する際に、被写体非存在画像P2と被写体存在画像P1の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像P1内のどこに対応するか、つまり、被写体存在画像P1内にてテンプレートの画素値が最適にマッチする位置(対応領域)を探索する。そして、画素値の相違度の評価値(例えば、差分二乗和(SSD)や差分絶対値和(SAD)等)が最も良かった被写体非存在画像P2と被写体存在画像P1間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
画像処理部8は、画像取得部8aと、分割部8bと、類似度算出部8cと、切抜画像生成部8dと、画像合成部8eとを具備している。
画像取得部8aは、画像メモリ(記憶手段)5に一時的に記憶されている被写体存在画像(第1の画像)P1のYUVデータを取得する。即ち、画像取得部8aは、被写体切り抜き処理(後述)にて、電子撮像部2及び撮像制御部3による被写体存在画像P1(図4(a)参照)の撮像後、画像データ生成部4から転送されて画像メモリ5に一時的に記憶された被写体存在画像P1のYUVデータを取得する。
分割部8bは、被写体存在画像P1及び被写体非存在画像P2の各々を複数の画像ブロックB、…に分割する。
即ち、分割部8bは、被写体切り抜き処理にて、画像取得部8aにより取得された被写体存在画像P1のYUVデータに基づいて、当該被写体存在画像P1全体を縦横がそれぞれ所定画素からなる複数の画像ブロックB、…に分割する(図4(b)参照)。また、分割部8bは、被写体切り抜き処理にて、画像取得部8aにより取得されたライブビュー表示されている被写体非存在画像P2のYUVデータに基づいて、当該被写体非存在画像P2全体を、被写体存在画像P1と同様に、縦横がそれぞれ所定画素からなる複数の画像ブロックB、…に分割する(図4(c)参照)。
なお、分割部8bによる処理対象となる被写体存在画像P1及び被写体非存在画像P2の画像データは、例えば、記録用として記録媒体11aに記録される高解像度の画像データであっても良いし、画像データ生成部4により生成されたライブビュー表示用の低解像度の縮小画像データであっても良いし、後述する類似度の算出用に調整された所定解像度の専用の画像データであっても良い。
このように、分割部8bは、被写体存在画像(第1の画像)P1及び被写体非存在画像(第2の画像)P2の各々を複数の画像ブロック(画像領域)B、…に分割する分割手段を構成している。
即ち、分割部8bは、被写体切り抜き処理にて、画像取得部8aにより取得された被写体存在画像P1のYUVデータに基づいて、当該被写体存在画像P1全体を縦横がそれぞれ所定画素からなる複数の画像ブロックB、…に分割する(図4(b)参照)。また、分割部8bは、被写体切り抜き処理にて、画像取得部8aにより取得されたライブビュー表示されている被写体非存在画像P2のYUVデータに基づいて、当該被写体非存在画像P2全体を、被写体存在画像P1と同様に、縦横がそれぞれ所定画素からなる複数の画像ブロックB、…に分割する(図4(c)参照)。
なお、分割部8bによる処理対象となる被写体存在画像P1及び被写体非存在画像P2の画像データは、例えば、記録用として記録媒体11aに記録される高解像度の画像データであっても良いし、画像データ生成部4により生成されたライブビュー表示用の低解像度の縮小画像データであっても良いし、後述する類似度の算出用に調整された所定解像度の専用の画像データであっても良い。
このように、分割部8bは、被写体存在画像(第1の画像)P1及び被写体非存在画像(第2の画像)P2の各々を複数の画像ブロック(画像領域)B、…に分割する分割手段を構成している。
類似度算出部8cは、被写体存在画像P1と被写体非存在画像P2との類似度を算出する。
即ち、類似度算出部8cは、分割部8bにより分割された被写体存在画像P1と被写体非存在画像P2との間で対応する各画像ブロックBの差分情報を生成し、当該差分情報に基づいて類似度を算出する。具体的には、類似度算出部8cは、各画像ブロックBの差分情報として、例えば、各画像ブロックBの平均色や輝度などの差分(相違度)を算出して、当該算出結果を差分情報とする。そして、類似度算出部8cは、差分が所定の閾値以下となる画像ブロックBの数を計数し、当該画像ブロック数の全体の総画像ブロック数に対する割合を算出して、当該算出結果を類似度とする。つまり、全体の総画像ブロック数に対して差分が所定の閾値以下となる画像ブロック数の割合が高いほど類似度が高くなる。
このように、類似度算出部8cは、電子撮像部2及び撮像制御部3により撮像された被写体非存在画像(第2の画像)P2と、画像取得部8aにより取得された被写体存在画像(第1の画像)P1との類似度を算出する算出手段を構成している。
即ち、類似度算出部8cは、分割部8bにより分割された被写体存在画像P1と被写体非存在画像P2との間で対応する各画像ブロックBの差分情報を生成し、当該差分情報に基づいて類似度を算出する。具体的には、類似度算出部8cは、各画像ブロックBの差分情報として、例えば、各画像ブロックBの平均色や輝度などの差分(相違度)を算出して、当該算出結果を差分情報とする。そして、類似度算出部8cは、差分が所定の閾値以下となる画像ブロックBの数を計数し、当該画像ブロック数の全体の総画像ブロック数に対する割合を算出して、当該算出結果を類似度とする。つまり、全体の総画像ブロック数に対して差分が所定の閾値以下となる画像ブロック数の割合が高いほど類似度が高くなる。
このように、類似度算出部8cは、電子撮像部2及び撮像制御部3により撮像された被写体非存在画像(第2の画像)P2と、画像取得部8aにより取得された被写体存在画像(第1の画像)P1との類似度を算出する算出手段を構成している。
切抜画像生成部8dは、被写体切り抜き画像(図5(b)参照)P3の画像データを生成する。具体的には、切抜画像生成部8dは、図示は省略するが、位置合わせ部と、被写体画像抽出部と、位置情報生成部と、画像生成部等を備えている。
位置合わせ部は、被写体非存在画像P2から抽出した特徴点に基づいて、被写体非存在画像P2に対する被写体存在画像P1の各画素の座標変換式(射影変換行列)を算出し、当該座標変換式に従って被写体存在画像P1を座標変換して被写体非存在画像P2と位置合わせを行う。
被写体画像抽出部は、位置合わせ部により位置合わせされた被写体存在画像P1と被写体非存在画像P2との間で対応する各画素の差分情報を生成し、当該差分情報を基準として差分の大きい又は差分のある領域(差分領域)を被写体Sが含まれる領域とし、被写体存在画像P1からその領域、つまり被写体画像Gを抽出する。
位置情報生成部は、被写体存在画像P1から抽出された被写体画像Gの位置を特定して、被写体存在画像P1における被写体画像Gの位置を示す位置情報(例えば、アルファマップ)を生成する。ここで、アルファマップとは、被写体存在画像P1の各画素について、被写体画像Gを所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したものである。
画像生成部は、生成されたアルファマップに基づいて、被写体存在画像P1の各画素のうち、アルファ値が1の画素を所定の単一色画像(図示略)に対して透過させずに、且つ、アルファ値が0の画素を透過させるように、被写体画像Gを所定の単一色画像と合成して被写体切り抜き画像P3の画像データを生成する。
位置合わせ部は、被写体非存在画像P2から抽出した特徴点に基づいて、被写体非存在画像P2に対する被写体存在画像P1の各画素の座標変換式(射影変換行列)を算出し、当該座標変換式に従って被写体存在画像P1を座標変換して被写体非存在画像P2と位置合わせを行う。
被写体画像抽出部は、位置合わせ部により位置合わせされた被写体存在画像P1と被写体非存在画像P2との間で対応する各画素の差分情報を生成し、当該差分情報を基準として差分の大きい又は差分のある領域(差分領域)を被写体Sが含まれる領域とし、被写体存在画像P1からその領域、つまり被写体画像Gを抽出する。
位置情報生成部は、被写体存在画像P1から抽出された被写体画像Gの位置を特定して、被写体存在画像P1における被写体画像Gの位置を示す位置情報(例えば、アルファマップ)を生成する。ここで、アルファマップとは、被写体存在画像P1の各画素について、被写体画像Gを所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したものである。
画像生成部は、生成されたアルファマップに基づいて、被写体存在画像P1の各画素のうち、アルファ値が1の画素を所定の単一色画像(図示略)に対して透過させずに、且つ、アルファ値が0の画素を透過させるように、被写体画像Gを所定の単一色画像と合成して被写体切り抜き画像P3の画像データを生成する。
画像合成部8eは、被写体切り抜き画像P3の被写体画像Gと所定の背景画像(図示略)とを合成して被写体合成画像(図示略)を生成する。
即ち、画像合成部8eは、ユーザによる操作入力部12の所定操作に基づいて、記録媒体11aから所望の被写体切り抜き画像P3及び背景画像を取得する。そして、画像合成部8eは、当該背景画像の各画素のうち、アルファ値が0の画素は透過させ、アルファ値が1の画素は被写体切り抜き画像P3の対応する画素の画素値で上書きし、さらに、背景画像の各画素のうち、アルファ値が0<α<1の画素は1の補数(1−α)を用いて被写体画像Gを切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて被写体切り抜き画像P3を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像P3から減算し、それを被写体画像Gを切り抜いた画像(背景画像×(1−α))と合成する。
即ち、画像合成部8eは、ユーザによる操作入力部12の所定操作に基づいて、記録媒体11aから所望の被写体切り抜き画像P3及び背景画像を取得する。そして、画像合成部8eは、当該背景画像の各画素のうち、アルファ値が0の画素は透過させ、アルファ値が1の画素は被写体切り抜き画像P3の対応する画素の画素値で上書きし、さらに、背景画像の各画素のうち、アルファ値が0<α<1の画素は1の補数(1−α)を用いて被写体画像Gを切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて被写体切り抜き画像P3を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像P3から減算し、それを被写体画像Gを切り抜いた画像(背景画像×(1−α))と合成する。
表示制御部9は、画像メモリ5に一時的に記憶されている表示用画像データを読み出して表示部10に表示させる制御を行う。
具体的には、表示制御部9は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部13の制御下にて画像メモリ5から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部10に出力する。
表示部10は、例えば、液晶表示装置であり、表示制御部9からのビデオ信号に基づいてライブビュー画像やレックビュー画像などを表示画面10aに表示する。
即ち、表示制御部9は、撮像モードにて、電子撮像部2及び撮像制御部3による被写体Sの撮像により生成された複数の画像フレームに基づいてライブビュー画像や、本撮像画像として撮像されたレックビュー画像などを表示部10の表示画面10aに表示させる。
具体的には、表示制御部9は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部13の制御下にて画像メモリ5から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部10に出力する。
表示部10は、例えば、液晶表示装置であり、表示制御部9からのビデオ信号に基づいてライブビュー画像やレックビュー画像などを表示画面10aに表示する。
即ち、表示制御部9は、撮像モードにて、電子撮像部2及び撮像制御部3による被写体Sの撮像により生成された複数の画像フレームに基づいてライブビュー画像や、本撮像画像として撮像されたレックビュー画像などを表示部10の表示画面10aに表示させる。
また、表示制御部9は、電子撮像部2及び撮像制御部3により撮像された被写体非存在画像P2のライブビュー画像を表示部10の表示画面10aに表示させる際に、当該ライブビュー画像に重畳させて、被写体存在画像P1の半透過の表示態様の画像(図中、破線で図示)を表示部10の表示画面10aに表示させる(図5(a)参照)。具体的には、表示制御部9は、例えば、被写体存在画像P1のうち、縁部から所定の画素数分の周縁領域を削除したものを半透過の表示態様として、被写体非存在画像P2のライブビュー画像に重畳させて表示部10の表示画面10aに表示させる。なお、表示制御部9は、被写体存在画像P1全体を半透過の表示態様として表示部10に表示させるようにしても良い。つまり、表示制御部9は、被写体存在画像P1と被写体非存在画像P2とを表示部10の表示画面10aに同時に表示させる。
このように、表示制御部9は、電子撮像部2及び撮像制御部3により撮像された被写体非存在画像(第2の画像)P2と、画像取得部8aにより取得された被写体存在画像(第1の画像)P1とを表示部10に表示させる表示制御手段を構成している。
このように、表示制御部9は、電子撮像部2及び撮像制御部3により撮像された被写体非存在画像(第2の画像)P2と、画像取得部8aにより取得された被写体存在画像(第1の画像)P1とを表示部10に表示させる表示制御手段を構成している。
また、表示制御部9は、類似度算出部8cにより算出された被写体存在画像P1と被写体非存在画像P2との類似度を表示部10の表示画面10aに表示させる(図5(a)参照)。具体的には、表示制御部9は、被写体存在画像P1と被写体非存在画像P2との類似度を、例えば、プログレスバー(プログレスメーター)の形式で表示したり、百分率(パーセンテージ)の形式(例えば、「背景撮影一致度は○○%です」等)で数値化して表示する。なお、当該類似度の表示部10の表示画面10aにおける表示位置は、如何なる場所であっても良いが、例えば、図5(a)にあっては、表示画面10aに向かって左上部を例示している。
このように、表示部10及び表示制御部9は、類似度算出部8cによって算出された被写体存在画像P1と被写体非存在画像P2との類似度を報知する報知手段を構成している。
このように、表示部10及び表示制御部9は、類似度算出部8cによって算出された被写体存在画像P1と被写体非存在画像P2との類似度を報知する報知手段を構成している。
なお、被写体存在画像P1と被写体非存在画像P2との類似度の報知の態様として、表示部10による当該類似度の表示を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、類似度の報知の態様は、人の五感、特に、視覚、聴覚、触覚等によって当該類似度を把握、認識させることができる方法であれば如何なる態様であっても良く、例えば、類似度を音(音声など)や振動により報知するようにしても良い。
即ち、類似度の報知の態様は、人の五感、特に、視覚、聴覚、触覚等によって当該類似度を把握、認識させることができる方法であれば如何なる態様であっても良く、例えば、類似度を音(音声など)や振動により報知するようにしても良い。
記録媒体制御部11は、記録媒体11aが着脱自在に構成され、装着された記録媒体11aからのデータの読み出しや記録媒体11aに対するデータの書き込みを制御する。即ち、記録媒体制御部11は、画像処理部8のJPEG圧縮部(図示略)により符号化された撮像画像の記録用の画像データを記録媒体11aに記録させる。
また、記録媒体制御部11は、切抜画像生成部8dにより生成されたアルファマップと被写体切り抜き画像P3の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像P3の画像データの拡張子を「.jpe」として記録媒体11aに記録させる。
さらに、記録媒体制御部11は、切抜画像生成部8dにより生成されたアルファマップと画像合成部8eにより生成された被写体合成画像の画像データをそれぞれ圧縮した上で対応付けて、当該被写体合成画像の画像データの拡張子を「.jpg」として記録媒体11aに記録させる。
また、記録媒体制御部11は、切抜画像生成部8dにより生成されたアルファマップと被写体切り抜き画像P3の画像データをそれぞれ圧縮した上で対応付けて、当該被写体切り抜き画像P3の画像データの拡張子を「.jpe」として記録媒体11aに記録させる。
さらに、記録媒体制御部11は、切抜画像生成部8dにより生成されたアルファマップと画像合成部8eにより生成された被写体合成画像の画像データをそれぞれ圧縮した上で対応付けて、当該被写体合成画像の画像データの拡張子を「.jpg」として記録媒体11aに記録させる。
なお、記録媒体11aは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
操作入力部12は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部12は、画像の撮像記録指示に係るシャッタボタン12a、撮像モードや機能等の選択指示に係る選択決定用ボタン12b、ズーム量の調整指示に係るズームボタン(図示略)等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部13に出力する。
中央制御部13は、撮像装置100の各部を制御するものである。具体的には、中央制御部13は、CPU、RAM、ROM(何れも図示略)を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
次に、撮像装置100による被写体切り抜き処理について、図2〜図5を参照して説明する。
図2及び図3は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図4(a)〜図4(c)並びに図5(a)及び図5(b)は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
図2及び図3は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図4(a)〜図4(c)並びに図5(a)及び図5(b)は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
被写体切り抜き処理は、ユーザによる操作入力部12の選択決定用ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図2に示すように、先ず、表示制御部9は、電子撮像部2による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部10の表示画面10aに表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P1の撮像指示メッセージ(例えば、「切り抜きたい被写体を撮影してください。」等)を表示部10の表示画面10aに表示させる(ステップS1)。
図2に示すように、先ず、表示制御部9は、電子撮像部2による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部10の表示画面10aに表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P1の撮像指示メッセージ(例えば、「切り抜きたい被写体を撮影してください。」等)を表示部10の表示画面10aに表示させる(ステップS1)。
次に、中央制御部13は、ユーザによる操作入力部12のシャッタボタン12aの所定操作に基づいて撮像指示が入力されたか否かを判定する(ステップS2)。ここで、撮像指示が入力されたと判定されると(ステップS2;YES)、撮像制御部3は、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の撮像条件を調整させて、被写体存在画像P1(図4(a)参照)の光学像を所定の条件で電子撮像部2により撮像させる(ステップS3)。
そして、画像データ生成部4は、電子撮像部2から転送された被写体存在画像P1のYUVデータを生成した後、当該被写体存在画像P1のYUVデータを画像メモリ5に一時的に記憶させる。
また、撮像制御部3は、当該被写体存在画像P1の撮像の際の合焦位置や露出条件やホワイトバランス等の撮像条件を固定した状態を維持する。
そして、画像データ生成部4は、電子撮像部2から転送された被写体存在画像P1のYUVデータを生成した後、当該被写体存在画像P1のYUVデータを画像メモリ5に一時的に記憶させる。
また、撮像制御部3は、当該被写体存在画像P1の撮像の際の合焦位置や露出条件やホワイトバランス等の撮像条件を固定した状態を維持する。
続けて、画像処理部8の画像取得部8aは、画像メモリ5に一時的に記憶されている被写体存在画像P1のYUVデータを取得した後、分割部8bは、当該被写体存在画像P1全体を所定の大きさの複数の画像ブロックB、…に分割する(ステップS4)。
次に、画像処理部8の画像取得部8aは、電子撮像部2により撮像され、画像データ生成部4から転送されて画像メモリ5に一時的に記憶されたライブビュー画像に係る複数の画像フレームのYUVデータを順次取得していき、分割部8bは、取得されたライブビュー画像の各々について、当該画像全体を被写体存在画像P1と同様に所定の大きさの複数の画像ブロックB、…に分割する(ステップS5)。
ここで、被写体存在画像P1の撮像後、被写体Sが画角内から移動するか、或いは、被写体Sを画角外に移動させることで、画角内に被写体Sが存在しない状態で撮像されるライブビュー画像は、被写体非存在画像P2を構成する。
ここで、被写体存在画像P1の撮像後、被写体Sが画角内から移動するか、或いは、被写体Sを画角外に移動させることで、画角内に被写体Sが存在しない状態で撮像されるライブビュー画像は、被写体非存在画像P2を構成する。
続けて、画像処理部8の類似度算出部8cは、被写体存在画像P1とライブビュー表示されている被写体非存在画像P2との間で対応する各画像ブロックBの平均色や輝度などの差分(相違度)を算出した後、当該差分が所定の閾値以下となる画像ブロック数の全体の総画像ブロック数に対する割合(例えば、百分率)を類似度として算出する(ステップS6)。
そして、表示制御部9は、電子撮像部2により撮像された複数の画像フレームに基づいて、被写体非存在画像P2のライブビュー画像を表示部10の表示画面10aに表示させるとともに、類似度算出部8cにより算出された被写体存在画像P1と被写体非存在画像P2との類似度を表示部10の表示画面10aに表示させる(ステップS7;図5(a)参照)。さらに、表示制御部9は、被写体非存在画像P2のライブビュー画像に重畳させて、被写体存在画像P1の半透過の表示態様の画像と被写体非存在画像P2の撮像指示メッセージ(例えば、「被写体のいない状態で、背景だけを撮影してください。」等)を表示部10の表示画面10aに表示させる。
そして、表示制御部9は、電子撮像部2により撮像された複数の画像フレームに基づいて、被写体非存在画像P2のライブビュー画像を表示部10の表示画面10aに表示させるとともに、類似度算出部8cにより算出された被写体存在画像P1と被写体非存在画像P2との類似度を表示部10の表示画面10aに表示させる(ステップS7;図5(a)参照)。さらに、表示制御部9は、被写体非存在画像P2のライブビュー画像に重畳させて、被写体存在画像P1の半透過の表示態様の画像と被写体非存在画像P2の撮像指示メッセージ(例えば、「被写体のいない状態で、背景だけを撮影してください。」等)を表示部10の表示画面10aに表示させる。
その後、中央制御部13は、ユーザによる操作入力部12のシャッタボタン12aの所定操作に基づいて、撮像指示が入力されたか否かを判定する(ステップS8)。そして、ユーザにより被写体非存在画像P2が被写体存在画像P1の半透過の画像と重なるようにカメラ位置が調整され、操作入力部12のシャッタボタン12aが所定操作されて撮像指示が入力されたと判定されると(ステップS8;YES)、撮像制御部3は、被写体非存在画像P2(図5(a)参照)の光学像を被写体存在画像P1の撮像後に固定された撮像条件で電子撮像部2により撮像させる(ステップS9)。
そして、画像データ生成部4は、電子撮像部2から転送された被写体非存在画像P2のYUVデータを生成した後、当該被写体非存在画像P2のYUVデータを画像メモリ5に一時的に記憶させる。
そして、画像データ生成部4は、電子撮像部2から転送された被写体非存在画像P2のYUVデータを生成した後、当該被写体非存在画像P2のYUVデータを画像メモリ5に一時的に記憶させる。
図3に示すように、次に、中央制御部13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、画像メモリ5に一時的に記憶されている被写体非存在画像P2のYUVデータを基準として、被写体存在画像P1のYUVデータを射影変換させるための射影変換行列を所定の画像変換モデル(例えば、相似変換モデル、或いは合同変換モデル)で算出させる(ステップS10)。
具体的には、特徴量演算部6は、被写体非存在画像P2のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像P1内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像P2と被写体存在画像P1間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、切抜画像生成部8dの位置合わせ部は、ブロックマッチング部7により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像P1の射影変換行列を算出する。
具体的には、特徴量演算部6は、被写体非存在画像P2のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像P1内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像P2と被写体存在画像P1間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、切抜画像生成部8dの位置合わせ部は、ブロックマッチング部7により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像P1の射影変換行列を算出する。
次に、切抜画像生成部8dの位置合わせ部は、算出された射影変換行例に基づいて被写体存在画像P1を射影変換することで、被写体存在画像P1のYUVデータと被写体非存在画像P2のYUVデータとを位置合わせする処理を行う(ステップS11)。
そして、切抜画像生成部8dの被写体画像抽出部は、被写体存在画像P1から被写体Sが含まれる被写体画像Gを抽出する処理を行う(ステップS12)。
具体的には、被写体画像抽出部は、被写体存在画像P1のYUVデータと被写体非存在画像P2のYUVデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体画像抽出部は、ローパスフィルタをかけた被写体存在画像P1と被写体非存在画像P2との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体画像抽出部は、各画素に係る相違度マップを所定の閾値で2値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体画像抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体画像Gとして特定し、収縮分を修正するための膨張処理を行う。
具体的には、被写体画像抽出部は、被写体存在画像P1のYUVデータと被写体非存在画像P2のYUVデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体画像抽出部は、ローパスフィルタをかけた被写体存在画像P1と被写体非存在画像P2との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体画像抽出部は、各画素に係る相違度マップを所定の閾値で2値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体画像抽出部は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体画像Gとして特定し、収縮分を修正するための膨張処理を行う。
次に、切抜画像生成部8dの位置情報生成部は、抽出された被写体画像Gの被写体存在画像P1内での位置を示すアルファマップを生成する(ステップS13)。
その後、切抜画像生成部8dの画像生成部は、被写体画像Gを所定の単一色画像と合成した被写体切り抜き画像P3(図5(b)参照)の画像データを生成する処理を行う(ステップS14)。
具体的には、画像生成部は、被写体存在画像P1、単一色画像及びアルファマップを読み出して画像メモリ5に展開した後、被写体存在画像P1の全ての画素について、アルファ値が0の画素については(α=0)、透過させ、アルファ値が0<α<1の画素については(0<α<1)、所定の単一色とブレンディングを行い、アルファ値が1の画素については(α=1)、何もせずに所定の単一色に対して透過させないようにする。
具体的には、画像生成部は、被写体存在画像P1、単一色画像及びアルファマップを読み出して画像メモリ5に展開した後、被写体存在画像P1の全ての画素について、アルファ値が0の画素については(α=0)、透過させ、アルファ値が0<α<1の画素については(0<α<1)、所定の単一色とブレンディングを行い、アルファ値が1の画素については(α=1)、何もせずに所定の単一色に対して透過させないようにする。
その後、記録媒体制御部11は、記録媒体11aの所定の記録領域に、切抜画像生成部8dの位置情報生成部により生成されたアルファマップと被写体切り抜き画像P3の画像データとを対応付けて一ファイルで記録させる(ステップS15)。
これにより、被写体切り抜き処理を終了する。
これにより、被写体切り抜き処理を終了する。
次に、撮像装置100による背景画像撮像処理について、図6を参照して説明する。
図6は、背景画像撮像処理に係る動作の一例を示すフローチャートである。
図6は、背景画像撮像処理に係る動作の一例を示すフローチャートである。
背景画像撮像処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部12の選択決定用ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。
図6に示すように、先ず、表示制御部9は、電子撮像部2及び撮像制御部3による背景画像の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部10の表示画面10aに表示させる(ステップS21)。
図6に示すように、先ず、表示制御部9は、電子撮像部2及び撮像制御部3による背景画像の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部10の表示画面10aに表示させる(ステップS21)。
次に、中央制御部13は、ユーザによる操作入力部12のシャッタボタン12aの所定操作に基づいて撮像指示が入力されたか否かを判定する(ステップS22)。ここで、撮像指示が入力されたと判定されると(ステップS22;YES)、撮像制御部3は、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の条件を調整させて、背景画像の光学像を所定の条件で電子撮像部2により撮像させる(ステップS23)。
そして、画像データ生成部4は、電子撮像部2から転送された背景画像のYUVデータを生成する。
そして、画像データ生成部4は、電子撮像部2から転送された背景画像のYUVデータを生成する。
続けて、記録媒体制御部11は、記録媒体11aの所定の記録領域に背景画像のYUVデータを記録させる(ステップS24)。
これにより、背景画像撮像処理を終了する。
これにより、背景画像撮像処理を終了する。
次に、撮像装置100による合成画像生成処理について、図7及び図8を参照して説明する。
図7は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図8は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
図7は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図8は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
合成画像生成処理は、ユーザによる操作入力部12の選択決定用ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
図7に示すように、先ず、ユーザによる操作入力部12の選択決定用ボタン12bの所定操作に基づいて、記録媒体11aに記録されている複数の画像の中で所望の背景画像が選択されて指定されると、画像処理部8は、指定された背景画像の画像データを読み出して画像メモリ5に展開する(ステップS31)。
図7に示すように、先ず、ユーザによる操作入力部12の選択決定用ボタン12bの所定操作に基づいて、記録媒体11aに記録されている複数の画像の中で所望の背景画像が選択されて指定されると、画像処理部8は、指定された背景画像の画像データを読み出して画像メモリ5に展開する(ステップS31)。
次に、ユーザによる操作入力部12の選択決定用ボタン12bの所定操作に基づいて、記録媒体11aに記録されている複数の画像の中で所望の被写体切り抜き画像P3(図5(b)参照)が選択されて指定されると、画像処理部8は、指定された被写体切り抜き画像P3の画像データを読み出して画像メモリ5に展開する(ステップS32)。
なお、背景画像の指定及び当該画像の読み出しを行った後、被写体切り抜き画像P3の指定及び当該画像の読み出しを行うようにしたが、処理の順序はこれに限られるものではなく、被写体切り抜き画像P3の指定及び当該画像の読み出しを行った後、背景画像の指定及び当該画像の読み出しを行うようにしても良い。また、背景画像及び被写体切り抜き画像P3の両方を所定の順序で指定した後、これらの画像を所定の順序で読み出すようにしても良い。
次に、ユーザによる操作入力部12の選択決定用ボタン12bの所定操作に基づいて、ユーザ所望の被写体切り抜き画像P3の被写体画像Gの合成位置が指定されると(ステップS33)、中央制御部13は、背景画像と被写体切り抜き画像P3の被写体画像Gを合成する画像合成処理を画像合成部8eに行わせる(ステップS34)。
以下に、画像合成処理について図8を参照して詳細に説明する。
図8に示すように、画像合成部8eは、先ず、被写体切り抜き画像P3と対応付けて記録されているアルファマップを読み出して画像メモリ5に展開する(ステップS41)。
なお、背景画像における被写体切り抜き画像P3の合成位置や合成サイズが決定された際に、背景画像とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α=0としてアルファ値が存在しない領域を生じさせないようにする。
図8に示すように、画像合成部8eは、先ず、被写体切り抜き画像P3と対応付けて記録されているアルファマップを読み出して画像メモリ5に展開する(ステップS41)。
なお、背景画像における被写体切り抜き画像P3の合成位置や合成サイズが決定された際に、背景画像とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α=0としてアルファ値が存在しない領域を生じさせないようにする。
次に、画像合成部8eは、背景画像の何れか一の画素(例えば、左上隅部の画素)を指定して(ステップS42)、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる(ステップS43)。具体的には、画像合成部8eは、背景画像の何れか一の画素のうち、アルファ値が1の画素については(ステップS43;α=1)、被写体切り抜き画像P3の対応する画素の画素値で上書きし(ステップS44)、アルファ値が0<α<1の画素については(ステップS43;0<α<1)、1の補数(1−α)を用いて被写体画像Gを切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて被写体切り抜き画像P3を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像P3から減算し、それを被写体画像Gを切り抜いた画像(背景画像×(1−α))と合成し(ステップS45)、アルファ値が0の画素については(ステップS43;α=0)、何もせずに背景画像を透過さるようにする。
続けて、画像合成部8eは、背景画像の全ての画素について処理したか否かを判定する(ステップS46)。
ここで、全ての画素について処理していないと判定されると(ステップS46;NO)、画像合成部8eは、処理対象として次の画素を指定して当該画素に処理対象を移動させて(ステップS47)、処理をステップS43に移行する。
上記の処理を、ステップS46にて全ての画素について処理したと判定されるまで(ステップS46;YES)、繰り返すことで、画像合成部8eは、被写体切り抜き画像P3と背景画像とを合成した被写体合成画像の画像データを生成させる。
これにより、画像合成処理を終了する。
ここで、全ての画素について処理していないと判定されると(ステップS46;NO)、画像合成部8eは、処理対象として次の画素を指定して当該画素に処理対象を移動させて(ステップS47)、処理をステップS43に移行する。
上記の処理を、ステップS46にて全ての画素について処理したと判定されるまで(ステップS46;YES)、繰り返すことで、画像合成部8eは、被写体切り抜き画像P3と背景画像とを合成した被写体合成画像の画像データを生成させる。
これにより、画像合成処理を終了する。
図7に示すように、次に、表示制御部9は、画像合成部8eにより生成された被写体合成画像の画像データに基づいて、背景画像に被写体画像Gが重畳された被写体合成画像を表示部10の表示画面10aに表示させる(ステップS35)。
これにより、合成画像生成処理を終了する。
これにより、合成画像生成処理を終了する。
以上のように、本実施形態の撮像装置100によれば、背景内に被写体Sが存在する被写体存在画像P1の撮像後、ライブビュー表示されている背景内に被写体Sが存在しない被写体非存在画像P2の撮像の際に、当該被写体非存在画像P2と被写体存在画像P1とを同一の表示部10に同時に表示する。このとき、被写体非存在画像P2と被写体存在画像P1との類似度を算出、より具体的には、被写体存在画像P1及び被写体非存在画像P2の分割された複数の画像ブロックB、…の差分に基づいて類似度を算出し、当該類似度を表示部10に表示して報知することで、被写体非存在画像P2と被写体存在画像P1との類似度、即ち、これら画像どうしの位置合わせがどの程度成功しているのか(成功レベル)をユーザに視認させることができる。
従って、被写体非存在画像P2の撮像に際して、被写体存在画像P1に対する類似度をユーザに把握させることができ、現に撮像される被写体非存在画像P2とそれ以前に撮像された被写体存在画像P1との位置合わせの容易化を図ることができる。この結果、被写体存在画像P1に対する位置合わせを行いながらの被写体非存在画像P2の撮像を簡便なものとすることができる。
従って、被写体非存在画像P2の撮像に際して、被写体存在画像P1に対する類似度をユーザに把握させることができ、現に撮像される被写体非存在画像P2とそれ以前に撮像された被写体存在画像P1との位置合わせの容易化を図ることができる。この結果、被写体存在画像P1に対する位置合わせを行いながらの被写体非存在画像P2の撮像を簡便なものとすることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置100の変形例について説明する。なお、以下の変形例にあっては、上記実施形態と異なる構成のみを説明し、それ以外の構成については、上記実施形態と略同様となっている。
以下に、撮像装置100の変形例について説明する。なお、以下の変形例にあっては、上記実施形態と異なる構成のみを説明し、それ以外の構成については、上記実施形態と略同様となっている。
<変形例1>
以下に、変形例1の撮像装置100について図9及び図10を参照して説明する。
図9は、変形例1の撮像装置100の概略構成を示すブロック図である。
変形例1の撮像装置100は、被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上であるか否かを判定する。そして、撮像装置100は、当該類似度が所定値以上であると判定された場合に、被写体非存在画像P2を自動的に撮像して、この被写体非存在画像P2及び被写体存在画像P1から被写体切り抜き画像P3を生成する一方で、当該類似度が所定値未満であると判定された場合に、被写体切り抜き画像P3を生成する処理を行わずに、被写体非存在画像P2及び被写体存在画像P1を記録媒体11aに記録する。
以下に、変形例1の撮像装置100について図9及び図10を参照して説明する。
図9は、変形例1の撮像装置100の概略構成を示すブロック図である。
変形例1の撮像装置100は、被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上であるか否かを判定する。そして、撮像装置100は、当該類似度が所定値以上であると判定された場合に、被写体非存在画像P2を自動的に撮像して、この被写体非存在画像P2及び被写体存在画像P1から被写体切り抜き画像P3を生成する一方で、当該類似度が所定値未満であると判定された場合に、被写体切り抜き画像P3を生成する処理を行わずに、被写体非存在画像P2及び被写体存在画像P1を記録媒体11aに記録する。
図9に示すように、画像処理部8は、画像取得部8aと、分割部8bと、類似度算出部8cと、切抜画像生成部8dと、画像合成部8eとに加えて、類似度判定部8fを具備している。
類似度判定部8fは、類似度算出部8cによって算出された被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上であるか否かを判定する。
ここで、当該類似度の判定に係る所定値(判定値)は、予め設定された所定の固定値であっても良いし、ユーザによる操作入力部12の所定操作に基づいて手動で、或いは、類似度判定部8fや中央制御部13等が自動的に適宜任意に変更可能としても良い。即ち、例えば、画像処理部8に被写体存在画像P1から所定の顔検出方法により顔を検出する顔検出部(図示略)を具備しておき、類似度判定部8fは、顔検出部により検出された顔や顔検出枠(図示略)の大きさの被写体存在画像P1全体に対する割合に応じて、当該類似度の判定値を変更するようにしても良い。具体的には、類似度判定部8fは、顔や顔検出枠の大きさの被写体存在画像P1全体に対する割合が大きくなるほど被写体S以外の領域が狭くなることから、被写体存在画像P1と被写体非存在画像P2との差が大きくなるので、当該類似度の判定値(閾値)を下げる(緩くする)。また一方で、類似度判定部8fは、顔や顔検出枠の大きさの被写体存在画像P1全体に対する割合が小さくなるほど被写体S以外の領域が広くなることから、被写体存在画像P1と被写体非存在画像P2との差が小さくなるので、当該類似度の判定値を上げる(厳しくする)。
このように、類似度判定部8fは、類似度算出部8cによって算出された被写体存在画像(第1の画像)P1と被写体非存在画像(第2の画像)P2との類似度が所定値以上であるか否かを判定する判定手段を構成している。
ここで、当該類似度の判定に係る所定値(判定値)は、予め設定された所定の固定値であっても良いし、ユーザによる操作入力部12の所定操作に基づいて手動で、或いは、類似度判定部8fや中央制御部13等が自動的に適宜任意に変更可能としても良い。即ち、例えば、画像処理部8に被写体存在画像P1から所定の顔検出方法により顔を検出する顔検出部(図示略)を具備しておき、類似度判定部8fは、顔検出部により検出された顔や顔検出枠(図示略)の大きさの被写体存在画像P1全体に対する割合に応じて、当該類似度の判定値を変更するようにしても良い。具体的には、類似度判定部8fは、顔や顔検出枠の大きさの被写体存在画像P1全体に対する割合が大きくなるほど被写体S以外の領域が狭くなることから、被写体存在画像P1と被写体非存在画像P2との差が大きくなるので、当該類似度の判定値(閾値)を下げる(緩くする)。また一方で、類似度判定部8fは、顔や顔検出枠の大きさの被写体存在画像P1全体に対する割合が小さくなるほど被写体S以外の領域が広くなることから、被写体存在画像P1と被写体非存在画像P2との差が小さくなるので、当該類似度の判定値を上げる(厳しくする)。
このように、類似度判定部8fは、類似度算出部8cによって算出された被写体存在画像(第1の画像)P1と被写体非存在画像(第2の画像)P2との類似度が所定値以上であるか否かを判定する判定手段を構成している。
撮像制御部3は、類似度判定部8fにより被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上であると判定されると、被写体切り抜き画像P3の生成用の被写体非存在画像P2として、当該被写体非存在画像P2の光学像を被写体存在画像P1の撮像後に固定された撮像条件で電子撮像部2により自動的に撮像させる。
その後、画像メモリ5は、記憶手段として、電子撮像部2から転送されて画像データ生成部4により生成された被写体非存在画像(第2の画像)P2のYUVデータを一時的に記憶する。
その後、画像メモリ5は、記憶手段として、電子撮像部2から転送されて画像データ生成部4により生成された被写体非存在画像(第2の画像)P2のYUVデータを一時的に記憶する。
切抜画像生成部8dは、類似度判定部8fにより被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上であると判定されると、画像生成手段として、被写体存在画像P1から被写体Sが存する領域の被写体画像Gを切り抜いて被写体切り抜き画像P3(図5(b)参照)の画像データを自動的に生成する。
その一方で、切抜画像生成部8dは、類似度判定部8fにより被写体存在画像P1と被写体非存在画像P2との類似度が所定値未満であると判定されると、被写体切り抜き画像P3の画像データを生成する処理を行わない。
なお、切抜画像生成部8dによる被写体切り抜き画像P3の生成に係る処理は、上記実施形態と同様であり、その詳細な説明は省略する。
その一方で、切抜画像生成部8dは、類似度判定部8fにより被写体存在画像P1と被写体非存在画像P2との類似度が所定値未満であると判定されると、被写体切り抜き画像P3の画像データを生成する処理を行わない。
なお、切抜画像生成部8dによる被写体切り抜き画像P3の生成に係る処理は、上記実施形態と同様であり、その詳細な説明は省略する。
記録媒体制御部11は、類似度判定部8fにより被写体存在画像P1と被写体非存在画像P2との類似度が所定値未満であると判定されると、記録制御手段として、電子撮像部2により撮像された被写体非存在画像(第2の画像)P2の画像データを記録媒体11aに記録させる。具体的には、記録媒体制御部11は、電子撮像部2により撮像された被写体存在画像P1及び被写体非存在画像P2の各々の画像データを画像メモリ5から取得して、記録媒体11aの所定の記録領域に記録させる。
次に、撮像装置100による被写体切り抜き処理について、図10を参照して説明する。
図10は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、被写体存在画像P1と被写体非存在画像P2との類似度の判定結果に応じて実行される処理以外の処理は、上記実施形態の被写体切り抜き処理と略同様であり、その詳細な説明は省略する。また、被写体非存在画像P2の自動的な撮像(ステップS52;後述)後にあっては、上記実施形態の被写体切り抜き処理と同様に、図3のステップS10以降の処理が実行されるため、その詳細な説明は省略する。
図10は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、被写体存在画像P1と被写体非存在画像P2との類似度の判定結果に応じて実行される処理以外の処理は、上記実施形態の被写体切り抜き処理と略同様であり、その詳細な説明は省略する。また、被写体非存在画像P2の自動的な撮像(ステップS52;後述)後にあっては、上記実施形態の被写体切り抜き処理と同様に、図3のステップS10以降の処理が実行されるため、その詳細な説明は省略する。
図10に示すように、先ず、上記実施形態の被写体切り抜き処理と同様に、表示制御部9は、被写体Sの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部10の表示画面10aに表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P1の撮像指示メッセージを表示部10の表示画面10aに表示させる(ステップS1)。
次に、上記実施形態の被写体切り抜き処理と同様に、中央制御部13は、ユーザによる操作入力部12のシャッタボタン12aの所定操作に基づいて撮像指示が入力されたか否かを判定する(ステップS2)。ここで、撮像指示が入力されたと判定されると(ステップS2;YES)、撮像制御部3は、各種撮像条件を調整させて、被写体存在画像P1(図4(a)参照)の光学像を所定の条件で電子撮像部2により撮像させる(ステップS3)。
そして、画像データ生成部4は、電子撮像部2から転送された被写体存在画像P1のYUVデータを生成した後、当該被写体存在画像P1のYUVデータを画像メモリ5に一時的に記憶させる。
そして、画像データ生成部4は、電子撮像部2から転送された被写体存在画像P1のYUVデータを生成した後、当該被写体存在画像P1のYUVデータを画像メモリ5に一時的に記憶させる。
続けて、上記実施形態の被写体切り抜き処理と同様に、画像処理部8の画像取得部8aは、画像メモリ5に一時的に記憶されている被写体存在画像P1のYUVデータを取得した後、分割部8bは、当該被写体存在画像P1全体を所定の大きさの複数の画像ブロックB、…に分割する(ステップS4)。
次に、上記実施形態の被写体切り抜き処理と同様に、画像処理部8の画像取得部8aは、被写体Sの撮像により生成され、画像データ生成部4から転送されて画像メモリ5に一時的に記憶されたライブビュー画像に係る複数の画像フレームのYUVデータを順次取得していき、分割部8bは、取得されたライブビュー画像の各々について、当該画像全体を被写体存在画像P1と同様に所定の大きさの複数の画像ブロックB、…に分割する(ステップS5)。
次に、上記実施形態の被写体切り抜き処理と同様に、画像処理部8の画像取得部8aは、被写体Sの撮像により生成され、画像データ生成部4から転送されて画像メモリ5に一時的に記憶されたライブビュー画像に係る複数の画像フレームのYUVデータを順次取得していき、分割部8bは、取得されたライブビュー画像の各々について、当該画像全体を被写体存在画像P1と同様に所定の大きさの複数の画像ブロックB、…に分割する(ステップS5)。
続けて、上記実施形態の被写体切り抜き処理と同様に、画像処理部8の類似度算出部8cは、被写体存在画像P1とライブビュー表示されている被写体非存在画像P2との間で対応する各画像ブロックBの平均色や輝度などの差分(相違度)を算出した後、当該差分が所定の閾値以下となる画像ブロック数の全体の総画像ブロック数に対する割合を類似度として算出する(ステップS6)。
そして、上記実施形態の被写体切り抜き処理と同様に、表示制御部9は、電子撮像部2により撮像された複数の画像フレームに基づいて、被写体非存在画像P2のライブビュー画像を表示部10の表示画面10aに表示させるとともに、類似度算出部8cにより算出された被写体存在画像P1と被写体非存在画像P2との類似度を表示部10の表示画面10aに表示させる(ステップS7;図5(a)参照)。さらに、表示制御部9は、被写体非存在画像P2のライブビュー画像に重畳させて、被写体存在画像P1の半透過の表示態様の画像と被写体非存在画像P2の撮像指示メッセージを表示部10の表示画面10aに表示させる。
そして、上記実施形態の被写体切り抜き処理と同様に、表示制御部9は、電子撮像部2により撮像された複数の画像フレームに基づいて、被写体非存在画像P2のライブビュー画像を表示部10の表示画面10aに表示させるとともに、類似度算出部8cにより算出された被写体存在画像P1と被写体非存在画像P2との類似度を表示部10の表示画面10aに表示させる(ステップS7;図5(a)参照)。さらに、表示制御部9は、被写体非存在画像P2のライブビュー画像に重畳させて、被写体存在画像P1の半透過の表示態様の画像と被写体非存在画像P2の撮像指示メッセージを表示部10の表示画面10aに表示させる。
次に、画像処理部8の類似度判定部8fは、類似度算出部8cによって算出された被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上であるか否かを判定する(ステップS51)。
ここで、被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上であると判定されると(ステップS51;YES)、撮像制御部3は、第1の撮像制御手段として、被写体非存在画像(第2の画像)P2の光学像を被写体存在画像P1の撮像後に固定された撮像条件で電子撮像部2により自動的に撮像させる(ステップS52)。
そして、画像データ生成部4は、電子撮像部2から転送された被写体非存在画像P2のYUVデータを生成した後、当該被写体非存在画像P2のYUVデータを画像メモリ5に一時的に記憶させる。
ここで、被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上であると判定されると(ステップS51;YES)、撮像制御部3は、第1の撮像制御手段として、被写体非存在画像(第2の画像)P2の光学像を被写体存在画像P1の撮像後に固定された撮像条件で電子撮像部2により自動的に撮像させる(ステップS52)。
そして、画像データ生成部4は、電子撮像部2から転送された被写体非存在画像P2のYUVデータを生成した後、当該被写体非存在画像P2のYUVデータを画像メモリ5に一時的に記憶させる。
その後、図3に示すように、上記実施形態の被写体切り抜き処理と同様に、中央制御部13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、画像メモリ5に一時的に記憶されている被写体非存在画像P2のYUVデータを基準として、被写体存在画像P1のYUVデータを射影変換させるための射影変換行列を所定の画像変換モデルで算出させる(ステップS10)。
次に、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部8dの位置合わせ部は、算出された射影変換行例に基づいて被写体存在画像P1を射影変換することで、被写体存在画像P1のYUVデータと被写体非存在画像P2のYUVデータとを位置合わせする処理を行う(ステップS11)。
そして、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部8dの被写体画像抽出部は、被写体存在画像P1から被写体Sが含まれる被写体画像Gを抽出する処理を行う(ステップS12)。
次に、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部8dの位置合わせ部は、算出された射影変換行例に基づいて被写体存在画像P1を射影変換することで、被写体存在画像P1のYUVデータと被写体非存在画像P2のYUVデータとを位置合わせする処理を行う(ステップS11)。
そして、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部8dの被写体画像抽出部は、被写体存在画像P1から被写体Sが含まれる被写体画像Gを抽出する処理を行う(ステップS12)。
次に、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部8dの位置情報生成部は、抽出された被写体画像Gの被写体存在画像P1内での位置を示すアルファマップを生成する(ステップS13)。
その後、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部8dの画像生成部は、被写体画像Gを所定の単一色画像と合成した被写体切り抜き画像P3(図5(b)参照)の画像データを生成する処理を行う(ステップS14)。
そして、上記実施形態の被写体切り抜き処理と同様に、記録媒体制御部11は、記録媒体11aの所定の記録領域に、切抜画像生成部8dの位置情報生成部により生成されたアルファマップと被写体切り抜き画像P3の画像データとを対応付けて一ファイルで記録させる(ステップS15)。
これにより、被写体切り抜き処理を終了する。
その後、上記実施形態の被写体切り抜き処理と同様に、切抜画像生成部8dの画像生成部は、被写体画像Gを所定の単一色画像と合成した被写体切り抜き画像P3(図5(b)参照)の画像データを生成する処理を行う(ステップS14)。
そして、上記実施形態の被写体切り抜き処理と同様に、記録媒体制御部11は、記録媒体11aの所定の記録領域に、切抜画像生成部8dの位置情報生成部により生成されたアルファマップと被写体切り抜き画像P3の画像データとを対応付けて一ファイルで記録させる(ステップS15)。
これにより、被写体切り抜き処理を終了する。
一方、ステップS51にて、被写体存在画像P1と被写体非存在画像P2との類似度が所定値未満であると判定されると(ステップS51;NO)、上記実施形態の被写体切り抜き処理と同様に、中央制御部13は、ユーザによる操作入力部12のシャッタボタン12aの所定操作に基づいて、撮像指示が入力されたか否かを判定する(ステップS8)。
ここで、撮像指示が入力されていないと判定されると(ステップS8;NO)、中央制御部13は、処理をステップS5に戻し、上記のように、画像処理部8の画像取得部8aは、画像データ生成部4から転送されて画像メモリ5に一時的に記憶されたライブビュー画像に係る複数の画像フレームのYUVデータを順次取得していき、分割部8bは、取得されたライブビュー画像の各々について、当該画像全体を所定の大きさの複数の画像ブロックB、…に分割する(ステップS5)。なお、ステップS5以降の処理は、上記と同様であり、その詳細な説明は省略する。
ここで、撮像指示が入力されていないと判定されると(ステップS8;NO)、中央制御部13は、処理をステップS5に戻し、上記のように、画像処理部8の画像取得部8aは、画像データ生成部4から転送されて画像メモリ5に一時的に記憶されたライブビュー画像に係る複数の画像フレームのYUVデータを順次取得していき、分割部8bは、取得されたライブビュー画像の各々について、当該画像全体を所定の大きさの複数の画像ブロックB、…に分割する(ステップS5)。なお、ステップS5以降の処理は、上記と同様であり、その詳細な説明は省略する。
ステップS8にて、ユーザにより操作入力部12のシャッタボタン12aが所定操作されて撮像指示が入力されたと判定されると(ステップS8;YES)、撮像制御部3は、第2の撮像制御手段として、被写体非存在画像P2(図5(a)参照)の光学像を所定の撮像条件で電子撮像部2により撮像させる(ステップS9)。なお、所定の撮像条件は、被写体存在画像P1の撮像後に固定された撮像条件であっても良いし、当該被写体非存在画像P2の撮像タイミングで新たに設定された撮像条件であっても良い。
そして、画像データ生成部4は、電子撮像部2から転送された被写体非存在画像P2のYUVデータを生成した後、当該被写体非存在画像P2のYUVデータを画像メモリ5に一時的に記憶させる。
そして、画像データ生成部4は、電子撮像部2から転送された被写体非存在画像P2のYUVデータを生成した後、当該被写体非存在画像P2のYUVデータを画像メモリ5に一時的に記憶させる。
その後、記録媒体制御部11は、画像メモリ5から被写体存在画像P1及び被写体非存在画像P2の各々の画像データを取得して、これらの画像データを記録媒体11aの所定の記録領域に記録させる(ステップS53)。
これにより、被写体切り抜き処理を終了する。即ち、被写体存在画像P1から被写体Sが含まれる被写体画像Gを切り抜いて被写体切り抜き画像P3の画像データを生成することなく、被写体切り抜き処理を終了する。
これにより、被写体切り抜き処理を終了する。即ち、被写体存在画像P1から被写体Sが含まれる被写体画像Gを切り抜いて被写体切り抜き画像P3の画像データを生成することなく、被写体切り抜き処理を終了する。
従って、変形例1の撮像装置100によれば、被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上であると判定された場合には、被写体非存在画像P2を自動的に撮像して、この被写体非存在画像P2及び被写体存在画像P1から被写体切り抜き画像P3を自動的に生成するので、被写体存在画像P1の撮像を指示する一回の撮像指示動作で被写体切り抜き画像P3を簡便に生成することができる。
一方、被写体存在画像P1と被写体非存在画像P2との類似度が所定値未満であると判定された場合には、被写体切り抜き画像P3を生成する処理を行わず、ユーザによる操作入力部12の所定操作に基づいて被写体非存在画像P2を撮像して記録媒体11aに記録する。これにより、被写体切り抜き画像P3の生成を適正に行うことができず失敗となる虞がある場合に、被写体切り抜き処理を終了させることで、当該撮像装置100の待機状態への復帰を効率的に行うことができ、それ以降の処理の実行開始タイミングを早めることができるとともに、消費電力の軽減を図ることができる。
また、被写体切り抜き画像P3の生成を行うことができないものの、被写体非存在画像P2を記録媒体11aに記録するので、所望のシャッタチャンスを逃し難くすることができる。
このように、被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上である場合に、自動的に被写体非存在画像P2を撮像するようにしたので、被写体存在画像P1に対する類似度をユーザに把握させることができ、以前に撮像された被写体存在画像P1と容易に位置合わせされた被写体非存在画像P2を得ることができる。
一方、被写体存在画像P1と被写体非存在画像P2との類似度が所定値未満であると判定された場合には、被写体切り抜き画像P3を生成する処理を行わず、ユーザによる操作入力部12の所定操作に基づいて被写体非存在画像P2を撮像して記録媒体11aに記録する。これにより、被写体切り抜き画像P3の生成を適正に行うことができず失敗となる虞がある場合に、被写体切り抜き処理を終了させることで、当該撮像装置100の待機状態への復帰を効率的に行うことができ、それ以降の処理の実行開始タイミングを早めることができるとともに、消費電力の軽減を図ることができる。
また、被写体切り抜き画像P3の生成を行うことができないものの、被写体非存在画像P2を記録媒体11aに記録するので、所望のシャッタチャンスを逃し難くすることができる。
このように、被写体存在画像P1と被写体非存在画像P2との類似度が所定値以上である場合に、自動的に被写体非存在画像P2を撮像するようにしたので、被写体存在画像P1に対する類似度をユーザに把握させることができ、以前に撮像された被写体存在画像P1と容易に位置合わせされた被写体非存在画像P2を得ることができる。
なお、上記変形例1にあっては、画像処理部8の顔検出部(図示略)により顔が検出された場合には、当該顔や顔検出枠に対応する画像領域を、被写体存在画像P1と被写体非存在画像P2との類似度の判定に用いないようにしても良い。即ち、被写体存在画像P1及び被写体非存在画像P2における顔や顔検出枠に対応する画像領域を、差分情報の生成に係る画像ブロックBとして用いないようにしても良い。
さらに、被写体非存在画像P2に被写体存在画像P1との差分が所定値よりも大きい一塊の連続する領域があった場合にも、当該領域を被写体存在画像P1と被写体非存在画像P2との類似度の判定に用いないようにしても良い。
即ち、例えば、被写体存在画像P1の撮像の際には、被写体Sの後側に隠れている人や物体などは、被写体非存在画像P2では被写体Sが存しないために撮像されることとなり、当該領域の差分が大きくなってしまう。また、被写体存在画像P1の被写体S以外の領域についても、高速度で移動する人や物体などは、被写体存在画像P1若しくは被写体非存在画像P2の何れか一方にしか写らない場合があり、かかる場合にも当該領域の差分が大きくなってしまう。そこで、被写体非存在画像P2における被写体存在画像P1との差分があまりにも大きい領域については、類似度の判定に用いないようにすることで、当該類似度の判定精度を向上させることができる。
さらに、被写体非存在画像P2に被写体存在画像P1との差分が所定値よりも大きい一塊の連続する領域があった場合にも、当該領域を被写体存在画像P1と被写体非存在画像P2との類似度の判定に用いないようにしても良い。
即ち、例えば、被写体存在画像P1の撮像の際には、被写体Sの後側に隠れている人や物体などは、被写体非存在画像P2では被写体Sが存しないために撮像されることとなり、当該領域の差分が大きくなってしまう。また、被写体存在画像P1の被写体S以外の領域についても、高速度で移動する人や物体などは、被写体存在画像P1若しくは被写体非存在画像P2の何れか一方にしか写らない場合があり、かかる場合にも当該領域の差分が大きくなってしまう。そこで、被写体非存在画像P2における被写体存在画像P1との差分があまりにも大きい領域については、類似度の判定に用いないようにすることで、当該類似度の判定精度を向上させることができる。
また、上記変形例1にあっては、被写体存在画像P1と被写体非存在画像P2との類似度が所定値未満であると判定された場合に、被写体存在画像P1及び被写体非存在画像P2の各々の画像データを記録媒体11aに記録するようにしたが、これに限られるものではなく、例えば、被写体非存在画像P2の撮像を中止して被写体存在画像P1の画像データのみを記録しても良いし、被写体切り抜き画像P3の生成を行うことができないことから画像メモリ5に一時的に記憶されている被写体存在画像P1の画像データを記録せずに消去するようにしても良い。
さらに、上記実施形態及び変形例1にあっては、被写体存在画像P1及び被写体非存在画像P2全体を複数の画像ブロックB、…に分割して、類似度の判定領域としたが、これに限られるものではなく、例えば、各画像の縁部から所定の画素数分の周縁領域のみを複数の画像ブロックB、…に分割して、当該画像ブロックBの差分情報から類似度の判定を行うようにしても良い。
また、顔や顔検出枠の大きさの被写体存在画像P1全体に対する割合に応じて、分割部8bにより分割される画像ブロックBの大きさを可変させるようにしても良い。即ち、顔や顔検出枠の大きさの被写体存在画像P1全体に対する割合が大きくなるほど被写体S以外の領域が狭くなることから、画像ブロックBの大きさが相対的に小さくなるようにすることで、被写体存在画像P1と被写体非存在画像P2との類似度の算出や判定をより精度良く行うことができる。
また、顔や顔検出枠の大きさの被写体存在画像P1全体に対する割合に応じて、分割部8bにより分割される画像ブロックBの大きさを可変させるようにしても良い。即ち、顔や顔検出枠の大きさの被写体存在画像P1全体に対する割合が大きくなるほど被写体S以外の領域が狭くなることから、画像ブロックBの大きさが相対的に小さくなるようにすることで、被写体存在画像P1と被写体非存在画像P2との類似度の算出や判定をより精度良く行うことができる。
さらに、上記実施形態及び変形例1にあっては、被写体存在画像P1と被写体非存在画像P2とを表示部10の表示画面10aに同時に表示させるようにしたが、これらの画像を必ずしも同時に表示させる必要はなく、例えば、被写体存在画像P1と被写体非存在画像P2の表示を所定のタイミングで切り替えてこれらの画像を交互に表示させるようにしても良い。また、複数の表示部(図示略)を備え、それぞれの表示部に被写体存在画像P1と被写体非存在画像P2を表示させるようにしてもよい。
さらに、上記実施形態及び変形例1にあっては、撮像指示が入力された場合、又は被写体存在画像P1とライブビュー画像の類似度が所定値以上であった場合に、被写体非存在画像P2を撮像するようにしたが、必ずしも撮像を行う必要はなく、例えば、そのときに表示されているライブビュー画像を被写体非存在画像P2として記録するようにしてもよい。
また、上記実施形態の合成画像生成処理にあっては、先ず、被写体画像Gを取得し、その後、背景画像を取得するようにしたが、一例であってこれに限られるものではなく、これらの順序が逆となるように適宜任意に変更可能である。
また、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、第1の画像として被写体存在画像P1を例示し、第2の画像として被写体非存在画像P2を例示して、これらの画像どうしの位置合わせを被写体切り抜き処理に適用するような構成としたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、第1の画像は、当該撮像装置100以外の撮像装置にて撮像され記録媒体11aや所定の通信回線を介して取得した画像であっても良いし、また、第1の画像と第2の画像との位置合わせは、複数の画像を重ねてダイナックレンジを拡大する処理など被写体切り抜き処理以外の処理に適用しても良い。
加えて、上記実施形態にあっては、表示制御手段、算出手段、報知手段としての機能を、中央制御部13の制御下にて、類似度算出部8c、表示制御部9、表示部10が駆動することにより本発明が実現される構成としたが、これに限られるものではなく、中央制御部13のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、撮像装置100のプログラムを記憶するプログラムメモリ(図示略)に、表示制御処理ルーチン、算出処理ルーチン及び報知制御処理ルーチンを含むプログラムを記憶しておく。そして、表示制御処理ルーチンにより中央制御部13のCPUを、記憶手段に記憶されている第1の画像と、撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示する表示制御手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部13のCPUを、表示制御手段により表示部に表示されている第1の画像とライブビュー画像との類似度を算出する算出手段として機能させるようにしても良い。また、報知制御処理ルーチンにより中央制御部13のCPUを、算出手段により算出された類似度を報知手段から報知させる報知制御手段として機能させるようにしても良い。
即ち、撮像装置100のプログラムを記憶するプログラムメモリ(図示略)に、表示制御処理ルーチン、算出処理ルーチン及び報知制御処理ルーチンを含むプログラムを記憶しておく。そして、表示制御処理ルーチンにより中央制御部13のCPUを、記憶手段に記憶されている第1の画像と、撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示する表示制御手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部13のCPUを、表示制御手段により表示部に表示されている第1の画像とライブビュー画像との類似度を算出する算出手段として機能させるようにしても良い。また、報知制御処理ルーチンにより中央制御部13のCPUを、算出手段により算出された類似度を報知手段から報知させる報知制御手段として機能させるようにしても良い。
同様に、分割手段、判定手段、第1の撮像制御手段、第2の撮像制御手段、記録制御手段、画像生成手段についても、中央制御部13のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型画像記録部を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
100 撮像装置
2 電子撮像部
3 撮像制御部
8 画像処理部
8a 画像取得部
8b 分割部
8c 類似度算出部
8d 切抜画像生成部
8f 類似度判定部
9 表示制御部
10 表示部
11 記録媒体制御部
11a 記録媒体
13 中央制御部
2 電子撮像部
3 撮像制御部
8 画像処理部
8a 画像取得部
8b 分割部
8c 類似度算出部
8d 切抜画像生成部
8f 類似度判定部
9 表示制御部
10 表示部
11 記録媒体制御部
11a 記録媒体
13 中央制御部
Claims (9)
- 撮像手段と、
画像を記憶する記憶手段と、
前記記憶手段に記憶されている第1の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示する表示制御手段と、
この表示制御手段により前記表示手段に表示されている前記第1の画像と前記ライブビュー画像との類似度を算出する算出手段と、
この算出手段によって算出された類似度を報知する報知手段と、
を備えたことを特徴とする撮像装置。 - 前記第1の画像及び前記ライブビュー画像の各々を複数の画像領域に分割する分割手段を更に備え、
前記算出手段は、
前記分割手段により分割された前記第1の画像及び前記ライブビュー画像の対応する各画像領域の差分に基づいて前記類似度を算出することを特徴とする請求項1に記載の撮像装置。 - 前記算出手段によって算出された類似度が所定値以上であるか否かを判定する判定手段と、
前記判定手段により類似度が所定値以上であると判定された場合に、第2の画像を撮像する第1の撮像制御手段とを更に備えることを特徴とする請求項1又は2に記載の撮像装置。 - 前記撮像手段による第2の画像の撮像を指示する指示手段と、
前記指示手段による指示に応じて、前記撮像手段により前記第2の画像を撮像する第2の撮像制御手段と、
前記判定手段により類似度が所定値未満であると判定された場合は、前記第1の画像及び前記第2の画像を記録手段に記録させる記録制御手段とを更に備えることを特徴とする請求項1又は2に記載の撮像装置。 - 前記第1の画像から第2の画像との差分領域を切り抜いて切り抜き画像を生成する画像生成手段を更に備えることを特徴とする請求項1〜4の何れか一項に記載の撮像装置。
- 前記表示制御手段は、前記第1の画像を前記ライブビュー画像に重ねて表示させることを特徴とする請求項1〜5の何れか一項に記載の撮像装置。
- 前記報知手段は、前記類似度を示す情報を前記表示手段に表示させることを特徴とする請求項1〜6の何れか一項に記載の撮像装置。
- 撮像手段と、画像を記憶する記憶手段とを備える撮像装置を用いた撮像処理方法であって、
前記記憶手段に記憶されている第1の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる処理と、
前記表示手段に表示されている前記第1の画像と前記ライブビュー画像との類似度を算出する処理と、
算出された類似度を報知する処理と、
を含むことを特徴とする撮像処理方法。 - 撮像手段と、画像を記憶する記憶手段とを備える撮像装置のコンピュータを、
前記記憶手段に記憶されている第1の画像と、前記撮像手段によって順次撮像されるライブビュー画像とを表示手段に表示させる表示制御手段、
前記表示手段に表示されている前記第1の画像と前記ライブビュー画像との類似度を算出する算出手段、
この算出手段により算出された類似度を報知手段から報知させる報知制御手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010041564A JP2011182014A (ja) | 2010-02-26 | 2010-02-26 | 撮像装置、撮像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010041564A JP2011182014A (ja) | 2010-02-26 | 2010-02-26 | 撮像装置、撮像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011182014A true JP2011182014A (ja) | 2011-09-15 |
Family
ID=44693108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010041564A Pending JP2011182014A (ja) | 2010-02-26 | 2010-02-26 | 撮像装置、撮像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011182014A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013136607A1 (ja) * | 2012-03-13 | 2013-09-19 | 富士フイルム株式会社 | プロジェクタ付き撮影装置及びその制御方法 |
KR20200019472A (ko) * | 2018-08-14 | 2020-02-24 | 충북대학교 산학협력단 | 전자부품 검사 데이터 매칭 방법 및 장치 |
KR20210095975A (ko) * | 2017-02-13 | 2021-08-03 | 주식회사 고영테크놀러지 | 인쇄 회로 기판에 실장된 부품을 검사하는 장치, 그 동작 방법 및 컴퓨터 판독 가능한 기록 매체 |
-
2010
- 2010-02-26 JP JP2010041564A patent/JP2011182014A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013136607A1 (ja) * | 2012-03-13 | 2013-09-19 | 富士フイルム株式会社 | プロジェクタ付き撮影装置及びその制御方法 |
CN104204940A (zh) * | 2012-03-13 | 2014-12-10 | 富士胶片株式会社 | 带投影仪摄影装置及其控制方法 |
JP5719967B2 (ja) * | 2012-03-13 | 2015-05-20 | 富士フイルム株式会社 | プロジェクタ付き撮影装置及びその制御方法 |
US9332208B2 (en) | 2012-03-13 | 2016-05-03 | Fujifilm Corporation | Imaging apparatus having a projector with automatic photography activation based on superimposition |
KR20210095975A (ko) * | 2017-02-13 | 2021-08-03 | 주식회사 고영테크놀러지 | 인쇄 회로 기판에 실장된 부품을 검사하는 장치, 그 동작 방법 및 컴퓨터 판독 가능한 기록 매체 |
KR102317464B1 (ko) * | 2017-02-13 | 2021-10-28 | 주식회사 고영테크놀러지 | 인쇄 회로 기판에 실장된 부품을 검사하는 장치, 그 동작 방법 및 컴퓨터 판독 가능한 기록 매체 |
US11481893B2 (en) | 2017-02-13 | 2022-10-25 | Koh Young Technology Inc. | Apparatus for inspecting components mounted on printed circuit board, operating method thereof, and computer-readable recording medium |
KR20200019472A (ko) * | 2018-08-14 | 2020-02-24 | 충북대학교 산학협력단 | 전자부품 검사 데이터 매칭 방법 및 장치 |
KR102129970B1 (ko) * | 2018-08-14 | 2020-08-05 | 충북대학교 산학협력단 | 전자부품 검사 데이터 매칭 방법 및 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5105550B2 (ja) | 画像合成装置及びプログラム | |
JP4623193B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP5051156B2 (ja) | 画像処理装置及びプログラム | |
JP4798236B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP4807432B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP5504990B2 (ja) | 撮像装置、画像処理装置及びプログラム | |
JP5267279B2 (ja) | 画像合成装置及びプログラム | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP2007088655A (ja) | 撮像装置、合焦位置指定方法、及びプログラム | |
JP2011182014A (ja) | 撮像装置、撮像処理方法及びプログラム | |
JP5402166B2 (ja) | 画像合成装置及びプログラム | |
JP2011066827A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5402148B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP5493839B2 (ja) | 撮像装置、画像合成方法及びプログラム | |
JP2011041041A (ja) | 撮像装置、撮像方法及びプログラム | |
JP5332668B2 (ja) | 撮像装置および被写体検出プログラム | |
JP5636660B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5476900B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP2010278701A (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP5494537B2 (ja) | 画像処理装置及びプログラム | |
JP5206421B2 (ja) | デジタルカメラ、撮影記録方法、及び、撮影制御プログラム | |
JP5381207B2 (ja) | 画像合成装置及びプログラム | |
JP5565227B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5446977B2 (ja) | 撮像装置、撮像処理方法及びプログラム | |
JP2010136190A (ja) | 電子カメラ |