JP2006186901A

JP2006186901A - 電子カメラ

Info

Publication number: JP2006186901A
Application number: JP2004380854A
Authority: JP
Inventors: Takuya Sato; 琢也佐藤
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2004-12-28
Filing date: 2004-12-28
Publication date: 2006-07-13

Abstract

【課題】エンターテイメント性の高い合成画像を簡便に生成することができる電子カメラを提供すること。
【解決手段】任意の背景画像をユーザ操作に基づいて選択する選択部と、被写体像を撮像して画像を生成する撮像部と、撮像部により生成された画像における主要被写体部分を抽出する抽出部と、抽出部により抽出された主要被写体部分の画像と、選択部により選択された任意の背景画像とを合成する画像合成部と、画像合成部により合成された画像を表示する表示部と、画像合成部により合成された画像を記録する記録部とを備える。
【選択図】図１

Description

本発明は、画像を合成する機能を備えた電子カメラに関する。

従来より、人物の画像と背景画像とのはめ込み合成を行うクロマキー処理などの画像合成技術が知られている（例えば、特許文献１参照）。
特開２００４−５７２１号公報

前述したクロマキー処理などを用いた画像合成を、静止画像や動画像を生成する電子カメラに適用しようとする場合、処理速度の問題や操作性の問題などがあり、実現が難しい場合があった。
本発明は、エンターテイメント性の高い合成画像を簡便に生成することができる電子カメラを提供することを目的とする。

請求項１に記載の電子カメラは、任意の背景画像をユーザ操作に基づいて選択する選択部と、被写体像を撮像して画像を生成する撮像部と、前記撮像部により生成された前記画像における主要被写体部分を抽出する抽出部と、前記抽出部により抽出された前記主要被写体部分の画像と、前記選択部により選択された前記任意の背景画像とを合成する画像合成部と、前記画像合成部により合成された画像を表示する表示部と、前記画像合成部により合成された画像を記録する記録部とを備えたことを特徴とする。

請求項２に記載の電子カメラは、請求項１に記載の電子カメラにおいて、前記選択部により選択された前記任意の背景画像の特徴を検出する検出部をさらに備え、前記撮像部は、前記検出部による検出結果に基づいて撮影条件を定め、その撮影条件にしたがって前記画像を生成することを特徴とする。
請求項３に記載の電子カメラは、請求項１に記載の電子カメラにおいて、前記選択部により選択された前記任意の背景画像が、前記撮像部により生成された画像であるか否かを判定する判定部をさらに備え、前記判定部が、前記任意の背景画像は、前記撮像部により生成された画像であると判定すると、前記撮像部は、前記任意の背景画像が撮像された際の撮影条件に基づいて撮影条件を定め、その撮影条件にしたがって前記画像を生成することを特徴とする。

本発明の電子カメラによれば、エンターテイメント性の高い合成画像を簡便に生成することができる。

以下、図面を用いて、本発明の実施形態について詳細な説明を行う。
図１は、本発明の実施形態における電子カメラの構成を示すブロック図である。
電子カメラ１は、図１に示すように、撮像部２、ユーザ操作を受け付ける操作部３、制御部４、画像処理部５、表示処理部６、第１記録部７、第２記録部８を備えており、撮像部２、制御部４、画像処理部５、第１記録部７、第２記録部８はバスを介して相互に接続されている。また、不図示の電源ボタン、レリーズボタン、その他の選択操作などに係わる十字キーおよび決定ボタンなどを含む操作部３の状態は、制御部４により検知される。また、撮像部２、制御部４、画像処理部５、第１記録部７、第２記録部８からの情報は、前述したバスを介して表示部６にも供給される。

なお、撮像部２は、不図示のレンズ、被写体の明るさや撮影距離などを測定する各種センサ、撮像素子、Ａ／Ｄ変換器などを備えている。また、制御部４内の不図示のメモリには、各部の動作内容を示すプログラムが予め記録されている。
また、操作部３、制御部４は、請求項の「選択部」に対応し、撮像部２、制御部４は、請求項の「撮像部」に対応する。また、制御部４、画像処理部５は、請求項の「抽出部」、「画像合成部」、「検出部」に対応し、制御部４は、請求項の「判定部」に対応する。また、制御部４、表示部６は、請求項の「表示部」に対応し、制御部４、第１記録部７は、請求項の「記録部」に対応する。

以上説明したような構成の電子カメラ１において、不図示の電源ボタンが「ＯＮ」されると、制御部４はこれを検知し、各部にスルー画像の撮像および表示を開始するよう指示する。
さらに、操作部３を介して、シーン撮影モードや本発明の特徴であるクロマキーモードなどが選択されると、制御部４は、これを検知し、選択されたモードに応じて、各部に初期設定を行って撮影待機するよう指示する。

通常撮影モードにおいて、不図示のレリーズボタンが押圧されると、制御部４はこれを検知し、各部に撮影実行を指示し、撮影により生成された画像を第１記録部７に記録する。一方、本発明の特徴であるクロマキーモードにおいて、不図示のレリーズボタンが押圧されると、制御部４はこれを検知し、各部に撮影実行を指示し、撮影により生成された画像を第１記録部７に記録し、さらに第２記録部８に高速転送して複製記録する。

以下、本発明の特徴であるクロマキーモードにおける撮影について説明を行う。図２は、クロマキーモードにおける電子カメラ１の制御手順を示すフローチャートである。クロマキーモードとは、画像合成技術の１つであるクロマキー処理を施して、撮像により得られる主要被写体を含む画像と背景画像とを合成するモードである。本実施形態では、主要被写体を含む画像として動画像を撮像し、静止画像である背景画像に対して合成する場合を例に挙げて説明を行う。なお、動画像の撮像は、レリーズボタンを全押しすることにより開始され、レリーズボタンを解除することにより終了されるものとする。

ステップＳ１において、制御部４は、操作部３を介して、クロマキーモードが選択されたか否かを判定する。クロマキーモード以外のモードが選択された場合、制御部４は、各部を介して、選択されたモードの処理を実行する。
クロマキーモードが選択されると、ステップＳ２において、制御部４は、操作部３を介して背景画像が選択されたか否かを判定する。

なお、ここで選択される背景画像は、予め電子カメラ１により生成され、第１記録部７に記録された画像か、電子カメラ１の外部から、不図示のインタフェースを介して第１記録部７に記録された画像である。制御部４は、例えば、「背景画像を選択してください」というメッセージを、表示部６に表示する。なお、背景画像の選択は、操作部３を介したユーザ操作により行われる。

制御部４は、背景画像が選択されるまで待機し、背景画像が選択されると、ステップＳ３において、選択された背景画像が、電子カメラ１により生成された画像であるか否かを判定する。そして、制御部４は、選択された背景画像が、電子カメラ１により生成された画像である場合はステップＳ４に進み、選択された背景画像が、電子カメラ１により生成された画像でない場合はステップＳ５に進む。

ステップＳ４において、制御部４は、背景画像撮影時の撮影条件に基づいて、次の撮影時の撮影条件を決定する。
ここで、背景画像撮影時の撮影条件とは、背景画像が生成されたときの撮像条件や画像処理条件などである。具体的には、露出条件、ホワイトバランス、閃光発光の有無、ノイズリダクションの有無、焦点距離、色補正条件、ガンマ処理条件などである。これらの撮影条件は、背景画像の撮影時に、画像のタグ情報として記録しておく構成にすると良い。なお、この撮影条件は、請求項の「撮影条件」に対応する。

制御部４は、上述した撮影条件を読み出し、撮影に適した撮影条件を決定して、各部に供給する。
一方、選択された背景画像が、電子カメラ１により生成された画像でない場合、ステップＳ５において、制御部４は、画像処理部５を介して、選択された背景画像の特徴を検出する。すなわち、画像処理部５は、第１記録部７から、ステップＳ２で選択された背景画像を読み出し、その画像の輝度情報などを解析して輝度分布などの特徴を抽出する。

そして、ステップＳ６において、制御部４は、検出結果に基づいて、次の撮影時の撮影条件を決定する。なお、撮影条件は、ステップＳ４で説明した撮影条件と同様の条件であり、ステップＳ２で選択された背景画像のタグ情報などに何らかの情報が記録されている場合には、その情報を加味して決定するようにしても良い。
ステップＳ７において、制御部４は、撮像部２を介したスルー画像の撮像および表示部６を介したスルー画像の表示を開始する。このとき、制御部４は、ステップＳ４またはステップＳ６で決定した撮影条件にしたがって撮像を行う。また、スルー画像を表示部６に表示する際に、制御部４は、背景画像とスルー画像とを重ね合わせて表示する。このような表示を行うことにより、ユーザは、背景画像とこれから撮像する主要被写体を含む画像との両方を同時に目視することができるので、構図の決定が容易になる。

ステップＳ８において、制御部４は、レリーズボタンが半押しされたか否かを判定する。
制御部４は、レリーズボタンが半押しされるまで待機し、レリーズボタンが半押しされると、ステップＳ９において、画像処理部５を介してクロマキー処理を施して画像を合成し、表示部６に表示する。

クロマキー処理は、撮像部２により得られた画像の主要被写体部分を、背景画像に合成する処理であり、以下のようにして実現される。
まず、制御部４は、画像処理部５を介して、レリーズボタンが半押しされた直後に撮像されたスルー画像から、主要被写体部分を抽出する。そして、主要被写体部分の画像をステップＳ２で選択された背景画像にはめ込み合成する。なお、合成の具体的な方法は、公知技術と同様であるため、説明を省略する。制御部４は、画像処理部５を介してクロマキー処理を施して合成した画像を、表示部６に表示する。

ステップＳ１０において、制御部４は、レリーズボタンが全押しされたか否かを判定する。
制御部４は、レリーズボタンが全押しされるまで待機し、レリーズボタンが全押しされると、ステップＳ１１において、撮像を開始する。なお、撮像部２は、ステップＳ７と同様に、ステップＳ４またはステップＳ６で決定した撮影条件にしたがって撮像を行う。そして、制御部４は、撮像により得られた画像を第１記録部７に記録し、さらに、第２記録部８に高速転送して複製記録する。

ステップＳ１２において、制御部４は、クロマキー処理を施して、画像を合成し、表示する。制御部４は、ステップＳ１２と同様に画像の合成を行う。このとき、画像処理部５は、第２記録部８から画像を読み出して、合成処理に用いる。本実施形態では、撮像により得られた画像は第１記録７に記録されるとともに、第２記録部８に高速転送して複製記録されるので、動画像を撮像して記録しながら、合成処理のために読み出すことが可能になる。なお、合成した画像は、画像処理部５内の不図示の一時記録部に記録される。

ステップＳ１３において、制御部４は、合成した画像を表示部６に表示する。
ステップＳ１４において、制御部４は、レリーズボタンが解除されたか否かを判定する。制御部４は、レリーズボタンが解除されるまで動画像の撮像およびステップＳ１２およびステップＳ１３の処理を繰り返す。
そして、レリーズボタンが解除されると、ステップＳ１５において、制御部４は、動画像の撮像を終了し、合成した複数の画像から成る動画像を画像処理部５内の不図示の一時記録部から読み出し、第１記録部７に記録して一連の処理を終了する。

以上説明したように、本実施形態によれば、任意の背景画像をユーザ操作に基づいて選択し、被写体像を撮像して生成された画像における主要被写体部分を抽出し、主要被写体部分の画像と、選択された背景画像とを合成するとともに、合成された画像を表示して、記録する。したがって、コンピュータなどでクロマーキー処理を行う場合と異なり、背景画像を目視しながら、主要被写体の撮影を行うことができるので、主要被写体の動きやポーズの自由度が向上し、エンターテイメント性の高い合成画像を簡便に生成することができる。

また、本実施形態によれば、選択された背景画像の特徴を検出し、検出結果に基づいて、撮影条件を定め、その撮影条件にしたがって画像を生成する。したがって、背景画像と主要被写体を含む画像との明るさや色合いを近づけることができるので、合成後の画像における違和感を抑え、より質の良い合成画像を生成することができる。
また、本実施形態によれば、背景画像が電子カメラ１により生成された画像である場合には、背景画像が撮像された際の撮影条件に基づいて、撮影条件を定め、その撮影条件にしたがって画像を生成する。したがって、背景画像と主要被写体を含む画像との明るさや色合いを近づけることができるので、合成後の画像における違和感を抑え、より質の良い合成画像を生成することができる。

なお、本実施形態では、静止画像である背景画像に対して主要被写体を含む動画像を合成する例を示したが、背景画像が動画像であっても良いし、背景画像に対して主要被写体を含む静止画像を合成するようにしても良い。例えば、動画像である背景画像に対して主要被写体を含む静止画像を合成する場合、コマ落としをしながら合成することにより、主要被写体が画像内で瞬間移動したかのような効果を実現することも可能である。

また、本実施形態において画像を合成する際に、装飾的な画像処理をさらに施すようにしても良い。例えば、背景画像に太陽などの光源が存在する場合には、主要被写体の位置に合わせて光源と反対側に影を付けたり、背景画像が風景などの遠景である場合には、背景画像をぼかしてから合成することにより、遠近感を出すようにしても良い。このような装飾的な画像処理をさらに施すことにより、合成後の画像における違和感をさらに抑えることができる。

また、本実施形態では、主要被写体を含む画像を撮像する際に、主要被写体を除く部分（背景画像を合成する部分）は、均質であることが好ましい。したがって、ユーザに対して、「均質な部分をバックにして主要被写体の撮影を行ってください」などのメッセージを提示するようにすると良い。
また、本実施形態では、ステップＳ３において、選択された背景画像が、電子カメラ１により生成された画像であるか否かを判定して、撮影条件を決定する方法を変更する例を示したが、ユーザ操作に応じて変更するようにしても良い。また、ステップＳ４において、背景画像撮影時の撮影条件に基づいて、次の撮影時の撮影条件を決定する際に、ステップＳ５と同様に背景画像の特徴を加味するようにしても良い。

また、本実施形態のステップＳ７において、スルー画像の表示を行う際の重ね合わせについては、単純に重ね合わせを行うようにしても良いし、適当な重み付けを行って重ね合わせを行うようにしても良いし、間引き処理などを行うようにしても良い。
また、本実施形態では、ステップＳ７において、スルー画像の表示を行う際に、重ね合わせを行う例を示したが、ステップＳ９あるいはステップＳ１２と同様に、クロマキー処理を施して表示するようにしても良い。このような場合、図２のフローチャートのステップＳ９におけるクロマキー処理は不用となる。

また、本実施形態では、第１記録部７と第２記録部８の２つの記録部を備える例を示したが、１つの記録における記録領域を分割する構成にしても良い。
また、本実施形態では、背景画像を選択してから、背景画像に対して合成する画像を撮像する例を示したが、背景画像の撮像と、背景画像に対して合成する画像の撮像とを連続して行うようにしても良い。このような構成にすることにより、いわゆる多重撮影を行うことができる。多重撮影を行う際には、クロマキー処理に代えて、適当な濃度調整を行うようにすれば良い。

また、本実施形態の電子カメラ１を外部のモニタ（テレビ）などと接続して撮影を行うことにより、より容易に構図を決定することができる。また、主要被写体は、人物に限らず、動物や車などを主要被写体として、エンターテイメント性の高い様々な合成画像を簡便に生成することができる。

本実施形態の電子カメラ１の構成を示すブロック図である。本実施形態の電子カメラ１の動作を示すフローチャートである。

符号の説明

１電子カメラ
２撮像部
３操作部
４制御部
５画像処理部
６表示部
７第１記録部
８第２記録部

Claims

任意の背景画像をユーザ操作に基づいて選択する選択部と、
被写体像を撮像して画像を生成する撮像部と、
前記撮像部により生成された前記画像における主要被写体部分を抽出する抽出部と、
前記抽出部により抽出された前記主要被写体部分の画像と、前記選択部により選択された前記任意の背景画像とを合成する画像合成部と、
前記画像合成部により合成された画像を表示する表示部と、
前記画像合成部により合成された画像を記録する記録部と
を備えたことを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記選択部により選択された前記任意の背景画像の特徴を検出する検出部をさらに備え、
前記撮像部は、前記検出部による検出結果に基づいて撮影条件を定め、その撮影条件にしたがって前記画像を生成する
ことを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記選択部により選択された前記任意の背景画像が、前記撮像部により生成された画像であるか否かを判定する判定部をさらに備え、
前記判定部が、前記任意の背景画像は、前記撮像部により生成された画像であると判定すると、前記撮像部は、前記任意の背景画像が撮像された際の撮影条件に基づいて撮影条件を定め、その撮影条件にしたがって前記画像を生成する
ことを特徴とする電子カメラ。