JP2010283637A - 撮影画像処理装置、撮影画像処理プログラム及び撮影画像処理方法 - Google Patents

Abstract

【課題】簡単な操作により被写体を動くキャラクタとして用いるができるようにする。
【解決手段】(A1)に示すように、低速連写モード下で、連写撮影又は動画撮影された画像中に動きのある部分の存在が検出されない間は、連写撮影又は動画撮影された静止画像(F1)を背景画像として記憶させていくが、(A2)に示すように、動きのある部分の存在が検出されると、高速連写モードまたは動画モードに自動的に移行し、この高速連写モード下または動画モード下で連写撮影又は動画撮影された一連の被写体込みの動画画像を記憶させてゆき、その後、(B)に示すように、この一連の被写体込みの動画画像と背景画像とから被写体のみからなる被写体画像を切り出し、(C)に示すように、この切り出された被写体画像P1,P2を人物キャラクタC1,C2として各々作成する。(D)に示すように、人物キャラクタC1,C2の間の距離L1を任意の距離L2へ変更する。または任意の吹き出し付きコメント30を人物キャラクタの口元位置に配置する。
【選択図】図６

Description

本発明は、動くキャラクタ作成する撮影画像処理装置、撮影画像処理プログラム及び撮影画像処理方法に関する。

従来から背景のみの画像と被写体込みの画像とを用いて被写体のみの被写体画像の切り出し抽出を行う画像抽出技術が知られている（例えば、特許文献１参照）。

この技術などを活用して、動く人物キャラクタ作成機能を備えたカメラが知られている。このカメラにおいて人物キャラクタ作成機能を用いる際には、ユーザは下記の手順で操作を行う。
（１）最初に１回目のシャッター操作を行って、動いている被写体を数秒間連写撮影する。
（２）連写撮影が終了したならば、前記動いている被写体がいない状態で、（１）の手順で撮影した際に画面上に半透明にて表示されている背景部分と現在の背景とが正しく重なるようにフレームを合わせる。
（３）この状態で２回目のシャッターを操作して、背景のみを撮影する。

すると、カメラ内部における画像処理により、前記（１）で数秒間連写撮影した各画像中から、（２）の背景を除いた被写体のみの連射画像が切り出される。したがって、この切り出された被写体のみからなる連写画像（この画像を「人物キャラクタ」という）と任意の背景画像（たとえば、事前に撮影した静止画像または事前にカメラ内部に記憶されている静止画像）とを合成することにより、前記被写体である人物が動く人物キャラクタを任意の背景画像上で動作するという合成動画を表示することが可能となる。

特開平１０−０２１４０８号公報

しかしながら、従来における人物キャラクタ作成の実現に際しては、前述のように、２回のシャッター操作を行う必要があるのみならず、画面上に半透明にて表示されている背景部分と現在の背景部分とが正しく重なるようにフレームを合わせて、背景のみの撮影も行わなければならない。したがって、一般ユーザにおいて上記操作を行うことが煩雑に感じられてしまい、人物キャラクタ作成機能が十分に活用されないことが懸念されるものであった。

本発明は、かかる従来の課題に鑑みてなされたものであり、簡単な操作により被写体を動くキャラクタとして用いるができるようにする撮影画像処理装置、撮影画像処理プログラム及び撮影画像処理方法を提供することを目的とする。

前記課題を解決するために請求項１記載の発明に係る撮影画像処理装置にあっては、被写体を連写撮影又は動画撮影する撮影手段と、この撮影手段により連写撮影又は動画撮影された各画像中に動きのある部分が存在しているか否かを検出する検出手段と、この検出手段により動きのある部分の存在が検出されない状態の間は、前記撮影手段により連写撮影又は動画撮影された各画像中の少なくとも１枚の静止画像を背景画像として記憶させる静止画像記憶制御手段と、この静止画像記憶制御手段の制御により背景画像を記憶させたあとに、前記検出手段により動きのある部分の存在が検出されたことを条件に、前記撮影手段により連写撮影又は動画撮影された一連の被写体込みの画像を被写体込み動画画像として記憶させる動画画像記憶制御手段と、前記静止画像記憶制御手段の制御により記憶された背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込み動画画像とから一連の被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された一連の被写体画像を記憶させる被写体画像記憶制御手段とを備えていることを特徴とする。

また、請求項２記載の発明に係る撮影画像処理装置にあっては、前記撮影手段は、前記検出手段により動きのある部分の存在が検出されない状態の際は、第１のフレームレートで連写撮影又は動画撮影を行い、前記動きのある部分の存在が検出された状態の際は、前記第１のフレームレートよりも高い第２のフレームレートで連写撮影又は動画撮影を行うことを特徴とする。

また、請求項３記載の発明に係る撮影画像処理装置にあっては、被写体を撮影する撮影手段と、この撮影手段により連写撮影された被写体の少なくとも１枚の静止画像を記憶させる静止画像記憶制御手段と、この静止画像記憶制御手段の制御により記憶された静止画像の中に変化のある部分が検出されたことを条件に、前記撮影手段に動画撮影を実行させて、当該撮影された動画画像を記憶させる動画画像記憶制御手段と、前記静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、一連の被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段とを備えていることを特徴とする。

また、請求項４記載の発明に係る撮影画像処理装置にあっては、被写体を撮影する撮影手段と、連写モードにおいて、前記撮影手段により被写体を連写撮影し、この連写撮影された各静止画像を記憶させる静止画像記憶制御手段と、この静止画像記憶制御手段の制御により記憶された複数の静止画像内に動きのある部分が検出されたか否かを検出する検出手段と、この検出手段により動きのある部分が検出されたことを条件に、動画モードに移行し、この動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御手段と、前記静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段とを備えていることを特徴とする。

また、請求項５記載の発明に係る撮影画像処理装置にあっては、被写体を撮影する撮影手段と、動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御手段と、この動画像記憶制御手段の制御により記憶された動画画像内に動きのある部分を検出する検出手段と、この検出手段により動きのある部分が検出されなくなったことを条件に、静止画モードに移行し、この静止画モードにおいて、前記撮影手段により被写体を撮影し、この撮影された静止画を記憶させる静止画画像記憶制御手段と、この静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された各被写体画像を記憶させる被写体画像記憶制御手段とを備えていることを特徴とする。

また、請求項６記載の発明に係る撮影画像処理装置にあっては、被写体を撮影する撮影手段と、この撮影手段により外部の環境を動画撮影し、この動画撮影の途中で動画画像内に動きのある部分が存在する状態から存在していない状態へ変化した第１の状態変化、及び、動画画像内に動きのある部分が存在していない状態から存在する状態へ変化した第２の状態変化のいずれかがあったことを検出する検出手段と、この検出手段により第１の状態変化又は第２の状態変化のいずれかがあったことが検出されたことを条件に、動画画像内に動きのある部分が存在する状態の被写体込み動画画像と動きのある部分が存在していない状態の静止画である背景画像とから、被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段とを備えていることを特徴とする。

また、請求項７記載の発明に係る撮影画像処理装置にあっては、前記連写撮影又は動画撮影された画像中における顔を検出する顔検出手段を更に備え、前記動画画像記憶制御手段は、前記顔検出手段によって顔が検出された場合に、それ以降において前記連写撮影又は動画撮影された画像を被写体画像として記憶させる顔画像記憶制御手段であることを特徴とする。

また、請求項８記載の発明に係る撮影画像処理装置にあっては、前記連写撮影又は動画撮影された画像中における顔を検出する顔検出手段を更に備え、前記切出手段は、前記背景画像と前記被写体込み動画画像とに基づいて、前記顔検出手段によって顔が検出された被写体画像を切り出すことを特徴とする。

また、請求項９記載の発明に係る撮影画像処理装置にあっては、前記被写体画像記憶制御手段の制御により記憶された被写体画像に、任意に選択された画像を付加させる画像加工制御手段を更に備えることを特徴とする。

また、請求項１０記載の発明に係る撮影画像処理装置にあっては、前記画像加工制御手段は、前記切り出された被写体画像を任意に選択された選択背景画像上に配置させることを特徴とする。

また、請求項１１記載の発明に係る撮影画像処理装置にあっては、前記切出手段により切り出された被写体画像は複数の被写体画像であり、前記画像加工制御手段は、当該複数の被写体画像の間の間隔を調整して配置させる間隔調整配置手段を更に備えたことを特徴とする。

また、請求項１２記載の発明に係る撮影画像処理装置にあっては、前記画像加工制御手段は、操作入力された吹き出し付きのコメントを前記切り出された被写体画像の近傍に配置させる近傍配置制御手段であることを特徴とする。

また、請求項１３記載の発明に係る撮影画像処理プログラムにあっては、被写体を連写撮影又は動画撮影する撮影手段を備える装置が有するコンピュータを、この撮影手段により連写撮影又は動画撮影された各画像中に動きのある部分が存在しているか否かを検出する検出手段と、この検出手段により動きのある部分の存在が検出されない状態の間は、前記撮影手段により連写撮影又は動画撮影された各画像中の少なくとも１枚の静止画像を背景画像として記憶させる静止画像記憶制御手段と、この静止画像記憶制御手段の制御により背景画像を記憶させたあとに、前記検出手段により動きのある部分の存在が検出されたことを条件に、前記撮影手段により連写撮影又は動画撮影された一連の被写体込みの画像を被写体込み動画画像として記憶させる動画画像記憶制御手段と、前記静止画像記憶制御手段の制御により記憶された背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込み動画画像とから一連の被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された一連の被写体画像を記憶させる被写体画像記憶制御手段として機能させることを特徴とする。

また、請求項１４記載の発明に係る撮影画像処理プログラムにあっては、被写体を撮影する撮影手段を備える装置が有するコンピュータを、この撮影手段により連写撮影された被写体の少なくとも１枚の静止画像を記憶させる静止画像記憶制御手段と、この静止画像記憶制御手段の制御により記憶された静止画像の中に変化のある部分が検出されたことを条件に、前記撮影手段に動画撮影を実行させて、当該撮影された動画画像を記憶させる動画画像記憶制御手段と、前記静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、一連の被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段として機能させることを特徴とする。

また、請求項１５記載の発明に係る撮影画像処理プログラムにあっては、被写体を撮影する撮影手段を備える装置が有するコンピュータを、連写モードにおいて、前記撮影手段により被写体を連写撮影し、この連写撮影された各静止画像を記憶させる静止画像記憶制御手段と、この静止画像記憶制御手段の制御により記憶された複数の静止画像内に動きのある部分が検出されたか否かを検出する検出手段と、この検出手段により動きのある部分が検出されたことを条件に、動画モードに移行し、この動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御手段と、前記静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段として機能させることを特徴とする。

また、請求項１６記載の発明に係る撮影画像処理プログラムにあっては、被写体を撮影する撮影手段を備える装置が有するコンピュータを、動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御手段と、この動画像記憶制御手段の制御により記憶された動画画像内に動きのある部分を検出する検出手段と、この検出手段により動きのある部分が検出されなくなったことを条件に、静止画モードに移行し、この静止画モードにおいて、前記撮影手段により被写体を撮影し、この撮影された静止画を記憶させる静止画画像記憶制御手段と、この静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された各被写体画像を記憶させる被写体画像記憶制御手段として機能させることを特徴とする。

また、請求項１７記載の発明に係る撮影画像処理装置にあっては、被写体を撮影する撮影手段を備える装置が有するコンピュータを、この撮影手段により外部の環境を動画撮影し、この動画撮影の途中で動画画像内に動きのある部分が存在する状態から存在していない状態へ変化した第１の状態変化、及び、動画画像内に動きのある部分が存在していない状態から存在する状態へ変化した第２の状態変化のいずれかがあったことを検出する検出手段と、この検出手段により第１の状態変化又は第２の状態変化のいずれかがあったことが検出されたことを条件に、動画画像内に動きのある部分が存在する状態の被写体込み動画画像と動きのある部分が存在していない状態の静止画である背景画像とから、被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段とを備えていることを特徴とする。

また、請求項１８記載の発明に係る撮影画像処理方法にあっては、被写体を連写撮影又は動画撮影する撮影手段を備える装置における撮影画像処理方法であって、前記撮影手段により連写撮影又は動画撮影された各画像中に動きのある部分が存在しているか否かを検出する検出ステップと、この検出により動きのある部分の存在が検出されない状態の間は、前記撮影手段により連写撮影又は動画撮影された各画像中の少なくとも１枚の静止画像を背景画像として記憶させる静止画像記憶制御ステップと、この静止画像記憶制御ステップの制御により背景画像を記憶させたあとに、前記検出手段により動きのある部分の存在が検出されたことを条件に、前記撮影手段により連写撮影又は動画撮影された一連の被写体込みの画像を被写体込み動画画像として記憶させる動画画像記憶制御ステップと、前記静止画像記憶制御ステップの制御により記憶された背景画像と前記動画画像記憶制御ステップの制御により記憶された被写体込み動画画像とから一連の被写体のみからなる被写体画像を切り出す切出ステップと、この切出ステップにより切り出された一連の被写体画像を記憶させる被写体画像記憶制御ステップとを含むことを特徴とする。

また、請求項１９記載の発明に係る撮影画像処理方法にあっては、被写体を撮影する撮影手段を備える装置における撮影画像処理方法であって、前記撮影手段により連写撮影された被写体の少なくとも１枚の静止画像を記憶させる静止画像記憶制御ステップと、この静止画像記憶制御ステップの制御により記憶された静止画像の中に変化のある部分が検出されたことを条件に、前記撮影手段に動画撮影を実行させて、当該撮影された動画画像を記憶させる動画画像記憶制御ステップと、前記静止画像記憶制御ステップの制御により記憶された静止画像である背景画像と前記動画画像記憶制御ステップの制御により記憶された被写体込みの動画画像とから、一連の被写体のみからなる被写体画像を切り出す切出ステップと、この切出ステップにより切り出された被写体画像を記憶させる被写体画像記憶制御ステップとを含むことを特徴とする。

また、請求項２０記載の発明に係る撮影画像処理方法にあっては、被写体を撮影する撮影手段を備える装置における撮影画像処理方法であって、連写モードにおいて、前記撮影手段により被写体を連写撮影し、この連写撮影された各静止画像を記憶させる静止画像記憶制御ステップと、この静止画像記憶制御ステップの制御により記憶された複数の静止画像内に動きのある部分が検出されたか否かを検出する検出ステップと、この検出ステップにより動きのある部分が検出されたことを条件に、動画モードに移行し、この動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御ステップと、前記静止画像記憶制御ステップの制御により記憶された静止画像である背景画像と前記動画画像記憶制御ステップの制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出ステップと、この切出ステップにより切り出された被写体画像を記憶させる被写体画像記憶制御ステップとを含むことを特徴とする。

また、請求項２１記載の発明に係る撮影画像処理方法にあっては、被写体を撮影する撮影手段を備える装置における撮影画像処理方法であって、動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御ステップと、この動画像記憶制御ステップの制御により記憶された動画画像内に動きのある部分を検出する検出ステップと、この検出ステップにより動きのある部分が検出されなくなったことを条件に、静止画モードに移行し、この静止画モードにおいて、前記撮影手段により被写体を撮影し、この撮影された静止画を記憶させる静止画画像記憶制御ステップと、この静止画像記憶制御ステップの制御により記憶された静止画像である背景画像と前記動画画像記憶制御ステップの制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出ステップと、この切出ステップにより切り出された各被写体画像を記憶させる被写体画像記憶制御ステップとを含むことを特徴とする。

また、請求項２２記載の発明に係る撮影画像処理方法にあっては、被写体を撮影する撮影手段を備える装置における撮影画像処理方法であって、前記撮影手段により外部の環境を動画撮影し、この動画撮影の途中で動画画像内に動きのある部分が存在する状態から存在していない状態へ変化した第１の状態変化、及び、動画画像内に動きのある部分が存在していない状態から存在する状態へ変化した第２の状態変化のいずれかがあったことを検出する検出ステップと、この検出ステップにより第１の状態変化又は第２の状態変化のいずれかがあったことが検出されたことを条件に、動画画像内に動きのある部分が存在する状態の被写体込み動画画像と動きのある部分が存在していない状態の静止画である背景画像とから、被写体のみからなる被写体画像を切り出す切出ステップと、この切出ステップにより切り出された被写体画像を記憶させる被写体画像記憶制御ステップとを含むことを特徴とする。

請求項１、１３、１８に係る発明によれば、連写撮影又は動画撮影された画像中に動きのある部分の存在が検出されない間はその画像中の少なくとも１枚の静止画像を記憶させ、その後、動きのある部分の存在が検出されたことを条件に、連写撮影又は動画撮影された一連の被写体込み画像を記憶させ、この後者の連写撮影又は動画撮影された一連の被写体込み動画画像と前記前者の少なくとも１枚の静止画像である背景画像とから、被写体のみからなる被写体画像を切り出し、この切り出された被写体画像を記憶させることができる。このために、簡単な操作により、切り出された被写体画像を、たとえば、人物キャラクターとして容易かつ迅速に作成することができる。

また、請求項３、１４、１９に係る発明によれば、連写撮影された被写体の少なくとも１枚の静止画像を記憶させたあとに、この記憶された少なくとも１枚の静止画像の中に動きのある部分の存在が検出されたことを条件に、動画撮影を実行させ、当該動画撮影された被写体込みの動画画像を記憶させ、その後、この動画画像と前記静止画像である背景画像とから、被写体のみからなる被写体画像を切り出し、この切り出された被写体画像を記憶させることができる。このために、簡単な操作で、切り出された被写体画像を、たとえば、人物キャラクタとして容易かつ迅速に作成することができる。

また、請求項４、１５、２０に係る発明によれば、連写モードにおいて、被写体を連写撮影し、この連写撮影された静止画像を記憶させ、この複数の静止画像内に動きのある部分の存在が検出されたか否かを検出し、この動きのある部分の存在が検出されたことを条件に、動画モードに移行し、この動画モードにおいて、被写体を動画撮影し、この撮影された動画画像を記憶させ、この動画画像と静止画像である背景画像とから、被写体のみからなる被写体画像を切り出し、この切り出された被写体画像を記憶させることができる。このために、簡単な操作で、切り出された被写体画像を、たとえば、人物キャラクタとして容易かつ迅速に作成することができる。

また、請求項５、１６、２１に係る発明によれば、動画モードにおいて、被写体を動画撮影し、この撮影された動画画像を記憶させ、この動画画像内に動きのある部分の存在がなくなったことが検出されたか否かを検出し、この動きのある部分の存在が検出されなくなったことを条件に、静止画モードに移行し、この静止画モードにおいて、被写体を撮影し、この撮影された静止画像を記憶させ、この静止画像である背景画像と動画画像から、被写体のみからなる被写体画像を切り出し、この切り出された被写体画像を記憶させることができる。このために、簡単な操作で、切り出された被写体画像を、たとえば、人物キャラクタとして容易かつ迅速に作成することができる。

また、請求項６、１７、２２に係る発明によれば、外部の環境を動画撮影し、この撮影撮影の途中で、（１）動画画像内に動きのある部分が存在している状態から、存在していない状態へ、及び、（２）動画画像内に動きのある部分が存在していない状態から、存在している状態へ変化したことのいずれかを検出した場合において、動画画像内に動きのある部分が存在している状態の動画画像と動画画像内に動きのある部分が存在していない状態の静止画像である背景画像とから、動きのある部分が存在している部分の動画画像のみからなる被写体画像を切り出し、この切り出された被写体画像を記憶させることができる。このために、簡単な操作で、切り出された被写体画像を、たとえば、人物キャラクタとして容易かつ迅速に作成することができる。

また、請求項７に係る発明によれば、連写撮影又は動画撮影された画像中における顔を検出した結果、顔が検出された場合に、それ以降において前記連写撮影又は動画撮影された画像を被写体画像として記憶させることができる。このために、顔が検出された以降において連写撮影又は動画撮影された画像を被写体画像を、たとえば、人物キャラクタとして容易かつ迅速に作成することができる。

また、請求項８に係る発明によれば、連写撮影又は動画撮影された画像中における顔を検出したあとに、背景画像と動画画像とに基づいて、顔が検出された被写体画像を当該背景画像から切り出すことができる。このために、顔が検出された被写体画像を、たとえば、人物キャラクタとして容易かつ迅速に作成することができる。

また、請求項９に係る発明によれば、記憶された被写体画像に、任意に選択された画像を付加させることができる。

また、請求項１０に係る発明によれば、切り出された被写体画像を任意に選択された選択背景画像上に配置させることができる。

また、請求項１１に係る発明によれば、切り出された複数の被写体画像の間の間隔を調整して配置させることができる。

また、請求項１２に係る発明によれば、操作入力された吹き出し付きのコメントを、切り出された被写体画像の近傍に配置させることができる。

以上のように、本発明によれば、複雑な操作を伴うことなく、簡単に、一連の被写体画像を切り出して記憶させることができる。よって、簡単な操作により被写体を動くキャラクタとして用いるができるようにすることができる。

本発明の一実施の形態に係るデジタルカメラのブロック図である。 記憶部の構成を示す概念図である。 本発明の第１の実施の形態における撮影処理の手順を示すフローチャートである。 記憶部の各格納エリアに記憶される画像例を示す図である。 本発明の第１の実施の形態における人物キャラクタ作成処理の手順を示すフローチャートである。 同人物キャラクタ作成処理の処理内容を示す説明図である。 ユーザによる編集処理の手順を示すフローチャートである。 本発明の第２の実施の形態における人物キャラクタ作成処理の手順を示すフローチャートである。

以下、本発明の一実施の形態を図に従って説明する。
図１は、本実施の形態に係るデジタルカメラ１の概略構成を示すブロック図である。このデジタルカメラ１は、バスライン６を介して各部に接続された制御部７を備えている。制御部７は、デジタルカメラ１の各部を制御するワンチップマイコンであって、撮影フレームレート制御部７１、時計部７３及びクロック７４を有している。撮影フレームレート制御部７１は、連写撮影時及び動画撮影時におけるフレームレート（撮影時間間隔）を可変制御する。時計部７３は、連写撮影時及び動画撮影時において撮影記録時間を計測する際等に用いられ、クロック７４はタイミング・ジェネレータであってＣＭＯＳ８を制御する。

ＣＭＯＳ８は、フォーカスレンズ、ズームレンズ等で構成される前記撮像レンズ２の光軸上に配置されている。ユニット回路９は、ＣＭＯＳ８から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤ）等から構成されている。ＣＭＯＳ８の出力信号はユニット回路９を経て各々デジタル信号として画像処理部１０に送られて、各種画像処理が施される。

また、バスライン６には、入力部１１、プログラムメモリ１２、ワークメモリ１３、記憶部１４、表示ドライバ１５が接続されている。表示ドライバ１５は、デジタルカメラ１の背面に配置されている表示部１６を駆動する。入力部１１は、撮影スイッチ４や人物キャラクタ作成モードスイッチ５等を含みユーザによる操作に応じたキー入力信号を制御部７に出力する。プログラムメモリ１２は、制御部７の動作プログラムや各部の制御に使用する各種データが記憶されているとともに、前記フォーカスレンズを駆動してオートフォーカス（ＡＦ）制御を実行するＡＦ制御プログラムも記憶されている。

ワークメモリ１３は、ＣＭＯＳ８により撮像された後デジタル化された被写体の画像データ等を一時保存するバッファであるとともに、制御部７のワーキングメモリとしても使用される。ワークメモリ１３に一時保存された画像データは、制御部７により圧縮（符号化）が行われ、最終的には所定のフォーマット（ＪＰＥＧ形式等）の静止画データ、あるいは複数の静止画像データを含む動画データ（Ｍｏｔｉｏｎ ＪＰＥＧ形式、ＭＰＥＧ−４形式、ＭＰＥＧ−４ ＡＶＣ形式等）としてファイル名（撮影日時を用いたファイル名）が付されて、記憶部１４に記録される。

記憶部１４には、図２に示すように、静止画像格納エリア１４１、連写又は動画画像格納エリア１４２、人物キャラクタ画像格納エリア１４３、編集済画像格納エリア１４４及びその他の画像格納エリア１４５が設けられている。静止画像格納エリア１４１には、後述する低速連写モード又は動画モードでの撮影時において、画像中に動きのある部分が検出されない状態における静止画が記憶され、連写又は動画画像格納エリア１４２には、動きのある部分が検出されかつ顔が検出された後における複数のフレーム画像からなる連写又は動画画像が記憶される。

人物キャラクタ画像格納エリア１４３には、前記連写又は動画画像格納エリア１４２に記憶された連写又は動画画像から切り出された人物キャラクタ画像が記憶される。編集済画像格納エリア１４４には、前記人物キャラクタ画像格納エリア１４３に格納された人物キャラクタ画像を用いてユーザにより編集された編集済画像が記憶される。その他の画像格納エリア１４５には、前記各エリア１４１〜１４４に格納される以外の通常の撮影時に撮影された静止画像や動画画像が記憶される。

次に、以上の構成からなるデジタルカメラ１の第１の実施の形態における動作について説明する。

電源をオンにして撮影モードを設定すると、表示部１６に順次撮像される画像がライブビュー表示された状態となる。この状態において、制御部７はプログラムメモリ１２に格納されたプログラムに従って図３のフローチャートに示す手順で処理を実行する。

まず、撮影スイッチ４がオン操作されたか否かを判断し（ステップＳ１０１）、撮影スイッチ４がオン操作されるまで待機する。撮影スイッチ４がオン操作されたならば、低速連写モード又は動画モードで撮影を実行して、その撮影画像である静止画像（後述するステップＳ１０４で動きのある部分が検出されるまでの動きのある部分の存在が検出されない状態の静止画像）を背景画像として静止画像格納エリア１４１に記憶する（ステップＳ１０２）。

ここで、低速連写モードのフレームレートは例えば５ｆｐｓであり、動画モードのフレームレートは例えば３０ｆｐｓである。これにより、静止画像格納エリア１４１には、図４（Ａ）に例示するような静止画像であるフレーム画像Ｆ１が前記フレームレートで記憶されていく。

次に、動き検出処理を実行して、前記フレームレートで撮影している画像中の動きのある部分を検出する（ステップＳ１０３）。この動き検出処理に際しては、静止画像格納エリア１４１に格納された時間的に相前後する前回の撮影フレーム画像と今回の撮影フレーム画像とを比較し、両者に差異がないと検出された場合には動きのある部分が存在してしていないと判断し、両者に差異があると検出された場合には動きのある部分が存在していると判断する。

したがって、静止画像格納エリア１４１へのフレーム画像Ｆ１の記憶は、連写撮影又は動画撮影した全てのフレームを記憶してもよいが、時間的に相前後する前回の撮影フレームと今回の撮影フレームのみを記憶するのであれればステップＳ１０３の動き検出処理を行うことができる。これにより、静止画像格納エリア１４１に必要な記憶容量を少なくすることができる。

さらに、前記ステップＳ１０３での動き検出処理により動きのある部分の存在が検出されたか否かを判断し（ステップＳ１０４）、動きのある部分の存在が検出されない場合には、ステップＳ１０２に戻る。したがって、このデジタルカメラ１を固定した状態で撮影を継続すると、撮影している画像中の動きのある部分の存在が検出されない状態においては、Ｓ１０２→Ｓ１０３→Ｓ１０４→Ｓ１０２のループが繰り返され、図４（Ａ）に例示した同一のフレーム画像Ｆ１が順次、あるいは更新されつつ記憶される。

しかし、図４（Ｂ）に示すように、デジタルカメラ１の画角内に二人の人物が登場すると、今回撮影されたフレーム画像Ｆ２には、動きのある部分である被写体画像Ｐ１、Ｐ２が出現することとなる。また、前回撮影のフレーム画像Ｆ１（図４（Ａ））と今回撮影のフレーム画像Ｆ２（図４（Ａ））とに差異が生ずることから、ステップＳ１０３で動きのある部分の存在が検出され、ステップＳ１０４の判断はＹＥＳとなる。

したがって、ステップＳ１０４からステップＳ１０５に進み、高速連写モードへ移行して、高速連写モード又は動画モードで撮影を実行し、その画像データを記憶する（ステップＳ１０５）。ただし、このステップＳ１０５において高速連写モード又は動画モードで撮影された一連の被写体画像は、連写又は動画画像格納エリア１４２に記憶するのではなく、ワークメモリ１３に記憶する。

ここで、高速連写モードのフレームレートは、前記低速連写モードのフレームレート５ｆｐｓよりも高いフレームレート、例えば１０ｆｐｓであり、動画モードのフレームレートは前述のように例えば３０ｆｐｓである。これにより、ワークメモリ１３には、前記フレームレートで一連の被写体画像である連写画像又は動画画像が記憶されていく。

次に、顔検出判断を行って、前記ステップＳ１０３で検出された動きのある部分を有する被写体画像から人間の顔が検出されたか否か、つまり動く被写体画像が人物被写体画像であるか否かを判断する（ステップＳ１０６）。したがって、検出された被写体画像が撮影中に登場した自動車や犬、猫等の動物であった場合には、ステップＳ１０６の判断はＮＯとなる。この場合には、次のステップＳ１０６に進むことなく、高速連写モード又は動画モードでの撮影を継続する。

なお、ステップＳ１０６での顔検出処理に際しては、公知の顔の検出方法を用いればよい。例えば、特開２００３−２７４２７１号公報に記載の技術や特開２０００―３００３３号公報に記載の技術のように１フレーム中から人物の顔領域を検出する技術等を適宜採用することができる。また、この顔検出処理のために専用の回路を設けても良いし制御部２２で顔検出用プログラムを実行させるようにしてもよい。

そして、図４（Ｃ）に示すように、撮影中に、初めて人物が登場して、動きのある部分である被写体画像Ｐ１、Ｐ２の中から顔部分Ｋ１、Ｋ２が検出されると、ステップＳ１０６の判断はＹＥＳとなる。したがって、ステップＳ１０６からステップＳ１０７に進み、所定時間動画継続記憶処理を実行して、高速連写モード又は動画モードで撮影された画像データを動画画像格納エリア１４２に記憶する。しかる後に、このフローチャートに従った処理を終了する。ここで、所定時間とは、例えば２０〜３０秒程度である。したがって、連写又は動画画像格納エリア１４２には、少なくとも２０〜３０秒程度の顔を有する動く被写体画像、つまり動く人物被写体が存在する動画画像が記憶されることとなる。

以上のようにして撮影を行い、静止画像格納エリア１４１と連写又は動画画像格納エリア１４２に対する画像の記憶を終了すると、制御部７はプログラムメモリ１２に格納されたプログラムに従って図５のフローチャートに示す手順で処理を実行する。

まず、人物キャラクタ作成モードスイッチ５がオン操作されたか否かを判断し（ステップＳ１１１）、人物キャラクタ作成モードスイッチ５がオン操作されるまで待機する。人物キャラクタ作成モードスイッチ５がオン操作されたならば、静止画像格納エリア１４１から（動きなしの１枚の画像）背景画像を読み出す処理、つまり動きのある部分が検出される前の背景画像を読み出す処理を実行する（ステップＳ１１２）。これにより、図６（Ａ１）に示すように、静止画像であるフレーム画像Ｆ１が読み出されることとなる。

次に、（動きありの複数枚からなる画像）動画の読み出し処理を実行し、連写又は動画画像格納エリア１４２から連続する複数のフレーム画像を読み出す（ステップＳ１１３）。これにより、図６（Ａ２）に示すように、動画を構成する一連のフレーム画像Ｆ２、Ｆ３、Ｆ４、Ｆ５・・・が読み出されることとなる。また、前述のようにこれら一連のフレーム画像Ｆ２、Ｆ３、Ｆ４、Ｆ５・・・中には、少なくとも２０〜３０秒程度の長さ分をもって動く人物被写体である被写体画像Ｐ１、Ｐ２が存在する。

そこで、次のステップＳ１１４においては、これら一連のフレーム画像Ｆ２、Ｆ３、Ｆ４、Ｆ５・・・中における動く被写体画像Ｐ１、Ｐ２を切り出す処理を実行する（図６（Ｂ））。つまり、図６（Ａ２）に示した一連のフレーム画像Ｆ２、Ｆ３、Ｆ４、Ｆ５・・・から、同図（Ａ１）に示したフレーム画像Ｆ１（静止画像）が示す背景部分以外の部分である被写体画像Ｐ１、Ｐ２を各々切り出す。

したがって、このステップＳ１１４での処理により、図６（Ｃ）に示すように、被写体画像Ｐ１，Ｐ２が各々人物キャラクタＣ１、Ｃ２として切り出されたフレーム画像Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５・・・からなる動画画像が生成される。続くステップＳ１１１５では、切り出した人物キャラクタ（動画）記憶処理を行って、図６（Ｃ）に示した人物キャラクタＣ１、Ｃ２のみが存在する各フレーム画像Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５・・・からなる動画を人物キャラクタ画像格納エリア１４３に記憶させる。

したがって、本実施の形態によれば、連写撮影又は動画撮影された画像中に動きのある部分の存在が検出されない間は、連写撮影又は動画撮影された画像である静止画像を背景画像として記憶させていくが、動きのある部分の存在が検出されたことを条件に、連写撮影又は動画撮影された一連の被写体込み画像を記憶させてゆき、この連写撮影又は動画撮影された一連の被写体込み画像と前記背景画像とから、被写体画像のみからなる被写体画像を切り出し、この切り出された被写体画像を人物キャラクタとして記憶させることができる。

また、複数の静止画像の中に動きのある部分の存在が検出されたことを条件に、これに応答して、連写撮影から動画撮影となり、当該動画画像を記憶させるので、この動画画像と前記静止画像とから、一連の動画である被写体画像のみを切り出し、この切り出された被写体画像を人物キャラクタとして記憶させることができる。

また、動きのある部分の存在が検出されたことを条件に、これに応答して、低速連写モードから高速連写モードまたは動画モードに自動的に移行し、この高速連写モードまたは動画モードにおいて、被写体を動画撮影し、この撮影された動画画像を記憶させ、この動画画像と背景画像とから、高速連写モード下または動画モード下の被写体画像のみを切り出し、この切り出された被写体画像を人物キャラクタとして記憶させることができる。

よって、本実施の形態によれば、従来のような複雑な操作を伴うことなく、簡単に、一連の被写体画像を切り出して記憶させることができる。よって、簡単な操作により、背景の存在していない被写体のみの被写体画像を人物キャラクタとして作成することができ、これにより、動くキャラクタとして用いるができるようにすることができる。

そして、ステップＳ１１５に続くステップＳ１１６では、ユーザによる編集処理を実行する。図７は、このステップＳ１１６のユーザによる編集処理の詳細を示すフローチャートである。編集モードが選択されると、制御部７はプログラムメモリ１２に格納されたプログラムに従ってこのフローチャートに示す手順で処理を実行する。まず、編集メニューの中から背景配置が選択されたか否かを判断する（ステップＳ１２１）。背景配置が選択されたならば、被写体画像Ｐ１，Ｐ２が各々人物キャラクタＣ１、Ｃ２として切り出されたフレーム画像Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５・・・に、ユーザにより指定されている任意の背景画像を合成する（ステップＳ１２２）。これにより、任意の背景上で人物キャラクタＣ１、Ｃ２が動作する動画を創作することができる。

また、背景配置が選択されない場合には、編集メニューから被写体画像の間隔調整が選択されたか否かを判断する（ステップＳ１２３）。被写体画像の間隔調整が選択されたならば、被写体画像Ｐ１，Ｐ２が各々人物キャラクタＣ１、Ｃ２として切り出されたフレーム画像Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５・・・中における人物キャラクタＣ１、Ｃ２間の距離Ｌ１をユーザにより指定されている任意の距離Ｌ２に変更する（ステップＳ１２４）。これにより、図６（Ｃ）に示したフレーム画像Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５・・・中における人物キャラクタＣ１、Ｃ２間の距離Ｌ１が、同図（Ｄ）に示すように、距離Ｌ２に変更されたフレーム画像Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５・・・が生成され、人物キャラクタＣ１、Ｃ２間の距離Ｌ１を任意に変化させた動画を創作することができる。

また、被写体画像の間隔調整が選択されない場合には、編集メニューから吹き出しコメントが選択されたか否かを判断する（ステップＳ１２５）。吹き出しコメントが選択されたならば、被写体画像Ｐ１，Ｐ２が各々人物キャラクタＣ１、Ｃ２として切り出されたフレーム画像Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５・・・中にユーザにより指定された任意のコメントの吹き出しを合成する（ステップＳ１２６）。これにより、図６（Ｄ）に示すように、任意の吹き出しコメント３０が合成されたフレーム画像Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５・・・が生成され、任意の吹き出しコメント３０が合成表示される動画を創作することができる。

また、吹き出しコメントが選択されない場合には、編集メニューから選択されたその他の編集項目に応じたその他の合成処理を実行する（ステップＳ１２７）。これにより、図６（Ｄ）に示すように、ハートマーク３１等の各種マークや、「結婚式への招待状」等のタイトル３２が合成されたフレーム画像Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５・・・が生成され、各種マークやタイトルが合成表示される動画を創作することができる。

しかる後に、編集モードを終了したか否かを判断し（ステップＳ１２８）、編集モードが継続している場合には、ステップＳ１２１に戻る。また、編集モードを終了したならば記憶処理を行って、前記各ステップＳ１２２、Ｓ１２４、Ｓ１２６、Ｓ１２７で編集された動画を編集済画像格納エリア１４４に記憶させて（ステップＳ１２９）、図５のメインルーチンにリターンする。

すると、図５のメインルーチンにおいて、ステップＳ１１６に続くステップＳ１１７で編集済動画再生処理を実行し、編集済画像格納エリア１４４に記憶されている編集済動画を再生して、表示部１６に表示させる。よって、本実施の形態によれば複雑な操作を伴うことなく簡単に、一連の被写体画像を切り出して記憶させることができるのみならず、これを編集した動画を楽しむこともできる。

なお、本実施の形態においては、最初に静止画が撮影記憶を行い、画像中に動きがあることを条件に動画撮影記録を行う手順としたがこれと逆の手順であってもよい。つまり、動画モードにおいて、被写体を動画撮影し、この撮影された動画画像を記憶させると、この動画画像内に動きのある部分がなくなったことが検出されたか否かを検出し、この動きのある部分が検出されなくなったたことを条件に、静止画モードに移行して静止画（背景）の撮影記録を行うようにしてもよい。この場合であっても、本実施の形態と同様の作用効果を奏することができる。

また、本実施の形態においては、顔が検出する前の画像データはワークメモリ１３に記憶し、顔が検出された後の画像データのみを連写又は動画画像格納エリア１４２を記憶するようにしたが、両者を共に連写又は動画画像格納エリア１４２に記憶させるようにしてもよい。この場合、連写又は動画画像格納エリア１４２には顔がない動く被写体（自動車等のみ）が存在する画像と、顔がある動く被写体（人物被写体）が存在する画像とが記憶されることとなる。しかし、この場合には、人物キャラクタ作成処理において顔検出を行い、顔がある動く被写体（人物被写体）を切り出せば、支障なく人物キャラクタの切り出しを行うことができる。

図８は、本発明の第２の実施の形態における人物キャラクタ作成処理の処理手順を示すフローチャートである。なお、この第２の実施の形態における撮影処理は、前述した第１の実施の形態と同様に図３に示したフローチャートに従って実行される。したがって、前記ステップＳ１０２での処理により、低速連写モード又は動画モードで撮影が実行されて、前記ステップＳ１０４で動きのある部分が検出されるまでの動きのない状態の撮影画像データが静止画像格納エリア１４１に記憶されている。また、前記ステップＳ１０７での処理により、連写又は動画画像格納エリア１４２には、少なくとも２０〜３０秒程度の動く人物被写体が存在する動画像が記憶されている。

以上のようにして撮影を行い、静止画像格納エリア１４１と連写又は動画画像格納エリア１４２に対する画像の記憶を終了すると、制御部７はプログラムメモリ１２に格納されたプログラムに従って図８のフローチャートに示す手順で処理を実行する。まず、人物キャラクタ作成モードスイッチ５がオン操作されたか否かを判断し（ステップＳ２１１）、人物キャラクタ作成モードスイッチ５がオン操作されるまで待機する。

人物キャラクタ作成モードスイッチ５がオン操作されたならば、静止画像格納エリア１４１から動き検出前（動きなしの１枚の画像）背景画像を読み出す処理、つまり動きのある部分が検出される前の背景画像を読み出す処理を実行する（ステップＳ２１２）。これにより、図６（Ａ１）に示すように、静止画像であるフレーム画像Ｆ１が読み出されることとなる。

次に、動き検出後の（動きありの複数枚からなる画像）動画の読み出し処理を実行し、連写又は動画画像格納エリア１４２から連続する複数のフレーム画像を読み出す（ステップＳ２１３）。これにより、図６（Ａ２）に示すように、動画を構成する一連のフレーム画像Ｆ２、Ｆ３、Ｆ４、Ｆ５・・・が読み出されることとなる。また、前述のようにこれら一連のフレーム画像Ｆ２、Ｆ３、Ｆ４、Ｆ５・・・中には、少なくとも２０〜３０秒程度の長さ分をもって動く人物被写体である被写体画像Ｐ１、Ｐ２が存在する。

したがって、以下のステップＳ２１４〜Ｓ２１７においては、前述した図５のフローチャートにおけるステップＳ１１４〜Ｓ１１７と同様の処理を実行する。すなわち、ステップＳ２１４においては、これら一連のフレーム画像Ｆ２、Ｆ３、Ｆ４、Ｆ５・・・中における動く被写体画像Ｐ１、Ｐ２を切り出す処理を実行する（図６（Ｂ））。つまり、図６（Ａ２）に示した一連のフレーム画像Ｆ２、Ｆ３、Ｆ４、Ｆ５・・・から、同図（Ａ１）に示したフレーム画像Ｆ１（静止画像）が示す背景部分以外の部分である被写体のみからなる被写体画像Ｐ１、Ｐ２を各々切り出す。

したがって、このステップＳ２１４での処理により、図６（Ｃ）に示すように、被写体画像Ｐ１，Ｐ２が各々人物キャラクタＣ１、Ｃ２として切り出されたフレーム画像Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５・・・からなる動画画像が生成される。続くステップＳ２１１５では、切り出した人物キャラクタ（動画）記憶処理を行って、図６（Ｃ）に示した人物キャラクタＣ１、Ｃ２のみが存在する各フレーム画像Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５・・・からなる動画を人物キャラクタ画像格納エリア１４３に記憶させる。

したがって、本実施の形態によれば、外部の環境を動画撮影し、この撮影の途中で（１）動画画像内に動きのある部分が「ある状態」から「ない状態」へ、及び、（２）動画画像内に動きのある部分が「ない状態」から「ある状態」へ変化したことを検出し、（１）又は（２）への変化のいずれかがあったことを検出されたならば、動画画像内に動きのある部分が「ある状態」の動画画像と「ない状態」の静止画とに基づいて、動きのある部分が「ある状態」の動画画像を被写体画像として切り出し、この切り出された被写体画像を記憶させることができる。よって、簡単な操作により被写体を動くキャラクタとして用いるができるようにすることができる。

そして、ステップＳ２１５に続くステップＳ２１６では、図７のフローチャートに基づいて前述したユーザによる編集処理を実行する。また、ステップＳ２１６に続くステップＳ２１７で編集済動画再生処理を実行し、編集済画像格納エリア１４４に記憶されている編集済動画を再生して、表示部１６に表示させる。よって、本実施の形態によれば複雑な操作を伴うことなく簡単に、一連の被写体画像を切り出して記憶させることができるのみならず、これを編集した動画を楽しむこともできる。

なお、実施の形態にあっては、本発明をデジタルカメラに適用した場合について説明したが、本発明はこれに限るものではなく、他にもカメラ付き携帯電話端末、カメラ付きＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：携帯情報端末）、カメラ付きパーソナルコンピュータ、等に適用することも容易に可能であり、要は連続撮影が可能な装置であればいずれにも適用することができる。

本発明は、以下の用途（１）及び（２）にも適用することができる。

（１）防犯カメラに適用した場合
本発明を防犯カメラに適用すると、防犯カメラは、最初に連写撮影（動画撮影時よりも低いフレームレート）で静止画像を撮影しているが、動きが検出されたならば、自動的に動画撮影となる。その動画の中で顔が検出されたならば、その顔画像を所定時間記憶し、これにより、同じ場所にて静止画と顔の動画との２つを撮影しておく。

そして、撮影済みの静止画と顔の動画との２つを組み合わせて、切り出し動画である人物キャラクタを作成する。しかる後に、ユーザが選択した背景画像（静止画）、追加された吹き出し付きコメント、互いに接近した状態下で、作成された人物キャラクタを動画再生する。

したがって、実際には暗い背景や犯人の衣服と同色系の背景で動き検出後の動画が撮影された場合であっても、明るい背景や犯人の衣服とは異色系の背景で人物キャラクタを動画再生することができ、容疑者の動作を明瞭に確認することができる。また、一般の防犯カメラには音声を記録する機能がない場合が多いが、犯人が犯行中に発言している場合には、読唇術の場合と同様に、発言者の口の動きをリアルタイムで検出し、この口の動きから発言内容を画像認識して、当該発言内容に対応するコメントを吹き出し付きコメントとして、人物キャラクタと合成する。これにより、犯行をよりリアルに再現することができる。

（２）銀行や郵便局などのキャッシュボックスでの監視カメラに適用した場合
本発明を防犯カメラに適用すると、監視カメラは、最初に連写撮影で静止画像を撮影しているが、預金者が現れて、その動きが検出されたなら、自動的に動画撮影となる。その動画の中で顔が検出されたならば、その顔画像を所定時間記憶し、これにより、同じ場所にて静止画と顔の動画との２つを撮影しておく。

そして、撮影済みの静止画と顔の動画との２つを組み合わせて、切り出し動画である人物キャラクタを作成する。したがって、銀行等では、切り出し動画である人物キャラクタとその際に操作された預金番号、操作時刻などとを対応付けて記憶しておけば、後日、問題が生じた際に、全時間の撮影画像をモニターすることなく、迅速かつ容易に、希望する人物画像とその際に操作された預金番号、操作時刻などとの双方を対応付けて得ることができる。

なお、この実施の形態の場合、一連の被写体込みの動画画像Ｆ２と背景画像Ｆ１とから、被写体のみからなる被写体画像Ｐ１、Ｐ２を切り出し、（Ｃ）に示すように、この切り出された被写体画像Ｐ１、Ｐ２を人物キャラクタＣ１、Ｃ２として各々作成するようにしているが、被写体画像Ｐ１、Ｐ２がどうぶつの場合は、どうぶつの被写体をどうぶつキャラクタとして作成してもよいし、さらに、被写体画像Ｐ１、Ｐ２が自動車等の動く物体画像の場合は、物体の被写体を物体キャラクタとして作成してもよい。

１ デジタルカメラ
４ 撮影スイッチ
５ 人物キャラクタ作成モードスイッチ
７ 制御部
８ ＣＭＯＳ
９ ユニット回路
１０ 画像処理部
１１ 入力部
１２ プログラムメモリ
１３ ワークメモリ
１４ 記憶部
１５ 表示ドライバ
１６ 表示部
２２ 制御部
３０ コメント
３２ 吹き出しタイトル
７１ 撮影フレームレート制御部
１４１ 静止画像格納エリア
１４２ 連写又は動画画像格納エリア
１４３ 人物キャラクタ画像格納エリア
１４４ 編集済画像格納エリア

Claims (22)

1. 被写体を連写撮影又は動画撮影する撮影手段と、
   この撮影手段により連写撮影又は動画撮影された各画像中に動きのある部分が存在しているか否かを検出する検出手段と、
   この検出手段により動きのある部分の存在が検出されない状態の間は、前記撮影手段により連写撮影又は動画撮影された各画像中の少なくとも１枚の静止画像を背景画像として記憶させる静止画像記憶制御手段と、
   この静止画像記憶制御手段の制御により背景画像を記憶させたあとに、前記検出手段により動きのある部分の存在が検出されたことを条件に、前記撮影手段により連写撮影又は動画撮影された一連の被写体込みの画像を被写体込み動画画像として記憶させる動画画像記憶制御手段と、
   前記静止画像記憶制御手段の制御により記憶された背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込み動画画像とから一連の被写体のみからなる被写体画像を切り出す切出手段と、
   この切出手段により切り出された一連の被写体画像を記憶させる被写体画像記憶制御手段と
   を備えていることを特徴とする撮影画像処理装置。
2. 前記撮影手段は、前記検出手段により動きのある部分の存在が検出されない状態の際は、第１のフレームレートで連写撮影又は動画撮影を行い、前記動きのある部分の存在が検出された状態の際は、前記第１のフレームレートよりも高い第２のフレームレートで連写撮影又は動画撮影を行うことを特徴とする請求項１記載の撮影画像処理装置。
3. 被写体を撮影する撮影手段と、
   この撮影手段により連写撮影された被写体の少なくとも１枚の静止画像を記憶させる静止画像記憶制御手段と、
   この静止画像記憶制御手段の制御により記憶された静止画像の中に変化のある部分が検出されたことを条件に、前記撮影手段に動画撮影を実行させて、当該撮影された動画画像を記憶させる動画画像記憶制御手段と、
   前記静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、一連の被写体のみからなる被写体画像を切り出す切出手段と、
   この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段と
   を備えていることを特徴とする撮影画像処理装置。
4. 被写体を撮影する撮影手段と、
   連写モードにおいて、前記撮影手段により被写体を連写撮影し、この連写撮影された各静止画像を記憶させる静止画像記憶制御手段と、
   この静止画像記憶制御手段の制御により記憶された複数の静止画像内に動きのある部分が検出されたか否かを検出する検出手段と、
   この検出手段により動きのある部分が検出されたことを条件に、動画モードに移行し、この動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御手段と、
   前記静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
   この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段と
   を備えていることを特徴とする撮影画像処理装置。
5. 被写体を撮影する撮影手段と、
   動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御手段と、
   この動画像記憶制御手段の制御により記憶された動画画像内に動きのある部分を検出する検出手段と、
   この検出手段により動きのある部分が検出されなくなったことを条件に、静止画モードに移行し、この静止画モードにおいて、前記撮影手段により被写体を撮影し、この撮影された静止画を記憶させる静止画画像記憶制御手段と、
   この静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
   この切出手段により切り出された各被写体画像を記憶させる被写体画像記憶制御手段と
   を備えていることを特徴とする撮影画像処理装置。
6. 被写体を撮影する撮影手段と、
   この撮影手段により外部の環境を動画撮影し、この動画撮影の途中で動画画像内に動きのある部分が存在する状態から存在していない状態へ変化した第１の状態変化、及び、動画画像内に動きのある部分が存在していない状態から存在する状態へ変化した第２の状態変化のいずれかがあったことを検出する検出手段と、
   この検出手段により第１の状態変化又は第２の状態変化のいずれかがあったことが検出されたことを条件に、動画画像内に動きのある部分が存在する状態の被写体込み動画画像と動きのある部分が存在していない状態の静止画である背景画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
   この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段と
   を備えていることを特徴とする撮影画像処理装置。
7. 前記連写撮影又は動画撮影された画像中における顔を検出する顔検出手段を更に備え、
   前記動画画像記憶制御手段は、前記顔検出手段によって顔が検出された場合に、それ以降において前記連写撮影又は動画撮影された画像を被写体画像として記憶させる顔画像記憶制御手段であることを特徴とする請求項１から６にいずれか記載の撮影画像処理装置。
8. 前記連写撮影又は動画撮影された画像中における顔を検出する顔検出手段を更に備え、
   前記切出手段は、前記背景画像と前記被写体込み動画画像とに基づいて、前記顔検出手段によって顔が検出された被写体画像を切り出すことを特徴とする請求項１から６にいずれか記載の撮影画像処理装置。
9. 前記被写体画像記憶制御手段の制御により記憶された被写体画像に、任意に選択された画像を付加させる画像加工制御手段を更に備えることを特徴とする請求項１から８にいずれか記載の撮影画像処理装置。
10. 前記画像加工制御手段は、前記切り出された被写体画像を任意に選択された選択背景画像上に配置させることを特徴とする請求項９記載の撮影画像処理装置。
11. 前記切出手段により切り出された被写体画像は複数の被写体画像であり、前記画像加工制御手段は、当該複数の被写体画像の間の間隔を調整して配置させる間隔調整配置手段を更に備えたことを特徴とする請求項９記載の撮影画像処理装置。
12. 前記画像加工制御手段は、操作入力された吹き出し付きのコメントを前記切り出された被写体画像の近傍に配置させる近傍配置制御手段であることを特徴とする請求項９記載の撮影画像処理装置。
13. 被写体を連写撮影又は動画撮影する撮影手段を備える装置が有するコンピュータを、
    この撮影手段により連写撮影又は動画撮影された各画像中に動きのある部分が存在しているか否かを検出する検出手段と、
    この検出手段により動きのある部分の存在が検出されない状態の間は、前記撮影手段により連写撮影又は動画撮影された各画像中の少なくとも１枚の静止画像を背景画像として記憶させる静止画像記憶制御手段と、
    この静止画像記憶制御手段の制御により背景画像を記憶させたあとに、前記検出手段により動きのある部分の存在が検出されたことを条件に、前記撮影手段により連写撮影又は動画撮影された一連の被写体込みの画像を被写体込み動画画像として記憶させる動画画像記憶制御手段と、
    前記静止画像記憶制御手段の制御により記憶された背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込み動画画像とから一連の被写体のみからなる被写体画像を切り出す切出手段と、
    この切出手段により切り出された一連の被写体画像を記憶させる被写体画像記憶制御手段と
    して機能させることを特徴とする撮影画像処理プログラム。
14. 被写体を撮影する撮影手段を備える装置が有するコンピュータを、
    この撮影手段により連写撮影された被写体の少なくとも１枚の静止画像を記憶させる静止画像記憶制御手段と、
    この静止画像記憶制御手段の制御により記憶された静止画像の中に変化のある部分が検出されたことを条件に、前記撮影手段に動画撮影を実行させて、当該撮影された動画画像を記憶させる動画画像記憶制御手段と、
    前記静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、一連の被写体のみからなる被写体画像を切り出す切出手段と、
    この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段と
    して機能させることを特徴とする撮影画像処理プログラム。
15. 被写体を撮影する撮影手段を備える装置が有するコンピュータを、
    連写モードにおいて、前記撮影手段により被写体を連写撮影し、この連写撮影された各静止画像を記憶させる静止画像記憶制御手段と、
    この静止画像記憶制御手段の制御により記憶された複数の静止画像内に動きのある部分が検出されたか否かを検出する検出手段と、
    この検出手段により動きのある部分が検出されたことを条件に、動画モードに移行し、この動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御手段と、
    前記静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
    この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段と
    して機能させることを特徴とする撮影画像処理プログラム。
16. 被写体を撮影する撮影手段を備える装置が有するコンピュータを、
    動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御手段と、
    この動画像記憶制御手段の制御により記憶された動画画像内に動きのある部分を検出する検出手段と、
    この検出手段により動きのある部分が検出されなくなったことを条件に、静止画モードに移行し、この静止画モードにおいて、前記撮影手段により被写体を撮影し、この撮影された静止画を記憶させる静止画画像記憶制御手段と、
    この静止画像記憶制御手段の制御により記憶された静止画像である背景画像と前記動画画像記憶制御手段の制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
    この切出手段により切り出された各被写体画像を記憶させる被写体画像記憶制御手段と
    して機能させることを特徴とする撮影画像処理プログラム。
17. 被写体を撮影する撮影手段を備える装置が有するコンピュータを、
    この撮影手段により外部の環境を動画撮影し、この動画撮影の途中で動画画像内に動きのある部分が存在する状態から存在していない状態へ変化した第１の状態変化、及び、動画画像内に動きのある部分が存在していない状態から存在する状態へ変化した第２の状態変化のいずれかがあったことを検出する検出手段と、
    この検出手段により第１の状態変化又は第２の状態変化のいずれかがあったことが検出されたことを条件に、動画画像内に動きのある部分が存在する状態の被写体込み動画画像と動きのある部分が存在していない状態の静止画である背景画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
    この切出手段により切り出された被写体画像を記憶させる被写体画像記憶制御手段と
    を備えていることを特徴とする撮影画像処理装置。
18. 被写体を連写撮影又は動画撮影する撮影手段を備える装置における撮影画像処理方法であって、
    前記撮影手段により連写撮影又は動画撮影された各画像中に動きのある部分が存在しているか否かを検出する検出ステップと、
    この検出により動きのある部分の存在が検出されない状態の間は、前記撮影手段により連写撮影又は動画撮影された各画像中の少なくとも１枚の静止画像を背景画像として記憶させる静止画像記憶制御ステップと、
    この静止画像記憶制御ステップの制御により背景画像を記憶させたあとに、前記検出手段により動きのある部分の存在が検出されたことを条件に、前記撮影手段により連写撮影又は動画撮影された一連の被写体込みの画像を被写体込み動画画像として記憶させる動画画像記憶制御ステップと、
    前記静止画像記憶制御ステップの制御により記憶された背景画像と前記動画画像記憶制御ステップの制御により記憶された被写体込み動画画像とから一連の被写体のみからなる被写体画像を切り出す切出ステップと、
    この切出ステップにより切り出された一連の被写体画像を記憶させる被写体画像記憶制御ステップと
    を含むことを特徴とする撮影画像処理方法。
19. 被写体を撮影する撮影手段を備える装置における撮影画像処理方法であって、
    前記撮影手段により連写撮影された被写体の少なくとも１枚の静止画像を記憶させる静止画像記憶制御ステップと、
    この静止画像記憶制御ステップの制御により記憶された静止画像の中に変化のある部分が検出されたことを条件に、前記撮影手段に動画撮影を実行させて、当該撮影された動画画像を記憶させる動画画像記憶制御ステップと、
    前記静止画像記憶制御ステップの制御により記憶された静止画像である背景画像と前記動画画像記憶制御ステップの制御により記憶された被写体込みの動画画像とから、一連の被写体のみからなる被写体画像を切り出す切出ステップと、
    この切出ステップにより切り出された被写体画像を記憶させる被写体画像記憶制御ステップと
    を含むことを特徴とする撮影画像処理方法。
20. 被写体を撮影する撮影手段を備える装置における撮影画像処理方法であって、
    連写モードにおいて、前記撮影手段により被写体を連写撮影し、この連写撮影された各静止画像を記憶させる静止画像記憶制御ステップと、
    この静止画像記憶制御ステップの制御により記憶された複数の静止画像内に動きのある部分が検出されたか否かを検出する検出ステップと、
    この検出ステップにより動きのある部分が検出されたことを条件に、動画モードに移行し、この動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御ステップと、
    前記静止画像記憶制御ステップの制御により記憶された静止画像である背景画像と前記動画画像記憶制御ステップの制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出ステップと、
    この切出ステップにより切り出された被写体画像を記憶させる被写体画像記憶制御ステップと
    を含むことを特徴とする撮影画像処理方法。
21. 被写体を撮影する撮影手段を備える装置における撮影画像処理方法であって、
    動画モードにおいて、前記撮影手段により被写体を動画撮影し、この撮影された動画画像を記憶させる動画画像記憶制御ステップと、
    この動画像記憶制御ステップの制御により記憶された動画画像内に動きのある部分を検出する検出ステップと、
    この検出ステップにより動きのある部分が検出されなくなったことを条件に、静止画モードに移行し、この静止画モードにおいて、前記撮影手段により被写体を撮影し、この撮影された静止画を記憶させる静止画画像記憶制御ステップと、
    この静止画像記憶制御ステップの制御により記憶された静止画像である背景画像と前記動画画像記憶制御ステップの制御により記憶された被写体込みの動画画像とから、被写体のみからなる被写体画像を切り出す切出ステップと、
    この切出ステップにより切り出された各被写体画像を記憶させる被写体画像記憶制御ステップと
    を含むことを特徴とする撮影画像処理方法。
22. 被写体を撮影する撮影手段を備える装置における撮影画像処理方法であって、
    前記撮影手段により外部の環境を動画撮影し、この動画撮影の途中で動画画像内に動きのある部分が存在する状態から存在していない状態へ変化した第１の状態変化、及び、動画画像内に動きのある部分が存在していない状態から存在する状態へ変化した第２の状態変化のいずれかがあったことを検出する検出ステップと、
    この検出ステップにより第１の状態変化又は第２の状態変化のいずれかがあったことが検出されたことを条件に、動画画像内に動きのある部分が存在する状態の被写体込み動画画像と動きのある部分が存在していない状態の静止画である背景画像とから、被写体のみからなる被写体画像を切り出す切出ステップと、
    この切出ステップにより切り出された被写体画像を記憶させる被写体画像記憶制御ステップと
    を含むことを特徴とする撮影画像処理方法。

Images