JP2011155692A - 撮像装置及びそのプログラム - Google Patents

Abstract

【課題】 複数の被写体を撮影対象にする場合の使い勝手を向上することができる撮像装置及びそのプログラムを実現する。
【解決手段】 シャッタボタンが半押しされると、ＣＣＤ５により撮像されている複数の被写体に対して被写体追従を開始させ（Ｓ３）、該被写体追従されている各被写体毎に色や線の種類、太さを異ならせて移動軌跡２２、輪郭２１を表示させる処理を開始させる（Ｓ４、５）。そして、ユーザによって追従されている被写体が選択されると、該選択された被写体を優先追従被写体として設定し（Ｓ８）、該設定した優先追従被写体を非優先追従被写体と識別表示させる（Ｓ９）。
【選択図】 図２

Description

本発明は、撮像装置及びそのプログラムに係り、詳しくは、被写体追従機能を有した撮像装置及びそのプログラムに関する。

近年、電子カメラ等の撮像装置において、被写体を追従して撮影等を行なう技術が登場してきている（特許文献１）。

特許公報 特許第３７５０４９９号

しかしながら、従来の技術は、１つの被写体を撮影対象とする場合には有効な技術であるが、複数の被写体を撮影対象としたい場合には使い勝手が悪いという問題があった。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、複数の被写体を撮影対象にする場合の使い勝手を向上することができる撮像装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮像装置は、撮像素子を制御して被写体の動画を撮像する動画撮像制御手段と、
前記動画撮像制御手段により順次撮像されるフレーム画像に基づいて、該動画撮像制御手段により撮像されるフレーム画像に含まれている複数の被写体を同時に追従する被写体追従制御手段と、
前記動画撮像制御手段により順次撮像されるフレーム画像を表示手段に表示させていくとともに、前記被写体追従制御手段により追従されている各被写体を差別表示させる表示制御手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記表示制御手段は、
前記被写体追従制御手段により追従されている各被写体の移動軌跡を表示させることにより、該追従されている各被写体を差別表示させるようにしてもよい。

また、例えば、請求項３に記載されているように、前記表示制御手段は、
前記被写体追従制御手段により追従されている各被写体の輪郭を表示させることにより、該追従されている各被写体を差別表示させるようにしてもよい。

また、例えば、請求項４に記載されているように、前記表示制御手段は、
前記動画撮像制御手段により順次撮像されるフレーム画像を表示手段に表示させていくとともに、前記被写体追従制御手段により追従されている各被写体を、各被写体同士で差別化できる状態で差別表示させる手段を含むようにしてもよい。

また、例えば、請求項５に記載されているように、前記表示制御手段は、
前記被写体追従制御手段により追従されている各被写体の差別表示を、各被写体毎に色や線の太さなどを異ならせることにより、各被写体同士を差別化するようにしてもよい。

また、例えば、請求項６に記載されているように、前記動画撮像制御手段により撮像されているフレーム画像に含まれている複数の被写体の中から、ユーザが任意の被写体を選択するための選択手段を備えるようにしてもよい。

また、例えば、請求項７に記載されているように、前記選択手段は、
前記被写体追従制御手段により追従されている被写体の中から任意の被写体を選択するようにしてもよい。

また、例えば、請求項８に記載されているように、前記表示制御手段は、
前記選択手段により選択された被写体を、差別表示させるようにしてもよい。

また、例えば、請求項９に記載されているように、ユーザが撮影準備を指示するための撮影準備指示手段を備え、
前記被写体追従制御手段は、
前記撮影準備指示手段により撮影準備の指示があった場合は、前記動画撮像制御手段により撮像されるフレーム画像に含まれている複数の被写体の追従を同時に開始するようにしてもよい。

また、例えば、請求項１０に記載されているように、前記被写体追従制御手段は、
前記選択手段により選択された場合は、該選択された被写体の追従を開始するようにしてもよい。

また、例えば、請求項１１に記載されているように、前記被写体追従制御手段により追従されている各被写体を切替表示対象とし、前記動画撮像制御手段により順次撮像されるフレーム画像に基づいて、該切替表示対象となる被写体をズームアップした動画データを生成し、該生成した動画を切替表示対象となる被写体毎に順次切替えて表示させていく切替表示制御手段を備えるようにしてもよい。

また、例えば、請求項１２に記載されているように、被写体の静止画撮影を行なう静止画撮影制御手段と、
前記被写体追従制御手段により追従されている各被写体をズームアップ画像の対象とし、ズームアップ画像の対象となる各被写体をそれぞれ中心としたズームアップ画像を、前記静止画撮影制御手段により得られた静止画像データから生成するズームアップ画像生成手段と、
を備えるようにしてもよい。

また、例えば、請求項１３に記載されているように、ユーザが撮影を指示するための撮影指示手段を備え、
前記静止画撮影制御手段は、
前記撮影指示手段により撮影が指示されると、静止画撮影を実行するようにしてもよい。

また、例えば、請求項１４に記載されているように、被写体の静止画撮影を一定周期毎に行なう自動静止画撮影制御手段を備えるようにしてもよい。

また、例えば、請求項１５に記載されているように、前記静止画撮影制御手段、前記自動静止画撮影制御手段は、
前記被写体追従制御手段により追従されている全ての被写体を撮影対象とし、該撮影対象となる全ての被写体が丁度画角内に納まるようにズームして静止画撮影を行なうようにしてもよい。

また、例えば、請求項１６に記載されているように、前記被写体追従制御手段により追従されている各被写体を差別対象とし、前記自動撮影制御手段により一定周期毎に撮影された複数の静止画像データに、該差別対象となる各被写体を差別対象でない被写体と差別することができ、且つ差別対象の被写体同士でも差別可能な差別画像を合成させるとともに、前記自動撮影制御手段により撮像された各静止画像データに基づいて、撮影時刻順に静止画像データの画像をマルチ表示させた組画像データを生成する組画像生成手段を備えるようにしてもよい。

また、例えば、請求項１７に記載されているように、前記自動撮影制御手段により一定周期毎に撮影された複数の静止画像データに基づいて、差別対象となる各被写体の最大移動軌跡を判別し、該最大移動軌跡となる２枚の静止画像データと該最大移動軌跡とを合成させる合成手段を備えるようにしてもよい。

また、例えば、請求項１８に記載されているように、前記選択手段により選択された被写体を優先追従被写体として設定する優先設定手段と、
前記優先設定手段により該優先追従被写体として設定した被写体以外の被写体を、前記ズームアップ画像生成手段による生成されるズームアップ画像の対象、前記静止画撮影制御手段による撮影対象、前記自動撮影制御手段により撮影対象、前記組画像生成手段による差別対象、前記切替表示制御手段による切替表示対象のうち、少なくとも１つ以上の対象から除外する対象除外手段を備えるようにしてもよい。

また、例えば、請求項１９に記載されているように、前記選択手段により選択された被写体を優先追従被写体として設定する優先設定手段を備え、
前記切替表示制御手段は、
前記優先設定手段により設定された優先追従被写体をズームアップした動画から順に切り替え表示させていくようにしてもよい。

上記目的達成のため、請求項２０記載の発明によるプログラムは、撮像素子を制御して被写体の動画を撮像する動画撮像処理と、
前記動画撮像処理により順次撮像されるフレーム画像に基づいて、該動画撮像処理により撮像されるフレーム画像に含まれている複数の被写体を同時に追従する被写体追従処理と、
前記動画撮像処理により順次撮像されるフレーム画像を表示部に表示させていくとともに、前記被写体追従処理により追従されている各被写体を差別表示させる表示処理と、
を含み、上記各処理をコンピュータに実行させることを特徴とする。

本願発明によれば、複数の被写体を撮影対象にする場合の使い勝手を向上することができる。

本発明の実施の形態のデジタルカメラのブロック図である。 実施の形態のデジタルカメラ１の動作を示すフローチャートである。 あるタイミング時に画像表示部１５に表示される画像の様子を示す図である。 あるタイミング時に画像表示部１５に表示される追従被写体の選択を説明するための図である。

以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。

撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含む。そして、撮影レンズ２にはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている（図示略）。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。

ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。

ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。

画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データはＤＲＡＭ１３（バッファメモリ）に記憶される。つまり、画像生成部９は、ＣＣＤ５から出力された画像データに対して画像処理を施す。

ＣＰＵ１０は、ＣＣＤ５への撮像制御、フラッシュメモリ１４への記録処理、画像データの表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。また、ＣＰＵ１０はクロック回路を含み、タイマーとしての機能も有する。
特に、ＣＰＵ１０は、複数の被写体に対して被写体追従を行なう機能、該被写体追従されている被写体を差別表示させる機能を有する。

キー入力部１１は、半押し全押し可能なシャッタボタン、モード切替キー、表示切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。なお、このメモリ１２は書き換え可能な不揮発性メモリである。

ＤＲＡＭ１３は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１４は、圧縮された画像データを保存する記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４から読み出され、伸張された記録画像を表示させる。

Ｂ．デジタルカメラ１の動作
実施の形態におけるデジタルカメラ１の動作を図２のフローチャートに従って説明する。
ユーザのキー入力部１１の操作により撮影モードに設定されると、ステップＳ１に進み、ＣＰＵ１０は、ＣＣＤ５による撮像を開始させ、ＣＣＤ５により順次撮像され画像生成部９によって生成された輝度色差信号のフレーム画像データ（ＹＵＶデータ）をバッファメモリ（ＤＲＡＭ１３）に記憶させていき、該記憶されたフレーム画像データに基づく画像を画像表示部１５に表示させていくという、いわゆるスルー画像表示を開始する。

次いで、ステップＳ２で、ＣＰＵ１０は、ユーザによってシャッタボタンが半押しされたか否かを判断する。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ２で、シャッタボタンの半押し操作に対応する操作信号が送られてこない場合は、該操作信号が送られてくるまでステップＳ２に留まる。

一方、ステップＳ２で、シャッタボタンの半押し操作に対応する操作信号が送られてくると、ステップＳ３に進み、ＣＰＵ１０は、ＣＣＤ５により撮像されている各被写体に対して被写体追従を開始させる。つまり、シャッタボタン半押し時に撮像された各被写体が、順次撮像されるフレーム画像データの画像内のどこに位置するかを検出していくことになる。
この被写体追従の技術は既に周知技術なので具体的に説明しないが、たとえば、各被写体を画像認識により認識し、順次撮像されるフレーム画像データ内のどこに該各被写体が位置するかを検出することにより被写体追従を行なうようにしてもよいし、ブロックマッチング法などを用いて各被写体の位置を検出していくことにより被写体追従を行なうようにしてもよい。
これにより、ユーザが撮影の準備をしたいと思う場合に、被写体追従を開始させることができる。

ステップＳ３で被写体追従を開始すると、ステップＳ４に進み、ＣＰＵ１０は、該被写体追従を行なっている被写体（追従被写体）の移動軌跡をスルー画像表示に重ねて表示させる処理を開始させ、ステップＳ５で、ＣＰＵ１０は、画像認識により該追従被写体の輪郭を認識し、該輪郭もスルー画像表示に重ねて表示させる処理を開始させる。

図３は、あるタイミング時に画像表示部１５に表示される画像の様子を示すものであり、これらの画像の撮像タイミングは、（ａ）→（ｂ）→（ｃ）というように時間が経過しているものとする。
図３（ａ）はシャッタボタン半押し後、最初に撮像され表示された画像の様子を示すものであり、このときは、各被写体は未だ移動していないので、各被写体の輪郭２１のみが画像とともに表示されているのが分かる。
そして、時間の経過とともに、図３の（ｂ）、（ｃ）に示すように各追従被写体の輪郭２１とともに、各追従被写体の移動軌跡２２が表示されているのが分かる。
このように、追従被写体を差別表示（輪郭２１、移動軌跡２２の表示）させるので、複数の被写体に対して被写体追従を行なっている場合であっても、ユーザは、追従被写体と非追従被写体とを容易に区別することができ、複数の被写体を撮影対象にする場合の使い勝手を向上することができる。

このとき、図示しないが追従被写体毎に輪郭２１の線の太さや、線の種類、線の色等を異ならせるようにする。また、図３では、追従被写体毎に移動軌跡２２の線の種類を異ならせているが、輪郭の表示と同様に、移動軌跡においても、追従被写体毎に移動軌跡の線の太さ、線の種類、線の色等を異ならせるようにする。要は、ユーザが各追従被写体を容易に区別することができるように、各追従被写体別に表示させる輪郭２１、移動軌跡２２を異ならせる方法であればよい。
これにより、ユーザは、追従被写体同士も容易に区別することができ、複数の被写体を撮影対象にする場合の使い勝手を向上することができる。

なお、輪郭２１及び移動軌跡２２の色を異ならせる場合は、同一の追従被写体に対しては、同じ色で輪郭２１と移動軌跡２２を表示させることが好ましい。
また、時間の経過するにつれて表示される移動軌跡２２は長くなり、かえって各追従被写体の移動軌跡２２が分かり辛いということになりかねないので、移動軌跡２２は、現在のフレームから所定枚数前のフレームまでの被写体の移動軌跡２２を表示させるようにしてもよい。

次いで、ステップＳ６に進み、ＣＰＵ１０は、ユーザによって追従被写体が選択されたか否かを判断する。
このとき、ユーザは十字キーの操作をすることにより画像表示部１５に表示されているカーソルを選択したい追従被写体の輪郭２１内まで移動させ、該カーソルが追従被写体の輪郭２１内にあるときにＳＥＴキーの操作を行なうことにより、該追従被写体を選択することができ、ＣＰＵ１０は、該一連の操作に対応する操作信号がキー入力部１１から送られてきたと判断すると、追従被写体が選択されたと判断する。

ステップＳ６で、追従被写体が選択されたと判断すると、ステップＳ７で、ＣＰＵ１０は、該選択された追従被写体が後述する優先追従被写体として設定されているか否かを判断する。つまり、バッファメモリの優先追従被写体記憶領域に該選択された追従被写体が優先追従被写体である旨の情報が記憶されているか否かを判断する。

ステップＳ７で、該選択された追従被写体が優先追従被写体として設定されていないと判断すると、ステップＳ８に進み、ＣＰＵ１０は、該選択された追従被写体を優先追従被写体として設定する。つまり、バッファメモリの優先追従被写体領域に該選択された追従被写体が優先追従被写体である旨を示す情報を記憶させる。そして、ステップＳ９で、ＣＰＵ１０は、該優先追従被写体として設定した追従被写体を他の非優先追従被写体（優先追従被写体として設定されてない追従被写体）と識別表示（差別表示）させて、ステップＳ１２に進む。この識別表示の方法としては、たとえば、追従被写体の輪郭２１や移動軌跡２２を点滅表示させることにより、非優先追従被写体と識別表示させることができる。

図４は、あるタイミング時に画像表示部１５に表示される追従被写体の選択を説明するための図である。
図４（ａ）に示すように、十字キーの操作により任意の追従被写体にカーソルを移動させてＳＥＴキーの操作を行なうことにより非優先追従被写体を選択すると、該選択された追従被写体は優先追従被写体として設定され、以後、図４（ｂ）に示すように該選択された追従被写体の輪郭２１及び移動軌跡２２が点滅表示等により非優先追従被写体とは識別表示されているのが分かる。
このように、ユーザが任意に非優先追従被写体を選択することができ、また、ユーザによって選択された非優先追従被写体を優先追従被写体に設定し、該設定した優先追従被写体（選択された非優先追従被写体）を更に識別表示（差別表示）させるので、ユーザは、選択した追従被写体を容易に区別、認識することができる。

一方、ステップＳ７で、該選択された追従被写体が優先追従被写体として設定されていると判断すると、ステップＳ１０に進み、該選択された追従被写体の優先追従被写体としての設定を解除する。つまり、優先追従被写体領域に記憶されている、該選択された追従被写体が優先追従被写体である旨の情報を消去させる。これにより、以後、該選択された追従被写体は非優先追従被写体ということになる。そして、ステップＳ１１で、ＣＰＵ１０は、該選択された（設定解除された）追従被写体の識別表示を解除して、ステップＳ１２に進む。これにより、非優先追従被写体として該選択された追従被写体の輪郭２１や移動軌跡２２は点滅表示ではなく普通に表示されることになる。

例えば、逆に図４（ｂ）に示すように点滅表示等により差別表示されている追従被写体（優先追従被写体）が選択されると、該選択された追従被写体は、優先追従被写体の設定が解除され、以後、図４（ａ）に示すように、該選択された追従被写体の輪郭２１及び移動軌跡２２は点滅表示されなくなる。

一方、ステップＳ６で、追従被写体が選択されていないと判断すると、そのままステップＳ１２に進む。
ステップＳ１２に進むと、ＣＰＵ１０は、ユーザによって表示切替キーの操作が行なわれたか否かを判断する。この判断は、表示切替キーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ１２で、表示切替キーの操作が行われたと判断すると、ステップＳ１３に進み、ＣＰＵ１０は、優先順に追従被写体を中心にズームアップした動画を表示させて、ステップＳ１４に進む。

この優先順にとは、優先追従被写体として設定されている追従被写体（点滅表示されている追従被写体）の動画を先に表示させ、その後、非優先追従被写体の追従被写体（点滅表示されていない追従被写体）の動画を表示させる。また、追従被写体を中心にズームアップした動画の表示は、ＣＣＤ５により撮像されたフレーム画像データからズームアップさせる追従被写体をトリミングし、該トリミングした画像データを順次表示（電子ズーム表示）させることをいう。この追従被写体のトリミングは、被写体追従によって検出された被写体位置に基づいて行なう。

このステップＳ１３の優先順に追従被写体を中心にズームアップした動画の表示は、自動的に追従被写体のズームアップの動画を優先順に所定時間毎に１つ１つ切替え表示させていく方法でもよいし、ユーザによって表示切替キーが操作される度に、優先順に追従被写体のズームアップ動画を表示させていくようにしてもよい。この自動、手動を問わず、全ての追従被写体のズームアップ動画を表示させると、ＣＣＤ５により撮像されたフレーム画像データをトリミングせずにそのまま表示させるようにする。つまり、図３及び図４に示すように表示切替キーの操作が行なわれる前の表示に戻る。
また、ズームアップ動画の表示は、画像表示部１５の１部の表示領域に表示させるようにしてもよいし、画像表示部１５の全領域に表示させるようにしてもよい。この１部の表示領域にズームアップ動画を表示させる場合は、該１部の表示領域以外には図３及び図４に示すような全画面のスルー画像がそのまま表示されることになり、全領域にズームアップ動画を表示させる場合は、切替表示中は全画面のスルー画像は表示されないことになる。
これにより、追従被写体をズームアップした動画を表示させることができ、ユーザは該動画を見ることにより的確な判断、例えば、確実に優先追従被写体にすべきか否かの判断をすることができ、誤判断を防止することができる。また、ユーザが一番確認したい被写体のズームアップ動画から表示させることができる。

一方、ステップＳ１２で、表示切替キーの操作が行われていないと判断するとそのままステップＳ１４に進む。
ステップＳ１４に進むと、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ１４で、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきていない場合はステップＳ６に戻り、上記した動作を繰り返す。

一方、ステップＳ１４で、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきた場合は、ステップＳ１５に進み、ＣＰＵ１０は、静止画撮影処理を行う。
次いで、ステップＳ１６で、ＣＰＵ１０は、該静止画撮影処理により得られた静止画像データから、現在設定されている優先追従被写体を全て含むような画像データを生成する。

この現在設定されている優先追従被写体を全て含むとは、「該現在設定されている優先追従被写体の全てが丁度画角内に収まるように」の意味であり、現在設定している優先追従被写体の全てが含めばどのような画角であっても構わないということではない。そして、現在設定されている優先追従被写体を全て含むような画像データの生成とは、シャッタボタンの全押し直前の優先追従被写体の位置に基づいて、該現在設定されている優先追従被写体の全てが丁度収まるような画角の画像データをトリミングすることをいう。つまり、ステップＳ１５及びステップＳ１６の処理は、該現在設定されている優先追従被写体の全てが丁度画角内に収まるように電子ズームを行なって静止画撮影を行なっていることになる。
なお、トリミングを行なわずに、該現在設定されている優先追従被写体の全てが丁度画角内に収まるように光学ズームを行なって静止画撮影処理を行うようにしてもよい。
これにより、無駄な被写体が映っている部分の画像を無くすことができる。

次いで、ステップＳ１７で、ＣＰＵ１０は、ステップＳ１５の静止画撮影処理により得られた静止画像データから、現在設定されている優先追従被写体をそれぞれ中心としたズームアップ画像を生成する。つまり、該静止画像データから、シャッタボタンの全押し直前の優先追従被写体の位置に基づいて、各優先追従被写体をトリミングした画像データを生成することになる。これにより、特にメインとなる各追従被写体（優先追従被写体）をズームアップした画像を生成することができ、ユーザが個別にトリミング等による手動操作により優先追従被写体をズームした画像を生成する手間が省ける。また、無駄な被写体をズームアップした画像を生成することがない。
次いで、ステップＳ１８で、ＣＰＵ１０は、該ステップＳ１６及びステップＳ１７で生成された画像データを圧縮してフラッシュメモリ１４に記録させる。

Ｃ．以上のように、実施の形態においては、複数の被写体に対して被写体追従を行い、各追従被写体を差別表示させるとともに、該追従被写体がお互いに区別（識別）できるように各追従被写体の差別表示を、線の種類を、線の太さ、色等を異ならせるようにしたので、ユーザが容易に各追従被写体を認識することができるとともに、各追従被写体同士を区別することができ、複数の被写体に対しての被写体追従の使い勝手を向上することができる。

［変形例］
Ｄ．上記実施の形態は以下のような態様であってもよい。

（０１）上記実施の形態においては、シャッタボタンが半押しされると、複数の被写体に対して被写体追従を開始するようにしたが、スルー画像表示が開始されると、撮像される複数の被写体に対して被写体追従を開始するようにしてもよい。

（０２）また、上記実施の形態においては、シャッタボタンが半押しされると、撮像されている複数の被写体に対して被写体追従を開始し、ユーザによって選択された追従被写体を更に識別表示（例えば、点滅表示）させるようにしたが、ユーザによって被写体が選択されると、そこで初めて該選択された被写体に対して被写体追従を開始し、該被写体を差別表示（輪郭２１や移動軌跡２２表示等）するようにしてもよい。このときも、複数の被写体が選択されると、複数の被写体に対して被写体追従を行なうので、各追従被写体同士が区別できるように表示させる。この場合は、選択された被写体を優先追従被写体とするようにしてもよいし、再び同じ被写体が選択された場合に限り優先追従被写体とするようにしてもよい。
これにより、追従させたい被写体のみに対して被写体追従をさせることができる。

（０３）また、上記実施の形態においては、追従被写体が選択されると、該選択された追従被写体を優先追従被写体として設定し、該設定した優先追従被写体を他の非優先追従被写体とは識別させて表示させるようにしたが、選択されていない追従被写体に対しては差別表示（輪郭２１や移動軌跡２２表示）を解除することにより識別（差別）させるようにしてもよい。
この場合は、非選択の追従被写体に対しては、以後被写体追従を中止させるようにしてもよい。つまり、非選択の追従被写体は以後追従被写体ではなくなり、選択された被写体が追従被写体であり、且つ、優先追従被写体ということになる。
このときの追従被写体の選択方法としては、最初に追従被写体が選択されたタイミングから所定時間（例えば、５秒）経過するまでに選択された追従被写体を優先追従被写体として設定するとともに、所定時間経過するまでに選択されなかった追従被写体に対しては差別表示を解除する。

（０４）また、上記実施の形態においては、カーソルによって追従被写体を選択するようにしたが、タッチパネル等の他の選択方法によって選択させる態様も可能である。

（０５）また、上記実施の形態においては、表示切替キーの操作が行なわれると、ステップＳ１３で優先順に、優先追従被写体として選択された追従被写体を先に表示させ、その後、非優先追従被写体を表示させるようにしたが、優先順でなくてもよい。つまり、優先、非優先にかかわらず、追従被写体を順番に表示させるような態様であってもよい。
また、表示切替キーの操作が行なわれると、ステップＳ１３では優先追従被写体のみを中心にズームアップした動画を表示させるようにしてもよい。これにより、特にメインとなる追従被写体をズームアップした動画のみを切り替え表示することができ、無駄なズームアップ動画を表示させることがない。

（０６）また、上記実施の形態においては、ステップＳ１６で、優先追従被写体を全て含むような画像データを生成するようにしたが、優先、非優先にかかわらず追従被写体を全て含むような画像データを生成するようにしてもよい。
また、ステップＳ１６では、優先追従被写体が１つも設定されていない場合は、追従被写体を全て含むような画像データを生成し、優先追従被写体が設定されている場合は、優先追従被写体のみを全て含むような画像データを生成するようにしてもよい。

（０７）また、上記実施の形態においては、ステップＳ１７で、優先追従被写体をそれぞれ中心としたズームアップ画像を生成するようにしたが、優先、非優先にかかわらず追従被写体をそれぞれ中心としたズームアップ画像を生成するようにしてもよい。
また、ステップＳ１７では、優先追従被写体が１つも設定されていない場合は、追従被写体をそれぞれ中心としたズームアップ画像を生成するようにし、優先追従被写体が設定されている場合は、優先追従被写体のみをそれぞれ中心としたズームアップ画像を生成するようにしてもよい。

（０８）また、上記実施の形態においては、ステップＳ１５で静止画撮影処理を行うと、ステップＳ１６及びステップＳ１７の両方の動作を行なうようにしたが、何れか一方の動作のみを実行するようにしてもよい。つまり、設定した優先追従被写体を全て含むような画像の生成か、設定した優先追従被写体をそれぞれ中心としたズームアップ画像の生成かのいずれか一方の生成のみを行なうようにする。

（０９）また、上記実施の形態においては、シャッタボタンが全押しされた場合に静止画撮影処理を行うようにしたが、シャッタボタンが全押しされるか否かにかかわらず、一定周期毎に優先追従被写体、又は、追従被写体を全て含むような静止画撮影処理（自動静止画撮影処理）を行うようにしてもよい。これにより、複数枚の自動で撮影された静止画像から追従被写体の一連の動作を認識することができ、また、撮影時にはたまたまシャッタチャンスでないと思った画像であっても、シャッタチャンスか否かを誤判断した場合であっても、後から一定周期毎に撮影された画像群から本当にシャッタチャンスの画像が見つかる可能性もあり、かかる場合であっても対応することができる。
また、該自動静止画撮影処理により得られた静止画像データから、優先追従被写体、又は、追従被写体をそれぞれ中心としたズームアップ画像を生成して記録するようにしてもよい。

（１０）また、上記変形例（０９）において、一定周期毎に撮影された静止画像データのそれぞれに、追従被写体又は優先追従被写体の輪郭を合成させて、各静止画像データを、撮影時刻順にマルチ表示させた組画像データを生成し、該生成した組画像データを記録するようにしてもよい。これにより、１枚の組画像から追従被写体又は優先追従被写体の一連の動作を容易に認識することができる。

（１１）また、上記変形例（０９）において、一定周期毎に撮像された静止画像データに基づいて、追従被写体又は優先追従被写体の最大移動軌跡を判別し、該追従被写体の最大移動軌跡が最大となる２枚の静止画像データと該最大移動軌跡を合成させて、記録するようにしてもよい。これにより、１枚の画像データから追従被写体又は優先追従被写体の最大移動軌跡を容易に認識することができる。

（１２）また、上記実施の形態においては、シャッタボタンが半押しされると被写体追従を開始するようにしたが（ステップＳ３以降の動作を行なうようにしたが）、シャッタボタンとは別個に設けられた被写体追従開始ボタンが操作されると被写体追従を開始するようにしてもよい。

（１３）また、上記変形例（０１）〜（１２）を矛盾が生じない範囲内で任意に組み合わせるような態様であってもよい。

（１４）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。

最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、画像を処理することができる機器であれば適用可能である。

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス

Claims (20)

1. 撮像素子を制御して被写体の動画を撮像する動画撮像制御手段と、
   前記動画撮像制御手段により順次撮像されるフレーム画像に基づいて、該動画撮像制御手段により撮像されるフレーム画像に含まれている複数の被写体を同時に追従する被写体追従制御手段と、
   前記動画撮像制御手段により順次撮像されるフレーム画像を表示手段に表示させていくとともに、前記被写体追従制御手段により追従されている各被写体を差別表示させる表示制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記表示制御手段は、
   前記被写体追従制御手段により追従されている各被写体の移動軌跡を表示させることにより、該追従されている各被写体を差別表示させることを特徴とする請求項１記載の撮像装置。
3. 前記表示制御手段は、
   前記被写体追従制御手段により追従されている各被写体の輪郭を表示させることにより、該追従されている各被写体を差別表示させることを特徴とする請求項１又は２記載の撮像装置。
4. 前記表示制御手段は、
   前記動画撮像制御手段により順次撮像されるフレーム画像を表示手段に表示させていくとともに、前記被写体追従制御手段により追従されている各被写体を、各被写体同士で差別化できる状態で差別表示させる手段を含むことを特徴とする請求項１乃至３の何れかに記載の撮像装置。
5. 前記表示制御手段は、
   前記被写体追従制御手段により追従されている各被写体の差別表示を、各被写体毎に色や線の太さなどを異ならせることにより、各被写体同士を差別化することを特徴とする請求項４記載の撮像装置。
6. 前記動画撮像制御手段により撮像されているフレーム画像に含まれている複数の被写体の中から、ユーザが任意の被写体を選択するための選択手段を備えたことを特徴とする請求項１乃至５の何れかに記載の撮像装置。
7. 前記選択手段は、
   前記被写体追従制御手段により追従されている被写体の中から任意の被写体を選択することを特徴とする請求項６記載の撮像装置。
8. 前記表示制御手段は、
   前記選択手段により選択された被写体を、差別表示させることを特徴とする請求項６記載の撮像装置。
9. ユーザが撮影準備を指示するための撮影準備指示手段を備え、
   前記被写体追従制御手段は、
   前記撮影準備指示手段により撮影準備の指示があった場合は、前記動画撮像制御手段により撮像されるフレーム画像に含まれている複数の被写体の追従を同時に開始することを特徴とする請求項１乃至８の何れかに記載の撮像装置。
10. 前記被写体追従制御手段は、
    前記選択手段により選択された場合は、該選択された被写体の追従を開始することを特徴とする請求項６記載の撮像装置。
11. 前記被写体追従制御手段により追従されている各被写体を切替表示対象とし、前記動画撮像制御手段により順次撮像されるフレーム画像に基づいて、該切替表示対象となる被写体をズームアップした動画データを生成し、該生成した動画を切替表示対象となる被写体毎に順次切替えて表示させていく切替表示制御手段を備えたことを特徴とする請求項１乃至１０の何れかに記載の撮像装置。
12. 被写体の静止画撮影を行なう静止画撮影制御手段と、
    前記被写体追従制御手段により追従されている各被写体をズームアップ画像の対象とし、ズームアップ画像の対象となる各被写体をそれぞれ中心としたズームアップ画像を、前記静止画撮影制御手段により得られた静止画像データから生成するズームアップ画像生成手段と、
    を備えたことを特徴とする請求項１乃至１１の何れかに記載の撮像装置。
13. ユーザが撮影を指示するための撮影指示手段を備え、
    前記静止画撮影制御手段は、
    前記撮影指示手段により撮影が指示されると、静止画撮影を実行することを特徴とする請求項１２記載の撮像装置。
14. 被写体の静止画撮影を一定周期毎に行なう自動静止画撮影制御手段を備えたことを特徴とする請求項１乃至１３の何れかに記載の撮像装置。
15. 前記静止画撮影制御手段、前記自動静止画撮影制御手段は、
    前記被写体追従制御手段により追従されている全ての被写体を撮影対象とし、該撮影対象となる全ての被写体が丁度画角内に納まるようにズームして静止画撮影を行なうことを特徴とする請求項１２乃至１４の何れかに記載の撮像装置。
16. 前記被写体追従制御手段により追従されている各被写体を差別対象とし、前記自動撮影制御手段により一定周期毎に撮影された複数の静止画像データに、該差別対象となる各被写体を差別対象でない被写体と差別することができ、且つ差別対象の被写体同士でも差別可能な差別画像を合成させるとともに、前記自動撮影制御手段により撮像された各静止画像データに基づいて、撮影時刻順に静止画像データの画像をマルチ表示させた組画像データを生成する組画像生成手段を備えたことを特徴とする請求項１４記載の撮像装置。
17. 前記自動撮影制御手段により一定周期毎に撮影された複数の静止画像データに基づいて、差別対象となる各被写体の最大移動軌跡を判別し、該最大移動軌跡となる２枚の静止画像データと該最大移動軌跡とを合成させる合成手段を備えたことを特徴とする請求項１４記載の撮像装置。
18. 前記選択手段により選択された被写体を優先追従被写体として設定する優先設定手段と、
    前記優先設定手段により該優先追従被写体として設定した被写体以外の被写体を、前記ズームアップ画像生成手段による生成されるズームアップ画像の対象、前記静止画撮影制御手段による撮影対象、前記自動撮影制御手段により撮影対象、前記組画像生成手段による差別対象、前記切替表示制御手段による切替表示対象のうち、少なくとも１つ以上の対象から除外する対象除外手段を備えたことを特徴とする請求項１１、１２、１５、１６記載の撮像装置。
19. 前記選択手段により選択された被写体を優先追従被写体として設定する優先設定手段を備え、
    前記切替表示制御手段は、
    前記優先設定手段により設定された優先追従被写体をズームアップした動画から順に切り替え表示させていくことを特徴とする請求項１１記載の撮像装置。
20. 撮像素子を制御して被写体の動画を撮像する動画撮像処理と、
    前記動画撮像処理により順次撮像されるフレーム画像に基づいて、該動画撮像処理により撮像されるフレーム画像に含まれている複数の被写体を同時に追従する被写体追従処理と、
    前記動画撮像処理により順次撮像されるフレーム画像を表示部に表示させていくとともに、前記被写体追従処理により追従されている各被写体を差別表示させる表示処理と、
    を含み、上記各処理をコンピュータに実行させることを特徴とするプログラム。

Images