JP2016039394A - 撮像装置、撮像装置の制御方法およびコンピュータプログラム - Google Patents

Abstract

【課題】現在の画角に対して、画角外の被写体がどこに存在するのかを直感的にユーザに通知できることを可能にした撮像装置の提供。【解決手段】撮像装置は、撮影光学系で形成された光学像を撮像して撮像画像を生成する撮像手段と、撮像画像の第１の領域の画像から記録画像を生成し、第２の領域の画像から表示画像を生成する画像処理手段と、撮像画像から第１の領域を除いた領域において被写体を検出する検出手段と、被写体の検出の結果に従って画像処理手段による表示画像の生成を制御する制御手段とを備え、制御手段は、検出手段が被写体を検出した場合は、画像処理手段が被写体を含む表示画像を撮像画像から生成するよう制御する。【選択図】図４

Description

本発明は撮像装置に関し、特に、撮影画角外に所望の被写体がある場合にも、被写体の存在を検知できる撮像装置に関する。

従来、撮像装置において、撮影の際にユーザが撮影画角外の被写体の存在に気づかず、当該被写体を撮り逃してしまうことがあった。このような問題に対して、例えば、特許文献１では赤外線等の外部センサーで撮像装置の撮影画角外の被写体を検出し、表示や音等でユーザに通知する技術が開示されている。

特開２００７−７４１４３号公報

しかしながら、上述の特許文献に開示された従来技術では、撮影画角外の被写体を検出するための赤外線等の外部センサーが必要なため、コストアップの要因になる。また、撮影画角外の被写体の存在を通知する方法は矢印やマーカーによる表示、または音なので、ユーザは現在の画角に対して当該被写体がどこに存在するのかが分かりにくいという問題があった。

そこで、本発明の目的は、赤外線等の外部センサーを用いることなく、また現在の画角に対して当該被写体がどこに存在するのかを直感的にユーザに通知できることを可能にした撮像装置を提供することである。

上記課題を解決するため本発明は、本発明によれば、撮像装置は、撮影光学系で形成された光学像を撮像して撮像画像を生成する撮像手段と、撮像画像の第１の領域の画像から記録画像を生成し、第２の領域の画像から表示画像を生成する処理手段と、撮像画像から第１の領域を除いた領域において被写体を検出する検出手段と、被写体の検出の結果に従って処理手段による表示画像の生成を制御する制御手段とを備え、制御手段は、検出手段が被写体を検出した場合は、処理手段が被写体を含む表示画像を撮像画像から生成するよう制御する。

本発明によれば、撮像装置の記録画角外に被写体が存在する場合でも、ユーザは当該被写体が記録画角に対してどの位置に存在するのかが分かり、当該被写体の撮り逃しを防ぐことが可能となる。

本発明の第１の実施例に係わる撮像装置のブロック構成図 本発明の第１の実施例に係わる表示切り替え処理に関係する画像を説明するための図 本発明の第１の実施例に係わる撮像装置の表示切り替え処理動作のフローチャートを示す図 本発明の第１の実施例に係わる撮像装置の表示切り替え処理動作による画像の変化を示す図 本発明の第２の実施例に係わる撮像装置のブロック構成図 本発明の第２の実施例に係わる撮像装置の表示切り替え処理動作のフローチャートを示す図 本発明の第１の実施例に係わる撮像装置の表示切り替え処理動作による画像の変化を示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の第１の実施例に係わるデジタルカメラとしての撮像装置の構成例を示すブロック構成図である。以下、図１を参照して、本発明の第１の実施例を説明する。

図１において、１１０は撮影光学系を構成する撮影レンズ群（単一レンズとして図示する）、１１２は絞り機能を備えるシャッター、１１４は撮影レンズ１１０で形成された光学像を電気信号に変換して撮像画像を生成する撮像素子である。撮影レンズ１１０はズームレンズを含んでもよく、その場合、ズーム駆動はシステム制御部１５０によって制御される。１１６は撮像素子１１４で撮像された撮像画像のアナログ信号出力（撮像信号）をデジタル信号（画像データ）に変換するＡ／Ｄ変換器である。１１８は撮像素子１１４、Ａ／Ｄ変換器１１６、Ｄ／Ａ変換器１２６にクロック信号や制御信号を供給するタイミング発生部であり、システム制御部１５０により制御される。１２０は画像処理部であり、Ａ／Ｄ変換器１１６からの画像データ或いはメモリ制御部１２２からの画像データに対して所定の画素補間処理や色変換処理を行う。

また、画像処理部１２０は、Ａ／Ｄ変換器１１６からの画像データに所定の演算処理を行い、得られた演算結果に基づいてシステム制御部１５０がＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を制御する。さらに、画像処理部１２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

１２２はメモリ制御部であり、Ａ／Ｄ変換器１１６、タイミング発生部１１８、画像処理部１２０、Ｄ／Ａ変換器１２６、メモリ１３０、圧縮・伸長部１３２を制御する。

Ａ／Ｄ変換器１１６からの画像データが画像処理部１２０、メモリ制御部１２２を介して、或いはＡ／Ｄ変換器１１６からの画像データが直接メモリ制御部１２２を介して、メモリ１３０に書き込まれる。システム制御部１５０による撮像素子１１４が出力した電気信号を画像処理して、メモリ１３０に書き込むまでの一連の処理をカメラ信号処理と呼ぶ。

１２６はＤ／Ａ変換器である。１２８はＴＦＴ、ＬＣＤ等から成る画像表示部であり、メモリ１３０に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１２６を介してアナログ画像信号となり、画像表示部１２８により表示される。画像表示部１２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

１３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１３０に対して行うことが可能となる。また、メモリ１３０はシステム制御部１５０の作業領域としても使用することが可能である。メモリ１３０は、記録媒体１６２の書き込みバッファとしても使われる。１３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮伸長部であり、メモリ１３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えた圧縮画像データをメモリ１３０に書き込む。

１５０は撮像装置１００全体を制御するシステム制御部である。システム制御部１５０は、不揮発性メモリ１４２に記録されたプログラムを実行することで、後述する各実施例の処理を実現する。１４０はシステム制御部１５０の動作用の定数、変数、不揮発性メモリ１４２から読み出したプログラム等を展開するシステムメモリである。１４２は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１４２には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述の各実施例における各種フローチャートを実行するためのプログラムのことである。

操作部１４４はシステム制御部１５０に各種の動作指示を入力するための操作手段である。システム制御部１５０は、操作部１４４の撮影開始要求により、撮像素子１１４からの信号読み出しから記録媒体１６２に画像データを書き込むまでの一連の撮影処理の動作を制御する。

１６０はメモリカードやハードディスク等の記録媒体とのインタフェースである。記録媒体１６２は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

１４６は複数の表示範囲を切り換える表示切り替え部である。具体的には、システム制御部１５０の制御下で、画像処理部１２０は処理した画像データを、メモリ制御部１２２を経由してメモリ１３０に出力する。メモリ１３０には複数の画角の画像データが格納されており、表示切り替え部１４６はシステム制御部１５０に指定された画角の画像データをメモリ１３０から読み出し、メモリ制御部１２２を経由して画像表示１２８に表示する。１４８は動き検出部であり、後述する動き検出領域Ｑの画像データを用いて被写体の動きの検出を行う。

図２は、本実施例に係わる表示画像の切り替え処理に関係する各画像の関係を説明するための図である。本実施例では、以下の３種類の画像とその領域（画角）および動き検出領域Ｑとを図２に示すように定義し、そこで用いる表記を次のように定義する。
入力画像の領域：ＩＰ
記録画像の領域：ＲＰ
表示画像の領域：ＤＰ
動き検出領域：Ｑ

図２において、２０１は領域ＩＰの入力画像であり、撮像素子１１４が生成する撮像画像をシステム制御部１５０がカメラ信号処理後、メモリ１３０に取り込んだ画像である。２０２は記録画像であり、システム制御部１５０がメモリ１３０に取り込まれた入力画像２０１の記録画像の領域ＲＰから読み出し、圧縮伸長部１３２で符号化処理後、記録媒体１６２に記録される画像である。２０３は動き検出領域Ｑであり、入力画像２０１から記録画像２０２を除いた画像領域である。動き検出部１４８は、この検出領域Ｑに対して被写体の動き検出を行う。２０４は表示画像であり、システム制御部１５０がメモリ１３０に取り込まれた入力画像２０１の表示画像の領域ＤＰから読み出し、画像表示部１２８に表示する画像である。なお、以下においては、図示する領域ＩＰ、ＲＰ、ＤＰの入力画素２０１、記録画像２０２、表示画像２０４それぞれを、単に入力画素ＩＰ、記録画像ＲＰ、表示画像ＤＰと記す。

本実施例は、動き検出領域Ｑの被写体の検出状況に応じて表示画像の領域を変更して、検出された被写体を含む表示画像を生成して表示することでユーザに当該被写体を通知する構成を有する。この構成を以下において詳述する。

図３は、本実施例に係わる撮像装置における表示画像の切り替え（変更）処理動作のフローチャートを示す図である。本フローチャートにおける各処理は、システム制御部１５０が不揮発性メモリ１４２に格納されたプログラムを実行することにより実現される。また、本フローチャートのステップＳ３０１からステップＳ３０７までの処理は後述する時間ｔｎ（例えばｔｎ＝１／６０秒）の周期で処理を繰り返す。

ステップＳ３０１では、システム制御部１５０は動き検出部１４８を制御して、メモリ１３０に取り込んだ入力画像ＩＰの動き検出領域Ｑに被写体が存在するかどうかを検出する。被写体が検出されない場合はステップＳ３０２に進み、被写体を検出した場合はステップＳ３０４に進む。

ステップＳ３０２では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰ内の記録画像ＲＰと表示画像ＤＰのサイズが一致しているかどうかを判別する。一致していない（ＮＯ）場合、ステップＳ３０３に進み、一致している（ＹＥＳ）場合、ステップＳ３０６に進む。なお、本実施例では、表示画像のサイズは、デフォルトで記録画像のサイズとするが、これに限られるものではない。適宜、デフォルトのサイズを変更できるようにしてもよい。

ステップＳ３０３では、システム制御部１５０は表示切り替え部１４６を制御して、メモリ１３０に取り込んだ入力画像ＩＰ内の表示画像ＤＰのサイズ及び切り出し位置を記録画像ＲＰのサイズ及び切り出し位置に変更する。これにより記録画像が表示されることになる。

ステップＳ３０４では、システム制御部１５０は表示切り替え部１４６を制御して、被写体Ａを検出した領域に合わせて、メモリ１３０に取り込んだ入力画像ＩＰ内にある表示画像ＤＰのサイズを変更する。なお、表示切り替え部１４６のサイズ変更処理の機能は、システム制御１５０に持たせてもよい。

ステップＳ３０５では、システム制御部１５０は、メモリ１３０に取り込んだ入力画像ＩＰに対して、表示画像ＤＰのうち記録画像ＲＰ以外の領域の画像に色変換または輝度変換の処理を行う。本実施例では、上記記録画像ＲＰ以外の領域を、例えばグレーにする。ステップＳ３０６では、システム制御部１５０はメモリ１３０から入力画像ＩＰ内の表示画像ＤＰ領域を読み出し、画像表示部１２８に表示する。これにより、検出された被写体を含む表示画像ＤＰが生成されて表示され、しかも表示画像ＤＰにおいて記録画像ＲＲ以外の画像領域が、記録画像ＲＰと区別されて表示される。

ステップＳ３０７では、システム制御部１５０は、メモリ１３０から入力画像ＩＰの記録画像ＲＰ領域を読み出し、圧縮伸長部１３２で符号化処理後、Ｉ／Ｆ１６０を制御して記録媒体１６２に記録する。記録終了後、処理はステップＳ３０１に戻る。

なお、本実施例では、ステップＳ３０５において、表示画像ＤＰの領域で記録画像ＲＰ以外の領域の画像に色変換または輝度変換を行っている。しかし、表示のための処理構成はこれに限定されるものではなく、記録画像ＲＰと表示画像ＤＰとを区別できるのであれば他の処理構成でもよい。

また、本実施例ではステップＳ３０７で時間ｔｎ（例えばｔｎ＝１／６０秒）の周期毎に記録画像ＲＰを記録媒体１６２に記録するとしたが、これも記録タイミングを限定するものではなく、システムに適したタイミングで記録媒体１６２に書き込んでもよい。

次に、図３のフローチャートに従って本実施例に係わる表示画像の切り替え処理動作を行なった時の時間単位毎の入力画像ＩＰと表示画像ＤＰおよび記録画像ＲＰを、図４を参照して具体的に説明する。図４は、本実施例に係わる表示画像の切り替え（変更）処理動作を行なった時の時間単位毎の入力画像ＩＰと表示画像ＤＰおよび記録画像ＲＰを説明するための図である。撮像装置１００は、撮影レンズ１１０で形成された光学像を撮像素子１１４が所定のフレーム周期（例えば１／６０秒）で電気信号に変換して撮像画像を生成し、画像処理部１２０にて画像データに変換してメモリ１３０に記憶する。

図４において、４０１は入力画像ＩＰであり、システム制御部１５０が撮像素子１１４から出力した撮像信号をカメラ信号処理して、メモリ１３０に取り込んだ撮像画像である。４０２は表示画像ＤＰであり、システム制御部１５０がメモリ１３０の入力画像ＩＰから表示画像ＤＰを読み出し、メモリ制御部１２２、Ｄ／Ａ１２６を経由して、画像表示部１２８に表示する画像である。４０３は記録画像ＲＰであり、システム制御部１５０がメモリ１３０の入力画像ＩＰから記録画像ＲＰを読み出し、圧縮伸長部１３２で符号化処理をした後、Ｉ／Ｆ１６０部を制御して記録媒体１６２に書き込む画像である。時刻ｔｎ−１を表示画像の切り替え（変更）処理動作での撮像装置の初期状態とする。

次に、図４と図３のフローチャートを用いてユースケースにおける表示切り替え処理での画像について説明する。

まず時刻ｔｎ−１での各画像を説明する。時刻ｔｎ−１において入力画像ＩＰ［ｔｎ−１］の動き検出領域Ｑに被写体は存在しないとする。この場合ステップＳ３０１では、システム制御部１５０は被写体の検出はないと判定し、ステップＳ３０２に進む。ステップＳ３０２では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰの記録領域ＲＰと表示領域ＤＰのサイズが一致しているかどうかを判定する。時刻ｔｎ−１の時点では一致しているため（デフォルト設定）、ステップＳ３０６に進む。ステップＳ３０６では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ−１］から表示画像ＤＰ［ｔｎ−１］の領域を読み出し、メモリ制御部１２２、Ｄ／Ａ１２６を経由して、画像表示部１２８に表示する。ステップＳ３０７では、システム制御部１５０がメモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ−１］から記録画像ＲＰ［ｔｎ−１］を読み出し、圧縮伸長部１３２で符号化処理をした後、Ｉ／Ｆ１６０を制御して記録媒体１６２に書き込み、ステップＳ３０１に戻る。

次に、時刻ｔｎでの各画像を説明する。時刻ｔｎでは、入力画像ＩＰ［ｔｎ］の動き検出領域Ｑに被写体Ａが登場したとする。よって、ステップＳ３０１において、システム制御部１５０は動き検出部１４８を制御して、入力画像ＩＰ［ｔｎ］の動き検出領域Ｑで被写体を検出し、ステップＳ３０４に進む。ステップＳ３０４では、システム制御部１５０は表示切り替え部１４６を制御して、メモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ］の表示画像ＤＰ［ｔｎ］を、被写体Ａを検出した領域に応じて変更する。これにより、図示するように、検出された被写体が変更される表示画像ＤＰに含まれることになる。

ステップＳ３０５では、システム制御部１５０は、メモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ］に対して、表示画像ＤＰ［ｔｎ］のうち記録画像ＲＰ［ｔｎ］以外の画像領域に色変換または輝度変換を行う。本実施例では前記画像領域を例えばグレーにする。ステップＳ３０６では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ］から表示画像ＤＰ［ｔｎ］を読み出し、メモリ制御部１２２、Ｄ／Ａ１２６を経由して、画像表示部１２８に表示する。ステップＳ３０７では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ］から記録画像ＲＰ［ｔｎ］を読み出し、圧縮伸長部１３２で符号化処理をした後、Ｉ／Ｆ１６０を制御して記録媒体１６２に書き込み、ステップＳ３０１に戻る。

次に時刻ｔｎ＋１での各画像を説明する。ユーザのパン・チルト操作、または被写体Ａの移動により、時刻ｔｎ＋１では被写体Ａが記録領域ＲＰ［ｔｎ＋１］内に存在するようになったとする。このとき、ステップＳ３０１では、動き検出領域Ｑに被写体が存在しないので、システム制御部１５０は被写体の検出がないと判定し、処理をステップＳ３０２に進める。ステップＳ３０２では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ＋１］の記録画像ＲＰ［ｔｎ＋１］と表示画像ＤＰ［ｔｎ＋１］のサイズが一致しているかどうかを判別する。時刻ｔｎ＋１では
表示画像ＤＰ［ｔｎ＋１］ ＞ 記録画像ＲＰ［ｔｎ＋１］
であるので、一致していないことになり（Ｎｏ）ステップＳ３０３に進む。ステップＳ３０３では、システム制御部１５０は表示切り替え部１４６を制御して、メモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ＋１］の表示画像ＤＰ［ｔｎ＋１］のサイズ及び切り出し位置を記録画像ＲＰ［ｔｎ＋１］のサイズ及び切り出し位置に変更する。ステップＳ３０６では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ＋１］から表示画像ＤＰ［ｔｎ＋１］を読み出して表示画像を生成し、メモリ制御部１２２、Ｄ／Ａ１２６を経由して、画像表示部１２８に表示する。ステップＳ３０７では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ＋１］から記録画像ＲＰ［ｔｎ＋１］を読み出し、圧縮伸長部１３２で符号化処理をした後、Ｉ／Ｆ１６０を制御して記録媒体１６２に書き込み、ステップＳ３０１に戻る。

次に時刻ｔｎ＋２での各画像を説明する。時刻ｔｎ＋２においては入力画像ＩＰ［ｔｎ＋２］の動き検出領域Ｑに被写体は存在しないとする。この場合ステップＳ３０１では、システム制御部１５０が被写体の検出はないと判定するので、ステップＳ３０２に進む。ステップＳ３０２では、システム制御部１５０は、記録領域ＲＰと表示領域ＤＰのサイズが一致しているかどうかを判定する。時刻ｔｎ＋２の時点では一致しているため、ステップＳ３０６に進む。ステップＳ３０６では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ＋２］から表示画像ＤＰ［ｔｎ＋２］を読み出し、メモリ制御部１２２、Ｄ／Ａ１２６を経由して、画像表示部１２８に表示する。ステップＳ３０７では、システム制御部１５０はメモリ１３０に取り込んだ入力画像ＩＰ［ｔｎ＋２］から記録画像ＲＰ［ｔｎ＋２］を読み出し、圧縮伸長部１３２で符号化処理をした後、Ｉ／Ｆ１６０を制御して記録媒体１６２に書き込み、ステップＳ３０１に戻る。

なお、本実施例では、図４の時刻ｔｎ＋１では被写体Ａが記録画像ＲＰ［ｔｎ＋１］に入った場合を説明したが、被写体Ａが入力画像ＩＰ外に出た場合でも、動き検出領域Ｑに被写体Ａがいなくなるので、時刻ｔｎ＋１と同様の処理になる。

また、本実施例では、動き検出領域Ｑで検出する被写体の数を一人として説明したが、人数を限定するものではなく、検出する被写体が複数人いてもよい。

以上のように、本実施例によれば、撮像装置の記録画角外に被写体が存在する場合でも、ユーザは当該被写体が画角のどこに当該被写体が存在するのかが容易に分かる。そのため、ユーザは被写体に合わせてパン・チルト、ズーム操作を行うことができるので、当該被写体の撮り逃しを防ぐことが可能となる。

次に、本発明の第２の実施例について説明する。第１の実施例では、ユーザ操作や検出被写体の動きに従って表示画像ＤＰを変更する構成について述べた。本実施例においては、撮像装置１００に予め登録してある被写体を記録画像ＲＰの画角外で検出した場合にズームレンズを駆動制御して表示画像ＤＰを変更する構成について述べる。

図５は、本実施例に係わる撮像装置５００の構成例を示すブロック構成図である。５０１と５０２以外の構成要素は第１の実施例と同様なのでここでは特に必要がない限り説明を省略する。同図において、５０１は人物認証部であり、動き検出部１４８で検出した被写体が予め撮像装置５００に登録した人物であるかどうかを、例えば不揮発性メモリ１４２に記憶されている人物の情報に基づいて識別する。５０２は倍率変更部であり、被写体の検出の結果に従って撮像レンズ１１０のズームの駆動を制御する。

図６は、本実施例に係わる撮像装置における表示画像の切り替え制御動作のフローチャートを示す図である。本フローチャートにおける各処理は、第１の実施例と同様に、システム制御部１５０が不揮発性メモリ１４２に格納されたプログラムを実行することにより実現される。同図において、第１の実施例と同様の処理は同じ符号を付して示し、ここでの説明は特に必要がない限り省略する。

本フローチャートのステップＳ３０１からステップＳ３０７までの処理は後述する時間ｔｎ（例えばｔｎ＝１／６０秒）周期で処理を繰り返される。

ステップＳ３０１では、第１の実施例と同様に、システム制御部１５０が動き検出部１４８を制御して、メモリ１３０に取り込んだ入力画像ＩＰの動き検出領域Ｑで被写体検出をする。被写体が検出されない場合は、ステップＳ３０２、Ｓ３０３、Ｓ３０６、Ｓ３０７の処理を実行し、被写体を検出した場合はステップＳ６０１に進む。ステップＳ３０２、Ｓ３０３、Ｓ３０６、Ｓ３０７での処理は、表示画像に施す表示処理および記録画像の記録周期ｔｎの自由度も含めて第１の実施例と同様であるので、ここでの説明は省略する。

ステップＳ６０１では、システム制御部１５０は人物認証部５０１を制御して、メモリ１３０に取り込んだ入力画像ＩＰ内に検出した被写体が撮像装置５００に登録済みの人物かどうかを識別する。登録済みの人物であればＳ６０２に進み、未登録の人物であればＳ３０４に進む。

検出された被写体が未登録の人物である場合に実行するステップＳ３０４からＳ３０７は第１の実施例と同様の処理なので、ここでの説明は省略する。ステップ３０７の処理が終了したら、ステップＳ３０１に戻る。

ステップＳ６０２では、システム制御部１５０は倍率変更部５０２および撮影レンズ１１０の駆動を制御して、検出した被写体がメモリ１３０に取り込まれる入力画像ＩＰの記録画像ＲＰに含まれるまでズームアウトする。この結果、入力画像ＩＰから読み出される記録画像ＲＰおよび表示画像ＤＰには検出された被写体が含まれることになる。次いで、ステップＳ３０６およびＳ３０７で、ズームアウトの結果メモリ１３０に格納された入力画像ＩＰから読み出された表示画像ＤＰの表示および記録画像ＲＰの記録を行い、ステップＳ３０１に戻る。上述したように、これらの処理は第１の実施例と同様である。

次に、図６のフローチャートに従って本実施例に係わる表示画像の切り替え処理動作を行なった時の時間単位毎の入力画像ＩＰと表示画像ＤＰおよび記録画像ＲＰを、図７を参照して具体的に説明する。図７は、本実施例に係わる表示画像の切り替え（変更）処理動作を行なった時の時間単位毎の入力画像ＩＰと表示画像ＤＰおよび記録画像ＲＰを説明するための図である。本実施例においても、撮像装置５００は、撮影レンズ１１０で形成された光学像を撮像素子１１４が所定の周期（例えば１／６０秒）で電気信号に変換し、画像処理部１２０にて画像データに変換してメモリ１３０に記憶することができる。図７における入力画像７０１、表示画像７０２、記録画像７０３は図４の説明と同様のため、ここでは説明を省略する。また、時刻ｔｎ−１を、表示画像の切り替え（変更）処理動作での撮像装置の初期状態とする。

まず時刻ｔｎ−１での各画像を説明する。この時の各画像は第１の実施例（図４の時刻ｔｎ−１の対応する）と同様であるので、ここでの説明を省略する。

次に時刻ｔｎでの各画像を説明する。時刻ｔｎにおいて入力画像ＩＰ［ｔｎ］の動き検出領域Ｑに被写体Ａが登場したとする。この場合ステップＳ３０１では、システム制御部１５０が動き検出部１４８を制御して、入力画像ＩＰ［ｔｎ］の動き検出領域Ｑで被写体を検出する。ここで、本実施例ではステップＳ６０１において、システム制御部１５０が人物認証部５０１を制御して検出した被写体が撮像装置５００に登録済みの被写体であるかどうかを判別する。登録済みの被写体である場合、ステップＳ６０２に進む。未登録の場合、ステップＳ６０３に進む。本実施例では、時刻ｔｎにおいて登録済みの被写体Ａを検出したとして、ステップＳ６０７を実行する。ステップＳ６０２では、システム制御部１５０が倍率変更部５０２を制御して、メモリ１３０に取り込まれる入力画像において被写体Ａが記録画像ＲＰに含まれるまで撮像レンズ１１０をズームアウトする。この結果、図７に示すように、入力画像ＩＰから読み出される記録画像ＲＰおよび表示画像ＤＰには検出された被写体が含まれることになる。次いで、ステップＳ３０６およびＳ３０７で、ズームアウトの結果メモリ１３０に格納された入力画像ＩＰから読み出された表示画像ＤＰの表示および記録画像ＲＰの記録を行い、ステップＳ３０１に戻る。上述したように、これらの処理は第１の実施例と同様であり、また、表示画像ＤＰの表示および記録画像ＲＰのサイズは一致している。

次に時刻ｔｎ＋１における各画像を説明する。時刻ｔｎ＋１において入力画像ＩＰ［ｔｎ＋１］の動き検出領域Ｑに被写体Ｂが登場したとする。この場合、ステップＳ３０１では、システム制御部１５０が動き検出部１４８を制御して、入力画像ＩＰ［ｔｎ＋１］の動き検出領域Ｑにおいて被写体を検出すると、処理はステップＳ６０１に進む。ステップＳ６０１では、システム制御部１５０が人物認証部５００を制御して検出した被写体が撮像装置１００に登録済みの被写体かどうかを判別する。本実施例では被写体Ｂを未登録の被写体とするので、処理はステップＳ３０４に進む。検出された被写体が未登録の人物である場合に実行されるステップＳ３０４およびＳ３０７は、上述したように第１の実施例と同様の処理である（図４のｔｎでの処理と同様）。ステップ３０７の処理が終了したら、ステップＳ３０１に戻る。

次に時刻ｔｎ＋２における各画像を説明する。ユーザのパン・チルト操作、または被写体Ｂの移動により、時刻ｔｎ＋２においては被写体Ｂが入力画像ＩＰ［ｔｎ＋２］の動き検出領域Ｑに存在していないとする。この場合、ステップＳ３０１では、システム制御部１５０が被写体の検出がないと判定し、ステップＳ３０２に進む（図４のｔｎ＋１と同様）。上述のように、このとき実行されるステップＳ３０２、Ｓ３０３、Ｓ３０６、Ｓ３０７の処理は、表示画像に施す表示処理および記録画像の記録周期ｔｎの自由度も含めて第１の実施例と同様である。

以上のように、第２の実施例によれば、登録された被写体を検出した場合は撮影装置が自動的に画角を変更して当該被写体を記録するのでユーザは被写体の撮り逃しを防ぐことができる。また、検出された被写体が登録されていない場合でも、当該被写体が画角のどこに存在するのかが分かり、被写体に合わせてパン・チルト、ズーム操作を行うことができるのでユーザは当該被写体の撮り逃しを防ぐことが可能となる。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、この例に限定されるものではない。すなわち、本発明は、パーソナルコンピュータ、携帯電話端末などの撮像システムにも適用可能である。

また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (12)

1. 撮影光学系で形成された光学像を撮像して撮像画像を生成する撮像手段と、
   前記撮像画像の第１の領域の画像から記録画像を生成し、第２の領域の画像から表示画像を生成する処理手段と、
   前記撮像画像から前記第１の領域を除いた領域において被写体を検出する検出手段と、
   前記被写体の検出の結果に従って前記処理手段による表示画像の生成を制御する制御手段を備え、
   前記制御手段は、前記検出手段が前記被写体を検出した場合は、前記処理手段が前記被写体を含む表示画像を前記撮像画像から生成するよう制御することを特徴とする撮像装置。
2. 前記制御手段は、前記検出手段が前記被写体を検出した場合は、前記被写体の位置に従って前記第２の領域を変更し、前記変更された第２の領域は前記被写体を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記処理手段は、前記変更された第２の領域から前記第１の領域を除いた領域の画像に対して前記第１の領域と前記第２の領域とを判別するための画像処理を行い、前記画像処理は少なくとも色変換および輝度変換のいずれかであることを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記検出手段が前記被写体を検出しない場合は、前記第２の領域を前記第１の領域に一致させることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 人物の情報を登録する登録手段をさらに備え、
   前記撮影光学系はズーム駆動が可能であり、前記制御手段は、前記検出手段が前記被写体を検出した場合に、前記情報に基づいて前記被写体を識別する識別手段と、前記被写体が識別された場合に、前記第１及び第２の領域が前記被写体を含む前記撮像画像が生成されるように前記被写体の検出の結果に従って前記撮影光学系のズームを駆動する駆動制御手段を有し、前記ズーム駆動により生成された撮像画像の前記第２の領域の画像から前記被写体を含む表示画像を生成するよう制御することを特徴とする請求項１に記載の撮像装置。
6. 前記被写体が識別された場合の前記記録画像は、前記ズーム駆動により生成された撮像画像の前記第１の領域の画像から生成された画像であることを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記被写体の検出の結果に基づいてズームの倍率を変更することを特徴とする請求項５又は６に記載の撮像装置。
8. 前記制御手段は、前記被写体が識別されない場合は、前記被写体の位置に従って前記第２の領域を変更し、前記変更された第２の領域の画像は前記被写体を含むことを特徴とする請求項５記載の撮像装置。
9. 前記記録画像を符号化する符号化手段と、
   前記符号化手段で符号化したデータを記録媒体に記録する記録手段と
   前記表示画像を表示する表示手段をさらに備えることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 撮影光学系で形成された光学像を撮像して撮像画像を生成する撮像手段を有する撮像装置の制御方法であり、
    前記撮像画像の第１の領域の画像から記録画像を生成し、第２の領域の画像から表示画像を生成する処理工程と
    前記撮像画像から前記第１の領域を除いた領域において被写体を検出する検出工程と、
    前記被写体の検出の結果に従って前記処理手段による表示画像の生成を制御する制御工程を備え、
    前記制御工程は、前記検出工程で前記被写体が検出された場合は、前記処理工程が前記被写体を含む表示画像を前記撮像画像から生成するよう制御する工程を含むことを特徴とする制御方法。
11. コンピュータに、請求項１０に記載された制御方法を実行させるプログラム。
12. コンピュータに、請求項１０に記載された制御方法を実行させるプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images