JP2015167310A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】表示画角外に被写体が移動した場合でも、容易に所望の被写体を発見する。【解決手段】撮像素子に投影した被写体像を光電変換して画像信号を出力する撮像手段と、撮像手段で撮影した画像を表示する表示手段と、表示手段に表示する画像を撮影する第一の撮像領域と、表示手段に表示せずに選択した被写体の位置を検出する第二の撮像領域を備え、被写体が表示手段に表示する表示画角を外れると、第二の撮像領域で検出した被写体位置情報を表示手段に表示する。【選択図】 図２

Description

本発明は、撮影装置、撮影方法、及びプログラムに関する。

従来から高倍率ズームレンズを搭載するカメラにおいて、遠方にある被写体を撮影する場合、撮影範囲が狭くなり、手振れや、被写体の移動によって被写体が撮影範囲からはずれ、被写体を見失うという問題がある。

これに対し、再び被写体を撮影範囲に収めようとしても、現在撮影している範囲を特定しにくく、一度広角側に戻して被写体を再確認するか、ズーム状態のまま、手探りで被写体を探すことになる。

そこで、ＧＰＳ受信装置により、自身の位置を計測し、方位センサにより撮影方位を計測し、レンズのズーム値から撮影画角を計測し、これらの計測値から被写体が撮影視野内にあるか否かを判別し、被写体の方向を示す撮影ガイド又は、マーカをモニタの画面内に表示するという技術が提案されている。

特許文献１では、被写体に無線信号の発信装置を持たせ、無線信号の発信位置を表示する撮像装置に関する技術が開示されている。

特開平０９−０２３３５９号公報

しかしながら、従来技術によるデジタルカメラでは、ＧＰＳ受信装置や方位センサなどを搭載する必要があり、製品サイズの小型化に影響を与え、各装置を駆動させる電源の供給も必要となり、バッテリ駆動であれば、電池寿命が短くなるという問題がある。

そこで、本発明は、製品サイズの小型化や、電池寿命を損なうことなく、ズーム時に撮影先を見失わないように、被写体位置を容易に確認することができる撮影装置を提供することを目的とする。

上記目的を達成するための構成は、
撮像素子に投影した被写体を光電変換して画像信号を出力する撮像手段と、
前記撮像手段で撮影した画像を表示する表示手段を備え、前記被写体が前記表示手段に表示する表示画角を外れると、前記表示手段に前記被写体の位置情報を表示する撮像装置において、
前記撮像素子は、前記表示手段に表示する画像を撮影する第一の撮像領域と、前記表示手段に表示せずに選択した被写体の位置を検出する第二の撮像領域と、を備え、前記第二の撮像領域で検出した被写体位置情報を前記表示手段に表示することを特徴とする。

本発明によれば、撮像素子の表示画像外の撮像領域で被写体を検知し、現在の表示画角に対する被写体の相対位置情報を表示画角内に提示することにより、追加部材を必要とせず、簡便な構成で、被写体位置を見失わず、容易に確認する事が出来る。

システム全体の構成を示すブロック図である。 本実施例における撮影フローを示すフローチャートである。 本実施例における被写体追尾のフローチャートである。 本実施例の撮像素子と表示画面の関係を示す概略図である。 本実施例の被写体位置情報を検出するフローチャートである。 本実施例の撮像素子と表示画面の関係を示す概略図である。 本実施例の撮像素子と表示画面の関係を示す概略図である。 本実施例の検出領域を変更する一例を示すフローチャートである。 本実施例の撮像素子と表示画面の関係を示す概略図である。 本実施例の撮像素子と表示画面の関係を示す概略図である。 本実施例の撮像領域の読み出し方の一例を示す概略図である。

以下、本発明を実施するための形態を図面に基づいて説明する。

以下、本発明を実施するための最良の形態について図面等を参照して説明する。

なお、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。

また、以下の説明では、具体的な数値、構成、動作等を示して説明を行うが、これらは、適宜変更することができる。

図１は、本発明による撮像装置の第１実施形態の構成を示す図である。撮像装置１００は、デジタルカメラやデジタルビデオカメラ等であり、撮影レンズ１０により得られる被写体像を撮像素子１４の撮像面に結像させて撮像する。

撮影レンズ１０は、不図示の複数のレンズからなり、焦点距離を変更するズーム機構と、焦点位置を移動させるフォーカス機構とを有している。撮影レンズ１０と撮像素子１４との間には、絞り機能を備えるシャッタ１２が設けられている。

撮像素子１４は、光学像を電気信号に変換する光電変換手段である。本実施形態の撮像素子１４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサを用いている。なお、撮像素子としては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等、他のタイプのイメージセンサでもよい。

Ａ／Ｄ変換器１６は、撮像素子１４のアナログ信号出力をデジタル信号に変換する。

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。また、タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ又はメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって画像の切り出し、拡大処理を行うことで電子ズーム機能が実現される。さらに、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行う。この演算処理により得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、フォーカス制御手段４２に対して制御を行う。例えば、システム制御回路５０は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。 メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６が出力したデジタルデータは、画像処理回路２０、メモリ制御回路２２を介して、又は、Ａ／Ｄ変換器１６から直接メモリ制御回路２２を介して、画像表示メモリ２４又はメモリ３０に書き込まれる。

画像表示部２８は、ＴＦＴ−ＬＣＤ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ−Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等から成り、画像表示メモリ２４に書き込まれた表示用の画像データをＤ／Ａ変換器２６を介して表示する。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。

メモリ３０は、撮影した静止画像や動画像を格納する記憶部であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ：Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等により画像データの圧縮伸長を行う。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理又は伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御手段４０は、シャッタ１２を制御し、撮像した画像データを画像処理回路２０で所定の演算を行い、得られた演算結果に基づいて、ＡＥ（自動露出）処理を行っている。また、露光制御手段４０は、フラッシュ４８と連携してフラッシュ４８の調光を行うフラッシュ調光機能も有する。

フォーカス制御手段４２は、システム制御回路５０を介して撮影レンズ１０のフォーカシング動作を制御する。

これら露光制御手段４０及びフォーカス制御手段４２は、ＴＴＬ方式を用いて制御されている。すなわち、撮影光学系を介して撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、フォーカス制御手段４２に対して制御を行う。ズーム制御手段４４は、撮影レンズ１０のズーミングを制御する。

システム制御回路５０は、撮像装置１００全体を制御する制御部である。

メモリ５２は、システム制御回路５０の動作用の定数、変数、プログラム等を記憶する。

表示部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数又は複数設置され、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、発音素子等の組み合わせにより構成されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示等がある。また、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体９７の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等もＬＣＤ等に表示する。表示部５４はＬＣＤ等であれば、画像表示部２８と共用することも可能である。

不揮発性メモリ５６は、電気的に消去・記録可能な不揮発性記憶手段であり、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等が用いられる。

モードダイアルスイッチ６０、シャッタスイッチ６２，６４及び操作部７０は、システム制御回路５０の各種の動作指示を入力するための操作手段である。これらは、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するときに操作される。

シャッタスイッチ６２は、不図示のシャッターボタンの操作途中のいわゆる半押し状態でＯＮとなるスイッチ（ＳＷ１）である。シャッタスイッチ６２（ＳＷ１）がＯＮすることにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始をシステム制御回路５０が指示する。

シャッタスイッチ６４は、不図示のシャッターボタンの操作完了のいわゆる全押し状態でＯＮとなるスイッチ（ＳＷ２）である。シャッタスイッチ６４（ＳＷ２）がＯＮすることにより、システム制御回路５０が露光処理、現像処理、記録処理という一連の処理の動作開始を指示する。

この露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。

また、現像処理では、画像処理回路２０やメモリ制御回路２２での演算を行う。

さらに、記録処理では、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体９７に画像データを書き込む。

操作部７０は、各種ボタンやタッチパネル等からなり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等の機能を持つ。また、操作部７０は、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等の機能を持つ。さらに、操作部７０は、プリント出力ボタン、記録ボタン、ズームレバー（望遠・広角）、十字ボタン（上、下、左、右）、カーソル表示ボタン等の機能も持っている。

電源制御手段８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。

コネクタ８２は、撮像装置１００の内部と電池収容部に収容された電池又はＡＣアダプター等の電源８６とを接続する。

電源８６は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等である。

インタフェース９４は、記録媒体９７との接続を仲介する。

コネクタ９２、９３は、記録媒体９７との接続を行う。

記録媒体９７は、メモリカードやハードディスク等である。

特徴量検出回路は、顔検出回路等からなり被写体の特徴量を検出する。検出する特徴量は、画像データから画像データ内の周辺物の輪郭を、そのコントラストや、色調等で抽出し、検出した特長量は、メモリ３０や、ＳＤカード等の記憶部９６に記録・保持する。

合成処理回路１００は、撮影した画像に文字情報や画像を合成する合成処理回路である。

図２は、第一の実施例の動作を説明するフローチャートである。

まず、Ｓ２００でカメラを起動し、カメラ動作を開始する。

Ｓ２０１では、撮像素子における表示領域の読み出しを行う。

Ｓ２０２では、読み出した画像データを画像処理し、画像表示部に表示する。

Ｓ２０３で、被写体の追尾を行うかを選択する。被写体の追尾を行う場合は、Ｓ２０４へ進み被写体を検出し、追尾被写体の表示を開示する。被写体の追尾を行わない場合は、Ｓ２０５で被写体の追尾処理をＯＦＦし、画面表示部への追尾情報の表示をＯＦＦする。

被写体の追尾を行うかの選択は、メニューやスイッチ等でユーザが適宜選択できる構成でも構わない。また、カメラが自動で判断してもよい。

光学ズーム及び電子ズームによる画角変更を行う際に、急激に画角が変わると被写体を見失い易い。そこで、例えば、操作部７０のズームレバーをトリガとして、追尾処理を開始しても良い。また、電子ズームによって表示画角を変更するタイミングをトリガとして、追尾処理を開始しても良い。また、タッチパネル等でユーザが所望の被写体を指示し・選択することで、選択された被写体を追尾開始する構成でもよい。

Ｓ２０６でレリーズボタンや動画撮影ボタン（ＳＷ１、ＳＷ２に）よる撮影が選択されると、Ｓ２０７で静止画及び動画による被写体の撮影を開始する。ここでは、表示画面に表示される撮影画角が記録画像となる。

再びＳ２０７で撮影の停止が選択されるまで、Ｓ２０１に戻って処理を続ける。追尾表示のＯＮ／ＯＦＦの切り替えは、未撮影・撮影記録中を問わず選択できる。

Ｓ２０８で撮影終了が選択されるとカメラ動作を終了する。

続いて、追尾処理時の動作フローについて図３で説明する。

Ｓ３０１でメモリに記憶済みの被写体情報があるか確認する。記憶済みの被写体情報があれば、Ｓ３０２で表示画像の読み出しを行う。記憶済みの被写体がなければ、Ｓ３０７で被写体の選択を行う。被写体の選択方法は、タッチパネル等で表示画面内の任意の被写体を直接してもよい。被写体の追尾処理を行わない場合は、記憶部に保持した記憶済みの追尾被写体は、適宜削除・更新する。選択した被写体の特徴量をＳ３０８で抽出する。

Ｓ３０９で抽出した被写体情報を記録する。記憶する被写体情報は複数でもよい。Ｓ３０３で選択した被写体が表示範囲内にいるかを判定する。画面表示領域内に選択した主被写体が存在する場合は、Ｓ３０５で選択した被写体に後述する図６のマーカ６１３を表示する。表示画面に被写体が存在する場合は、ユーザが容易に確認できるため、何も表示しない構成を取っても構わない。主被写体が表示領域に存在しない場合は、選択した被写体が表示画角にいない場合は、Ｓ３１０で第二の撮像領域の読み出しを行い、被写体が領域内の画像データを走査し、被写体の検出を行う。Ｓ３１１で被写体の検出ができない場合、Ｓ３１４へ進み被写体が検出できないことを表示する。Ｓ３１１で検出領域内に被写体を検出した場合、Ｓ３１２で検出した位置情報を算出する。Ｓ３１３で表示画面内に被写体の位置情報を表示する。Ｓ３０６で被写体の追尾終了を判定する。被写体の追尾を終了しない場合は、Ｓ３０１に戻り繰り返す。

撮像素子上の被写体像と表示画面に表示される撮像領域の関係について、図４で説明を行う。４０１は、投影された被写体像を光電変換する撮像素子である。４０２は、第一の撮像領域である撮像した被写体を表示する表示領域である。一般に表示部に表示している撮像領域が撮影記録する領域となる。４０３は、表示部への表示しない撮像素子の第二の撮像領域の被写体検出領域である。４１０は、撮像素子上に投影された被写体像である。

被写体検出手段により被写体４１０が検出され、表示手段に被写体４２１に被写体の存在する方向が示される。詳細は後述するが、表示マーカのサイズは、表示領域の中心からの距離によって表示サイズが変更される。本発明では、表示画角よりも広い範囲で被写体を検出する事で位置情報を伝えることができる。これにより、ズーム中に見失った被写体を容易に見つけることが可能となる。被写体検出領域は、被写体検出を行うために使用するため、例えば、ＲＧＢの画素配列の内、特定の画素のみを利用してもよい。結像した被写体のコントラスト値を用いて輪郭を抽出する様な場合には、輝度値を求めるために例えばＧ画素のみを利用する。対して、被写体の色調で領域判定を行う場合は、ＲＧＢの画素配列全てを読み出す。また、表示部へスルー画像として表示せずに、被写体位置を判定するためだけに使用する場合は、特徴量を抽出できればよいため、画質は問わない、このため、撮像素子の画素を間引く、或いは加算して読み出すような構成でもよい。

４０５は、光学的な被写体の結像範囲である。撮像素子全体をカバーしている事が望ましいが、撮像素子の一部領域に対してのみ結像する構成でも構わない。ここでは、同じ撮像素子内の領域を複数に分け、表示領域と検出領域としたが、これに限らない。例えば、異なる２つのレンズと撮像素子を備える構成を取り、それぞれを表示用、被写体検出用として分ける構成でも構わない。カメラ動作では、光学ズーム及び電子ズームによる画角変更を行う際に、被写体を見失い易い。そこで電子ズームによって表示画角を変更する際に、画面表示部に表示しない撮像領域を用いて被写体を検出し、表示画角外にいる被写体位置情報を表示する。撮像素子の読み出しは、常にフルサイズで読み出すのではなく、予め表示画角として用いる領域を図示の４０２の領域とし、表示画角より広い画角の検出領域を用意しても良い。また、例えば光学ズームを行う際に、光学ズームによる変倍の一部を電子ズームで負担することで、表示画角よりも広い画角を検出領域４０３として用意する構成をとってもよい。また、ユーザが撮影中に表示画像内の任意の領域を拡大表示したい場合、表示領域は光軸中心になくとも構わず、任意の領域を切りだして表示する構成でもよい。この時、被写体検出領域は、表示画角として選択した領域外の全ての領域としてもよいし、表示領域を囲む一部の領域に設定しても構わない。４０６は、表示画角の中心位置である。

４０４は、撮像素子における被写体検出領域の読み出し開始を判定するための判定枠である。判定枠は、表示領域と被写体位置の関係によって、適宜変更する。例えば、被写体の移動速度が速い場合、容易に表示領域を超えてしまう事が予想される。このため、被写体の移動速度に応じて、判定領域を小さくとり、早めに検出領域の読み出しを開始する構成有効である。ここでは、判定枠を１つの閾値にて決定しているが、これに限らない。例えば複数の範囲に別けて、それぞれの所定範囲及び検出された被写体のサイズや、動きに応じてテーブルを作成し、細かく設定しても構わない。

４２０は、表示画面外に想定される撮像素子上の被写体４１０の写像である。

４２１は、表示画面枠である。

４２３は、表示画面外に想定される撮像素子の被写体検出領域の写像である。

４３０は、表示画面上に重ねて表示する被写体位置を示すマーカ表示である。背景が見づらくならぬように半透明にして表示してもよい。

位置情報の算出方法について、図５のフローで説明を行う。まず、Ｓ５０１現在の表示領域の情報を取得するＳ５０２光学ズーム情報を取得する。Ｓ５０３被写体位置を検出する。被写体位置は、被写体特徴量検出手段で検出した輪郭等から中心位置（ｘ１，ｙ１）を算出する。Ｓ５０４被写体位置を算出する。撮像素子における表示画角中央の座標（ｘ０，ｙ０）に対して、検出した追尾被写体座標（ｘ１，ｙ１）を算出する。ここでは一例として、被写体位置情報として示す被写体検出方向を、表示画角中央から被写体位置の写像を結ぶ直線上に配置する。これにより、ユーザは常に表示画面の中央に対して、所望の被写体の位置する方向を把握することができ、直感的にわかりやすい。例えば、被写体方向θは、次の式で概算できる。
θ＝ ａｔａｎ（ｙ１−ｙ０）／（ｘ１−ｘ０）
表示画角中心から被写体位置までの画角φ１を示す場合は、現在の光学ズームによる表示画角φ０から、φ１＝φ０×（ｄ１／ｄ０）のように、撮像素子全体の径ｄ０、撮像素子上での表示画角中心座標から被写体中心位置の座標までの距離ｄ１の比を取る事で概算できる。

図６、７の概略図を用いて被写体位置に応じた表示画面と撮像領域の関係について説明を行う。図６は、撮像素子と表示部の関係を示す概略図である。（Ａ）〜（Ｄ）は、撮像素子と撮像素子に投影される被写体を示す。（Ｅ）〜（Ｈ）は、表示画面に表示される被写体を示す。６０１は、撮像素子の全撮像領域である。６０２は、撮像素子における第一の撮像領域である表示領域である。表示領域はズーム状態に応じてサイズが変更される。

６０３、６０４はそれぞれ被写体を示す。（Ｂ）は、被写体６０３が移動し、表示領域６０３の外に出てしまった状態を示す。（Ｃ）では、被写体６０３が撮影可能な撮像素子の範囲外に出てしまっている状態を示す。（Ｄ）では、被写体６０３が移動経路６０５を通って移動し、再び撮像素子の全撮像領域内に入った状態を示す。（Ｅ）は撮像素子に結像する被写体が（Ａ）での表示画面である。画面表示部６１０内に被写体６０３、被写体６０４の撮影画像６１１と６１２が写しだされている。６１３は、ユーザに選択された被写体位置を示すマーカである。タッチパネル等を用いて表示画面上で操作者が被写体６１１を選択すると、被写体の特徴を検出し、メモリに記憶される。Ｓ３０４で表示撮影領域内に検出した被写体位置から位置情報を算出し、Ｓ３０５で被写体を選択している事を示すマーカ６１３が表示される。これにより操作者は、被写体６１１を選択していることを認識できる。選択した被写体が画面表示内にいる場合は、ユーザが認識できるため、特にマーカ表示しない構成でも構わない。（Ｂ）で被写体６０３が表示領域６０２を出ると、表示画面６１０には、被写体位置を示す追尾マーカ６１４が点灯する。ここでは、矢印の形状を示すが、被写体位置を示す情報はこれに限る必要はない。（Ｂ）で被写体が検出可能な撮像領域６０１の外に出てしまうと、Ｓ３１０で検出領域にも被写体を検出できなくなる。Ｓ３１４で被写体を見失ったと判断し、被写体位置マーカ６１５の様に状態を変え、選択している被写体が検出可能な範囲を外れた事を示す。（Ｃ）に示すように、再び選択中の被写体が撮影画角内に入ると、検出領域６０１内の被写体６０６を検出する。検出された被写体位置を算出し、６１６のように再び、表示画面内に選択被写体がいることを示す矢印を表示する。

図７に示すのは、本実施例における被写体位置が表示可能な場合の表示例を示す模式図である。図７（Ａ）は、撮像素子に投影された被写体像を示す。（Ｂ）、（Ｃ）、（Ｄ）は夫々が（Ａ）における画面表示の一例である。（Ｂ）に示す様に選択した被写体の方向を示しても良い。

（Ｃ）に示す様に選択した被写体ごとに識別番号等を付加し、異なる夫々の被写体位置情報を示しても良い。（Ｄ）に示す様に被写体ごとに表示色を別けて表示してもよい。

図７（Ｅ）は、撮像素子に投影された被写体像を示す。（Ｆ）、（Ｇ）、（Ｈ）は夫々が（Ｅ）における画面表示の一例である。（Ｆ）に示す様に（Ａ）の撮像素子に投影される被写体位置に応じて、表示画角からの外れた距離を矢印の長さで示してもよい。また、表示形式は矢印に限らず、（Ｇ）に示す様に方向を示す矢印と距離感を示す文字列で表現しても構わない。（Ｈ）に示す様に方向を示す矢印と角度を示す数値の組み合わせでもよい。図７（Ｉ）は、撮像素子に投影された被写体像を示す。選択している画角７０１に対して、各被写体の投影サイズが異なる。（Ｊ）は、（Ｉ）における画面表示の一例である。（Ｊ）に示すように、（Ｉ）の撮像素子に投影される被写体の大きさに応じて、被写体位置と表示サイズを示してもよい。図７（Ｋ）は、撮像素子に投影された被写体像を示す。（Ｌ）、（Ｍ）は夫々、（Ｋ）における画面表示の一例である。（Ｌ）に示すように、（Ｋ）の撮像素子に投影される被写体の形状及び方向を示してもよい。被写体の形状は、画像データから該画像データ内の周辺物の輪郭を、そのコントラストや、色調等で抽出し、記憶部に記録保持する。記憶部に保持した特長量を模式図として示しても良いし、現在の撮影画像を逐次表示しても構わない。例えば、現在選択している表示画角に対して、被写体がどれくらいのサイズで表示する事になるのか、サイズ情報を示しても良い。また、抽出した副被写体の輪郭形状を表示画像に投影することで、表示画角外にでてしまった被写体の情報である、姿勢変化や、向きを正確にユーザに伝える事が可能となる。（Ｍ）は、撮像素子に投影された被写体の形状及び方向を示す。追尾被写体の表示位置は、画面上部等、単面に複数の被写体を一覧表示してもよい。表示欄には、選択している被写体とそれぞれの方向、現在の画角に対する表示サイズ、距離、速度、などを数値または文字列で表示しても構わない。

ここでは、一例として、矢印で追尾被写体の位置を示したが、表示形式はこれに限ったものではない。また、表示位置を方向と画角に対する角度で示したが、例えば、追尾被写体の移動量をベクトルで検出して、移動速度情報を提示してもよい。

これまで述べたように被写体が表示画角外に出てしまった場合でも、被写体位置情報を画面表示内に提示することができるため、被写体の発見が容易になる。

図８に第二の実施例の追尾フローを示す。ここでは、被写体を検出する第二の領域である検出領域を追尾被写体の位置に応じて偏光する。Ｓ８０１で現在の表示領域の位置情報を取得する。表示領域は光軸中心でも良いし、ユーザが選択した任意のサイズ・領域で構わない。Ｓ８０２で、表示領域に対する判定枠を決定する。判定枠は、表示領域内の任意の位置に決定する。被写体の移動速度が速い場合は、表示領域に対して余裕を持って設定する。被写体の移動がほとんどない場合は、表示領域端を判定枠としても良い。

Ｓ８０３で、選択した被写体がこの判定枠を超えたと判断されると、第二の撮像領域である検出領域を野読み出しを開始する。追尾被写体が判定枠を超えてない場合は、表示領域内にとどまっているため、Ｓ８０１に戻り、表示領域が変更されるまで判定枠を変更しない。被写体の移動速度に応じて変更枠を適宜変えても構わない。Ｓ８０４で検出領域の位置及び大きさを決定する。検出領域は、選択している追尾被写体の表示サイズ、移動速度を考慮して決定する。Ｓ８０５では、検出領域内に新たに判定枠を設定する。追尾被写体が移動して表示領域外に出る可能性があるため、検出領域内に新たに定める判定枠で、今後の被写体の移動を判定する。Ｓ８０６で検出領域の読み出しを行う。読みだした検出両機の画像データを基に、記憶部に記憶した被写体特徴量とマッチングを取り、検出領域内の被写体を検出する。

Ｓ８０７で、追尾被写体が判定枠内にいる場合は、被写体が現在の検出領域内にいるため、同じ検出領域の画像を読み出す。追尾被写体が判定枠を超えたと判断すると、Ｓ８０８に進む。Ｓ８０８で追尾被写体が検出領域内にいるかを判定する。追尾被写体が検出領域内で、且つ判定枠を超えている場合、Ｓ８０４に戻り移動した追尾被写体に合わせて新たに検出領域２を決定する。Ｓ８０７、Ｓ８０８で追尾被写体が判定枠を超え、且つ、検出領域を超えている場合は、追尾被写体を検出することができなくなるため、検出領域と判定枠を撮像素子全域に広げる。以上の様に、第二の領域である検出領域の決定を行う。

図９に検出領域を変更する際の撮像素子上の被写体と検出領域の関係を示す。図９の（Ａ）〜（Ｆ）は、撮像素子に投影された被写体と検出領域の設定である。被写体の移動に伴い、（Ａ）〜（Ｆ）まで順次被写体が移動していく様を示している。（Ａ）の９０１は撮像素子である。９０２は、表示領域内に定めた判定枠である。９０３は、表示手段に表示する表示領域である。９０４は、ユーザが選択した追尾被写体である。９０５は、移動しない被写体である。（Ｂ）で追尾被写体９０４が判定枠を超えると、（Ｃ）に示す様に、検出領域９１２と判定枠９１３を設定する。（Ｄ）では、（Ｃ）で定めた検出領域９１２と判定枠９１３の状態で被写体９０４が移動した状態を示す。判定枠９１３を被写体９０４が超えたため、（Ｅ）で新たに検出領域と判定枠を更新する。（Ｅ）では、（Ｄ）の位置からさらに被写体９０４が移動した状態を示す。検出領域９１２と判定枠９１３は、（Ｄ）の状態に対して、追尾被写体９０４の移動量を考慮し、更新した状態である。（Ｆ）は、（Ｅ）の状態からさらに被写体９０４が撮像素子外に移動してしまった状態を示す。追尾被写体が検出領域を超え、且つ撮像素子外に出てしまうと、これ以上被写体を検出する事が出来ない。そこで、再び撮像素子範囲内に被写体が入った事を検出できる様に検出領域は撮像素子全域に設定する。判定枠についても設定した検出領域に応じて設定する。

以上述べた様に、被写体位置に応じて第二の撮像領域である検出領域を設定する事により、被写体を追尾できる。これにより、所望の被写体を見失った場合でも、容易に発見することが可能になる。追尾被写体の位置に応じて検出領域を設定するため、検出領域を必要最低限の領域に定める事ができる。これにより、撮像素子からの読み出し領域を削減することができる。撮像素子からの画像信号の読み出し時間が動画像のフレームレートとなるため、読み出す領域のサイズを減らし、画素数を少なくすることでフレームレートの工場を図る事が出来る。

図１０は、被写体位置に応じた表示画面と撮像領域の関係を示す概略図である。（Ａ）、（Ｂ）は同一の被写体を投影した撮像素子と、撮像素子に投影された被写体を示している。

１００１は、撮像素子である。１００２は、ユーザが現在選択している表示領域である。

１００３は、ユーザによって選択された追尾被写体を検出する検出領域である。１００４は、ユーザによって選択された第二の追尾被写体を検出する検出領域である。追尾したい被写体の選択は複数行っても構わない。（Ｂ）の１００５は、表示領域１００２を含んだ領域の検出領域である。撮像素子に対して設定する表示領域と検出領域は重複してもよい。異なる２つのＲＡＷ画像データとして読み出しを行っても構わない。或いは、検出領域１００５を１つのＲＡＷ画像データとして読み出しを行い、デジタル信号となった読み出し画像データの内、表示領域１００２を切りだして表示手段に表示し、１００３を切りだして検出領域として被写体の検出を行っても構わない。１００６は、（Ａ）の１００４の被写体と１００３の被写体を含む検出領域である。複数の被写体を追尾被写体として選択している場合は、（Ａ）の様に２つの画像データとして読み出しを行っても構わないし、１００６の様に二つの追尾被写体として読み出してもよい。（Ｃ）、（Ｄ）は、表示画面に表示された被写体を示す。１０１２は、表示領域１００２を表示手段に表示した画面表示である。

１０２３は、検出領域１００３で検出した被写体の方向を示すマーカ表示である。１０２２は、検出領域１００３を表示手段に表示した画面表示である。１０１３は、表示領域１００２で検出した被写体の方向を示すマーカ表示である。ユーザが表示画角を１００２の表示領域として設定している最中に、追尾している被写体を表示させたい場合がある。ユーザが画面表示１０２３上の追尾被写体表示１０２３を選択すると、表示画面が画面表示１０１３に切り替わる。表示画面１０１３では、今まで主被写体として表示していた表示領域１００２の被写体を追尾被写体として記憶手段に追加する。再び画面表示１０１３上で、追尾被写体１０２２のマーカ表示を選択すると画面表示１０１２に切り替わる。

以上説明した様に、表示画角外に出た被写体を検出領域で検出することで、見失った所望の被写体を容易に発見する事が可能となる。さらに、画面表示中に表示された追尾被写体のマーカ表示を選択することにより、画面表示を追尾被写体に切り替える事が可能となり、所望の被写体を見失うことなく撮影することが可能となる。

図１１に表示領域と検出領域の読み出し動作を示す。（Ａ）は、被写体の投影された撮像素子１１０１と、撮像素子上に設定された表示領域１１０２と検出領域１１０３である。

（Ｂ）は、撮像素子から読み出す表示領域の画像データ１１１２と検出領域の画像データ１１１３を示す。（Ｃ）、（Ｄ）は、撮像素子から読み出す表示領域と検出領域の読み出し順を示す模式図である。（Ｃ）では表示領域の画像データと検出領域の画像データを交互に読み出している。（Ｄ）では表示領域の画像データに対して、４枚に１枚の割合で検出領域の画像データを交互に読み出している。１１２２、１１３２は、表示領域１１０２において、一定時間経過後の画像データである。１１２３、１１３３は、検出領域１１０３において、一定時間経過後の画像データである。表示領域を読み出す画像データは、画面表示に用いるため画質がよい方が好ましい。一報で検出領域は、被写体の特徴量が検出できれば構わないため、表示画面ほど画質を問わない。そこで、表示画像データと検出画像データを読み出しを順次行う場合に、検出画像の読み出し頻度を少なくする。これにより、画面表示に用いる表示領域データのフレームレートを上げる事が可能となり、表示画質を上げる事が出来る。また、追尾被写体の移動速度が速い様な場合は、検出領域での被写体検出頻度を高くする必要があるため、検出領域の画像データの読み出し頻度を上げる。検出領域の読み出し頻度は表示領域の読み出し頻度を上回っても構わない。また、各画像データの読み出し時間は、画像データの画素数に比例するため、検出領域の画素数を表示領域の画素数よりも少なくしても構わない。一方で検出精度を高めたい場合は、検出領域の画素数を表示領域の画素数よりも高くしても問題ない。

以上述べた様に、表示領域の画像データの読み出しと検出領域の読み出しタイミングを分けて読み出す事ができる。検出領域の読み出しを追尾被写体の移動速度に応じて高く設定することによって、追尾被写体の検出精度を高め、被写体を見失わずに検出し続けることが可能になる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１０ 撮影レンズ
１４ 撮像素子
１００ 撮像装置

Claims (11)

1. 撮像素子に投影した被写体を光電変換して画像信号を出力する撮像手段と、
   前記撮像手段で撮影した画像を表示する表示手段を備え、
   前記被写体が前記表示手段に表示する表示画角を外れると、前記表示手段に前記被写体の位置情報を表示する撮像装置において、
   前記撮像素子は、
   前記表示手段に表示する画像を撮影する第一の撮像領域と、
   前記表示手段に表示せずに選択した被写体の位置を検出する第二の撮像領域と、
   を備え、
   前記第二の撮像領域で検出した被写体位置情報を前記表示手段に表示することを特徴とする撮像装置。
2. 上記構成に加え、前記被写体の特徴を検出する特徴量検出手段と、前記特徴量検出手段によって検出された特徴量を記憶する記憶手段と、を備え、前記記憶手段に記憶した被写体が、前記第二の撮像領域にある事を検出すると、前記表示手段に被写体位置情報を表示することを特徴とする請求項１に記載の撮像装置。
3. 変倍レンズと変倍率を変更するズーム制御手段と、ズーム画角情報取得手段を備え、前記撮像手段は、前記ズーム制御手段で選択した変倍率に応じた被写体位置情報を前記表示手段に表示することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記表示画角を変更するズーム画角変更手段を備え、前記表示画角変更手段に応じて前記第一の撮像領域と前記第二の撮像領域を変更することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 前記第二の撮像領域として前記被写体を検出する検出領域の画角が前記第一の撮像領域として前記表示手段に表示する表示領域の画角よりも広いことを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
6. 前記第一の撮像領域と前記第二の撮像領域に重複する領域が存在する場合は、前記撮像素子のうち、前記第一の撮像領域と前記第二の撮像領域を包括する撮像領域を読み出すことを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。
7. 上記撮像手段は、前記第一の撮像領域と前記第二の撮像領域の読み出しタイミングが異なることを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。
8. 前記第二の撮像領域を前記被写体の検出位置に応じて変更することを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
9. 前記表示手段に表示する被写体位置情報は、前記表示画角中心に対する前記第二の領域で検出した前記被写体像の中心座標との距離を前記ズーム制御手段で決定される変倍率に応じた距離及び画角情報によって示すことを特徴とする請求項１乃至請求項８の何れか一項に記載の撮像装置。
10. 前記表示手段に表示する被写体位置情報は、前記第二の撮像領域で検出した前記被写体特徴量である形状情報又は表示画角に対する表示サイズ情報を含むことを特徴とする請求項１乃至請求項９の何れか一項に記載の撮像装置。
11. 撮像素子に投影した被写体像を光電変換して画像信号を出力する撮像手段による撮像方法において、
    前記撮像手段で撮影した画像を表示手段に表示する表示工程と、
    被写体を選択する選択工程と、
    前記被写体が前記表示手段に表示する表示画角を外れると、前記表示手段に前記被写体の位置情報を表示する表示工程と、
    前記表示手段に表示する第一の撮像領域を撮影する撮像工程と、
    前記表示手段に表示せずに選択した被写体の位置を検出する第二の撮像領域を撮影する撮像工程と、
    前記第二の撮像領域で撮影した画像信号から前記被写体の特徴を検出する特徴量検出工程と、
    前記特徴量検出工程によって検出された特徴量を記憶する記憶工程と、
    を備え、
    前記記憶工程で記憶した前記被写体が、前記第二の撮像領域にある事を検出すると、前記表示手段に被写体位置情報を表示することを特徴とする撮像方法。