JP2016219949A - 撮像装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】読み出し画素数を適切に制御するとともに消費電力を低減して容易にユーザ所望の画角の画像を十分な解像度で得る。
【解決手段】撮像装置は、第１および第２の撮像部を備えており、注目被写体判別部１４０１は、第１の撮像部で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する。制御部１５０は注目被写体判別部で得られた注目被写体領域に応じて第２の撮像部を制御して、第２の画像を注目被写体領域を備える画像とする。
【選択図】図１

Description

本発明は、撮像装置、その制御方法および制御プログラムに関し、特に、画像において注目被写体を解像度を高くして動画像として撮影することができる撮像装置に関する。

近年、デジタルカメラ又はデジタルビデオカメラなどの撮像装置では、撮像素子の全画素のうちその一部を読み出す処理および画素出力を加算して読み出す処理を行うことによって画素数を減らすようにしている。上記のような処理は、動画像の撮影を行う際には一般的に行われている。そして、画素出力の読み出しおよび当該読み出しに要する時間を低減することによって、フレームレートの向上および消費電力の抑制を行うことができる。

上述のような読み出し処理を行う撮像装置では、静止画を撮影する際には、全画素を用いて撮影を行って高精細の静止画を得る。そして、動画像を撮影する際には、フレームレートと解像度とのバランスを考慮して適切な画素数で撮影するようにしている。

ところで、動画像の撮影を行う際には、動きのある人物などの注目被写体を画角から外れることなく撮影を継続したいという要望がある。特に、子供のように素早く、かつ予測困難な動きをする注目被写体をズームアップして捕える場合に、上記のような要望がある。

このような要望に応えるためには、例えば、撮像装置の画角を広角にして撮影を行うことによって注目被写体を画角内に収めることができる。ところが、画角を広角にすると、不可避的に注目被写体が小さくなってしまい、例えば、子供の表情などユーザが捕えたい状況を記録することが困難となってしまう。

そこで、広角で撮影した結果得られた画像のうち注目被写体を拡大処理してズームアップ画像として記録することがある。しかしながら、拡大処理を行った場合には十分な解像度を得ることが難しい。さらに、十分な解像度を確保しようとして読み出し処理を行う画素数を多くすると、フレームレートと解像度とのバランスが崩れてフレームレートおよび消費電力の障害となることがある。

このように、解像度とフレームレートのバランスおよび消費電力の低減をともに達成することは極めて難しい。

一方、動く被写体の撮影を支援するため、２つの撮像部を備えて、一方の撮像部で被写体を撮像するとともに、他方の撮像部で一方の撮像部よりも広角で被写体を撮像するようにした撮像装置がある（特許文献１参照）。この撮像装置では、他方の撮像部で得られた画像を表示し、一方の撮像部で得られた画像を記録する。この際、一方の撮像部による撮像範囲が認識可能な態様で、他方の撮像部で得られた画像を表示するようにしている。

特開２０１０−２７３０４６号公報

上述のように、特許文献１に記載の撮像装置では、一方の撮像部による撮像範囲が認識可能な態様で他方の撮像部で得られた画像を表示するため、ユーザが動く被写体（注目被写体）が画角から外れないように撮影を行うことが容易となる。ところが、特許文献１に記載の撮像装置においては、注目被写体の大きさが変化した場合には、ユーザはズーム操作などを行う必要がある。このため、注目被写体の大きさが変化した場合などにおいてはユーザの負担は軽減されない。

さらに、特許文献１に記載の撮像装置においては、２つの撮像部を独立して制御する必要があり、ＣＰＵなどの制御部の処理負荷が増大してしまう。

そこで、本発明の目的は、読み出し画素数を適切に制御するとともに消費電力を低減して容易にユーザ所望の画角の画像を十分な解像度で得ることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、被写体を撮像して第１の画像を得る第１の撮像手段と、前記被写体を撮像して第２の画像を得る第２の撮像手段とを備える撮像装置であって、前記第１の撮像手段で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する判別手段と、前記判別手段で得られた注目被写体領域に応じて前記第２の撮像手段を制御して、前記第２の画像を前記注目被写体領域を備える画像とする制御手段と、を有することを特徴とする。

また、本発明による撮像装置は、被写体を撮像して当該被写体に応じた画像を出力する撮像素子を備える撮像手段を有する撮像装置であって、前記撮像素子において特定の画素群の読み出しを第１の読み出し動作として行って第１の画像を得るとともに、前記特定の画素群と異なる画素群の読み出しを第２の読み出し動作として行って第２の画像を得る読み出し手段と、前記第１の読み出し動作で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する判別手段と、前記判別手段で得られた注目被写体領域に応じて前記読み出し手段を制御して、前記第２の読み出し動作で得られる第２の画像を前記注目被写体領域を備える画像とする制御手段と、を有することを特徴とする。

本発明によれば、第１の画像で判別された注目被写体領域に応じて第２の画像を注目被写体領域を備える画像とするようにしたので、読み出し画素数を適切に制御しつつ消費電力を低減して容易にユーザ所望の画角の画像を十分な解像度で得ることができる。

本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示す第１の撮像部によって行われる間引き駆動の一例を説明するための図である。 図１に示す第２の撮像部によって行われる間引き駆動の一例を説明するための図である。 図１に示す第２の撮像部によって行われる間引き駆動の他の例を説明するための図である。 図１に示すカメラにおいて動画モードの際の撮像タイミングを説明するためのタイミング図である。 図１に示すカメラで行われる撮影処理を説明するためのフローチャートである。 図１に示すカメラで用いられる撮像素子駆動選択テーブルの一例を示す図である。 本発明の第２の実施形態によるカメラの一例についてその構成を示すブロック図である。 図８に示す撮像素子の構造を示す斜視図である。 図９の示す撮像素子の構成の一例を説明するためのブロック図である。 図１０に示す撮像素子を第１の読み出し動作で駆動した際の画素選択の一例を説明するための図である。 図１０に示す撮像素子を第２の読み出し動作で駆動した際の画素選択の一例を説明するための図である。 図８に示すカメラにおいて動画モードの際の撮像タイミングを説明するためのタイミング図である。 図８に示すカメラで行われる撮影処理を説明するためのフローチャートである。 図８に示すカメラで用いられる撮像素子駆動選択テーブルの一例を示す図である。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、動画撮影機能付きの電子スチルカメラ又はデジタルビデオカメラ（以下単にカメラと呼ぶ）である。カメラは、第１の撮像部および第２の撮像部を有している。そして、第１の撮像部は、撮影レンズユニット（以下単にレンズと呼ぶ）１１０、レンズ制御部１１１、撮像素子１１２、および撮像素子駆動回路１１３を備えている。同様に、第２の撮像部は、レンズ１２０、レンズ制御部１２１、撮像素子１２２、および撮像素子駆動回路１２３を備えている。さらに、カメラは、信号処理部１３０、圧縮伸長部１４０、制御部１５０、発光部１６０、操作部１７０、画像表示部１８０、および画像記録部１９０を有している。

図示はしないが、レンズ１１０および１２０の各々は、複数のレンズおよび光学機構部を備えている。そして、レンズ１１０および１２０はそれぞれ被写体像（光学像）を撮像素子１１２および１２２に結像する。

光学機構部は、例えば、ＡＦ機構、ズーム駆動機構、メカニカルシャッタ機構、および絞り機構を備えている。レンズ制御部１１１および１２１は制御部１５０の制御下でそれぞれレンズ１１０およびレンズ１２０に備えられた光学機構部を駆動制御する。

なお、以下の説明では、レンズ１１０および１２０は独立のレンズとして説明するが、本実施形態の効果が得られれば、二つのレンズ１１０および１２０を同一としてもよい。

撮像素子１１２および１２２の各々は、画素部およびＡ／Ｄコンバータ（図示せず）を有し、例えば、所謂ＸＹ読み出し方式のＣＭＯＳ型イメージセンサである。そして、撮像素子駆動回路１１３および１２３は制御部１５０の制御下で、撮像素子１１２および１２２の露光処理、信号読み出し処理、およびリセット処理などを行う。これによって、撮像素子１１２および１２２はそれぞれ第１および第２の撮像信号（第１および第２の画像信号ともいう）を出力する。

信号処理部１３０は、制御部１５０の制御下で、第１および第２の画像信号に対して、ホワイトバランス調整処理、色補正処理、およびＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理などの信号処理を行い、第１および第２の画像データを出力する。なお、信号処理部１３０には、注目被写体判別部１３０１が備えられている。そして、注目被写体判別部１３０１には、動体検出部１３０２、人物検出部１３０３、および顔検出部１３０４が備えられている。

動体検出部１３０２は、後述するように、第１および第２の画像信号の各々においてフレーム間の相関演算を行って動く被写体（動体）を検出する。図示の例では、動体検出部１３０２は、検出した動体を含むアスペクト比１６：９の画角を動体検知領域として制御部１５０に出力する。

人物検出部１３０３は、第１および第２の画像信号の各々においてパターンマッチングを行って人物を検出する。図示の例では、人物検出部１３０３は検出して人物を含むアスペクト比１６：９の画角を人物検知領域として制御部１５０に出力する。

また、顔検出部１３０４は、第１および第２の画像信号の各々においてパターンマッチングを行って人物の顔を検出する。図示の例では、顔検出部１３０４は検出した顔を含むアスペクト比１６：９の画角を顔検知領域として制御部１５０に出力する。

圧縮伸長部１４０は、制御部１５０の制御下で、信号処理部１３０の出力である第１および第２の画像データに対して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などの所定の静止画像データフォーマットに応じて圧縮符号化処理を行ってそれぞれ第１および第２の符号化画像データを生成する。さらに、圧縮伸長部１４０は制御部１５０から送られた第１および第２の符号化画像データに対して伸長復号化処理を行って復号化画像データ（つまり、第１および第２の画像データ）とする。

なお、圧縮伸長部１４０は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などに応じて第１および第２の画像データである動画像データについて圧縮符号化／伸長復号化処理を行うようにしてもよい。

制御部１５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備えるマイクロコントローラである。そして、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、カメラ全体を制御する。

制御部１５０は、信号処理部１３０によるＡＥ処理によって被写体の露光値が所定の露光値よりも低いと判定すると、発光部１６０を制御して発光を行い被写体を照明する。なお、発光部１６０として、例えば、キセノン管を用いたストロボ装置又はＬＥＤ発光装置が用いられる。

操作部１７０は、例えば、シャッタレリーズボタンなどの各種操作キー、レバー、ダイヤル、およびタッチパネルを有している。操作部１７０はユーザの入力操作に応じた操作信号を制御部１５０に与える。

画像表示部１８０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスおよび当該表示デバイスのインタフェース回路を備えている。そして、画像表示部１８０は、制御部１５０から送られた画像データに応じた画像を表示デバイスに表示する。

画像記録部１９０は、例えば、可搬型の半導体メモリ、光ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又は磁気テープなどの記録媒体である。画像記録部１９０には、圧縮伸長部１４０によって圧縮符号化処理された符号化画像データが画像ファイルとして記憶される。また、画像記録部１９０は制御部１５０によって指定された画像ファイルを読み出して制御部１５０に出力する。そして、制御部１５０は読みだされた符号化画像データを圧縮伸長部１４０で伸長復号化処理して復号化画像データとする。

ここで、図１に示すカメラの基本的な動作について説明する。

例えば、静止画像を撮影する際には、撮像前（つまり、本撮影前）において、撮像素子１１２および１２２の各々では、画素から出力されたアナログ信号について順次ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理およびＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）処理が施される。その後、撮像素子１１２および１２２の各々では、Ａ／Ｄコンバータによってアナログ信号をＡ／Ｄ変換して画像信号（デジタル画像信号）を出力する。そして、この画像信号は信号処理部１３０に送られる。

信号処理部１３０において、注目被写体判別部１３０１は、第１の撮像部の出力である第１の画像信号について被写体判別処理を行う。そして、注目被写体判別部１３０１は注目被写体領域（つまり、動体検知領域、人物検知領域、および顔検知領域）を示す注目被写体領域情報を制御部１５０に出力する。

なお、制御部１５０は、後述するように、注目被写体領域情報に基づいて第２の撮像部における撮影条件を決定して、撮像素子駆動回路１２３を制御する。これによって、第２の撮像部においては撮像素子１２２の撮影画角のうち注目被写体領域を切り出して撮影が行われる。

信号処理部１３０は、第１および第２の画像信号に対して、例えば、画質補正処理を行ってそれぞれ第１および第２のカメラスルー画像信号を生成する。そして、信号処理部１３０は、制御部１５０の制御下で第１および第２のカメラスルー画像信号を制画像表示部１８０に送る。これによって、画像表示部１８０には第１および第２のカメラスルー画像信号に応じたカメラスルー画像（ライブビュー画像）が表示される。ユーザはこれらカメラスルー画像を目視しつつ、注目被写体に画角合わせを行うことができる。

上述の状態で、つまり、カメラスルー画像が画像表示部１８０に表示された状態で、操作部１９０に備えられたシャッタレリーズボタンが押下されたとする。これによって、制御部１５０は撮像素子駆動回路１１３および撮像素子駆動回路１２３を制御して、撮像素子１１２および撮像素子１２２からそれぞれ１フレーム分の第１および第２の画像信号を信号処理部１３０に取り込む。信号処理部１３０は当該１フレーム分の第１および第２の画像信号に画質補正処理して、処理後のデジタル画像信号（つまり、第１および第２の画像データ）を圧縮伸長部１４０に送る。

圧縮伸長部１４０は、第１および第２の画像データを圧縮符号化する。圧縮伸長部１４０は、制御部１５０の制御下で第１および第２の符号化画像データを画像記録部１９０に送る。これによって、第１および第２の符号化画像データが静止画像に係る画像ファイル（第１および第２の画像ファイル）として画像記録部１９０に記録されることになる。

画像記録部１９０に記録された画像ファイルを再生する際には、制御部１５０は、操作部１７０からの操作入力に応じて選択された画像ファイルを画像記録部１９０から読み込む。そして、制御部１５０は当読み込んだ該画像ファイルを圧縮伸長部１４０に送る。圧縮伸長部１４０は画像ファイルを伸長復号化処理し復号化画像データを得る。制御部１５０は復号化画像データを画像表示部１８０に送って、画像表示部１８０に復号化画像データに応じた静止画像を再生表示する。

動画像データを記録する際には、制御部１５０の制御下で、撮像素子１１２および１２２から出力された第１および第２画像信号が信号処理部１３０に取り込まれる。信号処理部１３０は第１および第２の画像信号を順次処理して第１および第２の画像データ（つまり、ここでは動画像データ）を生成する。これら動画像データは圧縮伸長部１４０で圧縮符号化処理されて、符号化動画像データが順次画像記録部１９０に転送されて動画像ファイルとして記録される。

画像記録部１９０に記録された動画像ファイルを再生する際には、制御部１５０は、操作部１７０からの操作入力に応じて、選択された動画像ファイルを画像記録部１９０から読み込む。そして、制御部１５０は読み込んだ動画像ファイルを圧縮伸長部１４０に送る。圧縮伸長部１４０は動画像ファイルを伸長復号化処理し復号化動画像データを得る。制御部１５０は復号化動画像データを画像表示部１８０に送って、画像表示部１８０に動画像データに応じた動画像を再生表示する。

図２は、図１に示す第１の撮像部によって行われる間引き駆動の一例を説明するための図である。

なお、以下の説明では、撮像素子１１２および１２２の画素数および第１および第２の撮像部で撮影する被写体の画角は同一であるとして説明するが、本実施の形態による効果がある範囲においてそれぞれ異ならせるようにしてもよい。

図２においては、説明の便宜上、撮像素子１１２および１２２の各々は３２行×１８列の画素部を有するものとする。実際には、撮像素子（つまり、画素部）の画素数は７６８０行×４３２０列である。また、一般に画素部において画素はベイヤ配列されるが、ここでは説明の便宜上カラーフィルタについては省略するものとする。

まず、第１の撮像部における間引き読み出しについて説明する。第１の撮像部においては撮像素子１１２の画角全域を取得するように、撮像素子１１２の読み出しが行われる。図２に示すように、第１の撮像部においては、水平および垂直方向の各々について画素を１／６に間引いて読み出しが行われるものとする。この読み出しによって１２８０×７２０画素が読み出されて、第１の画像データはＨＤの動画像データとして記録および表示される。これによって、画角全域に係る画像を得ることができる。

図３は、図１に示す第２の撮像部によって行われる間引き駆動の一例を説明するための図である。

第２の撮像部について間引き読み出しをする際には、第２の撮像部においては、後述するように制御部１５０よって指定された注目領域が、撮像素子駆動回路１２３によって切り出されて読み出しが行われる。なお、注目領域について、注目被写体判別部１３０１によって第１の画像信号から判別される。

図３に示すように、ここでは、人物周辺が注目領域とされている。注目領域の大きさに応じた適切な解像度が得られる間引き率を考慮して、第２の撮像部においては、水平および垂直方向の各々について画素を１／２に間引いて読み出しが行われるものとする。この読み出しによって１９２０×１０８０画素が読み出されて、第２の画像データはフルＨＤの動画像データとして記録および表示される。これによって、人物周辺の領域の画像を高解像度で得ることができる。

図４は、図１に示す第２の撮像部によって行われる間引き駆動の他の例を説明するための図である。

図４に示す例では、図３に示す例よりも注目領域が狭い。注目領域に係る画像は解像度が高いほど高画質となる。よって、図４においては図３と比べて間引き率を低くして読み出しが行われる。

図４に示す例では、人物の顔周辺が注目領域としてされている。そして、当該注目の大きさに応じた適切な解像度が得られる間引き率を考慮して、第２の撮像部においては、水平および垂直方向ともに間引きを行わずに読み出しが行われる。この読み出しによって１９２０×１０８０画素が読み出されて、第２の画像データはフルＨＤの動画像データとして記録および表示される。これによって、人物の顔周辺の領域の画像を高解像度で得ることができる。

上述のように、第１の撮像部で読み出された第１の画像信号においてその注目領域の画素数は、第２の撮像部で読み出された第２の画像信号の画素数に及ばない。つまり、第１の撮像部で読み出された第１の画像信号においてその注目領域を拡大処理して引き延ばした画像に比べて、第２の撮像部において読み出された第２の画像信号が示す画像は格段に高画質となる。

図５は、図１に示すカメラにおいて動画モードの際の撮像タイミングを説明するためのタイミング図である。

図示のように、制御部１５０の制御下で撮像素子駆動回路１１３および１２３から送られる垂直同期信号（ＶＤ）によって撮像タイミングが規定されている。図示の例では、説明の便宜上、第１の撮像部におけるフレームレートは第２の撮像部におけるフレームレートの２倍とする。

ここでは、第１の撮像部の出力である第１の画像信号はライブビュー表示として用いられ、撮像素子１１２は常時駆動されている。期間Ｔ０〜Ｔ１のフレームの前に操作部１７０によって動画記録の開始命令が行われたとする。期間Ｔ０〜Ｔ１におけるフレームでは、第１の撮像部で得られた第１の画像信号が画像表示部１８０にライブビュー画像として表示される。この際、注目被写体判別部１３０１によって第１の画像信号において注目被写体の領域（注目領域）が判別されて、注目被写体領域情報として制御部１５０に与えられる。

制御部１５０は、注目被写体領域情報に応じて、第２の撮像部による撮影の際に用いる切り出し位置情報および間引き率等などの駆動条件（つまり、撮像条件）を撮像素子駆動回路１２３に送る。

期間Ｔ１〜Ｔ３のフレームにおいては、第２の撮像部では時間Ｔ１の時点で撮像素子駆動回路１２３に与えられた切り出し位置情報および間引き率などの駆動条件に基づいて第２の画像信号が読み出される。そして、第２の画像信号は、信号処理部１３０で処理された後、注目被写体を高解像度で撮影した画像データ（動画像データ）として記録されることになる。

同様にして、期間Ｔ１〜Ｔ２および期間Ｔ２〜Ｔ３においては、第１の撮像部の出力である第１の画像信号はライブビュー画像として用いられる。この際には、前述のように、注目被写体判別部１３０１によって注目領域の判別処理が行われて、制御部１５０は撮像素子駆動回路１２３に駆動条件を送る。

上述のようにして、期間Ｔ０〜Ｔ５において、第１および第２の撮像部ともに動画記録が停止されるまで、フレーム毎に同様の動作を行う。

このようにして、読み出し処理および注目領域の判別処理を行うことによって、第２の撮像部で得られる第２の画像信号（ここでは、動画像）は、注目被写体領域に限定された高解像度画像となり、当該高解像度画像が記録されることになる。

図６は、図１に示すカメラで行われる撮影処理を説明するためのフローチャートである。なお、図示のフローチャートは制御部１５０の制御下で行われる。

カメラの電源がオンとされて、操作部１７０によってカメラが撮影モードとされると、制御部１５０は撮像素子駆動回路１１３を制御して第１の撮像部によるライブビュー撮像を開始する。

続いて、制御部１５０は、図５に示す期間Ｔ０〜Ｔ１において、第１の撮像部によってライブビュー画像（第１の画像信号）を１フレーム分（Ｆｒ１）撮像する（ステップＳ４０１）。ステップＳ４０１の処理においては、図２〜図５に関連して説明したように、撮像素子１１２が捕える画角全体を撮影するように画角が設定され、かつ十分なフレームレートを維持するため間引き処理が行われる。

なお、ステップＳ４０１の処理で得られた第１の画像信号をＦｒ１−０と呼ぶことにする。また、ステップＳ４０１の処理で読み出された第１の画像信号（ライブビュー画像）は、ライブビュー又は記録動画像として画像処理および画面表示されるが、ここでは詳細な説明を省略する。

次に、制御部１５０は、操作部１７０のユーザ操作によって注目被写体領域がマニュアル設定されているか否かを示すユーザ設定有無フラグＵ＝０であるか否かを確認する（ステップＳ４０２）。ユーザ設定有無フラグＵは、注目被写体領域をユーザがマニュアル操作によって一意に決定する際に用いられるフラグである。例えば、操作部１７０がタッチパネルディスプレイである場合には、ユーザは注目領域を指などでタッチして注目被写体領域を指定することができる。

なお、ここでは、設定される注目被写体領域はアスペクト比１６：９の領域とされる。そして、ユーザが注目被写体領域をマニュアル設定した場合には、ユーザ設定フラグＵ＝１となる。また、ユーザが注目被写体領域をマニュアル設定していない場合には、ユーザ設定フラグＵ＝０となる。

ユーザ設定有無フラグＵ＝１であると（ステップＳ４０２において、ＮＯ）、制御部１５０はユーザが設定した注目被写体領域を内蔵メモリに領域Ａとして保存する（ステップＳ４０３）。そして、制御部１５０は、後述するステップＳ４１４の処理に進む。

ユーザ設定有無フラグＵ＝０であると（ステップＳ４０２において、ＹＥＳ）、制御部１５０は、操作部１７０による操作によって注目被写体領域の検出条件が動体検出の設定となっているか否かを示す動体検出設定有無フラグＭ＝０であるか否かを確認する（ステップＳ４０４）。

この動体検出設定有無フラグＭは、画像において動く被写体を注目領域として設定ためのフラグである。この動体検出設定有無フラグＭはユーザ自身が動体を最適な大きさとなるようにフレーミングすることが困難な場合などに用いられる。そして、ユーザが動体検出設定を行った場合には、動体検出設定有無フラグＭ＝１となる。また、ユーザが動体検出設定を行っていない場合には、動体検出設定有無フラグＭ＝０となる。

動体検出設定有無フラグＭ＝１であると（ステップＳ４０４において、ＮＯ）、制御部１５０は第１の撮像部で得られた第１の画像信号Ｆｒ１を動体検出部１３０２に入力する。そして、制御部１５０の制御下で、動体検出部１３０２は、第１の画像信号Ｆｒ１から輪郭を抜き出して輪郭情報（現在の輪郭情報）を得る。そして、動体検出部１３０２は第１の画像信号Ｆｒ１が入力される前に記憶された過去の輪郭情報と現在の輪郭情報とを比較して動体領域を検出する動体検出処理を行う（ステップＳ４０５）。そして、動体検出部１３０２は現在の輪郭情報を内蔵メモリに過去の輪郭情報として記憶する。なお、動体領域はその周囲を含めてアスペクト比１６：９の領域とされる。

続いて、制御部１５０は動体検出部１３０２によって検出された動体領域を注目被写体領域とする。そして、制御部１５０は当該注目被写体領域を内蔵メモリに領域Ａとして保存する（ステップＳ４０６）。その後、制御部１５０は、後述するステップＳ４１４の処理に進む。

動体検出設定有無フラグＭ＝０であると（ステップＳ４０４において、ＹＥＳ）、制御部１５０は、操作部１７０による操作によって注目被写体領域の検出条件が人物検出の設定となっているか否かを示す人物検出設定有無フラグＰ＝０であるか否かを確認する（ステップＳ４０７）。

この人物検出設定有無フラグＰは、画像において人物を注目領域として設定ためのフラグである。この人物検出設定有無フラグＰはユーザ自身が人物を最適な大きさとなるようにフレーミングすることが困難な場合などに用いられる。そして、ユーザが人物検出設定を行った場合には、人物検出設定有無フラグＰ＝１となる。また、ユーザが人物検出設定を行っていない場合には、人物検出設定有無フラグＰ＝０となる。

人物検出設定有無フラグＰ＝１であると（ステップＳ４０７において、ＮＯ）、制御部１５０は第１の撮像部で得られた第１の画像信号Ｆｒ１を人物検出部１３０３に入力する。そして、制御部１５０の制御下で、人物検出部１３０３は、第１の画像信号Ｆｒ１が示す画像においてパターンマッチングを用いて人物の形状と比較して人物領域を検出する人物検出処理を行う（ステップＳ４０８）。なお、人物領域はその周囲を含めてアスペクト比１６：９の領域とされる。

続いて、制御部１５０は人物検出部１３０３によって検出された人物領域を注目被写体領域とする。そして、制御部１５０は当該注目被写体領域を内蔵メモリに領域Ａとして保存する（ステップＳ４０９）。その後、制御部１５０は、後述するステップＳ４１４の処理に進む。

人物検出設定有無フラグＰ＝０であると（ステップＳ４０７において、ＹＥＳ）、制御部１５０は、操作部１７０による操作によって注目被写体領域の検出条件が顔検出の設定となっているか否かを示す顔検出設定有無フラグＦ＝０であるか否かを確認する（ステップＳ４１０）。

この顔検出設定有無フラグＦは、画像において顔を注目領域として設定ためのフラグである。この顔検出設定有無フラグＦはユーザ自身が人物の顔を最適な大きさとなるようにフレーミングすることが困難な場合などに用いられる。そして、ユーザが顔検出設定を行った場合には、顔検出設定有無フラグＦ＝１となる。また、ユーザが顔検出設定を行っていない場合には、顔検出設定有無フラグＦ＝０となる。

顔検出設定有無フラグＦ＝１であると（ステップＳ４１０において、ＮＯ）、制御部１５０は第１の撮像部で得られた第１の画像信号Ｆｒ１を顔検出部１３０４に入力する。そして、制御部１５０の制御下で、顔検出部１３０４は、第１の画像信号Ｆｒ１が示す画像においてパターンマッチングを用いて人物の顔の形状と比較して顔領域を検出する顔検出処理を行う（ステップＳ４１１）。なお、顔領域はその周囲を含めてアスペクト比１６：９の領域とされる。

続いて、制御部１５０は顔検出部１３０４によって検出された顔領域を注目被写体領域とする。そして、制御部１５０は当該注目被写体領域を内蔵メモリに領域Ａとして保存する（ステップＳ４１２）。その後、制御部１５０は、後述するステップＳ４１４の処理に進む。

顔検出設定有無フラグＦ＝０であると（ステップＳ４１０において、ＹＥＳ）、制御部１５０は、注目被写体領域の検出条件が設定されていないので、画像全体を注目被写体領域とする。そして、制御部１５０は当該注目被写体領域を内蔵メモリに領域Ａとして保存する（ステップＳ４１３）。

次に、制御部１５０は領域Ａ（つまり、注目被写体領域）の画像全体に占める割合ｒを算出する（ステップＳ４１４）。そして、制御部１５０は当該割合ｒに応じて後述する撮像素子駆動選択テーブルＴｂｌ１に応じて撮像素子１２２の駆動方法を選択する（ステップＳ４１５）。

図７は、図１に示すカメラで用いられる撮像素子駆動選択テーブルの一例を示す図である。なお、この撮像素子駆動選択テーブルは、制御部１５０に備えられたＲＯＭに格納されている。

撮像素子駆動選択テーブルＴｂｌ１は注目被写体領域Ａの画像に占める割合ｒに応じて、第２の撮像部による撮影の際の水平および垂直方向の間引き率又は画素加算数を定めるものである。図示の例では、割合ｒが５６．２５％以上の場合には水平および垂直方向の間引き率は１／４間引きとされる。また、割合ｒが２５％以上で５６．２５％未満の場合は水平および垂直方向の間引き率は１／３間引きとされる。

さらに、割合ｒが６．２５％以上で２５％未満の場合には、水平および垂直方向の間引き率は１／２間引きとされる。そして、割合ｒが６．２５％未満の場合には、水平および垂直方向の間引きはなしとされる。

なお、ここでは、撮像素子駆動選択テーブルＴｂｌ１は割合ｒに応じて間引き率を規定するテーブルとしたが、注目被写体領域を最適な画素数又は最適なフレームレートで読み出す際には、撮像素子駆動選択テーブルＴｂｌ１は割合ｒに応じて画素加算数を規定するテーブルとされる。

再び図６を参照して、制御部１５０は撮像素子駆動回路１２３に、ステップＳ４１５の処理で選択した撮像素子駆動方法（つまり、ここでは、間引き率）および注目被写体領域Ａの画像における位置を送る。つまり、制御部１５０は第２の撮像部に撮影条件を指示する（ステップＳ４１６）。この際、割合ｒが５６．２５％以上である場合には（つまり、注目被写体領域が所定のサイズ以上である場合には）、制御部１５０はレンズ制御部１２１に、画角を予め定められた分だけ広角側になるようにする駆動指示を行う。つまり、制御部１５０は画角を予め定められた分だけ広角側にシフトする。これによって、注目被写体が以降のフレームで画像内から外れてしまうリスクを事前に回避する。

次に、制御部１５０の制御下で、図５に示す期間Ｔ１〜Ｔ３において、第２の撮像部は１フレームの撮像を行う（ステップＳ４１７）。この撮像によって得られた第２の画像信号は注目被写体領域を高い解像度で読み出した画像となる。

なお、ここでは得られた第２の画像信号をＦｒ２−１と呼ぶ。また、当該第２の画像信号は動画像として画像処理および画面表示されるが、ここでは詳細な説明を省略する。

その後、制御部１５０は次フレームの処理を行う。つまり、制御部１５０はステップＳ４１７の処理を行った後、ステップＳ４０１の処理に戻って、図５に示す期間Ｔ１〜Ｔ２の期間において、第１の撮像部によって撮像を行ってライブビュー画像（第１の画像信号）を１フレーム分得る。ここで得られた第１の画像信号をＦｒ１−１と呼ぶ。

その後、図５に示す期間Ｔ２〜Ｔ３の期間においても第１の撮像部によって撮像を行いライブビュー画像を１フレーム分得る。ここで得られた第１の画像信号をＦｒ１−２と呼ぶ。第１の画像信号Ｆｒ１−１およびＦｒ１−２はステップＳ４０１〜Ｓ４１６で説明したようにして処理される。そして、これら第１の画像信号Ｆｒ１−１およびＦｒ１−２において得られた注目被写体領域情報は、ステップＳ４１７において第２の撮像部による撮像に反映される。

このように、本発明の第１の実施形態では、第１の撮像部で得られた第１の画像信号において注目被写体領域を判別する。そして、当該注目被写体領域に応じて第２の撮像部による撮像を制御する。これによって、所望の画角を有する画像を十分な解像度で切り出して撮像を行うことができる。そして、無駄な画素の読み出しおよび消費電力を抑制することができる。

なお、注目被写体領域を切り出す際には、注目被写体領域のみを切り出すようにしてもよく、さらには、注目被写体領域を含む所定の範囲の領域を切り出すようにしてもよい。

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。

図８は、本発明の第２の実施形態によるカメラの一例についてその構成を示すブロック図である。なお、図８において、図１に示すカメラと同一の構成要素については同一の参照番号を付して説明を省略する。

図示のカメラは撮像部を有しており、撮像部は、レンズ６１０、レンズ制御部６１１、撮像素子６１２、および撮像素子駆動回路６１３を備えている。なお、図示はしないが、レンズ６１０は、複数のレンズおよび光学機構部を備えている。そして、レンズ６１０は被写体像（光学像）を撮像素子６１２に結像する。

光学機構部は、例えば、ＡＦ機構、ズーム駆動機構、メカニカルシャッタ機構、および絞り機構を備えている。レンズ制御部６１１は制御部６５０の制御下でレンズ６１０に備えられた光学機構部を駆動制御する。

撮像素子６１２は、画素部およびＡ／Ｄコンバータ（図示せず）を有し、例えば、所謂ＸＹ読み出し方式のＣＭＯＳ型イメージセンサである。そして、撮像素子駆動回路６１３は制御部６５０の制御下で、撮像素子６１２の露光処理、信号読み出し処理、およびリセット処理などを行う。これによって、撮像素子６１２は後述するようにして第１および第２の画像信号を出力する。

制御部１５０は、例えば、ＣＰＵ、ＲＯＭ、およびＲＡＭなどを備えるマイクロコントローラである。そして、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、カメラ全体を制御する。また、制御部６５０は、信号処理部１３０によるＡＥ処理によって被写体の露光値が所定の露光値よりも低いと判定すると、発光部１６０を制御して発光を行って被写体を照明する。

ここで、図８に示すカメラの基本的な動作について説明する。

例えば、静止画像を撮影する際には、撮像前（つまり、本撮影前）において、撮像素子６１２では、画素から出力されたアナログ信号について順次ＣＤＳ処理およびＡＧＣ処理が施される。その後、撮像素子６１２では、Ａ／Ｄコンバータによってアナログ信号をＡ／Ｄ変換して画像信号（デジタル画像信号）を出力する。そして、この画像信号は信号処理部１３０に送られる。

信号処理部１３０において、注目被写体判別部１３０１は、後述する第１の読み出し動作において撮像素子６１２から出力された第１の画像信号について被写体判別処理を行う。そして、注目被写体判別部１３０１は注目被写体領域（つまり、動体検知領域、人物検知領域、および顔検知領域）を示す注目被写体領域情報を制御部６５０に出力する。

なお、制御部６５０は、後述するように、注目被写体領域情報に基づいて第２の読み出し動作における撮影条件を決定して、撮像素子駆動回路６１３を制御する。これによって、第２の読み出し動作では撮像素子６１２の撮影画角のうち注目被写体領域を切り出す画素読み出しが行われて、第２の画像信号として出力される。

信号処理部１３０は、第１および第２の読み出し処理でそれぞれ得られた第１および第２の画像信号に対して、例えば、画質補正処理を行って第１および第２のカメラスルー画像信号を生成する。そして、信号処理部１３０は、制御部６５０の制御下で第１および第２のカメラスルー画像信号を制画像表示部１８０に送る。これによって、画像表示部１８０には第１および第２のカメラスルー画像信号に応じたカメラスルー画像（ライブビュー画像）が表示される。ユーザはこれらカメラスルー画像を目視しつつ、注目被写体に画角合わせを行うことができる。

上述の状態で、つまり、カメラスルー画像が画像表示部１８０に表示された状態で、操作部１９０に備えられたシャッタレリーズボタンが押下されたとする。これによって、制御部６５０は撮像素子駆動回路６１３を制御して、撮像素子６１２から第１および第２の読み出し動作で得られた１フレーム分の第１および第２の画像信号を信号処理部１３０に取り込む。信号処理部１３０は当該１フレーム分の第１および第２の画像信号に画質補正処理して、処理後のデジタル画像信号（つまり、第１および第２の画像データ）を圧縮伸長部１４０に送る。

動画像データを記録する際には、制御部６５０の制御下で、撮像素子６１２から出力された第１および第２画像信号が信号処理部１３０に取り込まれる。信号処理部１３０は第１および第２の画像信号を順次処理して第１および第２の画像データ（つまり、ここでは動画像データ）を生成する。これら動画像データは圧縮伸長部１４０で圧縮符号化処理されて、符号化動画像データが順次画像記録部１９０に転送されて動画像ファイルとして記録される。

図９は、図８に示す撮像素子の構造を示す斜視図である。

撮像素子６１２は第１のチップ（画素部）７０および第２のチップ７１を有しており、第２のチップ（第２の素子部ともいう）７１上に第１のチップ（第１の素子部ともいう）７０が積層されている。第１のチップ７０は２次元マトリックス状に配列された複数の画素を有しており、第１のチップ７０は光入射側に配置されている（つまり、光学像の受光側に位置している）。第２のチップ７１には後述する列走査回路および行走査回路などの画素駆動回路が形成されている。

このように、第１のチップ７０に画素を形成し、第２のチップ７１に画素駆動回路を形成すれば、撮像素子６１２の周辺回路および画素部の製造プロセスを分けることができる。この結果、周辺回路における配線の細線化および高密度化による読み出し動作の高速化、撮像素子の小型化および高機能化を図ることができる。

図１０は、図９の示す撮像素子の構成の一例を説明するためのブロック図である。なお、図示の例においては、説明の便宜上、信号処理部１３０が２つ示されている。

第１のチップ７０において、複数の画素７０１が２次元マトリクス状に配列されている。画素７０１は水平方向（行方向）において転送信号線７０３、リセット信号線７０４、および行選択信号線７０５に接続され、垂直方向（列方向）において列信号線７０２−ａおよび７０２−ｂに接続されている。なお、列信号線７０２−ａおよび７０２−ｂの各々は読み出し行単位に応じて接続先が異なる。

図示のように、画素７０１の各々は、光電変換素子であるフォトダイオードＰＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、およびフローティングディフュージョンＦＤを有している。

なお、図示の例では、トランジスタの各々はｎチャネルＭＯＳＦＥＴ（ＭＯＳ Ｆｉｅｌｄ−Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）である。

転送トランジスタＭ１、リセットトランジスタＭ２、および選択トランジスタＭ４のゲートには、それぞれ転送信号線７０３、リセット信号線７０４、および行選択信号線７０５が接続されている。これら信号線７０３〜７０５は水平方向に延在し、同一行の画素７０１が同時に駆動される。これによって、ライン順次動作型のローリングシャッタ又は全行同時動作型のグローバルシャッタの動作を制御することができる。さらに、選択トランジスタＭ４のソースには列信号線７０２−ａ又は７０２−ｂが行単位で接続されている。

フォトダイオードＰＤは、光電変換によって生成された電荷を蓄積する。そして、フォトダイオードＰＤのＰ側が接地され、Ｎ側が転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がオンすると、フォトダイオードＰＤの電荷がＦＤに転送され、当該ＦＤには寄生容量が存在するので、ＦＤに転送された電荷が蓄積される。

増幅トランジスタＭ３のドレインには電源電圧Ｖｄｄが印加され、そのゲートはＦＤに接続されている。増幅トランジスタＭ３は、ＦＤの電荷（つまり、電圧）を増幅して電圧信号に変換する。選択トランジスタＭ４は、信号を読み出す画素７０１を行単位で選択するためのものであり、そのドレインは増幅トランジスタＭ３のソースに接続されている。また、選択トランジスタＭ４のソースは、列信号線７０２に接続されている。

選択トランジスタＭ４がオンすると、ＦＤの電圧に対応する電圧信号が列信号線７０２に出力される。リセットトランジスタＭ２のドレインには電源電圧Ｖｄｄが印加され、そのソースはＦＤに接続されている。リセットトランジスタＭ２のオンによって、ＦＤの電圧は電源電圧Ｖｄｄにリセットされる。

第２のチップ７１には、カラムＡＤＣブロック７１１が備えられており、カラムＡＤＣ７１１は列信号線７０２−ａ又は７０２−ｂに接続されている。さらに、第２のチップ７１には、行走査回路７１２、列走査回路７１３−ａおよび７１３−ｂ、タイミング制御回路７１４、水平信号線（出力手段）７１５−ａおよび７１５−ｂが備えられている。

タイミング制御回路７１４は制御部６５０の制御下で行走査回路７１２、列走査回路７１３−ａおよび７１３−ｂ、およびカラムＡＤＣブロック７１１の動作タイミングを制御する。行走査回路７１２は各行の走査を行い、列走査回路７１３ａおよび７１３ｂはそれぞれ各列の走査を行う。

水平信号線７１５−ａおよび７１５−ｂは、それぞれ列走査回路７１３−ａおよび７１３−ｂで制御されるタイミングに応じてカラムＡＤＣブロック７１１の出力信号（画像信号）を転送する。

なお、後述するように、水平信号線７１５−ａに転送された画像信号は信号処理部６５０に第１の読み出し動作によって得られる第１の画像信号（ライブビュー用の画像信号）として信号処理部１３０に与えられる。一方、水平信号線７１５−ｂに転送された画像信号は第２の読み出し動作によって得られる第２の画像信号（注目被写体の画像信号）として信号処理部１３０に与えられる。

図１１は、図１０に示す撮像素子を第１の読み出し動作で駆動した際の画素選択の一例を説明するための図である。

また、図１２は、図１０に示す撮像素子を第２の読み出し動作で駆動した際の画素選択の一例を説明するための図である。

なお、ここでは、説明の便宜上、撮像素子６１２は３２行×１８列の画素を有するものとする。実際には、撮像素子６１２の画素数は７６８０行×４３２０列である。また、一般に画素はベイヤ配列されるが、ここでは説明の便宜上カラーフィルタについては省略するものとする。

図１１において、第１の読み出し動作によって読み出される画素は、列信号線７０２−ａに接続された画素７０１の全て又は一部である。また、第２の読み出し動作によって読み出される画素は、列信号線７０２−ｂに接続された画素７０１の全て又は一部である。

列信号線７０２−ａおよび７０２−ｂは物理的に独立しており、この結果、第１および第２の読み出し動作を同時に行うことができる。よって、撮像素子６１２は第１の読み出し動作で得られる第１の画像信号と、第２の読み出し動作で得られる第２の画像信号とを同時に出力することができる。

図示の例では第１の読み出し動作によって読み出される特定の画素群（第１の画素群）については画角全体をカバーするが、間引き率が大きく、かつ総画素数は少ない。これによって、注目被写体判別処理に必要な解像度を保つとともに、フレームレートを積雪なレートする。

一方、第２の読み出し動作によって読み出される画素群（第２の画素群）については、注目被写体を可能な限り高解像度で得るため、間引き率が小さく、総画素数も第１の画素群と比較して多い。なお、第２の画素群は注目被写体判別処理の結果に応じてその領域が可変であるので、第１の画素群を除く全ての画素を第２の画素群としてもよい。

上述のように、選択行毎にライブビュー撮像（第１の読み出し動作）と注目被写体の撮像（第２の読み出し）とを分けることによって、互いに異なる電荷蓄積時間でデータサイズの異なるフレームレートの画像信号を得ることができる。

次に、列信号線７０２−ａおよび７０２−ｂの各々に出力された電圧信号（アナログ信号）は、図１０に示すカラムＡＤＣブロック７１１においてデジタル信号（画像信号）に変換される。

カラムＡＤＣブロック７１１の出力である画像信号は、列走査回路７１３−ａ又は７１３−ｂによってカラムＡＤＣブロック７１１から水平信号線７１５−ａ又は７１５−ｂに読み出される。水平信号線７１５−ａおよび７１５−ｂに読み出された画像信号は信号処理部１３０に送られる。

ここで、図１１を参照して、第１の読み出し動作における間引き読み出しについて説明する。

第１の読み出し動作においては撮像素子６１２の画角全域を取得するように、撮像素子６１２の読み出しが行われる。第１の読み出し動作においては、水平および垂直方向の各々について画素を１／６に間引いて読み出しが行われるものとする。この読み出し動作によって１２８０×７２０画素が読み出されて、第１の画像データがＨＤの動画像データとして記録および表示される。これによって、画角全域に係る画像を得ることができる。

次に、図１２を参照して、第２の読み出し動作における間引き読み出しについて説明する。

第２の読み出し動作においては、後述するように制御部６５０よって指定された注目領域が、撮像素子駆動回路６２３によって切り出されて読み出しが行われる。なお、注目領域については、注目被写体判別部１３０１によって第１の画像信号から判別される。

図１２においては、人物周辺が注目領域とされている。注目領域の大きさに応じた適切な解像度が得られる間引き率を考慮して、第２の読み出し動作においては、水平および垂直方向の各々について画素を１／２に間引いて読み出しが行われるものとする。この読み出し動作によって１９２０×１０８０画素が読み出されて、第２の画像データがフルＨＤの動画像データとして記録および表示される。これによって、人物周辺の領域の画像を高解像度で得ることができる。

上述のように、第１の読み出し動作で読み出された第１の画像信号においてその注目領域の画素数は、第２の読み出し動作で読み出された第２の画像信号の画素数に及ばない。つまり、第１の読み出し動作で読み出された第１の画像信号においてその注目領域を拡大処理して引き延ばした画像に比べて、第２の読み出し動作において読み出された第２の画像信号が示す画像は格段に高画質となる。

図１３は、図８に示すカメラにおいて動画モードの際の撮像タイミングを説明するためのタイミング図である。

図示のように、制御部６５０の制御下で撮像素子駆動回路６１３から送られる垂直同期信号（ＶＤ）によって撮像タイミングが規定されている。図示の例では、説明の便宜上、第１の読み出し動作におけるフレームレートは第２の読み出し動作におけるフレームレートの２倍とする。

ここでは、第１の読み出し動作で得られる第１の画像信号はライブビュー表示として用いられ、撮像素子６１２は常時駆動されている。期間Ｔ０〜Ｔ１のフレームの前に操作部１７０によって動画記録の開始命令が行われたとする。期間Ｔ０〜Ｔ１におけるフレームでは、第１の読み出し動作で得られた第１の画像信号が画像表示部１８０にライブビュー画像として表示される。この際、注目被写体判別部１３０１によって第１の画像信号において注目被写体の領域（注目領域）が判別されて、注目被写体領域情報として制御部６５０に与えられる。

制御部６５０は、注目被写体領域情報に応じて、第２の読み出し動作で用いる切り出し位置情報および間引き率等などの駆動条件（つまり、撮像条件）を撮像素子駆動回路６２３に送る。

期間Ｔ１〜Ｔ３のフレームにおいては、第２の読み出し動作では時間Ｔ１の時点で撮像素子駆動回路６２３に与えられた切り出し位置情報および間引き率などの駆動条件に基づいて第２の画像信号が読み出される。そして、第２の画像信号は、信号処理部１３０で処理された後、注目被写体を高解像度で撮影した画像データ（動画像データ）として記録されることになる。

同様にして、期間Ｔ１〜Ｔ２および期間Ｔ２〜Ｔ３においては、第１の読み出し動作で得られた第１の画像信号はライブビュー画像として用いられる。この際には、前述のように、注目被写体判別部１３０１によって注目領域の判別処理が行われて、制御部６５０は撮像素子駆動回路６２３に駆動条件を送る。

上述のようにして、期間Ｔ０〜Ｔ５において、第１および第２の読み出し動作ともに動画記録が停止されるまでフレーム毎に行われる。

上述のようにして、読み出し処理および注目領域の判別処理を行うことによって、第２の読み出し動作で得られる第２の画像信号（ここでは、動画像）は、注目被写体領域に限定された高解像度画像となり、当該高解像度画像が記録されることになる。

図１４は、図８に示すカメラで行われる撮影処理を説明するためのフローチャートである。

なお、図示のフローチャートは制御部６５０の制御下で行われる。また、図示のフローチャートにおいて、ステップＳ１１０２〜Ｓ１１１５の処理は、図６に示すステップＳ４０２〜Ｓ４１５の処理と同様であるので、説明を省略する。

カメラの電源がオンとされて、操作部１７０によってカメラが撮影モードとされると、制御部６５０は撮像素子駆動回路６１３を制御して第１の読み出し動作を開始する。

続いて、制御部６５０は、図１３に示す期間Ｔ０〜Ｔ１において、第１の読み出し動作によってライブビュー画像（第１の画像信号）を１フレーム分（Ｆｒ１）撮像する（ステップＳ１１０１）。ステップＳ１１０１の処理においては、図１１〜図１３に関連して説明したように、撮像素子６１２が捕える画角全体を撮影するように画角が設定され、かつ十分なフレームレートを維持するため間引き処理が行われる。

なお、ステップＳ１１０１の処理で得られた第１の画像信号をＦｒ１−０と呼ぶことにする。また、ステップＳ１１０１の処理で読み出された第１の画像信号（ライブビュー画像）は、ライブビュー又は記録動画像として画像処理および画面表示されるが、ここでは詳細な説明を省略する。

その後、図６に関連して説明したようにして、制御部６５０は注目被写体判別部１３０１を用いてステップＳ１１０２〜Ｓ１１１５の処理を行う。そして、制御部６５０は、ステップＳ１１５において、当該割合ｒに応じて後述する撮像素子駆動選択テーブルＴｂｌ２に応じて撮像素子１２２の駆動方法を選択する。

図１５は、図８に示すカメラで用いられる撮像素子駆動選択テーブルの一例を示す図である。なお、この撮像素子駆動選択テーブルは、制御部６５０に備えられたＲＯＭに格納されている。

撮像素子駆動選択テーブルＴｂｌ２は注目被写体領域Ａの画像に占める割合ｒに応じて、第２の読みだと動作の際の水平および垂直方向の間引き率又は画素加算数を定めるものである。図示の例では、割合ｒが５６．２５％以上の場合には水平および垂直方向の間引き率は１／４間引きとされる。また、割合ｒが２５％以上で５６．２５％未満の場合は水平および垂直方向の間引き率は１／３間引きとされる。

さらに、割合ｒが２５％未満の場合には、水平および垂直方向の間引き率は１／２間引きとされる。なお、ここでは、撮像素子駆動選択テーブルＴｂｌ２は割合ｒに応じて間引き率を規定するテーブルとしたが、注目被写体領域を最適な画素数又は最適なフレームレートで読み出す際には、撮像素子駆動選択テーブルＴｂｌ２は割合ｒに応じて画素加算数を規定するテーブルとされる。

再び図１４を参照して、制御部６５０は撮像素子駆動回路６１３に、ステップＳ１１１５の処理で選択した撮像素子駆動方法（つまり、ここでは、間引き率）および注目被写体領域Ａの画像における位置を送る。つまり、制御部６５０は第２の読み出し動作で用いられる撮影条件を指示する（ステップＳ１１１６）。この際、割合ｒが５６．２５％以上である場合には、制御部６５０はレンズ制御部６１１に、画角を予め定められた分だけ広角側になるようにする駆動指示を行う。これによって、注目被写体が以降のフレームで画像内から外れてしまうリスクを事前に回避する。

次に、制御部６５０は、撮像素子駆動回路６１３を制御して、図１３に示す期間Ｔ１〜Ｔ３において、第２の読み出し動作で１フレームの撮像を行う（ステップＳ１１１７）。この撮像によって得られた第２の画像信号は注目被写体領域を高い解像度で読み出した画像となる。

なお、ここでは得られた第２の画像信号をＦｒ２−１と呼ぶ。また、当該第２の画像信号は動画像として画像処理および画面表示されるが、ここでは詳細な説明を省略する。

その後、制御部６５０は次フレームの処理を行う。つまり、制御部６５０はステップＳ１１１７の処理を行った後、ステップＳ１１０１の処理に戻って、図１３に示す期間Ｔ１〜Ｔ２の期間において、第１の読み出し動作による撮像を行ってライブビュー画像（第１の画像信号）を１フレーム分得る。ここで得られた第１の画像信号をＦｒ１−１と呼ぶ。

さらに、図１３に示す期間Ｔ２〜Ｔ３の期間においても第１の読み出し動作によって撮像を行ってライブビュー画像を１フレーム分得る。ここで得られた第１の画像信号をＦｒ１−２と呼ぶ。第１の画像信号Ｆｒ１−１およびＦｒ１−２はステップＳ１１０１〜Ｓ１１１６において処理される。そして、これら第１の画像信号Ｆｒ１−１およびＦｒ１−２において得られた注目被写体領域情報は、ステップＳ１１７において第２の読み出し動作に反映される。

このように、本発明の第２の実施形態では、第１の読み出し動作で得られた第１の画像信号において注目被写体領域を判別する。そして、当該注目被写体領域に応じて第２の読み出し動作を制御する。これによって、所望の画角を有する画像を十分な解像度で切り出して撮像を行うことができる。そして、無駄な画素の読み出しおよび消費電力を抑制することができる。

なお、注目被写体領域を切り出す際には、注目被写体領域のみを切り出すようにしてもよく、さらには、注目被写体領域を含む所定の範囲の領域を切り出すようにしてもよい。

上述の説明から明らかなように、図１および図８に示す例においては、注目被写体判別部１３０１および制御部１５０又は６５０が判別手段として機能し、制御部１５０又は６５０、レンズ制御部１２１又は６１１、および撮像素子駆動回路１２３又は６１３が制御手段として機能する。また、制御部６５０および撮像素子駆動回路６１３は読み出し手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１１，１２１ レンズ制御部
１１２，１２２ 撮像素子
１１３，１２３ 撮像素子駆動回路
１３０ 信号処理部
１４０ 圧縮伸長部
１５０ 制御部
１７０ 操作部
１８０ 画像表示部
１９０ 画像記録部
１３０１ 注目被写体判別部

Claims (13)

1. 被写体を撮像して第１の画像を得る第１の撮像手段と、前記被写体を撮像して第２の画像を得る第２の撮像手段とを備える撮像装置であって、
   前記第１の撮像手段で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する判別手段と、
   前記判別手段で得られた注目被写体領域に応じて前記第２の撮像手段を制御して、前記第２の画像を前記注目被写体領域を備える画像とする制御手段と、
   を有することを特徴とする撮像装置。
2. 被写体を撮像して当該被写体に応じた画像を出力する撮像素子を備える撮像手段を有する撮像装置であって、
   前記撮像素子において特定の画素群の読み出しを第１の読み出し動作として行って第１の画像を得るとともに、前記特定の画素群と異なる画素群の読み出しを第２の読み出し動作として行って第２の画像を得る読み出し手段と、
   前記第１の読み出し動作で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する判別手段と、
   前記判別手段で得られた注目被写体領域に応じて前記読み出し手段を制御して、前記第２の読み出し動作で得られる第２の画像を前記注目被写体領域を備える画像とする制御手段と、
   を有することを特徴とする撮像装置。
3. 前記第２の画像における画素数は、前記第１の画像における注目被写体領域の画素数よりも多いことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記判別手段は、前記第１の画像において前記所定の被写体領域である動く被写体の領域を前記注目被写体領域として判別することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記判別手段は、前記第１の画像において前記所定の被写体領域である人物の領域を前記注目被写体領域として判別することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記判別手段は、前記第１の画像において前記所定の被写体領域である人物の顔領域を前記注目被写体領域として判別することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
7. 前記判別手段は、前記第１の画像においてユーザが指定した領域を前記注目被写体領域として判別することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記第１の画像における注目被写体領域のサイズに応じて前記第２の画像を得る際の間引き率を決定することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、前記第１の画像における注目被写体領域のサイズが予め定められたサイズ以上であると、前記第２の画像を得る際の画角を予め定められた分だけ広角側にシフトすることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 被写体を撮像して第１の画像を得る第１の撮像手段と、前記被写体を撮像して第２の画像を得る第２の撮像手段とを備える撮像装置の制御方法であって、
    前記第１の撮像手段で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する判別ステップと、
    前記判別ステップで得られた注目被写体領域に応じて前記第２の撮像手段を制御して、前記第２の画像を前記注目被写体領域を備える画像とする制御ステップと、
    を有することを特徴とする制御方法。
11. 被写体を撮像して当該被写体に応じた画像を出力する撮像素子を備える撮像手段を有する撮像装置の制御方法であって、
    前記撮像素子において特定の画素群の読み出しを第１の読み出し動作として行って第１の画像を得るとともに、前記特定の画素群と異なる画素群の読み出しを第２の読み出し動作として行って第２の画像を得る読み出しステップと、
    前記第１の読み出し動作で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する判別ステップと、
    前記判別ステップで得られた注目被写体領域に応じて前記第２の読み出し動作で得られる第２の画像を前記注目被写体領域を備える画像とする制御ステップと、
    を有することを特徴とする制御方法。
12. 被写体を撮像して第１の画像を得る第１の撮像手段と、前記被写体を撮像して第２の画像を得る第２の撮像手段とを備える撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記第１の撮像手段で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する判別ステップと、
    前記判別ステップで得られた注目被写体領域に応じて前記第２の撮像手段を制御して、前記第２の画像を前記注目被写体領域を備える画像とする制御ステップと、
    を実行させることを特徴とする制御プログラム。
13. 被写体を撮像して当該被写体に応じた画像を出力する撮像素子を備える撮像手段を有する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記撮像素子において特定の画素群の読み出しを第１の読み出し動作として行って第１の画像を得るとともに、前記特定の画素群と異なる画素群の読み出しを第２の読み出し動作として行って第２の画像を得る読み出しステップと、
    前記第１の読み出し動作で得られた第１の画像において所定の被写体領域を注目被写体領域として判別する判別ステップと、
    前記判別ステップで得られた注目被写体領域に応じて前記第２の読み出し動作で得られる第２の画像を前記注目被写体領域を備える画像とする制御ステップと、
    を実行させることを特徴とする制御プログラム。