JP2021044623A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】被写体変化を検出して撮像を行う撮像装置において、被写体変化を適切に検出しつつ消費電力の削減も図る。【解決手段】複数の画素が配置された画素部を有する撮像部と、画素部を複数の第１の分割領域に分割し、第１の分割領域ごとに、画素数を減らして得られた信号に基づいて被写体を検出する第１の検知モードと、画素部を第１の分割領域とは大きさが異なる複数の第２の分割領域に分割し、第２の分割領域ごとに画素数を減らして得られた信号に基づいて被写体を検出する第２の検知モードとを切り替える制御部と、を備え、制御部は、第１の検知モードと第２の検知モードの少なくとも一方により被写体が検出された場合に、撮像部に記録用の画像の撮像動作を行わせる。【選択図】 図１７

Description

本発明は、撮像装置及びその制御方法に関するものである。

従来、観測、監視等を目的として自動で撮像を行う撮像装置が広く利用されている。自動撮像動作に関しては、所定間隔での撮像だけでなく、前後フレーム間での輝度値の差分を用いて被写体変化を検出し、被写体が変化したことを判断して、撮影および記憶動作を開始する撮像装置もある。

例えば、特許文献１には、被写体変化の検出を、通常の撮影時とは異なる撮影駆動モードで行わせる撮像装置が開示されている。この被写体変化の検出を行うモードでは、撮像素子の画素を複数のブロックに分割し、そのブロック単位で画素の出力を混合したアナログ信号をＡＤ変換することにより、ＡＤ変換の回数を減らして消費電力を低減させている。そして、通常の撮影時よりも低いフレームレートでデータ出力を行うことにより、さらなる消費電力の抑制を実現している。

特開２０１８−２２９３５号公報

しかしながら、上述の特許文献１に開示された従来技術では、画素の出力を混合した複数の分割ブロック単位でＡＤ変換するため、被写体が小さい場合、その変化を検出することができない場合がある。サイズの小さな被写体の変化を検出するためには、分割ブロックをより細分化する必要があるが、ブロック数が増加すると消費電力を抑制することができなくなる。消費電力を増加させないために、更に低いフレームレートでデータ出力を行うことも可能であるが、それでは被写体変化の検出に時間を要し、撮影動作への移行が遅れてしまう。

また、上述の特許文献１では、被写体変化の検出前後で、画素出力を混合する混合モードから画素出力を混合しない１画素単位の通常の撮影モードに移行する。そのため、被写体変化の状況によっては読み出し解像度が過剰に高くなる場合があるが、この通常の撮影モードでの消費電力の削減については、何ら言及されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体変化を検出して撮像を行う撮像装置において、被写体変化を適切に検出しつつ消費電力の削減も図ることである。

本発明に係わる撮像装置は、複数の画素が配置された画素部を有する撮像手段と、前記画素部を複数の第１の分割領域に分割し、前記第１の分割領域ごとに、画素数を減らして得られた信号に基づいて被写体を検出する第１の検知モードと、前記画素部を前記第１の分割領域とは大きさが異なる複数の第２の分割領域に分割し、前記第２の分割領域ごとに画素数を減らして得られた信号に基づいて被写体を検出する第２の検知モードとを切り替える制御手段と、を備え、前記制御手段は、前記第１の検知モードと前記第２の検知モードの少なくとも一方により被写体が検出された場合に、前記撮像手段に記録用の画像の撮像動作を行わせることを特徴とする。

本発明によれば、被写体変化を検出して撮像を行う撮像装置において、被写体変化を適切に検出しつつ消費電力の削減も図ることが可能となる。

本発明の撮像装置の第１の実施形態であるデジタルカメラの構成を示すブロック図。 撮像素子の構成例を示すブロック図。 撮像素子の多層構造を示す図。 画素部の構成例を示す図。 画素ブロックの構成例を示す図。 イベント検出部の構成例を示す図。 通常検知モードの画素ブロック構成の一例を示した図。 高解像検知モードの画素ブロック構成の一例を示した図。 通常検知モードのタイミングチャートの一例を示した図。 高解像検知モードのタイミングチャートの一例を示した図。 通常撮影モードのタイミングチャートの一例を示した図。 簡易撮影モードのタイミングチャートの一例を示した図。 通常検知モードにおける被写体検知の一例を示した図。 通常検知モードにおける被写体検知の一例を示した図。 高解像検知モードにおける被写体検知の一例を示した図。 高解像検知モードにおける被写体検知の一例を示した図。 第１の実施形態のデジタルカメラの動作を示すフローチャート。 第２の実施形態のデジタルカメラの動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラ１００の構成を示すブロック図である。

図１において、撮影レンズ１０１は、被写体からの光を撮像素子２００へ結像させる。撮像素子２００はＣＭＯＳセンサから成り、撮影レンズ１０１を介して入射した光を光電変換して画像信号として出力する。また、撮像素子２００は、内部に画素出力値の変化量および変化領域の検出結果に応じて、撮像素子２００自身の駆動制御を選択及び変更する制御機能を備えている。この機能を有することにより、撮像素子自身による被写体の変化の検出から好適な撮影モードの選択及び変更を可能としている。

画像処理回路１０２は、撮像素子２００から出力される画像信号に対して、フィルタ処理等の各種補正処理や圧縮処理等のデジタル画像処理を行う。また、ＦｕｌｌＨＤモード等の動画信号についても、ここで各モードに応じたリサイズ等の画像処理が行われる。

制御回路１０３は、撮像素子２００の駆動タイミングの制御を行うとともに、画像処理回路１０２、表示回路１０６等のデジタルカメラ１００全体の統括的な駆動制御を行う。また、制御回路１０３は、ユーザーの命令を受けて、静止画モード、ＦｕｌｌＨＤモード、４Ｋモード等の複数の撮影モードから選択された撮影モードに応じた駆動制御を行う。また、本実施形態のデジタルカメラ１００においては、撮像素子２００が、被写体の変化検出に基づいて撮影モードの選択及び変更を行う検知モードを備えており、制御回路１０３は、撮像素子２００の検知モードの動作許可の制御も行う。

メモリ回路１０４、記録回路１０５は、画像処理回路１０２から出力された画像信号を記録保持する不揮発性メモリやメモリカード等の記録媒体である。表示回路１０６は、撮影画像や各種設定画面等の表示を行う。操作回路１０７は、不図示の操作部材からの信号を受け付けて、制御回路１０３に対してユーザーの命令を伝達する。

制御回路１０３は、動体検知回路１１０をさらに有し、撮像素子２００から入力された画像データに基づいて動体の有無を検出する。制御回路１０３は、動体検知回路１１０の検出結果も用いながら、デジタルカメラ１００の動作を制御する。

図２は、本実施形態における撮像素子２００の構成を示すブロック図である。撮像素子２００は、複数の画素が行列状に配置された画素部２２０を備えており、画素単位に信号を出力する機能、および画素部２２０の面内を所定の大きさに分割した画素ブロック毎で複数画素の出力信号を混合する機能を有している。

画素部２２０から出力された画素信号は、ＡＤ変換回路２１２により、画素列毎または画素ブロックを単位としたブロック列毎にアナログ−デジタル変換された後、水平走査回路２１３の駆動により、順次イベント検出部２１４へ転送される。

イベント検出部２１４は、画素混合ブロック単位の出力信号の変化量と基準値とを比較することにより、イベントの発生を検出する。また、イベントの発生が検出された画素混合ブロックの分布状態に基づいて、移動被写体の移動速度の目安となる被写体移動量の算出を行う。

そして、イベント検出結果および被写体移動量の情報を、撮像素子２００の駆動モード制御を行うモード制御部２１６へ送信する。また、イベント検出部２１４は、画素部２２０の出力が画素単位出力の場合には、出力された画素信号をそのまま信号処理部２１５へ転送する。さらにイベント検出部２１４は、画素混合ブロック単位による出力を積算し、積分データとして露光制御部２１７に供給する。信号処理部２１５では、イベント検出部２１４から出力された画素信号の前後に、画素信号の変化量や撮像素子２００の駆動モード等の情報データを付帯して撮像素子２００の外部に出力する。

モード制御部２１６は、撮像素子２００内のイベント検出部２１４または撮像素子２００外の制御回路１０３からの信号を受けて、ＡＤ変換回路２１２、水平走査回路２１３、垂直走査回路２１１の各々に駆動タイミング制御信号を供給する。これにより、撮像素子２００の撮像モード毎に応じた駆動制御を行う。また、モード制御部２１６は、制御回路１０３から撮像素子２００が検知モードとして動作することを許可されている場合、撮像素子２００を検知モードとして画素ブロック毎に画素の出力信号を混合する駆動から開始させる。

垂直走査回路２１１は、各行ごとに接続される信号線を介して、画素単位または画素ブロック単位で行選択及び駆動を行う。

露光制御部２１７は、イベント検出部２１４からの積分データに基づき、撮像素子２００の露光制御のために露光時間の算出を行い、モード制御回路２１６へ撮像素子２００の露光制御信号を供給する。

なお、図３（ａ）に示されるように、撮像素子２００は、斜線模様で示される半導体基板２０１と、白色で示される半導体基板２０２とを有する。半導体基板２０１および半導体基板２０２は、図３（ｂ）に示されるように重畳された状態で封止され、モジュール化（一体化）される。

つまり、図３（ｃ）に示されるように、半導体基板２０１および半導体基板２０２は、多層構造（積層構造）を形成する。半導体基板２０１に形成される回路と半導体基板２０２に形成される回路は、ビア（ＶＩＡ）等により互いに接続される。

このように、撮像素子２００は、半導体基板２０１と半導体基板２０２が多層構造を形成するように一体化されたモジュール（ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップとも称する）である。モジュール内部において半導体基板２０１と半導体基板２０２がこのように多層構造を形成することにより、撮像素子２００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子２００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

半導体基板２０１には、画素部２２０およびＡ／Ｄ変換回路２１２などが形成される。また、半導体基板２０２には、イベント検出部２１４、信号処理部２１５、モード制御部２１６、露光制御部２１７が形成される。

図４は、図２に示す画素部２２０の構成例を示す図である。

画素部２２０は、画素２３０が行列状に複数配置されている。またイベント検知の画素混合単位としての画素ブロック（分割領域）２４０，２５０が破線枠で示されている。なお、説明を分かりやすくするため、ここでは、画素ブロック２４０を２行×２列の画素配列、画素ブロック２５０を４行×４列の画素配列とした例について説明するが、行列数および配置については、これに限られるものではない。対象とする移動被写体のサイズに合わせて適宜設定すればよい。

図４の例では、画素２３０は、ｎ行（１〜ｎ）、ｍ列（１〜ｍ）、画素ブロック２５０は、Ｎ行（１〜Ｎ）、Ｍ列（１〜Ｍ）、ただし、ｎ＝４×Ｎ、ｍ＝４×Ｍで表現される。また、画素ブロック２４０は、画素ブロック２５０をさらに行方向に２分割、列方向に２分割した４つのブロックのそれぞれとして表現される。

画素ブロック２５０には、その単位ブロックが並ぶ１ブロック行において、水平信号線として１つのリセット制御信号（ＲＳＴ＿１）、１つの行選択制御信号（ＳＥＬ＿１）、４つの転送制御信号（ＴＸ１＿１，ＴＸ２＿１，ＴＸ３＿１，ＴＸ４＿１）、１つの４列混合信号（ＡＤＤ４Ｐ＿１）、１つの２列混合信号（ＡＤＤ２Ｐ＿１）、１つの４列混合後の列選択制御信号（ＡＤＤ４Ｐ＿ＳＥＬ＿１）、１つの２列混合後の列選択制御信号（ＡＤＤ２Ｐ＿ＳＥＬ＿１）が垂直走査回路２１１から配線される。

画素２３０からの出力は列出力線４１０を介して、接続先のＡＤ変換回路２１２に入力される。上記の各水平信号線の選択駆動が行われることにより、撮像素子２００から行単位、ブロック行単位で順次、各列出力線４１０を介して信号が出力される。

画素部２２０からの信号は、通常撮影モードでは各画素２３０から画素単位で順次出力される。それに対し、検知モードでは、画素ブロック２４０，２５０内のＦＤごとの混合スイッチを動作させることにより、混合信号が特定の画素から出力される。

図５は、画素２３０の等価回路図である。画素部２２０の左上の画素ブロック２４０，２５０、つまり画素２３０が１６個配置された部分を抜き出して示している。

図５の左上の画素２３０−１を中心に説明する。フォトダイオード４０６−１において発生および蓄積された電荷が、転送制御信号ＴＸ１＿１により制御される転送スイッチ４０５−１を介してフローティングディフュージョン（以後ＦＤ）４０７−１に転送される。ソースフォロアアンプ４０８−１は列出力線に接続された定電流源４１１−１と共に構成され、ＦＤ４０７−１に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。ソースフォロアアンプ４０８−１の出力が、行選択制御信号ＳＥＬ１により制御される行選択スイッチ４０９−１により列出力線４１０−１へ出力される。

ＦＤ４０７−１に蓄積されている不要電荷をリセットする場合は、リセット制御信号ＲＳＴ＿１によりリセットスイッチ４０４−１を制御する。さらにフォトダイオード４０６−１をリセットする際は、リセットスイッチ４０４−１と共に、転送制御信号ＴＸ１＿１により転送スイッチ４０５−１をＯＮしてリセットを実行する。転送制御信号ＴＸ１＿１、リセット制御信号ＲＳＴ＿１と行選択制御信号ＳＥＬ＿１は垂直走査回路２１１から出力される。

また、画素２３０−１の同列で下方の水平行に配置された画素２３０−５、画素２３０−９、画素２３０−１３は、画素ごとに個別に、フォトダイオード４０６−５，４０６−９，４０６−１３、転送スイッチ４０５−５，４０５−９，４０５−１３、ＦＤ４０７−５，４０７−９，４０７−１３を有し、画素２３０−１と同様に構成されている。さらに、ＦＤ４０７−５、ＦＤ４０７−９、ＦＤ４０７−１３は、ＦＤ４０７−１と接続されており、画素２３０−１の読み出しに用いられるリセットスイッチ４０４−１とソースフォロアアンプ４０８−１を互いに共有する。

なお、列ごとに設けられた定電流源４１１は、列出力線４１０からの読み出しに用いられない不要の期間は、垂直走査回路２１１および水平走査回路２１３からの制御信号により節電のために作動を停止することができる。

また、本実施形態においては、同一列の垂直４行分の画素ごとのＦＤ４０７−１，４０７−５，４０７−９，４０７−１３を常時接続し、画素２３０−１の読み出しに用いられるリセットスイッチ４０４−１とソースフォロアアンプ４０８−１を互いに共有する構成とした。しかし、各ＦＤ４０７−１，４０７−５，４０７−９，４０７−１３の間に、接続を切り離すスイッチと、画素ごとに個別にリセットスイッチを設けることにより、画素ごとに独立に且つ並行して、リセット・露光・蓄積を行えるようにしてもよい。

次に、本実施形態における粗い解像度で被写体変化の検出（イベント検出）を行う通常検知モードと、細かい解像度で被写体変化の検出（イベント検出）を行う高解像検知モードの、それぞれの場合での画素２３０の動作について説明する。

ＦＤに転送した信号を画素ブロック２５０ごとに読み出す解像度の粗い通常検知モードでは、転送制御信号ＴＸ１＿１，ＴＸ２＿１，ＴＸ３＿１，ＴＸ４＿１、および列混合信号ＡＤＤ４Ｐ＿１により、１６個のＦＤ４０７−１〜４０７−１６の信号を混合する。その後、混合したデータを列出力線４１０−１から出力するために、混合後の列選択制御信号ＡＤＤ４Ｐ＿ＳＥＬ＿１を制御して、混合した信号を読み出す。このようにして、４行×４列の画素のＦＤの信号を混合した信号を通常検知モードの出力とする。

ＦＤに転送した信号を画素ブロック２４０ごとに読み出す解像度の細かい高解像検知モードでは、転送制御信号ＴＸ１＿１，ＴＸ２＿１、および列混合信号ＡＤＤ２Ｐ＿１により、４つのＦＤ４０７−１，４０７−２，４０７−５，４０７−６の信号を混合する。その後、混合した信号を列出力線４１０−１から出力するために、列選択制御信号ＡＤＤ２Ｐ＿ＳＥＬ＿１により、混合した信号を読み出す。このようにして、２行×２列の画素のＦＤの信号を混合した信号を高解像検知モードの出力とする。

次に、本実施形態における細かい解像度で画像撮影を行う通常撮影モードと、通常撮影モードよりも粗い解像度で画像撮影を行う簡易撮影モードの、それぞれの場合での画素２３０の回路動作について説明する。

通常撮影モードでは、解像度を落とすことなく、各画素２３０から転送した信号をＦＤで混合せずに１画素ごとに読み出す。また、簡易撮影モードでは、一例として通常撮影モードよりも粗い解像度である２行×２列の画素信号を混合して画素ブロック２４０ごとに信号を読み出す。

なお、画素信号の混合単位は、２行×２列や４行×４列に限られるものではない。また、画素信号の混合はＦＤでの混合に限られるものではない。列出力線で複数の行をつないで垂直方向の画素信号を混合し、水平方向の画素信号の混合はＡＤ変換回路２１２の前の混合回路を使用して実施する方法でもよい。

図６は、本実施形態におけるイベント検出部２１４の構成例を示す図である。出力切り替え回路２６０は、撮像素子２００の駆動制御として選択された撮影モードに応じて、画素信号の出力先を撮像素子２００の内部と外部とに切り替える回路である。

出力切り替え回路２６０は、モード制御部２１６からの制御信号を受けて、選択された撮像素子２００の撮影モードが、画素ブロック単位で被写体変化を検出するモードである場合、画素出力先を撮像素子内部の積算演算処理回路２６１とする。そして、被写体変化の検出を行わせる。また、画素ブロック単位でない通常の撮影モードである場合、撮像素子２００の外部へと出力するようにイベント検出部２１４から信号処理部２１５へ信号を出力する。

積分演算処理回路２６１は、出力切り替え回路２６０からの出力を受け、出力値の積算を行い、露光制御部２１７へ積算データを供給する。また、画素ブロック単位による画素出力を保持するメモリ２６２へ出力する。

メモリ２６２は、画素ブロック単位の画素出力と、その出力元の撮像素子の面内における２次元の分割位置情報とを過去データとして記憶、保持する。差分検出回路２６３は、直近に読み出された画素ブロック単位の出力値と、メモリ２６２に保持されている同じ画素ブロックの過去の出力値とから差分データを作成する。差分データは比較回路２６４に供給される。比較回路２６４は、各差分データと所定閾値を比較する。比較回路２６４において得られた比較結果データは、モード制御回路２１６に送信される。

図７は、画素部２２０において、通常検知モードでの検知に用いられる画素ブロック２５０のブロック分割の一例を説明するための図である。

検知に用いられる領域は、太い破線の枠で示される画素部２２０全体であり、画素部全体を列方向に３０ブロック列、行方向に２０ブロック行というように、比較的粗い分割にして検知に用いる画素ブロックの数を少なめに抑えている。この場合は、検知ブロック数は６００となる。

図８は、画素部２２０において、高解像検知モードでの検知に用いられる画素ブロック２４０のブロック分割の一例を説明するための図である。

通常検知モードに比較して、画素部２２０全体を列方向に６０ブロック列、行方向に４０ブロック行というように、より細かい分割サイズとする。そして、検知領域は画素部２２０全体ではなく太い破線の枠で示す画素部２２０の下端の２ブロック行（画素部の外周部を含む一部の領域）に限定し、検知に用いる画素ブロックの数を、さらに少なく抑えている。この場合は、検知ブロック数は１２０となる。また、通常検知モードよりも細分化された画素ブロックによって、通常検知モードで検出できる被写体よりもサイズの小さな被写体の動きも精度よく検出できるようにする。

なお、高解像検知モードにおける検知領域は一例であり、画像部の下端の２ブロック行に限定されるものではない。動く被写体の撮影画角内での進入経路に応じて好適な領域に設定すればよい。設定の変更は、撮影条件や、ユーザーの意図により行えるようにしてもよい。また、画素部の検知領域の設定は変えずに、動く被写体の撮影画角内での進入経路に応じて、デジタルカメラの撮影画角の向きを物理的に変えることで対応するようにしてもよい。

図９は、本実施形態におけるデジタルカメラ１００の動作の一例を説明するためのタイミングチャートである。デジタルカメラ１００の通常検知モードにおける画素ブロック２５０単位による読み出しタイミングを含めた１フレーム期間の動作のタイミングを示している。

タイミングＴ０において、イベントが検出されて検知モードが設定されたものとする。垂直走査回路２１１は、画素ブロック２５０の単位による読み出しとして、まず、列混合信号ＡＤＤ４Ｐ＿１，ＡＤＤ２Ｐ＿１、列選択制御信号ＡＤＤ４Ｐ＿ＳＥＬ＿１，ＡＤＤ２Ｐ＿ＳＥＬ＿１をオン状態として、ブロック単位による読み出しを開始させる。列混合信号ＡＤＤ４Ｐ＿１，ＡＤＤ２Ｐ＿１、列選択制御信号ＡＤＤ４Ｐ＿ＳＥＬ＿１，ＡＤＤ２Ｐ＿ＳＥＬ＿１をオン状態にすることにより、ブロック単位の信号が列出力線から出力されるようになる。

タイミングＴ０において、リセット信号ＲＳＴ＿１、転送信号ＴＸ１＿１，ＴＸ２＿１，ＴＸ３＿１，ＴＸ４＿１をハイレベルに制御する。これにより、列混合信号ＡＤＤ４Ｐ＿１，ＡＤＤ２Ｐ＿１により接続状態となった１６個のＦＤ４０７−１〜４０７−１６、およびブロック内の１６個のフォトダイオード４０６−１〜４０６−１６が電源電位にリセットされる。

タイミングＴ１において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ１＿１，ＴＸ２＿１，ＴＸ３＿１，ＴＸ４＿１がローレベルに復帰して、画素ブロック２５０単位の１行目に対する露光が開始される。

タイミングＴ２において、所定の露光時間後、垂直走査回路２１１は、画素ブロック２５０単位の１行目に対応する転送信号ＴＸ１＿１，ＴＸ２＿１，ＴＸ３＿１，ＴＸ４＿１をハイレベルに制御して、転送スイッチ４０５−１〜４０５−１６をオン状態とする。そして、各フォトダイオード４０６−１〜４０６−１６に蓄積された電荷を接続状態となったＦＤ部４０７−１〜４０７−１６に転送する。これにより電荷が混合されて画素ブロック２５０単位の露光が終了する。

ＦＤ部４０７−１〜４０７−１６に転送された画素ブロック２５０単位の電荷は、ソースフォロアアンプ４０８−１において電圧信号として増幅され、画素出力として列出力線４１０−１から出力される。各列出力線４１０に出力された画素出力はＡＤ変換回路２１２においてデジタル信号に変換さる。タイミングＴ３以降は、同様に順次画素ブロック２５０について行単位に露光および読み出しが行われることにより、全画素ブロック行（１ブロック行〜Ｎブロック行）の読み出しが完了する。

垂直同期信号ＶＤによる１フレーム期間は、後述する通常撮影モードより遅いフレームレートである１／１５秒に設定されている。全ブロック行の読み出しの完了とともに次の垂直同期信号ＶＤまでの間のブランキング期間ＴＢＬＫ１に、画素からの読み出しの動作に係る全ての定電流源４１１やＡＤ変換回路２１２の動作を停止する。これにより、１フレーム期間における平均電力を削減している。そして、各フレーム期間の読み出しは、垂直同期信号ＶＤに同期して複数回に亘って実行される。

図１０は、本実施形態のデジタルカメラ１００の動作の一例を説明するためのタイミングチャートである。デジタルカメラ１００の高解像検知モードにおける画素ブロック２４０単位での読み出しタイミング動作を含めた１フレーム期間のタイミング動作を示している。

タイミングＴ１０において、イベントが検出されて検知モードが設定されたものとする。垂直走査回路２１１は、画素ブロック２４０単位による読み出しとして、まず、列混合信号ＡＤＤ２Ｐ＿１をオン状態として、画素ブロック２４０単位による読み出しを開始させる。列混合信号ＡＤＤ２Ｐ＿１、列選択制御信号ＡＤＤ２Ｐ＿ＳＥＬ＿１をオン状態にすることにより、画素ブロック２４０単位による出力が列信号線から出力されるようになる。

タイミングＴ１０において、リセット信号ＲＳＴ＿１、転送信号ＴＸ１＿１，ＴＸ２＿１をハイレベルに制御する。これにより、列混合信号ＡＤＤ２Ｐ＿１により接続状態となった４個のＦＤ４０７−１，４０７−２，４０７−５，４０７−６、およびブロック内の４個のフォトダイオード４０６−１，４０６−２，４０６−５，４０６−６が電源電位にリセットされる。

タイミングＴ１１において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ１＿１，ＴＸ２＿１がローレベルに復帰して、画素ブロック２４０単位の１行目に対する露光が開始される。

タイミングＴ１２において、所定の露光時間後、垂直走査回路２１１は、画素ブロック２４０単位の１行目に対応する転送信号ＴＸ１＿１，ＴＸ２＿１をハイレベルに制御して転送スイッチ４０５−１，４０５−２，４０５−５，４０５−６をオン状態とする。そして、各フォトダイオード４０６−１，４０６−２，４０６−５，４０６−６に蓄積された電荷を接続状態となったＦＤ４０７−１，４０７−２，４０７−５，４０７−６に転送する。これにより、電荷が混合されて画素ブロック２４０単位の露光が終了する。

ＦＤ部に転送されたブロック単位の電荷は、ソースフォロアアンプ４０８−１において電圧信号として増幅され、画素出力として列出力線４１０−１から出力される。各列出力線に出力された画素出力はＡＤ変換回路２１２においてデジタル信号に変換される。

タイミングＴ１３において、転送信号ＴＸ１＿１，ＴＸ２＿１がローレベルに復帰して画素ブロック２４０単位の１行目の読み出しが終了する。タイミングＴ１１〜Ｔ１３までの期間が、画素ブロック２４０単位での１行目の読み出し期間である。これは、画素ブロック２５０（全４画素行）の前半２画素行の部分に相当するので、ここでは、説明の便宜上、１＿１ブロック行と表現する。

続いて、タイミングＴ１４において、リセット信号ＲＳＴ＿１、転送信号ＴＸ３＿１，ＴＸ４＿１をハイレベルに制御する。これにより、列混合信号ＡＤＤ２Ｐ＿１により接続状態となった４個のＦＤ４０７−９，４０７−１０，４０７−１３，４０７−１４、およびブロック内の４個のフォトダイオード４０６−９，４０６−１０，４０６−１３，４０６−１４が電源電位にリセットされる。

タイミングＴ１５において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ３＿１，ＴＸ４＿１がローレベルに復帰して、画素ブロック２４０単位の２行目に対する露光が開始される。

タイミングＴ１６において、所定の露光時間後、垂直走査回路２１１は、画素ブロック２４０単位での２行目に対応する転送信号ＴＸ３＿１，ＴＸ４＿１をハイレベルに制御する。これにより、転送スイッチ４０５−９，４０５−１０，４０５−１３，４０５−１４をオン状態とする。そして、各フォトダイオード４０６−９，４０６−１０，４０６−１３，４０６−１４に蓄積された電荷を接続状態となったＦＤ４０７−９，４０７−１０，４０７−１３，４０７−１４に転送する。これにより電荷が混合されて画素ブロック２４０単位の露光が終了する。

ＦＤ部に転送されたブロック単位の電荷は、ソースフォロアアンプ４０８−１において電圧信号として増幅され、画素出力として列出力線４１０−１から出力される。各列出力線に出力された画素出力はＡＤ変換回路２１２においてデジタル信号に変換される。

タイミングＴ１７において、転送信号ＴＸ３＿１，ＴＸ４＿１がローレベルに復帰するとともに、列混合信号ＡＤＤ２Ｐ＿１、列選択制御信号ＡＤＤ２Ｐ＿ＳＥＬ＿１をオフ状態にして、画素ブロック２４０単位での２行目の読み出しが終了する。

タイミングＴ１４〜Ｔ１７までの期間が、画素ブロック２４０単位での２行目の読み出し期間である。これは、画素ブロック２５０（全４画素行）の後半２画素行の部分に相当するので、ここでは、説明の便宜上、１＿２ブロック行と表現する。

タイミングＴ１７以降は、タイミングＴ１０〜Ｔ１７と同様のタイミングと手順の繰り返しにより、順次、画素ブロック行単位で露光および読み出しが行われることにより、全ブロック行（１＿１ブロック行〜Ｎ＿２ブロック行）の読み出しが完了する。

垂直同期信号ＶＤによる１フレーム期間は、後述する通常撮影モードより遅いフレームレートである１／１５秒に設定されている。全ブロック行の読み出しの完了とともに次の垂直同期信号ＶＤまでの間のブランキング期間ＴＢＬＫ２に、画素からの読み出しの動作に係る全ての定電流源４１１やＡＤ変換回路２１２の動作を停止する。これにより、１フレーム期間における平均電力を削減している。そして、各フレーム期間の読み出しは、垂直同期信号ＶＤに同期して複数回に亘って実行される。

なお、図１０では説明を分かりやすくするために、全ブロック行を読み出す場合を示した。しかし、実際には、本実施形態での高解像検知モードにおいては、全ブロック行の読み出しは行わない。前述のブロック行単位のタイミング信号であるリセット信号ＲＳＴ、転送信号ＴＸ、混合信号ＡＤＤ、ＡＤＤ＿ＳＥＬを選択的に発生させることによって、１ブロック行〜Ｎブロック行のうちの特定のブロック行のみを選択的に読み出す。そうすることにより、イベント検知に用いられる画素ブロックの読み出し時間を短縮して、その分だけブランキング期間ＴＢＬＫ２を延ばし、１フレーム期間における平均電力を低減して一層の節電を行っている。図８で示した画素ブロック構成の場合には、Ｎブロック行（Ｎ＿１ブロック行、Ｎ＿２ブロック行）のみが読み出される。

図１１は、デジタルカメラ１００の動作の一例を示すタイミングチャートであり、通常撮影モードにおける１画素単位による読み出し出しタイミングを示している。タイミングＴ２０において、イベントが検出されて撮影モードとして通常撮影モードが設定されたものとする。

垂直走査回路２１１は、画素行１行目の読み出し開始として行選択制御信号ＳＥＬ＿１をハイレベルにするとともに、リセット信号ＲＳＴ１＿１を所定のパルス期間に旦ってハイレベルに制御する。

また、タイミングＴ２０において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ１＿１をハイレベルに制御する。これにより、画素１行目となるＦＤ４０７−１およびフォトダイオード４０６−１が電源電位にリセットされる。またＦＤ４０７−５、ＦＤ４０７−９、ＦＤ４０７−１３は、ＦＤ４０７−１と各々結線されているため同様にリセットされる。

タイミングＴ２１において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ１＿１がローレベルに復帰して、画素行の１行目に対する露光が開始される。

タイミングＴ２２において、所定の露光時間後、垂直走査回路２１１は、転送信号ＴＸ１＿１をハイレベルに制御して転送スイッチ４０５−１をオン状態とする。そして、フォトダイオード４０６−１に蓄積された電荷がＦＤ４０７−１，４０７−５，４０７−９，４０７−１３に転送されて、画素単位の露光が終了する。

ＦＤ部に転送された電荷は、接続先となる各ソースフォロアアンプ４０８−１において電圧信号として増幅され、画素出力として各列の列出力線４１０から出力される。各列出力線に出力された画素出力は、各列のＡＤ変換回路２１２においてデジタル信号に変換される。

タイミングＴ２３において、転送信号ＴＸ１＿１がローレベルに復帰して画素１行目の読み出しが終了する。タイミングＴ２１〜Ｔ２３までの期間が、画素１行目の読み出し期間である。これは、画素ブロック２５０（全４画素行）の最初の１画素行の部分に相当するので、ここでは、説明の便宜上、１＿１ブロック行と表現する。

次に、タイミングＴ２４からＴ２７において、画素２行目の読み出し動作が行われる。垂直走査回路２１１は、画素行２行目の読み出し開始としてリセット信号ＲＳＴ１＿１を所定のパルス期間に旦ってハイレベルに制御する。

また、タイミングＴ２４において、リセット信号ＲＳＴ１＿１とともに、転送信号ＴＸ２＿１をハイレベルに制御する。これにより、画素２行目となるＦＤ４０７−５およびフォトダイオード４０６−５が電源電位にリセットされる。また、ＦＤ４０７−１，ＦＤ４０７−９，ＦＤ４０７−１３は、ＦＤ４０７−５と各々結線されているため、同様にリセットされる。

タイミングＴ２５において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ２＿１がローレベルに復帰して、画素行の２行目に対する露光が開始される。

タイミングＴ２６において、所定の露光時間後、垂直走査回路２１１は、転送信号ＴＸ２＿１をハイレベルに制御して転送スイッチ４０５−５をオン状態とする。そして、フォトダイオード４０６−５に蓄積された電荷はＦＤ４０７−１，４０７−５，４０７−９，４０７−１３に転送されて、画素単位の露光が終了する。

ＦＤ部に転送された電荷は、接続先となる各ソースフォロアアンプ４０８−１において電圧信号として増幅され、画素出力として各列の列出力線４１０から出力される。各列出力線に出力された画素出力は、各列のＡＤ変換回路２１２においてデジタル信号に変換される。

タイミングＴ２７において、転送信号ＴＸ２＿１がローレベルに復帰して、画素２行目の読み出しが終了する。タイミングＴ２４〜Ｔ２７までの期間が、画素２行目の読み出し期間である。これは、画素ブロック２５０（全４画素行）の２番目の１画素行の部分に相当するので、ここでは、説明の便宜上、１＿２ブロック行と表現する。

次に、タイミングＴ２８からＴ３１において、画素３行目の読み出し動作が行われる。垂直走査回路２１１は、画素行３行目の読み出し開始としてリセット信号ＲＳＴ１＿１を所定のパルス期間に旦ってハイレベルに制御する。

また、タイミングＴ２８において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ３＿１をハイレベルに制御する。これにより、画素３行目となるＦＤ４０７−９およびフォトダイオード４０６−９が電源電位にリセットされる。また、ＦＤ４０７−１，ＦＤ４０７−５，ＦＤ４０７−１３は、ＦＤ４０７−９と各々結線されているため同様にリセットされる。

タイミングＴ２９において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ３＿１がローレベルに復帰して、画素行の３行目に対する露光が開始される。

タイミングＴ３０において、所定の露光時間後、垂直走査回路２１１は、転送信号ＴＸ３＿１をハイレベルに制御して転送スイッチ４０５−９をオン状態とし、フォトダイオード４０６−９に蓄積された電荷をＦＤ４０７−１，４０７−５，４０７−９，４０７−１３に転送して、画素単位の露光が終了する。

ＦＤ部に転送された電荷は、接続先となる各ソースフォロアアンプ４０８−１において電圧信号として増幅され、画素出力として各列の列出力線４１０から出力される。各列出力線に出力された画素出力は、各列のＡＤ変換回路２１２によりデジタル信号に変換される。

タイミングＴ３１において、転送信号ＴＸ３＿１がローレベルに復帰して画素３行目の読み出しが終了する。タイミングＴ２８〜Ｔ３１までの期間が、画素３行目の読み出し期間である。これは、画素ブロック２５０（全４画素行）の３番目の１画素行の部分に相当するので、ここでは、説明の便宜上、１＿３ブロック行と表現する。

次に、タイミングＴ３２からＴ３５において、画素４行目の読み出し動作が行われる。垂直走査回路２１１は、画素行４行目の読み出し開始としてリセット信号ＲＳＴ１＿１を所定のパルス期間に旦ってハイレベルに制御する。

また、タイミングＴ３２において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ４＿１をハイレベルに制御する。これにより、画素３行目となるＦＤ４０７−１３およびフォトダイオード４０６−１３が電源電位にリセットされる。またＦＤ４０７−１，ＦＤ４０７−３，ＦＤ４０７−９は、ＦＤ４０７−１３と各々結線されているため、同様にリセットされる。

タイミングＴ３３において、リセット信号ＲＳＴ１＿１、転送信号ＴＸ４＿１がローレベルに復帰して、画素行の４行目に対する露光が開始される。

タイミングＴ３４において、所定の露光時間後、垂直走査回路２１１は、転送信号ＴＸ４＿１をハイレベルに制御して転送スイッチ４０５−１３をオン状態とする。そして、フォトダイオード４０６−１３に蓄積された電荷をＦＤ４０７−１，４０７−５，４０７−９，４０７−１３に転送して、画素単位の露光が終了する。

ＦＤ部に転送された電荷は、接続先となる各ソースフォロアアンプ４０８−１において電圧信号として増幅され、画素出力として各列の列出力線より出力される。各列出力線に出力された画素出力は、各列のＡＤ変換回路によりデジタル信号に変換される。

タイミングＴ３５において、転送信号ＴＸ４＿１をローレベルに復帰するとともに、行選択制御信号ＳＥＬ＿１をオフ状態にして、画素４行目の読み出しが終了する。

タイミングＴ３２〜Ｔ３５までの期間が、画素４行目の読み出し期間である。これは、画素ブロック２５０（全４画素行）の４番目の１画素行の部分に相当するので、ここでは、説明の便宜上、１＿４ブロック行と表現する。

以降は、同様に画素行単位で露光および読み出しが行われ、全（４×Ｎ）行分（１＿１ブロック行〜Ｎ＿４ブロック行）の読み出しが完了する。

図１１の例では、通常の動画記録に適用できるように垂直同期信号ＶＤによる１フレーム期間は１／６０秒に設定されている。そして、全ブロック行の読み出しの完了とともに、次の垂直同期信号ＶＤまでの間のブランキング期間ＴＢＬＫ３に、画素からの読み出しの動作に係る全ての定電流源４１１やＡＤ変換回路２１２の動作を停止する。これにより、１フレーム期間における平均電力を削減している。また各フレーム期間の読み出しは、垂直同期信号ＶＤに同期して複数回に亘って実行される。

図１２は、本実施形態のデジタルカメラ１００の動作の一例を示すタイミングチャートであり、簡易撮影モードにおける画素ブロック２４０単位による読み出しタイミング動作を含めた１フレーム期間のタイミングを示している。

図１２の例では、読み出しに用いられる各制御信号のタイミングは、図１０で示した高解像検知モードにおける画素ブロック２４０単位による読み出しタイミング動作を含めた１フレーム期間のタイミング動作とほとんど同様である。そのため各部のタイミング動作の説明は省略する。

ただし、図１０で示した高解像検知モードでは、１ブロック行〜Ｎブロック行のうちの特定のブロック行のみを選択的に読み出す動作モードであったのに対して、図１２で示した簡易撮影モードでは、全ブロック行を読み出す点において動作が異なる。そうすることにより、画素部２２０全体に対して２行×２列の画素ブロック単位で読み出して撮影画像を形成することができる。また、通常の動画記録に適用できるように垂直同期信号ＶＤによる１フレーム期間は１／６０秒に設定されている点においても動作が異なる。

図１３は、通常検知モードにおける被写体検知の一例を模式的に示した説明図であり、通常検知モードでの検知に好適な被写体の場合を示している。

図１３（ａ）は、画像部左端の上下の中央付近から検知ブロック領域（画像部全域）に、例えば撮影画角内に比較的至近距離で人物が進入してきた場合を示している。画素ブロック（４行×４列）よりも大きなサイズの被写体として複数の画素ブロックに亘ってイベント検知がなされる。その際のフレーム１、フレーム２間での被写体の動きを表現している。

図１３（ｂ）は、イベント検知がなされる際に、メモリ２６２に過去データとして保持されたフレーム１の画素ブロック毎の出力データの値と、直近で読み出されたフレーム２の画素ブロック毎の出力データの値を濃淡で模試的に表現した図である。また、図１３（ｃ）は、図１３（ｂ）で示したフレーム１とフレーム２の画素ブロック毎の出力データから、差分検出回路２６３において生成された、同じ画素ブロック毎での差分を濃淡で模試的に表現した図である。図１３（ｃ）では、差分の値が大きいほど濃く示されている。

図１３の例では、進入してきた被写体が画像部左端の６画素ブロックの範囲で捉えられている。そして、図１３（ｃ）で差分が所定の閾値を超えている画素ブロックは、画像部左端の６画素ブロックＡ１１，Ａ１２，Ａ１３，Ａ２１，Ａ２２，Ａ２３である。ここで、説明の便宜上、ブロック名称を示すＡに続く最初の数字は列番号、２番目の数字は行番号を表している。

なお、図１３（ｃ）の出力データの値は、本来、図１３（ｂ）の出力データと同じになるとは限らない。しかし、ここでは説明を簡便化して、メモリ２６２に過去データとして保持されたフレーム１の画素ブロックＡ１１，Ａ１２，Ａ１３，Ａ２１，Ａ２２，Ａ２３の出力データの値が、動く被写体が存在せず、ほぼダークレベルにある場合を示したものであるため、ほぼ同様の値となっている。

また、図１４は、通常検知モードにおける被写体検知の一例を模式的に示した説明図であり、通常検知モードでの検知に適切でない被写体の場合を示している。

図１４（ａ）は、画像部左端の上下の中央付近から検知ブロック領域（画像部全域）に、例えば撮影画角内に虫などのサイズの小さな被写体が進入してきた場合を示している。画素ブロック（４行×４列）よりも非常に小さなサイズの被写体として２つの画素ブロックに亘って検知のための撮像がなされる。その際のフレーム１、フレーム２間での被写体の動きを表現している。

図１４（ｂ）は、イベント検知がなされる際に、メモリ２６２に過去データとして保持されたフレーム１の画素ブロック毎の出力データの値と、直近で読み出されたフレーム２の画素ブロック毎の出力データの値を濃淡で模試的に表現した図である。図１４（ｂ）では、値が大きいほど濃く示されている。

図１４（ｂ）のフレーム１において、薄い濃度で表現された画像部左端の２画素ブロックＡ１１，Ａ１２は、動く被写体の信号成分ではなく低照度時の暗部のランダムノイズ信号成分を示したものである。図１４（ｂ）のフレーム２において、進入してきた被写体が画像部左端の２画素ブロックの範囲で捉えられており、被写体が画素ブロック間で２分割される。しかも、画素ブロック（４行×４列）に比べて非常に小さなサイズの被写体であるため、画素ブロック単位での画素混合によって被写体の信号レベルがかなり薄められてしまっている。そのため、２画素ブロックＡ１１，Ａ１２の出力データは、それぞれ非常に小さな値となる。

その結果、図１４（ｃ）で差分出力により得られた２画素ブロックＡ１１，Ａ１２の出力データの値も、それぞれ非常に小さな値となり所定の閾値を超えることなく被写体としてイベント検知されない。ちなみに、判定時の閾値を下げることでイベント検知の検出感度は増すが、差分出力に含まれる暗部のランダムノイズ信号成分も検知されやすくなり誤検出も発生しやすくなる。そのため、適正な閾値の範囲は、イベント検知の精度との兼ね合いで決定されており、安易に下げることはできない。

図１５は、高解像検知モードにおける被写体検知の一例を模式的に示した説明図であり、高解像検知モードでの検知に好適な被写体の場合を示している。

図１５（ａ）は、画像部下端の左右の中央付近から検知ブロック領域（画像部下端２ブロック行）に、例えばロケット花火のような飛翔体が遠方で打ち上げられて進入した場合を示している。この場合、画素ブロック（２行×２列）と同じか幾分小さなサイズの被写体として１つの画素ブロックでイベント検知がなされる。その際のフレーム１、フレーム２間での被写体の動きを表現している。

図１５（ｂ）は、イベント検知がなされた際に、メモリ２６２に過去データとして保持されたフレーム１の画素ブロック毎の出力データの値と、直近で読み出されたフレーム２の画素ブロック毎の出力データの値を濃淡で模試的に表現した図である。また、図１５（ｃ）は、図１５（ｂ）で示したフレーム１とフレーム２の画素ブロック毎の出力データから、差分検出回路２６３において生成された、同じ画素ブロック毎での差分を濃淡で模試的に表現した図である。図１５（ｃ）では、差分の値が大きいほど濃く示されている。

図１５の例では、進入してきた被写体が画像部下端の１画素ブロックの範囲で捉えられており、図１５（ｃ）において、差分が所定の閾値を超えて検知された画素ブロックは画像部下端の１画素ブロックＢ２２である。ここでは、図１３での説明と同様に、説明の便宜上、ブロック名称を示すＢに続く最初の数字は列番号、２番目の数字は行番号を表している。

なお、図１５（ｃ）の出力データの値は、本来、図１５（ｂ）と同じになるとは限らない。しかし、ここでは説明を簡便化して、メモリ２６２に過去データとして保持されたフレーム１の画素ブロックＢ１１，Ｂ１２，Ｂ１３，Ｂ２１，Ｂ２２，Ｂ２３の出力データの値が、被写体が存在せず、ほぼダークレベルにある場合を示したものであるため、ほぼ同様の値となっている。

また、図１６は、高解像検知モードにおける被写体検知の一例を模式的に示した説明図であり、高解像検知モードでの検知に適切でない被写体の場合を示している。

図１６（ａ）は、画像部下端の左右の中央付近から検知ブロック領域（画像部下端２ブロック行）に、例えば撮影画角内に気球（バルーン）のような飛翔体が比較的至近距離で打ち上げられて進入した場合を示している。画素ブロック（２行×２列）に比べて非常に大きなサイズの被写体として検知ブロック領域でイベント検知がなされる。その際のフレーム１、フレーム２間での被写体の動きを表現している。

図１６（ｂ）は、イベント検知がなされた際に、メモリ２６２に過去データとして保持されたフレーム１の画素ブロック毎の出力データの値と、直近で読み出されたフレーム２の画素ブロック毎の出力データの値を濃淡で模試的に表現した図である。また、図１６（ｃ）は、図１６（ｂ）で示したフレーム１とフレーム２の画素ブロック毎の出力データから、差分検出回路２６３において生成された、同じ画素ブロック毎での差分を濃淡で模試的に表現した図である。図１６（ｂ）では、値が大きいほど濃く示されている。

図１６（ｂ）のフレーム１では、検知ブロック領域（画像部下端２ブロック行）の範囲に動く被写体が存在しない状態にある。次に、フレーム２において撮影画角内に進入してきた気球が至近距離で画像部に進入する。この場合、被写体サイズが大きく撮影画角内の移動速度も速いため、容易に検知ブロック領域（画像部下端２ブロック行）を飛び越して非検知領域に入ってしまう。

その結果、図１６（ｃ）で差分出力により所定の閾値を超えて検知された画素ブロックは検知領域内には存在しないこととなり、フレーム２において撮影画角内に被写体が進入してきたにもかかわらず、イベント検知がなされない。

なお、図１６（ｃ）の出力データの値は、本来、図１６（ｂ）と同じになるとは限らない。しかし、ここでは説明を簡便化して、メモリ２６２に過去データとして保持されたフレーム１の画素ブロックＢ１１，Ｂ１２，Ｂ１３，Ｂ２１，Ｂ２２，Ｂ２３の出力データの値が、被写体が存在せず、ほぼダークレベルにある場合を示したものであるため、ほぼ同様の値となっている。

このように、通常検知モードと高解像検知モードとでは、至近か遠方かの撮影距離に依存して変わる撮影画角内の被写体のサイズによって、被写体検出の得手、不得手が相反する関係にある。すなわち、通常検知モードではサイズの大きな被写体の動きをイベントとして検出し易く、反対に、高解像検知モードではサイズの小さな被写体の動きをイベントとして検出し易いという性質がある。

そこで、通常検知モードと高解像検知モードとを使い分けることにより、撮影画角内に進入してくる被写体のサイズに依らずに被写体検出の精度を高めることができる。また、通常検知モードではサイズの大きな被写体を検出し易く、反対に、高解像検知モードではサイズの小さな被写体を検出し易いという性質を利用すれば、イベント検出後に移行する撮影モードに好適な解像度を選択することも可能である。

図１７は、本実施形態のデジタルカメラ１００の動作の一例を示すフローチャートである。

電源スイッチによりデジタルカメラ１００が起動されると、Ｓ１０１において、制御回路１０３は撮像素子２００に対し検知モード動作の許可制御を行い、高解像検知モードに移行する。

Ｓ１０２では、高解像検知モードにおいて、撮像素子２００内の画素ブロック毎に画素混合されて取得された出力データをメモリ２６２に一時保持する。

Ｓ１０３では、得られた画素ブロック毎の画素混合出力データが動作開始後の１枚目のデータであるか否かが判定される。１枚目であれば、被写体変化検出のための過去データとの差分が得られないため、Ｓ１０２に戻り、次の撮影動作を続ける。また、既に２枚目以降の動作であれば、Ｓ１０４へ進む。

Ｓ１０４では、画素ブロック毎に混合された出力について、メモリ２６２に一保持されている過去データとの差分データを作成する。

Ｓ１０５では、得られた差分データが、被写体変化を検出する閾値である、所定閾値以上であるか否かを判断する。差分が所定値以上である画素ブロック数をカウントし、カウントなし（＝０）であれば、変化検出のイベントなしとして、Ｓ１１０に進む。また、カウントが計数されていれば（＞０）、イベントが検出されたとして、Ｓ１０６に進む。

Ｓ１１０では、制御回路１０３が撮像素子２００に対し通常検知モード動作の許可制御を行い、通常検知モードに移行する。Ｓ１０６では、制御回路１０３が撮像素子２００に対し通常撮影モード動作の許可制御を行い、通常撮影モード（記録用の画像を撮影するモード）に移行する。

Ｓ１０７では、通常撮影モードにおける１画素単位の画像データの取得を行い、この際に、最初の１フレーム目の場合のみ２フレーム分の画像データを取得する。

Ｓ１０８では、動体検知回路１１０を介して、取得した画像データのフレーム間の差分信号から被写体の動きの有無を検出し、被写体の動きの有無を判断する。動きが有れば、Ｓ１０７に戻って画像データの取得を繰り返す。動きが無ければ、通常撮影モードを終了し、Ｓ１０９に進む。

Ｓ１０９では、制御回路１０３は、電源スイッチの状態検出を行う。電源ＯＦＦでなければ、Ｓ１０１に戻って、再び高解像検知モードに移行し、Ｓ１０１〜Ｓ１０９の動作を繰り返す。一方、電源ＯＦＦであれば、一連の動作フローを終了する。

一方、Ｓ１０５からステップＳ１１０に進んだ場合は、制御回路１０３が撮像素子２００に対し通常検知モードに移行する許可制御を行う。

Ｓ１１１では、通常検知モードにおいて、撮像素子内の画素ブロック毎で画素混合された出力データを取得し、メモリ２６２に一時保持する。

Ｓ１１２では、得られた画素ブロック毎の画素混合出力データが動作開始後１枚目であるか否かを判断する。動作開始後１枚目であれば、被写体変化検出のための過去データとの差分が得られないため、Ｓ１１１に戻り次の撮影動作を続ける。また、既に２枚目以降の動作であれば、Ｓ１１３に進む。

Ｓ１１３では、画素ブロック毎の画素混合出力データについて、メモリ２６２に一保持されている過去データとの差分データを作成する。

ステップＳ１１４では、得られた差分データが、被写体変化を検出する閾値である、所定閾値以上であるか否かを判断する。差分データが所定値以上である画素ブロック数をカウントし、カウントなし（＝０）であれば、変化検出のイベントなしとして、ステップＳ１０１に戻って、再び、高解像検知モードに移行して一連の動作を繰り返す。つまり、高解像検知モードと通常検知モードを交互に繰り返す。また、カウントが計数されていれば（＞０）、イベントが検出されたとして、Ｓ１１５に進む。Ｓ１１５では、制御回路１０３が撮像素子２００に対し簡易撮影モードの許可制御を行い、簡易撮影モードに移行する。

Ｓ１１６では、簡易撮影モードにおける２行×２列の画素単位の画像データの取得を行い、この際に、最初の１フレーム目の場合のみ２フレーム分の画像データを取得する。

Ｓ１１７では、動体検知回路１１０を介して、取得した画像データのフレーム間の差分信号から被写体の動きの有無を検出し、被写体の動きの有無を判断する。動きが有れば、Ｓ１１６に戻って画像データの取得を繰り返す。動きが無ければ、簡易撮影モードを終了し、Ｓ１１８に進む。

Ｓ１１８では、制御回路１０３は、電源スイッチの状態検出を行う。電源ＯＦＦでなければ、ステップＳ１１０に戻って、再び通常検知モードに移行し、一連の動作フローを繰り返す。電源ＯＦＦであれば、一連の動作フローを終了する。

（第２の実施形態）
この第２の実施形態では、デジタルカメラ１００の構成は、図１及び図２に示した第１の実施形態の構成と同様であるため、説明を省略する。

図１８は、第２の実施形態におけるデジタルカメラ１００の動作の一例を示すフローチャートである。

電源スイッチによりデジタルカメラ１００が起動されると、Ｓ２０１において、制御回路１０３は撮像素子２００に対し検知モード動作の許可制御を行い、高解像検知モードに移行する。

Ｓ２０２では、高解像検知モードにおいて、撮像素子２００内の画素ブロック毎に画素の出力が混合されて取得された出力データをメモリ２６２に一時保持する。

Ｓ２０３では、得られた画素ブロック毎の画素混合出力データが動作開始後の１枚目のデータであるか否かが判定される。１枚目であれば、被写体変化検出のための過去データとの差分が得られないため、Ｓ２０２に戻り、次の撮影動作を続ける。また、既に２枚目以降の動作であれば、Ｓ２０４へ進む。

Ｓ２０４では、画素ブロック毎に混合された出力について、メモリ２６２に一保持されている過去データとの差分データを作成する。

Ｓ２０５では、得られた差分データについて、被写体変化の検出された画素ブロック数をカウントし、カウント値ＮＢ１をメモリ２６２に一時保持する。Ｓ２０６では、制御回路１０３が撮像素子２００に対し通常検知モード動作の許可制御を行い、通常検知モードに移行する。

Ｓ２０６では、通常検知モードに移行し、Ｓ２０７では、撮像素子２００内の画素ブロック毎で画素混合された出力データを取得し、メモリ２６２に一時保持する。

Ｓ２０８では、得られた画素ブロック毎の画素混合出力データが動作開始後の１枚目のデータであるか否かが判定される。１枚目であれば、被写体変化検出のための過去データとの差分が得られないため、Ｓ２０７に戻り、次の撮影動作を続ける。また、既に２枚目以降の動作であれば、Ｓ２０９へ進む。

Ｓ２０９では、画素ブロック毎の画素混合出力データについて、メモリ２６２に一時保持されている過去データとの差分データを作成する。Ｓ２１０では、得られた差分データについて、被写体変化の検出された画素ブロック数をカウントし、カウント値ＮＢ２をメモリ２６２に一時保持する。

Ｓ２１１では、メモリ２６２に一時保持されているカウント値ＮＢ１およびＮＢ２を読み出して、高解像検知モード、通常検知モードの両方でイベント検出なしか否かを判定する。両方でイベント検出なし（ＮＢ１＝０かつＮＢ２＝０）の場合には、Ｓ２０１に戻り、再び高解像検知モードに移行して、一連の動作フローを繰り返す。

イベント検出無し（ＮＢ１＝０かつＮＢ２＝０）ではない場合は、Ｓ２１２において、高解像検知モードでのカウント値ＮＢ１と通常検知モードでのカウント値ＮＢ２の大小を比較する。ＮＢ１のカウント値が大きければ、Ｓ２１３に進み、そうでなければＳ２１７に進む。

Ｓ２１３では、制御回路１０３が撮像素子２００に対し通常撮影モード動作の許可制御を行い、通常撮影モードに移行する。ステップＳ２１４では、通常撮影モードにおける１画素単位の画像データの取得を行い、この際に、最初の１フレーム目の場合のみ２フレーム分の画像データを取得する。

Ｓ２１５では、動体検知回路１１０を介して、取得した画像データのフレーム間の差分信号から被写体の動きの有無を検出し、被写体の動きの有無を判断する。動きが有れば、ステップＳ２１４に戻って画像データの取得を繰り返す。動きが無ければ、通常撮影モードを終了し、ステップＳ２１６に進む。

Ｓ２１７では、制御回路１０３が撮像素子２００に対し簡易撮影モード動作の許可制御を行い、簡易撮影モードに移行する。

Ｓ２１８では、簡易撮影モードにおける２行×２列の画素単位の画像データの取得を行い、この際に、最初の１フレーム目の場合のみ２フレーム分の画像データを取得する。

Ｓ２１９では、動体検知回路１１０を介して、取得した画像データのフレーム間の差分信号から被写体の動きの有無を検出し、被写体の動きの有無を判断する。動きが有れば、ステップＳ２１８に戻って画像データの取得を繰り返す。動きが無ければ、簡易撮影モードを終了し、ステップＳ２１６に進む。

Ｓ２１６では、制御回路１０３は、電源スイッチの状態検出を行う。電源ＯＦＦでなければ、ステップＳ２１０に戻って、再び高解像検知モードに移行し、一連の動作フローを繰り返す。電源ＯＦＦであれば、一連の動作フローを終了する。

上記の実施形態では、高解像検知モードでのカウント値ＮＢ１と通常検知モードでのカウント値ＮＢ２との大小関係を単純に比較して、撮影モードの読み出しの解像度を切り替えている。しかしながら、それぞれの検知モードにおけるブロックサイズや検知領域のブロック数を勘案して、一方に所定量を加重した後に大小関係の比較を行ってもよい。

このように、通常検知モードと高解像検知モードを使い分けてイベント検出を行うことにより、被写体のサイズに依らずに被写体検出の確度を高めることができる。また、通常検知モードと高解像検知モードのイベント検出結果に応じて、検出後の撮影モードとして、解像度の高い通常撮影モードと、解像度の低い簡易撮影モードとを切り替える。これにより、撮影モードにおける消費電力を抑えつつ、必要十分な描写が得られる撮影画像を得ることができる。

なお、本実施形態では、検知モードや撮影モードのフレームレートを固定値（１５ｆｐｓ、６０ｆｐｓ）として設定しているが、撮影条件や、ユーザーの意図により変えるようにしてもよい。

また、撮像素子にカラーフィルタ等が配され、色別の画素出力となる場合においては、同色の出力画素が配される行または列によって同色の画素混合とするようにしてもよい。

また、画素混合により出力画素数を少なくする以外に、読み出す画素行または列を間引いて読み出すようにしてもよい。

また、被写体の変化を検出する検知モードにおいて、画素混合した画素ブロック毎の出力から検出を行っているが、画素ブロック内の画素を所定間隔に間引いてさらに画素混合したものから検出してもよい。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０１：撮像レンズ、１０２：画像処理回路、１０３：制御回路、１０４：メモリ回路、１１０：動体検知回路、２００：撮像素子、２１４：イベント検出部、２１６：モード制御部、２２０：画素部

Claims (17)

1. 複数の画素が配置された画素部を有する撮像手段と、
   前記画素部を複数の第１の分割領域に分割し、前記第１の分割領域ごとに、画素数を減らして得られた信号に基づいて被写体を検出する第１の検知モードと、前記画素部を前記第１の分割領域とは大きさが異なる複数の第２の分割領域に分割し、前記第２の分割領域ごとに画素数を減らして得られた信号に基づいて被写体を検出する第２の検知モードとを切り替える制御手段と、を備え、
   前記制御手段は、前記第１の検知モードと前記第２の検知モードの少なくとも一方により被写体が検出された場合に、前記撮像手段に記録用の画像の撮像動作を行わせることを特徴とする撮像装置。
2. 前記第１の分割領域は、前記第２の分割領域よりも大きいことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の検知モードでは、前記画素部の全体における前記第１の分割領域からの信号に基づいて被写体を検出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第２の検知モードでは、前記画素部のうちの一部の前記第２の分割領域からの信号に基づいて被写体を検出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記一部の前記第２の分割領域は、前記画素部の外周部の前記第２の分割領域を含むことを特徴とする請求項４に記載の撮像装置。
6. 前記第１の検知モードでは、前記第１の分割領域の内部に配置された画素の信号を混合した信号に基づいて被写体を検出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第２の検知モードでは、前記第２の分割領域の内部に配置された画素の信号を混合した信号に基づいて被写体を検出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第１の検知モードでは、前記第１の分割領域の内部に配置された画素の信号を間引いた信号に基づいて被写体を検出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
9. 前記第２の検知モードでは、前記第２の分割領域の内部に配置された画素の信号を間引いた信号に基づいて被写体を検出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
10. 前記第１の検知モードで被写体が検出された場合に、前記制御手段は、前記撮像手段に、前記撮像動作として、画素数を減らした第１の撮像動作を行わせることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記第１の撮像動作は、前記撮像手段から、前記第２の分割領域に配置された画素の信号を混合した信号または間引いた信号を画像信号として出力させる動作であることを特徴とする請求項１０に記載の撮像装置。
12. 前記第２の検知モードで被写体が検出された場合に、前記制御手段は、前記撮像手段に、前記撮像動作として、前記第１の撮像動作よりも解像度の高い第２の撮像動作を行わせることを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記第２の撮像動作は、前記撮像手段から１画素単位の画素信号を画像信号として出力させる動作であることを特徴とする請求項１２に記載の撮像装置。
14. 前記第１の検知モードでは、前記撮像手段で過去に得られた前記第１の分割領域からの信号と、それに対応する前記第１の分割領域で新たに得られた信号との差に基づいて被写体を検出することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記第２の検知モードでは、前記撮像手段で過去に得られた前記第２の分割領域からの信号と、それに対応する前記第２の分割領域で新たに得られた信号との差に基づいて被写体を検出することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記制御手段は、前記第１の検知モードと、前記第２の検知モードとを交互に切り替えることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 複数の画素が配置された画素部を有する撮像手段を備える撮像装置を制御する方法であって、
    前記画素部を複数の第１の分割領域に分割し、前記第１の分割領域ごとに、画素数を減らして得られた信号に基づいて被写体を検出する第１の検知モードと、前記画素部を前記第１の分割領域とは大きさが異なる複数の第２の分割領域に分割し、前記第２の分割領域ごとに画素数を減らして得られた信号に基づいて被写体を検出する第２の検知モードとを切り替える制御工程を有し、
    前記制御工程では、前記第１の検知モードと前記第２の検知モードの少なくとも一方により被写体が検出された場合に、前記撮像手段に記録用の画像の撮像動作を行わせることを特徴とする撮像装置の制御方法。

Images