JP2021027485A - 撮像素子及びその制御方法、撮像装置 - Google Patents

Abstract

【課題】消費電力の増加と検知時間の長時間化を抑制し、被写体の変化を高い精度で検知して適切なフレームレートでの撮像を可能とする撮像素子を提供する。【解決手段】撮像素子２００は、画素部２２０と、イベント検知部２１４と、モード制御部２１６を備える。モード制御部２１６は、画素ブロックごとに画像信号を加算して読み出す検知モードと、複数の画素ごとに画像信号を読み出す通常モードとを切り替える。イベント検知部２１４は、検知モードにおいて、画素部２２０の一部に設けられた検知領域内の画素ブロックから得られる画像データに基づいて、被写体の変化を検知する。被写体が変化したことをイベント検知部２１４が検知した場合に、モード制御部２１６は検知モードから通常モードへ移行して撮像を行う。【選択図】図２

Description

本発明は、撮像素子及びその制御方法、撮像装置に関し、特に被写体の変化を検知し、被写体の変化が検知された場合の撮像素子の制御に関する。

観測や監視等を目的として撮像装置が広く利用されており、所定間隔による撮像だけでなく、前後のフレーム間での輝度値の差分を用いて被写体の変化を検知し、検知結果に基づいて撮影と記憶動作を開始する撮像装置が知られている。

例えば、特許文献１に開示された撮像装置では、通常撮影時の撮影モード（通常撮影モード）とは異なる撮影モード（画素加算モード）で被写体の変化を検知する。そして、画素加算モードでは撮像素子の画素部の面内を複数のブロックに分割し、ブロックごとに出力される画像信号をＡ／Ｄ変換することにより、Ａ／Ｄ変換の回数を減らして消費電力を低減させている。また、画素加算モードでは、通常撮影時よりも低いフレームレートで撮像を行うことにより、更に消費電力を低減させている。

特開２０１８−２２９３５号公報

しかしながら、上記特許文献１に記載された技術では、サイズの小さな被写体の変化を検知するために分割ブロックを細分化する必要がある場合にはブロック数が増加し、ブロック数の増加に伴って消費電力が増加する。この問題に対してフレームレートを下げて消費電力の増加を抑制することも可能であるが、その場合には被写体の変化の検知に時間を要してしまうため、撮影動作への移行が遅れてしまうという新たな問題が発生する。

また、上記特許文献１に記載された技術では、被写体の変化の検知前後でフレームレートを下げた画素加算モードから所定のフレームレートによる通常撮影モードに移行する。ここで、被写体が変化する速度に対して通常撮影モードでのフレームレートが低い場合には、撮影動作が被写体の変化に追従することができずに不適切な画像読み出しとなる。一方、被写体が変化する速度に対して通常撮影モードでのフレームレートが高い場合には、不必要に消費電力が大きくなってしまう。

本発明は、消費電力の増加と検知時間の長時間化を抑制すると共に、被写体の変化を高い精度で検知して適切なフレームレートでの撮像を可能とする撮像素子を提供することを目的とする。

本発明に係る撮像素子は、複数の画素を有する複数の画素ブロックが行方向と列方向に配置された画素部と、前記複数の画素ブロックごとに前記複数の画素の画像信号を加算して読み出すことによって被写体を撮像する検知モードと前記複数の画素のそれぞれから画像信号を読み出して被写体を撮像する通常モードとを切り替える制御手段と、前記検知モードでの撮像により前記画素部の一部に設けられた検知領域内の画素ブロックから得られる画像データに基づいて被写体の変化を検知する検知手段と、を備え、前記制御手段は、被写体が変化したと判定された場合に前記検知モードから前記通常モードへの移行を行うことを特徴とする。

本発明によれば、消費電力の増加と検知時間の長時間化を抑制することができ、また、被写体の変化を高い精度で検知して適切なフレームレートで撮像することが可能になる。

本発明の実施形態に係る撮像装置のブロック図である。 撮像装置が備える撮像素子の構成例を示すブロック図である。 撮像素子の画素部の構成例を示す図である。 画素部を構成する画素と画素ブロックの等価回路図である。 撮像素子のイベント検知部の構成例を示すブロック図である。 撮像装置の動作の一例を示すタイミングチャートである。 撮像装置の動作の別の例を示すタイミングチャートである。 撮像素子が検知モードに設定されている場合の画素部の領域設定例を従来例と比較して説明する図である。 検知モードでの被写体移動量の判定方法を説明する第１の図である。 検知モードでの被写体移動量の判定方法を説明する第２の図である。 検知モードでの被写体移動量の判定方法を説明する第３の図である。 検知モードでの被写体移動量の判定方法を説明する第４の図である。 検知モードでの被写体移動量の判定方法を説明する第５の図である。 撮像装置の動作の一例を示すフローチャートである。 撮像装置が備える撮像素子の別の構成例を示すブロック図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００のブロック図である。撮像装置１００は、撮像レンズ１０１、撮像素子２００、画像処理回路１０２、制御回路１０３、メモリ回路１０４、記録回路１０５、表示回路１０６及び操作回路１０７を有する。制御回路１０３は、動体検出回路１１０を内包する。

撮像レンズ１０１は、被写体からの光を集光し、光学像（被写体像）を撮像素子２００に結像させる。撮像素子２００は、具体的にはＣＭＯＳセンサであり、撮像レンズ１０１を通して入射して結像した像を光電変換して得られる電荷（画像信号）をデジタル信号に変換することにより画像データ（フレーム）を生成し、出力する。また、撮像素子２００は、画像データにおける変化領域とその変化量を検出し、検出結果に応じて自身の動作を変更する制御機能を有する。なお、以下の説明では、撮像画面上への被写体の進入や移動等の被写体の変化を“イベント”と称呼する。

画像処理回路１０２は、撮像素子２００から出力される画像データに対して、フィルタ処理等の各種補正、圧縮やリサイズ等の画像処理等を行う。制御回路１０３は、撮像素子２００の駆動タイミングを制御すると共に撮像装置１００を構成する各部の動作を制御することにより、撮像装置１００全体の統括的な駆動と制御を行う。制御回路１０３はまた、ユーザの命令（不図示の操作部材のユーザによる操作）を受けて設定された撮影モードに応じて、撮像装置１００を構成する各部の動作を制御する。

撮影モードには、静止画撮影モードと動画撮影モードがある。動画撮影モードには検知モードと通常モードがあり、通常モードには後述する第１の動画モードと後述する第２の動画モードがある。制御回路１０３は、撮像素子２００の検知モードでの動作の許可／不許可の制御を行う。詳細は後述するが、検知モードでは撮像素子２００によりイベント検知が行われ、イベント検知結果に基づいて、検知モードから第１の動画モード又は第２の動画モードへのモード変更が行われる。第１の動画モードと第２の動画モードではそれぞれ、撮像装置１００での設定に応じて、ＳＤ撮影、ＨＤ撮影、ＦｕｌｌＨＤ撮影、４Ｋ撮影等を行うことが可能となっている。

制御回路１０３に設けられた動体検出回路１１０は、撮像素子２００から取得した画像データに基づいて、画像内に動体があるか否かを検出する。制御回路１０３は、動体検出回路１１０による検出結果に応じて撮像素子２００の駆動を制御する。

メモリ回路１０４は、画像処理回路１０２や記録回路１０５から出力される画像データを一時的に記憶する不揮発性メモリ等の記憶手段である。記録回路１０５は、画像処理回路１０２から出力される画像データを記憶するメモリカード等の記録媒体である。表示回路１０６は、撮影画像や各種の設定画面等を表示する。操作回路１０７は、ユーザによる不図示の操作部材に対する操作に応じて、操作部材に割り当てられている命令を生成し、生成した命令を制御回路１０３へ送信する。

図２は、撮像素子２００の構成例を示すブロック図である。撮像素子２００は、画素部２２０、Ａ／Ｄ変換回路２１２、水平走査回路２１３、イベント検知部２１４、信号処理部２１５、モード制御部２１６及び露光制御部２１７を備える。

画素部２２０は、複数の画素が行列状に配置された構造を有する。画素部２２０は、画素単位で信号を出力する機能と、画素部２２０の面内を所定の領域に分割したブロック（以下「画素ブロック」という）を単位として画素ブロック内の複数の画素の信号を加算して出力する機能を有する。以下の説明では、画素単位であるか画素ブロック単位であるかを問わず、画素部２２０から読み出される信号を「画像信号」と表現する。画素部２２０から出力される画像信号は、Ａ／Ｄ変換回路２１２により画素列ごとに又は画素ブロックのブロック列ごとにデジタル信号からなる画像データに変換された後、水平走査回路２１３の駆動により、順次、イベント検知部２１４へ転送される。

イベント検知部２１４は、モード制御部２１６の制御信号を受けて、画像データから画素ブロックごとの画素値を検出し、イベント発生の判断基準に用いる。また、イベント検知部２１４は、イベントが検知された画素ブロックの分布状態に基づいて、被写体の移動速度の目安となる被写体の移動量を算出し、イベント検知結果と被写体移動量の情報を撮像素子２００の駆動を制御するモード制御部２１６へ送信する。

イベント検知部２１４は、画素部２２０から画素単位で画像信号が出力されていた場合には、取得した画像データをそのまま信号処理部２１５へ転送する。一方、イベント検知部２１４は、画素部２２０から画素ブロック単位で画像信号が出力されていた場合には、画素ブロックごとの画素値を積算した積算データを生成して、露光制御部２１７へ供給する。信号処理部２１５は、イベント検知部２１４から取得した画像データの前後に画素ごと又は画素ブロックごとの画素値の変化量や撮影モード等の情報データを付帯して、外部（制御回路１０３、画像処理回路１０２）へ出力する。

モード制御部２１６は、イベント検知部２１４又は制御回路１０３からの信号を受けて、Ａ／Ｄ変換回路２１２、水平走査回路２１３及び垂直走査回路２１１のそれぞれに駆動タイミング制御信号を供給し、撮像素子２００の駆動制御を行う。また、モード制御部２１６は、制御回路１０３によって撮像素子２００を検知モードで動作させる許可が下りている場合に撮像素子２００を検知モードに設定し、画素ブロックごとに画素ブロック内の複数の画素の画像信号を加算して出力する駆動を開始させる。

垂直走査回路２１１は、行ごとに接続される信号線を介して画素単位又は画素ブロック単位での行選択と駆動を行う。露光制御部２１７は、イベント検知部２１４からの積算データに基づいて撮像素子２００の露光制御（露光時間の算出）を行い、モード制御部２１６へ撮像素子２００の露光制御信号を供給する。

図３は、画素部２２０の構成例を示す図である。画素部２２０は、複数の画素２３０が行列状に配置されて形成されている。画素２３０は、ｎ行（１〜ｎ）、ｍ列（１〜ｍ）で表現される。

複数の画素２３０は、イベント検知を行うための単位としての画素ブロック２４０に分けられており、各画素ブロック２４０はそれぞれ、所定数の画素２３０からなる。本実施形態では、［行方向２つの画素２３０］×［列方向２つの画素２３０］、の４つの画素２３０で１つの画素ブロック２４０が形成されているものとする。画素ブロック２４０は、Ｎ行（１〜Ｎ）、Ｍ列（１〜Ｍ）、但し、Ｎ＝ｎ／２、Ｍ＝ｍ／２、で表現される。画素ブロック２４０を構成する画素２３０の数及び行列数はこれに限られるものではなく、撮像対象とする被写体のサイズに合わせて設定することができる。

画素ブロック２４０を単位とする各ブロック行には、行方向での水平信号線として、２つのリセット制御信号、２つの行選択制御信号、２つの転送制御信号、加算信号、加算後の信号選択制御信号が配線される。図３では、リセット制御信号は“ＲＳＴ ｎ”で、行選択制御信号は“ＳＥＬ ｎ”で、転送制御信号は“ＴＸｎ”で、加算信号は“ＡＤＤ Ｎ”で、加算後の信号選択制御信号は“ＡＤＤ＿ＳＥＬ Ｎ”で表されている。

複数の画素２３０のそれぞれに、リセット制御信号、行選択制御信号及び転送制御信号が配線されている。また、画素ブロック２４０ごとに、加算信号、加算後の信号選択制御信号が配線されている。列方向には垂直信号線４１０が配線されており、画素２３０からの出力が垂直信号線４１０を介してＡ／Ｄ変換回路２１２に入力されると、各水平信号線の選択駆動が行われる。これにより撮像素子２００から行単位で、順次、各垂直信号線４１０を介して出力が行われる。

動画撮影を行う際の通常モードでは、画素２３０ごとの画像信号が、順次、画素部２２０から出力される。つまり、通常モードでは、各画素２３０においてフローティングディフュージョン（以下「ＦＤ」と記す）に転送した電荷に応じた信号を画素２３０ごとに読み出す。これに対して検知モードでは、画素ブロック２４０内のＦＤごとの加算スイッチを動作させることにより、画素ブロック２４０内の各画素２３０で蓄積された電荷が加算され、加算された電荷に応じた信号が特定の画素２３０を通じて出力される。

図４は、画素２３０と画素ブロック２４０の等価回路図である。以下の説明において、“ＴＲ”は転送スイッチを表し、“ＰＤ”はフォトダイオードを表し、“ＳＦＡ”はソースフォロアアンプを表し、“ＲＳ”はリセットスイッチを表すものとする。

前述の通り、４つの画素２３０が２行×２列で配置されて、１つの画素ブロック２４０が形成されている。例えば、左上の画素のＰＤ４０６−１で発生して蓄積された電荷は、転送制御信号ＴＸ１を制御することにより、ＴＲ４０５−１を介してＦＤ４０７−１に転送される。ＳＦＡ４０８−１は、垂直出力線に接続された定電流源４１１−１と共に構成されており、ＦＤ４０７−１に蓄積された電荷に基づく電圧信号を増幅して出力する。なお、行選択制御信号ＳＥＬ１が行選択スイッチ４０９−１を制御して、ＳＡＦ４０８−１の出力を垂直出力線４１０−１へ接続する。

列ごとに設けられた定電流源４１１−ｍは、垂直線４１０−ｍからの読み出しに供されない不要期間は、垂直走査回路２１１及び水平走査回路２１３からの制御信号（図３に不図示）により、節電のために動作を停止することが可能となっている。

例えば、ＦＤ４０７−１に蓄積されている不要電荷をリセットする場合、リセット制御信号ＲＳＴ１によりＲＳ４０４−１を制御する。更にＰＤ４０６−１をリセットする際には、リセット制御信号ＲＳＴ１によりＲＳ４０４−１を制御すると共に転送制御信号ＴＸ１によりＴＲ４０５−１を制御して、リセットを実行する。転送制御信号ＴＸ１、リセット制御信号ＲＳＴ１及び行選択制御信号ＳＥＬ１は、垂直走査回路２１１に接続されており、行ごとに制御信号を持つ。

通常モードでは、各画素２３０においてＦＤ４０７−１〜４に転送した電荷に応じた電圧信号を画素２３０ごとに読み出すことで、画素部２２０からの出力とする。一方、検知モードでは、各画素２３０においてＦＤ４０７−１〜４に転送した電荷を、加算信号ＡＤＤ１でスイッチ４１３をオンして、ＦＤ４０７−１〜４で加算平均する。その後、加算後の信号選択制御信号ＡＤＤ＿ＳＥＬ１を制御して、加算平均した電荷に応じた電圧信号を画素２３０−３から読み出す。このようにして、２行×２列の画素２３０の各ＦＤで加算した電荷に応じた電圧信号を検知モードでの画素部２２０からの出力とする。

なお、画素ブロック２４０単位での画像信号の読み出しは、ＦＤでの電荷加算により読み出す方法に限られず、垂直出力線で複数の行を接続して加算し、水平加算はＡ／Ｄ変換回路２１２の前に加算回路を設けて実施する構成としてもよい。

図５は、イベント検知部２１４の構成例を示すブロック図である。イベント検知部２１４は、出力切替回路２６０、積算演算処理回路２６１、メモリ２６２、差分検出回路２６３及び比較回路２６４を備える。

出力切替回路２６０は、設定されている撮影モードに応じてＡ／Ｄ変換回路２１２から送られてくる画像データの出力先（転送先）を切り替える。具体的には、出力切替回路２６０は、検知モードに設定されていることを示す制御信号をモード制御部２１６から受信している場合、イベント検知を行わせるために、画像データの出力先を積算演算処理回路２６１に設定する。積算演算処理回路２６１は、出力切替回路２６０から取得した画像データにおける画素ブロック２４０ごとの画素値を画素ブロック２４０単位で積算処理し、積算データを露光制御部２１７へ供給する。また、積算演算処理回路２６１は、画素ブロック２４０ごとの画素値をメモリ２６２へ出力する。

一方、出力切替回路２６０は、通常モードに設定されていることを示す制御信号をモード制御部２１６から受信している場合、画像データの出力先を信号処理部２１５（撮像素子２００の外部）に設定する。

メモリ２６２は、画素ブロック２４０ごとの画素値とその画素ブロック２４０の撮像素子２００の面内での分割位置情報を過去データとして記憶する。差分検出回路２６３は、直近に読み出された画素ブロック２４０ごとの画素値とメモリ２６２に記憶されている過去データでの画素ブロック２４０ごとの画素値とに基づき、その画素ブロック２４０での撮像素子２００の面内分割位置での差分データを作成する。作成された差分データは、比較回路２６４へ供給される。比較回路２６４は、取得した差分データと所定の閾値とを比較し、比較結果をモード制御部２１６へ送る。

図６は、撮像装置１００の動作の一例を説明するタイミングチャートであり、検知モードにおける画素ブロック２４０ごとの画像信号の読み出しタイミング動作を含めた１フレーム期間の動作を示している。

タイミングＴ０において、撮影モードが検知モードに設定されたものとする。すると、垂直走査回路２１１は、先ず、１ブロック行の加算信号ＡＤＤ１と加算後の信号選択制御信号ＡＤＤ＿ＳＥＬ１をオン状態として、画素ブロック２４０の行単位での電荷の読み出しを開始させる。加算信号ＡＤＤ１及び加算後の信号選択制御信号ＡＤＤ＿ＳＥＬ１をオン状態にすることで、画素ブロック２４０の行単位で電荷が垂直信号線より出力される。同じタイミングで、リセット制御信号ＲＳＴ１，ＲＳＴ２及び転送制御信号ＴＸ１，ＴＸ２がハイレベルに制御される。これにより、加算信号ＡＤＤ１により接続状態となったＦＤ４０７−１〜４及び画素ブロック２４０内のＰＤ４０６−１〜４が電源電位にリセットされる。

タイミングＴ１において、リセット制御信号ＲＳＴ１，ＲＳＴ２と転送制御信号ＴＸ１，ＴＸ２がローレベルに復帰して、画素ブロック２４０の１行目（１ブロック行）に対する露光が開始される。一定の露光時間後のタイミングＴ２において、垂直走査回路２１１は、画素ブロック２４０の１行目に対応する転送制御信号ＴＸ１，ＴＸ２をハイレベルに制御する。これにより、ＴＲ４０５−１〜４がオン状態となり、ＰＤ４０６−１〜４に蓄積された電荷がそれぞれＦＤ４０７−１〜４に転送される。これにより、画素ブロック２４０の１行目に対する露光が終了する。

ＦＤ４０７−１〜４に転送された電荷はそれぞれ、ＳＦＡ４０８−１〜４において電圧信号として増幅されて垂直出力線より画像信号として出力される。各垂直出力線に出力された画像信号は、Ａ／Ｄ変換回路２１２へ読み出される。タイミングＴ３以降は、１ブロック行からＮブロック行へと順次同様に、画素ブロック２４０の行単位で露光と画像信号の読み出しが行われ、こうして全ての画素ブロック２４０の行単位での画像信号の読み出しが完了する。

図６のタイミングチャートにおいて、本実施形態では垂直同期信号ＶＤによる１フレーム期間は１／３０秒に設定されているものとする。全ブロック行（画素ブロック２４０の全ての行）の画像信号の読み出しが完了すると、次の垂直同期信号ＶＤに想起される間のブランキング期間ＴＢＬＫ１に、画素からの信号読み出し動作に関わる全ての定電流源４１１やＡ／Ｄ変換回路２１２の動作が停止される。これにより、１フレーム期間における平均電力を低減して節電することが可能となる。

なお、図６のタイミングチャートには全ブロック行を読み出した場合のタイミングチャートを示しているが、後述するように本実施形態の検知モードでは、全ブロック行からの画像信号の読み出しは行わない。つまり、画素ブロック２４０の行単位のタイミング信号であるリセット制御信号ＲＳＴ、転送制御信号ＴＸ、加算信号ＡＤＤ、加算後の信号選択制御信号ＡＤＤ＿ＳＥＬを選択的に発生させる。こうして、１ブロック行乃至Ｎブロック行のうちの特定のブロック行から画像信号を選択的に読み出す。これにより、イベント検知に供する画素ブロック２４０の信号読み出し時間を短縮し、その分だけブランキング期間ＴＢＬＫ１を延ばすことで１フレーム期間における平均電力を低減して、より一層の節電を図ることができる。全ブロック行からの画像信号の読み出しは、垂直同期信号ＶＤに想起して複数回にわたって実行される。

図７は、撮像装置１００の動作の別の例を示すタイミングチャートであり、通常モードの１つである第１の動画モードにおける画素ごとの画像信号の読み出しタイミング動作を示している。検知モードの実行時にイベント検知部２１４によって所定の画素ブロック２４０でイベントが検知されたために、タイミングＴ１０において検知モードから第１の動画モードへの変更が行われたものとする。なお、検知モードから通常モードへの切り替えは、モード制御部２１６によって行われ、その詳細については後述する。

垂直走査回路２１１は、画素行の１行目の画像信号の読み出しを開始する場合、先ず、行選択制御信号ＳＥＬ＿１をハイレベルすると共に、リセット制御信号ＲＳＴ１を所定のパルス期間に旦ってハイレベルに制御する。同じタイミングで、リセット制御信号ＲＳＴ１と転送制御信号ＴＸ１をハイレベルに制御する。これにより、画素行の１行目となるＦＤ４０７−１〜２，４０７−２及びＰＤ４０６−１，４０６−２が電源電位にリセットされる。また、ＦＤ４０７−３はＦＤ４０７−１と結線され、ＦＤ４０７−４はＦＤ４０７−２と結線されているため、ＦＤ４０７−３，４０７−４は同様にリセットされる。

タイミングＴ１１にて、リセット制御信号ＲＳＴ１と転送制御信号ＴＸ１がローレベルに復帰して、画素行の１行目に対する露光が開始される。一定の露光時間後、タイミングＴ１２にて垂直走査回路２１１は、転送制御信号ＴＸ１をハイレベルに制御して、ＴＲ４０５−１，４０５−２をオン状態とする。これにより、ＰＤ４０６−１に蓄積された電荷はＦＤ４０７−１，４０７−３に、ＰＤ４０６−２に蓄積された電荷はＦＤ４０７−２，４０７−４にそれぞれ転送されて、画素行の１行目に対する露光が終了する。

ＦＤ４０７−１，４０７−３及びＦＤ４０７−２，４０７−４に転送された電荷はそれぞれ、接続先となるＳＦＡ４０８−１，４０８−２において電圧信号として増幅され、画像信号として各列の垂直出力線から出力される。各垂直出力線に出力された画像信号は各列のＡ／Ｄ変換回路２１２によって読み出され、こうして、タイミングＴ１０〜Ｔ１３の期間で画素行の１行目の画像信号の読み出しが完了する。

タイミングＴ１４〜Ｔ１７の期間で、画素行の２行目の画像信号の読み出し動作が行われる。画素行の２行目からの画像信号の読み出しは、上述した画素行の１行目からの読み出しと同様に、画素行の２行目に対応する行選択制御信号ＳＥＬ＿２、リセット制御信号ＲＳＴ２及び転送制御信号ＴＸ２を制御することによって行われる。これにより、ＰＤ４０６−３に蓄積された電荷がＦＤ４０７−３，４０７−１に転送され、ＰＤ４０６−４に蓄積された電荷がＦＤ４０７−４，４０７−２に転送されて、画素行の２行目に対する露光が終了する。

ＦＤ４０７−３，４０７−１及びＦＤ４０７−４，４０７−２に転送された電荷はそれぞれ、接続先となるＳＦＡ４０８−３，４０８−４において電圧信号として増幅され、画像信号として各列の垂直出力線より出力される。以降は、同様に画素行単位で露光と読み出しが行われ、全行（１〜ｎ行）分の信号の読み出しが完了する。

第１の動画モードでは、垂直同期信号ＶＤによる１フレーム期間は１／３０秒に設定されているものとする。全画素行からの画像信号の読み出しの完了と共に次の垂直同期信号ＶＤに想起される間のブランキング期間ＴＢＬＫ２に、画素２３０からの電荷の読み出しの動作に係る全ての定電流源４１１やＡ／Ｄ変換回路２１２の動作が停止される。これにより、１フレーム期間における平均電力を低減して節電することが可能となる。また、全画素行からの画像信号の読み出しは、垂直同期信号にＶＤ想起して複数回にわたって実行される。

図８（ａ）は、画素部２２０に対する検知領域の従来の設定例（従来例）を説明する図である。従来例では、太い破線で示されるように画素部２２０全体に検知領域が設定されている。ここでは、列方向に３０ブロック列、行方向に２０ブロック行を有する比較的粗い構成とすることで、イベント検知に用いられる検知ブロック数を抑制している（検知ブロック数：６００個）。

図８（ｂ）は、画素部２２０に対する本実施形態に係る検知領域の設定例（実施例）を説明する図である。実施例では、画素部２２０全体が、列方向に１２０ブロック列、行方向に８０ブロック行を有するように細分化されている。その一方で、実施例では、検知領域を画素部２２０全体とせずに、太い破線で示されるように画素部２２０の下部の２ブロック行に限定することで検知ブロック数を抑制している（検知ブロック数：２４０個）。

なお、検知領域の設定例は、図８（ｂ）に示したように画素部２２０の下部（撮影画像の下部）に限定されない。検知領域は、少なくとも画素部２２０の外周部の一部を含むように設定することが望ましく、また、画素部２２０の一辺に限定されるものではない。例えば、画素部２２０の左右両端に検知領域を設定することも可能である。

図８（ｂ）の検知領域を構成する１つの検知ブロックの大きさ（検知単位）は、図８（ａ）の検知ブロックの大きさ（検知単位）の１／１６となる。つまり、実施例では、従来例よりも細分化された検知単位を用いるため、サイズの小さな被写体の動きを高い精度で検出することが可能になる。

図９乃至図１３は、検知モードでイベントが検知された際の被写体移動量を判定する方法の一例を模式的に説明する図である。ここでは、検知モードでのフレームレートは３０ｆｐｓに設定されるものとする。また、図８（ｂ）に示した１つの検知ブロックは図３に示した１つの画素ブロック２４０に対応しており、以下の説明において、図９乃至図１３に示す検知領域は２行×１２０列の画素ブロック２４０で構成されているものとする。

図９（ａ）は、画素部２２０が取得する画像（全画面）の下端の中央部付近から検知領域（画像下端の２ブロック行）に、画素ブロック２４０のサイズよりも小さなサイズの例えば飛行機のような飛翔体が被写体９０として進入してきた場合を想定している。図９（ａ）は、検知モードで被写体９０が映り込むというイベントが検知された際のフレーム１、フレーム２間での被写体の動きを表現しおり、１フレーム目には被写体９０は映っておらず、２フレーム目で被写体９０が進入して映り込んでいる。

図９（ｂ）は、イベントが検知された際にメモリ２６２に過去データとして保持されたフレーム１の画素ブロック２４０ごとの画素値と直近で読み出されたフレーム２の画素ブロック２４０ごとの画素値の値を濃淡で模試的に表現している。図９（ｂ）では、画素ブロックＡ１ではイベント（被写体９０の進入）が検知されていないためにフレーム１，２で変化はなく、画素ブロックＡ２でイベントが検知されたために、フレーム２の画素ブロックＡ２が濃く表されている。

図９（ｃ）は、図９（ｂ）のフレーム１とフレーム２の画素ブロック２４０ごとの画素値の差分を差分検出回路２６３により求めた結果を濃淡で模式的に示しており、差分が大きいほど色が濃く表されている。ここでは、進入してきた被写体９０が画像下端の１ブロック行の範囲で捉えられており、差分は画像下端の画素ブロックＡ２のみで検出されており、よって、画素ブロックＡ２のみが濃く表されている。

検知モードでイベントが検知されると、制御回路１０３は次のフレームを取得する。そして、差分検出回路２６３により、新しく取得されたフレームと１つの前のフレームの画素ブロックごとの画素値の差分が求められる。よって、図９に示すフレーム２でイベントが検知されると、フレーム３が取得される。

図１０乃至図１３は、被写体９０の移動速度が異なる４つの場合それぞれのフレーム３を説明する図である。図１０乃至図１３の（ａ）は、フレーム３（の画像）における被写体位置を表している。図１０乃至図１３の（ｂ）は、検知領域の画素ブロック２４０ごとの画素値を濃淡で表されており、各画素ブロック２４０に占める被写体９０の面積が大きいほど色が濃く示されている。図１０乃至図１３の（ｃ）は、フレーム２とフレーム３の画素ブロック２４０ごとの画素値の差分を濃淡で模式的に示しており、差分が大きいほど色が濃く表されている。

図１０のケースでは、進入してきた被写体９０がフレーム３において画像下端の２つのブロック行で捉えられている。そのため、フレーム２，３間の画素ブロック２４０ごとの画素値の差分は、画像下端の画素ブロックＡ１，Ａ２で検出されている。このとき、画像上（画素部２２０上）での被写体９０の移動速度は、２ブロック行の読み出しレートの範囲を超えていないため、３０ｆｐｓ未満である。

ここで、図９乃至図１３での画素ブロックに表されている濃淡について説明する。説明の便宜上、図９（ｂ）での画素ブロックＡ１及び図９（ｂ）のフレーム１での画素ブロックＡ２の白色は画素値が“ゼロ”、図９（ｂ）のフレーム２での画素ブロックＡ２の濃灰色（黒色）は画素値が“α（＞０）”と仮定する。この場合、図９（ｃ）での画素ブロックＡ１での差分は０（＝０−０）となるため、図９（ｃ）において画素ブロックＡ１は白色で表される。一方、図９（ｃ）での画素ブロックＡ２での差分はα（＝α−０）となるため、図９（ｃ）において画素ブロックＡ２は濃灰色で表される。図１０（ｂ）の画素ブロックＡ１，Ａ２の画素値はそれぞれ、被写体９０がそれぞれ略半分ずつ映り込んでいるため“α／２”となっているものとし、α／２の画素値が淡灰色で表されている。この場合、図１０のケースでの画素ブロックＡ１での画素値の差分はα／２（＝α／２−０）となるため、図１０（ｃ）において画素ブロックＡ１は淡灰色で表される。また、図１０（ｃ）での画素ブロックＡ２での画素値の差分は−α／２（＝α／２−α）となるため、図１０（ｃ）において画素ブロックＡ２は淡灰色で表される。なお、画素ブロックに表されている濃淡は、差分の絶対値によって決められるものとする。図１１乃至図１３については、図１０と同様に処理することができ、ここでの説明を省略する。

図１１のケースでは、進入してきた被写体９０がフレーム３において画像最下端の１ブロック行を通り越し、画像下端から２番目のブロック行で全体が捉えられている。そのため、フレーム２，３間の画素ブロック２４０ごとの画素値の差分は、画像下端の画素ブロックＡ１，Ａ２で検出されている。この場合も、画像上での被写体９０の移動速度は、２ブロック行の読み出しレートの範囲を超えていないため、３０ｆｐｓ未満である。

図１２のケースでは、進入してきた被写体９０がフレーム３において画像最下端のブロック行を通り越して、画像下端から２番目のブロック行でその一部が捉えられている。そのため、フレーム２，３間の画素ブロック２４０ごとの画素値の差分は、画像下端の画素ブロックＡ１，Ａ２で検出されている。この場合も、画像部上での被写体９０の移動速度は、２ブロック行の読み出しレートの範囲を超えていないため、３０ｆｐｓ未満である。

図１３のケースでは、進入してきた被写体９０がフレーム３において画像下端の２つのブロック行を通り越して検知領域から消失している。そのため、フレーム２，３間の画素ブロック２４０ごとの画素値の差分は、画像下端の画素ブロックＡ２のみとなっている。この場合、画像上での被写体９０の移動速度は２ブロック行の読み出しレートの範囲を超えていることから、３０ｆｐｓを超えていることがわかる。

このように、イベント検知時には、検知領域内の画素ブロックＡ１での被写体検出状態の連続するフレーム間での変化に基づき、画像上での被写体９０の移動速度が検知領域の読み出しレートの範囲を超えるか否かを判断することができる。

図１４は、撮像装置１００の動作の一例を示すフローチャートである。図１４のフローチャートにＳ番号で示す処理（ステップ）は、制御回路１０３が所定のプログラムを実行して撮像装置１００の各部の動作を統括的に制御することによって実現される。なお、各ステップのうち、制御回路１０３の制御下で撮像素子２００の所定の機能部が実行するステップについては、動作（制御）主体をそれらの機能部として説明する。

電源スイッチ（不図示）が操作されて撮像装置１００が起動した後、Ｓ１０１にて制御回路１０３は、モード制御部２１６に対して、撮像素子２００を検知モードで動作させるように制御する。これにより、撮像素子２００は検知モードでの動作を開始する。Ｓ１０２ではイベント検知部２１４が、検知領域の画素ブロックごとの画像データを撮像素子２００から取得し、メモリ２６２に一時保持する。

Ｓ１０３にてイベント検知部２１４は、Ｓ１０２で得た画像データが検知モード開始後の１フレーム目か否かを判定する。イベント検知部２１４は、１フレーム目であると判定した場合（Ｓ１０３でＹＥＳ）、過去の画像データとの比較（差分抽出）を行うことができないために処理をＳ１０２へ戻し、これにより２フレーム目の画像データが取得されることになる。一方、イベント検知部２１４は、１フレーム目ではない（２フレーム目以降である）と判定した場合（Ｓ１０３でＮＯ）、処理をＳ１０４へ進める。なお、Ｓ１０４へ進んだ場合も、引き続いて検知モードでの撮像が行われる。

Ｓ１０４にてイベント検知部２１４は、差分検出回路２６３により、Ｓ１０２で取得された２フレーム目以降の画像データとメモリ２６２に一保持されている１つ前のフレームの画像データとを用いて、画素ブロックごとの画素値の差分データを作成する。Ｓ１０５にてイベント検知部２１４は、比較回路２６４により、Ｓ１０４で作成した差分データに基づき、イベントが検知されたか、つまり、イベントが発生した画素ブロックがあるか否かを判定する。Ｓ１０５の判定は、Ｓ１０４で作成した差分データにおける画素ブロックごとの差分値に所定の閾値以上のものがあるか否かを判定することによって行われる。イベント検知部２１４は、イベントは検知されていないと判定した場合（Ｓ１０５でＮＯ）、処理をＳ１０２へ戻し、イベントが検知されたと判定した場合（Ｓ１０５でＹＥＳ）、処理をＳ１０６へ進める。

Ｓ１０６にてイベント検知部２１４は、比較回路２６４により、イベントが検知されたフレームとその次のフレームについて、イベントが発生している画素ブロック及びその近傍の画素ブロックごとの画素値に基づいて被写体の移動量を算出する。

Ｓ１０７ではモード制御部２１６が、Ｓ１０６で算出された被写体の移動量が一定値Ｋを超えているか否かを判定することにより、被写体の移動速度を検出する。検知領域が図８（ｂ）を参照して説明したように２ブロック行の場合には、一定値Ｋ＝２であり、この場合に切り替えられるフレームレートの境界は、図９を参照して説明したように、検知モードのフレームレートの３０ｆｐｓとなる。モード制御部２１６は、移動量が一定値Ｋより小さいと判定した場合（Ｓ１０７でＹＥＳ）、処理をＳ１０８へ進める。Ｓ１０８にてモード制御部２１６は、イベントを発生させている被写体の移動速度は遅いと判断し、通常モードの１つである低フレームレート（３０ｆｐｓ）の第１の動画モードへ移行する。

Ｓ１０９では制御回路１０３が、画像処理回路１０２から画素単位での画像データを取得する。その際、最初の１フレーム目の場合にのみ、２フレーム分の画像データを取得する。続くＳ１１０にて制御回路１０３は、取得したフレーム間の差分に基づいて被写体の動きの有無を動体検出回路１１０により検出し、被写体に動きがあるか否かを判定する。制御回路１０３は、被写体に動きがあると判定した場合（Ｓ１１０でＹＥＳ）、撮像を続けるために処理をＳ１０９へ戻し、被写体に動きがないと判定した場合（Ｓ１１０でＮＯ）、処理をＳ１１４へ進める。

モード制御部２１６は、Ｓ１０７の判定において移動量が一定値Ｋ以上であると判定した場合（Ｓ１０７でＹＥＳ）、処理をＳ１１１へ進める。この場合には、被写体の動きが速い場合であるため、Ｓ１１１にてモード制御部２１６は、通常モードの１つである高フレームレート（６０ｆｐｓ）の第２の動画モードへ移行する。Ｓ１１２，Ｓ１１３の処理の内容はそれぞれ、Ｓ１０９，１１０の処理の内容と同じであるため、説明を省略する。制御回路１０３は、Ｓ１１０の判定で被写体に動きがないと判定した場合に、処理をＳ１１４へ進める。

Ｓ１１４にて制御回路１０３は、撮像装置１００の電源スイッチがオフになったか否かを判定する。制御回路１０３は、撮像装置の電源がオフになっていないと判定した場合（Ｓ１１４でＮＯ）、処理をＳ１０１へ戻す。つまり、Ｓ１１０又はＳ１１３で被写体に動きがない場合には、通常モードから検知モードへ移行して、撮像が継続される。一方、制御回路１０３は、電源がオフになったと判定した場合（Ｓ１１４でＹＥＳ）、撮像を終了する。なお、上記フローにおける検知モードのフレームレート（３０ｆｐｓ）及び通常モードのフレームレート（３０ｆｐｓ，６０ｆｐｓ）は一例であって、これらに限られるものではなく、また、これらの値はユーザにより設定が可能な構成となっていてもよい。

上記説明の通り、本実施形態では、検知モードにおいてイベントが検知されるまでは、検知領域を画素部２２０の一部に限定すると共に、画素ブロック２４０ごとに（検知領域を細分化して）画像信号を出力させる。これにより、消費電力を低減させることができ、しかも、小さな被写体に起因するイベントを見逃さずに検知することが可能になる。そして、イベント検知後には、被写体の変化の状況に応じて低フレームレートの第１の動画モード又は高フレームレートの第２の動画モードで撮像を行う。これにより、動きの速い被写体を適切に撮像することができ、また、動きの遅い被写体については消費電力を抑制した撮像が可能になる。

なお、画素部２２０にカラーフィルタ等が配され、色別に画像信号が出力される場合には、同色の画素が配される行又は列で信号加算を行うようにしてもよい。また、複数の画素の電荷を加算することで見かけの画素数を少なくする方法に代えて、画素行又は画素列を間引いて画素部２２０から画像信号を読み出すようにしてもよい。更に、検知モードでは、画素ブロックごとに画像信号を読み出しているが、これに限らず、画素ブロック内の複数の画素を所定の間隔で間引いて電荷を加算し、加算した電荷に応じた電圧信号を読み出すようにしてもよい。

次に、図２に示した構成を有する撮像素子２００に代えて撮像装置１００に用いることができる別の撮像素子について説明する。図１５（ａ）は、撮像装置１００に適用可能な撮像素子３００のブロック図である。なお、撮像素子３００において、撮像素子２００と共通する構成については、同じ名称及び符号を付して説明を省略する。図１５（ｂ），（ｃ）は、撮像素子３００の概略構成を説明する図である。

撮像素子３００は、第１の半導体基板３０１と第２の半導体基板３０２を有する。図１５（ｂ），（ｃ）に示されるように、第１の半導体基板３０１と第２の半導体基板３０２は重畳された状態で封止されてモジュール化（一体化）され、こうして撮像素子３００は多層構造（積層構造）を有する。第１の半導体基板３０１には、画素部２２０とＡ／Ｄ変換回路２１２等が形成され、第２の半導体基板３０２には、イベント検知部２１４、信号処理部２１５、モード制御部２１６、露光制御部２１７等が形成される。第１の半導体基板３０１に形成される回路と第２の半導体基板３０２に形成される回路は、ビア（ＶＩＡ）等により接続される。

このように、撮像素子３００は、第１の半導体基板３０１と第２の半導体基板３０２が多層構造を形成するように一体化されたモジュール（ＬＳＩチップ）である。モジュール内部において第１の半導体基板３０１と第２の半導体基板３０２が積層構造を形成することにより、撮像素子３００は半導体基板サイズを増大させずに、より大規模な回路の実装が可能となる。つまり、撮像素子３００は、コストの増大を抑制しながら、より大規模な回路の実装を可能とする。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、上記実施形態では、撮像装置１００を図１に示すように１つの装置として説明したが、撮像装置１００は機能を分離させた構成となっていてもよい。具体的には、撮像装置１００が監視カメラである場合、撮像レンズ１０１と撮像素子２００からなるカメラ装置と、その他の各回路からなる制御装置に分けた構成とすることができる。その場合、カメラ装置は撮像目標を撮像可能な位置に配置し、制御装置を監視室に配置することができる。これによりカメラ装置への供給電力を低減することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０３ 制御回路
１１０ 動体検出回路
２００，３００ 撮像素子
２１４ イベント検知部
２１６ モード制御部
２２０ 画素部
２３０ 画素
２４０ 画素ブロック
２６３ 差分検出回路
２６４ 比較回路

Claims (11)

1. 複数の画素を有する複数の画素ブロックが行方向と列方向に配置された画素部と、
   前記複数の画素ブロックごとに前記複数の画素の画像信号を加算して読み出すことによって被写体を撮像する検知モードと前記複数の画素のそれぞれから画像信号を読み出して被写体を撮像する通常モードとを切り替える制御手段と、
   前記検知モードでの撮像により前記画素部の一部に設けられた検知領域内の画素ブロックから得られる画像データに基づいて被写体の変化を検知する検知手段と、を備え、
   前記制御手段は、被写体が変化したと判定された場合に前記検知モードから前記通常モードへの移行を行うことを特徴とする撮像素子。
2. 前記検知手段は、
   連続するフレーム間で前記画素ブロックごとに画素値の差分を求める差分検出手段と、
   前記差分に基づいて被写体の変化の有無を判定する判定手段と、を有することを特徴とする請求項１に記載の撮像素子。
3. 複数の画素が行方向と列方向に配置された画素部と、
   前記複数の画素から行又は列で間引いて画像信号を読み出して被写体を撮像する検知モードと前記複数の画素のそれぞれから画像信号を読み出して被写体を撮像する通常モードとを切り替える制御手段と、
   前記検知モードでの撮像により前記画素部の一部に設けられた検知領域内の画素から得られる画像データに基づいて被写体の変化を検知する検知手段と、を備え、
   前記制御手段は、被写体が変化したと判定された場合に前記検知モードから前記通常モードへの移行を行うことを特徴とする撮像素子。
4. 前記検知手段は、
   連続するフレーム間で前記画素ごとに画素値の差分を求める差分検出手段と、
   前記差分に基づいて被写体の変化の有無を判定する判定手段と、を有することを特徴とする請求項３に記載の撮像素子。
5. 前記検知手段は、前記差分の変化に基づいて被写体の移動速度を検出する手段を有し、
   前記制御手段は、前記移動速度に応じて前記通常モードでのフレームレートを変えることを特徴とする請求項２又は４に記載の撮像素子。
6. 前記検知領域は、前記画素部の少なくとも外周部の一部を含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 請求項１乃至６のいずれか１項に記載の撮像素子と、
   前記撮像素子に光学像を結像させるレンズと、を備えることを特徴とする撮像装置。
8. 前記検知領域を設定する手段を備えることを特徴とする請求項７に記載の撮像装置。
9. 前記通常モードにより得られた画像データから被写体の変化を検出し、前記被写体の変化が検出されなくなった場合に、前記通常モードを前記検知モードに切り替える手段を更に備えることを特徴とする請求項７又は８に記載の撮像装置。
10. 複数の画素を有する複数の画素ブロックが行方向と列方向に配置された画素部を有する撮像素子の制御方法であって、
    前記複数の画素ブロックごとに前記複数の画素の画像信号を加算して読み出す検知モードで被写体を撮像するステップと、
    前記検知モードでの撮像により前記画素部の一部に設けられた検知領域内の画素ブロックから得られた画像データに基づいて被写体の変化を検知するステップと、
    被写体の変化が検知された場合に、前記検知モードから前記複数の画素のそれぞれから画像信号を読み出す通常モードへ切り替えて撮像を行うステップと、を有することを特徴とする撮像素子の制御方法。
11. 複数の画素が行方向と列方向に配置された画素部を有する撮像素子の制御方法であって、
    前記複数の画素から行又は列で間引いて画像信号を読み出す検知モードで被写体を撮像するステップと、
    前記検知モードでの撮像により前記画素部の一部に設けられた検知領域内の画素から得られた画像データに基づいて被写体の変化を検知するステップと、
    被写体の変化が検知された場合に、前記検知モードから前記複数の画素のそれぞれから画像信号を読み出し通常モードへ切り替えて撮像を行うステップと、を有することを特徴とする撮像素子の制御方法。