JP2021034933A - 撮像素子、撮像装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】被写体に関するイベントをより適切に検出する撮像素子を提供する。【解決手段】撮像素子が、複数の画素を各々が含む複数の画素ブロックを有する画素部と、被写体に関するイベントの発生を検出するイベント検出部と、通常モードとイベント検出モードとを切り替えるモード制御部と、を有する。イベント検出モードにおいて、画素部は、画素ブロックが含む複数の画素が生成する画素信号を画素ブロックごとに加算して出力する。イベント検出部は、現在の加算出力と過去の加算出力とを画素ブロックのそれぞれにおいて比較して取得した第１比較結果と、隣接する画素ブロックのペアにおける現在の加算出力の比または差である現在の周辺比または周辺差と、ペアにおける過去の加算出力の比または差である過去の周辺比または周辺差とを、複数のペアのそれぞれにおいて比較して取得した第２比較結果とに応じて検出結果を出力する。【選択図】図１３

Description

本発明は、被写体に関するイベントを検出する撮像素子、撮像装置、制御方法、およびプログラムに関する。

近年、被写体の動き等、被写体に関するイベントを検出する撮像装置が使用されている。イベントを検出する撮像装置は、例えば、交通や防犯等、被写体の動きを捉えることを要する分野において使用される。

以上の撮像装置において、イベントが発生するまでは画素加算によってＡＤ変換の回数を低減することで消費電力を低減することが提案されている。また、イベントの発生後は画素加算をせずにＡＤ変換を実行することで所望の解像度を有する動画を取得して記録することが提案されている（例えば、特許文献１）。

特開２０１８−０２２９３５号公報

特許文献１の技術では、被写体に関するイベントが生じていないのにイベントとして検出されるケースが発生し得る。例えば、撮像対象である部屋の照明が消えると、撮像対象（画角）の全体に亘って輝度が低下するので、被写体に動きが生じていないにも関わらずイベントとして検出される可能性がある。

以上の事情に鑑み、本発明は、被写体に関するイベントをより適切に検出できる撮像素子、撮像装置、制御方法、およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明の撮像素子は、２次元的に配置され各々が画素信号を生成する複数の画素を各々が含む複数の画素ブロックを有する画素部と、前記画素部からの出力に基づいて被写体に関するイベントの発生を検出するイベント検出部と、前記イベント検出部による検出結果に基づいて通常モードとイベント検出モードとを切り替えるモード制御部と、を備え、前記イベント検出モードにおいて、前記画素部は、前記画素ブロックが含む複数の前記画素が生成する前記画素信号を前記画素ブロックごとに加算して出力し、前記イベント検出部は、現在の加算出力と過去の加算出力とを前記画素ブロックのそれぞれにおいて比較して取得した第１比較結果と、隣接する前記画素ブロックのペアにおける前記現在の加算出力の比または差である現在の周辺比または周辺差と、前記ペアにおける前記過去の加算出力の比または差である過去の周辺比または周辺差とを、複数の前記ペアのそれぞれにおいて比較して取得した第２比較結果とに応じて前記検出結果を出力する、ことを特徴とする。

本発明によれば、被写体に関するイベントをより適切に検出できる。

本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。 本発明の第１実施形態に係る撮像素子の構成を示すブロック図である。 本発明の第１実施形態に係る画素部の概略構成を示す説明図である。 本発明の第１実施形態に係る４個の画素（画素ブロック）の等価回路図である。 本発明の第１実施形態に係るイベント検出部の構成を示すブロック図である。 本発明の第１実施形態に係る第１加算保持部の構成を示すブロック図である。 本発明の第１実施形態に係る第２加算保持部の構成を示すブロック図である。 本発明の第１実施形態に係る第１比保持部の構成を示すブロック図である。 本発明の第１実施形態に係る比較部の構成を示すブロック図である。 本発明の第１実施形態に係るモード制御部の構成を示すブロック図である。 本発明の第１実施形態における撮像画像（屋内の風景画像）の例である。 図１１の例の前フレームおよび後フレームにおける加算データおよび周辺比の具体例を示す説明図である。 本発明の第１実施形態におけるモード制御処理を示すフローチャートである。 本発明の第２実施形態に係るイベント検出部の構成を示すブロック図である。 本発明の第２実施形態に係る第１差保持部の構成を示すブロック図である。 本発明の第２実施形態における被写体の移動検出の説明図である。 本発明の第２実施形態において取得されるフレーム（データ）を検出フレームレートごとに時系列的に示すタイミングチャートである。 本発明の第２実施形態における検出フレームレートの調整処理を示すフローチャートである。 本発明の第３実施形態における除外処理を適用すべきケースを例示する説明図である。 本発明の第３実施形態に係るイベント検出部の構成を示すブロック図である。 本発明の第３実施形態におけるモード制御処理を示すフローチャートである。

以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される各実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の各実施形態は、本発明が適用される装置の構成や各種の条件に応じて適宜に修正または変更することが可能である。また、以下の各実施形態に含まれる要素の組合せの全てが本発明を実現するに必須であるとは限られず、要素の一部を適宜に省略することが可能である。したがって、本発明の範囲は、以下の各実施形態に記載される構成によって限定されるものではない。また、相互に矛盾のない限りにおいて実施形態内に記載された複数の構成を組み合わせた構成も採用可能である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る撮像装置１００の構成を示すブロック図である。図示の通り、撮像装置１００は、レンズユニット１０１、画像処理部１０９、記録部１１０、メモリ部１１１、制御部１１２、表示部１１３、操作部１１４、バス１２０、および撮像素子２００を有する。

レンズユニット１０１は、例えば、複数のレンズ、合焦機構、および絞り機構等を有するレンズ鏡筒であって、被写体からの入射光を集光して撮像素子２００の撮像面上に被写体像を結像させる。撮像素子２００の詳細については後述される。

画像処理部１０９は、撮像素子２００が出力した画像データに対して色マトリクス処理やガンマ処理等の現像処理を含む種々の画像処理を実行する集積回路である。

制御部１１２は、撮像装置１００の動作を統合的に制御する制御回路であって、例えば、ＣＰＵ（Central Processing Unit）を用いて構成される。制御部１１２は、例えば、撮像素子２００の駆動および画像処理部１０９による画像処理を少なくとも部分的に制御する。なお、制御部１１２が、撮像素子２００または画像処理部１０９に設けられていてもよい。

記録部１１０は、撮影された静止画や動画を記録する記録媒体であって、例えば、フラッシュメモリである。記録部１１０は、撮像装置１００に着脱可能な媒体であってもよいし、撮像装置１００に内蔵された媒体であってもよいし、これらの組合せであってもよい。

メモリ部１１１は、画像処理部１０９および制御部１１２のワーキングメモリとして機能するＲＡＭ、並びに制御に用いられるデータおよびプログラムが格納されたＲＯＭ等の記憶素子を有する。

制御部１１２は、記録部１１０およびメモリ部１１１におけるデータの入出力を制御する。画像処理部１０９は、処理を終えた画像データを記録部１１０に出力して保存させる。

表示部１１３は、画像処理部１０９から出力された画像データや後述される動作モード等の情報を制御部１１２の制御に基づいて表示する表示装置であって、例えば、有機ＥＬディスプレイまたは液晶ディスプレイである。

操作部１１４は、撮影モードや撮影条件（所望のＦ値、ＩＳＯ、露光時間等）、撮影指示等に関するユーザからの操作入力を受け付けて操作信号を生成し制御部１１２等に供給する要素である。操作部１１４は、例えば、レリーズボタン、モードダイヤル、電子ダイヤル、設定ボタン、タッチパネル等を含んで構成される。

バス１２０は、要素間でデータを伝送する伝送経路であって、撮像素子２００、画像処理部１０９、記録部１１０、メモリ部１１１、制御部１１２、表示部１１３、および操作部１１４に共通して接続される。

図２から図４を参照して、本実施形態における撮像素子２００の構成および加算動作について説明する。図２は、本発明の第１実施形態に係る撮像素子２００の構成を示すブロック図である。図３は、撮像素子２００が有する画素部２０１の概略構成を示す説明図である。図４は、画素部２０１内の４個の画素２３０（画素ブロック２４０）の等価回路図である。

図２に示すように、撮像素子２００は、画素部２０１、ＡＤ変換部２０２、水平走査部２０３、画素制御部２０４、モード制御部２０５、露出制御部２０６、イベント検出部２０７、垂直走査部２０９、およびスイッチ２１０を有する。以上の要素のうち、少なくとも画素制御部２０４、モード制御部２０５、露出制御部２０６、およびイベント検出部２０７は、機能的な構成要素である機能ブロックであってよい。以上の機能ブロックは、撮像素子２００に設けられた１個以上のＣＰＵ等のプロセッサが不図示のメモリに記憶された制御プログラムを実行することによって実現されてよい。また、以上の機能ブロックが、それぞれ専用の回路によって実現されてよい。モード制御部２０５およびイベント検出部２０７等に含まれる各部についても同様である。したがって、以下の説明に係る各処理は、撮像素子２００に設けられた１個以上のプロセッサによって実行されてもよく、専用の回路によって実行されてもよく、これらの組合せによって実行されてもよい。

画素部２０１は、２次元格子状に（すなわち、行列状に）配置され、各々が光電変換を行って画素信号を出力する複数の画素２３０を有する。以下、所定の方向（例えば、水平方向）に連続的に配列された画素２３０の集合を「行（画素行）」と称し、上記の「行」に対して直交する方向（例えば、垂直方向）に連続的に配列された画素２３０の集合を「列（画素列）」と称する場合がある。

画素制御部２０４は、撮像素子２００内の各要素を統合的に制御すると共に、画像処理部１０９や制御部１１２等の外部要素と制御信号を入出力する。

垂直走査部２０９は、画素部２０１内の画素２３０の選択と電荷の読出しを制御する制御信号を画素行ごとに供給して各画素２３０を駆動することで、露光量に応じたレベルのアナログ信号を画素部２０１から出力させる。詳細は後述するが、以上の垂直走査部２０９の動作は、モード制御部２０５からのモード信号ＭＯＤＥと露出制御部２０６からの露出制御信号とに基づいて画素制御部２０４によって制御される。モード信号ＭＯＤＥは、撮像環境の変化をイベントとして検出するイベント検出モードと通常の撮像動作を実行する通常モードとのいずれかのモードに従った動作を指示する信号である。

ＡＤ変換部２０２は、画素部２０１から出力されたアナログ信号（画素信号、加算信号）をデジタルデータ（画像データ、加算データ）にＡＤ変換して、スイッチ２１０に出力する。

スイッチ２１０は、モード制御部２０５が出力するモード信号ＭＯＤＥに従ってＡＤ変換部２０２が出力したデータの供給先を切り替える。モード信号ＭＯＤＥがイベント検出モードを示す場合、スイッチ２１０は、ＡＤ変換部２０２からの出力（すなわち、画素ブロックごとの加算データ）をイベント検出部２０７に供給する。他方、モード信号ＭＯＤＥが通常モードを示す場合、スイッチ２１０は、ＡＤ変換部２０２からの出力（すなわち、画素ごとの画像データ）を画像処理部１０９に供給する。すなわち、通常モードにおいては、撮像素子２００から出力された画素２３０ごとの画像データが画像処理部１０９に供給される。

図３に示すように、画素部２０１内に２次元的に配置された複数の画素２３０は、所定数の画素２３０を各々が含む複数の画素ブロック２４０に分画されている。詳細は後述するが、画素ブロック２４０は、本実施形態のイベント検出を実行する際に取得される加算データの加算単位となる加算ブロックである。本実施形態では、１個の画素ブロック２４０が２行２列の４個の画素２３０を有するが、１個の画素ブロック２４０が含む行数および列数は本実施形態の構成に限定されない。例えば、画素ブロック２４０が４行４列の１６個の画素２３０を有してもよい。

各画素２３０には、行方向（水平方向）および列方向（垂直方向）に亘って複数の信号線が接続されている。信号線を介した制御信号の供給によって各画素２３０の動作が制御される。

行方向に関して、画素２３０には、リセット信号ＲＳＴ１，ＲＳＴ２，…を供給するリセット制御線、行選択信号ＳＥＬ１，ＳＥＬ２，…を供給する行選択制御線、および転送信号ＴＸ１，ＴＸ２，…を供給する転送制御線がそれぞれ接続されている。また、画素ブロック２４０には、加算制御信号ＡＤＤ１，ＡＤＤ２，…を供給する加算制御線、および加算後選択信号ＡＤＤ＿ＳＥＬ１，ＡＤＤ＿ＳＥＬ２，…を供給する加算後選択制御線がそれぞれ接続されている。以上の各制御信号は、画素制御部２０４の制御の下、垂直走査部２０９から各制御線へ供給される。

１個の画素ブロック２４０について見ると、１本の加算制御線および１本の加算後選択制御線に加え、２本のリセット制御線、２本の行選択制御線、および２本の転送制御線が接続されている。

列方向に関して、画素２３０には、画素２３０からの出力先となる垂直信号線４１０−１，４１０−２，…がそれぞれ接続されている。上記した行方向の信号線によって行ごとに選択的に駆動された画素２３０からの出力が、垂直信号線４１０を介してＡＤ変換部２０２に入力される。

通常モードでは、個々の画素２３０から信号がそれぞれ出力される。一方、イベント検出モードでは、画素ブロック２４０内の複数の画素２３０が生成した画素信号を加算した加算信号が、１個の画素２３０から出力される。

図４に示すように、１個の画素ブロック２４０には４個の画素２３０が２行２列に配置されている。各画素２３０は、フォトダイオード（以下、ＰＤと称する）４０６と、転送スイッチ４０５と、フローティングディフュージョン（以下、ＦＤと称する）４０７と、ソースフォロアアンプ４０８と、行選択スイッチ４０９と、リセットスイッチ４０４とを有する。ソースフォロアアンプ４０８は、垂直信号線４１０に接続された定電流源４１１と共に構成されている。

ＰＤ４０６は、入射光を光電変換することで生成された電荷を蓄積する。ＰＤ４０６に蓄積している電荷は、転送制御線に転送信号ＴＸが供給されることで導通状態となった転送スイッチ４０５を介して、ＦＤ４０７に転送される。ＦＤ４０７は、電荷を一時的に蓄積すると共に蓄積した電荷を電圧信号に変換する電荷電圧変換部として機能する。ソースフォロアアンプ４０８は、ＦＤ４０７に蓄積された電荷に基づく電圧信号を増幅する。ソースフォロアアンプ４０８が出力する電圧信号（画素信号）は、行選択制御線に行選択信号ＳＥＬが供給されることで導通状態となった行選択スイッチ４０９を介して、垂直信号線４１０に出力される。

ＦＤ４０７に一時的に蓄積された電荷は、リセット制御線にリセット信号ＲＳＴが供給されることで導通状態となったリセットスイッチ４０４を介してリセットされる。また、ＰＤ４０６に蓄積された電荷は、リセット信号ＲＳＴおよび転送信号ＴＸの供給によってそれぞれ導通状態となった転送スイッチ４０５およびリセットスイッチ４０４を介してリセットされる。

通常モードでは、垂直走査部２０９による制御の下、画素ブロック２４０内の４個の画素２３０が、それぞれ画素信号を垂直信号線４１０に出力する。

他方、イベント検出モードでは、垂直走査部２０９が加算制御信号ＡＤＤを供給して４個のスイッチ４１２−１〜４を導通状態にすることで、４個のＦＤ４０７−１〜４に転送および蓄積された画素信号を加算平均する。次いで、垂直走査部２０９は、ＯＲ素子４１３を介して加算後選択信号ＡＤＤ＿ＳＥＬを行選択スイッチ４０９−３に供給して導通状態とすることで、加算平均された加算信号を画素２３０−３から垂直信号線４１０−１に出力する。以上のように、イベント検出モードでは、画素ブロック２４０内の複数の画素２３０のＦＤ４０７に蓄積された画素信号を加算することで得られた加算信号を画素ブロック２４０から出力する。加算信号は、ＡＤ変換部２０２にてＡＤ変換され加算データとして出力される。

以上のように、通常モードとイベント検出モードとが切り替わることによって、垂直走査部２０９が供給する制御信号も変化する。

次いで、図２を再び参照して、本実施形態に係る撮像素子２００が実行するモード制御について説明する。

イベント検出モードで撮像素子２００が稼働している際、１フレームにおける加算データの出力数Ｍは、画像データの解像度と加算単位（画素ブロック２４０内の画素２３０の数）とに応じて定まる。画素部２０１に配置されている画素２３０の行数がＩかつ列数がＪの場合であって、前述のように４個の画素２３０を加算単位として信号が加算されるときの加算データの出力数Ｍは、以下の式（１）にて示される。Ｉ、Ｊ、およびＭはいずれも自然数（１以上の整数）である。

Ｍ＝（Ｉ×Ｊ）／４ ……式（１）
前述したように、撮像素子２００のイベント検出部２０７には、イベント検出モードにおいて、画素部２０１ひいてはＡＤ変換部２０２からの出力（加算データ）が供給される。イベント検出部２０７は、２つのフレーム間の加算データの差分に基づいて所定のイベントの有無を検出し、検出結果ＤＥＴをモード制御部２０５に出力する。例えば、撮像装置１００の画角内に新たな被写体が進入すると、イベント検出部２０７は、その被写体の動きをイベントとして検出する。加えて、イベント検出部２０７は、ＡＤ変換部２０２から出力されたＭ個の加算データを積算して輝度積分データを取得し、露出制御部２０６に出力する。輝度積分データは、画像データ全体の測光量に相当する。イベント検出部２０７の詳細については、さらに後述される。

露出制御部２０６は、イベント検出部２０７からの輝度積分データ（測光量）に基づいて、画素部２０１の露光量を制御する露光制御信号を画素制御部２０４に出力する。露光制御信号は、典型的には露光時間を示すが、他の制御可能な要素、例えば、レンズユニット１０１の絞り機構における絞り値を示してもよい。

モード制御部２０５は、通常モードおよびイベント検出モードを含む複数のモードのいずれかを示すモード信号ＭＯＤＥを、画素制御部２０４およびスイッチ２１０に供給する。モード制御部２０５は、ユーザからの指示を受けると、イベント検出モードでの動作が開始されるようにイベント検出モードを示すモード信号ＭＯＤＥ−ｄを出力する。また、モード制御部２０５は、イベント検出モードにおいて、所定のイベントの発生を示す検出結果ＤＥＴがイベント検出部２０７から入力されると、通常モードを示すモード信号ＭＯＤＥ−ｎに切り替える。

通常モードでは、画素２３０ごとにＡＤ変換が実行されるので、ＡＤ変換部２０２が実行するＡＤ変換の回数は画素２３０の総数に相当する（Ｉ×Ｊ）回である。一方で、イベント検出モードでは、画素ブロック２４０ごとにＡＤ変換が実行されるので、ＡＤ変換部２０２が実行するＡＤ変換の回数はＭ（＝（Ｉ×Ｊ）／４）回である。また、イベント検出モードでは画素ブロック２４０ごとに信号を読み出すので、通常モードと比較して読出しに要する消費電力も少ない。加えて、イベント検出モードでは画像処理部１０９にデータが出力されないので、通常モードで実行されるような画像処理が実行されない。したがって、イベント検出モードにおける消費電力は、通常モードにおける消費電力よりも少ない。

図５は、本発明の第１実施形態に係る撮像素子２００のイベント検出部２０７の構成を示すブロック図である。イベント検出部２０７は、第１加算保持部２１００、第２加算保持部２２００、第１比保持部２３００、第２比保持部２４００、周辺比差分算出部２５００、積算部２８２、輝度差分算出部２８４、および比較部２８５を有する。

第１加算保持部２１００は、ＡＤ変換部２０２から供給された出力（加算データ）を最初に保持する要素である。第１加算保持部２１００が保持する加算データは、現在（現フレーム）に対応するデータである。第１加算保持部２１００は、保持している現フレームの加算データを、第２加算保持部２２００、輝度差分算出部２８４、および第１比保持部２３００に出力する。

第２加算保持部２２００は、第１加算保持部２１００から出力された加算データを保持する要素である。第２加算保持部２２００が保持する加算データは、過去（前フレーム）に対応するデータである。第２加算保持部２２００は、第１加算保持部２１００に次フレームの加算データが供給される前に、第１加算保持部２１００から加算データを取得する。第２加算保持部２２００は、保持している前フレームの加算データを輝度差分算出部２８４に出力する。

輝度差分算出部２８４は、第１加算保持部２１００からの現在（現フレーム）の加算データと、第２加算保持部２２００からの過去（前フレーム）の加算データとの差分を算出する。より具体的には、輝度差分算出部２８４は、現フレームの加算データと前フレームの加算データとを加算単位（画素ブロック２４０）ごとに比較して、絶対値が最も大きい差分を代表差分値（第１比較結果）として比較部２８５に出力する。

積算部２８２は、第１加算保持部２１００から出力された１フレーム当たりＭ個の加算データを積算する要素である。積算部２８２は、加算データを積算して取得したデータを輝度積分データとして露出制御部２０６に出力する。

図６および図７を参照して、第１加算保持部２１００および第２加算保持部２２００を詳細に説明する。

図６は、本発明の第１実施形態に係る第１加算保持部２１００の構成を示すブロック図である。第１加算保持部２１００は、入力選択部２１０１、出力選択部２１０２、および複数の加算データ記憶部２１０３（２１０３−００，２１０３−０１，…）を有する。入力選択部２１０１は、イベント検出部２０７から入力された加算データを記憶すべき加算データ記憶部２１０３を選択する。複数の加算データ記憶部２１０３は、入力された加算データを順次に記憶する記憶媒体であって、画素部２０１内の画素ブロック２４０と同じ数（Ｍ個）存在すると好適である。出力選択部２１０２は、複数の加算データ記憶部２１０３に記憶された加算データを順次に出力する。

図７は、本発明の第１実施形態に係る第２加算保持部２２００の構成を示すブロック図である。第２加算保持部２２００は、入力選択部２２０１、出力選択部２２０２、および複数の加算データ記憶部２２０３（２２０３−００，２２０３−０１，…）を有する。入力選択部２２０１は、第１加算保持部２１００から入力された加算データを記憶すべき加算データ記憶部２２０３を選択する。複数の加算データ記憶部２２０３は、入力された加算データを順次に記憶する記憶媒体であって、画素部２０１内の画素ブロック２４０と同じ数（Ｍ個）存在すると好適である。出力選択部２２０２は、複数の加算データ記憶部２２０３に記憶された加算データを順次に出力する。

図５を再び参照して、イベント検出部２０７の構成をさらに説明する。

第１比保持部２３００は、第１加算保持部２１００から供給された現在（現フレーム）の画素ブロック２４０（加算ブロック）ごとの加算データに基づいて、隣接する画素ブロック２４０のペアごとに周辺比データを算出して保持する要素である。第１比保持部２３００が保持する周辺比データは、現在（現フレーム）に対応するデータである。第１比保持部２３００は、保持している現フレームの周辺比データを第２比保持部２４００および周辺比差分算出部２５００に出力する。周辺比データの詳細については図８を参照して後述する。

第２比保持部２４００は、第１比保持部２３００が算出して出力した周辺比データを保持する要素である。第２比保持部２４００が保持する周辺比データは、過去（前フレーム）に対応するデータである。第２比保持部２４００は、第１比保持部２３００に次フレームの加算データが供給される前に、第１比保持部２３００から加算データおよび周辺比データを取得する。第２比保持部２４００は、保持している前フレームの周辺比データを周辺比差分算出部２５００に出力する。

図８を参照して、第１比保持部２３００および周辺比データについて詳細に説明する。図８は、本発明の第１実施形態に係る第１比保持部２３００の構成を示すブロック図である。

第１比保持部２３００は、入力選択部２３０１、出力選択部２３０２、および複数の比データ記憶部２３０３を有する。第１比保持部２３００には、第１加算保持部２１００からＭ個の画素ブロック２４０に対応するＰ行Ｒ列の加算データが入力され、Ｐ行Ｒ列に配置されたＭ個（Ｍ＝Ｐ×Ｒ）の比データ記憶部２３０３に記憶される。以下、周辺比データの算出について複数の例が提示される。

まず、１行目１列目の加算データ（０，０）を記憶する比データ記憶部２３０３（０，０）について、さらに、１列目（左端列）にある複数の比データ記憶部２３０３について説明する。以下、「ｘ行目ｙ列目の加算データ（ｘ−１，ｙ−１）」を、単に「加算データ（ｘ−１，ｙ−１）」と称する場合がある。

比データ記憶部２３０３（０，０）には、１行目１列目の加算ブロックの加算データ（０，０）と、その周辺に位置する加算ブロック（比データ記憶部２３０３）の加算データとの比が、周辺比データとして記憶される。具体的には、比データ記憶部２３０３（０，０）には、周辺比データとして「加算データ（０，１）／加算データ（０，０）」、「加算データ（１，０）／加算データ（０，０）」および「加算データ（１，１）／加算データ（０，０）」が算出され記憶される。

すなわち、比データ記憶部２３０３（０，０）の加算データ（０，０）と、比データ記憶部２３０３（０，０）の右隣、下隣、右下隣の比データ記憶部２３０３の加算データのそれぞれとの周辺比データが算出され記憶される。本明細書において、周辺比データの算出対象である隣接する２つの加算ブロック（比データ記憶部２３０３）の加算データの組（例えば、加算データ（０，０）と加算データ（１，０）との組）を「加算データペア」と称する場合がある。

１列目（左端列）の２行目以降の比データ記憶部２３０３についても同様に、その比データ記憶部２３０３の加算データと、その比データ記憶部２３０３の右隣、下隣、右下隣の比データ記憶部２３０３の加算データのそれぞれとの周辺比が算出され記憶される。ただし、１列目Ｐ行目の比データ記憶部２３０３（Ｐ−１，０）には下隣および右下隣の比データ記憶部２３０３が存在しないので、右隣の比データ記憶部２３０３（Ｐ−１，１）の加算データとの周辺比が算出され記憶される。

加算ブロックの各々について全ての加算データペアの周辺比データを算出すると、結果として比計算にオーバーラップが生じる。例えば、比データ記憶部２３０３（１，０）にて算出すべき周辺比「加算データ（０，０）／加算データ（１，０）」は、比データ記憶部２３０３（０，０）が既に記憶している周辺比「加算データ（１，０）／加算データ（０，０）」の逆数である。

従って、比データ記憶部２３０３（１，０）で周辺比「加算データ（０，０）／加算データ（１，０）」を算出せずとも同一の加算データペアによる周辺比「加算データ（１，０）／加算データ（０，０）」の逆数を取れば所望の周辺比データを取得できる。したがって、本実施形態の第１比保持部２３００においては、各加算データペアについての周辺比データが１回だけ算出されいずれかの比データ記憶部２３０３に記憶される。例えば、比データ記憶部２３０３（０，０）が周辺比「加算データ（１，０）／加算データ（０，０）」を記憶している場合、比データ記憶部２３０３（１，０）は周辺比「加算データ（０，０）／加算データ（１，０）」を記憶しない。

次いで、１行目２列目の加算データ（０，１）を記憶する比データ記憶部２３０３（０，１）について、さらに、２列目から（Ｒ−１）列目までにある複数の比データ記憶部２３０３について説明する。前述と同様に、比データ記憶部２３０３（０，１）には、１行目２列目の加算ブロックの加算データ（０，１）と、その周辺に位置する加算ブロック（比データ記憶部２３０３）の加算データとの比が、周辺比データとして記憶される。また、前述の通り、既に算出された加算データペアについての周辺比データは算出されない。従って、比データ記憶部２３０３（０，１）には、「加算データ（０，２）／加算データ（０，１）」、「加算データ（１，０）／加算データ（０，１）」、「加算データ（１，１）／加算データ（０，１）」および「加算データ（１，２）／加算データ（０，１）」が算出され記憶される。

２列目の２行目以降の比データ記憶部２３０３についても同様にその比データ記憶部２３０３の加算データとその比データ記憶部２３０３の右隣、左下隣、下隣、右下隣の比データ記憶部２３０３の加算データのそれぞれとの周辺比データが算出され記憶される。ただし、１列目と同様、２列目Ｐ行目の比データ記憶部２３０３（Ｐ−１，１）には左下隣、下隣、右下隣の比データ記憶部２３０３が存在しないので、右隣の比データ記憶部２３０３（Ｐ−１，２）の加算データとの周辺比データが算出され記憶される。３列目から（Ｒ−１）列目までの比データ記憶部２３０３についても、上記と同様である。

次いで、Ｒ列目（右端列）の加算データ（０〜Ｐ−１，Ｒ−１）を記憶する比データ記憶部２３０３（０〜Ｐ−１，Ｒ−１）について説明する。基本的には、上述した２列目から（Ｒ−１）列目までにある比データ記憶部２３０３と同様である。ただし、Ｒ列目（右端列）の比データ記憶部２３０３（０〜Ｐ−２，Ｒ−１）には右隣および右下隣の比データ記憶部２３０３が存在しないので、左下隣および下隣の比データ記憶部２３０３の加算データとの周辺比データが算出され記憶される。また、Ｐ行目Ｒ列目の比データ記憶部２３０３（０〜Ｐ−１，Ｒ−１）には右隣、左下隣、下隣、右下隣の比データ記憶部２３０３が存在しないので、周辺比データが算出も記憶もされない。

以上のように、第１比保持部２３００は、画素ブロック２４０にそれぞれ対応する加算データを用いて、１つの画素ブロック２４０の加算データとその周辺の画素ブロック２４０の加算データとの比である周辺比データを算出して記憶する。第２比保持部２４００は、図８を参照して上述したのと同様の構成を有しており、第１比保持部２３００が算出した現フレームにおける周辺比データを前フレームの周辺比データとして記憶する。

図５を再び参照して、イベント検出部２０７の構成をさらに説明する。

周辺比差分算出部２５００は、第１比保持部２３００からの現在（現フレーム）の周辺比データと、第２比保持部２４００からの過去（前フレーム）の周辺比データとの差分を算出する。より具体的には、周辺比差分算出部２５００は、現フレームの周辺比データと前フレームの周辺比データとを隣接する加算単位（画素ブロック２４０）のペアごとに比較して、差が最も大きい値を代表差分値（第２比較結果）として比較部２８５に出力する。

比較部２８５は、輝度差分算出部２８４から供給された加算データ（輝度）に関する代表差分値と第１閾値Ｔｈ１とを比較すると共に、周辺比差分算出部２５００から供給された周辺比データに関する代表差分値と第２閾値Ｔｈ２とを比較する。比較部２８５は、以上の比較結果を検出結果ＤＥＴとしてモード制御部２０５に供給する。

図９は、本発明の第１実施形態に係る比較部２８５の構成を示すブロック図である。比較部２８５は、輝度差分比較部２５０５、周辺比差分比較部２５０６、およびＡＮＤ素子２５０７を有する。輝度差分比較部２５０５は、加算データに関する代表差分値（第１比較結果）が第１閾値Ｔｈ１を上回る場合にＨＩＧＨを示す比較信号を出力し、加算データに関する代表差分値が第１閾値Ｔｈ１以下である場合にはＬＯＷを示す比較信号を出力する。周辺比差分比較部２５０６は、周辺比データに関する代表差分値（第２比較結果）が第２閾値Ｔｈ２を上回る場合にＨＩＧＨを示す比較信号を出力し、周辺比データに関する代表差分値が第２閾値Ｔｈ２以下である場合にはＬＯＷを示す比較信号を出力する。ＡＮＤ素子２５０７は、輝度差分比較部２５０５からの出力と周辺比差分比較部２５０６からの出力とがいずれもＨＩＧＨである場合にはＨＩＧＨを示す検出結果ＤＥＴを出力し、いずれかがＬＯＷである場合はＬＯＷを示す検出結果ＤＥＴを出力する。

図１０は、本発明の第１実施形態に係るモード制御部２０５の構成を示すブロック図である。モード制御部２０５は、カウンタ２０５０とモード信号生成部２０５１とを有する。カウンタ２０５０は、垂直同期信号ＶＤに同期してカウンタ値ＣＮＴを計数する要素である。カウンタ２０５０は、イベント検出部２０７からの検出結果ＤＥＴに応じてモード信号生成部２０５１が出力するリセット信号ＲＳＴを受信すると、カウンタ値ＣＮＴをリセットする。モード信号生成部２０５１は、検出結果ＤＥＴおよびカウンタ値ＣＮＴに基づいてモード信号ＭＯＤＥを生成し、画素制御部２０４およびスイッチ２１０に供給する。

イベント検出モード（ＤＥＴ＝ＬＯＷ）では、モード信号生成部２０５１がリセット信号ＲＳＴをＨＩＧＨに維持することでカウンタ２０５０を動作させない。他方、通常モード（ＤＥＴ＝ＨＩＧＨ）では、カウンタ２０５０が動作して垂直同期信号ＶＤをカウントする。垂直同期信号ＶＤのカウント（カウンタ値ＣＮＴ）が所定値Ｎに到達したことを検出すると、モード信号生成部２０５１はＨＩＧＨを示すリセット信号ＲＳＴをカウンタ２０５０に供給してカウンタ値ＣＮＴをリセットする（ＣＮＴ＝０）。併せて、モード信号生成部２０５１は、カウンタ値ＣＮＴが所定値Ｎに到達するとモードをイベント検出モードに戻して前述のように加算データを取得する。その後、加算画像において被写体像が動いたり、移動する被写体がフレーム内に存在したりするか否か、すなわち、通常モードを継続すべきか否かが判定される。通常モードを継続すべき場合、モード信号生成部２０５１はリセット信号ＲＳＴをＬＯＷに戻してカウンタ２０５０にカウントを実行させる。他方、被写体像が動かず移動する被写体もフレーム内に存在しない場合、モード信号生成部２０５１はイベント検出モードを指示するモード信号ＭＯＤＥを出力する。

図１１から図１３を参照して、加算データに加えて周辺比データを用いたモード制御について、具体的な撮像画像（フレーム）の例を踏まえて説明する。

図１１は、本発明の第１実施形態における撮像画像（部屋内の風景画像）の例である。図１１に示される２つの撮像画像は、いずれも同じ場所を撮像した画像であるが、明るさの状態が互いに相違している。図１１（ａ）は、部屋の上部に存在する照明が点灯しているため部屋全体が相対的に明るい状態にある撮像画像であり、図１１（ｂ）は、照明が消灯しているため部屋全体が相対的に暗い状態にある撮像画像である。本例では、図１１（ａ）の撮像画像に相当するフレーム（前フレーム）の後に、図１１（ｂ）の撮像画像に相当するフレーム（後フレーム）が到来すると想定する。すなわち、本例は、イベント検出モードにおいて加算画像を取得している間に部屋の照明が消えたケースに相当する。このようなケースでは、画角内において被写体が移動したり新たな被写体が現れたりはしていないので、イベント検出モードが維持されることが望ましい。

図１２は、上記した例の前フレームおよび後フレームにおける加算データおよび周辺比データの具体例を示す説明図である。図１２（ａ）および図１２（ｂ）は、それぞれ、前フレームおよび後フレームにおける加算データ（０，０）、（０，１）、（１，０）、（１，１）を示す。図１２（ｃ）および図１２（ｄ）は、それぞれ、前フレームおよび後フレームにおける以上の加算データから算出された周辺比データを示す。

図１２（ａ）および図１２（ｂ）に示すように、前フレームで点いていた照明が後フレームでは消えているので、後フレームの加算データが前フレームの加算データにそれぞれ１／３を乗じた値に低下している。したがって、加算データ（輝度）だけでモード制御を行う場合には、被写体の移動が無いにも関わらず、加算データの低下に基づいてイベントが検出されイベント検出モードが通常モードに遷移してしまう。

対照的に、図１２（ｃ）および図１２（ｄ）に示すように、照明が消えて加算データが低下しても周辺比データはフレームの前後で変化しない。照明が消えることによる加算データの低下は撮像画像の全体に亘って生じているからである。具体的には、周辺比「加算データ（０，０）／加算データ（０，１）」は、フレームの前後で０．６６７に維持されている。同様に、周辺比「加算データ（０，０）／加算データ（１，０）」および周辺比「加算データ（０，０）／加算データ（１，１」）」は、フレームの前後で０．８３３に維持されている。

本実施形態では、加算データに加えて周辺比データをモード制御の判定に利用する。以上の例では、図１１（ａ）から図１１（ｂ）に遷移した場合、輝度差分比較部２５０５は変化を検出してＨＩＧＨを出力するが、周辺比差分比較部２５０６は変化を検出せずにＬＯＷを出力する。結果として、以上の比較信号の論理積を演算するＡＮＤ素子２５０７（比較部２８５）、ひいてはイベント検出部２０７が出力する検出結果ＤＥＴもＬＯＷとなる。

図１３は、本発明の第１実施形態におけるモード制御処理を示すフローチャートである。

ステップＳ２６００において、操作部１１４を介したユーザからの指示等に基づいてイベント検出モードへの移行が撮像素子２００に指示されると、撮像素子２００の画素制御部２０４は、動作モードをイベント検出モードに遷移させる。なお、撮像素子２００は、画素制御部２０４が行った判定に基づいて自らイベント検出モードに遷移してもよい。

ステップＳ２６０１において、画素制御部２０４は、垂直走査部２０９を制御して現在の１フレーム分の画素ブロック２４０ごとの加算信号を画素部２０１に出力させ、出力された加算信号を加算データに変換するように制御するＡＤ変換部２０２を制御する。撮像素子２００は現時点でイベント検出モードで動作しているから、ＡＤ変換部２０２が出力した加算データは、スイッチ２１０を介してイベント検出部２０７に供給される。

ステップＳ２６０２において、画素制御部２０４は、ステップＳ２６０１において取得された１フレーム分の加算データが、現在のイベント検出モードにおける第１フレーム目の加算データ（すなわち、第１枚目（最初）の撮像画像）であるか否かを判定する。

第１フレーム目の加算データである場合（Ｓ２６０２：ＹＥＳ）、画素制御部２０４は、処理をステップＳ２６０１に戻して第２フレーム目以降の加算データを取得するように垂直走査部２０９およびＡＤ変換部２０２を制御する。他方、第２フレーム目以降の加算データである場合（Ｓ２６０２：ＮＯ）、画素制御部２０４は、処理をステップＳ２６０３に進める。

以上から理解されるように、ステップＳ２６０３以降の処理は、現在のイベント検出モードにおける第２フレーム目以降の加算データが取得された状態で実行される。換言すると、第１加算保持部２１００および第１比保持部２３００が現在のフレームの加算データを保持していると共に、第２加算保持部２２００が過去のフレームの加算データを保持している状態でステップＳ２６０３以降の処理が実行される。

ステップＳ２６０３からステップＳ２６０５において、画素制御部２０４は、被写体の動きに関するイベントの発生の有無をイベント検出部２０７に検出させる。まず、ステップＳ２６０３において、図５から図９を参照して前述したように、イベント検出部２０７が、加算データの代表差分値である第１比較結果と周辺比データの代表差分値である第２比較結果とを取得する。より詳細には以下の通りである。

上記した加算データの代表差分値である第１比較結果を、輝度差分算出部２８４が、現在の加算データと過去の加算データとを画素ブロック２４０ごとに比較することによって取得する。上記した周辺比データの代表差分値である第２比較結果を、周辺比差分算出部２５００が、現在の周辺比データと過去の周辺比データとを隣接する画素ブロック２４０のペアごとに比較することによって取得する。前述したように、現在の周辺比データは隣接する画素ブロック２４０のペアにおける現在の加算データの比であり、過去の周辺比データは隣接する画素ブロック２４０のペアにおける過去の加算データの比である。

ステップＳ２６０４およびステップＳ２６０５において、比較部２８５は、加算データの代表差分値（第１比較結果）と周辺比データの代表差分値（第２比較結果）とに基づいて、被写体の動きに関するイベントの発生の有無を示す検出結果ＤＥＴを出力する。

図９を参照して説明したように、加算データに関する代表差分値が第１閾値Ｔｈ１以下である場合、比較部２８５の輝度差分比較部２５０５はＬＯＷを示す比較信号を出力する。したがって、周辺比差分比較部２５０６の出力に関わらず、比較部２８５（ＡＮＤ素子２５０７）は、イベント未検出に相当するＬＯＷを示す検出結果ＤＥＴを出力する（Ｓ２６０４：ＮＯ）。以上の検出結果ＤＥＴを受けたモード制御部２０５は、引き続き、イベント検出モードを指示するモード信号ＭＯＤＥを画素制御部２０４に出力する。画素制御部２０４は、処理をステップＳ２６０１に戻し、加算データの取得を継続する。

加算データに関する代表差分値が第１閾値Ｔｈ１を上回る場合（Ｓ２６０４：ＹＥＳ）、輝度差分比較部２５０５は、ＨＩＧＨを示す比較信号を出力する。ここで、周辺比データに関する代表差分値が第２閾値Ｔｈ２以下である場合、周辺比差分比較部２５０６はＬＯＷを示す比較信号を出力する。したがって、比較部２８５（ＡＮＤ素子２５０７）は、イベント未検出に相当するＬＯＷを示す検出結果ＤＥＴを出力する（Ｓ２６０５：ＮＯ）。以上の検出結果ＤＥＴを受けたモード制御部２０５は、前述と同様に、引き続き、イベント検出モードを指示するモード信号ＭＯＤＥを画素制御部２０４に出力する。画素制御部２０４は、処理をステップＳ２６０１に戻し、加算データの取得を継続する。

以上のように、ステップＳ２６０４とステップＳ２６０５の判定の少なくともいずれかがＮＯである場合、画素制御部２０４は、処理をステップＳ２６０１に戻し、加算データの取得を継続する。

他方、加算データに関する代表差分値が第１閾値Ｔｈ１を上回りかつ周辺比データに関する代表差分値が第２閾値Ｔｈ２を上回ると（Ｓ２６０５：ＹＥＳ）、輝度差分比較部２５０５及び周辺比差分比較部２５０６はそれぞれＨＩＧＨを示す比較信号を出力する。したがって、比較部２８５（ＡＮＤ素子２５０７）は、イベント検出に相当するＨＩＧＨを示す検出結果ＤＥＴを出力する。以上の検出結果ＤＥＴを受けたモード制御部２０５は、通常モードを指示するモード信号を画素制御部２０４に出力する。画素制御部２０４は、以上のモード信号に基づいて、動作モードをイベント検出モードから通常モードに遷移させる。

上記した本実施形態の構成によれば、現在の加算データ（加算出力）と過去の加算データ（加算出力）との比較結果に加えて、現在の加算データの周辺比と過去の加算データの周辺比との比較結果も考慮してイベントが検出される。被写体が動かないようなフレーム全体に亘る一様な輝度（加算データ）の変化が生じても、周辺比の比較結果は大きく変化しないので、不適当なイベントの検出が抑制され、ひいては、不要な動作モードの変更が抑制される。

＜第２実施形態＞
以下、図１４から図１８を参照して、本発明の第２実施形態について説明する。なお、以下に例示する各実施形態において、作用、機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の説明を適宜に省略する。

第１実施形態では、加算データと周辺比データを用いて動作モードを制御している。第２実施形態では、加算データと周辺差データを用いて動作モードを制御する。加えて、第２実施形態では、加算データと周辺差データを用いて通常モードにおけるイベントの検出頻度を変更する。

図１４は、本発明の第２実施形態に係るイベント検出部２０７−２の構成を示すブロック図である。第２実施形態のイベント検出部２０７−２は、第１実施形態の第１比保持部２３００、第２比保持部２４００、および周辺比差分算出部２５００に代えて、第１差保持部２７００、第２差保持部２８００、および周辺差差分算出部２９００を有する。

第１差保持部２７００は、第１加算保持部２１００から供給された現在（現フレーム）の画素ブロック２４０（加算ブロック）ごとの加算データに基づいて、隣接する画素ブロック２４０のペアごとに周辺差データを算出して保持する要素である。第１差保持部２７００が保持する周辺差データは、現在（現フレーム）に対応するデータである。第１差保持部２７００は、保持している現フレームの周辺差データを第２差保持部２８００および周辺差差分算出部２９００に出力する。周辺差データの詳細については図１５を参照して後述する。

第２差保持部２８００は、第１差保持部２７００が算出して出力した周辺差データを保持する要素である。第２差保持部２８００が保持する周辺差データは、過去（前フレーム）に対応するデータである。第２差保持部２８００は、第１差保持部２７００に次フレームの加算データが供給される前に、第１差保持部２７００から加算データおよび周辺差データを取得する。第２差保持部２８００は、保持している前フレームの周辺差データを周辺差差分算出部２９００に出力する。

図１５を参照して、第１差保持部２７００および周辺差データについて詳細に説明する。図１５は、本発明の第２実施形態に係る第１差保持部２７００の構成を示すブロック図である。

第１差保持部２７００は、入力選択部２７０１、出力選択部２７０２、および複数の差データ記憶部２７０３を有する。第１差保持部２７００には、第１加算保持部２１００からＭ個の画素ブロック２４０に対応するＰ行Ｒ列の加算データが入力され、Ｐ行Ｒ列に配置されたＭ個（Ｍ＝Ｐ×Ｒ）の差データ記憶部２７０３に記憶される。

１行目１列目の加算データ（０，０）を記憶する差データ記憶部２７０３（０，０）について説明する。差データ記憶部２７０３（０，０）には、１行目１列目の加算ブロックの加算データ（０，０）と、その周辺に位置する加算ブロック（差データ記憶部２７０３）の加算データとの差が、周辺差データとして記憶される。具体的には、差データ記憶部２７０３（０，０）には、周辺差データとして「加算データ（０，１）−加算データ（０，０）」、「加算データ（１，０）−加算データ（０，０）」および「加算データ（１，１）−加算データ（０，０）」が算出され記憶される。

すなわち、差データ記憶部２７０３（０，０）の加算データ（０，０）と、差データ記憶部２７０３（０，０）の右隣、下隣、右下隣の差データ記憶部２７０３の加算データのそれぞれとの周辺差データが算出され記憶される。本明細書において、周辺差データの算出対象である隣接する２つの加算ブロック（差データ記憶部２７０３）の加算データの組（例えば、加算データ（０，０）と加算データ（１，０）との組）も、第１実施形態と同様に「加算データペア」と称する場合がある。

以上から理解されるように、第２実施形態の周辺差データは、第１実施形態にて図８等を参照して説明された周辺比データの取得において、周辺比データを算出する除算を減算に置換することによって取得できる。したがって、他の差データ記憶部２７０３における処理も、除算が減算に置換される以外は図８に関する処理と同様であるので、説明を省略する。

第１実施形態の周辺比データを用いたモード制御（特に、図１１〜図１３）は、周辺比データを上記した周辺差データに置換することによって同様に実行可能である。

図１６から図１８を参照して、本実施形態における被写体の移動検出と検出頻度（検出フレームレート）の変更について説明する。概略的には、加算データと周辺差データとを用いて被写体の移動が検出される。通常の画像データから構成される通常フレームと前述の加算データから構成される検出フレームとが選択的に取得される構成において、検出フレームの生成頻度を示す検出フレームレートが被写体の位置または移動方向によって制御される。

図１６は、本発明の第２実施形態における被写体の移動検出の説明図である。図１６（ａ）および図１６（ｂ）は、画角内に存在する物体が移動する様子を示している。本例において、撮像素子２００に対応する画角は、以下の３つの領域、すなわち、第１境界３０１０内の領域である中心領域、第１境界３０１０外かつ第２境界３０１１内の領域である中間領域、および第２境界３０１１外の領域である周辺領域に分画される。

図１６（ａ）では、移動する被写体が周辺領域内の画素ブロック３００５（斜線部）に位置している。被写体が位置する画素ブロック３００５には、画素ブロック３００１〜３００４，３００６〜３００９（網掛け部）が隣接している。

図１６（ｂ）では、移動する被写体が、１画素ブロック分だけ左に移動した結果、第２境界３０１１に跨る画素ブロック３００８（斜線部）に位置している。被写体が位置する画素ブロック３００８には、画素ブロック３００４〜３００７，３００９〜３０１２（網掛け部）が隣接している。

被写体が移動しているので、図１６（ａ）のフレームと図１６（ｂ）のフレームとでは画素ブロック３００１〜３０１２に関する周辺差データが大きく変化している。被写体の移動に伴う特定の画素ブロック２４０に関する加算データおよび周辺差データの変化に基づいて、画素制御部２０４は、画角内の被写体の位置および移動方向を検出することができる。例えば、本例において、画素制御部２０４は、画角内の被写体（斜線部）が周辺領域から画角の中心に向かって移動していることを検出できる。後述するように、画素制御部２０４は、画角内の被写体の位置に応じて、通常モードにおける検出フレームレートを調整する。

図１７は、本発明の第２実施形態において取得されるフレーム（データ）を検出フレームレートごとに時系列的に示すタイミングチャートである。第２実施形態の通常モードでは、画素２３０ごとに画像データが取得される通常フレームと画素ブロック２４０ごとに加算データが取得される検出フレームとが混在して取得される。本例では、検出フレームレートが、高頻度レート、中頻度レート、低頻度レートの３段階のうちいずれかに設定される。

図１７（ａ）は、低頻度レートにおける通常フレームＦ３１００〜Ｆ３１１１および検出フレームＦ３１２０，Ｆ３１２１の時系列的な配置を示している。画素制御部２０４は、例えば、被写体が周辺領域に位置する場合に、低頻度レートでフレームを生成するように撮像素子２００の各要素を制御する。１周期において、例えば、１個の検出フレーム当たり３０個の通常フレームが生成される。

図１７（ｂ）は、中頻度レートにおける通常フレームＦ３１３０〜Ｆ３１３５および検出フレームＦ３１４０，Ｆ３１４１の時系列的な配置を示している。画素制御部２０４は、例えば、被写体が中間領域に位置する場合に、中頻度レートでフレームを生成するように撮像素子２００の各要素を制御する。１周期において、例えば、１個の検出フレーム当たり６個の通常フレームが生成される。

図１７（ｃ）は、高頻度レートにおける通常フレームＦ３１５０〜Ｆ３１５３および検出フレームＦ３１６０，Ｆ３１６１の時系列的な配置を示している。画素制御部２０４は、例えば、被写体が中心領域に位置する場合に、高頻度レートでフレームを生成するように撮像素子２００の各要素を制御する。１周期において、例えば、１個の検出フレーム当たり４個の通常フレームが生成される。

以上のように、本例では、被写体が画角の中心に近いほど、検出フレームレートが増加するように制御される。なお、被写体が画角の中心に近いほど、検出フレームレートが減少するように制御されてもよい。また、以下のように、被写体の移動方向に応じて検出フレームレートが制御されてもよい。

図１８は、本発明の第２実施形態における検出フレームレートの調整処理を示すフローチャートである。本フローチャートの開始時において、撮像素子２００は通常モードで動作していると想定する。

ステップＳ３２００において、画素制御部２０４は、現在の検出フレームレートにおける１周期分の通常フレームを取得するように撮像素子２００の各部を制御する。

ステップＳ３２０１において、画素制御部２０４は、１個の検出フレームを取得するように撮像素子２００の各部を制御する。

ステップＳ３２０２において、画素制御部２０４は、前回の１周期で取得された検出フレームと今回の１周期で取得された検出フレームとを比較して、被写体の位置を検出する。

ステップＳ３２０３において、画素制御部２０４は、先に取得した被写体の位置に基づいて被写体の移動方向を判定し、被写体の移動方向が画角の中央に向かう方向であるか否かを判定する。

被写体の移動方向が画角の中央に向かう方向である場合（Ｓ３２０３：ＹＥＳ）、画素制御部２０４は、ステップＳ３２０４において検出フレームレートを増加させ、処理をステップＳ３２００に戻す。他方、被写体の移動方向が画角の中央に向かう方向でない場合（Ｓ３２０３：ＮＯ）、画素制御部２０４は、ステップＳ３２０５において、被写体の移動方向が画角の外側に向かう方向であるか否かを判定する。

被写体の移動方向が画角の外側に向かう方向でない場合（Ｓ３２０５：ＮＯ）、画素制御部２０４は、ステップＳ３２０７において検出フレームレートを現在値に維持し、処理をステップＳ３２００に戻す。他方、被写体の移動方向が画角の外側に向かう方向である場合（Ｓ３２０５：ＹＥＳ）、画素制御部２０４は、ステップＳ３２０８において、被写体が周辺領域に位置しているか否かを判定する。

被写体が周辺領域に位置していない場合（Ｓ３２０８：ＮＯ）、画素制御部２０４は、ステップＳ３２０９において検出フレームレートを減少させ、処理をステップＳ３２００に戻す。他方、被写体が周辺領域に位置している場合（Ｓ３２０８：ＹＥＳ）、画素制御部２０４は、動作モードを通常モードからイベント検出モードに遷移させて、本フローの処理を終了する。

上記した本実施形態の構成によれば、現在の加算データと過去の加算データとの比較結果に加えて、現在の加算データの周辺差と過去の加算データの周辺差との比較結果も考慮して被写体の位置や移動方向が検出される。したがって、被写体の位置や移動方向をより精度良く検出できる。また、被写体の位置や移動方向に基づいて、検出フレームの生成頻度を示す検出フレームレートが調整されるので、イベントの検出頻度をより適切に設定することができる。

＜第３実施形態＞
以下、図１９から図２１を参照して、本発明の第３実施形態について説明する。

図１９は、本発明の第３実施形態における除外処理を適用すべきケースを例示する説明図である。図１９に示すように、発光している吊り照明等の発光物体３３００が画角内に存在している。発光物体３３００の周辺（高照度領域３３０１内）では輝度値（加算データ）の空間的な変化率が大きいので、周辺比データも高い値を取る傾向にある。他方、高照度領域３３０１以外の領域では発光物体３３００の発光による影響が小さいので、周辺比データが比較的低い値を取る。したがって、本例では、特定の特異領域である高照度領域３３０１において取得される周辺比データを除外することによって、モード制御をより適切に実行する。

図２０は、本発明の第３実施形態に係るイベント検出部２０７−３の構成を示すブロック図である。以上のイベント検出部２０７−３は、第１実施形態に係るイベント検出部２０７に加えて、さらに、除外指定部３４００を有する。概略的には、除外指定部３４００は、周辺比差分算出部２５００に対して、図１９に示すような高照度領域３３０１に含まれる画素ブロック２４０に関する周辺比データを除外する処理を実行する。

図２１は、本発明の第３実施形態におけるモード制御処理を示すフローチャートである。ステップＳ３５００からステップＳ３５０５の処理は、図１３のステップＳ２６００からＳ２６００の処理と同様であるから、説明を省略する。

ステップＳ３５０５の判定がＹＥＳの場合、ステップＳ３５０６にて、除外指定部３４００は、周辺比差分算出部２５００が周辺比データの代表差分値である第２比較結果を算出する際に、高照度領域３３０１に含まれる画素ブロック２４０を算出から除外する。すなわち、高照度領域３３０１に含まれる画素ブロック２４０の加算データに基づいて先に算出された周辺比データが、第２比較結果の取得において除外される。

除外後の第２比較結果が第２閾値Ｔｈ２以下であると周辺比差分比較部２５０６がＬＯＷを示す比較信号を出力するので、比較部２８５（ＡＮＤ素子２５０７）はイベント未検出に相当するＬＯＷを示す検出結果ＤＥＴを出力する（Ｓ３５０６：ＮＯ）。以上の検出結果ＤＥＴを受けたモード制御部２０５は、引き続き、イベント検出モードを指示するモード信号ＭＯＤＥを画素制御部２０４に出力する。画素制御部２０４は、処理をステップＳ３５０１に戻し、加算データの取得を継続する。

他方、除外後の第２比較結果が第２閾値Ｔｈ２を上回ると周辺比差分比較部２５０６はＨＩＧＨを示す比較信号を出力するので、比較部２８５（ＡＮＤ素子２５０７）はイベント検出に相当するＨＩＧＨを示す検出結果ＤＥＴを出力する（Ｓ３５０６：ＹＥＳ）。以上の検出結果ＤＥＴを受けたモード制御部２０５は、通常モードを指示するモード信号を画素制御部２０４に出力する。画素制御部２０４は、以上のモード信号に基づいて、動作モードをイベント検出モードから通常モードに遷移させる。

以上の第３実施形態の構成を、周辺差を用いてモード制御を実行する第２実施形態の構成に適用してもよい。

上記した本実施形態の構成によれば、第１実施形態と同様の技術的効果が奏される。加えて、除外指定部３４００によって、特定の特異領域に含まれる画素ブロック２４０に関する周辺比データがモード制御の際に除外されるので、モード制御がより適切に実行される。

＜変形例＞
以上の各実施形態は多様に変形される。具体的な変形の態様を以下に例示する。以上の実施形態および以下の例示から任意に選択された２以上の態様は、相互に矛盾しない限り適宜に併合され得る。

上記した実施形態において、イベント検出モードにおけるフレームレートを通常モードにおけるフレームレートよりも低下させてもよい。例えば、通常モードでは垂直同期信号ＶＤを１秒に３０フレーム分出力し、イベント検出モードでは垂直同期信号ＶＤを１秒に１０フレーム分出力してもよい。以上の変形例によれば、イベント検出モードの消費電力を通常モードの消費電力よりもさらに低減できる。

上記した実施形態の通常モードにおいて、少数の画素２３０の画素信号、例えば、隣接する同色２個の画素２３０の画素信号が加算されてもよい。

上記した実施形態において、加算単位である画素ブロック２４０が含む画素２３０の数および配置は任意である。また、画素信号は、ＦＤ４０７以外の手段によって加算されてもよい。例えば、複数の画素２３０を同時に選択して垂直信号線４１０に画素信号を出力することで加算してもよい。また、ＡＤ変換部２０２の前段に加算回路を設けて画素信号を水平方向に亘って加算してもよい。

上記した実施形態において、イベント検出部２０７の第１加算保持部２１００および第２加算保持部２２００はそれぞれ現在の加算データおよび過去の加算データを保持し、輝度差分算出部２８４が現在の加算データおよび過去の加算データの差分を算出する。しかしながら、例えば、差分は、積算したデータを現在の加算データおよび過去の加算データと比較することによって取得されてもよい。以上の積算においては、加算データごとに重みが乗算されてもよい。

上記した実施形態において、イベント検出部２０７は、被写体の動きをイベントとして検出している。しかしながら、イベント検出部２０７は、加算データを用いて検出可能な任意のイベントを検出してもよい。例えば、イベント検出部２０７が、画像認識を実行して人物等の特定物体の有無を検出してもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１１２ 制御部
１１３ 表示部
２００ 撮像素子
２０１ 画素部
２０４ 画素制御部
２０５ モード制御部
２０７ イベント検出部
２３０ 画素
２４０ 画素ブロック
２８２ 積算部
２８４ 輝度差分算出部
２８５ 比較部
２１００ 第１加算保持部
２２００ 第２加算保持部
２３００ 第１比保持部
２４００ 第２比保持部
２５００ 周辺比差分算出部
２７００ 第１差保持部
２８００ 第２差保持部
２９００ 周辺差差分算出部
Ｔｈ１ 第１閾値
Ｔｈ２ 第２閾値

Claims (11)

1. ２次元的に配置され各々が画素信号を生成する複数の画素を各々が含む複数の画素ブロックを有する画素部と、
   前記画素部からの出力に基づいて被写体に関するイベントの発生を検出するイベント検出部と、
   前記イベント検出部による検出結果に基づいて通常モードとイベント検出モードとを切り替えるモード制御部と、を備え、
   前記イベント検出モードにおいて、
   前記画素部は、前記画素ブロックが含む複数の前記画素が生成する前記画素信号を前記画素ブロックごとに加算して出力し、
   前記イベント検出部は、
   現在の加算出力と過去の加算出力とを前記画素ブロックのそれぞれにおいて比較して取得した第１比較結果と、
   隣接する前記画素ブロックのペアにおける前記現在の加算出力の比または差である現在の周辺比または周辺差と、前記ペアにおける前記過去の加算出力の比または差である過去の周辺比または周辺差とを、複数の前記ペアのそれぞれにおいて比較して取得した第２比較結果とに応じて検出結果を出力する、ことを特徴とする撮像素子。
2. 前記イベント検出部は、
   前記現在の加算出力を前記画素ブロックごとに記憶する第１加算保持部と、
   前記第１加算保持部から出力される前記現在の加算出力を前記過去の加算出力として前記画素ブロックごとに記憶する第２加算保持部と、
   前記第１加算保持部から出力される前記現在の加算出力と前記第２加算保持部から出力される前記過去の加算出力との差分を前記画素ブロックごとに算出し、絶対値が最も大きい差分を前記第１比較結果として出力する輝度差分算出部と、を備えることを特徴とする請求項１に記載の撮像素子。
3. 前記イベント検出部は、
   前記現在の加算出力の比である前記現在の周辺比を隣接する前記画素ブロックの前記ペアごとに記憶する第１比保持部と、
   前記第１比保持部から出力される前記現在の周辺比を前記過去の周辺比として隣接する前記画素ブロックの前記ペアごとに記憶する第２比保持部と、
   前記第１比保持部から出力される前記現在の周辺比と前記第２比保持部から出力される前記過去の周辺比との差分を、隣接する前記画素ブロックの前記ペアごとに算出し、絶対値が最も大きい差分を前記第２比較結果として出力する周辺比差分算出部と、を備えることを特徴とする請求項２に記載の撮像素子。
4. 前記周辺比差分算出部が前記第２比較結果を算出する際に、特定の領域に含まれる前記画素ブロックに関する前記周辺比を除外する除外指定部を備える、ことを特徴とする請求項３に記載の撮像素子。
5. 前記イベント検出部は、
   前記現在の加算出力の差である前記現在の周辺差を隣接する前記画素ブロックの前記ペアごとに記憶する第１差保持部と、
   前記第１差保持部から出力される前記現在の周辺差を前記過去の周辺差として隣接する前記画素ブロックの前記ペアごとに記憶する第２差保持部と、
   前記第１差保持部から出力される前記現在の周辺差と前記第２差保持部から出力される前記過去の周辺差との差分を、隣接する前記画素ブロックの前記ペアごとに算出し、絶対値が最も大きい差分を前記第２比較結果として出力する周辺差差分算出部と、を備えることを特徴とする請求項２に記載の撮像素子。
6. 前記通常モードにおいて、前記現在の加算出力および前記過去の加算出力並びに前記現在の周辺差および前記過去の周辺差に基づいて取得された前記被写体の位置または移動方向に基づいて、前記イベント検出部によるイベント検出のフレームレートを設定する画素制御部をさらに備える、ことを特徴とする請求項５に記載の撮像素子。
7. 前記イベント検出部は、前記第１比較結果が第１閾値を上回り、かつ前記第２比較結果が第２閾値を上回る場合に、前記イベントの発生を検出したことを示す前記検出結果を前記モード制御部に出力する、ことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像素子。
8. ２次元的に配置され各々が画素信号を生成する複数の画素を各々が含む複数の画素ブロックを有する画素部と、
   前記画素部からの出力に基づいて被写体に関するイベントの発生を検出するイベント検出部と、
   前記イベント検出部による検出結果に基づいて通常モードとイベント検出モードとを切り替えるモード制御部と、を備える撮像素子を備え、
   前記イベント検出モードにおいて、
   前記画素部は、前記画素ブロックが含む複数の前記画素が生成する前記画素信号を前記画素ブロックごとに加算して出力し、
   前記イベント検出部は、
   現在の加算出力と過去の加算出力とを前記画素ブロックのそれぞれにおいて比較して取得した第１比較結果と、
   隣接する前記画素ブロックのペアにおける前記現在の加算出力の比または差である現在の周辺比または周辺差と、前記ペアにおける前記過去の加算出力の比または差である過去の周辺比または周辺差とを、複数の前記ペアのそれぞれにおいて比較して取得した第２比較結果とに応じて前記検出結果を出力する、ことを特徴とする撮像装置。
9. 前記モード制御部によって設定された動作モードを表示する表示部を備える、ことを特徴とする請求項８に記載の撮像装置。
10. ２次元的に配置され各々が画素信号を生成する複数の画素を各々が含む複数の画素ブロックを有する画素部を備える撮像素子の制御方法であって、
    前記画素部からの出力に基づいて被写体に関するイベントの発生を検出することと、
    イベントの発生の検出に基づいて通常モードとイベント検出モードとを切り替えることと、を備え、
    前記イベント検出モードにおいて、前記画素ブロックが含む複数の前記画素が生成する前記画素信号が前記画素ブロックごとに加算されて出力され、
    現在の加算出力と過去の加算出力とを前記画素ブロックのそれぞれにおいて比較して取得した第１比較結果と、
    隣接する前記画素ブロックのペアにおける前記現在の加算出力の比または差である現在の周辺比または周辺差と、前記ペアにおける前記過去の加算出力の比または差である過去の周辺比または周辺差とを、複数の前記ペアのそれぞれにおいて比較して取得した第２比較結果とに応じて前記検出結果が出力される、ことを特徴とする制御方法。
11. 請求項１０に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。