JP2021027488A - 撮像素子及びその制御方法、撮像装置 - Google Patents

Abstract

【課題】明暗差の大きいシーンであっても高い精度で被写体の変化を検知し、適切な露出で被写体を撮影することが可能な撮像素子を提供する。【解決手段】撮像素子２００は、画素アレイ部２２０と、制御モード部２１６と、イベント検知部２１４を有する。制御モード部２１６は、複数の露出条件で複数の画素ブロックごとに画像信号を加算して読み出して被写体を撮像する検知モードと、複数の画素ごとに画像信号を読み出して被写体を撮像する通常モードとを切り替える。イベント検知部２１４は、検知モードでの撮像により得られる画像データに基づいて被写体の変化を検知する。イベント検知部２１４が被写体が変化したことを検知した場合に、モード制御部２１６は検知モードから通常モードへ移行して撮像を行う。【選択図】図２

Description

本発明は、撮像素子及びその制御方法、撮像装置に関し、特に被写体の変化を検知し、被写体の変化が検知された場合の撮像素子の制御に関する。

観測や監視等を目的として撮像装置が広く利用されており、所定間隔による撮像だけでなく、前後のフレーム（画像データ）間での輝度値の差分を用いて被写体の変化を検知し、検知結果に基づいて撮影と記憶動作を開始する撮像装置が知られている。

例えば、特許文献１に開示された撮像装置では、通常撮影時の撮影モードとは異なる撮影モード（画素加算モード）で被写体の変化を検知する。そして、画素加算モードでは、撮像素子の画素アレイ部の面内を複数のブロックに分割し、ブロックごとに出力される画像信号を用いることにより、画像データの作成及び輝度情報を得るための情報処理量を減少させて、消費電力を低減させている。

また、撮像装置が１回の撮影で取得可能な画像のダイナミックレンジよりも見かけ上広いハイダイナミックレンジの画像（ＨＤＲ画像）を生成するために、露出を変えた複数枚の写真を撮影し、それらを合成する手法（マルチショットＨＤＲ）が広く知られている。そして、動画撮影においても、複数のフレームで露出を変え、得られたフレームを合成することによってハイダイナミックレンジの動画（ＨＤＲ動画）を作成する手法が、例えば特許文献２に開示されている。

特開２０１８−２２９３５号公報 特開平６−２７３３５４号公報

しかしながら、上記特許文献１，２に記載された技術では、単一の露出条件でしか被写体の変化を検知しないため、明暗差が大きいシーンでは露出不足による黒潰れや露出過多による白飛びによって、被写体の変化を検知できない場合がある。また、通常撮影において、ＨＤＲ合成処理は、明暗差の大きい被写体に対しては有用であるが、明暗差の小さい被写体に対しては効果が小さく、逆に、適切な撮影画像が得られない場合がある。つまり、露出条件を変えた不要な画像読み出しを行った上に、撮影画像が低品質になってしまうという事態が生じ得る。

本発明は、明暗差の大きいシーンであっても高い精度で被写体の変化を検知し、適切な露出で被写体を撮影することが可能な撮像素子を提供することを目的とする。

本発明に係る撮像素子は、複数の画素を有する複数の画素ブロックが行方向と列方向に配置された画素アレイ部と、複数の露出条件で前記複数の画素ブロックごとに前記複数の画素の画像信号を加算して読み出すことにより被写体を撮像する検知モードと前記複数の画素のそれぞれから画像信号を読み出して被写体を撮像する通常モードとを切り替える制御手段と、前記検知モードでの撮像により得られる画像データに基づいて被写体の変化を検知する検知手段と、を備え、前記制御手段は、前記複数の露出条件のうち少なくとも１つの露出条件での撮像で被写体が変化したと判定された場合に前記検知モードから前記通常モードへの移行を行うことを特徴とする。

本発明によれば、明暗差の大きいシーンであっても高い精度で被写体の変化を検知して、適切な露出で被写体を撮像することが可能になる。

本発明の実施形態に係る撮像装置のブロック図である。 撮像装置が備える撮像素子の構成例を示すブロック図である。 撮像素子の画素アレイ部の構成例を示す図である。 画素アレイ部を構成する画素と画素ブロックの等価回路図である。 撮像素子のイベント検知部の構成例を示すブロック図である。 撮影画面上の被写体の一例と、画素ブロックごとの画素値を模式的に示した図である。 撮影画面上の被写体の別の例と、画素ブロックごとの画素値を模式的に表した図である。 検知モードにおける撮像動作と、検知モードから通常モードへの移行動作を模式的に表す図である。 撮像装置の動作の一例を示すフローチャートである。 ＨＤＲ撮像モードとＳＤＲ撮像モードでの画像データの取得方法を説明する図である。 ＨＤＲ合成処理での入射光量と信号量との関係を説明する図である。 撮像装置が備える撮像素子の別の構成例を示すブロック図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００のブロック図である。撮像装置１００は、撮像レンズ１０１、撮像素子２００、画像処理回路１０２、制御回路１０３、メモリ回路１０４、記録回路１０５、表示回路１０６及び操作回路１０７を有する。なお、撮像装置１００では静止画撮影と動画撮影が可能であるが、本実施形態における撮像装置１００の特徴は動画撮影時の動作にあるため、以下、動画撮影時の動作等を中心に説明を行う。

撮像レンズ１０１は、被写体からの光を集光し、光学像（被写体像）を撮像素子２００に結像させる。撮像素子２００は、具体的にはＣＭＯＳセンサであり、撮像レンズ１０１を通して入射して結像した像を光電変換して得られる画像信号をデジタル信号に変換することにより画像データを生成し、出力する。

撮像素子２００は、画像データにおける変化領域とその変化量を検出し、検出結果に応じて自身の動作を変更する制御機能を有する。なお、以下の説明では、撮影画面上への被写体の進入や移動等の被写体の変化を“イベント”と称呼する。

画像処理回路１０２は、撮像素子２００から出力される画像データに対して、フィルタ処理等の各種補正、圧縮やリサイズ等の画像処理を行う。また、画像処理回路１０２は、後述のＨＤＲ撮像モードでの撮像が実行された際に、異なる露出条件により得られた画像データのＨＤＲ合成処理を行う。

制御回路１０３は、撮像素子２００の駆動タイミングを制御すると共に撮像装置１００を構成する各部の動作を制御することにより、撮像装置１００全体の統括的な駆動と制御を行う。制御回路１０３はまた、ユーザの命令（不図示の操作部材のユーザによる操作）を受けて設定された撮影モードに応じて、撮像装置１００を構成する各部の動作を制御する。

撮影モードには、静止画撮影モードと動画撮影モードがある。動画撮影モードには後述する検知モードと通常モードがあり、通常モードには、ＨＤＲ撮像モードと、後述するＳＤＲ撮像モードとがある。制御回路１０３は、撮像素子２００の検知モードでの動作の許可／不許可の制御を行う。詳細は後述するが、検知モードでは撮像素子２００によりイベント検知が行われ、イベント検知結果に基づいて、検知モードからＨＤＲ撮像モード又はＳＤＲ撮像モードへのモード変更が行われる。ＨＤＲ撮像モードとＳＤＲ撮像モードではそれぞれ、撮像装置１００での設定に応じて、ＳＤ撮影、ＨＤ撮影、ＦｕｌｌＨＤ撮影、４Ｋ撮影等を行うことが可能になっている。

メモリ回路１０４は、画像処理回路１０２や記録回路１０５から出力される画像データを一時的に記憶する不揮発性メモリ等の記憶手段である。記録回路１０５は、画像処理回路１０２から出力される画像データを記憶するメモリカード等の記録媒体である。表示回路１０６は、撮影画像や各種の設定画面等を表示する。操作回路１０７は、ユーザによる不図示の操作部材に対する操作に応じて、操作部材に割り当てられている命令を生成し、生成した命令を制御回路１０３へ送信する。

図２は、撮像素子２００の構成例を示すブロック図である。撮像素子２００は、画素アレイ部２２０、Ａ／Ｄ変換回路２１２、水平走査回路２１３、イベント検知部２１４、信号処理部２１５、モード制御部２１６及び露光制御部２１７を備える。

画素アレイ部２２０は、複数の画素が行列状に配置された構造を有する。画素アレイ部２２０は、画素単位で信号を出力する機能と、画素アレイ部２２０の面内を所定の領域に分割したブロック（以下「画素ブロック」という）を単位として画素ブロック内の複数の画素の信号を加算して出力する機能を有する。以下の説明では、画素単位であるか画素ブロック単位であるかを問わず、画素アレイ部２２０から読み出される信号を「画像信号」と表現する。画素アレイ部２２０から出力される画像信号は、Ａ／Ｄ変換回路２１２により画素列ごとに又は画素ブロックのブロック列ごとにデジタル信号からなる画像データに変換された後、水平走査回路２１３の駆動により、順次、イベント検知部２１４へ転送される。

イベント検知部２１４は、モード制御部２１６の制御信号を受けて、画像データから画素ブロックごとの画素値を検出し、イベント発生の判断基準に用いる。また、イベント検知部２１４は、イベントが検知された画素ブロックの分布状態に基づいて、被写体の移動速度の目安となる被写体移動量を算出し、イベント検知結果と被写体移動量の情報を撮像素子２００の駆動を制御するモード制御部２１６へ送信する。

イベント検知部２１４は、画素アレイ部２２０から画素単位で画像信号が出力されていた場合には、取得した画像データをそのまま信号処理部２１５へ転送する。一方、イベント検知部２１４は、画素アレイ部２２０から画素ブロック単位で画像信号が出力されていた場合には、画素ブロックごとの画素値を積算した積算データを生成して露光制御部２１７へ供給する。信号処理部２１５は、イベント検知部２１４から取得した画像データの前後に画素ごと又は画素ブロックごとの画素値の変化量や撮影モード等の情報データを付帯して、外部（制御回路１０３、画像処理回路１０２）へ出力する。

モード制御部２１６は、イベント検知部２１４又は制御回路１０３からの信号を受けて、Ａ／Ｄ変換回路２１２、水平走査回路２１３及び垂直走査回路２１０のそれぞれに駆動タイミング制御信号を供給し、撮像素子２００の駆動制御を行う。また、モード制御部２１６は、制御回路１０３によって撮像素子２００を検知モードで動作させる許可が下りている場合に撮像素子２００を検知モードに設定し、画素ブロックごとに画素ブロック内の複数の画素の画像信号を加算して出力する駆動を開始させる。

垂直走査回路２１１は、行ごとに接続される信号線を介して画素単位又は画素ブロック単位での行選択と駆動を行う。露光制御部２１７は、イベント検知部２１４からの積算データに基づいて撮像素子２００の露光制御（露光時間の算出）を行い、モード制御部２１６へ撮像素子２００の露光制御信号を供給する。

本実施形態では、撮影モードが検知モードに設定されている場合に、複数の露光時間での撮像を行うことによってイベント検知を行う。そのため、露光制御部２１７は、適正露出の露光時間Ｔ_Ｒ、高露出（オーバー露出）の露光時間Ｔ_Ｈ及び低露出（アンダー露出）の露光時間Ｔ_Ｌを算出する。なお、本実施形態では、Ｔ_Ｈ＝２×Ｔ_Ｒ、Ｔ_Ｌ＝０．５×Ｔ_Ｒとする。また、それぞれの露光時間Ｔ_Ｒ，Ｔ_Ｈ，Ｔ_Ｌに対して設定されている絞り値は同一であるとする。

図３は、画素アレイ部２２０の構成例を示す図である。画素アレイ部２２０は、複数の画素２３０が行列状に配置されて形成されている。画素２３０は、ｎ行（１〜ｎ）、ｍ列（１〜ｍ）で表現されるが、図３には４行×４列の部分のみが示されている。

複数の画素２３０は、イベント検知を行うための単位としての画素ブロック２４０に分けられており、各画素ブロック２４０はそれぞれ、所定数の画素２３０からなる。本実施形態では、［行方向２つの画素２３０］×［列方向２つの画素２３０］、の４つの画素２３０で１つの画素ブロック２４０が形成されているものとする。但し、画素ブロック２４０を構成する画素２３０の数及び行列数はこれに限られるものではなく、撮像対象とする被写体のサイズに合わせて設定することができる。

画素ブロック２４０を単位とする各ブロック行には、行方向での水平信号線として、２つのリセット制御信号、２つの行選択制御信号、２つの転送制御信号、加算信号、加算後の信号選択制御信号が配線される。図３では、リセット制御信号は“ＲＳＴ ｎ”で、行選択制御信号は“ＳＥＬ ｎ”で、転送制御信号は“ＴＸｎ”で、加算信号は“ＡＤＤ Ｎ”で、加算後の信号選択制御信号は“ＡＤＤ＿ＳＥＬ Ｎ”で表されている。

複数の画素２３０のそれぞれに、リセット制御信号、行選択制御信号及び転送制御信号が配線されている。また、画素ブロック２４０ごとに、加算信号、加算後の信号選択制御信号が配線されている。列方向には垂直信号線４１０が配線されており、画素２３０からの出力が垂直信号線４１０を介してＡ／Ｄ変換回路２１２に入力されると、各水平信号線の選択駆動が行われる。これにより撮像素子２００から行単位で、順次、各垂直信号線４１０を介して出力が行われる。

動画撮影を行う通常モードでは、画素２３０ごとの画像信号が、順次、画素アレイ部２２０から出力される。つまり、通常モードでは、各画素２３０においてフローティングディフュージョン（以下「ＦＤ」と記す）に転送した電荷に応じた信号を画素２３０ごとに読み出す。これに対して検知モードでは、画素ブロック２４０内のＦＤごとの加算スイッチを動作させることにより、画素ブロック２４０内の各画素２３０で蓄積された電荷が加算され、加算された電荷に応じた信号が特定の画素２３０を通じて出力される。

図４は、画素２３０と画素ブロック２４０の等価回路図である。以下の説明において、“ＴＳ”は転送スイッチを表し、“ＰＤ”はフォトダイオードを表し、“ＳＦＡ”はソースフォロアアンプを表し、“ＲＳ”はリセットスイッチを表すものとする。

前述の通り、４つの画素２３０が２行×２列で配置されて、１つの画素ブロック２４０が形成されている。例えば、左上の画素のＰＤ４０６−１で発生して蓄積された電荷は、転送制御信号ＴＸ１を制御することにより、ＴＳ４０５−１を介してＦＤ４０７−１に転送される。ＳＦＡ４０８−１は、垂直出力線に接続された定電流源４１１−１と共に構成されており、ＦＤ４０７−１に蓄積された電荷に基づく電圧信号を増幅して出力する。なお、行選択制御信号ＳＥＬ１が行選択スイッチ４０９−１を制御して、ＳＡＦ４０８−１の出力を垂直出力線４１０−１へ接続する。

例えば、ＦＤ４０７−１に蓄積されている不要電荷をリセットする場合、リセット制御信号ＲＳＴ１によりＲＳ４０４−１を制御する。更にＰＤ４０６−１をリセットする際には、リセット制御信号ＲＳＴ１によりＲＳ４０４−１を制御すると共に転送制御信号ＴＸ１によりＴＳ４０５−１を制御して、リセットを実行する。転送制御信号ＴＸ１、リセット制御信号ＲＳＴ１及び行選択制御信号ＳＥＬ１は、垂直走査回路２１１に接続されており、行ごとに制御信号を持つ。

通常モードでは、各画素２３０においてＦＤ４０７−１〜４に転送した電荷に応じた電圧信号を画素２３０ごとに読み出すことで、画素アレイ部２２０からの出力とする。一方、検知モードでは、各画素２３０においてＦＤ４０７−１〜４に転送した電荷を、加算信号ＡＤＤでスイッチ４１３，４１４，４１５をオンしてＦＤ４０７−１〜４で加算平均する。その後、加算後の信号選択制御信号ＡＤＤ＿ＳＥＬを制御して、加算平均した電荷に応じた電圧信号を画素２３０−３から読み出す。このようにして、２行×２列の画素のＦＤで加算した電荷に応じた電圧信号を検知モードでの画素アレイ部２２０からの出力とする。

なお、画素ブロック２４０単位での画像信号の読み出しは、ＦＤでの電荷加算により読み出す方法に限られず、垂直出力線で複数の行を接続して加算し、水平加算はＡ／Ｄ変換回路２１２の前に加算回路を設けて実施する構成としてもよい。

図５は、イベント検知部２１４の構成例を示すブロック図である。イベント検知部２１４は、出力切替回路２６０、積算演算処理回路２６１、メモリ２６２、差分検出回路２６３及び比較回路２６４を備える。

出力切替回路２６０は、設定されている撮影モードに応じてＡ／Ｄ変換回路２１２から送られてくる画像データの出力先（転送先）を切り替える。具体的には、出力切替回路２６０は、検知モードに設定されていることを示す制御信号をモード制御部２１６から受信している場合、イベント検知を行わせるために、画像データの出力先を積算演算処理回路２６１に設定する。積算演算処理回路２６１は、出力切替回路２６０から取得した画像データにおける画素ブロック２４０ごとの画素値を画素ブロック２４０単位で積算処理し、積算データを露光制御部２１７へ供給する。また、積算演算処理回路２６１は、画素ブロック２４０ごとの画素値をメモリ２６２へ出力する。

一方、出力切替回路２６０は、通常モードに設定されていることを示す制御信号をモード制御部２１６から受信している場合、画像データの出力先を信号処理部２１５（撮像素子２００の外部）に設定する。

メモリ２６２は、画素ブロック２４０ごとの画素値とその画素ブロック２４０の撮像素子２００の面内での分割位置情報を過去データとして記憶する。差分検出回路２６３は、直近に読み出された画素ブロック２４０ごとの画素値とメモリ２６２に記憶されている過去データでの画素ブロック２４０ごとの画素値とに基づき、その画素ブロック２４０での撮像素子２００の面内分割位置での差分データを作成する。作成された差分データは、比較回路２６４へ供給される。比較回路２６４は、取得した差分データと所定の閾値とを比較し、比較結果をモード制御部２１６へ送る。

図６（ａ）は、撮影画面上の被写体の一例を示した図である。ここでは、画素アレイ部２２０では４行×４列の画素ブロックに分けられており、右下の２行×２列の画素ブロックに被写体としての家屋が映り込んでいる。１つの画素ブロックは、図３を参照して説明した画素ブロック２４０に対応する。説明の便宜上、以下では、１６個の画素ブロックについて、「画素ブロック」の文言の直後に行を表す０〜３を、その後ろに列を表す０〜３を付して説明を行う。例えば、画面左上は“画素ブロック００”、画面右上は“画素ブロック０３”、画面左下は“画素ブロック３０”、画面右下は“画素ブロック３３”と表される。

図６（ｂ）は、図６（ａ）のように被写体が撮像されている状態での画素ブロックごとの画素値を模式的に表した図である。家屋部分に位置する画素ブロック２３，２４，３２，３３からの画素値は、家屋およびその背景を反映した値となる。ここでは、家屋に対する背景が明るいシーンが設定されており、そのため、家屋と背景の占める割合に起因して、画素ブロック２３，２４の画素値は画素ブロック３３，３４の画素値よりも小さくなっている。図６（ｂ）は、このような画素値の大小を濃淡で表しており、画素ブロック３３，３４は画素ブロック２３，２４よりも濃く表されている。

図７（ａ）は、図６（ａ）と同様に、撮影画面上の被写体の一例を示した図である。図７（ａ）では、図６（ａ）の撮影画面の左下の１ブロックに人物が進入したものとなっている。図７（ｂ）は、図７（ａ）のように被写体が撮像されている状態での画素ブロックごとの画素値を模式的に表した図であり、画素ブロック３０の画素値が変化する。ここでは、画素ブロック３０の画素値は画素ブロック２３，２４の画素値よりも小さく、よって、画素ブロック３０は画素ブロック２３，２４よりも薄く表されている。

図６（ａ）から図７（ａ）へと被写体が変化した場合、イベント検知部２１４によりイベントが検知され、イベント検知部２１４は画素ブロックごとの画素値の差分データを作成する。具体的には、差分検出回路２６３が、メモリ２６２に過去データとして保持されている図６（ｂ）の画素ブロックごとの画素値と、直近で読み出された図７（ｂ）の画素ブロックごとの画素値とから、同じ位置の画素ブロックごとに差分を求める。比較回路２６４は、差分が変化している画素ブロックごとに差分を所定の閾値と比較する。図７（ｂ）の場合、画素ブロック３０での差分が閾値よりも大きいと判断されることで、画素ブロック３０においてイベントが検知される。本実施形態では、複数の露出条件でイベント検知を行うため、差分検出回路２６３は同一の露出条件で撮像された連続する２つのフレーム（画像データ）の間の差分を検出する。

次に、検知モードにおける複数の露出条件でのイベント検知について説明する。図８（ａ）は、検知モードにおける露光時間の異なるフレームごとの撮像動作を模式的に表す図である。検知モードでは、露光制御部２１７により露光時間が制御され、露光時間Ｔ_Ｌの撮像と露光時間Ｔ_Ｈの撮像が交互に実施される。露光時間Ｔ_Ｌでの撮像により得られた画素ブロック単位での画像データは、積算演算処理回路２６１によりメモリ２６２内に確保された低露出検知用メモリに一時記憶される。また、露光時間Ｔ_Ｈでの撮像により得られた画素ブロック単位での画像データはメモリ２６２内に確保された高露出検知用メモリに一時記憶される。以下の説明では、低露出検知用メモリに一時記憶された画像データを「過去データＬ」と称呼し、高露出検知用メモリに一時記憶された画像データを「過去データＨ」と称呼する。

差分検出回路２６３は、露光時間Ｔ_Ｌで撮像された画像データと過去データＬとの差分を作成し、また、露光時間Ｔ_Ｈで撮像された画像データと過去データＨとの差分を作成する。こうして、同一の露光時間で撮像された画像データ同士でイベント検知が行われる。

図８（ｂ）は、動画撮影時における検知モードから通常モードへの移行動作を示す図である。露光時間Ｔ_Ｌのフレーム（画像データ）でイベントが検知された場合（イベント検知（１））、露光時間Ｔ_Ｈで撮像を行い、得られたフレームでもイベントが検知されるか否かを判定（イベント検知（２））した後に、通常モードに移行する。イベント検知部２１４は、イベント検知（２）でイベントが検知された場合には、通常モードの１つであるＨＤＲ撮像モードでの撮像を行い、イベント検知（２）でイベントが検知されない場合には、通常モードの別の１つであるＳＤＲ撮像モードでの撮像を行う。

イベント検知（２）でイベントが検知された場合、明るいシーンに対応する露光時間Ｔ_Ｌのフレームでイベントが検知され、且つ、暗いシーンに対応する露光時間Ｔ_Ｈのフレームでもイベントが検知されたことになる。この場合、各シーンで検知されたイベント（被写体）を明瞭に撮像するためには、より広いダイナミックレンジが必要になるため、ＨＤＲ合成処理を行うようにする。

なお、ＨＤＲ撮像モードでは、ＨＤＲ合成処理により撮影画像のダイナミックレンジの拡大を行う。一方、ＳＤＲ撮像モードは、単位時間内に単一の露出で撮像した画像データを出力する標準的な撮像を行うモードであり、ＨＤＲ撮像モードのようなＨＤＲ合成処理を行わない。モード制御部２１６は、ＨＤＲ撮像モード又はＳＤＲ撮像モードでの撮像素子２００の動作を制御する。

なお、露光時間Ｔ_Ｌのフレームで先にイベントが検知された場合について説明したが、露光時間Ｔ_Ｈのフレームで先にイベントが検知された場合も同様の制御が行われる。つまり、上記説明での「露光時間Ｔ_Ｈ」と「露光時間Ｔ_Ｌ」とを入れ替えた制御が行われる。

図９は、撮像装置１００の動作の一例を示すフローチャートである。図９のフローチャートにＳ番号で示す処理（ステップ）は、制御回路１０３が所定のプログラムを実行して撮像装置１００の各部の動作を統括的に制御することによって実現される。なお、各ステップのうち、制御回路１０３の制御下で撮像素子２００の所定の機能部が実行するステップについては、動作（制御）主体をそれらの機能部として説明する。

Ｓ５０１にて制御回路１０３は、撮像素子２００に対して検知モードでの動作を許可する。これにより、撮像素子２００は検知モードでの動作を開始する。また、Ｓ５０１では検知モードでの動作を開始したモード制御部２１６が、露光時間を指定するための変数ＥＸＰに初期値としてＨを代入する。なお、変数ＥＸＰは、Ｈ又はＬの値を取るものとする。Ｓ５０２にてモード制御部２１６は、変数ＥＸＰがＨか否かを判定する。モード制御部２１６は、変数ＥＸＰがＨであると判定した場合（Ｓ５０２でＹＥＳ）、処理をＳ５０３へ進め、変数ＥＸＰがＨではない（Ｌである）と判定した場合（Ｓ５０２でＮＯ）、処理をＳ５０４へ進める。

Ｓ５０３にてモード制御部２１６は、露光時間Ｔ_Ｈで撮像を行う。これにより、画素アレイ部２２０の画素ブロックごとに画像信号が読み出され、Ａ／Ｄ変換されて生成されたフレーム（過去データＨ）がメモリ２６２に一時記憶される。また、Ｓ５０３においてモード制御部２１６は、露光時間Ｔ_Ｈでの撮像後に変数ＥＸＰにＬを代入し、その後、処理をＳ５０５へ進める。

Ｓ５０４にてモード制御部２１６は、露光時間Ｔ_Ｌで撮像を行う。これにより、画素アレイ部２２０の画素ブロックごとに画像信号が読み出され、Ａ／Ｄ変換されて生成されたフレーム（過去データＬ）がメモリ２６２に一時記憶される。また、Ｓ５０４においてモード制御部２１６は、露光時間Ｔ_Ｌでの撮像後に変数ＥＸＰにＨを代入し、その後、処理をＳ５０５へ進める。

Ｓ５０５にてモード制御部２１６は、直前のＳ５０３で取得した過去データＨ又は直前のＳ５０４で取得した過去データＬが、検知モードに移行してから取得した３枚目のフレームのものか否かを判定する。モード制御部２１６は、３枚目のフレームではない（つまり、１枚目又は２枚目である）と判定した場合（Ｓ５０５でＮＯ）、イベントを検知するための差分データを得ることができないため、処理をＳ５０２へ戻す。一方、モード制御部２１６は、３枚目のフレームである（過去データＨ，Ｌの一方は２フレームある）と判定した場合（Ｓ５０５でＹＥＳ）、処理をＳ５０６へ進める。

Ｓ５０６ではイベント検知部２１４の差分検出回路２６３が、メモリ２６２に一保持されている過去データＨ同士又は過去データＬ同士を比較して差分データを作成する。つまり、少なくとも２フレーム分の画像データが記憶されている過去データについて、差分データを作成する。

Ｓ５０７にてモード制御部２１６は、Ｓ５０６で作成した差分データに基づき、イベントの有無（イベントが検知されたか否か）を判定する。なお、Ｓ５０７の判定は、図８（ｂ）に示した「イベント検知（１）」に対応している。具体的には、差分データに所定の閾値以上の画素ブロックがあるか否かが比較回路２６４により検出され、その結果、差分データに所定の閾値以上の画素ブロックがあることが検出された場合に、モード制御部２１６はイベントが検知されたと判定する。モード制御部２１６は、イベントが検知されていないと判定した場合（Ｓ５０７でＮＯ）、処理をＳ５０２へ戻し、イベントが検知されたと判定した場合（Ｓ５０７でＹＥＳ）、処理をＳ５０８へ進める。

Ｓ５０８，Ｓ５０９，Ｓ５１０，Ｓ５１１，Ｓ５１２の処理はそれぞれ、Ｓ５０２，Ｓ５０３，Ｓ５０４，Ｓ５０５，Ｓ５０６の処理と同様であるため、詳細な説明を省略する。なお、Ｓ５０７において過去データＨでイベントが検知された場合には、処理はＳ５１０へ進み、その結果、Ｓ５１２のイベント検知の判定は過去データＬを用いて行われることになる。逆に、Ｓ５０７において過去データＬでイベントが検知された場合には、処理はＳ５０９へ進み、その結果、Ｓ５１２のイベント検知の判定は過去データＨを用いて行われることになる。Ｓ５１２の判定は、図８（ｂ）に示した「イベント検知（２）」に対応している。

Ｓ５１２にてモード制御部２１６は、イベントが検知されたと判定した場合（Ｓ５１２でＹＥＳ）、処理をＳ５１３へ進め、イベントが検知されなかったと判定した場合（Ｓ５１２でＮＯ）、処理をＳ５１４へ進める。

処理がＳ５１３へ進む場合には、露光時間Ｔ_Ｈ，Ｔ_Ｌの双方の撮像でイベントが検知されているため、撮像シーンでの被写体の明暗差が大きいと考えられる。そのため、処理がＳ５１３へ進む場合には、処理をＳ５１４へ進める場合よりも、被写体を撮像するために必要なダイナミックレンジが広いことが望ましい。そこで、Ｓ５１３にてモード制御部２１６は、動画撮影モードを検知モードからＨＤＲ撮像モードへ移行するように制御する。

一方、処理がＳ５１４へ進む場合には、露光時間Ｔ_Ｈ，Ｔ_Ｌのうちいずれか一方の撮像でイベントが検知されているため、撮像シーンでの被写体の明暗差は大きくないと考えられる。そこで、Ｓ５１４にてモード制御部２１６は、動画撮影モードを検知モードからＳＤＲ撮像モードへ移行するように制御する。

なお、モード制御部２１６は、露光制御部２１７により、Ｓ５１３ではＨＤＲ撮像モードでの適正露出条件を算出し、Ｓ５１４ではＳＤＲ撮像モードでの適正露出条件を算出する。モード制御部２１６は、Ｓ５１３，Ｓ５１４の後、処理をＳ５１５へ進める。

Ｓ５１５にてモード制御部２１６は、Ｓ５１３又はＳ５１４で設定された撮像モードで取得した画像データ（フレーム）の数のカウントを開始するために、フレームのカウント値ＣＮＴをゼロ（０）に設定（リセット）する。Ｓ５１６にてモード制御部２１６は、設定されている撮像モードでの撮像を行い、得られたフレームのカウント値ＣＮＴをインクリメントする。

Ｓ５１７にてモード制御部２１６は、カウント値ＣＮＴが予め決められた一定値Ｎ以上か否かを判定する。モード制御部２１６は、カウント値ＣＮＴが一定値Ｎ未満であると判定した場合（Ｓ５１７でＮＯ）、処理をＳ５１６へ戻して撮像を継続し、カウント値ＣＮＴが一定値Ｎ以上であると判定した場合（Ｓ５１７でＹＥＳ）、処理をＳ５０１へ戻す。カウント値ＣＮＴがＮ以上である場合に処理をＳ５０１へ戻すのは、再度、イベント検知を行うためである。Ｓ５１５〜Ｓ５１７のループによって、Ｓ５１３又はＳ５１４で設定された撮像モードでの撮像が一定時間行われた後に、検知モードに戻る動作が行われる。

なお、図９のフローチャートの処理の実行中は、不図示であるが、撮像装置１００の電源のオフ操作又は撮像停止操作が行われたか否かを制御回路１０３が監視している。制御回路１０３は、電源のオフ操作又は撮像停止操作が行われたことを検出した場合、処理を終了させる。

次に、ＨＤＲ撮像モードとＳＤＲ撮像モードについて説明する。図１０（ａ）は、ＨＤＲ撮像モードでの画像データの取得、生成方法を説明する模式図である。図１０（ｂ）は、ＳＤＲ撮像モードでの画像データの取得方法を説明する模式図である。露光時間Ｔ_Ｂは適正露出の露出時間を表しており、露光時間Ｔ_Ａは露光時間Ｔ_Ｂよりも短く、露光時間Ｔ_Ｃは露光時間Ｔ_Ｂよりも長いものとする。

ＳＤＲ撮像モードでは、適正露出の露光時間Ｔ_Ｂでの撮像のみが行われる。一方、ＨＤＲ撮像モードにおいては、露光時間Ｔ_Ａ（アンダー露出）と露出時間Ｔ_Ｃ（オーバー露出）で１回ずつの撮像を行い、信号処理部２１５により、得られた２フレームの画像データからダイナミックレンジが拡張された１フレームの画像が生成される。

なお、図１０では、ＳＤＲ撮像モードでは１フレームの撮像で１フレームの画像データを出力し、ＨＤＲ撮像モードでは２フレームの撮像で１フレームの画像データを出力することで、ＳＤＲ撮像モードとＨＤＲ撮像モードとは同じフレームレートとなっている。但し、これに限らず、フレームレートは異なっていてもよい。また、ＨＤＲ撮像モードでは、異なる露出で得たフレームを用いてＨＤＲ合成処理を行ったが、これに限らず、画素アレイ部２２０の画素領域を分割し、領域ごとに異なる露出条件を設定して得られる単一フレームで露出の異なる画像を得てもよい。

図１１は、ＨＤＲ合成処理での入射光量と信号量との関係を説明する図である。露光時間Ｔ_Ａ，Ｔ_Ｃでそれぞれ撮像した際の画素アレイ部２２０の同じ座標の画素からの、露光時間Ｔ_Ａでの出力を低露出画素信号とし、露光時間Ｔ_Ｃでの出力を高露出画素信号として説明する。

高露出画素信号は画素への入射光量がＰ２となった時点で飽和信号量Ｑ２に到達し、低露出画素信号は画素への入射光量がＰ３となった時点で飽和信号量Ｑ２に到達する。一方、受光により得られた信号量Ｑ１以下の画素信号は、ノイズレベルとなるために、利用することができない。そのため、高露出画素信号による画像のダイナミックレンジは入射光量がＰ０からＰ２までの範囲となり、低露出画素信号による画像のダイナミックレンジは入射光量がＰ１からＰ３までの範囲となる。

例えば、入射光量が同じ場合に高露出画素信号量は低露出画素信号量の３倍（信号量を入射光量で除した値が高露出画素信号では低露出画素信号の３倍）であるとする。その場合に、入射光量Ａ（Ｐ０≦Ａ＜Ｐ１）の画素２３０については、低露出画素信号はノイズレベルに相当するためにＨＤＲ合成処理には用いない。よって、信号処理部２１５は、ＨＤＲ合成処理後の画素信号ＨＤＬ＿Ａを“［式１］：画素信号ＨＤＬ＿Ａ＝高露出画素信号×１＋低露出画素信号×０”により求める。

また、入射光量Ｂ（Ｐ１≦Ｂ≦Ｐ２）の画素２３０については、高露出画素信号と低露出画素信号のどちらも有用なため、重み付けをした上で加算する。つまり、信号処理部２１５は、ＨＤＲ合成処理後の画素信号ＨＤＬ＿Ｂを“［式２］：画素信号ＨＤＬ＿Ｂ＝高露出画素信号×（１−α）＋低露出画素信号×α×３”により求める。なお、“α”は合成比率を表しており、０≦α≦１である。

入射光量Ｃ（Ｐ２＜Ｃ≦Ｐ３）の画素２３０については、高露出画素信号は飽和するためにＨＤＲ合成処理に用いない。よって、信号処理部２１５は、ＨＤＲ合成処理後の画素信号ＨＤＬ＿Ｃを“［式３］：画素信号ＨＤＬ＿Ｃ＝高露出画素信号×０＋低露出画素信号×３”により求める。

このように信号処理部２１５は、画素アレイ部２２０の各画素２３０からの信号量（入射光量）を、例えば、低レベル、中レベル、高レベルの３つに分類する。そして、信号処理部２１５は、信号量が低レベルの画素２３０については、高露出画素信号のみを用いた［式１］によりＨＤＲ合成処理後の画素信号を求める。また、信号量が中レベルの画素２３０については、信号処理部２１５は、高露出画素信号と低露出画素信号を（１−α）：αの比率で合成した［式２］によりＨＤＲ合成処理後の画素信号を求める。更に、信号量が高レベルの画素２３０については、信号処理部２１５は、低露出画素信号のみを用いた［式３］によりＨＤＲ処理後の画素信号を求める。

こうして図１１に示されるように、信号量Ｑ１〜Ｑ３の範囲に拡張された高ダイナミックレンジ画像を生成することができる。なお、信号量レベルの低レベル、中レベル及び高レベルの区分は予め決定されている。

以上の説明の通り、本実施形態によれば、イベントを検知する検知モードでは、画素ブロックごとの出力に基づく画像データを用いることにより、消費電力を低減させることができる。また、検知モードにおいて異なる露光時間で交互に撮像し、同一の露光時間により得られた画像データ同士の比較によって得られる差分データからイベントを検知することで、被写体の明暗差が大きいシーンにおいても適切にイベントを検知することができる。更に、異なる露光時間の両方でイベントが検知されるか否かに基づいてＳＤＲ撮像モードとＨＤＲ撮像モードとを選択的に切り替えることにより、撮像シーンの明暗差に応じたダイナミックレンジを有する撮影画像を得ることが可能になる。

また、画素アレイ部２２０にカラーフィルタ等が配され、色別に画像信号が出力される場合には、同色の画素が配される行又は列で信号加算を行うようにしてもよい。更に、複数の画素の電荷を加算することで見かけの画素数を少なくする方法に代えて、画素行又は画素列を間引いて画素アレイ部２２０から画像信号を読み出すようにしてもよい。検知モードでは、画素ブロックごとに画像信号を読み出しているが、これに限らず、画素ブロック内の複数の画素を所定の間隔で間引いて電荷を加算し、読み出すようにしてもよい。

次に、図２に示した構成を有する撮像素子２００に代えて撮像装置１００に用いることができる別の撮像素子について説明する。図１２（ａ）は、撮像装置１００に適用可能な撮像素子３００のブロック図である。なお、撮像素子３００において、撮像素子２００と共通する構成については、同じ名称及び符号を付して説明を省略する。図１２（ｂ），（ｃ）は、撮像素子３００の概略構成を説明する図である。

撮像素子３００は、第１の半導体基板３０１と第２の半導体基板３０２を有する。図１２（ｂ），（ｃ）に示されるように、第１の半導体基板３０１と第２の半導体基板３０２は重畳された状態で封止されてモジュール化（一体化）され、こうして撮像素子３００は多層構造（積層構造）を有する。第１の半導体基板３０１には、画素アレイ部２２０とＡ／Ｄ変換回路２１２等が形成され、第２の半導体基板３０２には、イベント検知部２１４、信号処理部２１５、モード制御部２１６、露光制御部２１７等が形成される。第１の半導体基板３０１に形成される回路と第２の半導体基板３０２に形成される回路は、ビア（ＶＩＡ）等により接続される。

このように、撮像素子３００は、第１の半導体基板３０１と第２の半導体基板３０２が多層構造を形成するように一体化されたモジュール（ＬＳＩチップ）である。モジュール内部において第１の半導体基板３０１と第２の半導体基板３０２が積層構造を形成することにより、撮像素子３００は半導体基板サイズを増大させずに、より大規模な回路の実装が可能となる。つまり、撮像素子３００は、コストの増大を抑制しながら、より大規模な回路の実装を可能とする。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、上記実施形態では、撮像装置１００を図１に示すように１つの装置として説明したが、撮像装置１００は機能を分離させた構成となっていてもよい。具体的には、撮像装置１００が監視カメラである場合、撮像レンズ１０１と撮像素子２００からなるカメラ装置と、その他の各回路からなる制御装置に分けた構成とすることができる。その場合、カメラ装置は撮像目標を撮像可能な位置に配置し、制御装置を監視室に配置することができる。これによりカメラ装置への供給電力を低減することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０３ 制御回路
２００，３００ 撮像素子
２１４ イベント検知部
２１６ モード制御部
２２０ 画素アレイ部
２３０ 画素
２４０ 画素ブロック
２６３ 差分検出回路
２６４ 比較回路

Claims (11)

1. 複数の画素を有する複数の画素ブロックが行方向と列方向に配置された画素アレイ部と、
   複数の露出条件で前記複数の画素ブロックごとに前記複数の画素の画像信号を加算して読み出すことにより被写体を撮像する検知モードと前記複数の画素のそれぞれから画像信号を読み出して被写体を撮像する通常モードとを切り替える制御手段と、
   前記検知モードでの撮像により得られる画像データに基づいて被写体の変化を検知する検知手段と、を備え、
   前記制御手段は、前記複数の露出条件のうち少なくとも１つの露出条件での撮像で被写体が変化したと判定された場合に前記検知モードから前記通常モードへの移行を行うことを特徴とする撮像素子。
2. 前記検知手段は、
   前記複数の露出条件のうち同一の露出条件で撮像された連続する２つのフレームの間での前記画素ブロックごとの画素値の差分を求める差分検出手段と、
   前記差分に基づいて被写体の変化の有無を判定する判定手段と、を有することを特徴とする請求項１に記載の撮像素子。
3. 複数の画素が行方向と列方向に配置された画素アレイ部と、
   複数の露出条件で前記複数の画素から行又は列で間引いて画像信号を読み出して被写体を撮像する検知モードと、前記複数の画素のそれぞれから画像信号を読み出して被写体を撮像する通常モードとを切り替える制御手段と、
   前記検知モードでの撮像により得られる画像データに基づいて被写体の変化を検知する検知手段と、を備え、
   前記制御手段は、前記複数の露出条件のうち少なくとも１つの露出条件での撮像で被写体が変化したと判定された場合に前記検知モードから前記通常モードへの移行を行うことを特徴とする撮像素子。
4. 前記検知手段は、
   前記複数の露出条件のうち同一の露出条件で撮像された連続する２つのフレームの間での前記画素ごとの画素値の差分を求める差分検出手段と、
   前記差分に基づいて被写体の変化の有無を判定する判定手段と、を有することを特徴とする請求項３に記載の撮像素子。
5. 前記通常モードは、
   前記複数の露出条件で繰り返し被写体を撮像する第１の撮影モードと、
   単一の露出条件で被写体を撮像する第２の撮影モードと、を有し、
   前記制御手段は、前記複数の露出条件のそれぞれで被写体が変化したと判定された場合に前記第１の撮影モードへの移行を行い、前記複数の露出条件のうち１つで被写体が変化したと判定された場合に前記第２の撮影モードへの移行を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 前記単一の露出条件は、被写体に対する適正な露出条件であり、
   前記複数の露出条件は、前記適正な露出条件に対して少なくとも低露出となる露出条件と高露出となる露出条件の２つを含むことを特徴とする請求項５に記載の撮像素子。
7. 前記第１の撮影モードでの撮像が行われている場合に、露出条件の異なる連続するフレームの画像データからダイナミックレンジを拡張した画像を生成する手段を備えることを特徴とする請求項５又は６に記載の撮像素子。
8. 前記制御手段は、前記通常モードでの撮像によるフレームの数が所定の値に達した場合に、前記検知モードへの移行を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
9. 請求項１乃至８のいずれか１項に記載の撮像素子と、
   前記撮像素子に光学像を結像させるレンズと、を備えることを特徴とする撮像装置。
10. 複数の画素を有する複数の画素ブロックが行方向と列方向に配置された画素アレイ部を有する撮像素子の制御方法であって、
    複数の露出条件で前記複数の画素ブロックごとに前記複数の画素の画像信号を加算して読み出す検知モードで被写体を撮像するステップと、
    前記検知モードでの撮像により得られた画像データに基づいて被写体の変化を検知するステップと、
    前記複数の露出条件のうち少なくとも１つの露出条件での撮像で被写体の変化が検知された場合に、前記検知モードから前記複数の画素のそれぞれから画像信号を読み出す通常モードへ切り替えて被写体を撮像するステップと、を有することを特徴とする撮像素子の制御方法。
11. 複数の画素が行方向と列方向に配置された画素アレイ部を有する撮像素子の制御方法であって、
    複数の露出条件で前記複数の画素から行又は列で間引いて画像信号を読み出す検知モードで被写体を撮像するステップと、
    前記検知モードでの撮像により得られた画像データに基づいて被写体の変化を検知するステップと、
    前記複数の露出条件のうち少なくとも１つの露出条件での撮像で被写体の変化が検知された場合に、前記検知モードから前記複数の画素のそれぞれから画像信号を読み出し通常モードへ切り替えて撮像を行うステップと、を有することを特徴とする撮像素子の制御方法。

Images