JP2020088535A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】規模を抑えつつ、圧縮率を向上させることができる撮像装置および撮像装置の制御方法を提供することを目的とする。【解決手段】撮像装置は、光電変換により信号を生成する光電変換手段と、第１のフレームでは、光電変換手段により生成された信号を基に計数された計数値を生成し、第２のフレームでは、光電変換手段により生成された信号を基に、前フレームの計数値の正負符号が反転された計数値に対して計数された計数値を生成する生成手段と、生成手段により生成された計数値を圧縮する圧縮手段とを有する。【選択図】図４

Description

本発明は、撮像装置および撮像装置の制御方法に関する。

近年、イメージセンサには、画像の高解像度化および動画像の高フレーム化が要求されている。このような要求に対して、特許文献１では、撮像素子に画像の圧縮部を設け、ボトルネックとなる伝送路の帯域削減行っている。

画像の圧縮方法には、フレーム内の参照のみを行うフレーム内圧縮と、フレーム間の画像を参照することで圧縮を行うフレーム間圧縮が存在する。フレーム内圧縮は、フレーム内の被写体依存で圧縮率が決まる。一方、フレーム間圧縮は、フレーム間の被写体の動きに大きく圧縮率が依存するため、動きの少ない場合において有利である。例えば、特許文献２では、フレームメモリを用いることで撮像中のフレーム以外の画像を一時保存し、その画像を参照することでフレーム間圧縮を実現している。

一方、特許文献３には、画素毎に１ビット型アナログデジタル変換器とカウンタを有する固体撮像素子が開示されている。固体撮像素子は、画素毎に受光素子の信号に対してアナログデジタル変換を行うため、列毎にアナログデジタル変換を行う固体撮像素子の持つ走査線数とフレームレートのトレードオフを解消することが可能である。この方式においては、受光素子に一定の電荷が蓄積されるたびにリセットするため、受光素子で飽和することがない。そして、検出可能な光量は、蓄積容量の電圧が基準電圧と一致したときに出力されるパルスの回数を数えるカウンタの上限により定まる。

特開２０１４−１０３５４３号公報 特開２００６−２９５５２１号公報 特開２０１５−１７３４３２号公報

しかしながら、特許文献１のように圧縮部を有する撮像素子は、特許文献２に記載されているようなフレームメモリを使用するような複雑な圧縮を行うことが困難であるという課題がある。

本発明はこのような課題に鑑み、規模を抑えつつ、圧縮率を向上させることができる撮像装置および撮像装置の制御方法を提供することを目的とする。

本発明の撮像装置は、光電変換により信号を生成する光電変換手段と、第１のフレームでは、光電変換手段により生成された信号を基に計数された計数値を生成し、第２のフレームでは、光電変換手段により生成された信号を基に、前フレームの計数値の正負符号が反転された計数値に対して計数された計数値を生成する生成手段と、前記生成手段により生成された計数値を圧縮する圧縮手段とを有する。

本発明によれば、規模を抑えつつ、圧縮率を向上させることができる。

画素の構成例を示す図である。 カウンタの構成例を示す図である。 カウンタの構成例を示す図である。 画素の駆動を示すタイミングチャートである。 固体撮像素子の構成例を示す図である。 圧縮部の構成例を示す図である。 圧縮部の処理を示すフローチャートである。 撮像システムの構成例を示す図である。 カウンタの構成例を示す図である。 圧縮部の構成例を示す図である。 画素の駆動を示すタイミングチャートである。 固体撮像素子の構成例を示す図である。 固体撮像素子の構成例を示す図である。 フレームメモリの動作を示すタイミングチャートである。 メモリ領域を示す図である。 圧縮部の構成例を示す図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施形態は単なる例示であり、本発明は実施形態に記載された構成に限定するものではない。

（第１の実施形態）
図１は、本発明の第１の実施形態による画素１００の構成例を示す図である。画素１００は、アバランシェフォトダイオード（以下、ＡＰＤという）１０１と、クエンチ抵抗１０２と、波形整形回路１０３と、カウンタ１０４とを有する。

ＡＰＤ１０１は、クエンチ抵抗１０２を介して、逆バイアス電圧Ｖ_APDのノードに接続される。ＡＰＤ１０１は、光子が入射するとアバランシェ増倍による電荷を発生させ、発生した電荷をクエンチ抵抗１０２を介して逆バイアス電圧Ｖ_APDのノードに排出する。ＡＰＤ１０１は、光電変換手段であり、光電変換により信号を生成し、その生成した信号を波形整形回路１０３に出力する。

波形整形回路１０３は、ＡＰＤ１０１とクエンチ抵抗１０２との相互接続点に接続される。ＡＰＤ１０１とクエンチ抵抗１０２との相互接続点は、ＡＰＤ１０１の光子の入射に応じた電荷の生成および排出により電位が変化する。波形整形回路１０３は、ＡＰＤ１０１とクエンチ抵抗１０２との相互接続点の電位の変化に対して、増幅およびエッジ検出を行うことにより、電圧パルスＰＬＳを生成する。このようにＡＰＤ１０１とクエンチ抵抗１０２と波形整形回路１０３は、光子の入射の有無を電圧パルスに変換することにより、１ビット型アナログデジタル変換器（受光部）として機能する。

カウンタ１０４は、波形整形回路１０３が生成する電圧パルスＰＬＳの数を計数するカウンタであり、計数結果を出力することにより、露光期間中の画素値を多ビットで出力する。カウンタ１０４は、画素１００に入力される駆動信号ＩＮＶ＿ＲＳＴ，ＺＥＲＯ＿ＲＳＴによって、カウンタ１０４のリセット、計数期間、およびカウンタの符号反転リセット動作を行う。

図２は、カウンタ１０４の構成例を示す図である。カウンタ１０４は、データを保持するフリップフロップ２００と、計数を行う加算部２０１と、リセット信号の種別に基づいて初期値の種別を決定する選択部２０２と、符号反転を行う符号反転部２０３とを有する。

符号反転部２０３は、フリップフロップ２００の出力値ＣＮＴの論理反転値に「１」を加算することにより、フリップフロップ２００の出力値ＣＮＴに対して正負符号が反転した値を出力する。すなわち、符号反転部２０３は、フリップフロップ２００の出力値ＣＮＴに対する２の補数を出力する。

選択部２０２は、信号ＺＥＲＯ＿ＲＳＴがハイレベルの場合には、「０」を加算部２０１に出力する。また、選択部２０２は、信号ＩＮＶ＿ＲＳＴがハイレベルの場合には、符号反転部２０３の出力値を加算部２０１に出力する。また、選択部２０２は、信号ＺＥＲＯ＿ＲＳＴおよびＩＮＶ＿ＲＳＴがローレベルの場合には、フリップフロップ２００の出力値ＣＮＴを加算部２０１に出力する。

加算部２０１は、選択部２０２の出力値に電圧パルスＰＬＳを加算し、加算結果をフリップフロップ２００に出力する。フリップフロップ２００は、加算部２０１の加算結果を保持し、保持している値を計数値ＣＮＴとして出力する。フリップフロップ２００は、非同期リセット信号により、クロック信号に非同期で、初期値０に初期化される。

信号ＺＥＲＯ＿ＲＳＴをハイレベルにすることにより、所定の計数期間の電圧パルスＰＬＤを計数することができる。また、信号ＩＮＶ＿ＲＳＴをハイレベルにすることにより、今回の計数期間の計数値と前回の計数期間の計数値との差分を出力することができる。

カウンタ１０４は、クロック信号に同期する同期カウンタである。クロック信号および非同期リセット信号は、固体撮像素子の全体で共通の信号である。カウンタ１０４は、フレームメモリを用いることなく、フレーム間の画素値の差分を算出することができる。なお、カウンタ１０４は、非同期カウンタでもよい。非同期カウンタは、半加算器や全加算器のような加算用演算器を用いることなく、計数を行うことが可能なため、さらなるコストの削減が可能となる。

図３は、非同期のカウンタ１０４の構成例を示す図である。カウンタ１０４は、データを保持するフリップフロップ３００と、各ビットの符号反転用制御信号を出力する符号反転制御部３０１と、論理積（ＡＮＤ）素子３０２とを有する。なお、説明の簡単のため、４ビットの非同期カウンタ１０４の構成を説明する。

フリップフロップ３００は、端子ＰＲＳＴへの入力信号がローレベルの場合には、出力端子Ｑをハイレベルにし、出力端子／Ｑをローレベルにする。また、フリップフロップ３００は、端子ＰＲＳＴへの入力信号がハイベルの場合には、出力端子Ｑおよび／Ｑのレベルを変化させない。また、フリップフロップ３００は、端子ＲＳＴへの入力信号がローレベルの場合には、出力端子Ｑをローレベルにし、出力端子／Ｑをハイレベルにする。また、フリップフロップ３００は、端子ＲＳＴへの入力信号がハイレベルの場合には、出力端子Ｑおよび／Ｑのレベルを変化させない。また、フリップフロップ３００は、クロック端子に入力される信号の立ち上がりエッジに同期して、入力端子Ｄに入力された信号の正論理値を出力端子Ｑから出力し、入力端子Ｄに入力された信号の負論理値を出力端子／Ｑから出力する。

符号反転制御部３０１は、信号ＩＮＶ＿ＲＳＴがローレベルの場合には、フリップフロップ３００の端子ＰＲＳＴおよびＲＳＴにハイレベルを出力する。また、符号反転制御部３０１は、信号ＩＮＶ＿ＲＳＴがハイレベルの場合には、フリップフロップ３００の出力端子Ｑの信号を端子ＰＲＳＴに出力し、フリップフロップ３００の出力端子Ｑの論理反転信号をＡＮＤ素子３０２に出力する。

ＡＮＤ素子３０２は、信号ＺＥＲＯ＿ＲＳＴがハイレベルの場合に、フリップフロップ３００の端子ＲＳＴにローレベルを出力し、信号ＺＥＲＯ＿ＲＳＴがローレベルの場合に、フリップフロップ３００の端子ＲＳＴに符号反転制御部３０１の出力信号を出力する。

次に、非同期カウンタ１０４の動作について説明を行う。フリップフロップ３００は、出力端子Ｑの初期値が０であり、出力端子／Ｑの初期値が１である。カウンタ１０４の０ビット目を構成するフリップフロップ３００は、電圧パルスＰＬＳの立ち上がりを検知すると、入力端子Ｄの値を出力端子Ｑから出力し、入力端子Ｄの値の論理反転値を出力端子／Ｑから出力する。カウンタ１０４の１ビット目以降を構成するフリップフロップは、それぞれ、前段のフリップフロップの出力端子／Ｑの信号の立ち上がりを検知し、自己の入力端子Ｄの値を出力端子Ｑから出力し、自己の入力端子Ｄの値の論理反転値を出力端子／Ｑから出力する。各フリップフロップ３００の出力端子Ｑは、例えば４ビットの計数値ＣＮＴを出力する。

所定の期間が過ぎると、ＡＮＤ素子３０２は、制御部５０５の出力に基づいてリセット動作を行う。信号ＺＥＲＯ＿ＲＳＴがハイレベルになると、各フリップフロップ３００の出力端子Ｑの値が０にリセットされる。この時、単純な反転信号の場合は、１の補数表現となり、２の補数表現とならないため、信号処理に用いた際に加算器を単純な構成で表現できなくなる場合が存在する。そのため、２の補数表現にするため、信号ＩＮＶ＿ＲＳＴが入力された後に、電圧パルスＰＬＳに１回だけ立ち上がり信号が発生するように、制御部５０５から信号を入力する。このように制御することで、各ビットの反転信号に１を加算した値が初期値となるため、信号ＩＮＶ＿ＲＳＴによって初期化した値を２の補数表現とすることが可能となる。

また、信号ＩＮＶ＿ＲＳＴがハイレベルになると、符号反転制御部３０１は、各フリップフロップ３００の出力端子Ｑの値の論理反転値をリセット値として各フリップフロップ３００の端子ＰＲＳＴおよびＲＳＴに出力する。

図４は、１つの画素１００の駆動方法を示すタイミングチャートである。複数の画素１００を並列して駆動することにより、光学像をデジタル信号に変換する。ＡＰＤは、ＡＰＤ１０１およびクエンチ抵抗１０２により生成される電位波形であり、波形整形回路１０３の入力電位波形を示す。電圧パルスＰＬＳは、波形整形回路１０３の出力電圧である。信号ＣＮＴ＿ＲＳＴおよびＩＮＶ＿ＥＮは、図５の制御部５０５により生成される。制御部５０５は、信号ＣＮＴ＿ＲＳＴおよびＩＮＶ＿ＥＮを基に、信号ＺＥＲＯ＿ＲＳＴおよびＩＮＶ＿ＲＳＴを生成する。

具体的には、信号ＩＮＶ＿ＥＮがローレベルの時に信号ＣＮＴ＿ＲＳＴがハイレベルの場合には、信号ＺＥＲＯ＿ＲＳＴがハイレベルになる。また、信号ＩＮＶ＿ＥＮがハイレベルの時に信号ＣＮＴ＿ＲＳＴがハイレベルの場合には、信号ＩＮＶ＿ＲＳＴがハイレベルになる。

計数値ＣＮＴは、カウンタ１０４の出力値を表す。カウンタ１０４は、信号ＣＮＴ＿ＲＳＴがローレベルである期間を撮像期間として前述の計数および初期化動作を行う。なお、カウンタ１０４は、信号ＣＮＴ＿ＲＳＴがローレベルである状態でカウントを行うが、別途イネーブル信号に応じてカウントを行ってもよい。

ＲＥＡＤ＿ＥＮは、カウンタ１０４の出力値を垂直伝送路５０８（図５）に出力するタイミングを表しており、信号ＣＮＴ＿ＲＳＴと同一のタイミングで発行される。なお、信号ＣＮＴ＿ＲＳＴと同一のタイミングで信号ＲＥＡＤ＿ＥＮは発行されるが、それに限定されない。具体的には、読み出し信号とリセット信号を個別に持ち、発行のタイミングをずらすことで垂直伝送路５０８への転送タイミングを任意に設定してもよい。

次に、画素１００の駆動方法を説明する。タイミングｔ４００では、信号ＩＮＶ＿ＥＮがローレベルの状態で、信号ＣＮＴ＿ＲＳＴがハイレベルになるため、信号ＺＥＲＯ＿ＲＳＴがハイレベルになる。信号ＺＥＲＯ＿ＲＳＴがハイレベルになると、カウンタ１０４は、クロック信号に同期して、計数値ＣＮＴを０にクリアする。なお、実際は、クロック信号に同期して計数値ＣＮＴに反映されるため、計数値ＣＮＴに遅延が発生するが、略同一のタイミングとして説明を行う。

タイミングｔ４０１では、信号ＺＥＲＯ＿ＲＳＴがローレベルになり、露光が開始され、撮像期間が開始する。また、信号ＺＥＲＯ＿ＲＳＴがローレベルになると、信号ＩＮＶ＿ＥＮがハイレベルになり、次に信号ＣＮＴ＿ＲＳＴがハイレベルになった際には、信号ＺＥＲＯ＿ＲＳＴではなく、信号ＩＮＶ＿ＲＳＴがハイレベルになる。

タイミングｔ４０２では、ＡＰＤ１０１に光子が入射したことにより、ＡＰＤ１０１には、アバランシェ増倍された電荷が発生し、ＡＰＤ１０１の電位が変化する。ＡＰＤ１０１は、クエンチ抵抗１０２を介して電荷を排出するので、ＡＰＤ１０１が再び一定の電位になるまで時間がかかる。波形整形回路１０３は、ＡＰＤ１０１の電位の立ち下がりエッジを検出し、短時間の電圧パルスＰＬＳを生成する。この電圧パルスＰＬＳは、カウンタ１０４に入力される。カウンタ１０４は、電圧パルスＰＬＳを計数し、計数値ＣＮＴが１となる。

タイミングｔ４０１〜ｔ４０３では、電圧パルスＰＬＳが発生するたびに、カウンタ１０４は、計数値ＣＮＴをインクリメントし続ける。タイミングｔ４０１〜ｔ４０３では、５回の電圧パルスＰＬＳが発生し、計数値ＣＮＴは５となる。撮像期間は、タイミングｔ４０１〜ｔ４０３である。

タイミングｔ４０３では、計数値ＣＮＴが５の状態で、信号ＣＮＴ＿ＲＳＴおよびＲＥＡＤ＿ＥＮがハイレベルになる。信号ＲＥＡＤ＿ＥＮがハイレベルになると、計数値ＣＮＴが垂直伝送路５０８に伝送され、撮像期間が完了する。計数値ＣＮＴの５は、タイミングｔ４０１〜ｔ４０３の撮像期間のフレームの画素値に対応する。タイミングｔ４０１〜ｔ４０３の撮像期間のフレームは、フレーム内圧縮のためのフレームである。

また、タイミングｔ４０３では、信号ＩＮＶ＿ＥＮがハイレベルのため、信号ＩＮＶ＿ＲＳＴがハイレベルとなり、計数値ＣＮＴの値が５の正負符号反転値である−５となる。

タイミングｔ４０４では、信号ＩＮＶ＿ＲＳＴとＩＮＶ＿ＥＮとＲＥＡＤ＿ＥＮがローレベルとなり、露光が開始し、次のフレームの撮像期間が開始する。タイミングｔ４０４〜ｔ４０５では、タイミングｔ４０１〜ｔ４０３と同様に、電圧パルスＰＬＳが発生するたびに、カウンタ１０４は、計数値ＣＮＴをインクリメントし続ける。タイミングｔ４０４〜ｔ４０５では、４回の電圧パルスＰＬＳが発生しているため、カウンタ１０４は、−５の計数値ＣＮＴに対して４回インクリメントし、−１の計数値ＣＮＴを出力する。

タイミングｔ４０５では、計数値ＣＮＴが−１の状態で、タイミングｔ４０３と同様に、信号ＣＮＴ＿ＲＳＴおよびＲＥＡＤ＿ＥＮがハイレベルになる。信号ＲＥＡＤ＿ＥＮがハイレベルになると、−１の計数値ＣＮＴが垂直伝送路５０８に伝送され、撮像期間が完了する。−１の計数値ＣＮＴは、今回の撮像期間のフレームの電圧パルスＰＬＳの発生数から、前回の撮像期間のフレームの電圧パルスＰＬＳの発生数を減算した値である。すなわち、−１の計数値ＣＮＴは、今回のフレームと前回のフレームの電圧パルスＰＬＳの発生数の差分である。タイミングｔ４０４〜ｔ４０５の撮像期間のフレームは、フレーム間圧縮のためのフレームである。

また、タイミングｔ４０５では、信号ＩＮＶ＿ＥＮがローレベルのため、信号ＺＥＲＯ＿ＲＳＴがハイレベルとなり、計数値ＣＮＴが０となる。

タイミングｔ４０６では、信号ＣＮＴ＿ＲＳＴとＺＥＲＯ＿ＲＳＴとＲＥＡＤ＿ＥＮがローレベルとなり、信号ＩＮＶ＿ＥＮがハイレベルとなる。タイミングｔ４０６〜ｔ４０７では、タイミングｔ４０１〜ｔ４０３と同様に、電圧パルスＰＬＳが発生するたびに、カウンタ１０４は、計数値ＣＮＴをインクリメントし続ける。タイミングｔ４０６〜ｔ４０７では、４回の電圧パルスＰＬＳが発生しているため、カウンタ１０４は、０の計数値ＣＮＴに対して４回インクリメントし、４の計数値ＣＮＴを出力する。タイミングｔ４０６〜ｔ４０７の撮像期間のフレームは、フレーム内圧縮のためのフレームである。

タイミングｔ４０７〜ｔ４０８では、タイミングｔ４０３〜ｔ４０４と同様に、信号ＣＮＴ＿ＲＳＴ、ＩＮＶ＿ＥＮ、ＺＥＲＯ＿ＲＳＴおよびＲＥＡＤ＿ＥＮが制御され、計数値ＣＮＴが垂直伝送路５０８に伝送される。

以降、画素１００は、タイミングｔ４０４〜ｔ４０６と同様の動作と、タイミングｔ４０６〜ｔ４０８と同様の動作を交互に繰り返す。このように動作することで、カウンタ１０４は、電圧パルスＰＬＳの発生数を計数し、計数値ＣＮＴを出力する。カウンタ１０４は、計数値ＣＮＴとして、現フレームの撮像期間の電圧パルスＰＬＳの発生数と、現フレームと前フレームの電圧パルスＰＬＳの発生数の差分とを交互に出力する。これは、フレームメモリを用いて、フレーム間の同一の画素１００の差分値を出力することと等しい。

図５は、固体撮像素子５００の構成例を示す図である。固体撮像素子５００は、撮像装置であり、上記の複数の画素１００と、垂直選択回路５０７と、出力スイッチ５０１と、水平選択回路５０２と、出力スイッチ５０３と、タイミングジェネレータ（ＴＧ）５０４と、制御部５０５と、圧縮部５０６とを有する。複数の画素１００は、２次元行列状に配列される。

ＴＧ５０４は、内部のカウンタに基づいて、撮像期間や転送期間などのタイミング信号を生成し、垂直選択回路５０７と制御部５０５と水平選択回路５０２にタイミング信号を出力する。

制御部５０５は、撮像期間に基づいて、信号ＩＮＶ＿ＲＳＴおよびＺＥＲＯ＿ＲＳＴ等を画素１００に出力する。なお、信号ＩＮＶ＿ＲＳＴおよびＺＥＲＯ＿ＲＳＴを読み出し制御信号ＲＥＡＤ＿ＥＮと同じタイミングにする場合には、制御部５０５は、各画素１００に対する信号ＩＮＶ＿ＲＳＴおよびＺＥＲＯ＿ＲＳＴを順に出力するように制御する。

垂直選択回路５０７は、撮像期間の終了するタイミングになると、出力スイッチ５０１に対してハイレベルのＲＥＡＤ＿ＥＮを出力する。出力スイッチ５０１は、ハイレベルのＲＥＡＤ＿ＥＮが入力されると、画素１００が出力する計数値ＣＮＴを垂直伝送路５０８に伝送する。複数の垂直伝送路５０８は、画素１００の列毎に設けられる。各列の画素１００は、順に、出力スイッチ５０１を介して、垂直伝送路５０８に計数値ＣＮＴを出力する。

なお、信号ＩＮＶ＿ＲＳＴおよびＺＥＲＯ＿ＲＳＴは、各々異なる信号として説明をしたが、それに限定されない。例えば、信号ＩＮＶ＿ＥＮおよびＣＮＴ＿ＲＳＴを画素１００の入力信号とし、画素１００の中で信号ＩＮＶ＿ＲＳＴおよびＺＥＲＯ＿ＲＳＴを生成してもよい。また、画素１００は、少なくとも信号ＩＮＶ＿ＲＳＴおよびＺＥＲＯ＿ＲＳＴをバイナリエンコードした状態で入力し、リセットの選択信号として用いてもよい。

水平選択回路５０２は、出力スイッチ５０３を制御する。複数の出力スイッチ５０３は、画素１００の列毎に設けられる。各列の出力スイッチ５０３は、順に、各列の垂直伝送路５０８を水平伝送路５０９に接続する。

圧縮部５０６は、水平伝送路５０９の計数値ＣＮＴを順に圧縮し、固体撮像素子５００の外部に圧縮データを出力する。固体撮像素子５００は、図４の各撮像期間のフレーム毎に、すべての画素１００の計数値ＣＮＴを圧縮し、圧縮データを出力する。

図６は、圧縮部５０６の構成例を示すブロック図である。圧縮部５０６は、量子化部６００と、エントロピー符号化部６０１と、符号量制御部６０２と、符号量計測部６０３とを有する。

量子化部６００は、符号化ブロック単位で画素１００の計数値ＣＮＴを入力し、符号化ブロック内で水平方向に隣接する画素１００の計数値ＣＮＴの差分値を算出し、その差分値を量子化し、量子化データを生成する。

エントロピー符号化部６０１は、入力される量子化データ（シンボル）の出現頻度に基づいて、それぞれの量子化データに符号を割り当て、符号化データ６０４を生成する。エントロピー符号化の方式は、例えば、ゴロム符号化またはハフマン符号化であるが、それらに限定されない。

符号量計測部６０３は、エントロピー符号化部６０１が生成する符号化ブロック単位の符号化データ量を計測する。符号量制御部６０２は、符号量計測部６０３により計測された符号化データ量に基づき、量子化部６００の量子化ステップを制御する。

図７は、圧縮部５０６の処理を示すフローチャートである。圧縮処理が開始されると、量子化部６００は、符号化ブロック単位の画素１００の計数値ＣＮＴを入力する。

最初に、ステップＳ７０１では、量子化部６００は、符号化ブロック内で水平方向に隣接する画素１００の計数値ＣＮＴの差分値を算出する。

次に、ステップＳ７０２では、量子化部６００は、ステップＳ７０１で算出された差分値を所定の値を用いて量子化する。所定の値は、量子化ステップを決定するパラメータであり、後述の符号量制御部６０２によって動的に決定される。以降、所定の値をＱＰ（Quantization Parameter：量子化パラメータ）という。量子化部６００は、差分値をＱＰで除算し、除算結果の小数部を四捨五入することによって、量子化を行う。

次に、ステップＳ７０３では、エントロピー符号化部６０１は、量子化された差分値に対して符号の割り当てを行い、符号化データ６０４を生成する。符号量計測部６０３は、エントロピー符号化部６０１が生成する符号化ブロック単位の符号化データ量を計測する。

次に、ステップＳ７０４では、符号量制御部６０２は、符号化ブロック単位の符号化データ量が目標符号化データ量に収まっているか否かを判定する。目標符号化データ量は、固体撮像素子５００の出力帯域に収まる符号化データ量が設定される。符号量制御部６０２は、符号化ブロック単位の符号化データ量が目標符号化データ量に収まっていない場合には、ステップＳ７０５に進み、符号化ブロック単位の符号化データ量が目標符号化データ量に収まっている場合には、ステップＳ７０６に進む。

ステップＳ７０５では、符号量制御部６０２は、符号化ブロック単位の符号化データ量と、目標符号化データ量との差分に応じて、ＱＰを増加または減少し、符号化ブロック単位の符号化データ量が目標符号化データ量に収まるように符号量制御を行う。その後、符号量制御部６０２は、ステップＳ７０２に戻り、上記の処理を繰り返す。

ステップＳ７０６では、符号量制御部６０２は、各符号化ブロックの量子化に用いたＱＰと、エントロピー符号化部６０１の符号割り当て情報（符号化パラメータ）と、圧縮フラグとを、符号化データ６０４に対応付けて出力する。圧縮フラグは、フレーム内圧縮またはフレーム間圧縮を示す情報である。図４のタイミングｔ４０１〜ｔ４０３の撮像期間のフレームでは、圧縮フラグは、フレーム内圧縮を示す情報である。図４のタイミングｔ４０４〜ｔ４０５の撮像期間のフレームでは、圧縮フラグは、フレーム間圧縮を示す情報である。図４のタイミングｔ４０６〜ｔ４０７の撮像期間のフレームでは、圧縮フラグは、フレーム内圧縮を示す情報である。

以上のように、圧縮部５０６は、タイミングｔ４０１〜ｔ４０３の撮像期間のフレームおよびタイミングｔ４０６〜ｔ４０７の撮像期間のフレームでは、フレーム内圧縮を行うことができる。また、圧縮部５０６は、タイミングｔ４０４〜ｔ４０５の撮像期間のフレームでは、フレームメモリとして用いられるＤＲＡＭやＳＲＡＭを用いることなく、フレーム間圧縮を行うことができる。

一般的に、フレーム間圧縮は、フレーム間の動きベクトルが存在しない場合に、高い圧縮率を実現することが可能となり、伝送路の帯域を逼迫しやすいフレームレートの高い読み出しに相性がよい。また、読み出される１フレーム内の画素数がかなり多く、フレームレートが低い読み出しの時には、フレーム内圧縮は相性が良い。そのため、固体撮像素子５００は、読み出しのレートに基づいて、本実施形態の機能を用いるか否かを制御してもよい。

図８は、撮像システム８００の構成例を示す図である。撮像システム８００は、上記の固体撮像素子５００の他に、光学系ユニット８０１と、伸張部８０２と、キャプチャー部８０３と、デジタル信号処理部８０４と、外部記録装置８０５とを有する。

光学系ユニット８０１は、フォーカスを調整するためのフォーカシングレンズを含む光学レンズ群、シャッター、絞り、レンズ制御部等を有し、固体撮像素子５００上に光学像を結像する。

固体撮像素子５００は、図５の固体撮像素子５００であり、光学系ユニット８０１によって結像された像を光電変換し、画素１００の計数値ＣＮＴの圧縮を行い、符号化データを伸張部８０２に出力する。符号化データには、ＱＰと、符号化パラメータと、圧縮フラグとが対応付けられている。

伸張部８０２は、符号化データに対応付けられたＤＰと符号化パラメータと圧縮フラグに基づいて、符号化データに対して伸張処理を行い、伸張結果のデータをキャプチャー部８０３に出力する。伸張部８０２は、圧縮フラグがフレーム内圧縮を示す情報である場合には、内部のＤＲＡＭ等の記憶装置に現フレームの伸張結果を出力する。また、伸張部８０２は、圧縮フラグがフレーム間圧縮を示す情報である場合には、内部の記憶装置に記憶されている前フレームの伸張結果を読み出し、フレーム間参照を行って現フレームの伸張を行う。

キャプチャー部８０３は、伸張部８０２が出力する各フレームの画素信号の有効期間および種別を判定し、デジタル信号処理部８０４に出力する。デジタル信号処理部８０４は、各フレームの画素信号に対して、ホワイトバランス補正、同時化処理、動画像の符号化処理等のデジタル信号処理を行って、画像を外部記録装置８０５に出力する。外部記録装置８０５は、デジタル信号処理部８０４から出力された画像をメモリカードに記録する。

以上のように、固体撮像素子５００は、タイミングｔ４０１〜ｔ４０３の撮像期間のフレームでは、各画素１００の電圧パルスＰＬＳの発生数を計数値ＣＮＴとして計数し、フレーム内圧縮により符号化データを生成する。また、固体撮像素子５００は、タイミングｔ４０４〜ｔ４０５の撮像期間のフレームでは、現フレームと前フレームの各画素１００の電圧パルスＰＬＳの発生数の差分値を計数値ＣＮＴとして計数し、フレーム間圧縮により符号化データを生成する。

固体撮像素子５００は、フレーム内圧縮のフレームと、フレーム間圧縮のフレームとを交互に繰り返す。フレーム間圧縮は、フレームメモリを用いずに、実現できる。フレーム間圧縮を行うことにより、圧縮率が高くなり、符号データ量を削減することができる。また、被写体に依存する圧縮率の変動が少なくなる。また、フレーム間圧縮では、計数値ＣＮＴが０付近の値になるため、ＣＭＯＳトランジスタのスイッチング電流が少なくなる。

固体撮像素子５００は、１ビット型アナログデジタル変換器とカウンタ１０４を有する。１ビット型アナログデジタル変換器は、ＡＰＤ１０１と、クエンチ抵抗１０２と、波形整形回路１０３とを有する。固体撮像素子５００は、フレームメモリを用いずに、小さな回路規模で、フレーム間圧縮が可能である。

図４のように、カウンタ１０４は、偶数フレームでは、ＡＰＤ１０１により生成された信号を基に計数された計数値ＣＮＴを生成する。また、カウンタ１０４は、奇数フレームでは、ＡＰＤ１０１により生成された信号を基に、前フレームの計数値ＣＮＴの正負符号が反転された計数値に対して計数された計数値ＣＮＴを生成する。偶数フレームと奇数フレームは、時系列的に異なるフレームである。

具体的には、カウンタ１０４は、偶数フレームでは、前フレームの計数値ＣＮＴを初期値にリセットし、ＡＰＤ１０１により生成された信号を基に、リセットされた計数値に対して計数する。また、カウンタ１０４は、奇数フレームでは、前フレームの計数値ＣＮＴの論理反転値に１を加算することにより、前フレームの計数値ＣＮＴの正負符号を反転させる符号反転部２０３を有する。なお、偶数フレームと奇数フレームを入れ替えてもよい。

（第２の実施形態）
第１の実施形態では、符号反転部２０３は、フリップフロップ２００の出力値ＣＮＴに対して正負符号が反転した値を出力する。これにより、固体撮像素子５００は、フレームメモリを用いずに、フレーム間の画素値の差分値を算出および圧縮し、コストを抑えて高い圧縮率を実現できる。また、符号反転部２０３は、フリップフロップ２００の出力値ＣＮＴに対する２の補数を、フリップフロップ２００の出力値ＣＮＴに対して正負符号が反転した値として出力する。これにより、伸張部８０２以降の処理を簡便にすることができる。しかし、符号反転部２０３は、フリップフロップ２００の出力値ＣＮＴの論値反転だけではなく、１を加算する処理が必要となるため、カウンタ１０４の規模が大きくなり、カウンタ１０４の制御が複雑になるという課題がある。この課題は、画素１００の数が多くなるほど、顕著になる。

本発明の第２の実施形態では、図９の符号反転部９００は、フリップフロップ２００の出力値ＣＮＴに対する１の補数を出力する。これにより、撮像システム８００は、伸張部８０２以降の処理を簡便にしつつ、回路規模の削減を行うことができる。

図９は、第２の実施形態による同期カウンタ１０４の構成例を示す図である。以下、本実施形態が第１の実施形態と異なる点を説明する。図９のカウンタ１０４は、図２のカウンタ１０４に対して、符号反転部２０３の代わりに符号反転部９００を設けたものである。符号反転部９００は、フリップフロップ２００の出力値ＣＮＴの論理反転値を、フリップフロップ２００の出力値ＣＮＴに対する１の補数として、選択部２０２に出力する。符号反転部９００は、符号反転部２０３と比べて、１を加算する加算部が存在しないため、同期カウンタ１０４の回路規模を削減することができる。選択部２０２と加算部２０１とフリップフロップ２００の動作は、図２のものと同様である。選択部２０２は、信号ＩＮＶ＿ＲＳＴがハイレベルの場合には、符号反転部９００の出力値を加算部２０１に出力する。加算部２０１は、選択部２０２の出力値に電圧パルスＰＬＳを加算し、加算結果をフリップフロップ２００に出力する。フリップフロップ２００は、加算部２０１の加算結果を保持し、保持している値を計数値ＣＮＴとして出力する。

また、図９の同期カウンタ１０４を図３と同様な非同期カウンタで構成する場合には、図３で説明したようにハイレベルの信号ＩＮＶ＿ＲＳＴが発行された後に１を加算する目的で、電圧パルスＰＬＳをハイレベルに制御する必要がなくなり、制御が簡便となる。また、電圧パルスＰＬＳの線に対して制御部５０５の出力ノードを接続する必要がなくなるため、配線の混雑性やトランジスタの駆動能力を向上させるための追加の電力が緩和される。

図１０は、本実施形態による圧縮部５０６の構成例を示す図である。図１０の圧縮部５０６は、図６の圧縮部５０６に対して、２の補数化部１０００を追加したものである。２の補数化部１０００は、タイミングｔ４０１〜ｔ４０３とｔ４０６〜ｔ４０７のフレーム内圧縮のフレームでは、補数選択信号がローレベルであるため、カウンタ１０４の計数値ＣＮＴをそのまま量子化部６００に出力する。また、２の補数化部１０００は、タイミングｔ４０４〜ｔ４０５のフレーム間圧縮のフレームでは、補数選択信号がハイレベルであるため、カウンタ１０４の計数値ＣＮＴに１を加算し、２の補数表現に変換し、加算結果を量子化部６００に出力する。これにより、図１０の量子化部６００の入力値は、図６の量子化部６００の入力値と同じになる。量子化部６００とエントロピー符号化部６０１と符号量制御部６０２と符号量計測部６０３の動作は、図６のものと同じである。本実施形態によれば、信号ＩＮＶ＿ＲＳＴが入力された際の正負符号反転のための回路規模削減および制御性向上を図ることができる。

なお、圧縮部５０６内の２の補数化部１０００が１を加算する構成について説明したが、これに限定されない。例えば、固体撮像素子５００は、図６の圧縮部５０６を有し、図８の伸張部８０２が１の補数の入力値に対して伸張処理を行った上で、現フレームと前フレームとの差分を１の補数として現フレームの画素データを復元してもよい。つまり、複数の画素１００の構成を簡便化し、パス上で１カ所に束ねられる部分で補数表現処理を吸収すればよい。

以上のように、カウンタ１０４および２の補数化部１０００は、偶数フレームでは、ＡＰＤ１０１により生成された信号を基に計数された計数値ＣＮＴを生成する。また、カウンタ１０４および２の補数化部１０００は、奇数フレームでは、ＡＰＤ１０１により生成された信号を基に、前フレームの計数値ＣＮＴの正負符号が反転された計数値に対して計数された計数値ＣＮＴを生成する。

カウンタ１０４は、奇数フレームでは、前フレームの計数値ＣＮＴの論理反転値に対して計数する。２の補数化部１０００は、奇数フレームでは、カウンタ１０４により計数された計数値ＣＮＴに１を加算する。

（第３の実施形態）
図１１は、本発明の第３の実施形態による固体撮像素子５００の構成例を示す図である。以下、本実施形態が第１の実施形態と異なる点を説明する。図１１の固体撮像素子５００は、図５の固体撮像素子５００に対して、２本の制御線１１０１および１１０２を有する点が異なる。

制御部５０５は、制御線１１０１を介して、偶数行の画素１００に対して、信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴおよびＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴを出力する。信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴおよびＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴは、それぞれ、図１の信号ＩＮＶ＿ＲＳＴおよびＺＥＲＯ＿ＲＳＴに対応する。

また、制御部５０５は、制御線１１０２を介して、奇数行の画素１００に対して、信号ＯＤＤ＿ＩＮＶ＿ＲＳＴおよびＯＤＤ＿ＺＥＲＯ＿ＲＳＴを出力する。信号ＯＤＤ＿ＩＮＶ＿ＲＳＴおよびＯＤＤ＿ＺＥＲＯ＿ＲＳＴは、それぞれ、図１の信号ＩＮＶ＿ＲＳＴおよびＺＥＲＯ＿ＲＳＴに対応する。

図１２は、本実施形態による固体撮像素子５００の制御方法を示すタイミングチャートである。固体撮像素子５００は、複数の画素１００を並列に駆動することにより、光学像をデジタル信号に変換する。

ＥＶＥＮ＿ＡＰＤは、偶数行の画素１００において、ＡＰＤ１０１およびクエンチ抵抗１０２により生成される電位波形であり、波形整形回路１０３の入力電位波形を示す。ＯＤＤ＿ＡＰＤは、奇数行の画素１００において、ＡＰＤ１０１およびクエンチ抵抗１０２により生成される電位波形であり、波形整形回路１０３の入力電位波形を示す。

電圧パルスＥＶＥＮ＿ＰＬＳは、偶数行の画素１００内の波形整形回路１０３の出力電圧である。電圧パルスＯＤＤ＿ＰＬＳは、奇数行の画素１００内の波形整形回路１０３の出力電圧である。

信号ＣＮＴ＿ＲＳＴ、ＥＶＥＮ＿ＩＮＶ＿ＥＮおよびＯＤＤ＿ＩＮＶ＿ＥＮは、図１１の制御部５０５により生成される。制御部５０５は、信号ＣＮＴ＿ＲＳＴ、ＥＶＥＮ＿ＩＮＶ＿ＥＮおよびＯＤＤ＿ＩＮＶ＿ＥＮを基に、信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴ、ＥＶＥＮ＿ＩＮＶ＿ＲＳＴ、ＯＤＤ＿ＺＥＲＯ＿ＲＳＴおよびＯＤＤ＿ＩＮＶ＿ＲＳＴを生成する。

具体的には、信号ＥＶＥＮ＿ＩＮＶ＿ＥＮがローレベルの時に信号ＣＮＴ＿ＲＳＴがハイレベルの場合には、信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴがハイレベルになる。また、信号ＥＶＥＮ＿ＩＮＶ＿ＥＮがハイレベルの時に信号ＣＮＴ＿ＲＳＴがハイレベルの場合には、信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴがハイレベルになる。

また、信号ＯＤＤ＿ＩＮＶ＿ＥＮがローレベルの時に信号ＣＮＴ＿ＲＳＴがハイレベルの場合には、信号ＯＤＤ＿ＺＥＲＯ＿ＲＳＴがハイレベルになる。また、信号ＯＤＤ＿ＩＮＶ＿ＥＮがハイレベルの時に信号ＣＮＴ＿ＲＳＴがハイレベルの場合には、信号ＯＤＤ＿ＩＮＶ＿ＲＳＴがハイレベルになる。

信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴは、偶数行の画素１００に入力される信号ＺＥＲＯ＿ＲＳＴである。信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴは、偶数行の画素１００に入力される信号ＩＮＶ＿ＲＳＴである。

信号ＯＤＤ＿ＺＥＲＯ＿ＲＳＴは、奇数行の画素１００に入力される信号ＺＥＲＯ＿ＲＳＴである。信号ＯＤＤ＿ＩＮＶ＿ＲＳＴは、奇数行の画素１００に入力される信号ＩＮＶ＿ＲＳＴである。

計数値ＥＶＥＮ＿ＣＮＴは、偶数行の画素１００内のカウンタ１０４の出力値を表す。計数値ＯＤＤ＿ＣＮＴは、奇数行の画素１００内のカウンタ１０４の出力値を表す。カウンタ１０４は、信号ＣＮＴ＿ＲＳＴがローレベルである期間を撮像期間として前述の計数および初期化動作を行う。なお、カウンタ１０４は、信号ＣＮＴ＿ＲＳＴがローレベルである状態でカウントを行うが、別途イネーブル信号に応じてカウントを行ってもよい。

ＲＥＡＤ＿ＥＮは、カウンタ１０４の出力値を垂直伝送路５０８（図１１）に出力するタイミングを表しており、信号ＣＮＴ＿ＲＳＴと同一のタイミングで発行される。なお、信号ＣＮＴ＿ＲＳＴと同一のタイミングで信号ＲＥＡＤ＿ＥＮは発行されるが、それに限定されない。具体的には、読み出し信号とリセット信号を個別に持ち、発行のタイミングをずらすことで垂直伝送路５０８への転送タイミングを任意に設定してもよい。

次に、画素１００の駆動方法を説明する。タイミングｔ４００では、信号ＥＶＥＮ＿ＩＮＶ＿ＥＮがローレベルであり、信号ＯＤＤ＿ＩＮＶ＿ＥＮがハイレベルである状態で、信号ＣＮＴ＿ＲＳＴがハイレベルになるため、信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴとＯＤＤ＿ＩＮＶ＿ＲＳＴがハイレベルになる。信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴがハイレベルになると、偶数行のカウンタ１０４は、クロック信号に同期して、計数値ＥＶＥＮ＿ＣＮＴを０にクリアする。また、信号ＯＤＤ＿ＩＮＶ＿ＲＳＴがハイレベルになると、計数値ＯＤＤ＿ＣＮＴは、直前の計数値ＯＤＤ＿ＣＮＴに対して正負符号が反転した値になる。ここでは、撮像開始状態であり、カウンタ１０４のレジスタ値が不定値のため、計数値ＯＤＤ＿ＣＮＴは、不定値となる。なお、実際は、クロック信号に同期して計数値ＥＶＥＮ＿ＣＮＴとＯＤＤ＿ＣＮＴに反映されるため、計数値ＥＶＥＮ＿ＣＮＴとＯＤＤ＿ＣＮＴに遅延が発生するが、略同一のタイミングとして説明を行う。

タイミングｔ４０１では、信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴおよびＯＤＤ＿ＩＮＶ＿ＲＳＴがローレベルになり、露光が開始され、撮像期間が開始する。また、信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴおよびＯＤＤ＿ＩＮＶ＿ＲＳＴがローレベルになると、信号ＥＶＥＮ＿ＩＮＶ＿ＥＮがハイレベルになり、信号ＯＤＤ＿ＩＮＶ＿ＥＮがローレベルになる。次に信号ＣＮＴ＿ＲＳＴがハイレベルになった際には、信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴではなく信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴがハイレベルになり、信号ＯＤＤ＿ＩＮＶ＿ＲＳＴではなく信号ＯＤＤ＿ＺＥＲＯ＿ＲＳＴがハイレベルになる。

タイミングｔ４０２では、ＡＰＤ１０１に光子が入射したことにより、ＡＰＤ１０１には、アバランシェ増倍された電荷が発生し、ＡＰＤ１０１の電位が変化する。ＡＰＤ１０１は、クエンチ抵抗１０２を介して電荷を排出するので、ＡＰＤ１０１が再び一定の電位になるまで時間がかかる。偶数行および奇数行の波形整形回路１０３は、それぞれ、ＡＰＤ１０１の電位の立ち下がりエッジを検出し、短時間の電圧パルスＥＶＥＮ＿ＰＬＳおよびＯＤＤ＿ＰＬＳを生成する。この電圧パルスＥＶＥＮ＿ＰＬＳおよびＯＤＤ＿ＰＬＳは、それぞれ、偶数行および奇数行のカウンタ１０４に入力される。偶数行のカウンタ１０４は、電圧パルスＥＶＥＮ＿ＰＬＳを計数し、計数値ＥＶＥＮ＿ＣＮＴが１となる。奇数行のカウンタ１０４は、電圧パルスＯＤＤ＿ＰＬＳを計数し、計数値ＯＤＤ＿ＣＮＴが不定値となる。

タイミングｔ４０１〜ｔ４０３では、電圧パルスＥＶＥＮ＿ＰＬＳおよびＯＤＤ＿ＰＬＳが発生するたびに、偶数行および奇数行のカウンタ１０４は、計数値ＥＶＥＮ＿ＣＮＴおよびＯＤＤ＿ＣＮＴをインクリメントし続ける。タイミングｔ４０１〜ｔ４０３では、５回の電圧パルスＥＶＥＮ＿ＰＬＳおよび５回の電圧パルスＯＤＤ＿ＰＬＳが発生し、計数値ＥＶＥＮ＿ＣＮＴは５となり、計数値ＯＤＤ＿ＣＮＴは不定値となる。

タイミングｔ４０３では、計数値ＥＶＥＮ＿ＣＮＴが５の状態で、信号ＣＮＴ＿ＲＳＴおよびＲＥＡＤ＿ＥＮがハイレベルになる。信号ＲＥＡＤ＿ＥＮがハイレベルになると、計数値ＥＶＥＮ＿ＣＮＴおよびＯＤＤ＿ＣＮＴが垂直伝送路５０８に順に伝送され、撮像期間が完了する。計数値ＥＶＥＮ＿ＣＮＴの５は、タイミングｔ４０１〜ｔ４０３の撮像期間のフレームの画素値に対応する。偶数行の画素１００にとって、タイミングｔ４０１〜ｔ４０３の撮像期間のフレームは、フレーム内圧縮のためのフレームである。

また、タイミングｔ４０３では、信号ＥＶＥＮ＿ＩＮＶ＿ＥＮがハイレベルのため、信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴがハイレベルとなり、計数値ＥＶＥＮ＿ＣＮＴの値が５の正負符号反転値である−５となる。また、信号ＯＤＤ＿ＩＮＶ＿ＥＮがローレベルのため、信号ＯＤＤ＿ＺＥＲＯ＿ＲＳＴがハイレベルとなり、計数値ＥＶＥＮ＿ＣＮＴの値が０となる。

タイミングｔ４０４では、信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴ、ＯＤＤ＿ＺＥＲＯ＿ＲＳＴ、ＥＶＥＮ＿ＩＮＶ＿ＥＮおよびＲＥＡＤ＿ＥＮがローレベルになり、信号ＯＤＤ＿ＩＮＶ＿ＥＮがハイレベルになり、露光が開始し、次のフレームの撮像期間が開始する。タイミングｔ４０４〜ｔ４０５では、タイミングｔ４０１〜ｔ４０３と同様に、電圧パルスＥＶＥＮ＿ＰＬＳおよびＯＤＤ＿ＰＬＳが発生するたびに、偶数行および奇数行のカウンタ１０４は、計数値ＥＶＥＮ＿ＣＮＴおよびＯＤＤ＿ＣＮＴをインクリメントし続ける。

タイミングｔ４０４〜ｔ４０５では、４回の電圧パルスＥＶＥＮ＿ＰＬＳおよび４回の電圧パルスＯＤＤ＿ＰＬＳが発生している。偶数行のカウンタ１０４は、−５の計数値ＥＶＥＮ＿ＣＮＴに対して４回インクリメントし、−１の計数値ＥＶＥＮ＿ＣＮＴを出力する。奇数行のカウンタ１０４は、０の計数値ＯＤＤ＿ＣＮＴに対して４回インクリメントし、４の計数値ＯＤＤ＿ＣＮＴを出力する。

タイミングｔ４０５では、計数値ＥＶＥＮ＿ＣＮＴが−１であり、計数値ＯＤＤ＿ＣＮＴが４の状態で、タイミングｔ４０３と同様に、信号ＣＮＴ＿ＲＳＴおよびＲＥＡＤ＿ＥＮがハイレベルになる。信号ＲＥＡＤ＿ＥＮがハイレベルになると、垂直伝送路５０８に計数値ＥＶＥＮ＿ＣＮＴおよびＯＤＤ＿ＣＮＴが順に伝送され、撮像期間が完了する。

−１の計数値ＥＶＥＮ＿ＣＮＴは、今回の撮像期間のフレームの電圧パルスＥＶＥＮ＿ＰＬＳの発生数から、前回の撮像期間のフレームの電圧パルスＥＶＥＮ＿ＰＬＳの発生数を減算した値である。すなわち、−１の計数値ＣＮＴは、今回のフレームと前回のフレームの電圧パルスＥＶＥＮ＿ＰＬＳの発生数の差分である。偶数行の画素１００にとって、タイミングｔ４０４〜ｔ４０５の撮像期間のフレームは、フレーム間圧縮のためのフレームである。

４の計数値ＯＤＤ＿ＣＮＴは、今回の撮像期間のフレームの電圧パルスＯＤＤ＿ＰＬＳの発生数であり、奇数行の画素１００の画素値に対応する。奇数行の画素１００にとって、タイミングｔ４０４〜ｔ４０５の撮像期間のフレームは、フレーム内圧縮のためのフレームである。

また、タイミングｔ４０５では、信号ＥＶＥＮ＿ＩＮＶ＿ＥＮがローレベルのため、信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴがハイレベルとなり、計数値ＥＶＥＮ＿ＣＮＴが０となる。また、信号ＯＤＤ＿ＩＮＶ＿ＥＮがハイレベルのため、信号ＯＤＤ＿ＩＮＶ＿ＲＳＴがハイレベルとなり、計数値ＯＤＤ＿ＣＮＴは、正負符号が反転し、４から−４になる。

タイミングｔ４０６では、信号ＣＮＴ＿ＲＳＴ、ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴ、ＯＤＤ＿ＩＮＶ＿ＥＮ、ＯＤＤ＿ＩＮＶ＿ＲＳＴおよびＲＥＡＤ＿ＥＮがローレベルとなり、信号ＥＶＥＮ＿ＩＮＶ＿ＥＮがハイレベルとなる。

タイミングｔ４０６〜ｔ４０７では、タイミングｔ４０１〜ｔ４０３と同様に、電圧パルスＥＶＥＮ＿ＰＬＳおよびＯＤＤ＿ＰＬＳが発生する度に、偶数行および奇数行のカウンタ１０４は、計数値ＥＶＥＮ＿ＣＮＴおよびＯＤＤ＿ＣＮＴをインクリメントし続ける。

タイミングｔ４０６〜ｔ４０７では、４回の電圧パルスＥＶＥＮ＿ＰＬＳが発生しているため、偶数行のカウンタ１０４は、０の計数値ＥＶＥＮ＿ＣＮＴに対して４回インクリメントし、４の計数値ＥＶＥＮ＿ＣＮＴを出力する。偶数行の画素１００にとって、タイミングｔ４０６〜ｔ４０７の撮像期間のフレームは、フレーム内圧縮のためのフレームである。

タイミングｔ４０６〜ｔ４０７では、４回の電圧パルスＯＤＤ＿ＰＬＳが発生しているため、奇数行のカウンタ１０４は、−４の計数値ＥＶＥＮ＿ＣＮＴに対して４回インクリメントし、０の計数値ＥＶＥＮ＿ＣＮＴを出力する。奇数行の画素１００にとって、タイミングｔ４０６〜ｔ４０７の撮像期間のフレームは、フレーム間圧縮のためのフレームである。

タイミングｔ４０７〜ｔ４０８では、タイミングｔ４０３〜ｔ４０４と同様に、信号ＣＮＴ＿ＲＳＴ、ＥＶＥＮ＿ＩＮＶ＿ＥＮ、ＯＤＤ＿ＩＮＶ＿ＥＮ、ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴ、ＯＤＤ＿ＩＮＶ＿ＲＳＴおよびＲＥＡＤ＿ＥＮが制御される。計数値ＥＶＥＮ＿ＣＮＴおよびＯＤＤ＿ＣＮＴは、垂直伝送路５０８に伝送される。

以降、偶数行および奇数行の画素１００は、タイミングｔ４０４〜ｔ４０６と同様の動作と、タイミングｔ４０６〜ｔ４０８と同様の動作を交互に繰り返す。偶数行のカウンタ１０４は、計数値ＥＶＥＮ＿ＣＮＴとして、現フレームの撮像期間の電圧パルスＥＶＥＮ＿ＰＬＳの発生数と、現フレームと前フレームの電圧パルスＥＶＥＮ＿ＰＬＳの発生数の差分とを交互に出力する。奇数行のカウンタ１０４は、計数値ＯＤＤ＿ＣＮＴとして、現フレームの撮像期間の電圧パルスＯＤＤ＿ＰＬＳの発生数と、現フレームと前フレームの電圧パルスＯＤＤ＿ＰＬＳの発生数の差分とを交互に出力する。

なお、信号ＯＤＤ＿ＩＮＶ＿ＲＳＴおよびＯＤＤ＿ＺＥＲＯ＿ＲＳＴと信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴおよびＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴは、各々異なる信号として説明したが、これに限定されない。例えば、偶数行の画素１００は、信号ＥＶＥＮ＿ＩＮＶ＿ＥＮおよびＣＮＴ＿ＲＳＴを入力し、内部で、信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴおよびＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴを生成してもよい。また、奇数行の画素１００は、信号ＯＤＤ＿ＩＮＶ＿ＥＮおよびＣＮＴ＿ＲＳＴを入力し、内部で、信号ＯＤＤ＿ＩＮＶ＿ＲＳＴおよびＯＤＤ＿ＺＥＲＯ＿ＲＳＴを生成してもよい。また、偶数行の画素１００は、少なくとも信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴおよびＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴをバイナリエンコードした状態で入力し、リセットの選択信号として用いてもよい。また、奇数行の画素１００は、少なくとも信号ＯＤＤ＿ＩＮＶ＿ＲＳＴおよびＯＤＤ＿ＺＥＲＯ＿ＲＳＴをバイナリエンコードした状態で入力し、リセットの選択信号として用いてもよい。

次に、図７を参照しながら、圧縮部５０６の処理を説明する。ステップＳ７０１〜Ｓ７０５の処理は、第１の実施形態と同じである。

ステップＳ７０６では、符号量制御部６０２は、各符号化ブロックの量子化に用いたＱＰと、エントロピー符号化部６０１の符号割り当て情報（符号化パラメータ）と、圧縮フラグとを、符号化データ６０４に対応付けて出力する。圧縮フラグは、フレーム内圧縮またはフレーム間圧縮を示す情報である。

図１２のタイミングｔ４０１〜ｔ４０３の撮像期間のフレームでは、偶数行の画素１００の圧縮フラグは、フレーム内圧縮を示す情報であり、奇数行の画素１００の圧縮フラグは、フレーム間圧縮を示す情報である。

図１２のタイミングｔ４０４〜ｔ４０５の撮像期間のフレームでは、偶数行の画素１００の圧縮フラグは、フレーム間圧縮を示す情報であり、奇数行の画素１００の圧縮フラグは、フレーム内圧縮を示す情報である。

図１２のタイミングｔ４０６〜ｔ４０７の撮像期間のフレームでは、偶数行の画素１００の圧縮フラグは、フレーム内圧縮を示す情報であり、奇数行の画素１００の圧縮フラグは、フレーム間圧縮を示す情報である。

以上のように、圧縮部５０６は、タイミングｔ４０１〜ｔ４０３の撮像期間のフレームでは、偶数行の画素１００に対してフレーム内圧縮を行い、奇数行の画素１００に対してフレーム間圧縮を行う。また、圧縮部５０６は、タイミングｔ４０４〜ｔ４０５の撮像期間のフレームでは、偶数行の画素１００に対してフレーム間圧縮を行い、奇数行の画素１００に対してフレーム内圧縮を行う。また、圧縮部５０６は、タイミングｔ４０６〜ｔ４０７の撮像期間のフレームでは、偶数行の画素１００に対してフレーム内圧縮を行い、奇数行の画素１００に対してフレーム間圧縮を行う。フレーム間圧縮は、フレームメモリを用いることなく、圧縮処理を行うことができる。

固体撮像素子５００は、偶数行の画素１００に対して、フレーム単位で、フレーム内圧縮とフレーム間圧縮を交互に行い、奇数行の画素１００に対して、フレーム単位で、フレーム間圧縮とフレーム内圧縮を交互に行う。これにより、圧縮後のデータ量を平滑化することができる。

次に、図８の撮像システム８００が第１の実施形態と異なる点を説明する。伸張部８０２は、符号化データに対応付けられたＤＰと符号化パラメータと圧縮フラグに基づいて、符号化データに対して伸張処理を行い、伸張結果のデータをキャプチャー部８０３に出力する。伸張部８０２は、偶数行または偶数行の画素１００の圧縮フラグがフレーム内圧縮を示す情報である場合には、内部のＤＲＡＭ等の記憶装置に現フレームの伸張結果を出力する。また、伸張部８０２は、偶数行または奇数行の画素１００の圧縮フラグがフレーム間圧縮を示す情報である場合には、内部の記憶装置に記憶されている前フレームの伸張結果を読み出し、フレーム間参照を行って現フレームの伸張を行う。伸張部８０２は、偶数行の伸張結果と奇数行の伸張結果を１枚の画像に合成し、合成した画像をキャプチャー部８０３に出力する。

以上のように、本実施形態によれば、偶数行および奇数行でフレーム内圧縮およびフレーム間圧縮を交互に行うことにより、伝送路の帯域をフレーム間で平均的な帯域に設定することができる。

図１２のように、偶数行のカウンタ１０４は、偶数フレームでは偶数行のＡＰＤ１０１により生成された信号を基に計数された現フレームの計数値ＥＶＥＮ＿ＣＮＴを生成する。偶数行のカウンタ１０４は、奇数フレームでは偶数行のＡＰＤ１０１により生成された信号を基に計数された前フレームの計数値と偶数行のＡＰＤ１０１により生成された信号を基に計数された現フレームの計数値の差分を示す計数値ＥＶＥＮ＿ＣＮＴを生成する。

奇数行のカウンタ１０４は、偶数フレームでは奇数行のＡＰＤ１０１で生成された信号を基に計数された前フレームの計数値と奇数行のＡＰＤ１０１で生成された信号を基に計数された現フレームの計数値との差分を示す第２の計数値ＯＤＤ＿ＣＮＴを生成する。また、奇数行のカウンタ１０４は、奇数フレームでは奇数行のＡＰＤ１０１により生成された信号を基に計数された現フレームの計数値ＯＤＤ＿ＣＮＴを生成する。なお、奇数行と偶数行を入れ替えてもよい。ここで、すべての画素１００は、偶数行の画素１００および奇数行の画素１００から成る空間的に異なる複数のフレームに分割される。その場合、偶数行の画素１００は、第１のフレームに対応し、奇数行の画素１００は、第２のフレームに対応する。

（第４の実施形態）
図１３は、本発明の第４の実施形態による固体撮像素子５００の構成例を示す図である。固体撮像素子５００は、フレームメモリ１３０１を用いて、フレーム間の伝送帯域を平滑化する。以下、本実施形態が第３の実施形態と異なる点を説明する。図１３の固体撮像素子５００は、図１１の固体撮像素子５００に対して、圧縮部５０６の代わりに、フレームメモリ１３０１および圧縮部１３０２を設けたものである。フレームメモリ１３０１は、水平伝送路５０９の計数値ＣＮＴを格納し、その格納した計数値ＣＮＴを圧縮部１３０２に出力する。圧縮部１３０２は、フレームメモリ１３０１から前フレームの計数値ＣＮＴを入力し、水平伝送路５０９から現フレームの計数値ＣＮＴを入力し、圧縮する。

制御部５０５は、制御線１１０１を介して、偶数行の画素１００に対して、信号ＥＶＥＮ＿ＩＮＶ＿ＲＳＴを出力せず、各フレーム間でハイレベルパルスの信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴを出力する。偶数行の画素１００では、図２の選択部２０２は、信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴがハイレベルの場合に「０」を加算部２０１に出力し、信号ＥＶＥＮ＿ＺＥＲＯ＿ＲＳＴがローレベルの場合にフリップフロップ２００の出力値ＣＮＴを加算部２０１に出力する。偶数行のカウンタ１０４は、全フレームにおいて、タイミングｔ４０１〜ｔ４０３のように、電圧パルスＥＶＥＮ＿ＰＬＳの発生数を計数値ＥＶＥＮ＿ＣＮＴとして出力する。

また、制御部５０５は、制御線１２０１を介して、奇数行の画素１００に対して、信号ＯＤＤ＿ＩＮＶ＿ＲＳＴを出力せず、各フレーム間でハイレベルパルスの信号ＯＤＤ＿ＺＥＲＯ＿ＲＳＴを出力する。奇数行の画素１００では、図２の選択部２０２は、信号ＯＤＤ＿ＺＥＲＯ＿ＲＳＴがハイレベルの場合には「０」を加算部２０１に出力し、信号ＯＤＤ＿ＺＥＲＯ＿ＲＳＴがローレベルの場合にはフリップフロップ２００の出力値ＣＮＴを加算部２０１に出力する。奇数行のカウンタ１０４は、全フレームにおいて、タイミングｔ４０４〜ｔ４０５のように、電圧パルスＯＤＤ＿ＰＬＳの発生数を計数値ＯＤＤ＿ＣＮＴとして出力する。

図１４は、図１３の圧縮部１３０２の構成例を示す図である。図１４の圧縮部１３０２は、図６の圧縮部５０６に対して、減算器１４００および選択部１４０１を追加したものである。減算器１４００は、水平伝送路５０９から入力した現フレームの計数値ＥＶＥＮ＿ＣＮＴまたはＯＤＤ＿ＣＮＴから、フレームメモリ１３０１から入力した前フレームの計数値ＥＶＥＮ＿ＣＮＴまたはＯＤＤ＿ＣＮＴを減算し、減算結果を選択部１４０１に出力する。すなわち、減算器１４００は、現フレームの計数値と前フレームの計数値との差分を、フレーム間差分信号として出力する。

減算器１４００の出力値は、図１２のタイミングｔ４０４〜ｔ４０５のフレームの−１の計数値ＥＶＥＮ＿ＣＮＴと、タイミングｔ４０６〜ｔ４０７のフレームの０の計数値ＯＤＤ＿ＣＮＴに対応する。水平伝送路５０９の値は、タイミングｔ４０１〜ｔ４０３のフレームの５の計数値ＥＶＥＮ＿ＣＮＴと、タイミングｔ４０４〜ｔ４０５のフレームの４の計数値ＯＤＤ＿ＣＮＴと、タイミングｔ４０６〜ｔ４０７のフレームの４の計数値ＥＶＥＮ＿ＣＮＴに対応する。

選択部１４０１は、制御部５０５の選択信号に応じて、減算器１４００の出力値または水平伝送路５０９の出力値を、量子化部６００に出力する。選択部１４０１は、図１２に示すように、偶数フレームでは、奇数行の場合には、減算器１４００の出力値を量子化部６００に出力し、偶数行の場合には、水平伝送路５０９の出力値を量子化部６００に出力する。また、選択部１４０１は、図１２に示すように、奇数フレームでは、偶数行の場合には、減算器１４００の出力値を量子化部６００に出力し、奇数行の場合には、水平伝送路５０９の出力値を量子化部６００に出力する。

図１５は、固体撮像素子５００の制御方法を示すタイミングチャートである。図１５では、説明の簡便化のため、遅延時間を無視して表している。水平伝送路５０９は、水平伝送路５０９から伝送された計数値が偶数行の計数値または奇数行の計数値であるかの種別を示している。ＦｒａｍｅＣｎｔは、現在の撮像期間のフレーム番号であり、撮像期間および読み出し期間が完了するとインクリメントされる。ＬｉｎｅＣｎｔは、水平伝送路５０９から伝送された計数値の行番号である。ＲＡＭ＿ＡＲＥＡは、フレーム番号ＦｒａｍｅＣｎｔおよび行番号ＬｉｎｅＣｎｔに対応したフレームメモリ１３０１の格納領域を示している。

図１６は、フレームメモリ１３０１の格納領域ＲＡＭ＿ＡＲＥＡを示す図である。格納領域ＲＡＭ＿ＡＲＥＡは、フレーム番号ＦｒａｍｅＣｎｔおよび行番号ＬｉｎｅＣｎｔに基づいてアクセスされるフレームメモリ１３０１の領域である。

フレーム番号ＦｒａｍｅＣｎｔが０の場合、行番号ＬｉｎｅＣｎｔが０および２の場合には、それぞれ、水平伝送路５０９の計数値は格納領域ＲＡＭ＿ＡＲＥＡの０および１に書き込まれる。また、フレーム番号ＦｒａｍｅＣｎｔが０の場合、行番号ＬｉｎｅＣｎｔが１および３の場合には、それぞれ、格納領域ＲＡＭ＿ＡＲＥＡの１および２から計数値を読み出す。

フレーム番号ＦｒａｍｅＣｎｔが１〜５に関しても同様に、フレーム番号ＦｒａｍｅＣｎｔおよび行番号ＬｉｎｅＣｎｔに対応した格納領域ＲＡＭ＿ＡＲＥＡに水平伝送路５０９の計数値を書き込む、もしくは格納領域ＲＡＭ＿ＡＲＥＡから計数値を読み出す。

フレーム番号ＦｒａｍｅＣｎｔの０〜５の格納領域ＲＡＭ＿ＡＲＥＡの制御が完了すると、次フレームでは、フレーム番号ＦｒａｍｅＣｎｔの０に戻り、再度、フレーム番号ＦｒａｍｅＣｎｔの０〜５の格納領域ＲＡＭ＿ＡＲＥＡの制御が行われる。

このように処理を行うことで、フレームメモリ１３０１の容量を固体撮像素子５００の行数分だけ持たなくてもよいため、コスト削減が可能となる。なお、このフレームメモリ１３０１の制御による必要な容量は、水平画素数×（垂直行数÷２＋２）となる。

図１５において、ＲＡＭ＿ＣＺは、フレームメモリ１３０１に対する制御信号であって、ローレベルの時に後述のＲＡＭ＿ＷＺに基づいた命令を有効にする。ＲＡＭ＿ＷＺは、フレームメモリ１３０１に対する書き込み制御信号であって、ローレベルの時にＲＡＭ＿Ｄの計数値を格納領域ＲＡＭ＿ＡＲＥＡに書き込み、ハイレベルの時に格納領域ＲＡＭ＿ＡＲＥＡからＲＡＭ＿Ｑに計数値を読み出す。このタイミングチャート中のＸは、Ｄｏｎ‘ｔＣａｒｅを示し、どのような入力であってもよいことを示す。

タイミングｔ１５００では、０フレーム目の撮像期間が完了し、垂直伝送路５０８および水平伝送路５０９を介して０行目の計数値が順次転送開始される。この時、フレーム番号ＦｒａｍｅＣｎｔは０フレーム目であり、行番号ＬｉｎｅＣｎｔは０行目である。現フレームの０行目の水平伝送路５０９の計数値は、所定の格納領域ＲＡＭ＿ＡＲＥＡの０に書き込みされると同時に、圧縮部１３０２に出力される。

タイミングｔ１５０１では、０行目の水平伝送路５０９からの転送が完了し、１行目の水平伝送路５０９からの転送が開始される。行番号ＬｉｎｅＣｎｔは＋１加算され、所定の格納領域ＲＡＭ＿ＡＲＥＡの１に格納されている前フレームの１行目の計数値の読み出し処理を行う。読み出された前フレームの１行目の計数値は、現フレームの１行目の計数値とともに圧縮部１３０２に出力される。圧縮部１３０２では、減算器１４００は、現フレームの１行目の計数値から前フレームの１行目の計数値を減算し、減算結果を選択部１４０１を介して量子化部６００に出力する。

タイミングｔ１５０２では、タイミングｔ１５００と同様に、水平伝送路５０９を介して偶数行である２行目の計数値が転送される。現フレームの２行目の計数値は、格納領域ＲＡＭ＿ＡＲＥＡの１に書き込みされると同時に、圧縮部１３０２に出力される。圧縮部１３０２では、選択部１４０１は、現フレームの２行目の計数値を量子化部６００に出力する。

タイミングｔ１５０３では、タイミングｔ１５０１と同様に、水平伝送路５０９を介して奇数である３行目の計数値が転送される。所定の格納領域ＲＡＭ＿ＡＲＥＡの２に格納されている前フレームの３行目の計数値の読み出し処理を行う。読み出された前フレームの３行目の計数値は、現フレームの３行目の計数値とともに圧縮部１３０２に出力される。圧縮部１３０２では、減算器１４００は、現フレームの３行目の計数値から前フレームの３行目の計数値を減算し、減算結果を選択部１４０１を介して量子化部６００に出力する。

タイミングｔ１５０４では、３行目の計数値の出力が完了し、１フレーム目の撮像期間が開始する。

タイミングｔ１５０５では、１フレーム目の撮像期間が終了し、垂直伝送路５０８および水平伝送路５０９を介して１フレーム目の０行目の計数値が順次転送開始される。この時、フレーム番号ＦｒａｍｅＣｎｔは１であり、行番号ＬｉｎｅＣｎｔは０である。所定の格納領域ＲＡＭ＿ＡＲＥＡの０から前フレームの０行目の計数値が読み出される。読み出された前フレームの０行目の計数値と、現フレームの０行目の計数値は、圧縮部１３０２に出力される。圧縮部１３０２では、減算器１４００は、現フレームの０行目の計数値から前フレームの０行目の計数値を減算し、減算結果を選択部１４０１を介して量子化部６００に出力する。

タイミングｔ１５０６では、０行目の水平伝送路５０９からの転送が完了し、水平伝送路５０９から１行目の計数値の転送が開始される。行番号ＬｉｎｅＣｎｔは＋１加算される。水平伝送路５０９の現フレームの１行目の計数値は、所定の格納領域ＲＡＭ＿ＡＲＥＡの１に書き込まれると同時に、圧縮部１３０２に出力される。圧縮部１３０２では、選択部１４０１は、現フレームの１行目の計数値を量子化部６００に出力する。

タイミングｔ１５０７では、タイミングｔ１５０５と同様に、水平伝送路５０９を介して１フレーム目の２行目の計数値が転送される。所定の格納領域ＲＡＭ＿ＡＲＥＡの１から前フレームの２行目の計数値が読み出される。読み出された前フレームの２行目の計数値と、現フレームの２行目の計数値は、圧縮部１３０２に出力される。圧縮部１３０２では、減算器１４００は、現フレームの２行目の計数値から前フレームの２行目の計数値を減算し、減算結果を選択部１４０１を介して量子化部６００に出力する。

タイミングｔ１５０８では、タイミングｔ１５０６と同様に、水平伝送路５０９から３行目の計数値が転送される。水平伝送路５０９の現フレームの３行目の計数値は、所定の格納領域ＲＡＭ＿ＡＲＥＡの１に書き込まれると同時に、圧縮部１３０２に出力される。圧縮部１３０２では、選択部１４０１は、現フレームの３行目の計数値を量子化部６００に出力する。タイミングｔ１５０９では、１フレーム目の処理が終了する。

以上のように、固体撮像素子５００は、偶数フレームおよび奇数フレームに応じた偶数行および奇数行のフレームメモリ１３０１に対する書き込みおよび読み出し動作を繰り返し制御する。これにより、偶数フレームでは、奇数行のみ前フレームの奇数行を参照し、現フレームと前フレームの計数値の差分を得ることができる。奇数フレームでは、偶数行のみ前フレームの偶数行を参照し、現フレームと前フレームの計数値の差分を得ることができる。圧縮部１３０２は、圧縮処理により、フレーム間の伝送路帯域の平滑化が可能となる。

フレームメモリ１３０１は、ＡＰＤ１０１により生成された信号を基に計数された前フレームの計数値を記憶する。減算器１４００は、偶数フレームの奇数行と奇数フレームの偶数行では、ＡＰＤ１０１により生成された信号を基に計数された前フレームの計数値と、ＡＰＤ１０１により生成された信号を基に計数された現フレームの計数値との差分を示す計数値を生成する。

なお、本実施形態では、偶数フレームおよび奇数フレームに基づいた偶数行の画素および奇数行の画素のフレーム間参照動作について説明を行ったが、この制御に限定されるものではない。例えば、偶数フレームおよび奇数フレームに基づいて水平方向の偶数列の画素および奇数列の画素のフレーム間参照動作に使用することも可能である。

また、１つのマイクロレンズの下に射出瞳を２分割して配置された２つの画素を配置するような技術においても、分割された左側の画素および右側の画素を上記の偶数列の画素および奇数列の画素として制御したとしても同様の効果を得ることが可能となる。

つまり、画素の種別を２種類に分類し、偶数フレームおよび奇数フレームに基づいて各種類の画素をそれぞれフレームメモリ１３０１に対して書き込みおよび読み出すように制御し、圧縮処理を行うことで、フレーム間の伝送路帯域の平滑化が可能となる。

第１〜第４の実施形態の固体撮像素子５００は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ、車載カメラ等に適用可能である。また、カウンタ１０４は、ＡＰＤ１０１に入射する光子の数をカウントする例を説明したが、これに限定されない。カウンタ１０４は、フォトダイオードが生成する光電変換信号と、時間と共に変化するランプ信号との大小関係が逆転するまでの時間をカウントすることにより、アナログデジタル変換を行うものでもよい。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ ＡＰＤ、１０２ クエンチ抵抗、１０３ 波形整形回路、１０４ カウンタ、５０６ 圧縮部

Claims (30)

1. 光電変換により信号を生成する光電変換手段と、
   第１のフレームでは、光電変換手段により生成された信号を基に計数された計数値を生成し、第２のフレームでは、光電変換手段により生成された信号を基に、前フレームの計数値の正負符号が反転された計数値に対して計数された計数値を生成する生成手段と、
   前記生成手段により生成された計数値を圧縮する圧縮手段と
   を有することを特徴とする撮像装置。
2. 前記生成手段は、前記第１のフレームでは、計数値を初期値にリセットし、前記光電変換手段により生成された信号を基に、前記リセットされた計数値に対して計数することを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段は、偶数フレームでは、前フレームの計数値を初期値にリセットし、前記光電変換手段により生成された信号を基に、前記リセットされた計数値に対して計数し、奇数フレームでは、前記光電変換手段により生成された信号を基に、前フレームの計数値の正負符号が反転された計数値に対して計数された計数値を生成することを特徴とする請求項１または２に記載の撮像装置。
4. 前記生成手段は、奇数フレームでは、前フレームの計数値を初期値にリセットし、前記光電変換手段により生成された信号を基に、前記リセットされた計数値に対して計数し、偶数フレームでは、前記光電変換手段により生成された信号を基に、前フレームの計数値の正負符号が反転された計数値に対して計数された計数値を生成することを特徴とする請求項１または２に記載の撮像装置。
5. 前記生成手段は、前記第２のフレームでは、前記第１のフレームの計数値の正負符号を反転させた計数値に対して計数することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記生成手段は、前記第２のフレームでは、前記第１のフレームの計数値の論理反転値に１を加算することにより、前記第１のフレームの計数値の正負符号を反転させる反転手段を有することを特徴とする請求項５に記載の撮像装置。
7. 前記生成手段は、
   前記第２のフレームでは、前記第１のフレームの計数値の論理反転値に対して計数する計数手段と、
   前記計数手段により計数された第２のフレームの計数値に１を加算する加算手段とを有することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
8. 前記撮像装置は、複数の画素を有し、
   前記複数の画素の各々は、前記光電変換手段と前記生成手段とを有し、
   前記圧縮手段は、前記複数の画素の中の前記生成手段により生成された計数値を順に圧縮することを特徴とする請求項５または６に記載の撮像装置。
9. 前記生成手段は、前記第２のフレームでは、前記第１のフレームの計数値の１の補数表現に対して計数した後、２の補数表現に変換することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
10. 光電変換により信号を生成する光電変換手段と、
    第１のフレームでは、光電変換手段により生成された信号を基に計数された計数値を生成し、第２のフレームでは、光電変換手段により生成された信号を基に、前フレームの計数値が論理反転された計数値に対して計数された計数値を生成する生成手段と、
    前記生成手段により生成された計数値を圧縮する圧縮手段と
    を有することを特徴とする撮像装置。
11. 前記第１のフレームと前記第２のフレームは、時系列的に異なるフレームであることを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記第１のフレームと前記第２のフレームは、異なる光電変換手段から成る空間的に異なるフレームであることを特徴とする請求項１または１０に記載の撮像装置。
13. 光電変換により信号を生成する第１の光電変換手段と、
    光電変換により信号を生成する第２の光電変換手段と、
    第１のフレームでは、前記第１の光電変換手段により生成された信号を基に計数された第１の計数値を生成する第１の生成手段と、
    前記第１のフレームでは、前記第２の光電変換手段により生成された信号を基に計数された前フレームの計数値と前記第２の光電変換手段により生成された信号を基に計数された前記第１のフレームの計数値との差分を示す第２の計数値を生成する第２の生成手段と、
    前記第１の生成手段により生成された第１の計数値および前記第２の生成手段により生成された第２の計数値を圧縮する圧縮手段と
    を有することを特徴とする撮像装置。
14. 前記第１の生成手段は、第２のフレームでは、前記第１の光電変換手段により生成された信号を基に計数された前フレームの計数値と前記第１の光電変換手段により生成された信号を基に計数された前記第２のフレームの計数値との差分を示す第１の計数値を生成し、
    前記第２の生成手段は、前記第２のフレームでは、前記第２の光電変換手段により生成された信号を基に計数された第２の計数値を生成することを特徴とする請求項１３に記載の撮像装置。
15. 前記第１の生成手段は、偶数フレームでは、前記第１の光電変換手段により生成された信号を基に計数された現フレームの第１の計数値を生成し、奇数フレームでは、前記第１の光電変換手段により生成された信号を基に計数された前フレームの計数値と前記第１の光電変換手段により生成された信号を基に計数された現フレームの計数値との差分を示す第１の計数値を生成し、
    前記第２の生成手段は、偶数フレームでは、前記第２の光電変換手段により生成された信号を基に計数された前フレームの計数値と前記第２の光電変換手段により生成された信号を基に計数された現フレームの計数値との差分を示す第２の計数値を生成し、奇数フレームでは、前記第２の光電変換手段により生成された信号を基に計数された現フレームの第２の計数値を生成することを特徴とする請求項１３または１４に記載の撮像装置。
16. 前記第１の生成手段は、前記第１のフレームでは、第１の計数値を初期値にリセットし、前記第１の光電変換手段により生成された信号を基に、前記リセットされた第１の計数値に対して計数された第１の計数値を生成し、
    前記第２の生成手段は、前記第１のフレームでは、前記第２の光電変換手段により生成された信号を基に、前フレームの第２の計数値の正負符号が反転された計数値に対して計数された第２の計数値を生成することを特徴とする請求項１３〜１５のいずれか１項に記載の撮像装置。
17. 前記第１の生成手段は、第２のフレームでは、前記第１の光電変換手段により生成された信号を基に、前フレームの第１の計数値の正負符号が反転された計数値に対して計数された第１の計数値を生成し、
    前記第２の生成手段は、前記第２のフレームでは、第２の計数値を初期値にリセットし、前記第２の光電変換手段により生成された信号を基に、前記リセットされた第２の計数値に対して計数された第２の計数値を生成することを特徴とする請求項１６に記載の撮像装置。
18. 前記第１の生成手段は、偶数フレームでは、前フレームの第１の計数値を初期値にリセットし、前記第１の光電変換手段により生成された信号を基に、前記リセットされた第１の計数値に対して計数し、奇数フレームでは、前記第１の光電変換手段により生成された信号を基に、前フレームの第１の計数値の正負符号が反転された計数値に対して計数された第１の計数値を生成し、
    前記第２の生成手段は、偶数フレームでは、前記第２の光電変換手段により生成された信号を基に、前フレームの第２の計数値の正負符号が反転された計数値に対して計数された第２の計数値を生成し、奇数フレームでは、前フレームの第２の計数値を初期値にリセットし、前記第２の光電変換手段により生成された信号を基に、前記リセットされた第２の計数値に対して計数することを特徴とする請求項１６または１７に記載の撮像装置。
19. 前記第２の生成手段は、前記第１のフレームでは、前フレームの第２の計数値の正負符号を反転させた計数値に対して計数することを特徴とする請求項１６〜１８のいずれか１項に記載の撮像装置。
20. 前記第２の生成手段は、前記第１のフレームでは、前フレームの第２の計数値の論理反転値に１を加算することにより、前フレームの第２の計数値の正負符号を反転させる反転手段を有することを特徴とする請求項１９に記載の撮像装置。
21. 前記第２の生成手段は、
    前記第１のフレームでは、前フレームの第２の計数値の論理反転値に対して計数する計数手段と、
    前記計数手段により計数された計数値に１を加算する加算手段とを有することを特徴とする請求項１６〜１８のいずれか１項に記載の撮像装置。
22. 前記撮像装置は、第１の画素と第２の画素とを有し、
    前記第１の画素は、前記第１の光電変換手段と前記第１の生成手段とを有し、
    前記第２の画素は、前記第２の光電変換手段と前記第２の生成手段とを有し、
    前記圧縮手段は、前記第１の生成手段により生成された第１の計数値と前記第２の生成手段により生成された第２の計数値を順に圧縮することを特徴とする請求項１９または２０に記載の撮像装置。
23. 前記撮像装置は、第１の画素と第２の画素とを有し、
    前記第１の画素は、前記第１の光電変換手段と前記第１の生成手段とを有し、
    前記第２の画素は、前記第２の光電変換手段と前記計数手段とを有し、
    前記加算手段は、前記計数手段により計数された計数値に１を加算することを特徴とする請求項２１に記載の撮像装置。
24. 前記撮像装置は、前記第２の光電変換手段により生成された信号を基に計数された前フレームの計数値を記憶するメモリを有し、
    前記第２の生成手段は、前記第１のフレームでは、前記メモリに記憶されている前記第２の光電変換手段により生成された信号を基に計数された前フレームの計数値と、前記第２の光電変換手段により生成された信号を基に計数された前記第１のフレームの計数値との差分を示す第２の計数値を生成することを特徴とする請求項１３〜１５のいずれか１項に記載の撮像装置。
25. 前記撮像装置は、行列状に配列された複数の光電変換手段を有し、
    前記第１の光電変換手段は、偶数行の光電変換手段であり、
    前記第２の光電変換手段は、奇数行の光電変換手段であることを特徴とする請求項１３〜２４のいずれか１項に記載の撮像装置。
26. 前記撮像装置は、行列状に配列された複数の光電変換手段を有し、
    前記第１の光電変換手段は、偶数列の光電変換手段であり、
    前記第２の光電変換手段は、奇数列の光電変換手段であることを特徴とする請求項１３〜２４のいずれか１項に記載の撮像装置。
27. 前記第１の光電変換手段および前記第２の光電変換手段は、１つのマイクロレンズの下に配置されていることを特徴とする請求項１３〜２４のいずれか１項に記載の撮像装置。
28. 光電変換手段により、光電変換により信号を生成する光電変換ステップと、
    生成手段により、第１のフレームでは、光電変換手段により生成された信号を基に計数された計数値を生成し、第２のフレームでは、光電変換手段により生成された信号を基に、前フレームの計数値の正負符号が反転された計数値に対して計数された計数値を生成する生成ステップと、
    圧縮手段により、前記生成ステップで生成された計数値を圧縮する圧縮ステップと
    を有することを特徴とする撮像装置の制御方法。
29. 光電変換手段により、光電変換により信号を生成する光電変換ステップと、
    生成手段により、第１のフレームでは、光電変換手段により生成された信号を基に計数された計数値を生成し、第２のフレームでは、光電変換手段により生成された信号を基に、前フレームの計数値が論理反転された計数値に対して計数された計数値を生成する生成ステップと、
    圧縮手段により、前記生成ステップで生成された計数値を圧縮する圧縮ステップと
    を有することを特徴とする撮像装置の制御方法。
30. 第１の光電変換手段により、光電変換により信号を生成する第１の光電変換ステップと、
    第２の光電変換手段により、光電変換により信号を生成する第２の光電変換ステップと、
    第１の生成手段により、第１のフレームでは、前記第１の光電変換手段により生成された信号を基に計数された第１の計数値を生成する第１の生成ステップと、
    第２の生成手段により、前記第１のフレームでは、前記第２の光電変換手段により生成された信号を基に計数された前フレームの計数値と前記第２の光電変換手段により生成された信号を基に計数された前記第１のフレームの計数値との差分を示す第２の計数値を生成する第２の生成ステップと、
    圧縮手段により、前記第１の生成ステップで生成された第１の計数値および前記第２の生成ステップで生成された第２の計数値を圧縮する圧縮ステップと
    を有することを特徴とする撮像装置の制御方法。

Images