JP2015136093A - 撮像素子、撮像装置、および電子装置 - Google Patents

Abstract

【課題】 消費電力と発熱量を抑え、解像度の劣化が少ない超高速撮像動画を得る。【解決手段】 本開示の第１の側面である撮像素子は、入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、複数フレーム分の前記画像信号を格納するフレームメモリとを備える。本開示は、例えば、モバイル向けなどのコモディディ化された安価なカメラシステムに適用できる。【選択図】 図１

Description

本開示は、撮像素子、撮像装置、および電子装置に関し、特に、比較的低い消費電力で超高速撮像動画（スーパスロー動画）を得られるようにした撮像素子、撮像装置、および電子装置に関する。

通常、撮像素子による動画像のフレームレートは30fps程度であり、それよりもさらに高速なフレームレートを実現しようとした場合、撮像素子の実用上の限界は、I/Fの帯域と消費電力によってその上限が制限されてしまうことが多い。例えば、１画素当たりのデータ量が１０ビット、解像度が1920×1080画素のフルハイビジョンの動画を1000fpsで出力する場合、その画像データを通信するI/Fには２０bps以上の帯域が必要となる。

これに対して、携帯端末などのモバイル装置のI/Fの帯域は高速なものであっても４乃至６Ｇbps程度に過ぎないので、上述した傾向は、特にモバイル装置や民生用カメラに搭載される小型の撮像素子で顕著である。

また、今後は動画像の解像度がフルハイビジョンの４倍、８倍である、いわゆる４Ｋ，８Ｋの普及が見込まれているだけでなく、フレームレートの高速化の要求も増しているので、単にI/Fの帯域を広げるだけでは対応しきれないことが予想される。

さらに、解像度やフレームレートを増した場合、撮像素子やその後段に設けられる画像信号処理回路などにおける消費電力が増えて発熱量が増加してしまうが、発熱量の増加はモバイル装置や民生用カメラにとって回避すべき問題である。

このような問題に対し、従来においては、画素を間引いたり、画像の一部領域を切り出したりすることにより、高いフレームレートを実現しつつ、処理する画素数を減らして消費電力と発熱量の増加を抑える方法が提案されている（例えば、特許文献１参照）。

特開平９−２４７５４３号公報

上述した従来の方法では、高いフレームレートを実現できるものの、動画の解像度が大幅に劣化してしまう。

本開示はこのような状況に鑑みてなされたものであり、消費電力と発熱量を抑え、解像度の劣化が少ない超高速撮像動画を得られるようにするものである。

本開示の第１の側面である撮像素子は、入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、複数フレーム分の前記画像信号を格納するフレームメモリとを備える。

本開示の第１の側面である撮像素子は、生成された前記画像データを前記フレームメモリに書き込む書き込み部と、前記フレームメモリに書き込まれている前記画像データを読み出す読み出し部とをさらに備えることができる。

前記書き込み部は、生成された前記画像データを前記フレームメモリの第１のエリアに上書きすることができ、前記読み出し部は、前記フレームメモリの前記第１のエリアに上書きされた前記画像データをフレーム単位で間引きして読み出すことができる。

前記書き込み部は、第１のフレームレートで生成された前記画像データを前記フレームメモリの第１のエリアに上書きすることができ、前記読み出し部は、前記第１のフレームレートで前記フレームメモリの前記第１のエリアに上書きされた前記画像データを前記第１のフレームレートよりも遅い第２のフレームレートで間引き読み出しすることができる。

本開示の第１の側面である撮像素子は、前記フレームメモリに書き込む前記画像データを符号化する符号化部と、前記フレームメモリから読み出された、符号化されている前記画像データを復号する復号部とをさらに備えることができる。

本開示の第１の側面である撮像素子は、トリガに応じ、前記書き込み部を制御して、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させる制御部をさらに備えることができる。

前記制御部は、前記トリガに応じ、直ちに、または所定のフレーム数だけ遅延して、前記書き込み部を制御して、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させることができる。

前記制御部は、外部からの指示を前記トリガとして、前記書き込み部を制御し、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させることができる。

本開示の第１の側面である撮像素子は、前記フレームメモリの前記第１のエリアに上書きする前記画像データにおける高速遷移シーンを検知する検知部をさらに備えることができ、前記制御部は、前記高速遷移シーンの検知を前記トリガとして、前記書き込み部を制御し、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させることができる。

前記読み出し部は、前記フレームメモリの前記第１のエリアに対する前記画像データの上書きが停止されたことにより前記フレームメモリの前記第１のエリアに残っている前記画像データを読み出すことができる。

前記書き込み部は、前記フレームメモリの前記第１のエリアに対する前記画像データの上書きが停止された後、生成された前記画像データを前記フレームメモリの前記第１のエリアとは異なる第２のエリアに書き込むことができ、前記読み出し部は、前記フレームメモリの前記第２のエリアに書き込まれた前記画像データを読み出し、さらに、上書きが停止されたことにより前記フレームメモリの前記第１のエリアに残っている前記画像データも読み出すことができる。

前記書き込み部は、前記フレームメモリの前記第１のエリアに対する前記画像データの第１のフレームレートでの上書きが停止された後、前記第１のフレームレートよりも遅い第２のフレームレートで生成された前記画像データを前記フレームメモリの前記第１のエリアとは異なる第２のエリアに書き込むことができ、前記読み出し部は、前記フレームメモリの前記第２のエリアに書き込まれた前記画像データを前記第２のフレームレートで読み出し、さらに、上書きが停止されたことにより前記フレームメモリの前記第１のエリアに残っている前記画像データも読み出すことができる。

前記画素生成部は、生成した前記画像信号の画角の変更、または前記画素信号の加算の少なくとも一方を行うことができる。

本開示の第１の側面である撮像素子は、１または複数の基板に配置された状態で１チップ化することができる。

本開示の第２の側面である撮像装置は、撮像素子が搭載された撮像装置において、前記撮像素子は、入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、複数フレーム分の前記画像信号を格納するフレームメモリとを備える。

本開示の第３の側面である電子装置は、撮像素子が搭載された電子装置において、前記撮像素子は、入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、複数フレーム分の前記画像信号を格納するフレームメモリとを備える。

本開示の第１乃至第３の側面においては、撮像素子において、入射光に応じて複数の画素信号からなる画像信号が生成され、複数フレーム分の前記画像信号を格納するフレームメモリに書き込まれる。

本開示の第４の側面である撮像装置は、撮像素子と、ISP処理部を備える撮像装置において、前記撮像素子が、入射光に応じて複数の画素信号からなる画像信号を第１のフレームレートで生成する画素生成部と、前記画像信号を符号化する符号化部と、符号化されている前記画像信号を前記第１のフレームレートで前記ISP処理部に出力する出力部とを備え、前記ISP処理部が、複数フレーム分の符号化されている前記画像信号を格納するフレームメモリと、前記撮像素子から入力された符号化されている前記画像信号を前記第１のフレームレートで前記フレームメモリに書き込む書き込み部と、前記フレームメモリに書き込まれている、符号されている前記画像データを前記第１のフレームレートよりも遅い第２のフレームレートで読み出し、復号してからISP処理を行うISP部とを備える。

前記ISP処理部は、トリガに応じ、前記書き込み部を制御して、前記フレームメモリに対する符号化されている前記画像データの書き込みを停止させる制御部をさらに備えることができる。

前記撮像素子は、生成された前記画像データにおける高速遷移シーンを検知する検知部をさらに備えることができ、前記制御部は、前記高速遷移シーンの検知を前記トリガとすることができる。

前記ISP処理部は、前記撮像素子から入力された符号化されている前記画像信号を復号する復号部と、復号された前記画像データにおける高速遷移シーンを検知する検知部をさらに備えることができ、前記制御部は、前記高速遷移シーンの検知を前記トリガとすることができる。

本開示の第４の側面においては、撮像素子において、生成、符号化された画像信号が第１のフレームレートでISP処理部に出力され、前記ISP処理部において、符号化されている前記画像信号が前記第１のフレームレートでフレームメモリに書き込まれ、前記フレームメモリに書き込まれている、符号されている前記画像データが前記第１のフレームレートよりも遅い第２のフレームレートで読み出され、復号されてからISP処理が行われる。

本開示の第５の側面である撮像装置は、撮像素子と、ISP処理部を備える撮像装置において、前記撮像素子が、入射光に応じて複数の画素信号からなる画像信号を第１のフレームレートで生成する画素生成部と、前記画像信号を符号化する符号化部と、符号化されている前記画像信号を前記第１のフレームレートで前記ISP処理部のフレームメモリに書き込む書き込み部とを備え、前記ISP処理部が、複数フレーム分の符号化されている前記画像信号を格納する前記フレームメモリと、前記フレームメモリに書き込まれている、符号されている前記画像データを前記第１のフレームレートよりも遅い第２のフレームレートで読み出し、復号してからISP処理を行うISP部とを備える。

本開示の第５の側面においては、撮像素子において、生成、符号化された画像信号が第１のフレームレートでISP処理部のフレームメモリに書き込まれ、前記ISP処理部において、前記フレームメモリに書き込まれている、符号されている前記画像データが前記第１のフレームレートよりも遅い第２のフレームレートで読み出され、復号されてからISP処理が行われる。

本開示の第１乃至第５の側面によれば、消費電力と発熱量を抑え、解像度の劣化が少ない超高速撮像動画を得ることができる。

本開示を適用した撮像装置の構成例を示すブロック図である。 画素生成部から出力されてフレームメモリに書き込まれる画像の概要を示す図である。 撮像素子の他の構成例を示すブロック図である。 撮像素子を１チップ化する場合の構成例を示す図である。 画像出力処理を説明するフローチャートである。 画像出力処理を説明するための図である。 画像出力処理を説明するための図である。 画像出力処理を説明するための図である。 画像出力処理を説明するための図である。 フレームメモリ内で保護された画像データの出力方法を説明するための図である。 フレームメモリ内で保護された画像データの出力方法を説明するための図である。 画像出力処理の応用例を説明するための図である。 フレームメモリをインターリーブ駆動する場合について説明するための図である。 本開示を適用した撮像装置の他の構成例を示すブロック図である。 本開示を適用した撮像装置のさらに他の構成例を示すブロック図である。 本開示を適用した撮像装置のさらに他の構成例を示すブロック図である。 本開示を適用した撮像装置のさらに他の構成例を示すブロック図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜本開示の第１の実施の形態である撮像装置の構成例＞
図１は、本開示の第１の実施の形態である撮像装置の構成例を示している。この撮像装置は、デジタルカメラなどの他、撮像機能を備える電子装置に搭載されるものであり、撮像素子１０およびHOST ISP３０から構成される。

撮像素子１０は、HOST ISP３０からの要求に応じて動画像を撮像し、その画像データをフレーム単位で出力するものである。HOST ISP３０は、撮像素子１０から入力される動画像の画像データにISP(Image Signal Processing)処理を行った後、所定の画像処理を施し、その結果得られる画像データを後段に出力するものである。

撮像素子１０は、入力I/F１１、画素出力制御部１２、Ｖデコーダ１３、メモリコントロール部１４、画素生成部１６、AD変換部(ADC)１７、第１信号処理部１８、フレームメモリ２０、第２信号処理部２１、および出力I/F２２を有する。

入力I/F１１は、HOST ISP３０と接続されており、HOST ISP３０からの各種の制御信号を画素出力制御部１２またはメモリコントロール部１４に出力する。画素出力制御部１２は、入力I/F１１を介するHOST ISP３０からの制御信号に従い、画素生成部１６を駆動させるようにＶデコーダ１３を制御する。また、画素出力制御部１２は、AD変換部１７も制御する。Ｖデコーダ１３は、画素出力制御部１２からの制御に従い、画素生成部１６を駆動させる。

メモリコントロール部１４は、入力I/F１１を介するHOST ISP３０からの制御信号に従い、第１信号処理部１８によるフレームメモリ２０に対する画像データの書き込みと、第２信号処理部２１によるフレームメモリ２０からの画像データの読み出しを制御する。また、メモリコントロール部１４は、フレームカウンタ１５を内蔵しており、フレームカウンタ１５によりフレームメモリ２０に書き込まれた画像データのフレーム数をカウントする。さらに、メモリコントロール部１４は、HOST ISP３０からの制御、または第１信号処理部１８からの高速遷移シーン（後述）の検出通知をトリガとして、フレームメモリ２０に対する画像データの書き込みを停止させる。

画素生成部１６は、画素毎に入射光に応じた電荷を発生する光電変換素子が縦横に配置されており、入射光に応じて発生した電荷に基づく多数の画素信号を画像データD1としてAD変換部１７に出力する。

図２は、画素生成部１６から出力されてフレームメモリ２０に書き込まれる画像データの概要を示している。

画素生成部１６は、その仕様として、図２Ａに示されるように、例えば、１画素当たりのデータ量を１０ビット、画角が４：３で画素数が１２ＭPixelsの画像データを生成し、200fpsで出力できるものを想定する。また、画素生成部１６は、生成した画像データを、２×２の４画素毎に加算する機能と、画像の上下を取り除くことによって画角を４：３から１６：９に変換する機能を有するものとする。この機能を利用することにより、画素生成部１６は、画角４：３で画素数１２ＭPixels，200fpsの画像データを、図２Ｂに示されるように、画角１６：９で画素数２ＭPixels（1920×1080のフルハイビジョンに相当する）の画像データD1に変換して960fpsで転送することができる。このとき、画像データD1の転送レートは２０Ｇbps(２Ｍ×９６０×１０ビット)となる。

AD変換部１７は、画素生成部１６から転送される画像データD1（１０ビット/pixel、画角１６：９で画素数２ＭPixels、960fps）を符号付の１１ビット/pixelの画像データD2（１１ビット/pixel、画角１６：９で画素数２ＭPixels、960fps）にデジタル変換して第１信号処理部１８に転送する。このとき、画像データD2の転送レートは２２Ｇbpsとなる。

第１信号処理部１８は、画像データD2に対して黒レベル補正処理、デジタルゲイン変換処理などの、後段の第２信号処理部２１における信号処理に比較して軽い信号処理（以下、第１信号処理と称する）を行う。また、第１信号処理部１８は、メモリコントロール部１４からの制御に従い、第１信号処理の結果として得られる画像データD3（１０ビット/pixel、画角１６：９で画素数２ＭPixels）を960fpsでフレームメモリ２０に書き込む。このとき、画像データD3の転送レートは２０Ｇbpsである。

また、第１信号処理部１８は、シーン検出部１９を内蔵している。シーン検出部１９は、画像内の物体が高速で遷移しているシーン（以下、高速遷移シーンと称する）を検出した場合、その旨をメモリコントロール部１４に通知する。

フレームメモリ２０は、例えばDRAM、Spin-RAMなどの高集積で高速アクセス可能なメモリから成り、第１信号処理部１８から入力される画像データD3を少なくとも複数フレーム分保持できる容量を有している。

ただし、フレームメモリ２０は撮像素子１０に搭載される都合上、そのサイズに制限があり、その容量も制限される。以下、フレームメモリ２０の容量を512Ｍbitと想定する。この場合、図２Ｃに示されるように、画像データD3を２５フレーム分保持できる容量を有することになる。以下、この２５フレーム分の容量をエリア１乃至エリア２５と称する。第１信号処理部１８がフレームメモリ２０に画像データD3を書き込む場合、エリア１からエリア２４まで順に画像データD3を書き込み、エリア２４の次は再びエリア１に戻って上書きするようにする。したがって、フレームメモリ２０のエリア２５は、通常使用されない（使用される場合については後述する）。

第２信号処理部２１は、メモリコントロール部１４からの制御に従い、第１信号処理部１８が画像データD3をフレームメモリ２０に３５フレーム分書き込む毎に１フレーム分だけを間引き読み出しして画像データD4とする。このとき、画像データD4のフレームレートは、３０fpsとなり、転送レートは600Ｍbpsとなる。第２信号処理部２１は、読み出した画像データD4に欠陥補正処理、ノイズリダクション処理、スケーリング処理などを行い、その信号処理（以下、第２信号処理と称する）結果として得られる画像データD5を出力I/F２２に転送する。このとき、画像データD5の転送レートは600Mbpsである。

なお、第１信号処理部１８とフレームメモリ２０、および、フレームメモリ２０と第２信号処理部２１は、DDRなどのI/Fや基板を介さず、TSVなどの貫通VIAやWide IOなどにより、物理的に接続されているものとする。これにより、第１信号処理部１８とフレームメモリ２０の間、および、フレームメモリ２０と第２信号処理部２１の間のデータ通信は、通常の高速I/Fより、並列度を上げることにより帯域を広げることができ、低消費電力で動作させることができる。

出力I/F２２は、MIPI、Sub LVDSなどから成り、第２信号処理部２１からの画像データD5を画像データD6としてHOST ISP３０に出力する。

＜撮像素子１０の他の構成例＞
次に、図３は、撮像素子１０の他の構成を示している。図３に示された他の構成例は、図１に示された構成例の第１信号処理部１８に符号化部４１を追加するとともに、第２信号処理部２１に復号部４２を追加したものである。符号化部４１は、フレームメモリ２０に書き込む画像データD3を圧縮符号化する。復号部４２は、フレームメモリ２０から読み出される、符号化されている画像データD4（画像データD3）を復号する。

符号化部４１および復号部４２を追加したことにより、フレームメモリ２０に書き込む画像データD3（画像データD4）のデータ量を削減できるので、フレームメモリ２０の容量を増やすことなく、フレームメモリ２０に保持できる画像データD3のフレーム数を増やすことができる。なお、フレームメモリ２０に保持できる画像データD3のフレーム数を増やした場合については、図１３を参照して後述する。

図４は、上述した構成要素によって撮像素子１０を１チップ化する場合の構成例を示している。

同図Ａは、撮像素子１０の構成要素を１枚の基板上に集積して１チップ化した構成例である。同図Ｂは、撮像素子１０の構成要素を２枚の基板上に配置して積層することにより１チップ化した構成例である。同図Ｃは、撮像素子１０の構成要素を２枚以上の基板上に配置して積層することにより１チップ化した構成例である。同図Ｄは、撮像素子１０の構成要素を２枚の基板上に配置し、２枚の基板をTSV Wide IOにより接続して１チップ化した構成例である。なお、本実施の形態である撮像素子１０は、同図Ａ乃至同図Ｄに示された構成例以外の構成により１チップ化してもよい。

＜動作説明＞
次に、図１に示された撮像素子１０の動作について、図５乃至図１２を参照して説明する。

図５は、撮像素子１０による画像出力処理を説明するフローチャートである。図６乃至図９は、画像出力処理を説明するための図である。

ここで、画像出力処理とは、図６に示されるように、画像データD3を960fpsでフレームメモリ２０のエリア１乃至２４に上書きしつつ、これらを３５フレーム毎に１フレームだけ間引き読み出しして30fpsで出力する。そして、外部からの書き込み停止指示、または高速遷移シーンが検知された場合には、フレームメモリ２０に対する上書きを停止して、エリア１乃至２４に記録された960fpsの画像データD3を保護する動作を指すものとする。

この画像出力処理は、例えば、外部のHOST ISP３０からの制御に応じて開始される。ステップＳ１において、画素生成部１６は、入射光に応じた画像データD1（１０ビット/pixel、画角１６：９、画素数２ＭPixels）を960fpsでAD変換部１７に転送する。ステップＳ２において、AD変換部１７は、画素生成部１６から転送された画像データD1を符号付の画像データD2（１１ビット/pixel、画角１６：９、画素数２ＭPixels）にデジタル変換して第１信号処理部１８に960fpsで転送する。

ステップＳ３において、第１信号処理部１８は、画像データD2に対して第１信号処理を行い、これと並行し、内蔵するシーン検出部１９によって高速遷移シーンを検出する。また、第１信号処理部１８は、メモリコントロール部１４からの制御に従い、第１信号処理の結果として得られた画像データD3（１０ビット/pixel、画角１６：９、画素数２ＭPixels）を960fpsでフレームメモリ２０に転送し、エリア１乃至２４に順次上書きさせる。

ステップＳ４において、第２信号処理部２１は、メモリコントロール部１４からの制御に従い、フレームメモリ２０に対してエリア１乃至２４に３５フレーム分の画像データD3が書き込まれる毎に、１フレーム分だけを画像データD4として読み出す。すなわち、画像データD4は、画像データD3を１／３５にフレーム間引きしたものとなり、このときのフレームレートは３０fpsとなる。さらに、第２信号処理部２１は、読み出した画像データD4に第２信号処理を行い、第２信号処理の結果として得られる画像データD5を出力I/F２２に転送する。出力I/F２２は、第２信号処理部２１から転送された画像データD5を画像データD6としてHOST ISP３０に出力する。

このように、フレームメモリ２０の後段においては、30fpsで動作するので、960fpsで動作する場合に比較して、消費電力を１／３５に削減できる。

ステップＳ５において、メモリコントロール部１４は、HOST ISP３０からの書き込み停止指示、または第１信号処理部１８から高速遷移シーン検知の通知があるか否か判断し、いずれかがあるまで、処理をステップＳ１に戻して、ステップＳ１以降を繰り返させる。これにより、フレームメモリ２０のエリア１乃至２４に対する960fpsでの画像データD3の上書きと、フレームメモリ２０のエリア１乃至２４からの３０fpsでの画像データD4の読み出しが継続される。

ステップＳ５において、書き込み停止指示、または高速遷移シーン検知の通知のいずれかがあったと判断された場合、処理はステップＳ６に進められる。ステップＳ６において、メモリコントロール部１４は、直ちに、または所定のフレーム数（例えば、画像データD3が上書きされるフレームメモリ２０のエリア数の１／２の数。本実施の形態の場合、１２）だけ遅延して、フレームメモリ２０のエリア１乃至２４に対する画像データD3の上書きを停止させる。これにより、フレームメモリ２０のエリア１乃至２４には、960fpsの画像データD3が２４フレーム分（撮像時間0.025秒分）だけ保持されることになる。

なお、ステップＳ６の処理に遷移した後、直ちに上書きを停止させるか、所定のフレーム数だけ遅延してから上書きを停止させるかについては、960fpsの画像データD3を残したい撮像対象に応じて予め設定されているものとする。

例えば、噴水などの連続した事象を撮像対象としている場合には、直ちに上書きを停止させるように設定すればよい。これにより、図７に示されるように、それまでに書き込まれている２４フレーム分の画像データD3が保護される。

また、例えば、ゴルフスイングや水風船が割れる様子などの瞬間のシーンを撮像対象とした場合には、その瞬間の前後の画像データD3が保護されるように、高速遷移シーン検知から所定のフレーム分だけ遅延して上書きを停止させるように設定すればよい。これにより、図８に示されるように、それまでに書き込まれている１２フレーム分の画像データD3と、高速遷移シーン検知後に書き込まれる１２フレーム分の画像データD3が保護される。なお、上書きを停止させるまでの遅延量は、画像データD3が上書きされるフレームメモリ２０のエリア数の１／２の数に限定されるものではなく、画像データD3が上書きされるフレームメモリ２０のエリア数以下の任意の値に設定可能である。

このようにして、フレームメモリ２０のエリア１乃至２４に対する画像データD3の上書きが停止された後、処理はステップＳ７に進められる。

ステップＳ７において、画素生成部１６は、入射光に応じた画像データD1（１０ビット/pixel、画角１６：９、画素数２ＭPixels）を３０fpsでAD変換部１７に転送する。ステップＳ８において、AD変換部１７は、画素生成部１６から転送された画像データD1を符号付の画像データD2（１１ビット/pixel、画角１６：９、画素数２ＭPixels）にデジタル変換し、３０fpsで第１信号処理部１８に転送する。

ステップＳ９において、第１信号処理部１８は、メモリコントロール部１４からの制御に従い、画像データD2に対して第１信号処理を行い、その結果得られた画像データD3（１０ビット/pixel、画角１６：９、画素数２ＭPixels）を３０fpsでフレームメモリ２０に転送し、そのエリア２５に上書きさせる。

ステップＳ１０において、第２信号処理部２１は、メモリコントロール部１４からの制御に従い、フレームメモリ２０のエリア２５に書き込まれた１フレーム分の画像データD3を３０fpsで読み出し、読み出した画像データD4に第２信号処理を行って、その結果得られた画像データD5を出力I/F２２に転送する。出力I/F２２は、第２信号処理部２１から転送された画像データD5を画像データD6としてHOST ISP３０に出力する。なお、このときの転送レートは、600Mbps程度であって、出力I/F２２の転送可能レートは、一般に４Ｇbps程度はあるので、帯域として十分に余裕がある。

すなわち、ステップＳ７乃至Ｓ１０では、図９に示されるように、フレームメモリ２０の前段と後段のそれぞれが３０fpsで動作するので、960fpsで動作する場合に比較して、消費電力を１／３５に削減できる。以上で、画像出力処理は終了される。

＜超スロー動画の読み出し＞
次に、フレームメモリ２０のエリア１乃至２４に保護されている２４フレーム分の960fpsの画像データD3の読み出しについて説明する。

図１０は、フレームメモリ２０の前段を停止させた状態で、すなわち、撮像を停止した状態でフレームメモリ２０のエリア１乃至２４に保護されている２４フレーム分の960fpsの画像データD3だけを読み出す場合の一例を示している。

この場合、該２４フレーム分の画像データD3は、フレームメモリ２０の後段が動作可能なフレームレートを上限とする任意のフレームレートで読み出すことができる。図１０の例では、240fpsで画像データD3を読み出している。

図１１は、上述した画像出力処理のステップＳ１０に継続して、すなわち、３０fpsでの撮像が継続された状態で、フレームメモリ２０のエリア１乃至２４に保護されている２４フレーム分の960fpsの画像データD3を読み出す場合の一例を示している。

この場合、該２４フレーム分の画像データD3は、フレームメモリ２０のエリア２５から画像データD4が３０fpsで読み出される間に読み出すことができる。図１１の例では、エリア２５の分を含めて240fpsで読み出す例を示している。

なお、フレームメモリ２０のエリア１乃至２４に保護されている２４フレーム分の960fpsの画像データD3を、例えば３０fpsで再生すれば、決定的瞬間を捉えた撮像時間0.025秒分の超スロー動画として表示することができる。

＜本実施の形態である撮像装置の適用＞
本実施の形態である撮像装置は、例えばウェアラブルカメラなどの小型で携帯可能な撮像装置や撮像機能を有する電子装置などに適用できる。

該ウェアラブルカメラでは、常時録画待機（フレームメモリ２０のエリア１乃至２４の対する画像データD3の上書き）をしておき、撮像したいと思ってから録画トリガをかけた場合でも、その数秒以前から録画トリガの数秒後までの画像データを保護するような使い方ができる。

具体的には、例えば、図１２に示されるように、フレームメモリ２０の前段を30fpsで駆動させるとともに、フレームメモリ２０からの読み出しの間引き率を大幅に引き上げて、フレームメモリ２０の後段を超低フレームレートで駆動させる。なお、このときの間引き率は、出力される画像データD6に基づいてAE,AF,AWBをフィードバックできる程度にすればよい。具体的には、数秒間に１フレームが出力される0.9375fps程度でよい。

このように、フレームメモリ２０の後段を超低フレームレートで駆動させた場合、通常の３０fpsで動作させる場合に比較して、大幅に消費電力を削減することができる。

＜フレームメモリ２０のインターリーブ駆動＞
図３を参照して上述したように、撮像素子１０の第１信号処理部１８に符号化部４１を追加するとともに、第２信号処理部２１に復号部４２を追加した場合、フレームメモリ２０に書き込む画像データD3（画像データD4）のデータ量を削減できるので、フレームメモリ２０の容量を増やすことなく、保持できる画像データD3のフレーム数を増やすことができる。

例えば、符号化部４１において画像データD3のデータ量を１／２に圧縮符号化した場合、フレームメモリ２０に保持できるフレーム数を２倍にできる。すなわち、図２の場合に比較して２倍の５０フレーム分だけ保持できることになる。

フレームメモリ２０に５０フレーム分の画像データD3を保持できる場合、上述した画像出力処理を行えば、フレームメモリ２０に960fpsの画像データD3を４９フレーム分だけ保持することができる。

あるいは、フレームメモリ２０に５０フレーム分の画像データD3を保持できる場合、フレームメモリ２０を２つのメモリバンクに分けて、それらをインターリーブ駆動するようにしてもよい。

図１３は、フレームメモリ２０をエリア１乃至エリア２５からなる第１メモリバンク２０Ａと、エリア２６乃至エリア５０からなる第２メモリバンク２０Ｂに分けた場合を示している。

上述した動作説明では、フレームメモリ２０に保持されている960fpsの全ての画像データD3をすべて読み出すまでは、新たに画像出力処理を開始することができなかったが、フレームメモリ２０の第１メモリバンク２０Ａと第２メモリバンク２０Ｂをインターリーブ駆動することにより、フレームメモリ２０に保持されている960fpsの全ての画像データD3の読み出しを待つことなく、新たに画像出力処理を開始することができる。換言すれば、超スロー動画の撮像を途切れなく継続的に実行することができる。

なお、フレームメモリ２０に書き込む画像データD3を圧縮符号化しない場合であっても、フレームメモリ２０の容量を増加してインターリーブ駆動するようにすれば、上述した効果を得ることができる。

＜本開示の第２の実施の形態である撮像装置の構成例＞
図１４は、本開示の第２の実施の形態である撮像装置の構成例を示している。この撮像装置は、デジタルカメラなどの他、撮像機能を備える電子装置に搭載されるものであり、撮像素子５０およびHOST ISP６０から構成される。

図１４に示す第２の実施の形態は、図１または図３に示された第１の実施の形態に対して、フレームメモリおよび第２信号処理部を撮像素子に設けず、これらをHOST ISPに設けた点が相違する。なお、図１４に示す第２の実施の形態の構成要素のうち、図１または図３に示された第１の実施の形態と共通する構成要素については、同一の符号を付しているので、その説明は適宜省略する。

撮像素子５０は、HOST ISP６０からの要求に応じて高フレームレートで動画像を撮像し、その画像データを圧縮符号化してHOST ISP６０にフレーム単位で出力する。HOST ISP６０は、撮像素子１０から入力される動画像の画像データにISP処理を行った後、所定の画像処理を施し、その結果得られる画像データを後段に出力する。

撮像素子５０は、入力I/F１１、画素出力制御部１２、Ｖデコーダ１３、画素生成部１６、AD変換部(ADC)１７、第１信号処理部１８、および出力I/F２２を有する。第１信号処理部１８は、シーン検出部１９および符号化部４１を内蔵する。

撮像素子５０においては、画素生成部１６から画像データD1が960fpsでAD変換部１７に出力され、AD変換部１７でデジタル信号である画像データD2に変換されて第１信号処理部１８に転送される。転送された画像データD2は第１信号処理部１８により第１信号処理が行われた後に符号化部４１によって圧縮符号化処理が行われ、その結果得られた、データ量の削減された画像データD3は出力I/F２２に転送される。転送された960fpsの画像データD3は、出力I/F２２から画像データD11としてHOST ISP６０に出力される。なお、第１信号処理部１８のシーン検出部１９による高速遷移シーン検出の結果は、入力I/F１１を介してHOST ISP６０の制御部６８に通知される。

HOST ISP６０は、入力I/F６１、メモリI/F６２、フレームメモリ６３、ISP部６４、GPU６７、および制御部６８を有する。ISP部６４は、復号部６５および第２信号処理部６６を内蔵する。

入力I/F６１は、撮像素子５０から入力される、圧縮符号化されている画像データD11をメモリI/F６２を介してフレームメモリ６３に転送する。フレームメモリ６３は、例えばDRAM、Spin-RAMなどの高集積で高速アクセス可能なメモリから成り、圧縮符号化されている画像データD11を少なくとも複数フレーム分（例えば、第１の実施の形態と同様にエリア１乃至エリア２５からなる２５フレーム分）だけ保持できる容量を有している。

ISP部６４は、制御部６８からの制御に従い、メモリI/F６２を介してフレームメモリ６３から、圧縮符号化されている画像データD11を読み出し、復号後に第２信号処理およびISP処理を行い、その結果得られる画像データD12を、メモリI/F６２を介してGPU６７に出力する。GPU６７は、制御部６８からの制御に従い、ISP部６４からの画像データD12に所定の画像処理を行う。

HOST ISP６０においては、撮像素子５０から入力された960fpsの圧縮符号化されている画像データD11が、入力I/F６１からメモリI/F６２を介してフレームメモリ６３に転送されてエリア１乃至２４に順次上書きされる。そして、書き込み停止指示、または高速遷移シーン検出の通知があるまでは、フレームメモリ６３に書き込まれた画像データD11が３５フレーム毎に１フレームだけISP部６４によって間引き読み出しされ、復号処理、第２信号処理、およびISP処理が行われ、さらに、GPU６７により所定の画像処理が行われる。

書き込み停止指示、または高速遷移シーン検出の通知があった場合は、フレームメモリ６３に対する画像データD11の上書きが停止される。よって、第１の実施の形態と同様に、フレームメモリ６３に960fpsの画像データD11を保持することができる。フレームメモリ６３に保持された960fpsの画像データD11の読み出しタイミングについては、第１の実施の形態と同様にすればよい。あるいは、図１３を参照して説明したように、フレームメモリ６３を複数のメモリバンクに分割してインターリーブ駆動し、超スロー動画の撮像を途切れなく継続的に実行するようにしてもよい。

図１４に示された第２の実施の形態によれば、撮像素子５０から960fpsでHOST ISP６０に出力する画像データD11のデータ量を圧縮符号化しない場合に比較して削減できる。よって、撮像素子５０とHOST ISP６０との間に帯域を圧縮符号化しない場合に比較して狭めることができる。

また、比較的処理負荷が大きく消費電力が多い第２信号処理部６６を撮像素子６０の外部に移すことができる。

＜本開示の第３の実施の形態である撮像装置の構成例＞
次に、図１５は、本開示の第３の実施の形態である撮像装置の構成例を示している。この撮像装置は、デジタルカメラなどの他、撮像機能を備える電子装置に搭載されるものであり、撮像素子７０およびHOST ISP８０から構成される。

図１５に示す第３の実施の形態は、図１４に示された第２の実施の形態に対して、シーン検出部を撮像素子に設けず、これをHOST ISPに設けた点が相違する。なお、図１５に示す第３の実施の形態の構成要素のうち、図１４に示された第２の実施の形態と共通する構成要素については、同一の符号を付しているので、その説明は適宜省略する。

撮像素子７０は、HOST ISP８０からの要求に応じて高フレームレートで動画像を撮像し、その画像データを圧縮符号化してHOST ISP８０にフレーム単位で出力する。HOST ISP８０は、撮像素子１０から入力される動画像の画像データにISP処理を行った後、所定の画像処理を施し、その結果得られる画像データを後段に出力する。

撮像素子７０は、入力I/F１１、画素出力制御部１２、Ｖデコーダ１３、画素生成部１６、AD変換部(ADC)１７、第１信号処理部１８、および出力I/F２２を有する。第１信号処理部１８は、符号化部４１を内蔵する。

撮像素子７０においては、画素生成部１６から画像データD1が960fpsでAD変換部１７に出力され、AD変換部１７でデジタル信号である画像データD2に変換されて第１信号処理部１８に転送される。転送された画像データD2は第１信号処理部１８により第１信号処理が行われた後に符号化部４１によって圧縮符号化処理が行われ、その結果得られた、データ量の削減された画像データD3は出力I/F２２に転送される。転送された960fpsの画像データD3は、出力I/F２２から画像データD11としてHOST ISP８０に出力される。

HOST ISP８０は、入力I/F８１、メモリI/F６２、フレームメモリ６３、ISP部６４、GPU６７、制御部６８、復号部８２、およびシーン検出部８３を有する。ISP部６４は、復号部６５および第２信号処理部６６を内蔵する。

入力I/F８１は、撮像素子５０から入力される、圧縮符号化されている画像データD11をメモリI/F６２を介してフレームメモリ６３に転送する。また、入力I/F８１は、撮像素子５０から入力される、圧縮符号化されている画像データD11を復号部８２に転送する。

復号部８２は、圧縮符号化されている画像データD11を復号してシーン検出部８３に供給する。シーン検出部８３は、復号された画像データから高速遷移シーンを検出した場合、その旨を制御部６８に通知する。

HOST ISP８０においては、撮像素子６０から入力された960fpsの画像データD11が入力I/F８１からメモリI/F６２を介してフレームメモリ６３に転送されてエリア１乃至２４に順次上書きされる。また、画像データD11が入力I/F８１から復号部８２にも転送され、復号された後、シーン検出部８３で高速遷移シーンの検出が行われる。

そして、書き込み停止指示、または高速遷移シーン検出の通知があるまでは、フレームメモリ６３に書き込まれた画像データD11が３５フレーム毎に１フレームだけISP部６４によって間引き読み出しされ、復号処理、第２信号処理、およびISP処理が行われ、さらに、GPU６７により所定の画像処理が行われる。

書き込み停止指示、または高速遷移シーン検出の通知があった場合は、フレームメモリ６３に対する画像データD11の上書きが停止される。よって、第２の実施の形態と同様に、フレームメモリ６３に960fpsの画像データD11を保持することができる。フレームメモリ６３に保持された960fpsの画像データD11の読み出しタイミングについては、第２の実施の形態と同様にすればよい。あるいは、図１３を参照して説明したように、フレームメモリ６３を複数のメモリバンクに分割してインターリーブ駆動し、超スロー動画の撮像を途切れなく継続的に実行するようにしてもよい。

図１５に示された第３の実施の形態によれば、撮像素子７０から960fpsでHOST ISP８０に出力する画像データD11のデータ量を圧縮符号化しない場合に比較して削減できる。よって、撮像素子７０とHOST ISP８０との間に帯域を圧縮符号化しない場合に比較して狭めることができる。

また、比較的処理負荷が大きく消費電力が多い第２信号処理部６６を撮像素子７０の外部に移すことができる。

＜本開示の第４の実施の形態である撮像装置の構成例＞
次に、図１６は、本開示の第４の実施の形態である撮像装置の構成例を示している。この撮像装置は、デジタルカメラなどの他、撮像機能を備える電子装置に搭載されるものであり、撮像素子７０およびHOST ISP９０から構成される。

図１６に示す第４の実施の形態は、図１５に示された第３の実施の形態に対して撮像素子７０が共通であり、HOST ISP８０をHOST ISP９０に置換したものである。なお、図１６に示す第４の実施の形態の構成要素のうち、図１５に示された第３の実施の形態と共通する構成要素については、同一の符号を付しているので、その説明は適宜省略する。

HOST ISP９０は、入力I/F９１、メモリI/F６２、フレームメモリ６３、ISP部６４、GPU６７、制御部６８、復号部９２、およびシーン検出部８３を有する。ISP部６４は、復号部６５および第２信号処理部６６を内蔵する。

入力I/F９１は、撮像素子５０から入力される、圧縮符号化されている画像データD11を復号部９２に転送する。復号部９２は、圧縮符号化されている画像データD11を復号し、その結果得られた画像データD21をメモリI/F６２を介してフレームメモリ６３に転送するととともに、シーン検出部８３に供給する。

シーン検出部８３は、復号済みの画像データD21から高速遷移シーンを検出した場合、その旨を制御部６８に通知する。

HOST ISP９０においては、撮像素子６０から入力された960fpsの画像データD11を復号した画像データD21がフレームメモリ６３に転送されてエリア１乃至２４に順次上書きされる。また、画像データD21から高速遷移シーンの検出が行われる。

そして、書き込み停止指示、または高速遷移シーン検出の通知があるまでは、フレームメモリ６３に書き込まれた画像データD21が３５フレーム毎に１フレームだけISP部６４によって間引き読み出しされ、第２信号処理、およびISP処理が行われ、さらに、GPU６７により所定の画像処理が行われる。

書き込み停止指示、または高速遷移シーン検出の通知があった場合は、フレームメモリ６３に対する画像データD21の上書きが停止される。よって、第２の実施の形態と同様に、フレームメモリ６３に960fpsの画像データD21を保持することができる。フレームメモリ６３に保持された960fpsの画像データD11の読み出しタイミングについては、第３の実施の形態と同様にすればよい。

図１６に示された第４の実施の形態によれば、撮像素子７０から960fpsでHOST ISP９０に出力する画像データD11のデータ量を圧縮符号化しない場合に比較して削減できる。よって、撮像素子７０とHOST ISP８０との間に帯域を圧縮符号化しない場合に比較して狭めることができる。

また、比較的処理負荷が大きく消費電力が多い第２信号処理部６６を撮像素子６０の外部に移すことができる。

ただし、フレームメモリ６３に書き込む画像データD21は圧縮符号化された状態から復号されているので、第２および３の実施の形態に比較して、フレームメモリ６３に保持できるフレーム数は少なくなる。

＜本開示の第５の実施の形態である撮像装置の構成例＞
次に、図１７は、本開示の第５の実施の形態である撮像装置の構成例を示している。この撮像装置は、デジタルカメラなどの他、撮像機能を備える電子装置に搭載されるものであり、撮像素子１００およびHOST ISP１１０から構成される。

図１７に示す第５の実施の形態は、図１４に示された第２の実施の形態に対して、撮像素子の出力I/F２２をメモリI/F１０１に置換するとともに、HOST ISPから入力I/F６１を削除したものである。なお、図１７に示す第５の実施の形態の構成要素のうち、図１４に示された第２の実施の形態と共通する構成要素については、同一の符号を付しているので、その説明は適宜省略する。

すなわち、撮像素子１００は、入力I/F１１、画素出力制御部１２、Ｖデコーダ１３、画素生成部１６、AD変換部(ADC)１７、第１信号処理部１８、およびメモリI/F１０１を有する。第１信号処理部１８は、シーン検出部１９および符号化部４１を内蔵する。

撮像素子１１０においては、画素生成部１６から画像データD1が960fpsでAD変換部１７に出力され、AD変換部１７でデジタル信号である画像データD2に変換されて第１信号処理部１８に転送される。転送された画像データD2は第１信号処理部１８により第１信号処理が行われた後に符号化部４１によって圧縮符号化処理が行われ、その結果得られた、データ量の削減された画像データD3はメモリI/F１０１に転送され、メモリI/F１０１により、画像データD11としてHOST ISP１１０のフレームメモリ６３に転送されてエリア１乃至２４に順次上書きされる。

HOST ISP１１０は、メモリI/F６２、フレームメモリ６３、ISP部６４、GPU６７、および制御部６８を有する。ISP部６４は、復号部６５および第２信号処理部６６を内蔵する。

HOST ISP８０においては、撮像素子１００のメモリI/F１０１からフレームメモリ６３のエリア１乃至２４に対して直接的に960fpsの画像データD11が順次上書きされる。そして、書き込み停止指示、または高速遷移シーン検出の通知があるまでは、フレームメモリ６３に書き込まれた画像データD11が３５フレーム毎に１フレームだけISP部６４によって間引き読み出しされ、復号処理、第２信号処理、およびISP処理が行われ、さらに、GPU６７により所定の画像処理が行われる。

書き込み停止指示、または高速遷移シーン検出の通知があった場合は、フレームメモリ６３に対する画像データD11の上書きが停止される。よって、第１の実施の形態と同様に、フレームメモリ６３に960fpsの画像データD11を保持することができる。フレームメモリ６３に保持された960fpsの画像データD11の読み出しタイミングについては、第１の実施の形態と同様にすればよい。あるいは、図１３を参照して説明したように、フレームメモリ６３を複数のメモリバンクに分割してインターリーブ駆動し、超スロー動画の撮像を途切れなく継続的に実行するようにしてもよい。

図１７に示された第５の実施の形態によれば、撮像素子１００から960fpsでHOST ISP１１０に出力する画像データD11のデータ量を圧縮符号化しない場合に比較して削減できる。よって、撮像素子１００とHOST ISP１１０との間に帯域を圧縮符号化しない場合に比較して狭めることができる。

また、比較的処理負荷が大きく消費電力が多い第２信号処理部６６を撮像素子１００の外部に移すことができる。

以上のように、本実施の形態である撮像装置を適用すれば、コモディティ化された安価なカメラシステムでも、低消費電力で、解像度劣化の少ない超スロー動画を撮像したり、タイムシフト撮影を手軽に実行したりすることができる。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

本開示は以下のような構成も取ることができる。
（１）
入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、
複数フレーム分の前記画像信号を格納するフレームメモリと
を備える撮像素子。
（２）
生成された前記画像データを前記フレームメモリに書き込む書き込み部と、
前記フレームメモリに書き込まれている前記画像データを読み出す読み出し部と
をさらに備える前記（１）に記載の撮像素子。
（３）
前記書き込み部は、生成された前記画像データを前記フレームメモリの第１のエリアに上書きし、
前記読み出し部は、前記フレームメモリの前記第１のエリアに上書きされた前記画像データをフレーム単位で間引きして読み出す
前記（２）に記載の撮像素子。
（４）
前記書き込み部は、第１のフレームレートで生成された前記画像データを前記フレームメモリの第１のエリアに上書きし、
前記読み出し部は、前記第１のフレームレートで前記フレームメモリの前記第１のエリアに上書きされた前記画像データを前記第１のフレームレートよりも遅い第２のフレームレートで間引き読み出しする
前記（２）または（３）に記載の撮像素子。
（５）
前記フレームメモリに書き込む前記画像データを符号化する符号化部と、
前記フレームメモリから読み出された、符号化されている前記画像データを復号する復号部と
をさらに備える前記（１）から（４）のいずれかに記載の撮像素子。
（６）
トリガに応じ、前記書き込み部を制御して、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させる制御部を
さらに備える前記（３）から（５）のいずれかに記載の撮像素子。
（７）
前記制御部は、前記トリガに応じ、直ちに、または所定のフレーム数だけ遅延して、前記書き込み部を制御して、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させる
前記（６）に記載の撮像素子。
（８）
前記制御部は、外部からの指示を前記トリガとして、前記書き込み部を制御し、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させる
前記（６）または（７）に記載の撮像素子。
（９）
前記フレームメモリの前記第１のエリアに上書きする前記画像データにおける高速遷移シーンを検知する検知部をさらに備え、
前記制御部は、前記高速遷移シーンの検知を前記トリガとして、前記書き込み部を制御し、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させる
前記（６）または（７）に記載の撮像素子。
（１０）
前記読み出し部は、前記フレームメモリの前記第１のエリアに対する前記画像データの上書きが停止されたことにより前記フレームメモリの前記第１のエリアに残っている前記画像データを読み出す
前記（３）から（９）のいずれかに記載の撮像素子。
（１１）
前記書き込み部は、前記フレームメモリの前記第１のエリアに対する前記画像データの上書きが停止された後、生成された前記画像データを前記フレームメモリの前記第１のエリアとは異なる第２のエリアに書き込み、
前記読み出し部は、前記フレームメモリの前記第２のエリアに書き込まれた前記画像データを読み出し、さらに、上書きが停止されたことにより前記フレームメモリの前記第１のエリアに残っている前記画像データも読み出す
前記（８）から（１０）のいずれかに記載の撮像素子。
（１２）
前記書き込み部は、前記フレームメモリの前記第１のエリアに対する前記画像データの第１のフレームレートでの上書きが停止された後、前記第１のフレームレートよりも遅い第２のフレームレートで生成された前記画像データを前記フレームメモリの前記第１のエリアとは異なる第２のエリアに書き込み、
前記読み出し部は、前記フレームメモリの前記第２のエリアに書き込まれた前記画像データを前記第２のフレームレートで読み出し、さらに、上書きが停止されたことにより前記フレームメモリの前記第１のエリアに残っている前記画像データも読み出す
前記（８）から（１１）のいずれかに記載の撮像素子。
（１３）
前記画素生成部は、生成した前記画像信号の画角の変更、または前記画素信号の加算の少なくとも一方を行う
前記（１）から（１２）のいずれかに記載の撮像素子。
（１４）
１または複数の基板に配置された状態で１チップ化されている
前記（１）から（１２）のいずれかに記載の撮像素子。
（１５）
撮像素子が搭載された撮像装置において、
前記撮像素子は、
入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、
複数フレーム分の前記画像信号を格納するフレームメモリと
を備える
撮像装置。
（１６）
撮像素子が搭載された電子装置において、
前記撮像素子は、
入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、
複数フレーム分の前記画像信号を格納するフレームメモリと
を備える
電子装置。
（１７）
撮像素子と、ISP処理部を備える撮像装置において、
前記撮像素子は、
入射光に応じて複数の画素信号からなる画像信号を第１のフレームレートで生成する画素生成部と、
前記画像信号を符号化する符号化部と、
符号化されている前記画像信号を前記第１のフレームレートで前記ISP処理部に出力する出力部とを備え、
前記ISP処理部は、
複数フレーム分の符号化されている前記画像信号を格納するフレームメモリと、
前記撮像素子から入力された符号化されている前記画像信号を前記第１のフレームレートで前記フレームメモリに書き込む書き込み部と、
前記フレームメモリに書き込まれている、符号されている前記画像データを前記第１のフレームレートよりも遅い第２のフレームレートで読み出し、復号してからISP処理を行うISP部とを備える
撮像装置。
（１８）
前記ISP処理部は、
トリガに応じ、前記書き込み部を制御して、前記フレームメモリに対する符号化されている前記画像データの書き込みを停止させる制御部をさらに備える
前記（１７）に記載の撮像装置。
（１９）
前記撮像素子は、
生成された前記画像データにおける高速遷移シーンを検知する検知部をさらに備え、
前記制御部は、前記高速遷移シーンの検知を前記トリガとする
前記（１８）に記載の撮像装置。
（２０）
前記ISP処理部は、
前記撮像素子から入力された符号化されている前記画像信号を復号する復号部と、
復号された前記画像データにおける高速遷移シーンを検知する検知部をさらに備え、
前記制御部は、前記高速遷移シーンの検知を前記トリガとする
前記（１８）に記載の撮像装置。
（２１）
撮像素子と、ISP処理部を備える撮像装置において、
前記撮像素子は、
入射光に応じて複数の画素信号からなる画像信号を第１のフレームレートで生成する画素生成部と、
前記画像信号を符号化する符号化部と、
符号化されている前記画像信号を前記第１のフレームレートで前記ISP処理部のフレームメモリに書き込む書き込み部とを備え、
前記ISP処理部は、
複数フレーム分の符号化されている前記画像信号を格納する前記フレームメモリと、
前記フレームメモリに書き込まれている、符号されている前記画像データを前記第１のフレームレートよりも遅い第２のフレームレートで読み出し、復号してからISP処理を行うISP部とを備える
撮像装置。

１０ 撮像素子， １１ 入力I/F， １２ 画素出力制御部， １３ Ｖデコーダ， １４ メモリコントロール部， １５ フレームカウンタ， １６ 画素生成部， １７ AD変換部， １８ 第１信号処理部， １９ シーン検出部， ２０ フレームメモリ， ２１ 第２信号処理部， ２２ 出力I/F， ３０ HOST ISP， ４１ 符号化部， ４２ 復号部，５０ 撮像素子， ６０ HOST ISP， ６１ 入力I/F， ６２ メモリI/F， ６３ フレームメモリ， ６４ ISP部， ６５ 復号部， ６６ 第２信号処理部， ６７ GPU， ６８ 制御部， ７０ 撮像素子， ８０ HOST ISP， ８１ 入力I/F， ８２ 復号部， ８３ シーン検出部， ９０ HOST ISP， ９１ 入力I/F， ９２ 復号部， １００ 撮像素子， １０１ メモリI/F， １１０ HOST ISP

Claims (21)

1. 入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、
   複数フレーム分の前記画像信号を格納するフレームメモリと
   を備える撮像素子。
2. 生成された前記画像データを前記フレームメモリに書き込む書き込み部と、
   前記フレームメモリに書き込まれている前記画像データを読み出す読み出し部と
   をさらに備える請求項１に記載の撮像素子。
3. 前記書き込み部は、生成された前記画像データを前記フレームメモリの第１のエリアに上書きし、
   前記読み出し部は、前記フレームメモリの前記第１のエリアに上書きされた前記画像データをフレーム単位で間引きして読み出す
   請求項２に記載の撮像素子。
4. 前記書き込み部は、第１のフレームレートで生成された前記画像データを前記フレームメモリの第１のエリアに上書きし、
   前記読み出し部は、前記第１のフレームレートで前記フレームメモリの前記第１のエリアに上書きされた前記画像データを前記第１のフレームレートよりも遅い第２のフレームレートで間引き読み出しする
   請求項３に記載の撮像素子。
5. 前記フレームメモリに書き込む前記画像データを符号化する符号化部と、
   前記フレームメモリから読み出された、符号化されている前記画像データを復号する復号部と
   をさらに備える請求項２に記載の撮像素子。
6. トリガに応じ、前記書き込み部を制御して、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させる制御部を
   さらに備える請求項３に記載の撮像素子。
7. 前記制御部は、前記トリガに応じ、直ちに、または所定のフレーム数だけ遅延して、前記書き込み部を制御して、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させる
   請求項６に記載の撮像素子。
8. 前記制御部は、外部からの指示を前記トリガとして、前記書き込み部を制御し、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させる
   請求項６に記載の撮像素子。
9. 前記フレームメモリの前記第１のエリアに上書きする前記画像データにおける高速遷移シーンを検知する検知部をさらに備え、
   前記制御部は、前記高速遷移シーンの検知を前記トリガとして、前記書き込み部を制御し、生成された前記画像データの前記フレームメモリの前記第１のエリアに対する上書きを停止させる
   請求項６に記載の撮像素子。
10. 前記読み出し部は、前記フレームメモリの前記第１のエリアに対する前記画像データの上書きが停止されたことにより前記フレームメモリの前記第１のエリアに残っている前記画像データを読み出す
    請求項３に記載の撮像素子。
11. 前記書き込み部は、前記フレームメモリの前記第１のエリアに対する前記画像データの上書きが停止された後、生成された前記画像データを前記フレームメモリの前記第１のエリアとは異なる第２のエリアに書き込み、
    前記読み出し部は、前記フレームメモリの前記第２のエリアに書き込まれた前記画像データを読み出し、さらに、上書きが停止されたことにより前記フレームメモリの前記第１のエリアに残っている前記画像データも読み出す
    請求項８に記載の撮像素子。
12. 前記書き込み部は、前記フレームメモリの前記第１のエリアに対する前記画像データの第１のフレームレートでの上書きが停止された後、前記第１のフレームレートよりも遅い第２のフレームレートで生成された前記画像データを前記フレームメモリの前記第１のエリアとは異なる第２のエリアに書き込み、
    前記読み出し部は、前記フレームメモリの前記第２のエリアに書き込まれた前記画像データを前記第２のフレームレートで読み出し、さらに、上書きが停止されたことにより前記フレームメモリの前記第１のエリアに残っている前記画像データも読み出す
    請求項１１に記載の撮像素子。
13. 前記画素生成部は、生成した前記画像信号の画角の変更、または前記画素信号の加算の少なくとも一方を行う
    請求項２に記載の撮像素子。
14. １または複数の基板に配置された状態で１チップ化されている
    請求項２に記載の撮像素子。
15. 撮像素子が搭載された撮像装置において、
    前記撮像素子は、
    入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、
    複数フレーム分の前記画像信号を格納するフレームメモリと
    を備える
    撮像装置。
16. 撮像素子が搭載された電子装置において、
    前記撮像素子は、
    入射光に応じて複数の画素信号からなる画像信号を生成する画素生成部と、
    複数フレーム分の前記画像信号を格納するフレームメモリと
    を備える
    電子装置。
17. 撮像素子と、ISP処理部を備える撮像装置において、
    前記撮像素子は、
    入射光に応じて複数の画素信号からなる画像信号を第１のフレームレートで生成する画素生成部と、
    前記画像信号を符号化する符号化部と、
    符号化されている前記画像信号を前記第１のフレームレートで前記ISP処理部に出力する出力部とを備え、
    前記ISP処理部は、
    複数フレーム分の符号化されている前記画像信号を格納するフレームメモリと、
    前記撮像素子から入力された符号化されている前記画像信号を前記第１のフレームレートで前記フレームメモリに書き込む書き込み部と、
    前記フレームメモリに書き込まれている、符号されている前記画像データを前記第１のフレームレートよりも遅い第２のフレームレートで読み出し、復号してからISP処理を行うISP部とを備える
    撮像装置。
18. 前記ISP処理部は、
    トリガに応じ、前記書き込み部を制御して、前記フレームメモリに対する符号化されている前記画像データの書き込みを停止させる制御部をさらに備える
    請求項１７に記載の撮像装置。
19. 前記撮像素子は、
    生成された前記画像データにおける高速遷移シーンを検知する検知部をさらに備え、
    前記制御部は、前記高速遷移シーンの検知を前記トリガとする
    請求項１８に記載の撮像装置。
20. 前記ISP処理部は、
    前記撮像素子から入力された符号化されている前記画像信号を復号する復号部と、
    復号された前記画像データにおける高速遷移シーンを検知する検知部をさらに備え、
    前記制御部は、前記高速遷移シーンの検知を前記トリガとする
    請求項１８に記載の撮像装置。
21. 撮像素子と、ISP処理部を備える撮像装置において、
    前記撮像素子は、
    入射光に応じて複数の画素信号からなる画像信号を第１のフレームレートで生成する画素生成部と、
    前記画像信号を符号化する符号化部と、
    符号化されている前記画像信号を前記第１のフレームレートで前記ISP処理部のフレームメモリに書き込む書き込み部とを備え、
    前記ISP処理部は、
    複数フレーム分の符号化されている前記画像信号を格納する前記フレームメモリと、
    前記フレームメモリに書き込まれている、符号されている前記画像データを前記第１のフレームレートよりも遅い第２のフレームレートで読み出し、復号してからISP処理を行うISP部とを備える
    撮像装置。

Images