JP2017158084A - 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 - Google Patents

Abstract

【課題】消費電力の低減とシャッタラグ発生の抑制を同時に実現可能な、新規かつ改良された画像処理装置を提供する。【解決手段】撮像素子から出力された画素信号に対して画素加算処理を行う画素加算処理部（前処理部）と、画素加算処理部により画素加算処理が行われた後の加算画素信号を少なくとも記憶する画像記憶部と、画素信号に基づく画像の記録指示の発生を検知する検知部と、検知部が記録指示の発生を検知していない状態では記憶部に記憶された加算画素信号を取得し、検知部が記録指示の発生を検知すると該記録指示に応じて画素信号を取得する信号処理部と、を備える。【選択図】図６

Description

本開示は、画像処理装置、画像処理方法、コンピュータプログラム及び電子機器に関する。

近年はイメージセンサに備えられる画素の数が増加の一途を辿っている。イメージセンサから出力される画素信号に対してイメージセンサの内部でそのまま信号処理を行うと、電力消費量が大きくなる。そこで、例えば特許文献１などで開示されている、複数の画素の信号加算を伴う読み出しモードを備えるイメージセンサを用いることで、イメージセンサ内部での信号処理時の電力消費量を抑えることが可能になる。

特開２００７−５３６３４号公報

しかし、複数の画素の信号加算を伴う読み出しモードで画素信号を読み出している最中に、ユーザからの撮像指示が入力されると、イメージセンサの内部で、信号加算をしない読み出しモードに変更しなければならない。従って、このモードの変更に伴って、ユーザからの撮像指示から静止画像のキャプチャまでにタイムラグ（シャッタラグ）が発生する。

そこで、本開示では、消費電力の低減とシャッタラグ発生の抑制を同時に実現可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び電子機器を提案する。

本開示によれば、撮像素子から出力された画素信号に対して画素加算処理を行う画素加算処理部と、前記画素加算処理部により前記画素加算処理が行われた後の加算画素信号を少なくとも記憶する記憶部と、前記画素信号に基づく画像の記録指示の発生を検知する検知部と、前記検知部が前記記録指示の発生を検知していない状態では前記記憶部に記憶された前記加算画素信号を取得し、前記検知部が前記記録指示の発生を検知すると該記録指示に応じて前記画素信号を取得する信号処理部と、を備える、画像処理装置が提供される。

また本開示によれば、撮像素子から出力された画素信号に対して画素加算処理を行うことと、前記画素加算処理が行われた後の加算画素信号を少なくとも記憶することと、前記画素信号に基づく画像の記録指示の発生を検知することと、前記記録指示の発生を検知していない状態では記憶された前記加算画素信号を取得し、前記記録指示の発生を検知すると該記録指示に応じて前記画素信号を取得することと、を含む、画像処理方法が提供される。

また本開示によれば、コンピュータに、撮像素子から出力されたる画素信号に対して画素加算処理を行うことと、前記画素加算処理が行われた後の加算画素信号を少なくとも記憶することと、前記画素信号に基づく画像の記録指示の発生を検知することと、前記記録指示の発生を検知していない状態では記憶された前記加算画素信号を取得し、前記記録指示の発生を検知すると該記録指示に応じて前記画素信号を取得することと、を実行させる、コンピュータプログラムが提供される。

また本開示によれば、上記画像処理装置を備える、電子機器が提供される。

以上説明したように本開示によれば、消費電力の低減とシャッタラグ発生の抑制を同時に実現可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び電子機器を提供することが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

イメージセンサの内部でそのまま信号処理を行う様子を示す説明図である。 静止画像の撮像の際に、画素回路から出力される画素信号に対して信号処理を行う様子を示す説明図である。 フル画の保存時点において、アプリケーションプロセッサがプレビュー画を生成する処理を実行した様子を示す説明図である。 本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。 撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。 同実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。 同実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。 画素加算によるプレビュー画生成処理の一例を説明するための説明図である。 画素加算によるプレビュー画生成処理の一例を説明するための説明図である。 画素加算によるプレビュー画生成処理の一例を説明するための説明図である。 画素加算によるプレビュー画生成処理の一例を説明するための説明図である。 画素加算によるプレビュー画生成処理の一例を説明するための説明図である。 画素加算によるプレビュー画生成処理の一例を説明するための説明図である。 センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。 センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。 センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。 センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。 センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。 シャッタトリガが発生したことに応じて、センサモジュール１００を備える電子機器１０が静止画像を保存する様子を示す説明図である。 同実施形態に係るセンサモジュール１００が出力する画素信号によってＰｉｎＰ機能を実現する様子を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．概要
１．２．撮像装置の機能構成例
１．３．センサモジュールの構成例
１．４．動作例
２．まとめ

＜１．本開示の実施の形態＞
［１．１．概要］
本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。

近年はイメージセンサに備えられる画素の数が増加の一途を辿っている。イメージセンサから出力される画素信号に対してイメージセンサの内部でそのまま信号処理を行うと、電力消費量が大きくなる。

図１は、イメージセンサを備える電子機器において、静止画像の撮像の際に、画素回路から出力される画素信号に対して、イメージセンサの内部でそのまま信号処理を行う様子を示す説明図である。所定の間隔で垂直同期信号（ＸＶＳ）がイメージセンサに供給されるごとに画素から画素信号が読み出される。

イメージセンサの内部では、前段処理（例えばゲイン調整処理やクランプ処理）や後段処理（自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理など）が行われる。これらの処理を画素回路から出力されるままの画像（以下の説明ではフル画とも称する）に対応する画素信号に対して行うと、特に後段処理での電力消費量が大きくなる。

また、イメージセンサの後段にはアプリケーションプロセッサ（ＡＰ）が設けられるが、フル画のままの状態でイメージセンサからアプリケーションプロセッサへ伝送されると、イメージセンサとアプリケーションプロセッサとの間のインターフェース帯域も大きなものが必要になる。

しかし、アプリケーションプロセッサは、イメージセンサからフル画を取得しても、表示される画面の解像度よりもセンサーから出力されるフル画の解像度の方が大きい場合が多く、画面（ディスプレイパネル）にはフル画をそのまま表示することは出来ない場合がほとんどである。従ってアプリケーションプロセッサは、イメージセンサが撮像した画像を表示する際にはフル画を縮小した画像（以下の説明ではプレビュー画とも称する）を生成する必要がある。

画面にプレビュー画が表示されている状態で、電子機器のユーザがシャッタトリガを発生させると、アプリケーションプロセッサは、イメージセンサから取得したフル画を保存する処理を実行する。図１に示した例では、あるフレームＦ２の時点で電子機器のユーザがシャッタトリガを発生させると、次のフレームＦ３の時点でイメージセンサが撮像したフル画を保存することが示されている。

電子機器において静止画像を撮像する際に、フル画が必要になるのはユーザがシャッタトリガを発生させた時点のみである。しかし画素回路から出力される画素信号に対して、イメージセンサの内部でそのまま信号処理を行うと、図１に示したように、フル画が必要になる場面以外でもイメージセンサやアプリケーションプロセッサでフル画に対する処理が行われるために消費電力が増加したり効率が低下したりする。

そこで、複数の画素の信号加算を伴う読み出しモードを備えるイメージセンサを用いることで、イメージセンサ内部やアプリケーションプロセッサでの信号処理時の電力消費量を抑えることが可能になる。

図２は、複数の画素の信号加算を伴う読み出しモードを備えるイメージセンサを備える電子機器において、静止画像の撮像の際に、画素回路から出力される画素信号に対して信号処理を行う様子を示す説明図である。

図２に示した例では、所定の間隔で垂直同期信号（ＸＶＳ）がイメージセンサに供給されるごとに画素から画素信号が読み出されるのは図１の例と同様であるが、図１の例と異なるのは、イメージセンサが、フル画に対応する画素信号を読み出すモードと、プレビュー画に対応する画素信号を読み出すモードとを備えている点である。プレビュー画は、フル画に対応する画素信号に対してアナログ画素加算が行われることで生成される。プレビュー画は、水平加算、垂直加算により全体がフル画の１／４程度になっている画像である。

ユーザがシャッタトリガを発生させていない状態では、プレビュー画に対応する画素信号に対する信号処理がイメージセンサ内部やアプリケーションプロセッサで行われる。従って、フル画に対応する画素信号に対する信号処理を行う場合に比べてイメージセンサやアプリケーションプロセッサにおける電力消費量は少なく済む。

ところが、ユーザがシャッタトリガを発生させると、イメージセンサのモードをフル画に対応する画素信号を読み出すモードに切り替える必要が生じる。イメージセンサのモードを切り替えるには所定の切り替え時間が必要になる。そのため、ユーザがシャッタトリガを発生させても、即座にフル画に対応する画素信号を画素回路から読み出すことが出来ず、シャッタトリガを発生させてからフル画を保存するまでにラグが発生する。ここではこのラグのことをシャッタラグと称する。すなわち、図２に示したように、あるフレームＦ２の時点で電子機器のユーザがシャッタトリガを発生させると、次のフレームＦ３ではなく、例えば、その次のフレームＦ４の時点でイメージセンサが撮像したフル画が電子機器に保存されることになる。

また、アプリケーションプロセッサ側でフル画に対応する画素信号に対して何も処理を行わないと、フル画の保存時点（例えばフレームＦ４の時点）でのプレビュー画が欠落する。従って、アプリケーションプロセッサでフル画からプレビュー画を生成するという余計な処理が必要になる。図３は、フル画の保存時点において、アプリケーションプロセッサがプレビュー画を生成する処理を実行した様子を示す説明図である。

このようにアプリケーションプロセッサでフル画からプレビュー画を生成することでプレビュー画の欠落という問題は解消するが、その一方で、フレームＦ３以前ではイメージセンサがプレビュー画に対応する画素信号を出力しており、フレームＦ４ではアプリケーションプロセッサでフル画からプレビュー画を生成しているため、プレビュー画の見え方に差異が出る可能性がある。

そこで本件開示者は、上述した点に鑑みて、消費電力の低減とシャッタラグ発生の抑制を同時に実現可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、画素回路から出力される画素信号を一度イメージセンサの内部に蓄えることで、消費電力の低減とシャッタラグ発生の抑制を同時に実現可能な技術を考案するに至った。

以上、本開示の実施の形態の概要について説明した。

［１．２．機能構成例］
続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図４は、本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。以下、図４を用いて本開示の実施の形態に係る電子機器１０の機能構成例について説明する。

図４に示したように、本開示の実施の形態に係る電子機器１０は、撮像部１１と、画像処理部１２と、表示部１３と、制御部１４と、記憶部１５と、操作部１６と、を含んで構成される。

撮像部１１は、レンズや、センサモジュール等を含んで構成され、レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積する。撮像部１１は、その蓄積された電子に応じた信号に対して所定の信号処理を行う。そして撮像部１１は、信号処理を行った後の信号を画像処理部１２に出力する。なお、撮像部１１に含まれるセンサモジュールの構成については後に詳述する。

撮像部１１は、上記所定の信号処理として、例えば、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。

画像処理部１２は、例えばアプリケーションプロセッサ（ＡＰ）で構成され、撮像部１１から出力される信号を用いて画像処理を実行する。画像処理部１２が実行する画像処理には、例えば撮像部１１から出力される信号を用いたデモザイク処理、デモザイク処理後の画像の表示部１３への表示処理や、記憶部１５への記憶処理などがある。

表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで構成される表示デバイスである。表示部１３は、制御部１４によって表示内容が制御される。例えば、表示部１３は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を、制御部１４の制御に基づいて表示する。

制御部１４は、例えばＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＯＭ、ＲＡＭなどで構成され、電子機器１０の各部の動作を制御する。

記憶部１５は、例えばフラッシュメモリその他の不揮発性メモリなどの記憶媒体で構成される。記憶部１５は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を記憶する。記憶部１５が記憶した画像は、電子機器１０のユーザの操作に応じて表示部１３に表示されうる。

操作部１６は、電子機器１０の操作のためのデバイスであり、例えばボタンやタッチパネルなどで構成される。操作部１６がタッチパネルを含む場合、タッチパネルは表示部１３の表示面に設けられる。電子機器１０のユーザは、撮像部１１が撮像する画像を電子機器１０に記録したい場合には、操作部１６の所定のボタンを操作することでシャッタトリガを発生させる。撮像部１１や画像処理部１２は、シャッタトリガの発生を検知すると、そのシャッタトリガの発生に応じて画像を電子機器１０に記録するための処理を実行する。

以上、本開示の実施の形態に係る電子機器１０の機能構成例について説明した。続いて、本開示の実施の形態に係る電子機器１０の、撮像部１１に含まれるイメージセンサの構成例について説明する。

［１．３．センサモジュールの構成例］
図５は、撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール１００は、図５に示したように、３つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール１００は、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有する。

画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子を有する基板である。各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。画素基板１１０が出力する画素信号は、メモリ基板１２０に蓄えられ、また信号処理基板１３０において信号処理が施される。なお、画素基板１１０は、アナログ信号をデジタル信号に変換するＡＤ変換器を備える。すなわち画素基板１１０が出力する画素信号はデジタル信号である。

メモリ基板１２０は、画素基板１１０が出力する画素信号を一時的に蓄えるＤＲＡＭ（Dynamic Random Access Memory）などのメモリを有する基板である。メモリ基板１２０は、複数フレーム、例えば、信号処理基板１３０において電子式手振れ補正方式による手振れ補正処理を実行することが出来るだけのフレームの画素信号を一時的に蓄えることができる容量を有する。メモリ基板１２０に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。

信号処理基板１３０は、メモリ基板１２０に蓄えられた画素信号に対する各種信号処理を実行する。信号処理基板１３０が実行する信号処理は、メモリ基板１２０に蓄えられた画素信号に対する画質に関する信号処理であり、例えば、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。

なお、図５にはセンサモジュール１００が画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成の図を示したが、本開示は係る例に限定されない。例えば、センサモジュール１００が画素基板１１０と、信号処理基板１３０と、メモリ基板１２０と、の順に積層された構成を有していても良い。

以上、図５を用いてセンサモジュール１００の構成例について説明した。続いて、センサモジュール１００の機能構成例について説明する。

図６は、本開示の実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。以下、図６を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明する。

画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子１１１を備える。撮像素子１１１が出力する画素信号は信号処理基板１３０に一旦送られた後に、メモリ基板１２０に送られる。

メモリ基板１２０は、ＤＲＡＭ（Dynamic Random Access Memory）などで構成される画像記憶部１２１を有する。画像記憶部１２１は、撮像素子１１１が出力する画素信号を一時的に蓄える。画像記憶部１２１は、複数フレームの画素信号を一時的に蓄えることができる容量を有する。画像記憶部１２１に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。

信号処理基板１３０は、前処理部１３１と、検知部１３２と、信号処理部１３３と、を含んで構成される。

前処理部１３１は、撮像素子１１１が出力する画素信号に対する信号処理を施す。前処理部１３１は、信号処理を施した後の画素信号を画像記憶部１２１に記憶させる。前処理部１３１が実行する信号処理には、例えば、ゲイン調整処理やクランプ処理、画素加算処理などが含まれうる。

検知部１３２は、シャッタトリガの発生を検知する。検知部１３２は、例えば制御部１４からの所定の信号の受信により、シャッタトリガの発生を検知する。検知部１３２は、シャッタトリガの発生を検知すると、シャッタトリガが発生したことを前処理部１３１及び信号処理部１３３に通知する。

信号処理部１３３は、画像記憶部１２１に蓄えられている画素信号に対する信号処理を実行する。信号処理部１３３は、画像記憶部１２１に蓄えられている画素信号に対する信号処理を実行すると、信号処理後の画素信号を画像処理部１２へ出力する信号処理部１３３が実行する信号処理としては、例えば、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理、電子式手振れ補正方式による手振れ補正処理などが含まれうる。

本実施形態では、前処理部１３１は、撮像素子１１１が出力する画素信号に対して所定の画素加算処理をした後のプレビュー画に対応する画素信号と、フル画に対応するオリジナルの画素信号の両方を、常に画像記憶部１２１に記憶させてもよい。また、前処理部１３１は、検知部１３２からの通知によりシャッタトリガが発生したフレームの次フレーム以外のフレームでは、撮像素子１１１が出力する画素信号に対して所定の画素加算処理をした後のプレビュー画に対応する画素信号のみを画像記憶部１２１に記憶させてもよい。後者の場合、前処理部１３１は、検知部１３２からの通知によりシャッタトリガが発生したフレームの次フレームでは、撮像素子１１１が出力する画素信号に対して所定の画素加算処理をした後の画素信号と、オリジナルの画素信号の両方を画像記憶部１２１に記憶させる。

また本実施形態では、信号処理部１３３は、検知部１３２からの通知によりシャッタトリガが発生したことを知ると、シャッタトリガが発生したフレームの次フレームにおいて画像記憶部１２１に記憶されているプレビュー画に対応する画素信号と、フル画に対応するオリジナルの画素信号を画像記憶部１２１から読み出す。そしてシャッタトリガが発生してない状態では、信号処理部１３３は、画像記憶部１２１に記憶されているプレビュー画に対応する画素信号のみを読み出す。

このように、本実施形態に係るセンサモジュール１００は、シャッタトリガの発生タイミングと、その他の時間において、処理対象の画素信号を変化させる。本実施形態に係るセンサモジュール１００は、シャッタトリガの発生タイミングと、その他の時間において、処理対象の画素信号を変化させることで、消費電力の低減とシャッタラグ発生の抑制を同時に実現することが可能となる。

以上、図６を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明した。続いて、本開示の実施の形態に係るセンサモジュール１００の動作例について説明する。

［１．４．動作例］
図７は、本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。図７に示したのは、画素信号を生成してから、画素信号に対して信号処理を実行して画像処理部１２に出力するまでの、センサモジュール１００の動作例である。以下、図７を用いて本開示の実施の形態に係るセンサモジュール１００の動作例について説明する。

センサモジュール１００は、撮像素子１１１が受光した画素信号に対して、プレビュー画の生成処理を毎フレーム実行する（ステップＳ１０１）。プレビュー画の生成処理は、前処理部１３１での所定の画素加算処理により行われる。センサモジュール１００は、生成したプレビュー画を画像記憶部１２１に一時的に順次蓄えた後に、所定の信号処理を行って、後段の画像処理部１２に出力する。

ここで、前処理部１３１が実行する、画素加算によるプレビュー画生成処理の一例を説明する。図８〜図１３は、前処理部１３１が実行する、画素加算によるプレビュー画生成処理の一例を説明するための説明図である。

図８は、単純に隣の同じ色の画素を同じ比率で加算（アナログ加算）することで、縦横それぞれ４画素のデータを縦横それぞれ２画素のデータに縮小する例を示している。図８では、Ｒ０とＲ１、Ｒ２とＲ３を、それぞれ水平方向に１：１の割合で加算した後、さらに加算後の画素を垂直方向に１：１で加算する画素加算の例が示されている。他のＢ、Ｇｂ、Ｇｒの画素についても同様の加算処理が行われる。このように、各色について水平方向及び垂直方向に１：１の割合で画素加算が行われることで、フル画を縮小したプレビュー画が生成される。

図９は、重心を考慮して加算比率を変化させて加算（デジタル加算）することで、縦横それぞれ４画素のデータを縦横それぞれ２画素のデータに縮小する例を示している。図９では、Ｒ０とＲ１、Ｒ２とＲ３を、それぞれ水平方向に１：３の割合で加算した後、さらに加算後の画素を垂直方向に１：３で加算することが示されている。他のＢ、Ｇｂ、Ｇｒの画素についても同様の加算処理が行われる。このように、各色について水平方向及び垂直方向に重心を考慮して画素加算が行われることで、フル画を縮小したプレビュー画が生成される。また、このように重心を考慮した加算を行うことで、解像感の向上やジャギーの低減という効果が得られる。

図８、９に示したのは、縦横それぞれ４画素のデータを縦横それぞれ２画素のデータに縮小する際の画素加算処理の例であった。続いて、縦横それぞれ８画素のデータを縦横それぞれ２画素のデータに縮小する際の画素加算処理の例を示す。

図１０、１１は、縦横それぞれ８画素のデータを縦横それぞれ２画素のデータに縮小する際の画素加算処理の例を示す説明図である。図１０は、水平方向の１つの行における８つの画素を加算する画素加算処理の例を示している。例えば４つのＲの画素は、重心を加味して、Ｒ０、Ｒ１、Ｒ２、Ｒ３をそれぞれ９：３：３：１の比率で加算（デジタル加算）する。また例えば４つのＧｒの画素は、重心を加味して、Ｇｒ０、Ｇｒ１、Ｇｒ２、Ｇｒ３をそれぞれ１：３：３：９の比率で加算する。加算後の画素の間隔は３ピクセル間隔となり、元の８画素を単位としたブロックの端から、加算後の画素までの間隔は１．５ピクセル間隔となる。

図１１は、縦横それぞれ８画素のデータを縦横それぞれ２画素のデータに縮小する様子を示す説明図である。上述したように、水平方向の１つの行における８つの画素を、重心を加味した加算比率により加算（デジタル加算）し、水平方向の加算後の画素についても同様に重心を加味した加算比率により加算（デジタル加算）する。このように、各色について水平方向及び垂直方向に重心を考慮して画素加算が行われることで、フル画を縮小したプレビュー画が生成される。また、このように重心を考慮した加算を行うことで、解像感の向上やジャギーの低減という効果が得られる。

縦横それぞれ８画素のデータを縦横それぞれ２画素のデータに縮小する際の画素加算処理の別の例を示す。

図１２、１３は、縦横それぞれ８画素のデータを縦横それぞれ２画素のデータに縮小する際の画素加算処理の例を示す説明図である。図１２は、垂直方向の１つの列における８つの画素を、まずはアナログ加算により垂直方向に１：１で加算し、続いて重心を加味した加算比率により加算（デジタル加算）する例を示している。図１２の例では、後段のデジタル加算では、Ｒの画素を上から７：１で、Ｇｂの画素を上から１：７で加算している。

図１３は、縦横それぞれ８画素のデータを縦横それぞれ２画素のデータに縮小する様子を示す説明図である。上述したように、まず水平方向及び垂直方向について１：１で加算（アナログ加算）し、加算後の画素について、重心を加味した加算比率により加算（デジタル加算）する。このように、各色について水平方向及び垂直方向に重心を考慮して画素加算が行われることで、フル画を縮小したプレビュー画が生成される。また、このように重心を考慮した加算を行うことで、解像感の向上やジャギーの低減という効果が得られる。

以上、前処理部１３１が実行する、画素加算によるプレビュー画生成処理の一例を説明した。もちろん、上述した画素加算処理は、前処理部１３１が実行する画素加算処理の一例で有り、他にも様々な画素加算処理をとり得ることは言うまでも無い。

撮像素子１１１が受光した画素信号に対してプレビュー画の生成処理を実行すると、続いてセンサモジュール１００は、シャッタトリガの発生の有無を判定する（ステップＳ１０２）。シャッタトリガの発生の有無は、例えば検知部１３２が、シャッタトリガの発生に応じて生じた信号を受信したかどうかにより行う。

ステップＳ１０２の判定において、シャッタトリガが有ったと判定すると（ステップＳ１０２，Ｙｅｓ）、センサモジュール１００は、撮像素子１１１が出力する画素信号に対して所定の画素加算処理をした後のプレビュー画に対応する画素信号と、画素加算処理をしていないフル画に対応するオリジナルの画素信号の両方を記憶する（ステップＳ１０３）。本実施形態では、センサモジュール１００は、シャッタトリガが発生したフレームの次のフレームでの、プレビュー画に対応する画素信号とフル画に対応するオリジナルの画素信号の両方を記憶する。

本実施形態では、センサモジュール１００は、撮像素子１１１が出力する画素信号に対して所定の画素加算処理をした後のプレビュー画に対応する画素信号と、フル画に対応するオリジナルの画素信号の両方を、常に画像記憶部１２１に記憶させてもよい。また、センサモジュール１００は、検知部１３２からの通知によりシャッタトリガが発生したフレームの次フレーム以外のフレームでは、撮像素子１１１が出力する画素信号に対して所定の画素加算処理をした後のプレビュー画に対応する画素信号のみを画像記憶部１２１に記憶させてもよい。後者の場合、センサモジュール１００は、検知部１３２からの通知によりシャッタトリガが発生したフレームの次フレームでは、撮像素子１１１が出力する画素信号に対して所定の画素加算処理をした後の画素信号と、オリジナルの画素信号の両方を画像記憶部１２１に記憶させる。

プレビュー画に対応する画素信号と、フル画に対応するオリジナルの画素信号の両方を記憶すると、続いてセンサモジュール１００は、記憶したプレビュー画に対応する画素信号と、フル画に対応するオリジナルの画素信号の両方を読み出す（ステップＳ１０４）。そしてセンサモジュール１００は、プレビュー画に対応する画素信号と、フル画に対応するオリジナルの画素信号の両方に対する信号処理を実行する（ステップＳ１０５）。ステップＳ１０４での画素信号の読み出し及びステップＳ１０５での信号処理は、例えば信号処理部１３３が実行する。

プレビュー画に対応する画素信号と、フル画に対応するオリジナルの画素信号の両方に対する信号処理を実行すると、続いてセンサモジュール１００は、信号処理後のそれぞれの画素信号を画像処理部１２に出力する（ステップＳ１０６）。センサモジュール１００は、信号処理後のそれぞれの画素信号を画像処理部１２に出力すると、次のフレームの処理に進む。

一方、ステップＳ１０２の判定において、シャッタトリガが無かったと判定すると（ステップＳ１０２，Ｎｏ）、センサモジュール１００は、撮像素子１１１が出力する画素信号に対して所定の画素加算処理をした後のプレビュー画に対応する画素信号のみを記憶する（ステップＳ１０７）。

プレビュー画に対応する画素信号を記憶すると、続いてセンサモジュール１００は、記憶したプレビュー画に対応する画素信号を読み出す（ステップＳ１０８）。そしてセンサモジュール１００は、プレビュー画に対応する画素信号に対する信号処理を実行する（ステップＳ１０９）。ステップＳ１０８での画素信号の読み出し及びステップＳ１０９での信号処理は、例えば信号処理部１３３が実行する。

プレビュー画に対応する画素信号に対する信号処理を実行すると、続いてセンサモジュール１００は、信号処理後の画素信号を画像処理部１２に出力する（ステップＳ１１０）。センサモジュール１００は、信号処理後の画素信号を画像処理部１２に出力すると、次のフレームの処理に進む。

このように、本実施形態に係るセンサモジュール１００は、シャッタトリガの発生タイミングと、その他の時間において、処理対象の画素信号を変化させる。本実施形態に係るセンサモジュール１００は、シャッタトリガの発生タイミングと、その他の時間において、処理対象の画素信号を変化させることで、消費電力の低減とシャッタラグ発生の抑制を同時に実現することが可能となる。また、センサモジュール１００の内部に画像記憶部１２１を設ける場合、画素信号に対する前段処理と、画素信号に対する後段処理とを別々に処理できる。これは、前段処理の後の画素信号を画像記憶部１２１に一時的に蓄えておくからである。すなわち、本開示の実施の形態に係るセンサモジュール１００は、前段処理と後段処理とでフレームレートの変換が可能となる。本実施形態では、撮像素子１１１から画像記憶部１２１に画素信号が送られる速度が、画像記憶部１２１から信号処理部１３３に画素信号が送られる速度よりも速くなるようにしてもよい。すなわち、センサモジュール１００は、画像記憶部１２１を設けることで、撮像素子１１１から画像記憶部１２１に画素信号が送られる速度を、センサモジュール１００から画素信号を出力するさいのフレームレートに律速させないようにすることが出来る。

本実施形態に係るセンサモジュール１００の効果について説明する。図１４は、センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。本実施形態では、シャッタトリガが発生していない状態では、センサモジュール１００がプレビュー画に対応する画素信号を生成し、プレビュー画に対応する画素信号についてのみ信号処理を行って、プレビュー画に対応する画素信号を画像処理部１２へ伝送する。

そして、フレームｆ２においてシャッタトリガが発生すると、センサモジュール１００は、次のフレームｆ３でのプレビュー画に対応する画素信号及びフル画に対応するオリジナルの画素信号を記憶し、それぞれの画素信号に対する信号処理を実行する。

センサモジュール１００での信号処理は、シャッタトリガが発生していない状態ではプレビュー画に対応する画素信号に対してのみ行われる。従って、センサモジュール１００は、シャッタトリガが発生していない状態での電力消費量を抑えることができる。また、シャッタトリガが発生していない状態では、センサモジュール１００と画像処理部１２（アプリケーションプロセッサ）との間のインターフェースもプレビュー画に対応する画素信号のみが伝送されている。従って、センサモジュール１００と画像処理部１２との間のインターフェース帯域にも余裕が生じることになる。

センサモジュール１００の内部の信号処理部１３３が、フル画に対応する画素信号を処理できる速度に限界がある場合であっても、センサモジュール１００は、フル画に対応する画素信号を分割して信号処理することができる。

図１５は、センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。

図１４で示した場合と同様に、フレームｆ２においてシャッタトリガが発生すると、センサモジュール１００は、次のフレームｆ３でのプレビュー画に対応する画素信号及びフル画に対応するオリジナルの画素信号を記憶し、それぞれの画素信号に対する信号処理を実行する。

センサモジュール１００の内部の信号処理部１３３が、フル画に対応する画素信号を処理できる速度に限界がある場合には、信号処理部１３３は、例えば、フル画に対応する画素信号を２つに分割し、半分ずつ信号処理を行っても良い。すなわち、信号処理部１３３は、上半分はフレームｆ３の時間で信号処理を行い、下半分はフレームｆ４の時間で信号処理を行う。信号処理部１３３は、信号処理後の画素信号を画像記憶部１２１に一度蓄えておき、全ての信号処理が完了すると、画像記憶部１２１に蓄えた画素信号を結合して画像処理部１２に出力する。

このように、フル画に対応する画素信号を２つに分割し、半分ずつ信号処理を行うことで、センサモジュール１００の内部の回路規模の削減が可能になる。またセンサモジュール１００の内部の回路規模の削減が可能になることで、消費電力を低減させる効果もある。もちろん、フル画に対応する画素信号を分割した場合であってもシャッタラグの発生は無いので、ユーザがシャッタトリガを発生させてから、画像データのキャプチャまでのレスポンスに変化はほとんど無い。なお、図１５では、フル画に対応する画素信号を２つに分割した例が示されているが、本開示は係る例に限定されるものではない。センサモジュール１００は、フル画に対応する画素信号を３分割以上に分割して、分割した画素信号のそれぞれに対して信号処理を行っても良い。

センサモジュール１００と画像処理部１２との間のインターフェース帯域が、フル画に対応する画素信号を伝送できる余裕が無い場合でも、センサモジュール１００は、画素信号を分割して画像処理部１２に伝送することができる。

図１６は、センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。

図１４で示した場合と同様に、フレームｆ２においてシャッタトリガが発生すると、センサモジュール１００は、次のフレームｆ３でのプレビュー画に対応する画素信号及びフル画に対応するオリジナルの画素信号を記憶し、それぞれの画素信号に対する信号処理を実行する。

センサモジュール１００と画像処理部１２との間のインターフェース帯域が、フル画に対応する画素信号を伝送できる余裕が無い場合には、センサモジュール１００は、画素信号を２つに分割し、分割した画素信号をそれぞれ別のフレームにおいて画像処理部１２に伝送する。すなわち、信号処理部１３３は、上半分はフレームｆ３の時間で画像処理部１２に伝送し、下半分はフレームｆ４の時間で画像処理部１２に伝送する。

このように、フル画に対応する画素信号を分割し、半分ずつ画像処理部１２へ伝送することで、センサモジュール１００と画像処理部１２との間の通信速度に制約がある場合でもセンサモジュール１００から画像処理部１２へのフル画に対応する画素信号の伝送が可能となる。もちろん、フル画に対応する画素信号を分割した場合であってもシャッタラグの発生は無いので、ユーザがシャッタトリガを発生させてから、画像データのキャプチャまでのレスポンスに変化はほとんど無い。なお、図１６では、フル画に対応する画素信号を２つに分割して半分ずつ画像処理部１２へ伝送する例が示されているが、本開示は係る例に限定されるものではない。センサモジュール１００は、フル画に対応する画素信号を３分割以上に分割して、分割した画素信号のそれぞれを１つずつ画像処理部１２へ伝送しても良い。

本実施形態では、センサモジュール１００は、フル画に対応する画素信号とプレビュー画に対応する画素信号との両方を保存出来るので、よりシャッタラグが無い撮像や、複数枚の画像の出力も可能になる。

図１７は、センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。

図１４で示した場合と同様に、フレームｆ２においてシャッタトリガが発生すると、センサモジュール１００は、次のフレームｆ３でのプレビュー画に対応する画素信号及びフル画に対応するオリジナルの画素信号を記憶し、それぞれの画素信号に対する信号処理を実行する。

フレームｆ２においてシャッタトリガが発生すると、センサモジュール１００は、次のフレームｆ３以降でプレビュー画に対応する画素信号及びフル画に対応するオリジナルの画素信号を記憶してもよい。センサモジュール１００は、フレームｆ３以降でプレビュー画に対応する画素信号及びフル画に対応するオリジナルの画素信号を記憶することで、過去に遡って画像を出力することが可能となる。また、センサモジュール１００は、フレームｆ３以降でプレビュー画に対応する画素信号及びフル画に対応するオリジナルの画素信号を記憶することで、複数枚の画像の出力が可能となる。

本実施形態では、センサモジュール１００は、フル画に対応する画素信号とプレビュー画に対応する画素信号との両方を記憶出来るので、フル画に対応する画素信号とプレビュー画に対応する画素信号とに別々の信号処理を実行出来る。

図１８は、センサモジュール１００を備える電子機器１０の内部の処理を説明するための説明図である。

図１４で示した場合と同様に、フレームｆ２においてシャッタトリガが発生すると、センサモジュール１００は、次のフレームｆ３でのプレビュー画に対応する画素信号及びフル画に対応するオリジナルの画素信号を記憶し、それぞれの画素信号に対する信号処理を実行する。

センサモジュール１００は、プレビュー画に対応する画素信号に対しては記録用では無いので信号処理を弱めにかけて電力の削減を図り、フル画に対応するは画素信号に対しては記録用で綺麗な画像を残すためにしっかりと信号処理をかけるようにしてもよい。このように、センサモジュール１００は、フル画に対応する画素信号とプレビュー画に対応する画素信号とに別々の信号処理を実行することで、後段の画像処理部１２で画素信号を使用する際の選択の幅を広げることが出来る。

本実施形態に係るセンサモジュール１００は、動画像の撮像中に発生したシャッタトリガに応じて、静止画像の保存を可能にする。

図１９は、動画像の撮像中にシャッタトリガが発生したことに応じて、センサモジュール１００を備える電子機器１０が静止画像を保存する様子を示す説明図である。センサモジュール１００は、動画像の撮像中に、フル画に対応する画素信号をフレーム毎に画像記憶部１２１に一時的に記憶させる。そして、動画像の撮像中にシャッタトリガが発生すると、シャッタトリガの発生タイミングにおけるフレームのフル画に対応する画素信号を画像記憶部１２１から読み出して信号処理を実行する。

このように、本実施形態に係るセンサモジュール１００は、動画像の撮像中に発生したシャッタトリガを検出すると、そのシャッタトリガに応じてフル画に対応した画素信号を出力することが出来る。

本実施形態に係るセンサモジュール１００は、同一のフレームにおける、プレビュー画に対応する画素信号及びフル画に対応するオリジナルの画素信号を記憶できるので、画像の中に別の画像を表示する、いわゆるピクチャインピクチャ（ＰｉｎＰ）機能を実現できる。

図２０は、本実施形態に係るセンサモジュール１００がＰｉｎＰ機能を実現する様子を示す説明図である。符号ｆ１は、フル画に対応した画素信号に基づいた画像の例を示し、符号ｐ１は、符号ｆ１で示した画像と同一のフレームにおける、プレビュー画に対応する画素信号に基づいた画像の例を示している。

信号処理部１３３は、例えば、符号ｆ１で示した画像の中から、符号ｚ１で示した範囲を抜き出して所定の拡大処理を行って拡大画像を生成し、その拡大画像に符号ｐ１で示した画像を重畳させる。符号ｉ１は、符号ｆ１で示した画像の一部を抜き出して拡大した画像に、符号ｐ１で示した画像が重畳された画像の例を示している。信号処理部１３３は、このように２つの画像を重畳させることで、１つのセンサモジュール１００が出力する２つの画素信号を用いてＰｉｎＰ機能を実現することが出来る。信号処理部１３３は、１つのセンサモジュール１００が出力する２つの画素信号から、符号ｉ１で示したような画像を生成することが出来る。すなわち、本実施形態に係るセンサモジュール１００により、単眼カメラであっても上述したＰｉｎＰ機能を実現できる。

上述の例では同一のサブフレームにおけるフル画（またはフル画を拡大した画像）とプレビュー画とを合成することでＰｉｎＰ機能を実現する例を示したが、本開示は係る例に限定されるものでは無い。例えば、信号処理部１３３は、異なるフレームのフル画（またはフル画を拡大した画像）とプレビュー画とを合成することでＰｉｎＰ機能を実現してもよい。なお、上述したＰｉｎＰ機能は、信号処理部１３３ではなく、センサモジュール１００から画素信号を取得した画像処理部１２が実行してもよい。

＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、シャッタトリガの発生タイミングと、その他の時間において、処理対象の画素信号を変化させる、センサモジュール１００が提供される。本実施形態に係るセンサモジュール１００は、シャッタトリガの発生タイミングと、その他の時間において、画素信号の処理対象を変化させることで、消費電力の低減とシャッタラグ発生の抑制を同時に実現することが可能となる。

また本開示の実施の形態に係るセンサモジュール１００は、画素から送られる画素信号を一時的に記憶することで、センサモジュール１００と画像処理部１２との間のインターフェース帯域に制限がある場合に、フル画に対応する画素信号を分割して画像処理部１２に伝送することが出来る。

また本開示の実施の形態に係るセンサモジュール１００は、画素から送られる画素信号を一時的に記憶することで、センサモジュール１００の処理能力に制約がある場合に、フル画に対応する画素信号を分割して画像処理を行うことが出来る。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像素子から出力された画素信号に対して画素加算処理を行う画素加算処理部と、
前記画素加算処理部により前記画素加算処理が行われた後の加算画素信号を少なくとも記憶する記憶部と、
前記画素信号に基づく画像の記録指示の発生を検知する検知部と、
前記検知部が前記記録指示の発生を検知していない状態では前記記憶部に記憶された前記加算画素信号を取得し、前記検知部が前記記録指示の発生を検知すると該記録指示に応じて前記画素信号を取得する信号処理部と、
を備える、画像処理装置。
（２）
前記記憶部は、前記加算画素信号に加えて前記画素信号を記憶し、
前記信号処理部は、前記検知部が記録指示の発生を検知すると該記録指示に応じて前記記憶部に記憶された前記画素信号を取得する、前記（１）に記載の画像処理装置。
（３）
前記検知部が記録指示の発生を検知すると、前記信号処理部は、該記録指示に応じて前記記憶部に記憶された前記画素信号と前記加算画素信号とを併せて取得する、前記（１）または（２）に記載の画像処理装置。
（４）
前記信号処理部は、前記加算画素信号に対する信号処理の処理量よりも前記画素信号に対する信号処理の処理量を多くする、前記（１）〜（３）のいずれかに記載の画像処理装置。
（５）
前記信号処理部は、前記画素信号の一部の領域を切り出した後の画素信号と前記加算画素信号とを合成する処理を行う、前記（１）〜（４）のいずれかに記載の画像処理装置。
（６）
前記撮像素子から前記記憶部に前記画素信号が送られる速度は、前記記憶部から前記信号処理部に前記画素信号が送られる速度よりも速い、前記（１）〜（５）のいずれかに記載の画像処理装置。
（７）
前記信号処理部は、前記記憶部に記憶された前記画素信号を時分割して出力する、前記（１）〜（６）のいずれかに記載の画像処理装置。
（８）
前記信号処理部は、前記記憶部に記憶された前記画素信号を分割して処理する、前記（１）〜（６）のいずれかに記載の画像処理装置。
（９）
前記記憶部は、複数の画素信号を記憶可能であり、前記信号処理部は、前記記録指示に対応する画素信号よりも前に撮像された画素信号を出力する、前記（１）〜（８）のいずれかに記載の画像処理装置。
（１０）
前記信号処理部は、前記画素信号に基づいた動画像の記録処理中に入力された前記記録指示に応じて前記記憶部に記憶された前記画素信号を取得する、前記（１）〜（９）のいずれかに記載の画像処理装置。
（１１）
前記画素加算処理部は、前記画素加算処理として縦横２画素を加算する処理を行う、前記（１）〜（１０）のいずれかに記載の画像処理装置。
（１２）
前記画素加算処理部は、前記画素加算処理として画素重心を考慮して加算する処理を行う、前記（１）〜（１０）のいずれかに記載の画像処理装置。
（１３）
第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記撮像素子が少なくとも形成され、
前記第２半導体基板には、前記記憶部が少なくとも形成され、
前記第３半導体基板には、前記画素加算処理部、前記検知部及び前記信号処理部が少なくとも形成されている、前記（１）〜（１２）のいずれかに記載の画像処理装置。
（１４）
前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、前記（１３）に記載の画像処理装置。
（１５）
前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、前記（１３）に記載の画像処理装置。
（１６）
撮像素子から出力された画素信号に対して画素加算処理を行うことと、
前記画素加算処理が行われた後の加算画素信号を少なくとも記憶することと、
前記画素信号に基づく画像の記録指示の発生を検知することと、
前記記録指示の発生を検知していない状態では記憶された前記加算画素信号を取得し、前記記録指示の発生を検知すると該記録指示に応じて前記画素信号を取得することと、
を含む、画像処理方法。
（１７）
コンピュータに、
撮像素子から出力された画素信号に対して画素加算処理を行うことと、
前記画素加算処理が行われた後の加算画素信号を少なくとも記憶することと、
前記画素信号に基づく画像の記録指示の発生を検知することと、
前記記録指示の発生を検知していない状態では記憶された前記加算画素信号を取得し、前記記録指示の発生を検知すると該記録指示に応じて前記画素信号を取得することと、
を実行させる、コンピュータプログラム。
（１８）
前記（１）〜（１５）のいずれかに記載の画像処理装置を備える、電子機器。

１０ 電子機器
１００ センサモジュール

Claims (18)

1. 撮像素子から出力された画素信号に対して画素加算処理を行う画素加算処理部と、
   前記画素加算処理部により前記画素加算処理が行われた後の加算画素信号を少なくとも記憶する記憶部と、
   前記画素信号に基づく画像の前記記録指示の発生を検知する検知部と、
   前記検知部が記録指示の発生を検知していない状態では前記記憶部に記憶された前記加算画素信号を取得し、前記検知部が前記記録指示の発生を検知すると該記録指示に応じて前記画素信号を取得する信号処理部と、
   を備える、画像処理装置。
2. 前記記憶部は、前記加算画素信号に加えて前記画素信号を記憶し、
   前記信号処理部は、前記検知部が記録指示の発生を検知すると該記録指示に応じて前記記憶部に記憶された前記画素信号を取得する、請求項１に記載の画像処理装置。
3. 前記検知部が記録指示の発生を検知すると、前記信号処理部は、該記録指示に応じて前記記憶部に記憶された前記画素信号と前記加算画素信号とを併せて取得する、請求項１に記載の画像処理装置。
4. 前記信号処理部は、前記加算画素信号に対する信号処理の処理量よりも前記画素信号に対する信号処理の処理量を多くする、請求項１に記載の画像処理装置。
5. 前記信号処理部は、前記画素信号の一部の領域を切り出した後の画素信号と前記加算画素信号とを合成する処理を行う、請求項１に記載の画像処理装置。
6. 前記撮像素子から前記記憶部に前記画素信号が送られる速度は、前記記憶部から前記信号処理部に前記画素信号が送られる速度よりも速い、請求項１に記載の画像処理装置。
7. 前記信号処理部は、前記記憶部に記憶された前記画素信号を時分割して出力する、請求項１に記載の画像処理装置。
8. 前記信号処理部は、前記記憶部に記憶された前記画素信号を分割して処理する、請求項１に記載の画像処理装置。
9. 前記記憶部は、複数の画素信号を記憶可能であり、前記信号処理部は、前記記録指示に対応する画素信号よりも前に撮像された画素信号を出力する、請求項１に記載の画像処理装置。
10. 前記信号処理部は、前記画素信号に基づいた動画像の記録処理中に入力された前記記録指示に応じて前記記憶部に記憶された前記画素信号を取得する、請求項１に記載の画像処理装置。
11. 前記画素加算処理部は、前記画素加算処理として縦横２画素を加算する処理を行う、請求項１に記載の画像処理装置。
12. 前記画素加算処理部は、前記画素加算処理として画素重心を考慮して加算する処理を行う、請求項１に記載の画像処理装置。
13. 第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
    前記第１半導体基板には、前記撮像素子が少なくとも形成され、
    前記第２半導体基板には、前記記憶部が少なくとも形成され、
    前記第３半導体基板には、前記画素加算処理部、前記検知部及び前記信号処理部が少なくとも形成されている、請求項１に記載の画像処理装置。
14. 前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、請求項１３に記載の画像処理装置。
15. 前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、請求項１３に記載の画像処理装置。
16. 撮像素子から出力された画素信号に対して画素加算処理を行うことと、
    前記画素加算処理が行われた後の加算画素信号を少なくとも記憶することと、
    前記画素信号に基づく画像の記録指示の発生を検知することと、
    前記記録指示の発生を検知していない状態では記憶された前記加算画素信号を取得し、前記記録指示の発生を検知すると該記録指示に応じて前記画素信号を取得することと、
    を含む、画像処理方法。
17. コンピュータに、
    撮像素子から出力された画素信号に対して画素加算処理を行うことと、
    前記画素加算処理が行われた後の加算画素信号を少なくとも記憶することと、
    前記画素信号に基づく画像の記録指示の発生を検知することと、
    前記記録指示の発生を検知していない状態では記憶された前記加算画素信号を取得し、前記記録指示の発生を検知すると該記録指示に応じて前記画素信号を取得することと、
    を実行させる、コンピュータプログラム。
18. 請求項１に記載の画像処理装置を備える、電子機器。
    

Images