JP2017183952A - 撮像装置およびその制御方法、撮像素子 - Google Patents

Abstract

【課題】高速かつ精度の高い被写体検出が可能な撮像素子および撮像装置を提供すること。
【解決手段】撮像装置の撮像素子は、撮像用の画素が形成された撮像部１０１と、撮像画像データを処理する第１の画像処理部１０２とを有する。撮像素子は、撮像部１０１を構成する第１の集積回路チップが第１の画像処理部１０２を構成する第２の集積回路チップ上に積層された積層型イメージセンサ１００である。第２の画像処理部１０４は第１の画像処理部１０２と電気的に接続され、画像処理や記録処理を行う。第１の画像処理部１０２が備える被写体検出部１０２２は、第２の画像処理部１０４における記録フレームレートよりも高い撮像フレームレートで取得された画像データを用いて被写体検出を行う。被写体検出部１０２２は、第２の画像処理部１０４に対して被写体の検出情報を送信する。
【選択図】 図１

Description

本発明は、積層型撮像素子と該素子を有する撮像装置およびその制御方法に関する。

近年、デジタルカメラ等の撮像装置に搭載される撮像素子として、積層型イメージセンサが登場している。積層型イメージセンサは、画像信号に対して画像処理を行う半導体集積回路チップ（処理チップ）上に、撮像用画素等が形成された半導体集積回路チップ（撮像チップ）を積層した構成をもつ。光電変換部は撮像面に入射される光を電気信号に変換し、さらにＡＤ変換部が変換したデジタル信号はメイン基板に送信され、画像データが処理される。メイン基板では画像データに関する認証処理や画像処理等が行われる。

積層型イメージセンサとメイン基板との間の通信帯域がボトルネックとなり、撮像性能の妨げとなる可能性があった。特許文献１には、積層型イメージセンサ内の処理チップで、画像データに対する圧縮処理を行い、圧縮されたデータをメイン基板に送信する方法が開示されている。画像データの伝送量を低減することにより、より大容量のデータを高速に伝送することが可能であり、撮像性能の向上に寄与する。

特開２０１４−１０３５４３号公報

従来の技術による装置では、画像データに対して積層型イメージセンサが圧縮処理を行い、メイン基板側で伸長処理が行われた後に被写体検出処理が実行される。圧縮および伸長処理に費やされる時間は、被写体検出が完了するまでの時間に転嫁されてタイムラグとなる。

例えば被写体検出結果を使用する追尾処理では、被写体検出にかかる時間が長いと、高速に移動する被写体の追尾に失敗する可能性がある。なお被写体検出結果を使用する処理には、被写体画像に対するフィルタ処理等がある。この場合、被写体の追尾に失敗すると、ある期間にて被写体画像に対するフィルタ処理が行われないので、再度被写体を追尾できたとしても被写体画像を正確に得ることができず、ユーザに違和感を与える可能性がある。本発明の目的は、高速かつ精度の高い被写体検出が可能な撮像素子および撮像装置を提供することである。

本発明の一実施形態に係る撮像装置は、撮像用の画素が形成された撮像部と、該撮像部により取得された画像データを処理する第１の画像処理部とを有する撮像素子と、前記第１の画像処理部と電気的に接続された第２の画像処理部と、を備える。前記第１の画像処理部は、前記第２の画像処理部におけるフレームレートよりも高いフレームレートで取得された画像データを用いて被写体検出を行う被写体検出部を備え、該被写体検出部が検出した検出情報を前記第２の画像処理部に送信する。

本発明によれば、高速かつ精度の高い被写体検出が可能な撮像素子および撮像装置を提供することができる。

本発明の第１実施形態の積層型撮像素子を含む撮像装置の構成を示すブロック図である。 本発明の第１実施形態の積層型撮像素子と画像処理部の接続構造を示す断面図である。 本発明の第２実施形態の積層型撮像素子を含む撮像装置の構成を示すブロック図である。

以下、本発明を、デジタルカメラ等の撮像装置に実装される撮像素子に適用した実施形態について説明する。本発明は、撮像素子が実装された携帯電話の一種であるスマートフォンやタブレット、その他の電子機器にも適用可能である。

［第１実施形態］
図１を参照して、本発明の第１実施形態に係る撮像装置の構成について説明する。図１に例示する撮像装置は、積層型撮像素子と、画像データを処理する画像処理部を備える。

積層型イメージセンサ１００は、撮像部１０１と第１の画像処理部１０２を備える。撮像部１０１は、撮像用画素等の半導体回路が形成された第１の集積回路チップとして構成されている。第１の画像処理部１０２は、撮像部１０１により取得される画像データに対して画像処理を行う、半導体回路が形成された第２の集積回路チップとして構成されている。

第２の画像処理部１０４は、撮像部１０１により取得される画像データに対して画像処理を行う、半導体回路が形成された第３の集積回路チップとして構成されている。第２の画像処理部１０４は、被写体追尾処理、現像処理、表示制御、記録制御等の各種処理および制御を行う。

第１メモリ部１０３は、第１の画像処理部１０２を構成する第２の集積回路チップと電気的に接続されており、画像信号を記憶する半導体回路が形成された第４の集積回路チップとして構成されている。第２メモリ部１０５は、第２の画像処理部１０４を構成する第３の集積回路チップと電気的に接続されており、画像信号を記憶する半導体回路が形成された第５の集積回路チップとして構成されている。

積層型イメージセンサ１００において、撮像部１０１を構成する第１の集積回路チップは、第１の画像処理部１０２を構成する第２の集積回路チップ上に積層されている。つまり積層型イメージセンサ１００は第１の画像処理部１０２上に撮像部１０１が積層された構造である。なお、第１の集積回路チップと第２の集積回路チップは異なるプロセスで製造された集積回路チップであってもよい。

撮像部１０１は、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサを構成している画素部１０１１およびＡＤ変換部１０１２を備える。画素部１０１１は二次元の行列状に配列され、撮像面に入射される光を電気信号に光電変換する。画素部１０１１における任意の列または行の画素信号を読み出し可能である。画素部１０１１は、光電変換部であるフォトダイオードと、フローティングディフュージョンアンプを有し、各画素信号を列単位で後段のＡＤ変換部１０１２に出力する。ＡＤ変換部１０１２は、画素部１０１１が出力する各画素信号を、アナログ信号からデジタル信号に変換する。

撮像部１０１のＡＤ変換部１０１２が出力するデジタル信号は、第１の画像処理部１０２に送信されて、画像データ処理が行われる。本実施形態では説明上、記録フレームレートを３０ＦＰＳ（Frames Per Second）とする。なお、本実施形態における記録フレームレートとは、後述する表示部１０７に表示するためのフレームレート、または、記録媒体１０９に記録するためのフレームレートに相当する。撮像部１０１は第１の画像処理部１０２に対し、記録フレームレートである３０ＦＰＳよりも高い１２０ＦＰＳ相当の撮像フレームレートで画像データを送信する。撮像部１０１は、撮像フレームレートとして１２０ＦＰＳまで動作可能であるが、これに限定されるものではない。なお、本実施形態における撮像フレームレートとは、撮像部１０１から出力される際のフレームレートに相当する。

第１の画像処理部１０２は、第１メモリ制御部１０２１、被写体検出部１０２２、第１チップ間通信インターフェース（Ｉ／Ｆ）部１０２３を備える。第１メモリ制御部１０２１は、撮像部１０１のＡＤ変換部１０１２から送信された画像データを取得して、第１メモリ部１０３に記憶させる制御を行う。第１メモリ部１０３は、各種データを一時的に記憶する揮発性のメモリ部である。第１メモリ部１０３に記憶された画像データは、第１メモリ制御部１０２１、第１チップ間通信Ｉ／Ｆ部１０２３を介して、撮像素子外部の第２の画像処理部１０４に送信されると共に、撮像素子内部の被写体検出部１０２２に出力される。

第１メモリ制御部１０２１は、第２の画像処理部１０４に対して信号を出力する。その際、第１メモリ部１０３に格納されている全画像データを読み出すのではなく、記録フレームレートである３０ＦＰＳ相当、または３０ＦＰＳでの画像処理および記録処理に十分な間隔で画像データを読み出して出力する処理が行われる。一方、被写体検出部１０２２に出力する際に、第１メモリ制御部１０２１は第１メモリ部１０３に記憶保持されている全画像データを順次読み出し、撮像フレームレートである１２０ＦＰＳ相当で出力する。

被写体検出部１０２２は、入力された画像データを用いて撮像画像内の被写体画像を検出するデータ処理部である。目的とする特定の被写体画像が検出され、被写体のオブジェクト情報が生成される。目的とする被写体としては、人物の顔等が代表的である。検出方法には公知の検出方法を用いる。例えば、顔に関する知識（肌色情報、シルエット情報、目・鼻・口等のパーツ情報）を用いる方法や、ニューラルネットに代表される学習アルゴリズムによって顔検出のための識別機能を構成する方法がある。被写体のオブジェクト情報は、検出された被写体の数に応じた被写体の位置、大きさ等に関する情報を含む。被写体検出部１０２２により生成されたオブジェクト情報は、出力部としての第１チップ間通信Ｉ／Ｆ部１０２３を介して第２の画像処理部１０４に送信される。また、被写体検出部１０２２は、複数のフレームを合成した合成フレームを用いて被写体検出を行ってもよい。被写体検出部１０２２に入力される画像データのフレームレートは出力されるフレームレートよりも高いため、その差分の画像を合成しても、検出結果の出力が遅れることは無い。また、オブジェクト情報に複数のフレーム間で取得した被写体の動き情報（速度や加速度）や軌跡に関する情報を含めるようにしてもよい。より多くの情報をオブジェクト情報に含めることによって、後述する被写体追尾部１０４４での処理の精度を向上させることが可能となる。

第２の画像処理部１０４は第２チップ間通信Ｉ／Ｆ部１０４１を備え、第１チップ間通信Ｉ／Ｆ部１０２３から処理結果の信号を受信し、画像データとオブジェクト情報を取り込む。第２メモリ制御部１０４２は、第２チップ間通信Ｉ／Ｆ部１０４１により取り込まれた画像データとオブジェクト情報を第２メモリ部１０５に格納する制御を行う。

センサ補正部１０４３は、第２メモリ部１０５に格納された画像データを、第２メモリ制御部１０４２を介して読み出して補正処理を行う。第２メモリ部１０５に格納された画像データは撮像フレームレートより低い記録フレームレートで読み出される。センサ補正部１０４３は、撮像光学系を構成するレンズの収差を補正する処理や、撮像素子の欠陥画素の補間処理を行う。処理後の画像データは第２メモリ制御部１０４２を介して第２メモリ部１０５に記憶される。

被写体追尾部１０４４は、複数のフレームの画像データに対応するオブジェクト情報に基づいて、複数のフレームの画像データからそれぞれ検出された被写体を対応付ける。例えば、被写体検出部１０２２が着目フレームよりも１フレーム前の画像データから検出した被写体に対して、被写体ＩＤ＝Ａを割り当てたとする。被写体ＩＤは被写体の識別情報であり、被写体ごとに異なる。そして、被写体検出部１０２２が着目フレームにおいても、被写体ＩＤ＝Ａに対応する被写体を検出した場合には、被写体追尾部１０４４は、着目フレームにて検出された被写体に関しても、被写体ＩＤ＝Ａを割り当てる。なお、着目フレームで新規に検出された被写体に対しては、新規の被写体ＩＤが割り当てられる。

被写体追尾部１０４４は、異なるフレーム間で同一の被写体であるか否かの対応付けを、被写体のオブジェクト情報に含まれる被写体の位置、大きさの類似性に基づいて行う。被写体の同一性の判定方法については、特定の方法に限定されない。例えば、着目フレームよりも１フレーム前の画像データから検出される被写体の移動ベクトルを使用する方法がある。この方法では、検出された被写体の移動ベクトルを用いて特定された被写体の移動予測位置が算出される。移動ベクトルの検出および被写体の移動予測位置の算出は被写体検出部１０２２で行われ、出力されるオブジェクト情報には、これら情報が含まれる。被写体追尾部１０４４は、着目フレームの画像データで検出された被写体の位置が、被写体の移動予測位置から一定距離以内であれば、同一の被写体であると対応付ける。被写体の対応付け方法は、特定の方法に限るものではなく、同様の処理を行う種々の方法を採用可能である。

撮影制御部１０４５は、撮像装置が備えるレンズ部または装置本体部に装着されたレンズ装置の焦点調節機構や露出制御機構を制御する。撮影制御は、第２メモリ制御部１０４２に格納された、センサ補正部１０４３による補正処理後の画像データおよびオブジェクト情報に基づいて行われる。現像処理部１０４６は、ガンマ補正、ホワイトバランス調整等の画像処理を行う。現像処理部１０４６は通常の画像処理に加え、被写体検出部１０２２、被写体追尾部１０４４から出力される情報を用いて、被写体のホワイトバランス調整や、エッジ強調、美肌処理等のフィルタ処理を行う。

表示画像生成部１０４７は、現像処理部１０４６により処理された画像データを取得し、種々の情報が重畳された表示用画像を生成する。種々の情報には、例えば被写体検出部１０２２、被写体追尾部１０４４から出力される情報に基づいて生成される被写体表示枠がある。被写体検出部１０２２が検出した被写体の画像領域を囲むように矩形枠が表示される。表示制御部１０４８は、表示画像生成部１０４７により生成された表示用画像のデータを、ＤＡ変換部１０６に出力する。ＤＡ変換部１０６はデジタル信号からアナログ信号へ変換して表示部１０７に出力し、表示部１０７は画像表示を行う。

記録媒体制御部１０４９は、現像処理部１０４６により生成された画像データを取得し、記録媒体Ｉ／Ｆ部１０８に出力することで記録制御を行う。記録媒体Ｉ／Ｆ部１０８は画像データを記録媒体１０９に記録する。記録媒体１０９は、不揮発性のメモリカードやハードディスク等である。

次に、図２を参照して、本実施形態の積層型イメージセンサ１００と第２の画像処理部１０４等の各集積回路チップの接続構造について説明する。図２のメイン基板２００には、積層型イメージセンサ１００、第１メモリ部１０３、第２の画像処理部１０４、第２メモリ部１０５、ＤＡ変換部１０６、表示部１０７、記録媒体Ｉ／Ｆ部１０８、記録媒体１０９が実装される。なお、各部については相互の接続関係のみを説明し、集積回路チップ内部の配線のみで接続されるブロックについては図示を省略する。

メイン基板２００は、該基板上に実装される電子部品や集積回路チップを接続するための配線パターンが形成されている。メイン基板２００には配線パターンのための複数の導電層と絶縁層が設けられている。インタポーザ２０１、２０２は、各集積回路チップの入出力（ＩＯ）端子とメイン基板２００とを接続するための配線パターンが形成され、配線パターンのための複数の導電層と絶縁層が設けられている。複数のボール２０３、２０４は、各集積回路チップのインタポーザ２０１、２０２とメイン基板２００とをそれぞれ電気的に接続するための球状の導電性部材である。

第１の画像処理部１０２はインタポーザ２０１の上に積層される。複数のマイクロバンプ２０５は、積層方向に隣接する第１の画像処理部１０２とインタポーザ２０１とを電気的に接続する。第２の画像処理部１０４はインタポーザ２０２の上に積層される。複数のマイクロバンプ２０６は、積層方向に隣接する第２の画像処理部１０４とインタポーザ２０２とを電気的に接続する。

撮像部１０１は第１の画像処理部１０２の上に積層される。複数のマイクロバンプ２０７は、積層方向に隣接する撮像部１０１と第１の画像処理部１０２とを電気的に接続する。第１メモリ部１０３はインタポーザ２０１の下に積層される。複数のマイクロバンプ２０８は、積層方向に隣接する第１メモリ部１０３とインタポーザ２０１とを電気的に接続する。第２メモリ部１０５は第２の画像処理部１０４の上に積層される。複数のマイクロバンプ２０９は、積層方向に隣接する第２メモリ部１０５と第２の画像処理部１０４とを電気的に接続する。

撮像部１０１の内部には複数の貫通電極２１０が形成されている。貫通電極２１０は、第１の画像処理部１０２の上面部とＡＤ変換部１０１２とを電気的に接続する。第１の画像処理部１０２の内部には複数の貫通電極２１１ａ〜２１１ｃが形成されている。貫通電極２１１ａは、第１の画像処理部１０２の上面部と第１メモリ制御部１０２１とを電気的に接続する。貫通電極２１１ｂは、第１の画像処理部１０２の下面部と第１メモリ制御部１０２１とを電気的に接続する。貫通電極２１１ｃは、第１の画像処理部１０２の下面部と第１チップ間通信Ｉ／Ｆ部１０２３とを電気的に接続する。

第２の画像処理部１０４の内部には複数の貫通電極２１２ａ〜２１２ｄが形成されている。貫通電極２１２ａ〜２１２ｃはそれぞれ、第２の画像処理部１０４の下面部と、第２チップ間通信Ｉ／Ｆ部１０４１、表示制御部１０４８、および記録媒体制御部１０４９とを電気的に接続する。貫通電極２１２ｄは、第２の画像処理部１０４の上面部と第２メモリ制御部１０４２とを電気的に接続する。

撮像部１０１と第１メモリ制御部１０２１とは、マイクロバンプ２０７、貫通電極２１１ａを介して電気的に接続される。第１メモリ制御部１０２１と第１メモリ部１０３は、貫通電極２１１ｂ、マイクロバンプ２０５、インタポーザ２０１、マイクロバンプ２０８を介して電気的に接続される。

第１チップ間通信Ｉ／Ｆ部１０２３と第２チップ間通信Ｉ／Ｆ部１０４１との接続については、以下の通りである。
第１チップ間通信Ｉ／Ｆ部１０２３は、貫通電極２１１ｃ、マイクロバンプ２０５、インタポーザ２０１、ボール２０３を介してメイン基板２００と電気的に接続される。さらにメイン基板２００は、ボール２０４、インタポーザ２０２、マイクロバンプ２０６、貫通電極２１２ａを介して第２チップ間通信Ｉ／Ｆ部１０４１と電気的に接続される。

第２の画像処理部１０４内の表示制御部１０４８とメイン基板２００上のＤＡ変換部１０６との接続については、以下の通りである。
表示制御部１０４８は、貫通電極２１２ｂ、マイクロバンプ２０６、インタポーザ２０２、ボール２０４を介してメイン基板２００と電気的に接続され、メイン基板２００を介してＤＡ変換部１０６と電気的に接続される。

記録媒体制御部１０４９とメイン基板２００上の記録媒体Ｉ／Ｆ部１０８とは、貫通電極２１２ｃ、マイクロバンプ２０６、インタポーザ２０２、ボール２０４、メイン基板２００を介して電気的に接続される。

本実施形態では、貫通電極２１０、２１１a〜２１１ｃおよび２１２a〜２１２ｄによる電気的な接続例を示したが、これに限定されない。貫通電極によるものではなく、撮像部１０１、第１の画像処理部１０２、第２の画像処理部１０４内に形成された再配線層により電気的な接続が行われてもよい。

図１で説明したように、被写体検出部１０２２は第１の画像処理部１０２内にある。また図２で説明したように、第１の画像処理部１０２は撮像部１０１と隣接して積層されている。従って、第１の画像処理部１０２と第２の画像処理部１０４との通信帯域に関わらず、撮像部１０１から送信される画像データに対し被写体検出を高速に行える。被写体検出部１０２２での被写体検出処理については、記録フレームレートよりも高いフレームレートで行われるため、より高い精度で被写体検出を実現できる。また、被写体検出部１０２２から第２の画像処理部１０４に対して送信される情報はオブジェクト情報のみであるため、記録フレームレート以上に通信帯域を圧迫することなく通信が可能である。
本実施形態によれば、積層型イメージセンサ１００内で画像データ処理を行うことで、より高速で精度の高い被写体検出が可能となる。

［変形例］
本実施形態では、センサ補正部１０４３が第２の画像処理部１０４内に実装される構成例を説明した。センサ補正部１０４３を第１の画像処理部１０２内に実装する形態でもよい。この場合、センサ補正部１０４３による補正処理後に被写体検出処理が行われる。また、センサ補正部１０４３が行う処理の中で、被写体検出の精度に関わる処理部を第１の画像処理部１０２内に実装してもよい。被写体検出の精度に関わる処理部とは、例えば撮像素子の欠陥画素のデータ保管処理のみを行う処理部である。データ保管処理後に被写体検出処理が実行される。

また、簡易的な現像処理を行う処理部を、第１の画像処理部１０２内に実装してもよい。簡易的な現像処理とは、現像処理部１０４６が行う現像処理よりも相対的に低い精度で行う現像処理を指す。つまり画質は低いが高速な現像処理を行える処理部は、データ処理量が少ない処理部として構成できる。簡易的な現像処理後に被写体検出処理が実行される。具体的には、現像後の画像サイズを２００万画素以下に制限し、または現像処理の中で比較的処理時間がかかる信号処理を、限定的な処理に留めたり、或いは省いたりすることで現像処理の高速化や簡易化を実現できる。

また、第１の画像処理部１０２と第２の画像処理部１０４との通信帯域を抑えるために第１メモリ部１０３から読み出すフレームレートを撮像フレームレートより低減するようにしたい場合に第２メモリ部１０５から読み出すフレームレートを低減してもよい。このことによって、表示部１０７、または、記録媒体１０９との通信帯域を抑えることが可能となる。
何れの変形例でも、従来に比べて被写体検出速度を改善しつつ、被写体検出精度をさらに向上させることができる。なお、これらの変形例については後述する実施形態にも適用可能である。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
第１実施形態では、第１メモリ部１０３に格納された画像データを被写体検出部１０２２へ出力する際に、第１メモリ部１０３に格納されている全画像データが読み出される。読み出された全画像データに対し、被写体検出部１０２２は記録フレームレートよりも高い撮像フレームレートで被写体検出を行う。しかしながら、記録フレームレートよりも高い撮像フレームレートで常に被写体検出を行う必要はない。例えば動き量の小さい被写体等を検出する場合には、動き量の大きい被写体等の場合に比べてフレームレートを相対的に低く設定することが可能である。本実施形態では、被写体に応じて被写体検出を行う際のフレームレートを変更可能な構成を説明する。

図３を参照して、本実施形態の積層型イメージセンサを含む撮像装置の構成例について説明する。本実施形態において、図１の第１実施形態の場合と同じ構成部には、同一の符号を使用することによって、それらの詳細な説明を省略し、主に相違点を説明する。

本実施形態に係る第１の画像処理部３０２は、第１メモリ制御部３０２１、被写体検出部３０２２、第１チップ間通信Ｉ／Ｆ部１０２３、処理画像制御部３０２５を備える。被写体検出部３０２２は第１メモリ制御部３０２１から撮像部１０１による画像データを取得し、撮像画像内の目的とする被写体画像を検出して被写体のオブジェクト情報を生成する。オブジェクト情報は被写体の移動ベクトルおよび被写体の移動予測位置を含む。被写体検出部３０２２は生成したオブジェクト情報を、処理画像制御部３０２５と、第１チップ間通信Ｉ／Ｆ部１０２３に出力する。第１チップ間通信Ｉ／Ｆ部１０２３は処理結果であるオブジェクト情報を第２の画像処理部１０４に送信する。

処理画像制御部３０２５は、被写体検出部３０２２からオブジェクト情報を取得し、オブジェクト情報に基づいてフレームレートを算出する。すなわち処理画像制御部３０２５は、被写体検出およびオブジェクト情報を使用する各処理において、必要な精度を維持可能な最低限のフレームレートを算出する。被写体追尾処理を例にすると、フレームレートの設定値に応じて、フレーム間での被写体画像の移動量（移動ベクトルの大きさ）が変化する。処理画像制御部３０２５は追尾処理が失敗しない範囲となる最低限のフレームレートを算出する。

処理画像制御部３０２５は算出したフレームレートの情報を、第１メモリ制御部３０２１に送信する。第１メモリ制御部３０２１は、入力されたフレームレートの情報に基づき、被写体検出部３０２２に画像データを送信する際の、第１メモリ部１０３からの画像データ読み出し頻度を制御する。すなわち、被写体検出部３０２２により検出処理を行う際の、画像データのフレームレートが制御される。

本実施形態によれば、被写体に応じて、被写体検出部３０２２が処理する画像データのフレームレートを変更する処理が行われる。よって、動き量の小さい被写体等では、被写体検出部３０２２の処理量を減らし、消費電力を削減することができる。

［変形例］
本実施形態では、被写体に応じて被写体検出部３０２２が画像データを処理する際のフレームレートを変更する例について説明した。変形例では、処理画像制御部３０２５が被写体検出部３０２２からの被写体の検出情報に応じて、次回の被写体検出を行う際の画像領域を変更する制御を行う。この場合、オブジェクト情報は、被写体の次回フレームでの移動予測位置を含む。第１メモリ制御部３０２１は、移動予測位置の周囲の画像領域のみから画像データの読み出し処理を行う。

また変形例として、処理画像制御部３０２５は被写体検出部３０２２からの被写体の検出情報に応じて、次回の被写体検出を行う際の画像の画素数を変更する。この場合、被写体検出部３０２２が生成するオブジェクト情報は、被写体の大きさの情報を含む。第１メモリ制御部３０２１は被写体の大きさに応じて、画素を間引いて画像データの読み出し処理を行う。

いずれの変形例でも、被写体検出部３０２２の処理量を減らし、消費電力の削減が可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 積層型イメージセンサ
１０１ 撮像部
１０２，３０２ 第１の画像処理部
１０４ 第２の画像処理部
１０２２，３０２２ 被写体検出部
３０２５ 処理画像制御部

Claims (14)

1. 撮像用の画素が形成された撮像部と、該撮像部により取得された画像データを処理する第１の画像処理部とを有する撮像素子と、
   前記第１の画像処理部と電気的に接続された第２の画像処理部と、
   を備え、
   前記第１の画像処理部は、前記第２の画像処理部におけるフレームレートよりも高いフレームレートで取得された画像データを用いて被写体検出を行う被写体検出部を備え、該被写体検出部が検出した検出情報を前記第２の画像処理部に送信する
   ことを特徴とする撮像装置。
2. 前記撮像素子は、前記撮像部を構成する第１の集積回路チップが前記第１の画像処理部を構成する第２の集積回路チップに積層された積層型イメージセンサである
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体検出部は、前記撮像部から画像処理が行われる前の画像データを取得して被写体検出を行う
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記第１または第２の画像処理部は、前記撮像部に対する補正処理を行うセンサ補正部を備える
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記第１の画像処理部は、前記撮像部に対する補正処理を行うセンサ補正部を備え、
   前記被写体検出部は、前記センサ補正部が補正処理を行った画像データを用いて被写体検出を行う
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
6. 前記センサ補正部は、前記撮像素子の欠陥画素のデータ保管処理を行う
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記第１の画像処理部は、前記第２の画像処理部が行う現像処理よりも相対的に低い精度の現像処理を行う現像処理部を備え、
   前記被写体検出部は、前記現像処理部が処理した画像データを用いて被写体検出を行う
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
8. 前記第１の画像処理部は、前記被写体検出部が検出した検出情報を取得して、次回の被写体検出を行う際のフレームレートを変更する制御手段を備える
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記被写体検出部は、被写体の動き量を示す検出情報を前記制御手段に出力し、
   前記制御手段は、前記被写体の動き量が小さい場合に前記被写体の動き量が大きい場合に比べて前記フレームレートを相対的に低く設定する
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記第１の画像処理部は、前記被写体検出部が検出した検出情報を取得して、次回の被写体検出を行う際の画像領域を変更する制御手段を備える
    ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
11. 前記被写体検出部は、被写体の移動予測位置の情報を前記制御手段に出力し、
    前記制御手段は、前記画像領域を前記移動予測位置の周囲の画像領域に変更して画像データを前記被写体検出部に出力する制御を行う
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記第１の画像処理部は、前記被写体検出部から被写体の大きさの検出情報を取得して、次回の被写体検出を行う際の画像の画素数を変更する制御手段を備える
    ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
13. 撮像用の画素が形成された撮像部と、該撮像部により取得された画像データを処理する第１の画像処理部とを有する撮像素子と、
    前記第１の画像処理部と電気的に接続された第２の画像処理部と、
    を備える撮像装置にて実行される制御方法であって、
    前記第１の画像処理部において、前記第２の画像処理部におけるフレームレートよりも高いフレームレートで取得された画像データを用いて被写体検出を行う検出工程と、
    前記検出工程で検出された検出情報を、前記第１の画像処理部から前記第２の画像処理部に送信する送信工程を有する
    ことを特徴とする撮像装置の制御方法。
14. 撮像用の画素が形成された撮像部を構成する第１の集積回路チップが、該撮像部により取得された画像データを処理する画像処理部を構成する第２の集積回路チップに積層された撮像素子であって、
    前記画像処理部は、
    前記撮像部によって第１のフレームレートで取得される前記画像データを保持するメモリ部と、
    前記メモリ部に保持された画像データを処理するデータ処理部と、
    前記画像処理部と電気的に接続された外部装置に第２のフレームレートで前記画像データまたは前記データ処理部の処理結果を出力する出力部とを含み、
    前記第２のフレームレートは前記第１のフレームレートよりも低いフレームレートである
    ことを特徴とする撮像素子。
    
    

Images