JP2017183952A - 撮像装置およびその制御方法、撮像素子 - Google Patents
撮像装置およびその制御方法、撮像素子 Download PDFInfo
- Publication number
- JP2017183952A JP2017183952A JP2016067022A JP2016067022A JP2017183952A JP 2017183952 A JP2017183952 A JP 2017183952A JP 2016067022 A JP2016067022 A JP 2016067022A JP 2016067022 A JP2016067022 A JP 2016067022A JP 2017183952 A JP2017183952 A JP 2017183952A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging
- image processing
- image
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】高速かつ精度の高い被写体検出が可能な撮像素子および撮像装置を提供すること。
【解決手段】撮像装置の撮像素子は、撮像用の画素が形成された撮像部101と、撮像画像データを処理する第1の画像処理部102とを有する。撮像素子は、撮像部101を構成する第1の集積回路チップが第1の画像処理部102を構成する第2の集積回路チップ上に積層された積層型イメージセンサ100である。第2の画像処理部104は第1の画像処理部102と電気的に接続され、画像処理や記録処理を行う。第1の画像処理部102が備える被写体検出部1022は、第2の画像処理部104における記録フレームレートよりも高い撮像フレームレートで取得された画像データを用いて被写体検出を行う。被写体検出部1022は、第2の画像処理部104に対して被写体の検出情報を送信する。
【選択図】 図1
【解決手段】撮像装置の撮像素子は、撮像用の画素が形成された撮像部101と、撮像画像データを処理する第1の画像処理部102とを有する。撮像素子は、撮像部101を構成する第1の集積回路チップが第1の画像処理部102を構成する第2の集積回路チップ上に積層された積層型イメージセンサ100である。第2の画像処理部104は第1の画像処理部102と電気的に接続され、画像処理や記録処理を行う。第1の画像処理部102が備える被写体検出部1022は、第2の画像処理部104における記録フレームレートよりも高い撮像フレームレートで取得された画像データを用いて被写体検出を行う。被写体検出部1022は、第2の画像処理部104に対して被写体の検出情報を送信する。
【選択図】 図1
Description
本発明は、積層型撮像素子と該素子を有する撮像装置およびその制御方法に関する。
近年、デジタルカメラ等の撮像装置に搭載される撮像素子として、積層型イメージセンサが登場している。積層型イメージセンサは、画像信号に対して画像処理を行う半導体集積回路チップ(処理チップ)上に、撮像用画素等が形成された半導体集積回路チップ(撮像チップ)を積層した構成をもつ。光電変換部は撮像面に入射される光を電気信号に変換し、さらにAD変換部が変換したデジタル信号はメイン基板に送信され、画像データが処理される。メイン基板では画像データに関する認証処理や画像処理等が行われる。
積層型イメージセンサとメイン基板との間の通信帯域がボトルネックとなり、撮像性能の妨げとなる可能性があった。特許文献1には、積層型イメージセンサ内の処理チップで、画像データに対する圧縮処理を行い、圧縮されたデータをメイン基板に送信する方法が開示されている。画像データの伝送量を低減することにより、より大容量のデータを高速に伝送することが可能であり、撮像性能の向上に寄与する。
従来の技術による装置では、画像データに対して積層型イメージセンサが圧縮処理を行い、メイン基板側で伸長処理が行われた後に被写体検出処理が実行される。圧縮および伸長処理に費やされる時間は、被写体検出が完了するまでの時間に転嫁されてタイムラグとなる。
例えば被写体検出結果を使用する追尾処理では、被写体検出にかかる時間が長いと、高速に移動する被写体の追尾に失敗する可能性がある。なお被写体検出結果を使用する処理には、被写体画像に対するフィルタ処理等がある。この場合、被写体の追尾に失敗すると、ある期間にて被写体画像に対するフィルタ処理が行われないので、再度被写体を追尾できたとしても被写体画像を正確に得ることができず、ユーザに違和感を与える可能性がある。本発明の目的は、高速かつ精度の高い被写体検出が可能な撮像素子および撮像装置を提供することである。
本発明の一実施形態に係る撮像装置は、撮像用の画素が形成された撮像部と、該撮像部により取得された画像データを処理する第1の画像処理部とを有する撮像素子と、前記第1の画像処理部と電気的に接続された第2の画像処理部と、を備える。前記第1の画像処理部は、前記第2の画像処理部におけるフレームレートよりも高いフレームレートで取得された画像データを用いて被写体検出を行う被写体検出部を備え、該被写体検出部が検出した検出情報を前記第2の画像処理部に送信する。
本発明によれば、高速かつ精度の高い被写体検出が可能な撮像素子および撮像装置を提供することができる。
以下、本発明を、デジタルカメラ等の撮像装置に実装される撮像素子に適用した実施形態について説明する。本発明は、撮像素子が実装された携帯電話の一種であるスマートフォンやタブレット、その他の電子機器にも適用可能である。
[第1実施形態]
図1を参照して、本発明の第1実施形態に係る撮像装置の構成について説明する。図1に例示する撮像装置は、積層型撮像素子と、画像データを処理する画像処理部を備える。
図1を参照して、本発明の第1実施形態に係る撮像装置の構成について説明する。図1に例示する撮像装置は、積層型撮像素子と、画像データを処理する画像処理部を備える。
積層型イメージセンサ100は、撮像部101と第1の画像処理部102を備える。撮像部101は、撮像用画素等の半導体回路が形成された第1の集積回路チップとして構成されている。第1の画像処理部102は、撮像部101により取得される画像データに対して画像処理を行う、半導体回路が形成された第2の集積回路チップとして構成されている。
第2の画像処理部104は、撮像部101により取得される画像データに対して画像処理を行う、半導体回路が形成された第3の集積回路チップとして構成されている。第2の画像処理部104は、被写体追尾処理、現像処理、表示制御、記録制御等の各種処理および制御を行う。
第1メモリ部103は、第1の画像処理部102を構成する第2の集積回路チップと電気的に接続されており、画像信号を記憶する半導体回路が形成された第4の集積回路チップとして構成されている。第2メモリ部105は、第2の画像処理部104を構成する第3の集積回路チップと電気的に接続されており、画像信号を記憶する半導体回路が形成された第5の集積回路チップとして構成されている。
積層型イメージセンサ100において、撮像部101を構成する第1の集積回路チップは、第1の画像処理部102を構成する第2の集積回路チップ上に積層されている。つまり積層型イメージセンサ100は第1の画像処理部102上に撮像部101が積層された構造である。なお、第1の集積回路チップと第2の集積回路チップは異なるプロセスで製造された集積回路チップであってもよい。
撮像部101は、CMOS(相補型金属酸化膜半導体)イメージセンサを構成している画素部1011およびAD変換部1012を備える。画素部1011は二次元の行列状に配列され、撮像面に入射される光を電気信号に光電変換する。画素部1011における任意の列または行の画素信号を読み出し可能である。画素部1011は、光電変換部であるフォトダイオードと、フローティングディフュージョンアンプを有し、各画素信号を列単位で後段のAD変換部1012に出力する。AD変換部1012は、画素部1011が出力する各画素信号を、アナログ信号からデジタル信号に変換する。
撮像部101のAD変換部1012が出力するデジタル信号は、第1の画像処理部102に送信されて、画像データ処理が行われる。本実施形態では説明上、記録フレームレートを30FPS(Frames Per Second)とする。なお、本実施形態における記録フレームレートとは、後述する表示部107に表示するためのフレームレート、または、記録媒体109に記録するためのフレームレートに相当する。撮像部101は第1の画像処理部102に対し、記録フレームレートである30FPSよりも高い120FPS相当の撮像フレームレートで画像データを送信する。撮像部101は、撮像フレームレートとして120FPSまで動作可能であるが、これに限定されるものではない。なお、本実施形態における撮像フレームレートとは、撮像部101から出力される際のフレームレートに相当する。
第1の画像処理部102は、第1メモリ制御部1021、被写体検出部1022、第1チップ間通信インターフェース(I/F)部1023を備える。第1メモリ制御部1021は、撮像部101のAD変換部1012から送信された画像データを取得して、第1メモリ部103に記憶させる制御を行う。第1メモリ部103は、各種データを一時的に記憶する揮発性のメモリ部である。第1メモリ部103に記憶された画像データは、第1メモリ制御部1021、第1チップ間通信I/F部1023を介して、撮像素子外部の第2の画像処理部104に送信されると共に、撮像素子内部の被写体検出部1022に出力される。
第1メモリ制御部1021は、第2の画像処理部104に対して信号を出力する。その際、第1メモリ部103に格納されている全画像データを読み出すのではなく、記録フレームレートである30FPS相当、または30FPSでの画像処理および記録処理に十分な間隔で画像データを読み出して出力する処理が行われる。一方、被写体検出部1022に出力する際に、第1メモリ制御部1021は第1メモリ部103に記憶保持されている全画像データを順次読み出し、撮像フレームレートである120FPS相当で出力する。
被写体検出部1022は、入力された画像データを用いて撮像画像内の被写体画像を検出するデータ処理部である。目的とする特定の被写体画像が検出され、被写体のオブジェクト情報が生成される。目的とする被写体としては、人物の顔等が代表的である。検出方法には公知の検出方法を用いる。例えば、顔に関する知識(肌色情報、シルエット情報、目・鼻・口等のパーツ情報)を用いる方法や、ニューラルネットに代表される学習アルゴリズムによって顔検出のための識別機能を構成する方法がある。被写体のオブジェクト情報は、検出された被写体の数に応じた被写体の位置、大きさ等に関する情報を含む。被写体検出部1022により生成されたオブジェクト情報は、出力部としての第1チップ間通信I/F部1023を介して第2の画像処理部104に送信される。また、被写体検出部1022は、複数のフレームを合成した合成フレームを用いて被写体検出を行ってもよい。被写体検出部1022に入力される画像データのフレームレートは出力されるフレームレートよりも高いため、その差分の画像を合成しても、検出結果の出力が遅れることは無い。また、オブジェクト情報に複数のフレーム間で取得した被写体の動き情報(速度や加速度)や軌跡に関する情報を含めるようにしてもよい。より多くの情報をオブジェクト情報に含めることによって、後述する被写体追尾部1044での処理の精度を向上させることが可能となる。
第2の画像処理部104は第2チップ間通信I/F部1041を備え、第1チップ間通信I/F部1023から処理結果の信号を受信し、画像データとオブジェクト情報を取り込む。第2メモリ制御部1042は、第2チップ間通信I/F部1041により取り込まれた画像データとオブジェクト情報を第2メモリ部105に格納する制御を行う。
センサ補正部1043は、第2メモリ部105に格納された画像データを、第2メモリ制御部1042を介して読み出して補正処理を行う。第2メモリ部105に格納された画像データは撮像フレームレートより低い記録フレームレートで読み出される。センサ補正部1043は、撮像光学系を構成するレンズの収差を補正する処理や、撮像素子の欠陥画素の補間処理を行う。処理後の画像データは第2メモリ制御部1042を介して第2メモリ部105に記憶される。
被写体追尾部1044は、複数のフレームの画像データに対応するオブジェクト情報に基づいて、複数のフレームの画像データからそれぞれ検出された被写体を対応付ける。例えば、被写体検出部1022が着目フレームよりも1フレーム前の画像データから検出した被写体に対して、被写体ID=Aを割り当てたとする。被写体IDは被写体の識別情報であり、被写体ごとに異なる。そして、被写体検出部1022が着目フレームにおいても、被写体ID=Aに対応する被写体を検出した場合には、被写体追尾部1044は、着目フレームにて検出された被写体に関しても、被写体ID=Aを割り当てる。なお、着目フレームで新規に検出された被写体に対しては、新規の被写体IDが割り当てられる。
被写体追尾部1044は、異なるフレーム間で同一の被写体であるか否かの対応付けを、被写体のオブジェクト情報に含まれる被写体の位置、大きさの類似性に基づいて行う。被写体の同一性の判定方法については、特定の方法に限定されない。例えば、着目フレームよりも1フレーム前の画像データから検出される被写体の移動ベクトルを使用する方法がある。この方法では、検出された被写体の移動ベクトルを用いて特定された被写体の移動予測位置が算出される。移動ベクトルの検出および被写体の移動予測位置の算出は被写体検出部1022で行われ、出力されるオブジェクト情報には、これら情報が含まれる。被写体追尾部1044は、着目フレームの画像データで検出された被写体の位置が、被写体の移動予測位置から一定距離以内であれば、同一の被写体であると対応付ける。被写体の対応付け方法は、特定の方法に限るものではなく、同様の処理を行う種々の方法を採用可能である。
撮影制御部1045は、撮像装置が備えるレンズ部または装置本体部に装着されたレンズ装置の焦点調節機構や露出制御機構を制御する。撮影制御は、第2メモリ制御部1042に格納された、センサ補正部1043による補正処理後の画像データおよびオブジェクト情報に基づいて行われる。現像処理部1046は、ガンマ補正、ホワイトバランス調整等の画像処理を行う。現像処理部1046は通常の画像処理に加え、被写体検出部1022、被写体追尾部1044から出力される情報を用いて、被写体のホワイトバランス調整や、エッジ強調、美肌処理等のフィルタ処理を行う。
表示画像生成部1047は、現像処理部1046により処理された画像データを取得し、種々の情報が重畳された表示用画像を生成する。種々の情報には、例えば被写体検出部1022、被写体追尾部1044から出力される情報に基づいて生成される被写体表示枠がある。被写体検出部1022が検出した被写体の画像領域を囲むように矩形枠が表示される。表示制御部1048は、表示画像生成部1047により生成された表示用画像のデータを、DA変換部106に出力する。DA変換部106はデジタル信号からアナログ信号へ変換して表示部107に出力し、表示部107は画像表示を行う。
記録媒体制御部1049は、現像処理部1046により生成された画像データを取得し、記録媒体I/F部108に出力することで記録制御を行う。記録媒体I/F部108は画像データを記録媒体109に記録する。記録媒体109は、不揮発性のメモリカードやハードディスク等である。
次に、図2を参照して、本実施形態の積層型イメージセンサ100と第2の画像処理部104等の各集積回路チップの接続構造について説明する。図2のメイン基板200には、積層型イメージセンサ100、第1メモリ部103、第2の画像処理部104、第2メモリ部105、DA変換部106、表示部107、記録媒体I/F部108、記録媒体109が実装される。なお、各部については相互の接続関係のみを説明し、集積回路チップ内部の配線のみで接続されるブロックについては図示を省略する。
メイン基板200は、該基板上に実装される電子部品や集積回路チップを接続するための配線パターンが形成されている。メイン基板200には配線パターンのための複数の導電層と絶縁層が設けられている。インタポーザ201、202は、各集積回路チップの入出力(IO)端子とメイン基板200とを接続するための配線パターンが形成され、配線パターンのための複数の導電層と絶縁層が設けられている。複数のボール203、204は、各集積回路チップのインタポーザ201、202とメイン基板200とをそれぞれ電気的に接続するための球状の導電性部材である。
第1の画像処理部102はインタポーザ201の上に積層される。複数のマイクロバンプ205は、積層方向に隣接する第1の画像処理部102とインタポーザ201とを電気的に接続する。第2の画像処理部104はインタポーザ202の上に積層される。複数のマイクロバンプ206は、積層方向に隣接する第2の画像処理部104とインタポーザ202とを電気的に接続する。
撮像部101は第1の画像処理部102の上に積層される。複数のマイクロバンプ207は、積層方向に隣接する撮像部101と第1の画像処理部102とを電気的に接続する。第1メモリ部103はインタポーザ201の下に積層される。複数のマイクロバンプ208は、積層方向に隣接する第1メモリ部103とインタポーザ201とを電気的に接続する。第2メモリ部105は第2の画像処理部104の上に積層される。複数のマイクロバンプ209は、積層方向に隣接する第2メモリ部105と第2の画像処理部104とを電気的に接続する。
撮像部101の内部には複数の貫通電極210が形成されている。貫通電極210は、第1の画像処理部102の上面部とAD変換部1012とを電気的に接続する。第1の画像処理部102の内部には複数の貫通電極211a〜211cが形成されている。貫通電極211aは、第1の画像処理部102の上面部と第1メモリ制御部1021とを電気的に接続する。貫通電極211bは、第1の画像処理部102の下面部と第1メモリ制御部1021とを電気的に接続する。貫通電極211cは、第1の画像処理部102の下面部と第1チップ間通信I/F部1023とを電気的に接続する。
第2の画像処理部104の内部には複数の貫通電極212a〜212dが形成されている。貫通電極212a〜212cはそれぞれ、第2の画像処理部104の下面部と、第2チップ間通信I/F部1041、表示制御部1048、および記録媒体制御部1049とを電気的に接続する。貫通電極212dは、第2の画像処理部104の上面部と第2メモリ制御部1042とを電気的に接続する。
撮像部101と第1メモリ制御部1021とは、マイクロバンプ207、貫通電極211aを介して電気的に接続される。第1メモリ制御部1021と第1メモリ部103は、貫通電極211b、マイクロバンプ205、インタポーザ201、マイクロバンプ208を介して電気的に接続される。
第1チップ間通信I/F部1023と第2チップ間通信I/F部1041との接続については、以下の通りである。
第1チップ間通信I/F部1023は、貫通電極211c、マイクロバンプ205、インタポーザ201、ボール203を介してメイン基板200と電気的に接続される。さらにメイン基板200は、ボール204、インタポーザ202、マイクロバンプ206、貫通電極212aを介して第2チップ間通信I/F部1041と電気的に接続される。
第1チップ間通信I/F部1023は、貫通電極211c、マイクロバンプ205、インタポーザ201、ボール203を介してメイン基板200と電気的に接続される。さらにメイン基板200は、ボール204、インタポーザ202、マイクロバンプ206、貫通電極212aを介して第2チップ間通信I/F部1041と電気的に接続される。
第2の画像処理部104内の表示制御部1048とメイン基板200上のDA変換部106との接続については、以下の通りである。
表示制御部1048は、貫通電極212b、マイクロバンプ206、インタポーザ202、ボール204を介してメイン基板200と電気的に接続され、メイン基板200を介してDA変換部106と電気的に接続される。
表示制御部1048は、貫通電極212b、マイクロバンプ206、インタポーザ202、ボール204を介してメイン基板200と電気的に接続され、メイン基板200を介してDA変換部106と電気的に接続される。
記録媒体制御部1049とメイン基板200上の記録媒体I/F部108とは、貫通電極212c、マイクロバンプ206、インタポーザ202、ボール204、メイン基板200を介して電気的に接続される。
本実施形態では、貫通電極210、211a〜211cおよび212a〜212dによる電気的な接続例を示したが、これに限定されない。貫通電極によるものではなく、撮像部101、第1の画像処理部102、第2の画像処理部104内に形成された再配線層により電気的な接続が行われてもよい。
図1で説明したように、被写体検出部1022は第1の画像処理部102内にある。また図2で説明したように、第1の画像処理部102は撮像部101と隣接して積層されている。従って、第1の画像処理部102と第2の画像処理部104との通信帯域に関わらず、撮像部101から送信される画像データに対し被写体検出を高速に行える。被写体検出部1022での被写体検出処理については、記録フレームレートよりも高いフレームレートで行われるため、より高い精度で被写体検出を実現できる。また、被写体検出部1022から第2の画像処理部104に対して送信される情報はオブジェクト情報のみであるため、記録フレームレート以上に通信帯域を圧迫することなく通信が可能である。
本実施形態によれば、積層型イメージセンサ100内で画像データ処理を行うことで、より高速で精度の高い被写体検出が可能となる。
本実施形態によれば、積層型イメージセンサ100内で画像データ処理を行うことで、より高速で精度の高い被写体検出が可能となる。
[変形例]
本実施形態では、センサ補正部1043が第2の画像処理部104内に実装される構成例を説明した。センサ補正部1043を第1の画像処理部102内に実装する形態でもよい。この場合、センサ補正部1043による補正処理後に被写体検出処理が行われる。また、センサ補正部1043が行う処理の中で、被写体検出の精度に関わる処理部を第1の画像処理部102内に実装してもよい。被写体検出の精度に関わる処理部とは、例えば撮像素子の欠陥画素のデータ保管処理のみを行う処理部である。データ保管処理後に被写体検出処理が実行される。
本実施形態では、センサ補正部1043が第2の画像処理部104内に実装される構成例を説明した。センサ補正部1043を第1の画像処理部102内に実装する形態でもよい。この場合、センサ補正部1043による補正処理後に被写体検出処理が行われる。また、センサ補正部1043が行う処理の中で、被写体検出の精度に関わる処理部を第1の画像処理部102内に実装してもよい。被写体検出の精度に関わる処理部とは、例えば撮像素子の欠陥画素のデータ保管処理のみを行う処理部である。データ保管処理後に被写体検出処理が実行される。
また、簡易的な現像処理を行う処理部を、第1の画像処理部102内に実装してもよい。簡易的な現像処理とは、現像処理部1046が行う現像処理よりも相対的に低い精度で行う現像処理を指す。つまり画質は低いが高速な現像処理を行える処理部は、データ処理量が少ない処理部として構成できる。簡易的な現像処理後に被写体検出処理が実行される。具体的には、現像後の画像サイズを200万画素以下に制限し、または現像処理の中で比較的処理時間がかかる信号処理を、限定的な処理に留めたり、或いは省いたりすることで現像処理の高速化や簡易化を実現できる。
また、第1の画像処理部102と第2の画像処理部104との通信帯域を抑えるために第1メモリ部103から読み出すフレームレートを撮像フレームレートより低減するようにしたい場合に第2メモリ部105から読み出すフレームレートを低減してもよい。このことによって、表示部107、または、記録媒体109との通信帯域を抑えることが可能となる。
何れの変形例でも、従来に比べて被写体検出速度を改善しつつ、被写体検出精度をさらに向上させることができる。なお、これらの変形例については後述する実施形態にも適用可能である。
何れの変形例でも、従来に比べて被写体検出速度を改善しつつ、被写体検出精度をさらに向上させることができる。なお、これらの変形例については後述する実施形態にも適用可能である。
[第2実施形態]
次に、本発明の第2実施形態について説明する。
第1実施形態では、第1メモリ部103に格納された画像データを被写体検出部1022へ出力する際に、第1メモリ部103に格納されている全画像データが読み出される。読み出された全画像データに対し、被写体検出部1022は記録フレームレートよりも高い撮像フレームレートで被写体検出を行う。しかしながら、記録フレームレートよりも高い撮像フレームレートで常に被写体検出を行う必要はない。例えば動き量の小さい被写体等を検出する場合には、動き量の大きい被写体等の場合に比べてフレームレートを相対的に低く設定することが可能である。本実施形態では、被写体に応じて被写体検出を行う際のフレームレートを変更可能な構成を説明する。
次に、本発明の第2実施形態について説明する。
第1実施形態では、第1メモリ部103に格納された画像データを被写体検出部1022へ出力する際に、第1メモリ部103に格納されている全画像データが読み出される。読み出された全画像データに対し、被写体検出部1022は記録フレームレートよりも高い撮像フレームレートで被写体検出を行う。しかしながら、記録フレームレートよりも高い撮像フレームレートで常に被写体検出を行う必要はない。例えば動き量の小さい被写体等を検出する場合には、動き量の大きい被写体等の場合に比べてフレームレートを相対的に低く設定することが可能である。本実施形態では、被写体に応じて被写体検出を行う際のフレームレートを変更可能な構成を説明する。
図3を参照して、本実施形態の積層型イメージセンサを含む撮像装置の構成例について説明する。本実施形態において、図1の第1実施形態の場合と同じ構成部には、同一の符号を使用することによって、それらの詳細な説明を省略し、主に相違点を説明する。
本実施形態に係る第1の画像処理部302は、第1メモリ制御部3021、被写体検出部3022、第1チップ間通信I/F部1023、処理画像制御部3025を備える。被写体検出部3022は第1メモリ制御部3021から撮像部101による画像データを取得し、撮像画像内の目的とする被写体画像を検出して被写体のオブジェクト情報を生成する。オブジェクト情報は被写体の移動ベクトルおよび被写体の移動予測位置を含む。被写体検出部3022は生成したオブジェクト情報を、処理画像制御部3025と、第1チップ間通信I/F部1023に出力する。第1チップ間通信I/F部1023は処理結果であるオブジェクト情報を第2の画像処理部104に送信する。
処理画像制御部3025は、被写体検出部3022からオブジェクト情報を取得し、オブジェクト情報に基づいてフレームレートを算出する。すなわち処理画像制御部3025は、被写体検出およびオブジェクト情報を使用する各処理において、必要な精度を維持可能な最低限のフレームレートを算出する。被写体追尾処理を例にすると、フレームレートの設定値に応じて、フレーム間での被写体画像の移動量(移動ベクトルの大きさ)が変化する。処理画像制御部3025は追尾処理が失敗しない範囲となる最低限のフレームレートを算出する。
処理画像制御部3025は算出したフレームレートの情報を、第1メモリ制御部3021に送信する。第1メモリ制御部3021は、入力されたフレームレートの情報に基づき、被写体検出部3022に画像データを送信する際の、第1メモリ部103からの画像データ読み出し頻度を制御する。すなわち、被写体検出部3022により検出処理を行う際の、画像データのフレームレートが制御される。
本実施形態によれば、被写体に応じて、被写体検出部3022が処理する画像データのフレームレートを変更する処理が行われる。よって、動き量の小さい被写体等では、被写体検出部3022の処理量を減らし、消費電力を削減することができる。
[変形例]
本実施形態では、被写体に応じて被写体検出部3022が画像データを処理する際のフレームレートを変更する例について説明した。変形例では、処理画像制御部3025が被写体検出部3022からの被写体の検出情報に応じて、次回の被写体検出を行う際の画像領域を変更する制御を行う。この場合、オブジェクト情報は、被写体の次回フレームでの移動予測位置を含む。第1メモリ制御部3021は、移動予測位置の周囲の画像領域のみから画像データの読み出し処理を行う。
本実施形態では、被写体に応じて被写体検出部3022が画像データを処理する際のフレームレートを変更する例について説明した。変形例では、処理画像制御部3025が被写体検出部3022からの被写体の検出情報に応じて、次回の被写体検出を行う際の画像領域を変更する制御を行う。この場合、オブジェクト情報は、被写体の次回フレームでの移動予測位置を含む。第1メモリ制御部3021は、移動予測位置の周囲の画像領域のみから画像データの読み出し処理を行う。
また変形例として、処理画像制御部3025は被写体検出部3022からの被写体の検出情報に応じて、次回の被写体検出を行う際の画像の画素数を変更する。この場合、被写体検出部3022が生成するオブジェクト情報は、被写体の大きさの情報を含む。第1メモリ制御部3021は被写体の大きさに応じて、画素を間引いて画像データの読み出し処理を行う。
いずれの変形例でも、被写体検出部3022の処理量を減らし、消費電力の削減が可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
100 積層型イメージセンサ
101 撮像部
102,302 第1の画像処理部
104 第2の画像処理部
1022,3022 被写体検出部
3025 処理画像制御部
101 撮像部
102,302 第1の画像処理部
104 第2の画像処理部
1022,3022 被写体検出部
3025 処理画像制御部
Claims (14)
- 撮像用の画素が形成された撮像部と、該撮像部により取得された画像データを処理する第1の画像処理部とを有する撮像素子と、
前記第1の画像処理部と電気的に接続された第2の画像処理部と、
を備え、
前記第1の画像処理部は、前記第2の画像処理部におけるフレームレートよりも高いフレームレートで取得された画像データを用いて被写体検出を行う被写体検出部を備え、該被写体検出部が検出した検出情報を前記第2の画像処理部に送信する
ことを特徴とする撮像装置。 - 前記撮像素子は、前記撮像部を構成する第1の集積回路チップが前記第1の画像処理部を構成する第2の集積回路チップに積層された積層型イメージセンサである
ことを特徴とする請求項1に記載の撮像装置。 - 前記被写体検出部は、前記撮像部から画像処理が行われる前の画像データを取得して被写体検出を行う
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 前記第1または第2の画像処理部は、前記撮像部に対する補正処理を行うセンサ補正部を備える
ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。 - 前記第1の画像処理部は、前記撮像部に対する補正処理を行うセンサ補正部を備え、
前記被写体検出部は、前記センサ補正部が補正処理を行った画像データを用いて被写体検出を行う
ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。 - 前記センサ補正部は、前記撮像素子の欠陥画素のデータ保管処理を行う
ことを特徴とする請求項5に記載の撮像装置。 - 前記第1の画像処理部は、前記第2の画像処理部が行う現像処理よりも相対的に低い精度の現像処理を行う現像処理部を備え、
前記被写体検出部は、前記現像処理部が処理した画像データを用いて被写体検出を行う
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 前記第1の画像処理部は、前記被写体検出部が検出した検出情報を取得して、次回の被写体検出を行う際のフレームレートを変更する制御手段を備える
ことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。 - 前記被写体検出部は、被写体の動き量を示す検出情報を前記制御手段に出力し、
前記制御手段は、前記被写体の動き量が小さい場合に前記被写体の動き量が大きい場合に比べて前記フレームレートを相対的に低く設定する
ことを特徴とする請求項8に記載の撮像装置。 - 前記第1の画像処理部は、前記被写体検出部が検出した検出情報を取得して、次回の被写体検出を行う際の画像領域を変更する制御手段を備える
ことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。 - 前記被写体検出部は、被写体の移動予測位置の情報を前記制御手段に出力し、
前記制御手段は、前記画像領域を前記移動予測位置の周囲の画像領域に変更して画像データを前記被写体検出部に出力する制御を行う
ことを特徴とする請求項10に記載の撮像装置。 - 前記第1の画像処理部は、前記被写体検出部から被写体の大きさの検出情報を取得して、次回の被写体検出を行う際の画像の画素数を変更する制御手段を備える
ことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。 - 撮像用の画素が形成された撮像部と、該撮像部により取得された画像データを処理する第1の画像処理部とを有する撮像素子と、
前記第1の画像処理部と電気的に接続された第2の画像処理部と、
を備える撮像装置にて実行される制御方法であって、
前記第1の画像処理部において、前記第2の画像処理部におけるフレームレートよりも高いフレームレートで取得された画像データを用いて被写体検出を行う検出工程と、
前記検出工程で検出された検出情報を、前記第1の画像処理部から前記第2の画像処理部に送信する送信工程を有する
ことを特徴とする撮像装置の制御方法。 - 撮像用の画素が形成された撮像部を構成する第1の集積回路チップが、該撮像部により取得された画像データを処理する画像処理部を構成する第2の集積回路チップに積層された撮像素子であって、
前記画像処理部は、
前記撮像部によって第1のフレームレートで取得される前記画像データを保持するメモリ部と、
前記メモリ部に保持された画像データを処理するデータ処理部と、
前記画像処理部と電気的に接続された外部装置に第2のフレームレートで前記画像データまたは前記データ処理部の処理結果を出力する出力部とを含み、
前記第2のフレームレートは前記第1のフレームレートよりも低いフレームレートである
ことを特徴とする撮像素子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016067022A JP2017183952A (ja) | 2016-03-30 | 2016-03-30 | 撮像装置およびその制御方法、撮像素子 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016067022A JP2017183952A (ja) | 2016-03-30 | 2016-03-30 | 撮像装置およびその制御方法、撮像素子 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017183952A true JP2017183952A (ja) | 2017-10-05 |
Family
ID=60006410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016067022A Pending JP2017183952A (ja) | 2016-03-30 | 2016-03-30 | 撮像装置およびその制御方法、撮像素子 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017183952A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020250831A1 (ja) * | 2019-06-13 | 2020-12-17 | ソニー株式会社 | 撮像装置、撮像制御方法およびプログラム |
WO2021039113A1 (ja) * | 2019-08-28 | 2021-03-04 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム |
US11122223B2 (en) | 2018-08-31 | 2021-09-14 | Fujifilm Corporation | Imaging element, imaging apparatus, image data processing method, and program |
WO2021186961A1 (ja) * | 2020-03-16 | 2021-09-23 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法 |
JP7492345B2 (ja) | 2020-02-27 | 2024-05-29 | キヤノン株式会社 | 撮像素子及びその制御方法、及び、撮像装置及びその制御方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009175821A (ja) * | 2008-01-22 | 2009-08-06 | Fujifilm Corp | 特定画像の検出方法及び撮影装置 |
JP2011223242A (ja) * | 2010-04-08 | 2011-11-04 | Nikon Corp | 電子カメラ |
JP2013123172A (ja) * | 2011-12-12 | 2013-06-20 | Nikon Corp | 撮像装置およびプログラム |
JP2015041792A (ja) * | 2013-08-20 | 2015-03-02 | 株式会社ニコン | 画像処理装置および撮像装置 |
WO2015141490A1 (ja) * | 2014-03-20 | 2015-09-24 | ソニー株式会社 | 撮像素子、制御方法、並びに、撮像装置 |
JP2015198367A (ja) * | 2014-04-01 | 2015-11-09 | キヤノン株式会社 | 撮像装置及び画像処理システム |
JP2016005103A (ja) * | 2014-06-16 | 2016-01-12 | キヤノン株式会社 | 撮像装置およびその制御方法 |
-
2016
- 2016-03-30 JP JP2016067022A patent/JP2017183952A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009175821A (ja) * | 2008-01-22 | 2009-08-06 | Fujifilm Corp | 特定画像の検出方法及び撮影装置 |
JP2011223242A (ja) * | 2010-04-08 | 2011-11-04 | Nikon Corp | 電子カメラ |
JP2013123172A (ja) * | 2011-12-12 | 2013-06-20 | Nikon Corp | 撮像装置およびプログラム |
JP2015041792A (ja) * | 2013-08-20 | 2015-03-02 | 株式会社ニコン | 画像処理装置および撮像装置 |
WO2015141490A1 (ja) * | 2014-03-20 | 2015-09-24 | ソニー株式会社 | 撮像素子、制御方法、並びに、撮像装置 |
JP2015198367A (ja) * | 2014-04-01 | 2015-11-09 | キヤノン株式会社 | 撮像装置及び画像処理システム |
JP2016005103A (ja) * | 2014-06-16 | 2016-01-12 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11122223B2 (en) | 2018-08-31 | 2021-09-14 | Fujifilm Corporation | Imaging element, imaging apparatus, image data processing method, and program |
US11405566B2 (en) | 2018-08-31 | 2022-08-02 | Fujifilm Corporation | Imaging element, imaging apparatus, image data processing method, and program |
EP3975543A4 (en) * | 2019-06-13 | 2022-07-13 | Sony Group Corporation | IMAGE CAPTURE DEVICE, IMAGE CAPTURE CONTROL METHOD, AND PROGRAM |
WO2020250831A1 (ja) * | 2019-06-13 | 2020-12-17 | ソニー株式会社 | 撮像装置、撮像制御方法およびプログラム |
US11785346B2 (en) | 2019-06-13 | 2023-10-10 | Sony Group Corporation | Imaging device and imaging control method |
JP7468527B2 (ja) | 2019-06-13 | 2024-04-16 | ソニーグループ株式会社 | 撮像装置、撮像制御方法およびプログラム |
JPWO2021039113A1 (ja) * | 2019-08-28 | 2021-03-04 | ||
US20220174233A1 (en) * | 2019-08-28 | 2022-06-02 | Fujifilm Corporation | Imaging element, imaging apparatus, operation method of imaging element, and program |
WO2021039113A1 (ja) * | 2019-08-28 | 2021-03-04 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム |
JP7362748B2 (ja) | 2019-08-28 | 2023-10-17 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム |
US11910115B2 (en) | 2019-08-28 | 2024-02-20 | Fujifilm Corporation | Imaging element, imaging apparatus, operation method of imaging element, and program |
JP7492345B2 (ja) | 2020-02-27 | 2024-05-29 | キヤノン株式会社 | 撮像素子及びその制御方法、及び、撮像装置及びその制御方法 |
WO2021186961A1 (ja) * | 2020-03-16 | 2021-09-23 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法 |
US11985424B2 (en) | 2020-03-16 | 2024-05-14 | Sony Semiconductor Solutions Corporation | Signal processing device and signal processing method for correcting input signal from sensor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11356629B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program | |
US11595604B2 (en) | Image sensor and imaging device including a plurality of semiconductor substrates | |
US10735650B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program | |
US10218923B2 (en) | Methods and apparatus for pixel binning and readout | |
JP2017183952A (ja) | 撮像装置およびその制御方法、撮像素子 | |
US10142563B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program | |
US9288377B2 (en) | System and method for combining focus bracket images | |
US9191566B2 (en) | Image pickup apparatus, method for image pickup and computer-readable recording medium | |
WO2015151790A1 (ja) | 固体撮像素子、電子機器、および撮像方法 | |
US20210118100A1 (en) | Imaging device, image processing device, and electronic apparatus | |
KR20070053230A (ko) | 촬상 장치, 촬상 결과의 처리 방법 및 집적회로 | |
KR20190104445A (ko) | 촬상 소자 및 촬상장치 | |
JP2022075568A (ja) | 内部フィードバックを有する集積映像センサ及びその作動方法 | |
JP6675177B2 (ja) | 撮像装置 | |
JP2016072863A (ja) | 電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法 | |
JP2016072864A (ja) | 電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法 | |
JP2019140648A (ja) | 撮像装置及び撮像装置の制御方法 | |
CN107005632B (zh) | 电子设备 | |
JP2023086271A (ja) | 撮像装置及びその制御方法 | |
JP2017143491A (ja) | 積層型撮像素子及び撮像装置 | |
JP6781140B2 (ja) | 撮像装置 | |
JP2016072866A (ja) | 電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法 | |
US20240244333A1 (en) | Apparatus and method for obtaining image employing color separation lens array | |
WO2022050134A1 (ja) | 固体撮像装置及び電子機器 | |
WO2020066341A1 (ja) | 合焦度検出装置、深度マップ生成装置、及び、電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200804 |