JP2017077008A

JP2017077008A - 画像処理装置

Info

Publication number: JP2017077008A
Application number: JP2016238049A
Authority: JP
Inventors: 史郎綱井; Shiro Tsunai
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2016-12-07
Filing date: 2016-12-07
Publication date: 2017-04-20

Abstract

【課題】複数回の撮像において、データ量が大きく、処理が遅くなるという課題がある。【解決手段】撮像装置であって、複数の画素が二次元的に配列された撮像領域を複数に分割した複数の領域ごとに、複数の領域のそれぞれに含まれる画素の蓄積を制御して画素信号を読み出す読み出し部と、画素信号に基づく評価値を演算し、複数の領域ごとに評価値が予め定められた判定条件を満たすか否かを判定する演算部と、複数の領域のうち、判定条件を満たすと判定された領域に対して画素信号に基づく画素値を出力するとともに、判定条件を満たさないと判定された領域に対して、評価値に対応する撮像条件を変更して読み出し部による蓄積の制御および読み出しと演算部による判定とを繰り返す制御部と、複数の領域ごとに判定条件を満たすと判定されて出力された画素値を用いて、撮像領域に対応する画像を生成する画像生成部とを備える。【選択図】図９

Description

本発明は、撮像装置に関する。

有効画素領域内を複数の小領域に分割し、撮像により得られた画像データについて小領域ごとの合焦評価値を算出する撮像装置がある（例えば、特許文献１を参照）。この撮像装置において、フォーカスレンズの複数のステップ位置で撮像が行われる。さらに、小領域ごとの合焦評価値に基づいて、互いに異なるステップ位置または同じステップ位置における複数の小領域に対応する画像データが統合されて画像が生成される。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−２６０８００号公報

しかしながら、上記撮像装置においては、各ステップ位置の撮像において、有効画素領域内の画素の画像データを得てからそれらを複数の小領域に分割するので、データ量が大きく、処理が遅くなるという課題がある。

本発明の第１の態様においては、撮像装置であって、複数の画素が二次元的に配列された撮像領域を複数に分割した複数の領域ごとに、複数の領域のそれぞれに含まれる画素の蓄積を制御して画素信号を読み出す読み出し部と、画素信号に基づく評価値を演算し、複数の領域ごとに評価値が予め定められた判定条件を満たすか否かを判定する演算部と、複数の領域のうち、判定条件を満たすと判定された領域に対して画素信号に基づく画素値を出力するとともに、判定条件を満たさないと判定された領域に対して、評価値に対応する撮像条件を変更して読み出し部による蓄積の制御および読み出しと演算部による判定とを繰り返す制御部と、複数の領域ごとに判定条件を満たすと判定されて出力された画素値を用いて、撮像領域に対応する画像を生成する画像生成部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る裏面照射型のＭＯＳ型撮像素子の断面図である。撮像チップの画素配列と単位ブロックを説明する図である。撮像チップの単位ブロックに対応する回路図である。本実施形態に係る撮像装置の構成を示すブロック図である。信号処理チップの一例としての具体的構成を示すブロック図である。演算回路の機能ブロックを示す。撮像装置の動作を説明するために用いられる、被写体の一例を示す。被写体に含まれる個々の被写体の位置関係を示す。撮像装置の動作を示すフローチャートの一例である。撮像される画像の一例を示す。撮像される画像の一例を示す。撮像される画像の一例を示す。撮像される画像の一例を示す。撮像される画像の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る裏面照射型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの単位ブロックに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された撮像領域以外の周辺領域において、撮像領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。

図２は、撮像チップ１１３の画素配列と単位ブロック１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像領域には２０００万個以上もの画素がマトリックス状に配列されている。当該撮像領域が複数の単位ブロック１３１に分割されている。

図２の例においては、隣接する４画素×４画素の１６画素が一つの単位ブロック１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位ブロック１３１を形成する概念を示す。単位ブロック１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。当該単位ブロック１３１が二次元的に配されて上記撮像領域が形成されている。

画素領域の部分拡大図に示すように、単位ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、複数の単位ブロック１３１のそれぞれについて評価値が算出され、当該評価値が予め定められた判定条件を満たすか否かが判定される。判定条件を満たした単位ブロック１３１の蓄積、読出し等は終了し、判定条件を満たさない単位ブロック１３１に対しては撮像条件を変更して蓄積、読出し、評価値の判定等が繰り返される。評価値の例は単位ブロック１３１内のコントラストであり、判定条件の例は極大値となったか否かである。この場合に変更する撮像条件の例は、合焦位置である。評価値の他の例は、単位ブロック１３１内の輝度であり、判定条件の例は極大値となったか否かである。この場合に変更する撮像条件の例は、絞り、シャッタ速度、ＩＳＯ感度等である。

図３は、撮像チップ１１３の単位ブロック１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述のように、単位ブロック１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。また、画素個数分のデコーダ配線３０８を設けることに代えて、行列選択線およびれに対応したトランジスタを設けて、個々の画素を選択してもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素信号の出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図示するように、本実施形態においては、単位ブロック１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位ブロック１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位ブロック１３１毎に別個に設けられる。

このように単位ブロック１３１を基準として回路を構成することにより、単位ブロック１３１ごとに電荷蓄積時間を制御することができる。換言すると、隣接する単位ブロック１３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位ブロック１３１に１回の電荷蓄積を行わせている間に、他方の単位ブロック１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位ブロック１３１同士で異なるフレームレートで動画用の各フレームを出力することもできる。また、単位ブロック１３１ごとに画素信号の読出しの有無を制御することができる。

図４は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、表示部５０６および駆動部５１４を主に備える。

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図４では瞳近傍に配置された仮想的な１枚のレンズで当該撮影レンズ５２０を代表して表している。

駆動部５１４は撮影レンズ５２０を駆動する。より具体的には駆動部５１４は撮影レンズ５２０の光学レンズ群を移動させて合焦位置を変更し、また、撮影レンズ５２０内の虹彩絞りを駆動して撮像素子１００へ入射する被写体光束の光量を制御する。

駆動部５０２は、システム制御部５０１からの指示に従って撮像素子１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。また、操作部５０８はレリーズボタン等により撮像者からの指示を受け付ける。

撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部５０３は撮像素子１００で兼用してもよい。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。

駆動部５０２は、一部または全部が撮像チップ１１３に搭載されてもよいし、一部または全部が信号処理チップ１１１に搭載されてもよい。システム制御部５０１の一部が撮像チップ１１３または信号処理チップ１１１に搭載されてもよい。

図５は、信号処理チップ１１１の一例としての具体的構成を示すブロック図である。信号処理チップ１１１は、駆動部５０２の機能を担う。

信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４、個別回路部４５０Ａ等と、これらの各制御部を統括制御する駆動制御部４２０とを含む。信号処理チップ１１１は、さらに、駆動制御部４２０と撮像装置５００本体のシステム制御部５０１と間のＩ／Ｆ回路４１８を含む。これらセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４および駆動制御部４２０は、信号処理チップ１１１に対して一つずつ設けられる。

一方、個別回路部４５０Ａ、４５０Ｂ、４５０Ｃ、４５０Ｄ、４５０Ｅは、単位ブロック１３１Ａ、１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅごとに設けられる。個別回路部４５０Ａ、４５０Ｂ、４５０Ｃ、４５０Ｄ、４５０Ｅは、同一の構成を有するので、以下、個別回路部４５０Ａについて説明する。個別回路部４５０Ａは、ＣＤＳ回路４１０、マルチプレクサ４１１、Ａ／Ｄ変換回路４１２、デマルチプレクサ４１３、画素メモリ４１４および演算回路４１５を含む。演算回路４１５は、Ｉ／Ｆ回路４１８を介してシステム制御部５０１との間で信号を送受信する。

個別回路部４５０Ａは対応する単位ブロック１３１Ａの画素が配された領域に重畳した領域に配されていることが好ましい。これにより、各チップを面方向に大きくすることなく、複数の単位ブロック１３１Ａのそれぞれに個別回路部４５０Ａを設けることができる。

駆動制御部４２０は、タイミングメモリ４３０を参照して、システム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。特に、駆動制御部４２０は、タイミングメモリ４３０において蓄積および読み出しをすべきとされている単位ブロック１３１Ａ等を特定し、当該単位ブロック１３１Ａ等を特定する情報ともに各制御部に制御パラメータを引き渡す。制御パラメータの例は、フレームレート、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。

センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。

ブロック制御部４４２は、撮像チップ１１３へ送出する、制御対象となる単位ブロック１３１を特定する特定パルスの送出を実行する。各画素がＴＸ配線３０７およびリセット配線３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部４４１が送出する各パルスとブロック制御部４４２が送出する特定パルスの論理積となる。このように、各領域を互いに独立したブロックとして制御することができる。

同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位ブロック１３１Ａ等に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。

信号制御部４４４は、主にＡ／Ｄ変換回路４１２に対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、ＣＤＳ回路４１０およびマルチプレクサ４１１を経てＡ／Ｄ変換回路４１２に入力される。ＣＤＳ回路４１０は画素信号からノイズを取り除く。

Ａ／Ｄ変換回路４１２は、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、デマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納される。

演算回路４１５は、対応する単位ブロック１３１Ａについて、画素メモリ４１４に格納された画素値に基づく評価値を演算し、当該評価値が予め定められた判定条件を満たすか否かを判定する。演算回路４１５は、この判定の結果を、単位ブロック１３１Ａを特定する情報に対応付けて駆動制御部４２０に出力する。

画素メモリ４１４は、単位ブロック１３１Ａに含まれる画素数の２倍以上の画素数分の画素値を格納できるメモリ空間を有し、撮影条件を変えて蓄積および読み出しされたそれぞれの画素値を格納する。画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。

データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。

このように構成することにより、画像処理部５１１は、必要な画素値に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。

信号処理チップ１１１は、フラッシュＲＡＭ等により形成されるタイミングメモリ４３０を有する。タイミングメモリ４３０は、いずれの単位ブロック１３１Ａ等に対して何回の電荷蓄積を繰り返すかについての蓄積回数情報等の制御パラメータを、単位ブロック１３１Ａ等を特定する情報に対応づけて格納する。タイミングメモリ４３０にはさらに、個別回路部４５０Ａ等の演算回路４１５から出力された、「評価値が判定条件を満たすか否か」を示す情報、例えばフラグ等が、単位ブロック１３１Ａ等を特定する情報に対応付けて格納される。

図６は、演算回路４１５の機能ブロックを示す。演算回路４１５は、高域成分算出部４６０と、コントラスト算出部４６２と、極大検出部４６４とを有する。高域成分算出部４６０は、画素メモリ４１４に格納された単位ブロック１３１Ａの各画素のＧ画素信号を読み出し、その２次元配列に基づいたハイパスフィルタ処理をすることにより空間的な高周波成分Ｇｈを抽出する。同様に、高域成分算出部４６０は、Ｒ画素の高周波成分ＲｈおよびＢ画素の高周波成分Ｂｈを算出する。

コントラスト算出部４６２は、単位ブロック１３１Ａに含まれる複数の画素について上記高周波成分Ｇｈ、Ｒｈ、Ｂｈの絶対値の総和を算出する。当該コントラスト値は評価値の一例である。なお、コントラスト値の算出方法はこれに限られない。

極大検出部４６４は、当該単位ブロック１３１Ａの当該コントラスト値が極大であるか否かを検出する。この場合に、極大検出部４６４は、上記コントラスト値の履歴を格納しておき、新たに算出されたコントラスト値を過去に算出されたコントラスト値と比較することにより、極大となったか否かを検出する。極大となったか否かは、単位ブロック１３１Ａの評価値が判定条件を満たしたか否かを判定する判定条件の一例である。

極大検出部４６４は、コントラスト値が極大となったか否かを示す情報を駆動制御部４２０に出力する。これに代えてまたはこれに加えて、極大検出部４６４は、当該情報をタイミングメモリ４３０に直接書き込んでもよい。

図７は、撮像装置５００の動作を説明するために用いられる、被写体１７０の一例を示す。図８は、被写体１７０に含まれる個々の被写体の位置関係を示す。

図７および図８に示す例において、被写体１７０は、被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅを含む。図８に示すように、撮像装置５００に対して近い順に、被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅが配されている。

図７における細線は、被写体１７０を撮像素子１００の撮像領域全体で撮像した場合における、単位ブロック１３１の境界を示している。また太線は、被写体Ａ等のそれぞれを含んでいる複数の又は単数の単位ブロック１３１からなる単位ブロック群１３２Ａ等の境界を示している。

図９は、撮像装置５００の動作を示すフローチャートの一例である。図１０から図１４は、当該動作により撮像される画像の一例を示す。なお、図１０から図１４は説明のために画像と称しているが、撮像装置５００において表示できる形式としてこれらの画像が生成されなくてよい。

図９のフローチャートは、例えば撮像装置５００のレリーズボタンが半押しされた場合に開始する。システム制御部５０１は、絞り値、シャッタ速度等の撮像条件を設定する（Ｓ１００）。これらの撮像条件は、撮影者からの入力を優先してもよいし、システム制御部５０１の側があらかじめ設定したものであってもよい。システム制御部５０１の側が設定する場合にあっては、特に、絞り値については開放側、シャッタ速度については早い側に設定されることが好ましい。

システム制御部５０１は、駆動部５１４により撮影レンズ５２０を駆動して、合焦位置を設定する（Ｓ１０２）。この場合にシステム制御部５０１は、撮像装置５００の位置から無限遠までを複数の領域に分けて、当該複数の領域内にそれぞれ合焦点位置が来るように撮影レンズ５２０を駆動する。図８に示すように撮影レンズ５２０から離れるほど長くなるように領域が設定されてもよい。システム制御部５０１は上記領域に基づく撮影レンズ５２０の駆動量を予めテーブル形式等で格納している。なお図９の例においては、撮像装置５００に近い側から遠い側へ順次、合焦位置を設定する。

駆動制御部４２０は、システム制御部５０１からの指示に基づき、蓄積および読み出しをする単位ブロック１３１を選択する（Ｓ１０３）。この場合に、駆動制御部４２０はタイミングメモリ４３０を参照して、蓄積等をする単位ブロック１３１を特定する。なお、初回はすべての単位ブロック１３１が選択されるように初期設定されることが好ましい。

駆動制御部４２０は、センサ制御部４４１等に指示をして、上記ステップＳ１０３で選択された単位ブロック１３１に対して、蓄積および読み出しを行う（Ｓ１０４）。読み出された画素信号に基づいて、単位ブロック１３１の各々において演算回路４１５がコントラスト値を算出し、当該コントラスト値を判定する（Ｓ１０６）。

演算回路４１５は、コントラスト値が極大値であると判定した場合に（Ｓ１０７：Ｙｅｓ）、当該単位ブロック１３１の画素値を画像処理部５１１に出力する（Ｓ１０８）。併せて、演算回路４１５は、コントラスト値が判定条件を満たした旨を当該単位ブロック１３１を特定する情報とともに、駆動制御部４２０を介してタイミングメモリ４３０に書き込む。

一方、演算回路４１５は、コントラスト値が極大値でないと判定した場合に（Ｓ１０７：Ｎｏ）、当該単位ブロック１３１の画素値を画素メモリ４１４に書き込み、ステップＳ１１０に進む。よって、当該単位ブロック１３１については、コントラスト値が判定条件を満たした旨はタイミングメモリ４３０には書き込まれない。

システム制御部５０１は、現在の合焦位置が無限大を含む領域となるまで、上記ステップＳ１０２からＳ１１０を繰り返す（Ｓ１１０：Ｎｏ）。システム制御部５０１は、現在の合焦位置が無限大を含む領域となった場合に（Ｓ１１０：Ｙｅｓ）、タイミングメモリ４３０を参照して、その時点で判定条件を満たしていない単位ブロック１３１を特定し、当該単位ブロックについてそれぞれの画素メモリ４１４に格納されている画素値を画像処理部５１１に出力する（Ｓ１１２）。

画像処理部５１１は、ステップＳ１０８およびＳ１１２で出力された画素値により、撮像領域の全体に対応する画像を生成する（Ｓ１１４）。以上により、図９のフローチャートが終了する。

例えば、初回の撮像においてステップＳ１０２において図８の左側の領域内に合焦位置が設定され、ステップＳ１０４で図１０に示す画像１７２が得られる。初回の撮像なので、ステップＳ１０３において撮像領域内のすべての単位ブロック１３１が選択されている。図８の左側の領域内には被写体Ａがあるので、画像１７２において被写体Ａはピントが合っており、単位ブロック群１３２Ａにおいて高いコントラスト値を有する。これに対し、他の被写体Ｂ等は領域外にあるので他の単位ブロック群１３２Ｂ等について低いコントラスト値を有する。

初回の撮像においては比較すべき前回のコントラスト値が存在しないので、ステップＳ１０７において、極大検出部４６４はいずれの単位ブロック１３１についても、極大値になったと判定しない。よって、ステップＳ１０９で、演算回路４１５は単位ブロック１３１の画素値を画素メモリ４１４に書き込む。

次の撮像においてステップＳ１０２において図８の左から２番目の領域内に合焦位置が設定され、ステップＳ１０４で図１１に示す画像１７４が得られる。駆動制御部４２０はタイミングメモリ４３０を参照して、いずれの単位ブロック１３１に対しても判定条件を満たした旨が記憶されていないので、いずれの単位ブロック１３１に対しても電荷の蓄積および画素信号の読み出しを実行する。

図１０でコントラスト値が高かった単位ブロック群１３２Ａは、図１１ではコントラスト値が下がっている。よって、極大検出部４６４は、ステップＳ１０７において、単位ブロック群１３２Ａに含まれる単位ブロック１３１に対して、前回の撮像で極大値をとっていたと判断する。そこでステップＳ１０８において、演算回路４１５は、コントラスト値が極大であったときの単位ブロック群１３２Ａの画素値、すなわち初回の撮像の画素値を画素メモリ４１４から読み出して、画像処理部５１１に出力する。併せて、演算回路４１５は、コントラスト値が判定条件を満たした旨を当該単位ブロック１３１を特定する情報とともに、駆動制御部４２０を介してタイミングメモリ４３０に書き込む。

なお、図１１の画像１７４において被写体Ｂ、Ｃはピントが合っており、単位ブロック群１３２Ａにおいて高いコントラスト値を有するが、まだ極大値になったとは判断されない。また、被写体Ｄ、Ｅは領域外にあるので他の単位ブロック群１３２Ｂ等について低いコントラスト値を有する。よって、これらの被写体Ｂ、Ｃ、Ｄ、Ｅに対応する単位ブロック群１３２Ｂ、１３２Ｃ、１３２Ｄ、１３２Ｅについては、タイミングメモリ４３０に判定条件を満たした旨は書き込まれない。また、単位ブロック群１３２Ｂ、１３２Ｃ、１３２Ｄ、１３２Ｅについては、前回の撮像の画素値が保持されたまま、今回の撮像における画素値が、画素メモリ４１４に書き込まれる。

さらに次の撮像において図８の左から３番目の領域内に合焦位置が設定され、図１２に示す画像１７６が得られる。この場合に、駆動制御部４２０はタイミングメモリ４３０を参照して、単位ブロック群１３２Ａの電荷の蓄積および画素信号の読み出しを行わず、単位ブロック群１３２Ａ以外の単位ブロック１３１の電荷の蓄積および画素信号の読み出しを行う。

さらに、単位ブロック群１３２Ｂ、１３２Ｃについて、前回よりもコントラスト値が下がったので、極大検出部４６４は、前回の撮像において極大値をとっていたと判断する。そこで演算回路４１５は、コントラスト値が極大であったときの単位ブロック群１３２Ｂ、１３２Ｃの画素値、すなわち前回の撮像の画素値を画素メモリ４１４から読み出して、画像処理部５１１に出力する。併せて、演算回路４１５は、コントラスト値が判定条件を満たした旨を当該単位ブロック１３１Ｂ、１３２Ｃを特定する情報とともに、駆動制御部４２０を介してタイミングメモリ４３０に書き込む。

さらに次の撮像において図８の左から４番目の領域内に合焦位置が設定され、図１３に示す画像１７８が得られる。この場合に、駆動制御部４２０はタイミングメモリ４３０を参照して、単位ブロック群１３２Ａ、１３２Ｂ、１３２Ｃの電荷の蓄積および画素信号の読み出しを行わず、単位ブロック群１３２Ａ、１３２Ｂ、１３２Ｃ以外の単位ブロック１３１の電荷の蓄積および画素信号の読み出しを行う。

さらに、単位ブロック群１３２Ｄについて、前回よりもコントラスト値が下がったので、極大検出部４６４は、前回の撮像において極大値をとっていたと判断する。さらに、演算回路４１５は、コントラスト値が極大であったときの単位ブロック群１３２Ｄの画素値を画素メモリ４１４から読み出して、画像処理部５１１に出力する。併せて、演算回路４１５は、コントラスト値が判定条件を満たした旨を当該単位ブロック１３１Ｄを特定する情報とともに、駆動制御部４２０を介してタイミングメモリ４３０に書き込む。

さらに最後の撮像において図８の無限遠を含む領域内に合焦位置が設定され、図１４に示す画像１８０が得られる。この場合に、駆動制御部４２０はタイミングメモリ４３０を参照して、すでに判定条件を満たした旨が書き込まれている単位ブロック群１３２Ａ等の電荷の蓄積および画素信号の読み出しを行わず、他の単位ブロックの電荷の蓄積および画素信号の読み出しを行う。なお説明の都合上、図１３で単位ブロック群１３２Ｄ以外にもいくつかの単位ブロックについても極大値をとったと判断されて、蓄積、読み出しおよび判定が行われない単位ブロックが図１４において斜線で示されている。

図１４の画像１７６においても、単位ブロック群１３２Ｅについて、極大検出部４６４が極大値を判定できなかったとする。この場合にステップＳ１１２において演算回路４１５は、単位ブロック群１３２Ｅにおける今回の撮像の画素値を画素メモリ４１４から読み出して、画像処理部５１１に出力する。

これにより、撮像領域のいずれの単位ブロック１３１Ａ等からも画素値が出力される。画像処理部５１１は、当該画素値により、被写体１７０に対応した画像を生成する。

以上、上記実施形態によれば、一度のレリーズボタンの押下で、撮像領域のそれぞれでピントが合った画像を生成することができる。この場合に、絞り値を大きくしてパンフォーカスするのに比べて、露光量を低減することなく、画像を生成することができる。また、撮像するに従って蓄積、読み出し、判定をする単位ブロック１３１の数が減っていくので、処理速度を早くすることができ、また、消費電力を小さくすることができる。

なお、撮像装置５００から無限遠までの領域の数は、予め設定されていてもよいし、撮像者により設定されていてもよい。当該領域は互いに均等に分けられてもよいし、これらに代えて、システム制御部５０１は撮影レンズ５２０の焦点距離と絞り値とから被写界深度を計算し、撮像装置５００の位置からいずれの距離もいずれかの合焦位置からの被写界深度内に含まれるように、合焦位置が設定されてもよい。また、図９のステップＳ１０２において、撮像装置５００に近い側から遠い側へ合焦位置が設定されていくが、無限遠側から撮像装置５００へ向かって、順次、合焦位置が設定されてもよい。

ステップＳ１１４で画像を生成する場合に、異なる撮像で画素値が出力された単位ブロックの境界において、少なくとも数画素分は互いの輝度値の平均をとる等して、輝度を合わせることが好ましい。当該境界にあえてボケ、ノイズ等を入れて、境界を目立たなくすることが好ましい。

なお、顔検出等により予め被写体Ａ等に対応する単位ブロック群１３２Ａ等を選択しておき、当該単位ブロック群１３２Ａ等の全体に対してコントラスト値の極大を評価してもよい。この場合に、いずれの撮像においても極大値とならなかった単位ブロック１３１については、選択された単位ブロック群１３２等Ａのコントラスト値が極大となったときの撮像における、当該極大値とならなかった単位ブロック１３１の画素値を画像処理部５１１に出力してもよい。

さらに他の例として、顔検出等により予め被写体Ａ等に対応する単位ブロック群１３２Ａ等を選択しておき、当該単位ブロック群１３２Ａ等に含まれる個々の単位ブロック１３１ごとにコントラスト値の極大を評価してもよい。この場合に、単位ブロック群１３２Ａ等以外の単位ブロック１３１に対しては、例えば無限遠を含む合焦位置の初回の撮影で画素値を画像処理部５１１に出力し、ステップＳ１０２からＳ１１０の繰り返しをしないことにしてもよい。

上記ステップＳ１１０の判断に代えて、またはこれに加えて、システム制御部５０１は、判定条件を満たすと判定された単位ブロック１３１の個数が予め定められた数を超えた場合に、以降の繰り返しを停止してもよい。

また、単位ブロック群１３２Ａに含まれる複数の単位ブロック１３１のうちいくつかの単位ブロック１３１を間引いて評価値を算出してもよい。さらに、上記いずれの形態においても、個々の単位ブロック１３１内で画素を間引いて評価値を算出してもよい。

また、撮像素子１００に位相差画素が含まれている場合には、当該位相差画素で合焦したか否かを判定してもよい。この場合には位相差画素の出力が評価値であり、合焦したか否か判定条件である。

また、単位ブロック１３１毎に個別回路部４５０Ａ等を設けることに代えて、いくつかの単位ブロック１３１毎に個別回路部４５０Ａ等を設けて、対応する複数の単位ブロック１３１に対してそれぞれの評価値を算出及び判定してもよい。さらにそれに代えて、撮像領域に含まれる複数の単位ブロック１３１に対し一つの個別回路部４５０Ａが設けられ、撮像領域に含まれる複数の単位ブロック１３１のそれぞれの評価値を算出及び判定してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００撮像素子、１０１マイクロレンズ、１０２カラーフィルタ、１０３パッシベーション膜、１０４ＰＤ、１０５トランジスタ、１０６ＰＤ層、１０７配線、１０８配線層、１０９バンプ、１１０ＴＳＶ、１１１信号処理チップ、１１２メモリチップ、１１３撮像チップ、１３１単位ブロック、１３１Ａ単位ブロック、１３１Ｂ単位ブロック、１３１Ｃ単位ブロック、１３１Ｄ単位ブロック、１３１Ｅ単位ブロック、１３２Ａ単位ブロック群、１３２Ｂ単位ブロック群、１３２Ｃ単位ブロック群、１３２Ｄ単位ブロック群、１３２Ｅ単位ブロック群、１７０被写体、１７２画像、１７４画像、１７６画像、１７８画像、１８０画像、３０２転送トランジスタ、３０３リセットトランジスタ、３０４増幅トランジスタ、３０５選択トランジスタ、３０６リセット配線、３０７ＴＸ配線、３０８デコーダ配線、３０９出力配線、３１０Ｖｄｄ配線、３１１負荷電流源、４１０ＣＤＳ回路、４１１マルチプレクサ、４１２Ａ／Ｄ変換回路、４１３デマルチプレクサ、４１４画素メモリ、４１５演算回路、４１８Ｉ／Ｆ回路、４２０駆動制御部、４３０タイミングメモリ、４４１センサ制御部、４４２ブロック制御部、４４３同期制御部、４４４信号制御部、４５０Ａ個別回路部、４５０Ｂ個別回路部、４５０Ｃ個別回路部、４５０Ｄ個別回路部、４５０Ｅ個別回路部、４６０高域成分算出部、４６２コントラスト算出部、４６４極大検出部、５００撮像装置、５０１システム制御部、５０２駆動部、５０３測光部、５０４ワークメモリ、５０５記録部、５０６表示部、５０８操作部、５１１画像処理部、５１２演算部、５１４駆動部、５２０撮影レンズ

Claims

複数の画素が二次元的に配列された撮像領域を複数に分割した複数の領域ごとに、前記複数の領域のそれぞれに含まれる画素の蓄積を制御して画素信号を読み出す読み出し部と、
前記画素信号に基づく評価値を演算し、前記複数の領域ごとに前記評価値が予め定められた判定条件を満たすか否かを判定する演算部と、
前記複数の領域のうち、前記判定条件を満たすと判定された領域に対して前記画素信号に基づく画素値を出力するとともに、前記判定条件を満たさないと判定された領域に対して、前記評価値に対応する撮像条件を変更して前記読み出し部による蓄積の制御および読み出しと前記演算部による判定とを繰り返す制御部と、
前記複数の領域ごとに前記判定条件を満たすと判定されて出力された前記画素値を用いて、前記撮像領域に対応する画像を生成する画像生成部と
を備える撮像装置。
前記制御部は、予め定められた回数で繰り返しても前記判定条件を満たさないと判定された領域に対して、他の領域が前記判定条件を満たすと判定されたときの撮影条件における、前記判定条件を満たさないと判定された領域に含まれる画素の画素値を出力する請求項１に記載の撮像装置。
前記制御部は、前記複数の領域のうち、前記判定条件を満たすと判定された領域の個数が予め定められた数を超えた場合に、以降の繰り返しを停止して、前記判定条件を満たさないと判定された領域に含まれる画素の画素値を出力する請求項１に記載の撮像装置。
前記読み出し部、前記演算部および前記制御部は、前記複数の領域ごとに一組ずつ設けられる請求項１から３のいずれか１項に記載の撮像装置。
前記複数の領域ごとに設けられ、対応する領域に含まれる画素数の２倍以上の画素数分の記憶容量を有する記憶部をさらに備え、
前記制御部は、読み出しごとに、前記画素値を前記記憶部に記憶させる請求項４に記載の撮像装置。
前記撮像条件は、合焦距離、絞り値、シャッタスピードおよび感度のすくなくともいずれかである請求項１から５のいずれか１項に記載の撮像装置。
前記撮像領域が配された撮像チップと、前記読み出し部、前記演算部、前記制御部および前記画像生成部の少なくとも一部が配された信号処理チップとが積層されている請求項１から６のいずれか１項に記載の撮像装置。
前記撮像チップは裏面照射型ＣＭＯＳチップである請求項７に記載の撮像装置。