JP2014179781A - 撮像ユニット、撮像装置および撮像制御プログラム - Google Patents

Abstract

【課題】ガンマ処理等の非直線処理をデジタル論理回路で行うと、量子化ビット数の制約などにより、階調特性およびＳ／Ｎ比などが劣化することが知られている。
【解決手段】撮像ユニットは、受光量に応じた画素信号を生成する画素部と、画素信号を変換して出力する、互いに変換特性の異なる複数の変換部と、複数の変換部のいずれかと画素部とを選択的に接続する接続スイッチと、複数の変換部のうち接続スイッチで接続された変換部から出力されたアナログ信号をデジタル信号に変換するＡＤ変換器とを備える。
【選択図】図４

Description

本発明は、撮像ユニット、撮像装置および撮像制御プログラムに関する。

裏面照射型撮像チップと信号処理チップが、複数画素をまとめたセル単位ごとにマイクロバンプを介して接続された撮像ユニットが知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００６−４９３６１号公報

ガンマ処理等の非直線処理をデジタル論理回路で行うと、量子化ビット数の制約などにより、階調特性およびＳ／Ｎ比などが劣化することが知られている。

本発明の第１の態様における撮像ユニットは、受光量に応じた画素信号を生成する画素部と、画素信号を変換して出力する、互いに変換特性の異なる複数の変換部と、複数の変換部のいずれかと画素部とを選択的に接続する接続スイッチと、複数の変換部のうち接続スイッチで接続された変換部から出力されたアナログ信号をデジタル信号に変換するＡＤ変換器とを備える。

本発明の第２の態様における撮像装置は、上記の撮像ユニットと、デジタル信号を処理して画像データを生成する画像処理部とを備える。

本発明の第３の態様における撮像制御プログラムは、受光量に応じた画素信号を生成する画素部に電荷蓄積を実行させる電荷蓄積ステップと、電荷蓄積により生成された画素信号を、互いに変換特性の異なる複数の変換部のいずれかに入力して画素信号を変換する変換ステップと、複数の変換部のうち画素信号が入力された変換部から出力されたアナログ信号をデジタル信号に変換するＡＤ変換ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る裏面照射型のＭＯＳ型撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 変換特性の例を説明する入出力グラフである。 主に信号処理チップの具体的構成を示すブロック図である。 本実施形態に係る撮像装置の構成を示すブロック図である。 画質改善と領域分割を説明する図である。 撮影動作の処理を示すフロー図である。 他の撮影動作の処理を示すフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る裏面照射型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配された複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの画素グループに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。

図２は、撮像チップ１１３の画素配列と単位グループ１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する４画素×４画素の１６画素が一つのグループを形成する。図の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。

画素領域の部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

図３は、撮像チップ１１３の単位グループ１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述のように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図示するように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位グループ１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。

このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。単位グループごとに電荷蓄積時間を制御できるので、隣接する単位グループ１３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。具体的には、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させる制御を行うこともできる。更には、全ての単位グループ１３１について共通の電荷蓄積時間を設定しておき、ある単位グループ１３１については、１回分の電荷蓄積と画素信号出力を実行させ、隣接する単位グループ１３１については、２回分の電荷蓄積と画素信号出力を繰り返させるといった制御もできる。本実施例においては、全ての単位グループに対して共通の電荷蓄積時間を採用し、一度の電荷蓄積による画素信号出力を実行させて画像データを生成する制御を前提として説明するが、上記のような複数回の電荷蓄積制御を前提とすることもできる。

図４は、撮像素子１００の機能的構成を示すブロック図である。特にここでは画素信号の流れを説明する。

アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、ＣＤＳ回路２１２により相関二重サンプリングが行われる。ＣＤＳ回路２１２の後段には、複数の接続スイッチ２１３ａ〜２１３ｄが並列に連接された接続スイッチ回路２１３が設けられている。接続スイッチ回路２１３には変換増幅回路２１４が接続されている。具体的には、変換増幅回路２１４は、変換増幅器２１４ａ〜２１４ｄを含み、スイッチ２１３ａの後段に変換増幅器２１４ａが、スイッチ２１３ｂの後段に変換増幅器２１４ｂが、スイッチ２１３ｃの後段に変換増幅器２１４ｃが、スイッチ２１３ｄの後段に変換増幅器２１４ｄが接続されている。

スイッチ回路２１３は、後述する信号制御部からの制御信号により制御される。具体的には、スイッチ回路２１３は、信号制御部からの制御信号により、接続スイッチ２１３ａ〜２１３ｄのいずれか１つをオンとし、他をオフとする。これにより、ＣＤＳ回路２１２から送られてくる画素信号を、変換増幅器２１４ａ〜２１４ｄの特定の一つへ導く。

変換増幅器２１４ａ〜２１４ｄは、入力された信号を予め設定された変換関数に従って変換して出力するアナログ回路である。変換増幅器２１４ａ〜２１４ｄは、互いに異なる変換関数が設定されている。すなわち、変換増幅器２１４ａ〜２１４ｄは、互いに変換特性が異なる。具体的な変換特性については後述する。

また、それぞれの変換増幅器２１４ａ〜２１４ｄは、入力信号に対する出力信号の特性を変換する特性変換機能に限らず、複数の増幅率から選択された増幅率により入力信号を増幅する選択増幅機能を備える。変換増幅回路２１４は、信号制御部からの制御信号により、予め設定された複数の増幅率から特定の増幅率を選択する。具体的には、例えば、オペアンプに設けられた複数の入力抵抗のうち制御信号によって選ばれた一つが接続されることにより、増幅率の選択が実現される。

変換増幅回路２１４の後段には、アナログ／デジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換器２１５が接続されている。Ａ／Ｄ変換器２１５は、変換増幅器２１４ａ〜２１４ｄのいずれかから出力されてくるアナログの画素信号を、１２ｂｉｔのデジタル画素信号に変換する。Ａ／Ｄ変換された画素信号は、同じく信号処理チップ１１１に形成された、演算回路４１５に引き渡される。演算回路４１５は、受け取った画素信号に種々のデジタル演算処理を施して、デマルチプレクサ４１３へ引き渡す。

デマルチプレクサ４１３は、受け取った画素信号をそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納する。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、外部からの引渡要求に従って、デマルチプレクサ４１３を介して画素メモリ４１４から読み出した画素信号を、後段の画像処理部に引き渡す。演算回路４１５は、画素信号に対する種々のデジタル演算処理を、画素メモリ４１４への格納時ではなく、画像処理部への引き渡し時に実行しても良い。なお、演算回路４１５は、メモリチップ１１２に設けられても良い。

また、図では１グループ分の画素信号の流れを示すが、実際にはこれらがグループごとに存在して、並列で動作する。ただし、演算回路４１５はグループごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれのグループに対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理しても良い。また、グループ単位ではなく、１画素ごとにこのような構成を採用しても良い。その場合、マルチプレクサ４１１およびデマルチプレクサ４１３は省かれ、一つのＰＤ１０４と一つの画素メモリ４１４が一対一に対応する。

図５は、変換増幅回路２１４の変換増幅器２１４ａ〜２１４ｄが採用し得る変換特性の例を説明する入出力グラフである。各入出力グラフは、横軸が変換増幅器へ入力される入力信号値を表し、縦軸が変換増幅器から出力される出力信号値を表す。横軸の入力信号値は、実際の入力信号が変動する範囲の最大値を１とした正規化後の値として示す。また、信号制御部からの制御信号により選択された増幅率をａとして縦軸を示す。増幅率は、上述のように複数の中から選択されるが、入力信号の信号レベルと、Ａ／Ｄ変換器２１５の入力レンジに基づいて選択される。具体的には、出力信号の変動幅がＡ／Ｄ変換器２１５の入力レンジと一致するように、換言すれば量子化ビット幅の全体を利用するように、増幅率が選択される。

図５（ａ）は、線形変換であり、入力信号値をｘ、出力信号値をｙとすると、ｙ＝ａｘの関係が成り立つ。このような変換特性においては、入力信号がａ倍に増幅されるのみであり、形成される像としての輝度バランスは、撮像チップ１１３の出力に対して変更されない。

図５（ｂ）は、いわゆるガンマ変換であり、ｙ＝ａｘ^{（１／γ）}の関係が成り立つ。図の例ではγ＝１．５である。γが１より大きければ、変換増幅器は、中間階調を全体的に持ち上げて、すなわち線形変換の場合よりも大きな値として出力させて、全体的に明るい画像に変換する。特に暗領域の階調が強調されるので、例えば、暗領域に埋もれていた像を顕在化させたい場合に有効である。なお、γが１より小さければ、変換増幅器は、中間階調を抑制して、全体的に暗い画像に変換する。

図５（ｃ）は、図５（ｂ）と同じくγ変換であり、γ＝２．０の例である。γ＝１．５の場合よりも、暗領域をより明るく変換する特性を有する。変換対象領域が全体的にアンダーであるときに、暗領域の階調性を豊かにしたい場合に有効である。

図５（ｄ）は、いわゆるＳ字変換であり、ｙ＝ａ／（１＋ｅ^{ｃ（−ｘ＋０．５）}）の関係が成り立つ。ここで、ｅは自然対数の底であり、ｃは傾きを調整する実数である。図ではｃ＝１０である。このような変換によれば、明るい領域と暗い領域の階調数を増やし、逆に中間領域の階調数を減らす。すなわち、中間の値を取る入力信号値を、明るいか暗いかの信号値に変換することにより、結果として全体的に明暗をくっきりさせる画像とする。変換対象領域が全体的に低コントラストであるときに、コントラストを高めたい場合に有効である。

図５（ｅ）は、いわゆる逆Ｓ字変換であり、図５（ｄ）とは逆の特性を有する。つまり、明るい領域と暗い領域の階調数を減らし、逆に中間領域の階調数を増やす。すなわち、明るいか暗いかの信号値を中間側に寄せる変換を行うことにより、結果として全体的にコントラストを下げた画像とする。人物画像のように、中間階調を重視する場合に有効である。

図５（ｆ）は、入力信号値が０からＩ_Ｓまではγが１より大きい場合のγ変換と同様の特性を有し、入力信号値がＩ_Ｓ以上の場合はａを出力する曲線である。このような特性は、白飛びを起こしやすいシーンに対して、一旦アンダー側に電荷蓄積時間を制御する場合に有効である。すなわち、デジタル信号処理として行われている、いわゆるアクティブＤライティングをアナログレベルで実行することに相当する。

なお、上記においては、赤色画素、緑色画素および青色画素のすべてに同様の変換処理を施すことにより全体的な明るさを調整する場合を説明したが、色毎に異なる変換処理を施して、色バランスを調整しても良い。この場合、明るさ調整と色バランス調整を同時に行うこともできる。

図４の例においては、変換増幅回路２１４は、４つの変換増幅器２１４ａ〜２１４ｄを含むとして説明した。この場合、図５に示したような互いに異なる変換特性の中から４つを選んでアナログ回路を構成するが、もちろん、４つに限らず、適用したい変換特性の数に合わせて変換増幅器を増減させれば良い。また、変換特性は、図５で示した例に限らず、用途に合わせてさまざまなものを設定し得る。例えば、ＬＯＧ曲線や、折れ線などの変換特性も設定しても良い。いずれにしても、画素信号がアナログの段階で、ハードウェアとしてのアナログ回路により変換処理が行われるので、Ｓ／Ｎ比の劣化が抑制された、豊かな階調特性を有する画像生成に有利である。

次に、主に信号処理チップ１１１の具体的な構成の一例について説明する。図６は、主に信号処理チップ１１１の具体的構成を示すブロック図である。

信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４と、これらの各制御部を統括制御する駆動制御部４２０とを含む。駆動制御部４２０は、撮像装置全体の統合制御を担うシステム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。

センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。

ブロック制御部４４２は、撮像チップ１１３へ送出する、制御対象となる単位グループ１３１を特定する特定パルスの送出を実行する。システム制御部５０１は、後述するように、被写界であるシーンの特性等に応じて撮像チップ１１３の画素領域を、それぞれが１つ以上の単位グループ１３１を含むように、複数のブロックに分割する。同一のブロックに含まれる画素は、同一の電荷蓄積制御が実行される。ブロック制御部４４２は、駆動制御部４２０からの指定に基づいて対象となる単位グループ１３１に特定パルスを送出することにより、単位グループ１３１をブロック化する役割を担う。各画素がＴＸ配線３０７およびリセット配線３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部４４１が送出する各パルスとブロック制御部４４２が送出する特定パルスの論理積となる。

同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位グループ１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。

信号制御部４４４は、上述のように、接続スイッチ回路２１３の特定の接続スイッチのいずれか１つをオンとし、他をオフとする。また、変換増幅回路２１４の複数の増幅率から特定の増幅率を選択する。更には、Ａ／Ｄ変換器２１５に対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、マルチプレクサ４１１およびＣＤＳ回路２１２を経て、変換増幅回路２１４により変換増幅処理が施され、Ａ／Ｄ変換器２１５に入力される。Ａ／Ｄ変換器２１５は、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、演算回路４１５に引き渡され、種々のデジタル演算処理が施される。演算処理が施された画素信号は、メモリチップ１１２のデマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納される。

信号処理チップ１１１は、いずれの単位グループ１３１を組み合わせてブロックを形成するかについてのブロック区分情報を格納する、蓄積制御メモリとしてのタイミングメモリ４３０を有する。タイミングメモリ４３０は、例えばフラッシュＲＡＭによって構成される。

後述するように、いずれの単位グループを組み合わせてブロックを形成するかについては、例えば、一連の撮影シーケンスに先立って実行されるシーンの輝度分布検出の検出結果に基づいて、システム制御部５０１により決定される。決定されたブロックは、例えば第１ブロック、第２ブロック…のように区分され、それぞれのブロックがいずれの単位グループ１３１を包含するかにより規定される。駆動制御部４２０は、このブロック区分情報をシステム制御部５０１から受け取り、タイミングメモリ４３０へ格納する。

信号制御部４４４は、システム制御部５０１を介してタイミングメモリ４３０のブロック区分情報を参照して、接続スイッチ回路２１３の接続スイッチ選択と、変換増幅回路２１４の増幅率選択を実行する。

駆動制御部４２０は、更新されるブロック区分情報をシステム制御部５０１から受け取って、タイミングメモリ４３０の記憶内容を適宜更新する。例えば、駆動制御部４２０は、撮像準備指示または撮像指示に同期して、タイミングメモリ４３０を更新する。このように構成することにより、より高速な画素信号処理を実現すると共に、駆動制御部４２０が画素信号処理を実行している間に、システム制御部５０１は他の処理を並行して実行し得る。

駆動制御部４２０は、システム制御部５０１からの引渡要求に従って、対象画素信号を演算回路４１５およびデマルチプレクサ４１３を介して画素メモリ４１４から読み出し、撮像装置に設けられた画像処理部５１１へ引き渡す。画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。

データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用し得る。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。

このように構成することにより、画像処理部５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。また、全画素信号を受け取る場合にも、アナログレベルで非線形変換処理が完了しているので、後段のデジタル処理としての画像処理を高速化することができる。

図７は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸Ｏに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、測光部５０３、ワークメモリ５０４、記録部５０５、表示部５０６、操作部５０７および顔検出部５０８を主に備える。

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図７では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。上述の通り、撮像素子１００の駆動制御部４２０は、システム制御部５０１からの指示に従って撮像素子１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。

撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。なお、画像処理部５１１は、システム制御部５０１とは独立したＡＳＩＣとして構成されても良い。

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従って電荷蓄積時間、絞り値、ＩＳＯ感度を決定する。本実施形態において演算部５１２は、更に、どの画素グループ領域の画素信号を、どの変換増幅器を用いて変換するかを決定する。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。

操作部５０７は、ユーザからの各種操作を受け付ける操作部材を含む。例えば、２段階の押下げ操作を行うことができるシャッタスイッチは、１段目の押下げ操作であるＳＷ１のオンを撮像準備指示に対応させ、２段目の押下げ操作であるＳＷ２のオンを撮像指示に対応させる。また、表示部５０６の表面に設けられたタッチパネルは、ユーザに接触された座標値をシステム制御部５０１へ出力する。システム制御部５０１は、表示部５０６に画像を表示させているときにタッチパネルが操作されると、表示画像のいずれの領域が指示されたかを認識することができる。

顔検出部５０８は、取得した被写体像から顔領域を検出してその座標を取得する。検出された顔領域は、ＡＦ、ＡＥの調整の他、後述する領域分割の情報としても利用できる。

図８は、画質改善と領域分割を説明する図である。図８（ａ）は、測光部５０３が取得した被写体画像を模式的に表す。具体的には、被写体画像が表すシーンは、屋内環境に含まれるシャドウ被写体６０１および中間被写体６０２と、窓枠６０４の内側に観察される屋外環境のハイライト被写体６０３を含む。シャドウ被写体６０１は、棚６０５を含む。ハイライト被写体６０３を適正露出とすると、シャドウ被写体６０１がアンダーとなり、棚６０５がシャドウ被写体６０１中に埋もれて、輪郭がはっきりしない像となる。このような、ハイライト部からシャドウ部までの明暗差が大きなシーンに対し、図５（ａ）で示す線形変換を全領域に適用する場合、ハイライト部を基準として電荷蓄積を実行するとシャドウ部での階調性が失われ、シャドウ部を基準として電荷蓄積を実行するとハイライト部で白飛びを生じやすかった。そこで、本実施形態においては、シーンをハイライト部、シャドウ部といった部分領域に分割して、それぞれの部分領域から出力されるアナログの画素信号に対し、互いに異なる変換特性による変換増幅処理を施す。

図８（ｂ）は、撮像チップ１１３の画素領域における領域分割を示す。演算部５１２は、測光部５０３が捉えた図８（ａ）のシーンを解析して、輝度を基準に画素領域を分割する。例えば、システム制御部５０１は、測光部５０３に露光時間を変更しつつ複数回のシーン取得を実行させ、演算部５１２は、その白飛び領域、黒潰れ領域の分布の変化を参照して画素領域の分割ラインを決定する。図８（ｂ）の例においては、演算部５１２は、シャドウ領域６１１、中間領域６１２、およびハイライト領域６１３の３領域に分割している。

分割ラインは、単位グループ１３１の境界に沿って定義される。すなわち、分割された各領域は、整数個の単位グループ１３１をそれぞれ含む。そして、同一の領域に属する各グループの画素からの画素信号には、同一の変換特性による変換増幅処理が施される。属する領域が異なれば、異なる変換特性による変換増幅処理が施される。

なお、演算部５１２は、測光部５０３が捉えた被写体画像を解析して画素領域の分割を行う場合に限らず、撮像素子１００から事前に取得された被写体画像を解析して画素領域の分割を行っても良い。この場合、ＳＷ１のオンによる撮像準備指示に同期してプリ画像として取得しても良いし、ライブビュー画像として表示していた被写体画像を利用しても良い。

図の例においては、信号制御部４４４は、ハイライト領域６１３に属するグループの画素から出力された画素信号に、図５（ａ）で示す線形増幅変換を施す。また、中間領域６１２に属するグループの画素から出力された画素信号に、図５（ｂ）で示すγ＝１．５のガンマ変換を施す。また、シャドウ領域６１１に属するグループの画素から出力された画素信号に、図５（ｃ）で示すγ＝２．０のガンマ変換を施す。このように増幅変換処理を施すことにより、ハイライト領域６１３は適正露出に維持され、中間領域６１２は、アンダー寄りであった中間階調がより適正側に持ち上げられ、シャドウ領域６１１は、一様な暗領域の状態から棚６０５の像が浮かびあがる程度の階調性を得る。このように、対象領域を明るくする変換を行う場合は、より暗い領域ほどガンマ値の大きなガンマ変換処理を行うと良い。

次に、一連の撮影動作処理について説明する。図９は、撮影動作の処理を示すフロー図である。フローは、撮像装置５００の電源がＯＮにされて開始される。

システム制御部５０１は、ステップＳ１０１で、撮像準備指示であるシャッタスイッチＳＷ１の押し下げがなされるまで待機する。シャッタスイッチＳＷ１の押し下げを検知したらステップＳ１０２へ進む。

ステップＳ１０２では、システム制御部５０１は、測光処理を実行する。具体的には、測光部５０３の出力を得て、演算部５１２がシーンの輝度分布を算出する。そして、ステップＳ１０３へ進み、上述のように、電荷蓄積時間、領域分割、変換増幅器および増幅率等を決定する。決定されたこれらの情報は、システム制御部５０１から駆動制御部４２０へ送られ、タイミングメモリ４３０で記憶される。

撮像準備動作が完了したら、ステップＳ１０４へ進み、ユーザからの撮像指示であるシャッタスイッチＳＷ２の押し下げがなされるまで待機する。このとき、経過時間が予め定められた時間Ｔｗを超えたら（ステップＳ１０５のＹＥＳ）、ステップＳ１０１へ戻る。Ｔｗを超える前に（ステップＳ１０５のＮＯ）スイッチＳＷ２の押し下げを検知したら、ステップＳ１０６へ進む。

駆動制御部４２０は、ステップＳ１０６において、電荷蓄積を実行する。そして、ステップＳ１０３で決定された電荷蓄積時間が経過したら、ステップＳ１０７へ進む。駆動制御部４２０は、タイミングメモリ４３０のブロック区分情報等を参照しつつ、画素信号を出力させ、ステップＳ１０３で決定された変換増幅器、増幅率を適用して変換増幅処理を施し、Ａ／Ｄ変換を行う。続いてステップＳ１０８で、駆動制御部４２０は、デジタルに変換された画素信号を画素メモリ４１４に格納する。

ステップＳ１０９では、駆動制御部４２０が読出し制御の完了報告をシステム制御部５０１へ対して行い、これに応じて、システム制御部５０１は、駆動制御部４２０に対して画素メモリ４１４に格納された画素信号を画像処理部５１１へ送信させる。画像処理部５１１は画像処理を実行し例えばＪＰＥＧ等の画像データを生成する。システム制御部５０１は、生成された画像データを記録部５０５に記録する記録処理を実行する。

記録処理が完了したらステップＳ１１０へ進み、撮像装置５００の電源がＯＦＦにされたか否かを判断する。電源がＯＦＦにされていないと判断したらステップＳ１０１へ戻り、ＯＦＦにされたと判断したら一連の撮影動作処理を終了する。

図１０は、他の撮影動作の処理を示すフロー図である。本フローにおける処理は、図９の処理と異なり、領域分割をユーザの指定に基づいて実行する。

撮像装置５００の電源がＯＮにされると、システム制御部５０１は、ステップＳ２０１へ進み、ライブビュー表示を実行する。ライブビュー表示は、例えば１秒間に３０フレーム程度で連続的に画像を生成し、取得画像を表示部５０６に逐次表示する機能である。

システム制御部５０１は、ライブビュー表示中に、操作部５０７のひとつであるタッチパネルの入力を監視し、ライブビュー画像に対して領域指定を行う操作がユーザから成されたか否かを判断する（ステップＳ２０２）。操作が成されたと判断したらステップＳ２０３へ進み、そのときのライブビュー画像を用いてユーザに触れられた座標を囲むように指定領域を分割し、当該指定領域と、他の領域の変換増幅器および増幅率等を決定する。なお、指定領域に如何なる変換増幅器を適用するかは、当該領域の輝度分布特性を解析してシステム制御部５０１が決定しても良いし、ユーザがメニュー選択形式により選べるようにしても良い。なお、電荷蓄積時間は、当該ライブビュー画像の輝度分布等の情報を用いて決定すると良い。これらの処理が完了したらステップＳ１０１へ進む。また、ステップＳ２０２で、操作が成されていないと判断した場合は、ステップＳ２０３をスキップしてステップＳ１０１へ進む。

ステップＳ１０２以下の処理は、図９のフローにおいてステップＳ１０３を省いた処理と同様である。ステップＳ１０７における変換増幅器の切り替えは、ユーザが指示した領域に対応する画素に接続された接続スイッチの接続先が変更されることにより実行される。以上のフローによれば、ユーザは、自信の意思に沿った絵作りをアナログ処理の段階から行うことができる。

以上の実施例においては、測光結果およびユーザ指定に基づいて、領域分割および変換増幅特性の選択を行う例を説明したが、領域分割および変換増幅特性の選択は、他にも様々な要素に基づいて行うことができる。例えば、事前に取得した画像に顔領域が含まれていることが検出されれば、当該顔領域を対象領域として領域分割した上で、中間階調がより滑らかに表現される変換特性を適用すれば良い。また、ライブビュー画像取得中などにおいて、演算回路４１５は、引き渡されるデジタル画素信号を逐次監視し、その値の少なくとも一部がそれぞれ黒潰れと白飛びを示すと判断した場合に、それぞれの領域を分割して、変換特性を互いに異なるように変更しても良い。この場合、判断基準は、白飛びと黒潰れが存在するか否かでなくても良く、例えば、単位グループ内の平均値が予め定められた閾値を超えたか否かなどを採用することもできる。

以上説明した各実施形態においては、静止画像を前提として説明したが、もちろんフレームごとに同様の単位制御をおこなうことにより、動画像を生成することもできる。また、デジタルカメラ専用機に限らず、もちろん携帯電話、情報端末、ＰＣ等の電子機器に組み込まれたカメラユニットに対しても上述の処理を実行させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ ＰＤ、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１３１ 単位グループ、２１２ ＣＤＳ回路、２１３ 接続スイッチ回路、２１４ 変換増幅回路、２１５ Ａ／Ｄ変換器、３０２ 転送トランジスタ、３０３ リセットトランジスタ、３０４ 増幅トランジスタ、３０５ 選択トランジスタ、３０６ リセット配線、３０７ ＴＸ配線、３０８ デコーダ配線、３０９ 出力配線、３１０ Ｖｄｄ配線、３１１ 負荷電流源、４１１ マルチプレクサ、４１３ デマルチプレクサ、４１４ 画素メモリ、４１５ 演算回路、４２０ 駆動制御部、４３０ タイミングメモリ、４４１ センサ制御部、４４２ ブロック制御部、４４３ 同期制御部、４４４ 信号制御部、５００ 撮像装置、５０１ システム制御部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５０７ 操作部、５０８ 顔検出部、５１１ 画像処理部、５１２ 演算部、６０１ シャドウ被写体、６０２ 中間被写体、６０３ ハイライト被写体、６０４ 窓枠、６０５ 棚、６１１ シャドウ領域、６１２ 中間領域、６１３ ハイライト領域

Claims (12)

1. 受光量に応じた画素信号を生成する画素部と、
   前記画素信号を変換して出力する、互いに変換特性の異なる複数の変換部と、
   前記複数の変換部のいずれかと前記画素部とを選択的に接続する接続スイッチと、
   前記複数の変換部のうち前記接続スイッチで接続された変換部から出力されたアナログ信号をデジタル信号に変換するＡＤ変換器と
   を備える撮像ユニット。
2. 前記複数の変換部は、複数の前記画素部から構成されるブロックごとに設けられている請求項１に記載の撮像ユニット。
3. 前記画素部を含む撮像チップと、前記複数の変換部を含む信号処理チップとが、積層構造により電気的に接続されている請求項１または２に記載の撮像ユニット。
4. 前記接続スイッチの接続先を制御する制御部を備える請求項１から３のいずれか１項に記載の撮像ユニット。
5. 前記制御部は、予め取得された前記デジタル信号に基づいて前記接続先を制御する請求項４に記載の撮像ユニット。
6. 前記制御部は、複数の前記デジタル信号の少なくとも一部がそれぞれ黒潰れと白飛びを示すと判断した領域に対応する複数の前記画素部に対して設けられた前記接続スイッチの前記接続先を変更する請求項５に記載の撮像ユニット。
7. 前記制御部は、被写体の明るさを測る測光部の測光結果に基づいて前記接続先を制御する請求項４から６のいずれか１項に記載の撮像ユニット。
8. 前記制御部は、ユーザの指示に基づいて接続先を制御する請求項４から７のいずれか１項に記載の撮像ユニット。
9. 前記制御部は、前記ユーザが指示した領域に対応する複数の画素部に対して設けられた接続スイッチの前記接続先を変更する請求項８に記載の撮像ユニット。
10. 前記制御部は、被写体の顔領域を検出する顔検出部の検出結果に基づいて前記接続先を制御する請求項４から９のいずれか１項に記載の撮像ユニット。
11. 請求項１から１０のいずれか１項に記載の撮像ユニットと、
    前記デジタル信号を処理して画像データを生成する画像処理部と
    を備える撮像装置。
12. 受光量に応じた画素信号を生成する画素部に電荷蓄積を実行させる電荷蓄積ステップと、
    前記電荷蓄積により生成された前記画素信号を、互いに変換特性の異なる複数の変換部のいずれかに入力して前記画素信号を変換する変換ステップと、
    前記複数の変換部のうち前記画素信号が入力された変換部から出力されたアナログ信号をデジタル信号に変換するＡＤ変換ステップと
    をコンピュータに実行させる撮像制御プログラム。

Images