JP2017055244A - 固体撮像装置 - Google Patents

Abstract

【課題】ノイズの量の調整により画質を向上可能とする固体撮像装置を提供すること。【解決手段】実施形態によれば、固体撮像装置は、画素領域、出力回路であるノイズ発生回路２１、加算回路である加算器２３、および限定回路であるレベル限定回路２２を備える。画素領域は、画素を備える。画素領域は、画素への入射光量に応じた画素信号を出力する。出力回路は、乱数に応じて出力レベルを変化させた付加信号を出力する。加算回路は、画素信号へ付加信号を加算する。限定回路は、加算回路にて画素信号へ加算させる付加信号を、付加信号の出力レベルに応じて限定する。【選択図】図３

Description

本実施形態は、固体撮像装置に関する。

固体撮像装置による撮像へ影響を及ぼす主なノイズとして、画素に起因する画素系ノイズと、回路に起因する回路系ノイズとが知られている。画素系ノイズには、画素の暗電流に起因して特定の画素に生じる固定パターンノイズと、信号の読み出し時の電気ノイズに起因して各画素にランダムに発生するランダムノイズとがある。画素系ノイズは、画像全体のランダムなざらつきとなって現れるランダムノイズが支配的となる。回路系ノイズは、縦筋あるいは横筋の固定パターンとなって現れる。

従来、画素系ノイズであるランダムノイズと回路系ノイズである固定パターンノイズの出現量のバランスを調整するために、画素信号へランダムノイズを付加する技術が知られている。固体撮像装置は、ノイズの量を調整することで、画質を効果的に向上できることが望まれる。

特開２０１４−１４３４９７号公報

一つの実施形態は、ノイズの量の調整により画質を向上可能とする固体撮像装置を提供することを目的とする。

一つの実施形態によれば、固体撮像装置は、画素領域、出力回路、加算回路および限定回路を備える。画素領域は、画素を備える。画素領域は、画素への入射光量に応じた画素信号を出力する。出力回路は、乱数に応じて出力レベルを変化させた付加信号を出力する。加算回路は、画素信号へ付加信号を加算する。限定回路は、加算回路にて画素信号へ加算させる付加信号を、付加信号の出力レベルに応じて限定する。

図１は、実施形態の固体撮像装置のブロック図である。 図２は、図１に示す固体撮像装置を備えるカメラシステムのブロック図である。 図３は、図１に示すノイズ付加回路のブロック図である。 図４は、図３に示すレベル限定回路の動作を説明する図である。 図５は、図３に示すレベル限定回路における付加信号の限定を行わない場合における信号レベルの分布を示す図である。 図６は、図３に示すレベル限定回路における付加信号の限定を行う場合における信号レベルの分布を示す図である。

以下に図面を参照して、実施形態にかかる固体撮像装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（実施形態）
図１は、実施形態の固体撮像装置のブロック図である。図２は、図１に示す固体撮像装置５を備えるカメラシステムのブロック図である。カメラシステム１は、カメラモジュール２を備える電子機器であって、例えばカメラ付き携帯端末である。カメラシステム１は、デジタルカメラ等の電子機器であっても良い。

カメラシステム１は、カメラモジュール２および後段処理部３を備える。カメラモジュール２は、撮像光学系４および固体撮像装置５を備える。後段処理部３は、イメージシグナルプロセッサ（ＩＳＰ）６、記録部７および表示部８を備える。

撮像光学系４は、被写体からの光を取り込む。撮像光学系４は、被写体像を結像させる撮像レンズ（図示省略）を備える。固体撮像装置５は、被写体像を撮像する。固体撮像装置５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。固体撮像装置５は、ＣＣＤ（Charge Coupled Device）であっても良い。

ＩＳＰ６は、固体撮像装置５からの画像信号への信号処理を実施する。ＩＳＰ６は、デモザイク処理、ホワイトバランス調整、カラーマトリクス処理、ガンマ補正等の各種信号処理を実施する。記録部７は、ＩＳＰ６での信号処理を経た画像を記憶媒体等へ記録する。記録部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。

表示部８は、ＩＳＰ６からの画像信号、あるいは記録部７から読み出された画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。カメラシステム１は、ＩＳＰ６での信号処理を経たデータに基づき、カメラモジュール２のフィードバック制御を実施する。

固体撮像装置５は、画素領域１１、制御回路１２、行走査回路１３、列走査回路１４、カラム処理回路１５および撮像処理回路１６を備える。画素領域１１は、行列状に配列された画素を備える。画素は、光電変換素子であるフォトダイオードを備える。光電変換素子は、入射光量に応じた信号電荷を生成する。画素は、入射光量に応じて生成された信号電荷を蓄積する。画素領域１１は、画素への入射光量に応じた画素信号を出力する。

制御回路１２、行走査回路１３、列走査回路１４、カラム処理回路１５および撮像処理回路１６は、画素領域１１が実装されているチップ上に集積された周辺回路部を構成する。固体撮像装置５の駆動のための各種データおよびクロック信号は、チップ外部のＩＳＰ６から、撮像処理回路１６を経て制御回路１２へ供給される。

制御回路１２は、クロック信号に応じて、周辺回路部の駆動を制御するための各種パルス信号を生成する。制御回路１２は、駆動タイミングを指示するパルス信号を、行走査回路１３、列走査回路１４、カラム処理回路１５および撮像処理回路１６のそれぞれに供給する。

行走査回路１３は、シフトレジスタおよびアドレスデコーダ等を備える。画素駆動回路である行走査回路１３は、画素領域１１の画素へ駆動信号を供給する。制御回路１２は、垂直同期信号に応じたパルス信号を、行走査回路１３へ供給する。行走査回路１３は、画素信号が読み出される画素行を、制御回路１２からのパルス信号に応じて順次選択する。行走査回路１３は、選択された画素行において画素ごとに順次読み出し信号を供給することによる読み出し走査を行う。読み出し信号は、入射光量に応じて生成された画素信号を画素から読み出すための駆動信号である。

行走査回路１３は、画素ごとへの読み出し信号の供給に先行して、各画素へのリセット信号の供給による掃き出し走査を行う。リセット信号は、光電変換素子に残存されている電荷を排出させるための駆動信号である。各画素は、リセット信号が供給されたときから読み出し信号が供給されるまでの間、入射光量に応じて生成された信号電荷を蓄積する。

駆動信号は、行走査回路１３から各画素へ、画素駆動線１７を通じて伝送される。画素駆動線１７は、画素領域１１の画素行ごとに設けられている。画素行は、行方向（水平方向）へ配列された画素からなる。

画素信号は、各画素からカラム処理回路１５へ、垂直信号線１８を通じて伝送される。垂直信号線１８は、画素領域１１の画素列ごとに設けられている。画素列は、列方向（垂直方向）へ配列された画素からなる。

カラム処理回路１５は、垂直信号線１８を伝送した画素信号を、画素列ごとに設けられた単位回路（図示省略）にて処理する。カラム処理回路１５は、画素信号へ、固定パターンノイズの低減のための相関二重サンプリング処理（ＣＤＳ）を施す。カラム処理回路１５は、アナログ信号である画素信号へ、デジタル信号への変換であるＡＤ変換を施す。カラム処理回路１５は、ＣＤＳおよびＡＤ変換以外の処理を実施しても良い。カラム処理回路１５は、ＣＤＳおよびＡＤ変換を経た画素信号を、単位回路ごとに保持する。

列走査回路１４は、シフトレジスタおよびアドレスデコーダ等を備える。制御回路１２は、水平同期信号に応じたパルス信号を、列走査回路１４へ供給する。列走査回路１４は、画素信号を読み出す画素列を、制御回路１２からのパルス信号に応じて順次選択する。カラム処理回路１５は、列走査回路１４による選択走査に応じて、各単位回路に保持されている画素信号を順次出力する。

撮像処理回路１６は、カラム処理回路１５からの画素信号を処理する。撮像処理回路１６は、黒レベル調整回路１９およびノイズ付加回路２０を備える。黒レベル調整回路１９は、画素信号の黒レベルを調整する。黒レベルは、輝度のレベルを階調として表す際の基準とする信号レベルであって、最低階調を表す信号レベルである。

ノイズ付加回路２０は、黒レベル調整回路１９での調整を経た画素信号へ、ランダムノイズ成分を付加する。例えば、画素系ノイズであるランダムノイズと、回路系ノイズである横筋ノイズとは、一般に１５対１の比率で画面に生じた場合に、目視において双方のノイズが目立ちにくくなるとされている。ノイズ付加回路２０は、画素信号へランダムノイズ成分を付加することで、画素系ノイズと回路系ノイズとの出現量のバランスを調整する。画素系ノイズが生じた場合、画素信号のレベルは、画素への入射光に応じたレベルとは異なるレベルとなる。ノイズ付加回路２０は、画素信号へランダムノイズ成分を付加することで、画素系ノイズであるランダムノイズと同様に、画素への入射光に応じたレベルとは異なるレベルの画素信号を生じさせる。

撮像処理回路１６は、黒レベル調整回路１９およびノイズ付加回路２０以外に、信号処理のためのいずれの構成を備えていても良い。撮像処理回路１６は、キズ補正、ガンマ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、歪曲補正、解像度復元等のための構成を備えていても良い。

固体撮像装置５は、撮像処理回路１６での信号処理を経た信号であるＲＡＷ画像信号をチップ外部へ出力する。カメラシステム１は、本実施形態において固体撮像装置５内で実施するものとした信号処理を、画素領域１１と同じチップ上の周辺回路部以外の回路で実施しても良い。信号処理は、周辺回路部に代えて、例えば後段処理部３のＩＳＰ６が実施しても良い。カメラシステム１は、周辺回路部で実施するものとした信号処理を、周辺回路部とＩＳＰ６の双方で実施しても良い。周辺回路部およびＩＳＰ６は、本実施形態で説明する信号処理以外の信号処理を実施しても良い。

図３は、図１に示すノイズ付加回路２０のブロック図である。ノイズ付加回路２０は、ノイズ発生回路２１、レベル限定回路２２、加算器２３、付加制御回路２４、セレクタ２５およびレジスタ２６，２７を備える。ノイズ発生回路２１、レベル限定回路２２、加算器２３、付加制御回路２４およびセレクタ２５は、各種論理回路を適宜組み合わせて構成されている。

ノイズ発生回路２１は、画素信号へ付加されるランダムノイズ成分とする付加信号を出力する出力回路である。ノイズ発生回路２１は、正規分布を持つ乱数を生成する。ノイズ発生回路２１は、生成した乱数に応じて付加信号の出力レベルを変化させる。

レベル限定回路２２は、ノイズ発生回路２１から出力された付加信号のうち、一定範囲の出力レベルの付加信号を通過させ、かかる一定範囲外の出力レベルの付加信号を遮断する。レベル限定回路２２は、加算器２３にて画素信号へ加算させる付加信号を、付加信号の出力レベルに応じて限定する限定回路である。

加算器２３は、ノイズ付加回路２０へ入力された画素信号へ付加信号を加算する加算回路である。加算器２３は、付加信号の加算によりランダムノイズ成分が付加されたノイズ付加信号を出力する。ノイズ付加信号は、付加信号の加算を経た画素信号である付加加算信号である。

セレクタ２５は、付加制御回路２４からの制御信号に応じて、ノイズ付加回路２０へ入力された画素信号と加算器２３からのノイズ付加信号とのいずれかを選択する選択回路である。付加制御回路２４は、セレクタ２５へ供給する制御信号を生成する。ノイズ付加回路２０は、セレクタ２５で選択された信号を出力する。

第１レジスタ２６は、付加信号の出力レベルの範囲に関するレベル情報を保持する記憶素子である。レベル情報は、固体撮像装置５の製造時にレジスタ２６へ登録される。第１レジスタ２６に格納されるレベル情報は、カメラシステム１への設定操作あるいは撮像モード等に応じて変更可能であっても良い。レベル限定回路２２は、第１レジスタ２６に登録されているレベル情報を基に、ノイズ発生回路２１からの付加信号の通過および遮断を判断する。

第２レジスタ２７は、画素信号へランダムノイズ成分を付加する画素の数に関する個数情報を保持する記憶素子である。個数情報は、固体撮像装置５の製造時に第２レジスタ２７へ登録される。第２レジスタ２７に格納されるレベル情報は、カメラシステム１への設定操作あるいは撮像モード等に応じて変更可能であっても良い。

付加制御回路２４は、第２レジスタ２７に登録されている個数情報を基に、フレーム当たりにあらかじめ設定された数のノイズ付加信号を選択するための制御信号を生成する。付加制御回路２４は、乱数を生成する。生成した乱数に応じて、ノイズ付加信号を選択するタイミングをランダムに変化させるための制御信号を生成する。

セレクタ２５は、付加制御回路２４からの制御信号に応じて、フレーム当たりに、あらかじめ設定された数のノイズ付加信号を、乱数に応じたタイミングで選択する。なお、ノイズ付加回路２０に備えられる記憶素子は、第１レジスタ２６および第２レジスタ２７に限られず、メモリであっても良い。これにより、ノイズ付加回路２０は、あらかじめ設定された数のランダムノイズを、フレームごとに位置をランダムに変化させて画像に付与することができる。

図４は、図３に示すレベル限定回路２２の動作を説明する図である。図４に示す曲線は、ノイズ発生回路２１から出力される付加信号の出力レベルの分布を表すグラフである。グラフの横軸は出力レベルを表す。グラフの縦軸は頻度を表す。付加信号のレベルの分布は、正規分布となる。ノイズ発生回路２１は、正規分布においてランダムに変化する付加信号を出力する。

図４に示す出力レベル「０」は、ノイズ発生回路２１から出力される付加信号の基準レベルを表している。出力レベルは、「０」からプラス側へ離れた値であるほど基準レベルに比べて高く、「０」からマイナス側へ離れた値であるほど基準レベルに比べて低いものとする。図４のグラフによると、ノイズ発生回路２１は、基準レベルの付加信号を最も高い頻度で出力する。付加信号の頻度は、基準レベルから高レベル側および低レベル側へ離れるにしたがって漸次低下する。

レベル限定回路２２は、ノイズ発生回路２１からの付加信号のうち、レベル範囲＋Ａ１〜＋Ａ２内の出力レベルの付加信号と、レベル範囲−Ａ１〜−Ａ２内の出力レベルの付加信号とを加算器２３へ出力する。レベル限定回路２２は、レベル範囲＋Ａ１〜＋Ａ２，−Ａ１〜−Ａ２以外の出力レベルの付加信号を遮断する。この例では、レベル限定回路２２は、加算器２３へ出力する付加信号を、出力レベルの絶対値がＡ１以上かつＡ２以下である付加信号に限定する。

第１レジスタ２６は、例えば、付加信号のレベル範囲に関するレベル情報として、Ａ１およびＡ２の値を保持する。レベル限定回路２２は、第１レジスタ２６にあらかじめ登録されたＡ１およびＡ２の値を基に、ノイズ発生回路２１からの付加信号の出力レベルがレベル範囲＋Ａ１〜＋Ａ２，−Ａ１〜−Ａ２に含まれるか否かを判断する。

第１レジスタ２６は、レベル情報として少なくともＡ１を保持すれば良い。レベル限定回路２２は、出力レベルの絶対値がＡ１より小さい付加信号を遮断することで、加算器２３へ出力する付加信号を限定しても良い。レベル限定回路２２は、出力レベルの絶対値が所定の閾値であるＡ１を超える付加信号を加算器２３へ出力するものであれば良い。

次に、ノイズ付加回路２０によるランダムノイズ成分の付加について、レベル限定回路２２における付加信号の限定を行う場合と行わない場合とを比較して説明する。図５は、図３に示すレベル限定回路２２における付加信号の限定を行わない場合における信号レベルの分布を示す図である。図６は、図３に示すレベル限定回路２２における付加信号の限定を行う場合における信号レベルの分布を示す図である。

図５および図６は、画面全体で最低階調の輝度情報が取り込まれたときにおける画素信号のレベルの分布を示している。かかる分布には、画素領域１１に配列された全ての有効画素からの画素信号についてのデータが含まれるものとする。有効画素は、被写体からの光を取り込み可能に構成された画素である。グラフの横軸は信号のレベルを表す。グラフの縦軸は頻度を表す。

図５に示すＤ０は、ランダムノイズ成分とする付加信号が付加される前の画素信号のレベルの分布を表すグラフである。画素信号のレベルの分布は、通常、正規分布となる。Ｌ０は、黒レベル基準値であって、正規分布の中央値となる。黒レベル基準値は、黒レベル調整回路１９での黒レベル調整の目標値であって、例えば６４ＬＳＢである。最低階調の輝度情報に対して画素信号のレベルが黒レベル基準値となるように各画素を一律に駆動しても、画素ごとの信号出力において生じる若干の変動により、画素ごとの画素信号のレベルに差が生じることとなる。

レベル限定回路２２における付加信号の限定を行わない場合、ノイズ付加回路２０は、乱数に応じてレベルを変化させたランダムノイズ成分を、レベルに関わらず画素信号へ付加する。ノイズ付加回路２０は、Ｄ０の分布をなす画素信号に対して、ランダムノイズ成分が付加されたノイズ付加信号と、ランダムノイズ成分が付加されなかった画素信号とを出力する。Ｄ１は、ノイズ付加回路２０から出力された画素信号およびノイズ付加信号についてのレベルの分布を表すグラフである。

ノイズ発生回路２１から出力されるあらゆるレベルの付加信号が画素信号へ付加されることで、ノイズ付加信号のレベルは、付加信号が付加される前と比べて広いレベル範囲に分布することになる。ノイズ付加信号が出力されることで、Ｄ１は、Ｄ０に比べて横に広げられた正規分布となる。正規分布の中央値はＬ０のままとなる。Ｄ１とＤ０とでは分布母数は同じであるため、Ｄ１の分布が広い出力レベル範囲に広がった分、Ｄ１の分布におけるＬ０の頻度は、Ｄ０の分布におけるＬ０の頻度に比べて低くなる。

Ｄ１の分布によると、黒レベル基準値に近いレベルにおいて比較的高い頻度でノイズ付加信号が出現する。ランダムノイズ成分の付加前のピークに近いレベルのランダムノイズが高い頻度で現れることで、同じ色の部分にノイズの粒が多く見えるようになり、ランダムノイズが目立ち易くなる。ランダムノイズおよび固定パターンノイズが良好なバランスとなるようにランダムノイズの数が調整されても、目立つランダムノイズが増加することで画質は劣化することになる。このため、ノイズのバランス調整のためにノイズ成分を付加したことによる画質向上の効果が低減する場合がある。

一方、付加信号の限定を行うケースでは、ノイズ付加回路２０は、ノイズ発生回路２１から入力された付加信号のうち、一定範囲の出力レベルの付加信号を画素信号へ加算する。図６に示すＤ２は、ノイズ付加回路２０から出力された画素信号およびノイズ付加信号についてのレベルの分布を表す。図６に示すＤ０は、図５に示すＤ０と同じとする。また、図６において、図５に示すＤ１を参考として示している。

加算器２３へ入力される付加信号は、図４に示すようにレベル範囲＋Ａ１〜＋Ａ２，−Ａ１〜−Ａ２内の出力レベルの付加信号に限定される。Ｄ２のうち高レベル側の裾部分と低レベル側の裾部分とには、それぞれ頻度が高くなる山部分が生じる。レベル範囲−Ａ１〜＋Ａ１内の出力レベルの付加信号が画素信号へ加算されないことで、Ｄ２のうちＬ０を含む中央部は、Ｄ０とほぼ同じ正規分布が維持される。Ｄ２の分布におけるＬ０の頻度は、Ｄ０の分布におけるＬ０の頻度に比べて低くなる。

Ｄ２の分布では、Ｄ１の分布と比べて、黒レベル基準値に近いレベルにおける頻度が低下している。また、Ｄ２の分布では、Ｄ１の分布と比べて、ランダムノイズ成分の付加前のピークから離れたレベルのランダムノイズの頻度が高くなる。ノイズ付加回路２０は、レベル限定回路２２で付加信号を限定しない場合に比べて、正規分布の中央値付近のノイズの頻度を低下させ、正規分布の中の裾部分となるレベル範囲へノイズを分散させる。これにより、同じ色の部分におけるノイズの粒を少なくさせ、ランダムノイズを目立ちにくくさせる。

ノイズ付加回路２０は、ランダムノイズおよび固定パターンノイズが良好なバランスとなるようにランダムノイズの数を調整し、かつ目立つランダムノイズを低減できる。固体撮像装置５は、ノイズのバランス調整のためにノイズ成分を付加したことによる画質向上の高い効果を得ることができる。

実施形態によると、レベル限定回路２２は、加算器２３にて画素信号へ加算させる付加信号を、付加信号の出力レベルに応じて限定する。固体撮像装置５は、ランダムノイズ成分の付加前のピークに近いレベルのランダムノイズの頻度を低下させることで、ランダムノイズを目立ちにくくさせ、画質向上の高い効果を得ることができる。これにより、固体撮像装置５は、ノイズの量の調整により画質を向上させる効果を得ることができる。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５ 固体撮像装置、１１ 画素領域、２０ ノイズ付加回路、２１ ノイズ発生回路、２２ レベル限定回路、２３ 加算器、２４ 付加制御回路、２５ セレクタ。

Claims (5)

1. 画素を備え、前記画素への入射光量に応じた画素信号を出力する画素領域と、
   乱数に応じて出力レベルを変化させた付加信号を出力する出力回路と、
   前記画素信号へ前記付加信号を加算する加算回路と、
   前記加算回路にて前記画素信号へ加算させる前記付加信号を、前記付加信号の出力レベルに応じて限定する限定回路と、を備えることを特徴とする固体撮像装置。
2. 前記限定回路は、前記出力回路からの前記付加信号のうち、閾値を超える出力レベルの付加信号を前記加算回路へ出力することを特徴とする請求項１に記載の固体撮像装置。
3. 前記限定回路は、前記出力回路からの前記付加信号のうち、あらかじめ設定された範囲の出力レベルの付加信号を前記加算回路へ出力することを特徴とする請求項１に記載の固体撮像装置。
4. 前記画素信号と、前記加算回路での前記付加信号の加算を経た画素信号である付加加算信号と、のいずれかを選択する選択回路を備え、
   前記選択回路は、フレーム当たりに、あらかじめ設定された数の前記付加加算信号を、乱数に応じたタイミングで選択することを特徴とする請求項１から３のいずれか一項に記載の固体撮像装置。
5. 前記出力回路は、正規分布を持つ乱数に応じて前記出力レベルを変化させることを特徴とする請求項１から４のいずれか一項に記載の固体撮像装置。

Images