JP2011216956A - 信号処理装置、撮像装置、信号処理方法、およびプログラム - Google Patents

Abstract

【課題】光電変換により生成された複数の輝度値を含む画像の撮像信号において、太陽などの高輝度被写体の色または輝度の値を補正する。
【解決手段】信号処理装置４は、光電変換により生成された複数の輝度値を含む画像の撮像信号が入力される入力部６１と、撮像信号の画像において輝度値が判定値Ｓｏｐｂ以下となっている高輝度部分を判断する判断部６３と、高輝度部分の輝度値を、判定値Ｓｏｐｂより大きい輝度値に補正する補正部６３とを有する。
【選択図】図１２

Description

本発明は、光電変換により生成された複数の輝度値を含む画像の撮像信号を用いる信号処理装置、撮像装置、信号処理方法、およびプログラムに関する。

撮像装置は、被写体の光を固体撮像装置により光電変換することにより、複数の輝度値を含む画像の撮像信号を生成する。
この光電変換に用いられる固体撮像装置には、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどがある。ＣＭＯＳイメージセンサは、ＣＭＤ（Charge Modulation Device）イメージセンサの一種である。また、増幅型イメージセンサには、ＣＭＤ型の他に、ＳＩＴ（Static Induction Transistor）型、ＡＭＩ（Amplified MOS Intelligent imager）型、ＢＡＳＩＳ（BASe-stored Image Sensor）型、ＦＧＡ（Floating Gate Amplifier）型などがある。

特開２００７−１０４２４０号公報

しかしながら、固体撮像装置は、二次元に配列された複数のフォトダイオードを有し、この複数のフォトダイオードから画素信号を読み出すことにより、撮像する画像についての二次元分布の複数の画素値を得ている。
このため、たとえば太陽などの高輝度の被写体を撮像した場合、その高輝度の被写体の色が適切な輝度または色（たとえば白色や黄色）とならないことがある（特許文献１）。

たとえばＣＣＤイメージセンサでは、フォトダイオードに太陽の強い光が入射すると、電荷蓄積容量を超える電荷がフォトダイオードで発生し、フォトダイオードからフローティングダイオードへ電荷が溢れ出て、輝度値が変化してしまう。
また、ＣＭＯＳイメージセンサなどのＣＭＤイメージセンサでは、画素アレイ部に配列される各画素回路が、フォトダイオードとともにフローティングディフージョン（ＦＤ）を有する。また、ＣＭＤイメージセンサでは、リセット後に各フォトダイオードに蓄積された電荷をＦＤへ転送し、リセット後のＦＤの電圧レベルと電荷転送後のＦＤの電圧レベルとの差分により各画素回路の画素信号を得ている。なお、この差分演算は、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）演算と呼ばれている。
そして、ＣＭＤイメージセンサでは、リセット期間中に画素アレイ部に太陽の強い光が入射すると、リセット後のＦＤの電圧レベルが変動し、差分演算後の輝度値が変化してしまう。このようなリセットレベルの変動が生じると、本来高輝度で白色または黄色の輝度値となるはずの太陽の色が黒色の輝度値になることがある。
このような原因により、固体撮像装置は、光電変換処理により、太陽などの高輝度の被写体の色として、被写体本来の色を得ることができないことがある。

このような高輝度被写体の色変化を固体撮像装置において防止するためには、たとえば以下の方法が考えられる。
たとえばＣＣＤイメージセンサでは、複数のフォトダイオードが配列される受光画素アレイ部に、列毎の読出しに使用するフローティングダイオードが配置されている。
このため、ＣＣＤイメージセンサでは、各フォトダイオードに電荷を蓄積する期間においてフローティングダイオードの蓄電電荷を検出し、所定の電荷が検出された場合には太陽などの高輝度の被写体が写っていると判断して補正すればよい。
また、ＣＭＯＳイメージセンサでは、リセット処理直後のＦＤのリセットレベルをカウンタでラッチし、リセット期間が終了して読出期間となるまでカウンタに当該検出レベルのデータを保持させればよい。これにより、リセット期間中に太陽などの光によりリセットレベルが変動したとしても、その影響を受けていないリセットレベルを用いてＣＤＳ演算し、適切な輝度値を得ることができる（特許文献１）。

しかしながら、このように固体撮像装置の画素アレイ部の特定の構造や特定の演算処理方法を利用して高輝度被写体の色または輝度を補正する場合、固体撮像装置の構造が複雑になったり、撮像装置として当該特定の固体撮像装置を使用したりする必要がある。

このように撮像装置などでは、光電変換により生成された複数の輝度値を含む画像の撮像信号において、太陽などの高輝度被写体の色または輝度の値を補正することが望まれている。

本発明の第１の観点の信号処理装置は、光電変換により生成された複数の輝度値を含む画像の撮像信号が入力される入力部と、撮像信号の画像において輝度値が判定値以下となっている高輝度部分を判断する判断部と、高輝度部分の輝度値を、判定値より大きい輝度値に補正する補正部とを有する。

第１の観点では、光電変換により生成された画像に、高い輝度値となっていない高輝度部分が含まれる場合、その高輝度部分を判断して高い輝度値に補正することができる。
よって、太陽などの高輝度の被写体が画像に含まれ、その高輝度の被写体の部分の値が光電変換において高い輝度値へ変換されていない場合であっても、当該高輝度部分の輝度値を高い輝度値に補正することができる。

本発明の第２の観点の撮像装置は、光電変換処理により複数の輝度値を含む画像の撮像信号を生成する固体撮像部と、撮像信号が入力される信号処理部とを有する。信号処理部は、撮像信号の画像において輝度値が判定値以下となっている高輝度部分を判断する判断部と、高輝度部分の輝度値を、判定値より大きい輝度値に補正する補正部とを有する。

本発明の第３の観点の信号処理方法は、光電変換により生成された複数の輝度値を含む画像の撮像信号において、輝度値が判定値以下となっている高輝度部分を判断する判断ステップと、高輝度部分の輝度値を、判定値より大きい輝度値に補正する補正ステップとを有する。

本発明の第４の観点のプログラムは、光電変換により生成された複数の輝度値を含む画像の撮像信号が入力される入力部に接続された処理部により実行され、処理部に、撮像信号の画像において輝度値が判定値以下となっている高輝度部分を判断する判断手順と、高輝度部分の輝度値を、判定値より大きい輝度値に補正する補正手順とを実行させる。

本発明では、光電変換により生成された複数の輝度値を含む画像の撮像信号において、太陽などの高輝度被写体の色または輝度を適切な値に補正することができる。

図１は、本発明の実施形態に係る撮像装置の構成図である。 図２は、図１の固体撮像装置（ＣＭＯＳイメージセンサ）のブロック図である。 図３は、図２の画素アレイ部の遮光状態の説明図である。 図４は、図２の画素アレイ部のカラーフィルタの説明図である。 図５は、図２の画素回路の回路図である。 図６は、画素回路からの読出し動作（一例）のタイミングチャートである。 図７は、図２のカラム処理部の読出し動作におけるカウント動作の説明図である。 図８は、図２の画素回路の断面図である。 図９は、太陽光などが入射している場合でのＦＤ部のリセットレベルの変動の説明図である。 図１０は、図１の信号処理部のブロック図である。 図１１は、図１０のＣＰＵにより実行されるＲＡＷ画像データ補正処理のフローチャートである。 図１２は、図１１の太陽黒点補正処理の詳細なフローチャートである。 図１３は、ＲＡＷ画像データについての黒点補正処理の一例の説明図である。

以下、本発明の実施の形態を図面に関連付けて説明する。
説明は以下の順に行う。
１．撮像装置の構成と動作
２．固体撮像装置の構成
３．太陽などの高輝度による画素値変動の説明
４．信号処理部の構成
５．信号処理部による補正動作

［１．撮像装置１の構成と動作］
図１は、本発明の実施形態に係る撮像装置１の構成図である。
図１の撮像装置１は、光学系２と、固体撮像装置３と、信号処理部４とを有する。

光学系２は、被写体からの像光（入射光）を固体撮像装置３に結像させる。
固体撮像装置３は、光学系２により導かれた光を受光する画素アレイ部１１に、複数のフォトダイオード４１（画素回路１９）が二次元に配列されている。
そして、固体撮像装置３は、この複数のフォトダイオード４１（画素回路１９）から画素信号を読み出すことにより、被写体の像光を光電変換した複数の画素値（輝度値）を得る。複数の画素値により、撮像した被写体の画像の情報が構成される。
また、固体撮像装置３は、複数の画素値を含むＲＡＷ画像データ（撮像データ）を生成して出力する。
信号処理部４は、固体撮像装置３に接続される。
そして、信号処理部４は、入力されたＲＡＷ画像データに含まれる複数の画素値に基づいて、太陽などの高輝度被写体の黒色に変色した部分を補正する。
また、信号処理部４は、補正後のＲＡＷ画像データから、フルカラーの画像データを生成し、このフルカラーの画像データを含む映像信号を出力する。
なお、このフルカラーの画像データを含む映像信号は、たとえば撮像装置１の図示しない表示部に表示されたり、撮像装置１の図示しない記憶部に保存されたりする。

［２．固体撮像装置３の構成］
図２は、図１の固体撮像装置（ＣＭＯＳイメージセンサ）３のブロック図である。
図２の固体撮像装置３は、画素アレイ部１１、カラム処理部１２、水平出力線１３、出力部（ＯＵＴ）１４、タイミング制御回路１５、行走査回路１６、ＤＡＣ（DA Convertor）１７、列走査回路１８を有する。
これらの回路は、固体撮像装置３の半導体基板５１上に、たとえば図２のレイアウトにより実装される。

画素アレイ部１１は、半導体基板５１の一面に二次元配列された複数の画素回路１９を有する。光学系２は、この半導体基板５１の一面に、入射光を結像させる。
また、画素アレイ部１１には、複数の行選択信号線２０、複数の列出力信号線２１などの複数種類の信号線が配線される。
行選択信号線２０は、複数の画素回路１９に対して１行毎に接続される。
列出力信号線２１は、複数の画素回路１９に対して１列毎に接続される。

図３は、図２の画素アレイ部１１の遮光状態の説明図である。
図３において、画素アレイ部１１の上部２６は、半導体基板５１上の配線層などにより、遮光されている。これにより、上部２６に配列された複数の画素回路１９は、遮光される。
このように遮光された画素回路１９は、受光しない場合の画素信号（ＯＰＢ：OPtical Black）を出力する。
また、図３において、画素アレイ部１１の下部２７は、遮光されていない。下部２７の画素回路１９は、受光光量に応じたレベルの画素信号を出力する。
そして、受光光量に応じた画素信号のレベルは、そのレベルが受光光量に応じた正常なものである場合、受光しない画素信号のレベルより必ず高くなる。

図４は、図２の画素アレイ部１１と重ねて配置されるカラーフィルタ３１の説明図である。
図４は、２行２列の４個の画素回路１９についてのカラーフィルタ３１である。
図４のカラーフィルタ３１は、ベイヤー配列のものであり、図４の１行目の２個の画素回路１９に対して、緑色フィルタ（Ｇｒ）と青色フィルタ（Ｂ）とが配置されている。また、２行目の２個の画素回路１９に対して赤色フィルタ（Ｒ）と緑色フィルタ（Ｇｂ）とが配置される。
図４のカラーフィルタ３１は、図１の複数の画素回路１９に対して繰り返しパターンとして配置される。
これにより、緑色フィルタが配置された画素回路１９は、入射光の緑色成分の画素信号を出力する。青色フィルタが配置された画素回路１９は、入射光の青色成分の画素信号を出力する。赤色フィルタが配置された画素回路１９は、入射光の赤色成分の画素信号を出力する。

図５は、図２の画素回路１９の回路図である。
図５の画素回路１９は、フォトダイオード（光電変換素子）４１、転送トランジスタ４２、フローティングディフュージョン部（ＦＤ部）、増幅トランジスタ４３、選択トランジスタ４４、リセットトランジスタ４５を有する。

フォトダイオード４１は、アノードが半導体基板５１のグランドに接続される。フォトダイオード４１は、光を受光すると、受光した光量（輝度）に応じた電荷を生成する。

転送トランジスタ４２は、たとえばＮＭＯＳ（Metal Oxide Semiconductor）トランジスタである。転送トランジスタ４２は、フォトダイオード４１のカソードとＦＤ部との間に接続され、ゲート電極が転送制御線４６に接続される。転送トランジスタ４２は、転送制御線４６から転送ゲートパルスが与えられると、オン状態となる。
増幅トランジスタ４３は、ゲート電極がＦＤ部に接続され、ソースが列出力信号線２１に接続されたソースフォロア回路構成となっている。なお、列出力信号線２１には、定電流源４８が接続されている。
選択トランジスタ４４は、ドレイン電極が電源ＶＤＤに接続され、ソース電極が増幅トランジスタ４３のドレイン電極に接続され、ゲート電極が行選択信号線２０に接続される。選択トランジスタ４４は、行選択信号線２０から選択パルスが与えられると、オン状態となる。
リセットトランジスタ４５は、ドレイン電極が電源Ｖｄｄに接続され、ソース電極がＦＤ部に接続され、ゲート電極がリセット制御線４７に接続される。リセットトランジスタ４５は、リセット制御線４７からリセットパルスが与えられると、オン状態となる。

そして、図５の画素回路１９では、たとえば転送トランジスタ４２およびリセットトランジスタ４５を共にオン状態とすることで、フォトダイオード４１およびＦＤ部をリセットすることができる。
また、図５の画素回路１９では、たとえば転送トランジスタ４２をオン状態として、リセット後にフォトダイオード４１に蓄積された電荷をＦＤ部へ転送する。さらに選択トランジスタ４４をオン状態とすることで、増幅トランジスタ４３により、列出力信号線２１をＦＤ部の転送電荷量に応じた電圧レベルに制御することができる。

図２の説明に戻る。
ＤＡＣ１７は、タイミング制御回路１５に接続される。
そして、ＤＡＣ１７は、タイミング制御回路１５からのタイミング信号を基準として、電圧レベルが時間と共に階段状に変化するランプ信号を出力する。

カラム処理部１２は、ＤＡＣ１７および列出力信号線２１に接続された複数のカラム処理回路１２−１〜１２−ｍを有する。
そして、カラム処理回路１２−１〜１２−ｍは、比較器２２、論理積回路２３、カウンタ２４、メモリ２５を有する。

比較器２２は、ＤＡＣ１７と、１本の列出力信号線２１とに接続される。
そして、比較器２２は、ＤＡＣ１７のランプ信号と列出力信号線２１の電圧レベルとを比較し、それらの電圧関係に応じた比較信号を出力する。
たとえば比較器２２は、列出力信号線２１の電圧レベルがランプ信号より低い場合にはハイレベルの比較信号を出力し、列出力信号線２１の電圧レベルがランプ信号より高い場合にはローレベルの比較信号を出力する。

論理積回路２３は、比較器２２とタイミング制御回路１５とに接続される。
そして、論理積回路２３は、比較器２２からハイレベルの信号が入力されると、タイミング制御回路１５のクロック信号を出力し、ローレベルの信号が入力されると、タイミング制御回路１５のクロック信号をマスクする。

カウンタ２４は、論理積回路２３に接続される。
そして、カウンタ２４は、論理積回路２３から入力されるクロック信号の個数を、カウントアップまたはカウントダウンによりカウントする。

メモリ２５は、カウンタ２４に接続される。
そして、メモリ２５は、カウンタ２４のカウント値を記憶する。

図６は、画素回路１９からの読出し動作（一例）のタイミングチャートである。図６は、リセット期間（Ｐ相）の後に、信号読出し期間（Ｄ相）がある例である。
図６（Ａ）は、ＤＡＣ１７のランプ信号と列出力信号線２１の電圧レベルの波形図である。図６（Ｂ）は、比較器２２の出力信号波形である。図６（Ｃ）は、タイミング制御回路１５が出力するクロック信号の波形である。図６（Ｄ）は、カウンタ２４に入力されるクロック信号の波形である。

そして、図６のタイミングＴ１において、タイミング制御回路１５がクロック信号を出力し始めると、カウンタ２４にクロック信号が入力される。
また、図６のタイミングＴ２において、列出力信号線２１の電圧レベルがランプ信号より高くなると、比較器２２の出力信号はローレベルとなり、カウンタ２４へのクロック信号入力が停止する。
この動作により、カラム信号処理部４は、各画素回路１９から出力されたリセットレベルをデジタル値（カウント値）へ変換する。
また、タイミングＴ４からＴ６における同様の動作により、カラム信号処理部４は、各画素回路１９から出力された画素レベルをデジタル値（カウント値）へ変換する。
カウント値は、メモリ２５に保存される。

図２の行走査回路１６は、複数の行選択信号線２０と、タイミング制御回路１５に接続される。
そして、行走査回路１６は、タイミング制御回路１５からのタイミング信号を基準として、複数の行選択信号線２０を順番に選択し、選択した行選択信号線２０へパルス信号を出力する。
これにより、複数のカラム処理回路１２−１〜１２−ｍのメモリ２５には、複数の画素回路１９のカウント値が、１行ずつ順番に格納される。

水平出力線１３は、複数のカラム処理回路１２−１〜１２−ｍと、出力部１４とに接続される。
列走査回路１８は、複数のカラム処理回路１２−１〜１２−ｍのメモリ２５と、タイミング制御回路１５とに接続される。

そして、複数のカラム処理回路１２−１〜１２−ｍのメモリ２５は、列走査回路１８からのタイミング信号に基づいて、順番に、各画素回路１９の輝度に応じたカウント値を出力する。
また、タイミング制御回路１５により、列走査回路１８と行走査回路１６とはタイミングを合わせて動作する。
その結果、出力部１４からは、複数の画素回路１９の輝度に応じた複数の画素値を、画素アレイ部１１での配列順に含むＲＡＷ画像データの信号（撮像信号）が出力される。

［３．太陽などの高輝度による画素値変動の説明］
図７は、図２のカラム処理部１２の実際の読出し動作におけるカウンタ２４のカウント動作の説明図である。

そして、図７に示すように、図２のカラム処理部１２は、実際には図６と異なり、まず信号読出し期間（Ｄ相）において各画素回路１９の信号レベルを読み出した後、リセット期間（Ｐ相）において各画素回路１９のリセットレベルを読み出す。

また、図７の例では、カウンタ２４は、信号レベルの読出し期間においてクロック信号の個数をたとえばアップカウントし、リセットレベルの読出し期間においてクロック信号の個数をダウンカウントする。
そして、カウンタ２４は、リセットレベルの読出し期間により得たカウント値を、メモリ２５に記憶させる。メモリ２５のカウント値は、リセット期間（Ｐ相）に続く出力期間において、水平出力線１３に読み出される。

このようにカウンタ２４が、信号レベルの読出し期間においてアップカウントし、リセットレベルの読出し期間においてダウンカウントすることにより、カウンタ２４は、画素回路１９の画素信号レベルに対応するカウント値（デジタル値）を得ることができる。このカウント値は、画素回路１９の画素値として利用することができる。

図８は、図２の画素回路１９の断面図である。
図８のＰ型半導体基板５１の一面には、フォトダイオード４１のｎ型領域５２と、ＦＤ部のｎ型領域５３とが、転送トランジスタ４２のゲート領域５４を挟んで、並んでいる。

図８において、フォトダイオード４１のｎ型領域５２に太陽などによる強い光が入射すると、ｎ型領域５２とＰ型基板５１との界面において電荷と正孔とが大量に発生する。このため、発生した一部の電荷がゲート領域５４を超えて、ＦＤ部のｎ型領域５３に入る。

図９は、太陽光などが入射している場合でのＦＤ部のリセットレベルの変動の説明図である。
図９（Ａ）は、画素回路１９への選択信号である。図９（Ｂ）は、画素回路１９へのリセットパルス信号である。図９（Ｃ）は、画素回路１９への転送パルス信号である。図９（Ｄ）は、画素回路１９のＦＤ部の電圧レベルである。図９（Ｅ）は、列出力信号線２１の電圧レベルである。

そして、選択信号がハイレベルにアサートされ、リセットパルス信号が入力されると、画素回路１９のＦＤ部はリセットされる。

しかしながら、太陽光などが入射している場合、ＦＤ部のリセット電圧レベルは、図９（Ｄ）に示すようにリセット期間の間に低下する。
また、列出力信号線２１の電圧レベルも、図９（Ｅ）に示すように同様に低下する。リセット期間の終了時には、リセットの値が大きくなる。
その結果、図７の点線に示すようにＣＤＳ演算後の各画素回路１９の画素値が小さくなる。
そして、太陽などの高輝度被写体の画像内に、画素値が小さくなった黒点部分が発生することになる。

ところで、本実施形態の固体撮像装置３では、図７のようにＤ相の後にＰ相の読み出しを実行する。
この場合、固体撮像装置３のカラム処理部１２などのアナログ回路において、太陽などの高輝度部分の黒点対策が不可能である。
たとえばＤ相の後にＰ相の読み出しを実行した場合、Ｐ相の直後に画素値の出力期間がくる。その結果、Ｐ相においてリセットレベルの変動を検出したとしても、その変動に基づいて画素値を修正する処理を実行するための期間を確保することができない。
これに対して、図６のようにＰ相の後にＤ相の読み出しを行なう場合、Ｄ相の期間を使って、Ｐ相において検出したリセットレベルの変動に基づいて、画素値を修正する処理を実行することが可能である。

［４．信号処理部４の構成］
図１０は、図１の信号処理部４のブロック図である。
図１０の信号処理部４は、入出力部（Ｉ／Ｏ）６１、メモリ（ＭＥＭ）６２、ＣＰＵ（Central Processing Unit：中央処理装置）６３、ＲＯＭ（Read Only Memory：読出専用メモリ）６４、およびこれらを接続するバス６５を有する。

入出力部６１は、固体撮像装置３などに接続される。
そして、入出力部６１には、固体撮像装置３からＲＡＷ画像データの信号（撮像信号）が入力される。

メモリ６２は、たとえばＲＡＭ（Random Access Memory）、不揮発性メモリなどである。なお、メモリ６２は、撮像装置１に対して着脱可能であってもよい。
そして、メモリ６２は、入出力部６１に入力された撮像信号に含まれるＲＡＷ画像データを記憶する。
これにより、メモリ６２には、固体撮像装置３で撮像された画像についての複数の画素値を記憶する。

ＲＯＭ６４は、不揮発性メモリ、ハードディスクドライブなどである。
そして、ＲＯＭ６４は、ＣＰＵ６３が読み込んで実行するプログラム、当該プログラムの実行に使用するデータなどを記憶する。
なお、このＲＯＭ６４に記憶されるプログラムおよびデータは、撮像装置１の出荷前にＲＯＭ６４に記憶されたものであってもよいが、撮像装置１の出荷後にＲＯＭ６４に記憶されたものであってもよい。
また、出荷後にＲＯＭ６４に記憶されるプログラムおよびデータは、たとえばコンピュータ読み取り可能な記録媒体に記憶されていたものであっても、インターネットなどの伝送媒体を通じてダウンロードされたものであってもよい。

ＣＰＵ６３は、ＲＯＭ６４に記憶されたプログラムを読み込んで実行する。これにより、ＣＰＵ６３には、処理部６６が実現される。
そして、処理部６６は、たとえばメモリ６２に記憶されているＲＡＷ画像データについて、太陽などによる高輝度部分の画像を補正する処理、補正した撮像画像からフルカラー画像を生成する処理などを実行する。

［５．信号処理部４による補正動作］
図１１は、図１０のＣＰＵ６３（処理部６６）により実行されるＲＡＷ画像データ補正処理のフローチャートである。

図１１のステップＳＴ１に示すように、処理部６６は、まず、ＲＡＷ画像データの入力待ち状態となる。
そして、たとえば入力部から入力されたＲＡＷ画像データがメモリ６２に保存されると、処理部６６は、ＲＡＷ画像データの入力待ち状態から抜け出す。

ＲＡＷ画像データが入力されると、処理部６６は、ＲＡＷ画像データの画像についての太陽などの高輝度部分の補正処理を実行する（ステップＳＴ２）。
具体的には、処理部６６は、ＲＡＷ画像データに含まれる複数の画素値に基づいて、画像中の高輝度部分を判断し、高輝度部分の画素値を当該画素値がとり得る最大値に置き換える補正処理を実行する。

太陽などの高輝度部分の画素値を補正した後、処理部６６は、補正後のＲＡＷ画像データから、フルカラー画像データを生成する（ステップＳＴ３）。
具体的には、処理部６６は、デモザイク処理により、フルカラー画像データを生成する。
処理部６６は、たとえば各画素回路１９を１画素とし、全体の色調や明るさを補正しながら、各画素の赤色成分の画素値、緑色成分の画素値、および青色成分の画素値を生成する。
そして、処理部６６は、生成したフルカラー画像データをメモリ６２に保存する。

次に、処理部６６は、メモリ６２に保存されたフルカラー画像データを入出力部６１から外部へ出力させる（ステップＳＴ４）。

図１２は、図１１の太陽黒点補正処理ステップＳＴ２の詳細なフローチャートである。

図１２では、処理部６６は、まず、太陽などの高輝度被写体の部分を判断するための判定値を取得する（ステップＳＴ１０）。
具体的には、処理部６６は、メモリ６２に保存されたＲＡＷ画像データから、遮光された複数の画素回路１９の画素値ＯＰＢを抽出し、その平均値を演算する。
そして、この平均値を判定値Ｓｏｐｂとする。判定値Ｓｏｐｂの値は、たとえば１０である。

次に、処理部６６は、メモリ６２に保存されたＲＡＷ画像データから、撮像した画像部分において互いに隣接する複数の画素回路１９の画素値を抽出し、その平均値Ｓａを演算する（ステップＳＴ１１）。

次に、処理部６６は、演算した画像部分の平均値Ｓａと、判定値Ｓｏｐｂとを比較し、平均値Ｓａが判定値Ｓｏｐｂより小さいか否かを判断する（ステップＳＴ１２）。

そして、平均値Ｓａが判定値Ｓｏｐｂより小さくない場合、処理部６６は、抽出した隣接複数画素が黒点が発生した高輝度部分ではないと判断し、当該抽出した隣接複数画素の画素値をそのままとする（ステップＳＴ１３）。
また、平均値Ｓａが判定値Ｓｏｐｂより小さい場合、処理部６６は、抽出した隣接複数画素が黒点が発生した高輝度部分であると判断し、当該抽出した隣接複数画素の画素値を補正する（ステップＳＴ１４）。
具体的には、処理部６６は、当該抽出した隣接複数画素の画素値を、画素値がとり得る最大値に置き換える。

次に、処理部６６は、メモリ６２に保存されたＲＡＷ画像データのすべての画素値について以上の黒点補正処理を実行し終えたか否かを判断する（ステップＳＴ１５）。
ＲＡＷ画像データのすべての画素値について黒点補正処理を実行し終えていない場合、処理部６６は、次の複数の画素回路１９を選択し、黒点判定処理を実行する。
ＲＡＷ画像データのすべての画素値について黒点補正処理を実行し終えた場合、処理部６６は、図１１の太陽黒点補正処理ステップＳＴ２を終える。

図１３は、ＲＡＷ画像データについての黒点補正処理の一例の説明図である。
図１３の例では、図１３（Ａ）に示すように、有効画像データ領域の周囲に、遮光されたオプティカルブラック領域を有する画像のＲＡＷ画像データの例である。

この場合、処理部６６は、図１３（Ｂ）に示すように、ステップＳＴ１１において、有効画像データ領域中で隣接するたとえば３×３画素（合計９画素）の平均値Ｓａを演算する。

また、処理部６６は、図１３（Ｃ）に示すように、ステップＳＴ１２において、演算した複数の有効画素の平均値Ｓａと、判定値Ｓｏｐｂ（たとえば１０）とを比較する。
そして、判定値Ｓｏｐｂに対して有効画素の平均値Ｓａが小さい場合、処理部６６は、１ビット信号Ｂａ（＝１）を出力する。
また、判定値Ｓｏｐｂに対して有効画素の平均値Ｓａが大きい場合、処理部６６は、１ビット信号Ｂａ（＝０）を出力する。

また、処理部６６は、図１３（Ｄ）に示すように、ステップＳＴ１３またはＳＴ１４において、必要に応じて上記３×３画素の画素値を補正する。
具体的には、１ビット信号Ｂａの値が０である場合、処理部６６は、上記３×３画素の画素値をそのまま出力する。
１ビット信号Ｂａの値が１である場合、処理部６６は、上記３×３画素の画素値を、最大輝度値（１０ビットの場合には１０２３）を出力する。
処理部６６は、有効画像データ領域中のすべての３×３画素の組み合わせについて、以上の処理を繰り返す。

以上のように、本実施形態において、処理部６６は、固体撮像装置３が出力した撮像画像についてのＲＡＷ画像データの信号（撮像信号）に基づいて、撮像した画像において黒点化した高輝度部分の画素値を補正する。
よって、本実施形態では、太陽などの高輝度の被写体が画像に写っている場合でも、黒点化した高輝度部分の画像を、高い輝度値（最大画素値）へ補正することができる。
また、本実施形態では、処理部６６は、固体撮像装置３から出力されたＲＡＷ画像データに基づいて黒点化した高輝度部分の画素値を補正するので、固体撮像装置３の種類によらず汎用的に補正処理を実行することができる。

また、本実施形態の処理部６６は、固体撮像装置３が出力したＲＡＷ画像データにおいて、黒点化した高輝度部分の画素値を補正している。
このため、本実施形態では、仮に例えばフルカラー画像データにおいて黒点化した高輝度部分の画素値を補正する場合に比べて、処理に係る画素値の個数が少なくなるので、約３分の１の時間で高速に処理することができる。
また、本実施形態では、複数の画素値について同時に補正処理を実行しているので、さらに高速に処理することができる。

また、本実施形態では、黒点補正処理の後に、デモザイク処理を実行している。
このため、本実施形態では、仮に一部の画素値について黒点補正処理が実行されなかったとしても、デモザイク処理などによるＲＧＢなどへの色変換処理により、残留した黒点が画像中に目立たないようにすることができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上記実施形態は、固体撮像装置３と接続された信号処理部４において、撮像データであるＲＡＷ画像データの太陽黒点を補正している。
この他にも例えば、固体撮像装置３の水平出力線１３と出力部１４との間に信号処理部４を設け、固体撮像装置３内で黒点化した太陽の画像などを補正し、補正したＲＡＷ画像データを固体撮像装置３から出力させてもよい。
また、信号処理部４は、ハードウェアにより黒点化した高輝度部分の画像を補正してもよい。

上記実施形態では、固体撮像装置３として、ＣＭＯＳイメージセンサを用いた撮像装置１の例である。
この他にも例えば、撮像装置１は、固体撮像装置３として、ＣＭＯＳイメージセンサ以外の増幅型イメージセンサ、またはＣＣＤイメージセンサを用いてもよい。
この場合でも、信号処理部４は、撮像した画像のＲＡＷ画像データにおいて、黒点化した高輝度部分の画素値を補正することができる。

上記実施形態では、信号処理部４は、固体撮像装置３が出力したＲＡＷ画像データにおいて、黒点化した高輝度部分の画素値を補正している。
この他にも例えば、信号処理部４は、フルカラー画像データにおいて、黒点化した高輝度部分の画素値を補正してもよい。

上記実施形態は、本発明を撮像装置１に適用した例である。撮像装置１には、デジタルスチルカメラ、ビデオカメラ、電子内視鏡用カメラ、監視カメラなどがある。
この他にも例えば、本発明は、固体撮像装置３を有する携帯電話機、ＰＤＡ（Personal Data Assistance）、コンピュータ装置、撮像装置１の周辺機器などの電子機器に適用してもよい。

１…撮像装置、３…固体撮像装置（固体撮像部）、４…信号処理部（信号処理装置、補正処理部）、１２…カラム処理部（輝度値生成部）、４１…フォトダイオード（光電変換素子）、６１…入出力部（入力部）、６６…処理部（判断部、補正部、カラー化処理部）、Ｓｏｐｂ…判定値。

Claims (13)

1. 光電変換により生成された複数の輝度値を含む画像の撮像信号が入力される入力部と、
   前記撮像信号の画像において輝度値が判定値以下となっている高輝度部分を判断する判断部と、
   前記高輝度部分の前記輝度値を、前記判定値より大きい輝度値に補正する補正部と
   を有する信号処理装置。
2. 前記撮像信号は、遮光された画素による輝度値を含み、
   前記判断部は、
   前記遮光された画素による輝度値またはこれに基づく値を前記判定値に用い、当該判定値を下回る輝度値の部分を高輝度部分と判断する
   請求項１記載の信号処理装置。
3. 前記補正部は、
   前記高輝度部分の輝度値を、当該輝度値が取りえる最大値に補正する
   請求項１または２記載の信号処理装置。
4. 前記判断部は、
   前記画像において互いに近接する複数の輝度値の平均値を前記判定値と比較することにより、複数の輝度値をまとめて判断し、
   前記補正部は、
   前記高輝度部分の判断に係る前記複数の輝度値をまとめて補正する
   請求項１から３のいずれか一項記載の信号処理装置。
5. 前記撮像信号の複数の輝度値は、光の複数の色成分の各々に対応し、
   前記補正部により補正された輝度値に基づいて、カラー画像を得るカラー化処理部
   を有する請求項１から４のいずれか一項記載の信号処理装置。
6. 光電変換処理により複数の輝度値を含む画像の撮像信号を生成する固体撮像部と、
   前記撮像信号が入力される信号処理部と
   を有し、
   前記信号処理部は、
   前記撮像信号の画像において輝度値が判定値以下となっている高輝度部分を判断する判断部と、
   前記高輝度部分の前記輝度値を、前記判定値より大きい輝度値に補正する補正部と
   を有する撮像装置。
7. 前記固体撮像部は、
   遮光された画素による輝度値を含む前記撮像信号を生成し、
   前記判断部は、
   前記遮光された画素による輝度値またはこれに基づく値を前記判定値に用い、当該判定値を下回る輝度値の部分を高輝度部分と判断する
   請求項６記載の撮像装置。
8. 前記補正部は、
   前記高輝度部分の輝度値を、当該輝度値が取りえる最大値に補正する
   請求項６または７記載の撮像装置。
9. 前記判断部は、
   前記画像において互いに近接する複数の輝度値の平均値を前記判定値と比較することにより、複数の輝度値をまとめて判断し、
   前記補正部は、
   前記高輝度部分の判断に係る前記複数の輝度値をまとめて補正する
   請求項６から８のいずれか一項記載の撮像装置。
10. 前記固体撮像部は、
    光の複数の色成分の各々に対応する複数の輝度値を含む前記撮像信号を生成し、
    前記撮像装置は、
    前記補正部により補正された輝度値に基づいて、カラー画像を得るカラー化処理部を有する
    請求項６から９のいずれか一項記載の撮像装置。
11. 前記信号処理部は、
    前記固体撮像部に内蔵されている
    請求項６から１０のいずれか一項記載の撮像装置。
12. 光電変換により生成された複数の輝度値を含む画像の撮像信号において、輝度値が判定値以下となっている高輝度部分を判断する判断ステップと、
    前記高輝度部分の前記輝度値を、前記判定値より大きい輝度値に補正する補正ステップと
    を有する信号処理方法。
13. 光電変換により生成された複数の輝度値を含む画像の撮像信号が入力される入力部に接続された処理部により実行され、
    前記処理部に、
    前記撮像信号の画像において輝度値が判定値以下となっている高輝度部分を判断する判断手順と、
    前記高輝度部分の前記輝度値を、前記判定値より大きい輝度値に補正する補正手順と
    を実行させるプログラム。

Images