JP2013175897A - 画像処理装置及び固体撮像装置 - Google Patents

Abstract

【課題】キズの影響による画質の低下を抑制可能とし、効果的なハイダイナミックレンジ合成を可能とする画像処理装置及び固体撮像装置を提供すること。
【解決手段】実施形態によれば、画像処理装置は、ハイダイナミックレンジ合成回路１３を有する。ハイダイナミックレンジ合成回路１３は、補間処理部２５及びキズ補正部２４を有する。補間処理部２５は、対象画素とする第１画素について、その近傍に位置する周辺画素である第２画素からの第２画像信号を使用する補間処理を実施する。補間処理部２５は、対象画素とする第２画素について、その近傍に位置する周辺画素である第１画素からの第１画像信号を使用する補間処理を実施する。キズ補正部２４は、補間処理部２５での補間処理に使用する、対象画素及び周辺画素についての第１画像信号及び第２画像信号に対するキズ補正を実施する。
【選択図】図４

Description

本発明の実施形態は、画像処理装置及び固体撮像装置に関する。

ハイダイナミックレンジ（high dynamic range；ＨＤＲ）合成は、通常の撮影に比べて幅広いダイナミックレンジを表現するための撮影技法として知られている。ＨＤＲ合成の手法としては、例えば、互いに露光量（電荷蓄積時間）を異ならせて取得された二以上の画像を合成するものがある。この手法によると、イメージセンサによる出力周期に対して、合成画像のフレームレートに遅れが生じることとなる。このため、特に動画を撮影する場合に、被写体像のブレ（モーションブラー）が生じ易くなることが課題となる。

また、ＨＤＲ合成の他の手法として、例えば、互いに電荷蓄積時間を異ならせた二つのラインを一組とし、電荷蓄積時間が異なる画素同士の信号電荷を組ごとに加算するものがある。この手法によると、ラインに対し垂直な方向における解像度が、通常の場合に対して実質的に半分となることから、画質を劣化させることとなる。

固体撮像装置は、正常に機能していない画素によるデジタル画像信号の欠損部分（以下、適宜「キズ」と称する）を生じさせることがある。ＨＤＲ合成において、キズの影響による画質の低下を抑制可能であることが望まれる。

国際公開第２００３／１０３２７５号 特許第２８６８９１５号公報

本発明の一つの実施形態は、キズの影響による画質の低下を抑制可能とし、効果的なハイダイナミックレンジ合成を可能とする画像処理装置及び固体撮像装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、ハイダイナミックレンジ合成回路を有する。ハイダイナミックレンジ合成回路は、第１画像信号と第２画像信号とを合成する。第１画像信号は、第１電荷蓄積期間における第１画素への入射光量に応じた画像信号である。第２画像信号は、第２電荷蓄積期間における第２画素への入射光量に応じた画像信号である。第２電荷蓄積期間は、第１電荷蓄積期間より短い。ハイダイナミックレンジ合成回路は、信号レベル調整部、補間処理部及びキズ補正部を有する。信号レベル調整部は、第１電荷蓄積期間と第２電荷蓄積期間との比に応じて、第２画像信号の信号レベルを調整する。補間処理部は、第１画像信号と、信号レベル調整部での信号レベルの調整を経た第２画像信号と、が入力される。補間処理部は、対象画素とする第１画素について、その近傍に位置する周辺画素である第２画素からの第２画像信号を使用する補間処理を実施する。補間処理部は、対象画素とする第２画素について、その近傍に位置する周辺画素である第１画素からの第１画像信号を使用する補間処理を実施する。キズ補正部は、補間処理部での補間処理に使用する、対象画素及び周辺画素についての第１画像信号及び第２画像信号に対するキズ補正を実施する。

第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図。 図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。 イメージセンサにおける画素の配列について説明する図。 ＨＤＲ合成回路の構成を示すブロック図。 長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図。 ゲイン調整回路の構成を示すブロック図。 水平遅延線の構成を示すブロック図。 水平遅延線における同時刻化の対象とする画素について説明する図。 キズ補正部の構成を示すブロック図。 ソート回路の構成を示すブロック図。 補間処理部及び伸張処理部の構成を示すブロック図。 長時間露光画素に対する補間処理について説明する概念図。 短時間露光画素に対する補間処理について説明する概念図。 第２の実施形態にかかる固体撮像装置に適用されるＨＤＲ合成回路のうち、ソート回路における処理について説明するブロック図（その１）。 第２の実施形態にかかる固体撮像装置に適用されるＨＤＲ合成回路のうち、ソート回路における処理について説明するブロック図（その２）。 第２の実施形態にかかる固体撮像装置に適用されるＨＤＲ合成回路のうち、ソート回路における処理について説明するブロック図（その３）。

以下に添付図面を参照して、実施形態にかかる画像処理装置及び固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。

デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）６、記憶部７及び表示部８を有する。カメラモジュール２は、デジタルカメラ１以外に、例えばカメラ付き携帯端末等の電子機器に適用される。

撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。

固体撮像装置５は、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサである。固体撮像装置５は、ＣＭＯＳイメージセンサの他、ＣＣＤ（charge coupled device）であっても良い。固体撮像装置５は、イメージセンサ１０、アナログデジタル変換器（ＡＤＣ）１１、信号処理回路１２及びインタフェース（Ｉ／Ｆ）１４を有する。

イメージセンサ１０は、撮像光学系４により取り込まれた光をフォトダイオードにより信号電荷に変換し、被写体像を撮像する。イメージセンサ１０は、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ＡＤＣ１１は、イメージセンサ１０からの画像信号をアナログ方式からデジタル方式へ変換する。

画像処理装置である信号処理回路１２は、ＡＤＣ１１から入力されたデジタル画像信号に対し、種々の信号処理を実施する。信号処理回路１２は、ハイダイナミックレンジ（ＨＤＲ）合成回路１３を有する。ＨＤＲ合成回路１３は、信号処理回路１２へ入力されたデジタル画像信号に対し、ＨＤＲ合成を実施する。信号処理回路１２は、ＨＤＲ合成回路１３によるＨＤＲ合成の他、例えば、キズ補正、ノイズリダクション、シェーディング補正、ホワイトバランス調整等の信号処理を実施する。

Ｉ／Ｆ１４は、信号処理回路１２での信号処理を経た画像信号を出力する。Ｉ／Ｆ１４は、シリアル入力からパラレル出力への変換や、パラレル入力からシリアル出力への変換を行うこととしても良い。

図３は、イメージセンサにおける画素の配列について説明する図である。イメージセンサ１０に設けられた画素アレイ１７は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素がベイヤー配列として配置されている。Ｒ画素は、Ｒ光を検出する。Ｂ画素は、Ｂ光を検出する。Ｇｒ画素及びＧｂ画素は、Ｇ光を検出する。Ｇｒ画素は、水平ラインにてＲ画素と並列している。Ｇｂ画素は、水平ラインにてＢ画素と並列している。

画素アレイ１７は、Ｇｒ／ＲラインとＢ／Ｇｂラインとの２本の水平ラインからなるラインエリアごとに、電荷蓄積期間を交互に異ならせている。長時間露光ラインエリア（第１ラインエリア）１５の電荷蓄積期間である第１電荷蓄積期間は、短時間露光ラインエリア（第２ラインエリア）１６の電荷蓄積期間である第２電荷蓄積期間より長い。

長時間露光ラインエリア１５は、第１画素である長時間露光画素からなる２本の水平ラインにより構成されている。短時間露光ラインエリア１６は、第２画素である短時間露光画素からなる２本の水平ラインにより構成されている。長時間露光ラインエリア１５及び短時間露光ラインエリア１６は、垂直方向において交互に配置されている。

イメージセンサ１０は、第１電荷蓄積期間における長時間露光画素への入射光量に応じた第１画像信号と、第２電荷蓄積期間における短時間露光画素への入射光量に応じた第２画像信号とを出力する。ＨＤＲ合成回路１３は、信号処理回路１２へ入力された第１画像信号及び第２画像信号を合成する。

図４は、ＨＤＲ合成回路の構成を示すブロック図である。ＨＤＲ合成回路１３は、ラインメモリ（４Ｈ）２１、信号レベル調整部２２、水平遅延線２３、キズ補正部２４、補間処理部２５及び伸張処理部２６を有する。

ラインメモリ２１は、ＨＤＲ合成回路１３へ入力された４ライン分のデジタル画像信号を保持する。信号レベル調整部２２は、画像信号の信号レベルを調整する。水平遅延線２３は、画像信号に水平方向における遅延を施す。キズ補正部２４は、水平遅延線２３からの画像信号に対するキズ補正を実施する。補間処理部２５は、画像信号の補間処理を実施する。伸張処理部２６は、画像信号の伸張処理を実施する。

図５は、長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図である。長時間露光画素は、入射光量が所定の飽和光量より大きくなると、光電変換により発生する信号電荷がフォトダイオードの蓄積容量に達する。

図５の上段に示すグラフにおいて、長時間露光画素から出力される信号レベルを実線、短時間露光画素から出力される信号レベルを破線として表す。入射光量が飽和光量以下である場合、長時間露光画素から出力される信号レベルは、入射光量の増加に比例して高くなる。短時間露光画素から出力される信号レベルは、入射光量が長時間露光画素における飽和光量より大きい場合も、入射光量の増加に比例して高くなる。

信号レベル調整部２２は、長時間露光画素と短時間露光画素とで出力レベルを一致させるために、短時間露光画素で得られた第２画像信号に所定のゲインを乗算する。ゲインは、長時間露光画素の第１電荷蓄積期間と短時間露光画素の第２電荷蓄積期間との比である露光比に対応する。

補間処理部２５は、長時間露光画素で得られた第１画像信号と、短時間露光画素で得られ信号レベル調整部２２での調整を経た第２画像信号との加算を実施する。図５の中段に示すグラフにおいて、補間処理部２５での加算を経た信号レベルを実線として表す。

補間処理部２５での加算を経た信号レベルは、入射光量に対する変化量が飽和光量の前後で異なる特性を示す（knee特性）。伸張処理部２６は、補間処理部２５での補間処理により、飽和光量に対応する出力飽和レベルを超過した信号レベル分についての伸張処理を実施する（knee伸張）。これにより、ＨＤＲ合成回路１３は、飽和光量の前後において近い線形特性を持つＨＤＲ合成信号を得る。図５の下段に示すグラフにおいて、伸張処理部２６での伸張処理を経た信号レベルを実線として表す。

図４に示すように、信号レベル調整部２２には、ラインメモリ２１に保持された４本の水平ライン（ラインＬ１〜Ｌ４とする）と、ラインメモリ２１で保持される直前の１本の水平ライン（ラインＬ０とする）とのうち、同色画素からの画像信号を含む３本のラインＬ０、Ｌ２及びＬ４が入力される。

信号レベル調整部２２は、入力される各ラインに対応して、３つのゲイン調整回路２７を有する。ゲイン調整回路２７は、３本の水平ラインのうち短時間露光ラインエリア１６（図３参照）からの第２画像信号に対し、露光比の乗算によるゲイン調整を実施する。

ライン識別カウント２０は、３本の水平ラインのうち中央のラインＬ２が長時間露光ラインエリア１５からの第１画像信号及び短時間露光ラインエリア１６からの第２画像信号のいずれであるかを表す信号である。例えば、ラインＬ２が第１画像信号であるときのライン識別カウント２０は「１」、ラインＬ２が第２画像信号であるときのライン識別カウント２０は「０」であるものとする。

信号レベル調整部２２のうち、ラインＬ２が入力されるゲイン調整回路２７には、反転（ＮＯＴ）を経たライン識別カウント２０が入力される。ラインＬ２以外のラインＬ０及びＬ４が入力されるゲイン調整回路２７には、ライン識別カウント２０が反転を経ず入力される。

図６は、ゲイン調整回路の構成を示すブロック図である。減算器３１は、入力されたラインから所定の黒レベル（例えば６４ＬＳＢ）を差し引く。乗算器３２は、減算器３１からの出力に露光比（ＥＸＰ＿ＲＡＴＩＯ）を乗算する。

セレクタ３３は、ゲイン調整回路２７へ入力されたライン識別カウント２０を選択制御入力信号として、乗算器３２からの信号と減算器３１からの信号とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ３３は、乗算器３２によるＥＸＰ＿ＲＡＴＩＯの乗算を経た信号３５を選択する。選択制御入力信号「０」に対し、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算前の信号３６を選択する。加算器３４は、セレクタ３３による選択結果と、黒レベルとを加算する。ゲイン調整回路２７は、加算器３４による加算結果を出力する。

ラインＬ２が長時間露光ラインエリア１５からの第１画像信号であるとき、ＨＤＲ合成回路１３には、ライン識別カウント２０として「１」が入力される。ラインＬ０及びＬ４は、いずれも短時間露光ラインエリア１６からの第２画像信号となる。

この場合、ラインＬ２についてのゲイン調整回路２７へは、「１」から「０」へ反転されたライン識別カウント２０が入力される。ラインＬ２についてのゲイン調整回路２７において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算前の信号３６を選択する。ラインＬ０についてのゲイン調整回路２７及びラインＬ４についてのゲイン調整回路２７へは、「１」のままのライン識別カウント２０が入力される。ラインＬ０についてのゲイン調整回路２７及びラインＬ４についてのゲイン調整回路２７において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算を経た信号３５を選択する。

ラインＬ２が短時間露光ラインエリア１６からの第２画像信号であるとき、ＨＤＲ合成回路１３には、ライン識別カウント２０として「０」が入力される。ラインＬ０及びＬ４は、いずれも長時間露光ラインエリア１５からの第１画像信号となる。

この場合、ラインＬ２についてのゲイン調整回路２７へは、「０」から「１」へ反転されたライン識別カウント２０が入力される。ラインＬ２についてのゲイン調整回路２７において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算を経た信号３５を選択する。ラインＬ０についてのゲイン調整回路２７及びラインＬ４についてのゲイン調整回路２７において、セレクタ３３は、ＥＸＰ＿ＲＡＴＩＯの乗算前の信号３６を選択する。

これにより、信号レベル調整部２２は、第１及び第２画像信号のうち、第２画像信号に対し選択的に露光比を乗算し、長時間露光画素の出力レベルに短時間露光画素の出力レベルを一致させる。例えば、イメージセンサ１０から出力される画像信号が１０ビットであって、ＥＸＰ＿ＲＡＴＩＯを１６倍とした場合、合成画像についての出力ビット数として１４ビットを得ることが可能となる。

図７は、水平遅延線の構成を示すブロック図である。フリップフロップ（ＦＦ）は、画素ごとの信号を保持する。水平遅延線２３は、ラインＬ０、Ｌ２及びＬ４のそれぞれについて４画素の信号を保持し、水平方向の遅延を施す。

図８は、水平遅延線における同時刻化の対象とする画素について説明する図である。水平遅延線２３は、ＨＤＲ合成の対象である対象画素の信号と、８個の周辺画素の信号とを同時刻化する。周辺画素は、対象画素を中心とする５×５の画素ブロックに含まれる画素であって、対象画素と同色用の画素とする。

図示する例では、画素Ｐ２３は、ラインＬ２にて並列する５つの画素の中央に位置する対象画素である。画素Ｐ４１、Ｐ４３、Ｐ４５、Ｐ２１、Ｐ２５、Ｐ０１、Ｐ０３及びＰ０５は、画素Ｐ２３を対象画素とした場合の周辺画素である。Ｄ４１、Ｄ４３、Ｄ４５、Ｄ２１、Ｄ２３、Ｄ２５、Ｄ０１、Ｄ０３及びＤ０５は、それぞれ画素Ｐ４１、Ｐ４３、Ｐ４５、Ｐ２１、Ｐ２３、Ｐ２５、Ｐ０１、Ｐ０３及びＰ０５の信号値とする。

キズ補正部２４は、対象画素Ｐ２３の信号値Ｄ２３、及び２つの周辺画素Ｐ４３及びＰ０３の信号値Ｄ４３及びＤ０３に対するキズ補正を実施し、対象画素Ｐ２３についての信号値ＤＤ２、周辺画素Ｐ４３及びＰ０３についての信号値ＤＤ４及びＤＤ０を出力する。補間処理部２５は、対象画素Ｐ２３についての信号値（ＤＤ２）と、対象画素に対し垂直方向に位置する２つの周辺画素Ｐ４３及びＰ０３についての信号値（ＤＤ４及びＤＤ０）を使用する補間処理を実施する。

図９は、キズ補正部の構成を示すブロック図である。キズ補正部２４は、ソート回路４１、乗算器４２及び４３、加算器４４−１、４４−２及び４４−３、減算器４５−１、４５−２及び４５−３、及びクリップ回路４６−１、４６−２、４６−３、４７−１、４７−２及び４７−３を有する。

ソート回路４１は、９個の信号値Ｄ４１、Ｄ４３、Ｄ４５、Ｄ２１、Ｄ２３、Ｄ２５、Ｄ０１、Ｄ０３及びＤ０５をレベル順に並べ替え、所定の最大値及び最小値を求める。

図１０は、ソート回路の構成を示すブロック図である。ソート回路４１は、複数の比較器５０を有する。比較器５０は、２つの入力信号Ｉｎ１及びＩｎ２のレベルを比較し、レベルが大きいほうの信号（図中、矢印Ｌとする）とレベルが小さいほうの信号（図中、矢印Ｓとする）との少なくとも一方を出力する。

ソート回路４１は、図８に示す画素ブロックのうち画素Ｐ２３を含む中央列に対し左側の列に位置する画素Ｐ４１、Ｐ２１及びＰ０１の信号値Ｄ４１、Ｄ２１及びＤ０１と、右側の列に位置する画素Ｐ４５、Ｐ２５及びＰ０５の信号値Ｄ４５、Ｄ２５及びＤ０５とについて、最大値５１及び最小値５２を求める。画素ブロックのうち中央列に位置する画素Ｐ４３、Ｐ２３及びＰ０３の信号値Ｄ４３、Ｄ２３及びＤ０３について、２画素ずつ全ての組合せについて大小を比較する。

ソート回路４１は、Ｄ４３及びＤ２３のうち大きいほうの信号値と最大値５１とを比較した結果を、Ｄ０ｍａｘとして出力する。Ｄ０ｍａｘは、９個の信号値のうちＤ０３を除く８個の信号値の最大値である。ソート回路４１は、Ｄ４３及びＤ２３のうち小さいほうの信号値と最小値５２とを比較した結果を、Ｄ０ｍｉｎとして出力する。Ｄ０ｍｉｎは、９個の信号値のうちＤ０３を除く８個の信号値の最小値である。

Ｄ０ｍａｘは、画素Ｐ０３についての白キズ補正に適用される。Ｄ０ｍｉｎは、画素Ｐ０３についての黒キズ補正に適用される。白キズは、画素の機能が正常である場合に比べて高い信号レベルを示すキズとする。黒キズは、画素の機能が正常である場合に比べて低い信号レベルを示すキズとする。

ソート回路４１は、Ｄ２３及びＤ０３のうち大きいほうの信号値と最大値５１とを比較した結果を、Ｄ４ｍａｘとして出力する。Ｄ４ｍａｘは、９個の信号値のうちＤ４３を除く８個の信号値の最大値である。ソート回路４１は、Ｄ２３及びＤ０３のうち小さいほうの信号値と最小値５２とを比較した結果を、Ｄ４ｍｉｎとして出力する。Ｄ４ｍｉｎは、９個の信号値のうちＤ４３を除く８個の信号値の最小値である。Ｄ４ｍａｘは、画素Ｐ４３についての白キズ補正に適用される。Ｄ４ｍｉｎは、画素Ｐ４３についての黒キズ補正に適用される。

ソート回路４１は、Ｄ４３及びＤ０３のうち大きいほうの信号値と最大値５１とを比較した結果を、Ｄ２ｍａｘとして出力する。Ｄ２ｍａｘは、９個の信号値のうちＤ２３を除く８個の信号値の最大値である。ソート回路４１は、Ｄ４３及びＤ０３のうち小さいほうの信号値と最小値５２とを比較した結果を、Ｄ２ｍｉｎとして出力する。Ｄ２ｍｉｎは、９個の信号値のうちＤ２３を除く８個の信号値の最小値である。Ｄ２ｍａｘは、画素Ｐ２３についての白キズ補正に適用される。Ｄ２ｍｉｎは、画素Ｐ２３についての黒キズ補正に適用される。

ソート回路４１は、６個の信号Ｄ０ｍａｘ、Ｄ０ｍｉｎ、Ｄ４ｍａｘ、Ｄ４ｍｉｎ、Ｄ２ｍａｘ及びＤ２ｍｉｎを出力する。乗算器４２は、Ｄ０ｍａｘ、Ｄ４ｍａｘ及びＤ２ｍａｘに対し、予め設定された最大値用重み係数（ＭＡＸ＿ＣＬＩＰ＿Ｗ）を乗算する。ＭＡＸ＿ＣＬＩＰ＿Ｗは、例えば７ビットの信号であって、０から１２７の値を取り得る。乗算器４３は、ＭＡＸ＿ＣＬＩＰ＿Ｗが乗算されたＤ０ｍａｘ、Ｄ４ｍａｘ及びＤ２ｍａｘに対し、１／１２８を乗算する。

加算器４４−１は、乗算器４３によるＤ０ｍａｘについての乗算結果と、ソート回路４１からのＤ０ｍａｘとを加算する。キズ補正部２４は、乗算器４２及び４３と加算器４４−１とを使用して、以下の式（１）により第１補正用クリップ値Ｄ０ｍａｘ’を得る。
Ｄ０ｍａｘ’＝｛１＋（ＭＡＸ＿ＣＬＩＰ＿Ｗ）／１２８｝Ｄ０ｍａｘ ・・（１）

加算器４４−２は、乗算器４３によるＤ４ｍａｘについての乗算結果と、ソート回路４１からのＤ４ｍａｘとを加算する。キズ補正部２４は、乗算器４２及び４３と加算器４４−１とを使用して、上記の式（１）と同様に、第１補正用クリップ値Ｄ４ｍａｘ’を得る。

加算器４４−３は、乗算器４３によるＤ２ｍａｘについての乗算結果と、ソート回路４１からのＤ２ｍａｘとを加算する。キズ補正部２４は、乗算器４２及び４３と加算器４４−３とを使用して、上記の式（１）と同様に、第１補正用クリップ値Ｄ２ｍａｘ’を得る。

ＭＡＸ＿ＣＬＩＰ＿Ｗを１から１２７のいずれかとする場合、Ｄ０ｍａｘ’、Ｄ２ｍａｘ’及びＤ４ｍａｘ’は、それぞれソート回路４１において求めた元のＤ０ｍａｘ、Ｄ２ｍａｘ及びＤ４ｍａｘより大きい値となる。ＭＡＸ＿ＣＬＩＰ＿Ｗが０である場合、Ｄ０ｍａｘ’、Ｄ２ｍａｘ’及びＤ４ｍａｘ’は、それぞれＤ０ｍａｘ、Ｄ２ｍａｘ及びＤ４ｍａｘと同じ値となる。

乗算器４２は、Ｄ０ｍｉｎ、Ｄ４ｍｉｎ及びＤ２ｍｉｎに対し、予め設定された最小値用重み係数（ＭＩＮ＿ＣＬＩＰ＿Ｗ）を乗算する。ＭＩＮ＿ＣＬＩＰ＿Ｗは、例えば７ビットの信号であって、０から１２７の値を取り得る。乗算器４３は、ＭＩＮ＿ＣＬＩＰ＿Ｗが乗算されたＤ０ｍｉｎ、Ｄ４ｍｉｎ及びＤ２ｍｉｎに対し、１／１２８を乗算する。

減算器４５−１は、乗算器４３によるＤ０ｍｉｎについての乗算結果を、ソート回路４１からのＤ０ｍｉｎから減算する。キズ補正部２４は、乗算器４２及び４３と減算器４５−１とを使用して、以下の式（２）により第２補正用クリップ値Ｄ０ｍｉｎ’を得る。
Ｄ０ｍｉｎ’＝｛１−（ＭＩＮ＿ＣＬＩＰ＿Ｗ）／１２８｝Ｄ０ｍｉｎ ・・（２）

減算器４５−２は、乗算器４３によるＤ４ｍｉｎについての乗算結果を、ソート回路４１からのＤ４ｍｉｎから減算する。キズ補正部２４は、乗算器４２及び４３と減算器４５−２とを使用して、上記の式（２）と同様に、第２補正用クリップ値Ｄ４ｍｉｎ’を得る。

減算器４５−３は、乗算器４３によるＤ２ｍｉｎについての乗算結果を、ソート回路４１からのＤ２ｍｉｎから減算する。キズ補正部２４は、乗算器４２及び４３と減算器４５−３とを使用して、上記の式（２）と同様に、第２補正用クリップ値Ｄ２ｍｉｎ’を得る。

ＭＩＮ＿ＣＬＩＰ＿Ｗを１から１２７のいずれかとする場合、Ｄ０ｍｉｎ’、Ｄ２ｍｉｎ’及びＤ４ｍｉｎ’は、それぞれソート回路４１において求めた元のＤ０ｍｉｎ、Ｄ２ｍｉｎ及びＤ４ｍｉｎより小さい値となる。ＭＩＮ＿ＣＬＩＰ＿Ｗを０とする場合、Ｄ０ｍｉｎ’、Ｄ２ｍｉｎ’及びＤ４ｍｉｎ’は、それぞれＤ０ｍｉｎ、Ｄ２ｍｉｎ及びＤ４ｍｉｎと同じ値となる。

クリップ回路４６−１は、Ｄ４ｍａｘ’を使用するクリップ処理を、Ｄ４３に施す。クリップ回路４６−１は、キズ補正部２４へ入力されたＤ４３（Ｉｎ１）と加算器４４−２からのＤ４ｍａｘ’（Ｉｎ２）とを比較する。Ｉｎ１＞Ｉｎ２が成立する場合、クリップ回路４６−１は、Ｄ４ｍａｘ’（Ｉｎ１）を出力する。Ｉｎ１＞Ｉｎ２が成立しない場合、クリップ回路４６−１は、Ｄ４３（Ｉｎ２）を出力する。

クリップ回路４７−１は、Ｄ４ｍｉｎ’を使用するクリップ処理を、Ｄ４３に施す。クリップ回路４７−１は、クリップ回路４６−１からの信号（Ｉｎ１）と減算器４５−２からのＤ４ｍｉｎ’（Ｉｎ２）とを比較する。Ｉｎ１＞Ｉｎ２が成立する場合、クリップ回路４７−１は、画素Ｐ４３についての信号ＤＤ４として、クリップ回路４６−１からの信号を出力する。Ｉｎ１＞Ｉｎ２が成立しない場合、クリップ回路４６−１は、ＤＤ４として、Ｄ４ｍｉｎ’（Ｉｎ２）を出力する。

キズ補正部２４は、Ｄ４３＞Ｄ４ｍａｘ’が成り立つ場合に、画素Ｐ４３の信号値をＤ４ｍａｘ’に置き換える白キズ補正を実施する。キズ補正部２４は、Ｄ４３＜Ｄ４ｍｉｎ’が成り立つ場合に、画素Ｐ４３の信号値をＤ４ｍｉｎ’に置き換える黒キズ補正を実施する。キズ補正部２４は、Ｄ４３＞Ｄ４ｍａｘ’及びＤ４３＜Ｄ４ｍｉｎ’がいずれも成り立たない場合、画素Ｐ４３の信号値をＤ４３のままとする。

クリップ回路４６−２は、Ｄ２ｍａｘ’を使用するクリップ処理を、Ｄ２３に施す。クリップ回路４６−２は、キズ補正部２４へ入力されたＤ２３（Ｉｎ１）と加算器４４−３からのＤ２ｍａｘ’（Ｉｎ２）とを比較する。Ｉｎ１＞Ｉｎ２が成立する場合、クリップ回路４６−２は、Ｄ２３（Ｉｎ１）を出力する。Ｉｎ１＞Ｉｎ２が成立しない場合、クリップ回路４６−２は、Ｄ２ｍａｘ’（Ｉｎ２）を出力する。

クリップ回路４７−２は、Ｄ２ｍｉｎ’を使用するクリップ処理を、Ｄ２３に施す。クリップ回路４７−２は、クリップ回路４６−２からの信号（Ｉｎ１）と減算器４５−３からのＤ２ｍｉｎ’（Ｉｎ２）とを比較する。Ｉｎ１＞Ｉｎ２が成立する場合、クリップ回路４７−２は、画素Ｐ２３についての信号ＤＤ２として、クリップ回路４６−２からの信号を出力する。Ｉｎ１＞Ｉｎ２が成立しない場合、クリップ回路４６−２は、ＤＤ２として、Ｄ２ｍｉｎ’（Ｉｎ２）を出力する。

キズ補正部２４は、Ｄ２３＞Ｄ２ｍａｘ’が成り立つ場合に、画素Ｐ２３の信号値をＤ２ｍａｘ’に置き換える白キズ補正を実施する。キズ補正部２４は、Ｄ２３＜Ｄ２ｍｉｎ’が成り立つ場合に、画素Ｐ２３の信号値をＤ２ｍｉｎ’に置き換える黒キズ補正を実施する。キズ補正部２４は、Ｄ２３＞Ｄ２ｍａｘ’及びＤ２３＜Ｄ２ｍｉｎ’がいずれも成り立たない場合、画素Ｐ２３の信号値をＤ２３のままとする。

クリップ回路４６−３は、Ｄ０ｍａｘ’を使用するクリップ処理を、Ｄ０３に施す。クリップ回路４６−３は、キズ補正部２４へ入力されたＤ０３（Ｉｎ１）と加算器４４−１からのＤ０ｍａｘ’（Ｉｎ２）とを比較する。Ｉｎ１＞Ｉｎ２が成立する場合、クリップ回路４６−３は、Ｄ０３（Ｉｎ１）を出力する。Ｉｎ１＞Ｉｎ２が成立しない場合、クリップ回路４６−３は、Ｄ０ｍａｘ’（Ｉｎ２）を出力する。

クリップ回路４７−３は、Ｄ０ｍｉｎ’を使用するクリップ処理を、Ｄ０３に施す。クリップ回路４７−３は、クリップ回路４６−３からの信号（Ｉｎ１）と減算器４５−１からのＤ０ｍｉｎ’（Ｉｎ２）とを比較する。Ｉｎ１＞Ｉｎ２が成立する場合、クリップ回路４７−３は、画素Ｐ０３についての信号ＤＤ０として、クリップ回路４６−３からの信号を出力する。Ｉｎ１＞Ｉｎ２が成立しない場合、クリップ回路４７−３は、ＤＤ０として、Ｄ０ｍｉｎ’（Ｉｎ２）を出力する。

キズ補正部２４は、Ｄ０３＞Ｄ０ｍａｘ’が成り立つ場合に、画素Ｐ０３の信号値をＤ０ｍａｘ’に置き換える白キズ補正を実施する。キズ補正部２４は、Ｄ０３＜Ｄ０ｍｉｎ’が成り立つ場合に、画素Ｐ０３の信号値をＤ０ｍｉｎ’に置き換える黒キズ補正を実施する。キズ補正部２４は、Ｄ０３＞Ｄ０ｍａｘ’及びＤ０３＜Ｄ０ｍｉｎ’がいずれも成り立たない場合、画素Ｐ０３の信号値をＤ０３のままとする。

キズ補正部２４は、ソート回路４１において求めたＤ０ｍａｘ、Ｄ２ｍａｘ及びＤ４ｍａｘを基にして第１補正用クリップ値Ｄ０ｍａｘ’、Ｄ２ｍａｘ’及びＤ４ｍａｘ’を求め、クリップ処理を実施する。これにより、キズ補正部２４は、ＭＡＸ＿ＣＬＩＰ＿Ｗに応じて許容幅を持たせた白キズ補正を実施することができる。

キズ補正部２４は、ソート回路４１において求めたＤ０ｍｉｎ、Ｄ２ｍｉｎ及びＤ４ｍｉｎを基にして第２補正用クリップ値Ｄ０ｍｉｎ’、Ｄ２ｍｉｎ’及びＤ４ｍｉｎ’を求め、クリップ処理を実施する。これにより、キズ補正部２４は、ＭＩＮ＿ＣＬＩＰ＿Ｗに応じて許容幅を持たせた黒キズ補正を実施することができる。

図１１は、補間処理部及び伸張処理部の構成を示すブロック図である。補間処理部２５には、キズ補正部２４から、画素Ｐ４３についての信号ＤＤ４、画素Ｐ２３についての信号ＤＤ２、及び画素Ｐ０３についての信号ＤＤ０が入力される。

乗算器６１は、ＤＤ２を２倍にする。加算器６２は、乗算器６１で２倍とされたＤＤ２と、補間処理部２５へ入力されたＤＤ４及びＤＤ０とを加算する。乗算器６３は、加算器６２による加算結果を１／４倍とする。補間処理部２５は、乗算器６３による乗算結果を出力する。

図１２は、長時間露光画素に対する補間処理について説明する概念図である。補間処理部２５は、対象画素とする長時間露光画素ＰＬに対する補間処理には、長時間露光画素ＰＬからの第１画像信号と、長時間露光画素ＰＬの近傍に位置する２つの短時間露光画素ＰＳ１及びＰＳ２からの第２画像信号とを使用する。長時間露光画素ＰＬである画素Ｐ２３に対する補間処理には、画素Ｐ２３についての第１画像信号であるＤＤ２、短時間露光画素ＰＳ１及びＰＳ２である画素Ｐ４３及びＰ０３についての第２画像信号であるＤＤ４及びＤＤ０を使用する。

補間処理部２５は、ＥＸＰ＿ＲＡＴＩＯが乗算された短時間露光画素ＰＳ１の第２画像信号、長時間露光画素ＰＬの第１画像信号、及びＥＸＰ＿ＲＡＴＩＯが乗算された短時間露光画素ＰＳ２の第２画像信号を、１：２：１の割合で加算し、さらに１／４とする。補間処理を経て補間処理部２５から出力される補間信号は、長時間露光画素ＰＬに由来する信号成分を５０％包含している。

図１３は、短時間露光画素に対する補間処理について説明する概念図である。補間処理部２５は、対象画素とする短時間露光画素ＰＳに対する補間処理には、短時間露光画素ＰＳからの第２画像信号であるＤＤ２と、短時間露光画素ＰＳの近傍に位置する２つの長時間露光画素ＰＬ１及びＰＬ２からの第１画像信号であるＤＤ４及びＤＤ０とを使用する。長時間露光画素ＰＬ１及びＰＬ２は、短時間露光画素ＰＳと同色用の画素である。長時間露光画素ＰＬ１及びＰＬ２は、それぞれ、垂直方向において１画素を介して短時間露光画素ＰＳと並列している。

補間処理部２５は、長時間露光画素ＰＬ１の第１画像信号、ＥＸＰ＿ＲＡＴＩＯが乗算された短時間露光画素ＰＳの第２画像信号、及び長時間露光画素ＰＬ２の第１画像信号を、１：２：１の割合で加算し、さらに１／４とする。補間処理を経て補間処理部２５から出力される補間信号は、長時間露光画素ＰＬ１及びＰＬ２に由来する信号成分を５０％包含している。

移動する被写体を撮影する場合、固体撮像装置５は、露光時間が短いほどブレが少ない被写体像を得ることができる。長時間露光画素と短時間露光画素とでは、被写体像に生じるブレの程度に差が生じることとなる。長時間露光画素と短時間露光画素とを適用する場合、入射光量が飽和光量に達する前後で、長時間露光画素に由来する信号成分と短時間露光画素に由来する信号成分との比率が大きく変化することがある。

ＨＤＲ合成回路１３は、補間処理部２５において、長時間露光画素に由来する信号成分と短時間露光画素に由来する信号成分とを等しく含ませる補間処理を実施する。補間処理部２５は、第１画像信号と第２画像信号との比率に変化があった場合であっても、補間信号については入射光量に対する十分な連続性を確保することができる。

これにより、ＨＤＲ合成回路１３は、入射光量に対する信号レベルについて、飽和光量の前後における変化量の変動を抑制させるようなＨＤＲ合成を実施することができる。固体撮像装置５は、ＨＤＲ合成における不用な信号レベルの変動を抑制させることで、移動する被写体を撮影する場合における偽色等の不具合を低減させる。これにより、固体撮像装置５は、高品質な画像を得ることができる。

ＨＤＲ合成回路１３は、補間処理部２５での補間処理に信号値を使用する画素に一つでもキズが含まれている場合、補間処理によってキズの影響を拡大させることがあり得る。ＨＤＲ合成回路１３は、キズの影響を受けた補間信号を使用することで、画質を低下させることとなる。

本実施形態において、ＨＤＲ合成回路１３は、長時間露光画素及び短時間露光画素のいずれも対象として、補間処理に信号値を使用する画素のキズ補正を実施する。ＨＤＲ合成回路１３は、キズ補正を経た画像信号を使用する補間処理を実施することで、補間信号へのキズの影響を抑制させる。

伸張処理部２６は、補間処理部２５での補間処理を経た信号に対する伸張処理を実施する。比較器６７は、補間処理部２５から伸張処理部２６へ入力された信号と所定の出力飽和レベル（例えば１０２３ＬＢＳ）とを比較する。比較器６７は、伸張処理部２６へ入力された信号が出力飽和レベルより大きい場合、比較結果として例えば「１」を出力する。比較器６７は、伸張処理部２６へ入力された信号が出力飽和レベル以下であった場合、比較結果として例えば「０」を出力する。

減算器６４は、補間処理部２５から伸張処理部２６へ入力された信号から出力飽和レベルを差し引く。乗算器６５は、減算器６４による減算結果に、伸張の倍率として２を乗算する。乗算器６５は、補間処理部２５における補間処理により出力飽和レベルを超過した信号レベル分に対し、伸張処理のための乗算を施す。加算器６６は、乗算器６５による乗算結果に出力飽和レベルを加算する。

セレクタ６８は、比較器６７からの比較結果を選択制御入力信号として、加算器６６からの信号と伸張処理部２６へ入力された信号とのいずれかを選択する。選択制御入力信号「１」に対し、セレクタ６８は、乗算器６５を使用する伸張処理を経て加算器６６から出力される信号を選択する。選択制御入力信号「０」に対し、セレクタ６８は、伸張処理前の信号を選択する。

これにより、伸張処理部２６は、ＨＤＲ合成により出力飽和レベルより高いレベルとなった信号を対象として、出力飽和レベルからの超過分を伸張させる処理を実施する。伸張処理部２６は、セレクタ６８で選択された信号を出力する。ＨＤＲ合成回路１３は、伸張処理部２６からの信号を、合成画像信号として出力する。

ＨＤＲ合成回路１３は、長時間露光画素からの第１画像信号と短時間露光画素からの第２画像信号とを使用するＨＤＲ合成を実施することで、複数のフレームの画像を合成する場合に比べて、被写体像のブレを抑制させることができる。ＨＤＲ合成回路１３は、長時間露光ラインエリア１５からの出力と短時間露光ラインエリア１６からの出力との補間処理を実施することで、イメージセンサ１０が持つ解像度を半減させずに合成画像を取得することができる。

以上により、ＨＤＲ合成回路１３は、キズの影響による画質の低下を抑制可能とし、効果的なハイダイナミックレンジ合成を実施することができる。なお、本実施形態で説明する各回路構成は、本実施形態で説明する機能を実現可能な構成であれば良く、適宜変更可能であるものとする。

（第２の実施形態）
図１４から図１６は、第２の実施形態にかかる固体撮像装置に適用されるＨＤＲ合成回路のうち、ソート回路における処理について説明するブロック図である。本実施形態は、ソート回路の構成以外は、第１の実施形態と同様であるものとする。

ソート回路は、複数の比較器５０を使用して、９個の信号値Ｄ４１、Ｄ４３、Ｄ４５、Ｄ２１、Ｄ２３、Ｄ２５、Ｄ０１、Ｄ０３及びＤ０５をレベル順に並べ替え、所定の最大値に次ぐ高い信号値と、所定の最小値に次ぐ低い信号値とを求める。

図１４に示すように、ソート回路は、Ｄ４１、Ｄ２１及びＤ０１から、Ｌ＿ｍａｘ、Ｌ＿ｍａｘ２、Ｌ＿ｍｉｎ２及びＬ＿ｍｉｎ（Ｌ＿ｍａｘ≧Ｌ＿ｍａｘ２≧Ｌ＿ｍｉｎ２≧Ｌ＿ｍｉｎとする）を求める。Ｄ４１、Ｄ２１及びＤ０１は、図８に示す画素ブロックのうち画素Ｐ２３を含む中央列に対し左側の列に位置する画素Ｐ４１、Ｐ２１及びＰ０１の信号値である。ソート回路は、Ｄ２１については二重カウントとし、４つの信号値Ｄ４１、Ｄ２１、Ｄ２１及びＤ０１をレベル順に並べ替える。ソート回路は、Ｄ４１、Ｄ２１、Ｄ２１及びＤ０１を、大きいほうから順に、Ｌ＿ｍａｘ、Ｌ＿ｍａｘ２、Ｌ＿ｍｉｎ２及びＬ＿ｍｉｎとする。

ソート回路は、Ｄ４５、Ｄ２５及びＤ０５から、Ｒ＿ｍａｘ、Ｒ＿ｍａｘ２、Ｒ＿ｍｉｎ２及びＲ＿ｍｉｎ（Ｒ＿ｍａｘ≧Ｒ＿ｍａｘ２≧Ｒ＿ｍｉｎ２≧Ｒ＿ｍｉｎとする）を求める。Ｄ４５、Ｄ２５及びＤ０５は、画素ブロックのうち中央列に対し右側の列に位置する画素Ｐ４５、Ｐ２５及びＰ０５の信号値である。ソート回路は、Ｄ２５については二重カウントとし、４つの信号値Ｄ４５、Ｄ２５、Ｄ２５及びＤ０５をレベル順に並べ替える。ソート回路は、Ｄ４５、Ｄ２５、Ｄ２５及びＤ０５を、大きいほうから順に、Ｒ＿ｍａｘ、Ｒ＿ｍａｘ２、Ｒ＿ｍｉｎ２及びＲ＿ｍｉｎとする。

例えば、ラインＬ４及びＬ０の双方に出力の飽和が生じた場合、画素ブロックのうち画像の情報が得られるのはラインＬ２上の画素のみとなる。ソート回路においてＤ２１及びＤ２５を二重カウントとすることで、キズ補正部２４は、ラインＬ４及びＬ０の双方に出力の飽和が生じた場合に、１画素のキズが生じた場合と実質的に同様の扱いによるキズ補正を行うこととする。

ソート回路は、画素ブロックのうち中央列に位置する画素Ｐ４３、Ｐ２３及びＰ０３の信号値Ｄ４３、Ｄ２３及びＤ０３のうちの２つを、全ての組合せについて比較し、４Ｃ＿ＨＩＧＨ、４Ｃ＿ＬＯＷ、２Ｃ＿ＨＩＧＨ、２Ｃ＿ＬＯＷ、０Ｃ＿ＨＩＧＨ及び０Ｃ＿ＬＯＷを求める。Ｄ２３及びＤ０３のうち大きいほうを４Ｃ＿ＨＩＧＨ、小さいほうを４Ｃ＿ＬＯＷとする。Ｄ４３及びＤ０３のうち大きいほうを２Ｃ＿ＨＩＧＨ、小さいほうを２Ｃ＿ＬＯＷとする。Ｄ４３及びＤ２３のうち大きいほうを０Ｃ＿ＨＩＧＨ、小さいほうを０Ｃ＿ＬＯＷとする。

図１５に示すように、ソート回路は、８個の信号値Ｌ＿ｍａｘ、Ｌ＿ｍａｘ２、Ｌ＿ｍｉｎ２、Ｌ＿ｍｉｎ、Ｒ＿ｍａｘ、Ｒ＿ｍａｘ２、Ｒ＿ｍｉｎ２及びＲ＿ｍｉｎのうち、最大のＬＲｍａｘ、ＬＲｍａｘに次いで大きいＬＲｍａｘ２、最小のＬＲｍｉｎ、及びＬＲｍｉｎに次いで小さいＬＲｍｉｎ２を求める。

Ｌ＿ｍａｘ＞Ｒ＿ｍａｘである場合、セレクタ（ＳＥＬ）７１は、Ｌ＿ｍａｘ２を選択する。Ｒ＿ｍａｘ＞Ｌ＿ｍａｘである場合、ＳＥＬ７１は、Ｒ＿ｍａｘ２を選択する。Ｌ＿ｍｉｎ＜Ｒ＿ｍｉｎである場合、ＳＥＬ７２は、Ｌ＿ｍｉｎ２を選択する。Ｒ＿ｍｉｎ＜Ｌ＿ｍｉｎである場合、ＳＥＬ７２は、Ｒ＿ｍｉｎ２を選択する。

ＬＲｍａｘ及びＬＲｍａｘ２は、Ｄ４１、Ｄ２１、Ｄ２１、Ｄ０１、Ｄ４５、Ｄ２５、Ｄ２５及びＤ０５のうちの最大値及びそれに次ぐ値である。ＬＲｍｉｎ及びＬＲｍｉｎ２は、Ｄ４１、Ｄ２１、Ｄ２１、Ｄ０１、Ｄ４５、Ｄ２５、Ｄ２５及びＤ０５のうちの最小値及びそれに次ぐ値である。

図１６に示すように、ソート回路は、ＬＲｍａｘ、ＬＲｍａｘ２、４Ｃ＿ＨＩＧＨ及び４Ｃ＿ＬＯＷから、Ｄ４ｍａｘ２を求める。ＬＲｍａｘ＞４Ｃ＿ＨＩＧＨである場合、ＳＥＬ７３は、ＬＲｍａｘ２を選択する。４Ｃ＿ＨＩＧＨ＞ＬＲｍａｘである場合、ＳＥＬ７３は、４Ｃ＿ＬＯＷを選択する。Ｄ４ｍａｘ２は、１０個の信号値Ｄ４１、Ｄ４５、Ｄ２１、Ｄ２１、Ｄ２３、Ｄ２５、Ｄ２５、Ｄ０１、Ｄ０３及びＤ０５のうち最大値に次ぐ大きい値である。Ｄ４ｍａｘ２は、画素Ｐ４３についての白キズ補正に適用される。

ソート回路は、ＬＲｍｉｎ２、ＬＲｍｉｎ、４Ｃ＿ＨＩＧＨ及び４Ｃ＿ＬＯＷから、Ｄ４ｍｉｎ２を求める。ＬＲｍｉｎ＜４Ｃ＿ＬＯＷである場合、ＳＥＬ７４は、ＬＲｍｉｎ２を選択する。４Ｃ＿ＬＯＷ＜ＬＲｍｉｎである場合、ＳＥＬ７４は、４Ｃ＿ＨＩＧＨを選択する。Ｄ４ｍｉｎ２は、１０個の信号値Ｄ４１、Ｄ４５、Ｄ２１、Ｄ２１、Ｄ２３、Ｄ２５、Ｄ２５、Ｄ０１、Ｄ０３及びＤ０５のうち最小値に次ぐ小さい値である。Ｄ４ｍｉｎ２は、画素Ｐ４３についての黒キズ補正に適用される。

ソート回路は、ＬＲｍａｘ、ＬＲｍａｘ２、２Ｃ＿ＨＩＧＨ及び２Ｃ＿ＬＯＷから、Ｄ２ｍａｘ２を求める。ＬＲｍａｘ＞２Ｃ＿ＨＩＧＨである場合、ＳＥＬ７５は、ＬＲｍａｘ２を選択する。２Ｃ＿ＨＩＧＨ＞ＬＲｍａｘである場合、ＳＥＬ７５は、２Ｃ＿ＬＯＷを選択する。Ｄ２ｍａｘ２は、１０個の信号値Ｄ４１、Ｄ４３、Ｄ４５、Ｄ２１、Ｄ２１、Ｄ２５、Ｄ２５、Ｄ０１、Ｄ０３及びＤ０５のうち最大値に次ぐ大きい値である。Ｄ２ｍａｘ２は、画素Ｐ２３についての白キズ補正に適用される。

ソート回路は、ＬＲｍｉｎ２、ＬＲｍｉｎ、２Ｃ＿ＨＩＧＨ及び２Ｃ＿ＬＯＷから、Ｄ２ｍｉｎ２を求める。ＬＲｍｉｎ＜２Ｃ＿ＬＯＷである場合、ＳＥＬ７６は、ＬＲｍｉｎ２を選択する。２Ｃ＿ＬＯＷ＜ＬＲｍｉｎである場合、ＳＥＬ７６は、２Ｃ＿ＨＩＧＨを選択する。Ｄ２ｍｉｎ２は、１０個の信号値Ｄ４１、Ｄ４３、Ｄ４５、Ｄ２１、Ｄ２１、Ｄ２５、Ｄ２５、Ｄ０１、Ｄ０３及びＤ０５のうち最小値に次ぐ小さい値である。Ｄ２ｍｉｎ２は、画素Ｐ２３についての黒キズ補正に適用される。

ソート回路は、ＬＲｍａｘ、ＬＲｍａｘ２、０Ｃ＿ＨＩＧＨ及び０Ｃ＿ＬＯＷから、Ｄ０ｍａｘ２を求める。ＬＲｍａｘ＞０Ｃ＿ＨＩＧＨである場合、ＳＥＬ７７は、ＬＲｍａｘ２を選択する。０Ｃ＿ＨＩＧＨ＞ＬＲｍａｘである場合、ＳＥＬ７７は、０Ｃ＿ＬＯＷを選択する。Ｄ０ｍａｘ２は、１０個の信号値Ｄ４１、Ｄ４３、Ｄ４５、Ｄ２１、Ｄ２１、Ｄ２３、Ｄ２５、Ｄ２５、Ｄ０１及びＤ０５のうち最大値に次ぐ大きい値である。Ｄ０ｍａｘ２は、画素Ｐ０３についての白キズ補正に適用される。

ソート回路は、ＬＲｍｉｎ２、ＬＲｍｉｎ、０Ｃ＿ＨＩＧＨ及び０Ｃ＿ＬＯＷから、Ｄ０ｍｉｎ２を求める。ＬＲｍｉｎ＜０Ｃ＿ＬＯＷである場合、ＳＥＬ７８は、ＬＲｍｉｎ２を選択する。０Ｃ＿ＬＯＷ＜ＬＲｍｉｎである場合、ＳＥＬ７８は、０Ｃ＿ＨＩＧＨを選択する。Ｄ０ｍｉｎ２は、１０個の信号値Ｄ４１、Ｄ４３、Ｄ４５、Ｄ２１、Ｄ２１、Ｄ２３、Ｄ２５、Ｄ２５、Ｄ０１及びＤ０５のうち最小値に次ぐ小さい値である。Ｄ０ｍｉｎ２は、画素Ｐ０３についての黒キズ補正に適用される。

ソート回路は、６個の信号Ｄ４ｍａｘ２、Ｄ４ｍｉｎ２、Ｄ２ｍａｘ２、Ｄ２ｍｉｎ２、Ｄ０ｍａｘ２及びＤ０ｍｉｎ２を出力する。キズ補正部２４は、Ｄ４ｍａｘ２、Ｄ２ｍａｘ２及びＤ０ｍａｘ２を基に算出された第１補正用クリップ値を使用するクリップ処理を実施する。キズ補正部２４は、Ｄ４ｍｉｎ２、Ｄ２ｍｉｎ２及びＤ０ｍｉｎ２を基に算出された第２補正用クリップ値を使用するクリップ処理を実施する。

キズ補正部２４は、Ｄ４ｍａｘ２、Ｄ４ｍｉｎ２、Ｄ２ｍａｘ２、Ｄ２ｍｉｎ２、Ｄ０ｍａｘ２及びＤ０ｍｉｎ２を使用することで、２画素のキズに対処するキズ補正を実施することが可能となる。なお、本実施形態で説明する回路構成は、本実施形態で説明する機能を実現可能な構成であれば良く、適宜変更可能であるものとする。

ソート回路は、画素ブロックにおける信号値のうち最大値に次ぐ高い信号値及び最小値に次ぐ低い信号値と併せて、最大値及び最小値を出力するものとしても良い。キズ補正部２４は、ソート回路からの出力を適宜選択することで、キズ補正のレベルを適宜変更可能としても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５ 固体撮像装置、１２ 信号処理回路、１３ ハイダイナミックレンジ合成回路、１５ 長時間露光ラインエリア、１６ 短時間露光ラインエリア、１７ 画素アレイ、２２ 信号レベル調整部、２４ キズ補正部、２５ 補間処理部、２６ 伸張処理部。

Claims (6)

1. 第１電荷蓄積期間における第１画素への入射光量に応じた第１画像信号と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における第２画素への入射光量に応じた第２画像信号とを合成するハイダイナミックレンジ合成回路を有し、
   前記ハイダイナミックレンジ合成回路は、
   前記第１電荷蓄積期間と前記第２電荷蓄積期間との比に応じて、前記第２画像信号の信号レベルを調整する信号レベル調整部と、
   前記第１画像信号と、前記信号レベル調整部での信号レベルの調整を経た前記第２画像信号と、が入力され、対象画素とする前記第１画素について、その近傍に位置する周辺画素である前記第２画素からの前記第２画像信号を使用する補間処理を実施し、対象画素とする前記第２画素について、その近傍に位置する周辺画素である前記第１画素からの前記第１画像信号を使用する補間処理を実施する補間処理部と、
   前記補間処理部での前記補間処理に使用する、前記対象画素及び前記周辺画素についての前記第１画像信号及び前記第２画像信号に対するキズ補正を実施するキズ補正部と、を有し、
   前記キズ補正部は、前記対象画素を中心とし前記周辺画素を含む画素ブロックにおける信号値の最大値に、予め設定された最大値用重み係数による重み付けを施した第１補正用クリップ値と、前記画素ブロックにおける信号値の最小値に、予め設定された最小値用重み係数による重み付けを施した第２補正用クリップ値とを算出し、前記補間処理に使用する前記対象画素についての信号値及び前記周辺画素についての信号値に対し、前記第１補正用クリップ値を使用するクリップ処理と、前記第２補正用クリップ値を使用するクリップ処理とを実施することを特徴とする画像処理装置。
2. 第１電荷蓄積期間における第１画素への入射光量に応じた第１画像信号と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における第２画素への入射光量に応じた第２画像信号とを合成するハイダイナミックレンジ合成回路を有し、
   前記ハイダイナミックレンジ合成回路は、
   前記第１電荷蓄積期間と前記第２電荷蓄積期間との比に応じて、前記第２画像信号の信号レベルを調整する信号レベル調整部と、
   前記第１画像信号と、前記信号レベル調整部での信号レベルの調整を経た前記第２画像信号と、が入力され、対象画素とする前記第１画素について、その近傍に位置する周辺画素である前記第２画素からの前記第２画像信号を使用する補間処理を実施し、対象画素とする前記第２画素について、その近傍に位置する周辺画素である前記第１画素からの前記第１画像信号を使用する補間処理を実施する補間処理部と、
   前記補間処理部での前記補間処理に使用する、前記対象画素及び前記周辺画素についての前記第１画像信号及び前記第２画像信号に対するキズ補正を実施するキズ補正部と、を有することを特徴とする画像処理装置。
3. 前記キズ補正部は、前記補間処理に使用する前記対象画素についての信号値及び前記周辺画素についての信号値に対し、前記対象画素を中心とし前記周辺画素を含む画素ブロックにおける信号値の最大値を基に算出された第１補正用クリップ値を使用するクリップ処理と、前記画素ブロックにおける信号値の最小値を基に算出された第２補正用クリップ値を使用するクリップ処理とを実施することを特徴とする請求項２に記載の画像処理装置。
4. 前記キズ補正部は、前記補間処理に使用する前記対象画素についての信号値及び前記周辺画素についての信号値に対し、前記対象画素を中心とし前記周辺画素を含む画素ブロックにおける信号値のうち最大値に次ぐ高い信号値を基に算出された第１補正用クリップ値を使用するクリップ処理と、前記画素ブロックにおける信号値のうち最小値に次ぐ低い信号値を基に算出された第２補正用クリップ値を使用するクリップ処理とを実施することを特徴とする請求項２に記載の画像処理装置。
5. 前記周辺画素は、前記対象画素を中心とする画素ブロックに含まれる８個の画素であって、前記対象画素と同色用の画素とすることを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
6. 第１電荷蓄積期間における入射光量を検出する第１画素と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における入射光量を検出する第２画素と、を含む画素アレイと、
   前記第１画素が前記入射光量に応じて出力する第１画像信号と、前記第２画素が前記入射光量に応じて出力する第２画像信号とを合成するハイダイナミックレンジ合成回路と、を有し、
   前記画素アレイは、前記第１画素を水平方向へ並列させた第１ラインエリアと、前記第２画素を前記水平方向へ並列させた第２ラインエリアとが、垂直方向へ交互に配置され、
   前記ハイダイナミックレンジ合成回路は、
   前記第１電荷蓄積期間と前記第２電荷蓄積期間との比に応じて、前記第２画像信号の信号レベルを調整する信号レベル調整部と、
   前記第１画像信号と、前記信号レベル調整部での信号レベルの調整を経た前記第２画像信号と、が入力され、対象画素とする前記第１画素について、前記対象画素を含む前記第１ラインエリアに隣接する前記第２ラインエリアに含まれる周辺画素である前記第２画素からの前記第２画像信号を使用する補間処理を実施し、対象画素とする前記第２画素について、前記対象画素を含む前記第２ラインエリアに隣接する前記第１ラインエリアに含まれる周辺画素である前記第１画素からの前記第１画像信号を使用する補間処理を実施する補間処理部と、
   前記補間処理部での前記補間処理に使用する、前記対象画素及び前記周辺画素についての前記第１画像信号及び前記第２画像信号に対するキズ補正を実施するキズ補正部と、を有することを特徴とする固体撮像装置。

Images