JP2004247946A - デジタルカメラおよびデジタルカメラにおける欠陥画素補正方法 - Google Patents

Abstract

【課題】欠陥画素の補正を精度良く且つ的確に行ない、補正処理時における演算回数を軽減すること。
【解決手段】感度の異なる主画素と副画素とを有する複数の画素を備え、入射した被写体光を受光して電気信号に変換するＣＣＤ１３２と、画素の主画素もしくは副画素に欠陥がある場合に、ＣＣＤ１３２にて受光した画像の光量に応じて欠陥画素の画素値の補正処理を行なう画素信号生成部１５０と、を設ける。そして、主画素の欠陥の場合には、副画素の画素値を補正処理データの一部として用いて欠陥主画素の画素値を補正し、副画素の欠陥の場合には、主画素の画素値を補正処理データの一部として用いて欠陥副画素の画素値を補正する。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体を固体撮像素子上に結像させてその被写体を表す画像信号を取り込む撮影を行なうデジタルカメラおよびデジタルカメラにおける欠陥画素補正方法に関する。
【０００２】
【従来の技術】
近年、被写体を固体撮像素子上に結像させてその被写体を表す画像信号を取り込む撮影を行なう、所謂デジタルカメラが広く普及しており、その固体撮像素子（以下、単に『撮像素子』と記述する。）としては、例えば、ＣＣＤ（即ち、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型撮像素子、ＣＭＯＳ（即ち、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子、等が用いられている。撮像素子には多数の画素が配列されており、当該撮像素子は半導体基板上に多数のフォトダイオード等の感光素子を形成することにより製造される。ここで、撮像素子の製造にあたり、半導体基板に不純物が混入する等の原因により局所的に画素値の取り込みが不能な欠陥画素が発生する場合がある。
【０００３】
このような欠陥画素を有する撮像素子を救済するために、欠陥画素に隣接した複数の画素からの合成信号に基づいてその欠陥画素の画素値を補正する技術が提案されている（例えば、特許文献１参照）。
【０００４】
また、ルックアップテーブル記憶部に記憶された、正常な画素の出力に対応して算出された補正データに基づいて、欠陥画素の画素値を補正する技術が提案されている（例えば、特許文献２参照）。
【０００５】
【特許文献１】
特開平５−１３０５１４号公報（段落番号００１５−段落番号００２０、第１図）
【特許文献２】
特開平６−３３４９２２号公報（段落番号００２１−段落番号００２５、第１図）
【０００６】
【発明が解決しようとする課題】
特許文献１や特許文献２に記載された技術は、撮像素子の、欠陥画素と物理的に異なる場所に形成された周辺部における画素の画素値に基づいて、欠陥画素の画素値を補正するものである。具体的には、撮像素子が、所謂単板式ＣＣＤである場合、画素毎に色成分が異なっており（例えば、Ｒ，Ｇ，Ｂ，Ｇの様に、Ｒ，Ｇ，Ｂ成分が交互に配置されている）、欠陥画素の画素値を補正する場合、同じ色成分の画素の上方で補正する必要がある。このため、欠陥画素とは物理的に異なる場所に形成された画素の画素値を得るためには、欠陥画素に隣接した画素の画素値ではなく、更に離れた場所に位置する画素の画素値で補正する必要がある。このため、欠陥画素の画素値を精度よく補正することは困難である。
【０００７】
本発明は、前述した事情に鑑みてなされたものであり、その目的は、欠陥画素の補正を精度良く且つ的確に行なえ、補正処理時における演算回数を軽減することが可能なデジタルカメラおよびデジタルカメラにおける欠陥画素補正方法を提供することにある。
【０００８】
【課題を解決するための手段】
前述した目的を達成するため、本発明のデジタルカメラは、請求項１に記載したように、
感度の異なる主画素と副画素とを有する複数の画素を備え、入射した被写体光を受光して電気信号に変換する撮像素子と、
前記画素の主画素もしくは副画素に欠陥がある場合に、前記撮像素子にて受光した画像の光量に応じて欠陥画素の画素値の補正処理を行なう画素信号生成部と、
を具備することを特徴としている。
【０００９】
請求項１に記載の発明のデジタルカメラによれば、画像の光量に応じて欠陥画素の画素値の補正処理を行なうので、欠陥画素の補正を極めて良好且つ的確に行なうことができ、また、補正処理時における演算回数を軽減することができ、更には、ダイナミックレンジを拡大するような処理を行なう場合に、精度の高い補正を行なうことができる。
【００１０】
また、本発明のデジタルカメラは、請求項２に記載したように、前記主画素は前記副画素に対して感度が高くされ、前記画素信号生成部は、前記撮像素子にて受光した画像の光量が低い低輝度領域の場合に、欠陥主画素の周囲の他の主画素の画素値を用いて欠陥主画素の画素値の補正を行なうことを特徴としている。
【００１１】
請求項２に記載の発明のデジタルカメラによれば、副画素の画素値が有効でない低輝度領域においては、副画素の画素値を用いずに周囲の主画素の画素値を用いて欠陥主画素の画素値の補正を的確に行なうことができる。
【００１２】
また、本発明のデジタルカメラは、請求項３に記載したように、前記画素信号生成部は、前記低輝度領域の場合に、欠陥副画素の画素値をゼロとすることを特徴としている。
【００１３】
請求項３に記載の発明のデジタルカメラによれば、副画素の画素値が有効でない低輝度領域においては、欠陥副画素の画素値をゼロとするので、処理の簡略化を図ることができる。
【００１４】
また、本発明のデジタルカメラは、請求項４に記載したように、前記画素信号生成部は、前記撮像素子にて受光した画像の光量が、前記副画素により有効な画素値が出力可能な程度の中輝度領域の場合に、欠陥主画素とともに画素を構成する副画素の画素値と、欠陥主画素の周囲の他の画素を構成する主画素および副画素の画素値とを用いて欠陥主画素の画素値の補正を行なうことを特徴としている。
【００１５】
請求項４に記載の発明のデジタルカメラによれば、光量が中輝度領域の場合は、欠陥主画素の補正処理を、欠陥主画素とともに画素を構成する副画素の画素値と、周囲の画素の主画素および副画素の画素値とを用いるので、極めて的確且つ高精度な補正処理を行なうことができる。
【００１６】
また、本発明のデジタルカメラは、請求項５に記載したように、前記画素信号生成部は、前記中輝度領域の場合に、欠陥副画素の周囲の他の画素を構成する主画素および副画素の画素値を用いて欠陥副画素の画素値の補正を行なうことを特徴としている。
【００１７】
請求項５に記載の発明のデジタルカメラによれば、光量が中輝度領域の場合は、欠陥副画素の周囲の他の画素を構成する主画素および副画素の画素値を用いて欠陥副画素の画素値の補正を行なうので、欠陥副画素の画素値を極めて的確且つ高精度に補正することができる。
【００１８】
また、本発明のデジタルカメラは、請求項６に記載したように、前記画素信号生成部は、前記撮像素子にて受光した画像の光量が高い高輝度領域の場合に、欠陥主画素の周囲の他の画素を構成する主画素および副画素の画素値を用いて欠陥主画素の画素値の補正を行なうことを特徴としている。
【００１９】
請求項６に記載の発明のデジタルカメラによれば、光量が高輝度領域の場合に、欠陥主画素の周囲の他の画素を構成する主画素および副画素の画素値とを用いて欠陥主画素の画素値の補正を行なうので、欠陥主画素の画素値を極めて的確且つ高精度に補正することができる。
【００２０】
また、本発明のデジタルカメラは、請求項７に記載したように、前記画素信号生成部は、前記高輝度領域の場合に、欠陥副画素の周囲の他の副画素の画素値を用いて欠陥副画素の画素値の補正を行なうことを特徴としている。
【００２１】
請求項７に記載の発明のデジタルカメラによれば、光量が高輝度領域の場合に、欠陥副画素の周囲の他の副画素の画素値を用いて欠陥副画素の画素値の補正を行なうので、欠陥副画素の画素値を確実に補正することができる。
【００２２】
また、本発明のデジタルカメラは、請求項８に記載したように、欠陥画素と、この欠陥画素に対して縦横に位置する画素もしくは斜めに位置する画素のいずれの相関が高いかを判定する相関判定部を備え、前記画素信号生成部は、前記相関判定部が判定した相関の高い画素に基づいて前記欠陥画素の画素値を補正することを特徴としている。
【００２３】
請求項８に記載の発明のデジタルカメラによれば、相関判定部によって判定した欠陥画素と相関の高い画素に基づいて補正を行なうので、欠陥画素を円滑且つ的確に補正することができる。
【００２４】
また、前述した目的を達成するため、本発明のデジタルカメラにおける欠陥画素補正方法は、請求項９に記載したように、
感度の異なる主画素と副画素とを有する複数の画素によって入射した被写体光を受光して電気信号からなる画素値に変換する変換ステップと、
該変換ステップにて変換された画素値から撮影した画像の光量を検出する光量検出ステップと、
前記変換ステップを行なう画素に欠陥が存在する場合に、前記光量検出ステップにて検出した光量に基づいて欠陥画素の画素値を補正する補正処理ステップと、
を行なうことを特徴としている。
【００２５】
請求項９に記載の発明のデジタルカメラにおける欠陥画素補正方法によれば、画像の光量に応じて欠陥画素の画素値の補正処理を行なうので、欠陥画素の補正を極めて良好且つ的確に行なうことができ、また、補正処理時における演算回数を軽減することができ、更には、ダイナミックレンジを拡大するような処理を行なう場合に、精度の高い補正を行なうことができる。
【００２６】
また、本発明のデジタルカメラにおける欠陥画素補正方法は、請求項１０に記載したように、主画素の欠陥の場合に、前記補正処理ステップにて、副画素の画素値を補正処理データの一部として用いて欠陥主画素の画素値を補正することを特徴としている。
【００２７】
請求項１０に記載の発明のデジタルカメラにおける欠陥画素補正方法によれば、副画素の画素値を補正処理データの一部として用いて欠陥主画素の画素値を補正することにより、主画素の補正を良好且つ的確に行なうことができる。
【００２８】
また、本発明のデジタルカメラにおける欠陥画素補正方法は、請求項１１に記載したように、副画素の欠陥の場合に、前記補正処理ステップにて、主画素の画素値を補正処理データの一部として用いて欠陥副画素の画素値を補正することを特徴としている。
【００２９】
請求項１１に記載の発明のデジタルカメラにおける欠陥画素補正方法によれば、主画素の画素値を補正処理データの一部として用いて欠陥副画素の画素値を補正することにより、副画素の補正を良好且つ的確に行なうことができる。
【００３０】
【発明の実施の形態】
以下、本発明に係る好適な実施形態を図面に基づき詳細に説明する。
【００３１】
図１（ａ）〜（ｄ）は、本発明の一実施形態であるデジタルカメラの外観図であり、図１（ａ）は正面図、図１（ｂ）は上面図、図１（ｃ）は側面図、そして図１（ｄ）は背面図である。
【００３２】
図１（ａ）〜（ｄ）に示すデジタルカメラ１００は、被写体を撮像素子上に結像させてその被写体を表す画像信号を取り込むデジタルカメラである。
【００３３】
図１（ａ）に示すように、本実施形態のデジタルカメラ１００の正面には、撮影ズームレンズ１０１が備えられている。また、このデジタルカメラ１００の上部には、閃光を発光する閃光発光管１０５ａを有する閃光発光装置１０５が配備されている。
【００３４】
更に、図１（ｄ）に示すように、デジタルカメラ１００の背面にはユーザがこのデジタルカメラ１００を使用するときに種々の操作を行なうための操作部１２０が設けられている。
【００３５】
この操作部１２０には、デジタルカメラ１００を作動させるための電源投入用電源スイッチ１２１、撮影と再生とを自在に切り替える撮影・再生切替レバー１２２、オート撮影やマニュアル撮影等を選択するための撮影モードダイヤル１２３、各種のメニューの設定や選択あるいはズームを行なうための十字スイッチ１２４、閃光発光用のスイッチ１２５、および十字スイッチ１２４で選択されたメニューの実行を行なうための実行スイッチ１２６ａ、キャンセルを行なうためのキャンセルスイッチ１２６ｂが備えられている。また、デジタルカメラ１００の背面には、撮影画像や再生画像等を表示するための画像表示ＬＣＤ（即ち、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１０２と、操作の手助けを行なうための操作表示ＬＣＤ１０３が備えられている。
【００３６】
更に、図１（ｂ）に示すように、このデジタルカメラ１００の上面にはレリーズ釦１０４が配備されている。このレリーズ釦１０４によって撮影の開始指示がデジタルカメラ１００の内部に備えられた、後述するメインＣＰＵ（即ち、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）へと伝えられる。このデジタルカメラ１００では撮影・再生切替レバー１２２によって撮影と再生との切り替えが自在になっていて、撮影を行なうときにはユーザによって撮影・再生切替レバー１２２が撮影側１２２ａに切り替えられ、再生を行なうときには撮影・再生切替レバー１２２が再生側１２２ｂに切り替えられる。
【００３７】
更に、図１（ｃ）に示すように、デジタルカメラ１００の側面には、このデジタルカメラ１００により撮影された被写体の画像信号をテレビ、プロジェクタ、等といった画像表示装置に出力するためのケーブルが接続される映像出力端子１０６と、このデジタルカメラ１００により撮影された被写体の画像信号をＵｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）端子が備えられたパーソナルコンピュータ等に出力し、およびこのようなパーソナルコンピュータ等からデジタルカメラ１００に画像信号を入力するためのケーブルが接続されるＵＳＢ端子１０７と、ＡＣアダプタからの直流電圧が入力される直流電圧入力端子１０８とが備えられている。
【００３８】
図２は、図１に示すデジタルカメラの回路構成を示すブロック図である。このデジタルカメラ１００には、前述した撮影ズームレンズ１０１と、絞り１３１と、それら撮影ズームレンズ１０１および絞り１３１を経由して結像された被写体像をアナログの画像信号に変換する撮像素子としてＣＣＤ型撮像素子（以下、単に『ＣＣＤ』と記述する。）１３２と、が備えられている。ＣＣＤ１３２は、そのＣＣＤ１３２に照射された被写体光により発生した電荷を可変の電荷蓄積時間の間蓄積することにより画像信号を生成するものである。
【００３９】
また、このデジタルカメラ１００には、ＣＣＤ１３２からのアナログの画像信号をデジタルの画像データにＡ／Ｄ変換するＡ／Ｄ変換部１３４と、そのＡ／Ｄ変換部１３４からの画像データを格納するバッファメモリ１３５とが備えられている。
【００４０】
更に、デジタルカメラ１００には、ＣＧ（クロックジェネレータ）部１３６と、測光・測距用ＣＰＵ１３７と、充電・発光制御部１３８と、白バランス・γ処理部１３９と、ＹＣ処理部１４０と、電源１４１と、が備えられている。
【００４１】
ＣＧ部１３６は、ＣＣＤ１３２を駆動するための駆動信号、Ａ／Ｄ変換部１３４および白バランス・γ処理部１３９を制御するための制御信号を出力する。また、このＣＧ部１３６には、測光・測距用ＣＰＵ１３７からの制御信号が入力される。
【００４２】
測光・測距用ＣＰＵ１３７は、撮影ズームレンズ１０１、絞り１３１を不図示の手段で駆動することにより測光や測距を行ない、ＣＧ部１３６および充電・発光制御部１３８を制御する。更に、この測光・測距用ＣＰＵ１３７は、後述するメインＣＰＵ１４５との間でデータ通信を行なう。
【００４３】
充電・発光制御部１３８は、閃光発光管１０５ａを発光させるために電源１４１からの電力の供給を受けて閃光発光用のコンデンサ（不図示）を充電したり、その閃光発光管１０５ａの発光を制御する。
【００４４】
白バランス・γ処理部１３９は、バッファメモリ１３５に格納された画像データをバスライン１４２を介して読み出して、その画像データが表す被写体像のホワイトバランスを合わせるとともにその被写体像の階調特性における直線の傾き（即ち、γ）を調整する。
【００４５】
ＹＣ処理部１４０は、バッファメモリ１３５に格納された画像データをバスライン１４２を介して読み出し、輝度信号（Ｙ）と色信号（Ｃ）に分離されたカラー映像信号ＹＣを生成する。生成されたカラー映像信号ＹＣは、映像出力端子１０６（図１（ｃ）参照）から出力される。
【００４６】
電源１４１は、このデジタルカメラ１００の各部に電力を供給する。
【００４７】
更に、デジタルカメラ１００には、圧縮・伸長＆ＩＤ抽出部１４３と、Ｉ／Ｆ部（即ち、インタフェース部）１４４と、が備えられている。圧縮・伸長＆ＩＤ抽出部１４３は、バッファメモリ１３５に格納された画像データを、バスライン１４２を介して読み出して圧縮し、Ｉ／Ｆ部１４４を経由してメモリカード２００に格納する。また、圧縮・伸長＆ＩＤ抽出部１４３は、メモリカード２００に格納された画像データの読み出しにあたり、メモリカード２００固有の識別番号（即ち、ＩＤ）を抽出し、そのメモリカード２００に格納された画像データを読み出して伸長し、バッファメモリ１３５に格納する。
【００４８】
また、デジタルカメラ１００には、メインＣＰＵ１４５と、ＥＥＰＲＯＭ（即ち、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１４６と、ＹＣ／ＲＧＢ変換部１４７と、表示用のドライバ１４８と、が備えられている。
【００４９】
ＥＥＰＲＯＭ１４６には、このデジタルカメラ１００の各種機能を実現するための処理プログラムが格納されている。メインＣＰＵ１４５は、このＥＥＰＲＯＭ１４６に記録されている処理プログラムを実行し且つ該処理プログラムに従ってデジタルカメラ１００のシステム全体を制御する制御手段として働く。
【００５０】
また、ＥＥＰＲＯＭ１４６には、このデジタルカメラ１００固有の個体データ等が格納されている。また更に、このＥＥＰＲＯＭ１４６には、ＣＣＤ１３２が製造上の理由等により欠陥画素を有する場合、この欠陥画素の欠陥情報が格納される。
【００５１】
ＹＣ／ＲＧＢ変換部１４７は、ＹＣ処理部１４０で生成されたカラー映像信号ＹＣを３色のＲＧＢ信号に変換して表示用のドライバ１４８を経由して画像表示ＬＣＤ１０２に出力する。
【００５２】
更に、デジタルカメラ１００には、画素信号生成部１５０および相関判定部１５１が備えられている。これら画素信号生成部１５０および相関判定部１５１の詳細については後述するが、画素信号生成部１５０は、ＣＣＤ１３２が製造上の理由等により欠陥画素を有し、その欠陥画素から正常な画素値の取り込みが不能な場合に、その欠陥画素の画素値を精度よく補正するためのものであり、相関判定部１５１は欠陥画素と周囲の画素との相関を判定する。
【００５３】
ここで、ＣＣＤ１３２の構成について説明する。
【００５４】
図３は、図２に示すＣＣＤを構成する２つの画素を示す図である。
【００５５】
尚、ここでは、例示的に２つの画素を示すが、ＣＣＤ１３２には、このような画素が実際には多数配列されている。
【００５６】
図３には、ＣＣＤ１３２を構成する画素１３２＿１、１３２＿２が示されている。画素１３２＿１は、相対的に面積の広い主画素１３２＿１１と、相対的に面積の狭い副画素１３２＿１２との複合からなる画素であり、これら主画素１３２＿１１、副画素１３２＿１２の画素値は、画素１３２＿１の両側に配設された伝送路１３２ａを介して、相互に独立に読み出される。
【００５７】
また、画素１３２＿２も、画素１３２＿１と同様にして、相対的に面積の広い主画素１３２＿２１と、相対的に面積の狭い副画素１３２＿２２との複合からなる画素であり、これら主画素１３２＿２１、副画素１３２＿２２の画素値は、画素１３２＿２の両側に配設された伝送路１３２ａを介して、相互に独立に読み出される。尚、上記主画素１３２＿１１、１３２＿２１、副画素１３２＿１２、１３２＿２２は、例えばフォトダイオードから形成されている。
図４は、図２に示すバッファメモリ１３５の、主画素と副画素との双方の画素値が格納されるメモリ部分を示す図である。
【００５８】
尚、ここでは、例示的に２つのメモリ部分を示すが、バッファメモリ１３５には、このようなメモリ部が実際には多数備えられている。
【００５９】
図４には、バッファメモリ１３５を構成するメモリ部分１３５＿１、１３５＿２が示されている。メモリ部分１３５＿１には、主画素１３２＿１１の画素値（主画素データ）が格納される。また、メモリ部分１３５＿２には、副画素１３２＿１２の画素値（副画素データ）が格納される。バッファメモリ１３５に格納された主画素および副画素の画素値は、画素信号生成部１５０で読み出されて、以下のようにして処理される。
【００６０】
尚、主画素と副画素には、高輝度におけるダイナミックレンジの拡大により高輝度における白飛びした部分のディテイル表現を豊かにすることを目的として感度の違いを持たせている。したがって、主画素と副画素との感度比が１０：１であるような場合は、副画素が低輝度であると、副画素の画素値は、振幅が小さく、Ｓ／Ｎ値も良くなく、画素値としてあまり意味を持たない。
【００６１】
このため、画素信号生成部１５０は、光量に応じて欠陥画素の画素値の補正処理および欠陥画素の周囲の画素の画素値を用いた補正処理を行なう。
【００６２】
次に、この画素信号生成部１５０による欠陥画素の補正処理について説明する。尚、ここでは、図５に示すように、主画素ａ（ｘ、ｙ）、副画素ｂ（ｘ、ｙ）が配置された３×３画素の単純線形補正の場合を一例として説明する。
画素信号生成部１５０は、図６に示すように、光量に応じて分けられた３つの輝度領域Ｉ、ＩＩ、ＩＩＩ毎に次のような異なった補正を行なう。
【００６３】
▲１▼低輝度領域Ｉにおける補正
（主画素の補正）
低輝度領域Ｉにおいては、副画素ｂ（ｘ、ｙ）は感度が低く画像の情報としては重要性をあまり持たない。このため、主画素ａ（ｘ、ｙ）の補正は、次式（１）、（２）に示すように、副画素ｂの画素値は考慮に入れず、主画素ａの画素値のみの線形補正処理を行なう。
【００６４】
【数１】

【００６５】
ここで、相関判定部１５１によって縦横の画素との相関が大きいと判定された場合は、式（１）による補正を行ない、斜めの画素との相関が大きいと判定された場合は、式（２）による補正を行なう。
【００６６】
（副画素の補正）
低輝度領域Ｉにおいては、前述したように、副画素ｂ（ｘ、ｙ）は感度が低く画像の情報としては重要性をあまり持たないので、相関判定部１５１によって縦横の画素との相関が大きいと判断された場合および斜めの画素との相関が大きい場合の両者とも、次式（３）、（４）に示すように、副画素ｂ（ｘ、ｙ）の補正は行なわずゼロ成分とする。
【００６７】
【数２】

【００６８】
▲２▼中輝度領域ＩＩにおける補正
（主画素の補正）
中輝度領域ＩＩにおいては、副画素ｂの画像の情報が有効であるので、主画素ａ（ｘ、ｙ）の補正は、副画素ｂの画素値を考慮し、次式（５）、（６）に示すように、主画素ａの画素値と副画素ｂの画素値の線形補正の和によって行なう。
【００６９】
【数３】

【００７０】
ここで、相関判定部１５１によって縦横の画素との相関が大きいと判定された場合は、式（５）による補正を行ない、斜めの画素との相関が大きいと判定された場合は、式（６）による補正を行なう。尚、上式（５）、（６）において、α１は主画素ａの画素値の線形補正値に対する重み係数、β１は副画素ｂの画素値の線形補正値に対する重み係数であり、ここでは、欠陥の主画素ａ（ｘ、ｙ）と同じ位置の副画素ｂ（ｘ、ｙ）を考慮して定められている。また、中輝度領域ＩＩにおける主画素ａ（ｘ、ｙ）の補正では、次式（７）に示すように、主画素ａの係数α１をメイン係数とし、副画素ｂの係数β１を付属係数とし、副画素ｂの係数β１の影響を中程度としている。
【００７１】
【数４】

【００７２】
また、欠陥の主画素ａ（ｘ、ｙ）と同じ位置の副画素ｂ（ｘ、ｙ）の画素情報を周辺の副画素ｂの画素情報よりも重視するため、式（５）、（６）にて、副画素ｂ（ｘ、ｙ）の係数を２としている。尚、この係数は２に限定されることなく、欠陥主画素ａ（ｘ、ｙ）と同じ位置の副画素ｂ（ｘ、ｙ）の画素情報の重視の度合いに応じて変更される。
【００７３】
（副画素の補正）
中輝度領域ＩＩにおいては、副画素ｂ（ｘ、ｙ）の画素欠陥の補正は、次式（８）、（９）に示すように、主画素ａの画素値と副画素ｂの画素値の線形補正の和によって行なう。
【００７４】
【数５】

【００７５】
ここで、相関判定部１５１によって縦横の画素との相関が大きいと判定された場合は、式（８）による補正を行ない、斜めの画素との相関が大きいと判定された場合は、式（９）による補正を行なう。尚、上式（８）、（９）において、δ１は副画素ｂの画素値の線形補正値に対する重み係数、γ１は主画素ａの画素値の線形補正値に対する重み係数であり、次式（１０）に示すように、副画素ｂの係数δ１をメイン係数とし、主画素ａの係数γ１を付属係数とし、主画素ａの係数γ１の影響を少なくしている。
【００７６】
【数６】

【００７７】
▲３▼高輝度領域ＩＩＩにおける補正
（主画素の補正）
高輝度領域ＩＩＩにおいては、副画素ｂの画像の情報が更に有効であるので、主画素ａ（ｘ、ｙ）の画素欠陥の補正は、副画素ｂの画素値を更に考慮し、次式（１１）、（１２）に示すように、主画素ａの画素値と副画素ｂの画素値の線形補正の和によって行なう。
【００７８】
【数７】

【００７９】
ここで、相関判定部１５１によって縦横の画素との相関が大きいと判定された場合は、式（１１）による補正を行ない、斜めの画素との相関が大きいと判定された場合は、式（１２）による補正を行なう。尚、上式（１１）、（１２）において、α２は主画素ａの画素値の線形補正値に対する重み係数、β２は副画素ｂの画素値の線形補正値に対する重み係数であり、ここでは、欠陥の主画素ａ（ｘ、ｙ）と同じ位置の副画素ｂ（ｘ、ｙ）を考慮して定められている。また、高輝度領域ＩＩＩにおける主画素ａ（ｘ、ｙ）の補正では、次式（１３）に示すように、主画素ａの係数α２をメイン係数とし、副画素ｂの係数β２を付属係数としている。
【００８０】
【数８】

【００８１】
ここで、この高輝度領域ＩＩＩでは、副画素ｂの画像情報が中輝度領域ＩＩのときより更に有効であるので、次式（１４）に示すように、中輝度領域ＩＩの場合と比較して、主画素ａの係数α２をα１より小さくし、副画素ｂの係数β２をβ１よりも大きくし、副画素ｂの画素値を更に重視している。
【００８２】
【数９】

【００８３】
また、ここでも、欠陥の主画素ａ（ｘ、ｙ）と同じ位置の副画素ｂ（ｘ、ｙ）の画素情報を周辺の副画素ｂの画素情報よりも重視するため、式（１１）、（１２）にて、副画素ｂ（ｘ、ｙ）の係数を２としている。
【００８４】
（副画素の補正）
高輝度領域ＩＩＩにおいては、副画素ｂの画像情報はＳ／Ｎ値も良好であるため、主画素ａの画素値を考慮しなくても副画素ｂの画素値は十分に情報を有している。したがって、高輝度領域ＩＩＩにおいては、副画素ｂ（ｘ、ｙ）の画素欠陥の補正は、次式（１５）、（１６）に示すように、副画素ｂの画素値のみの線形補正によって行なう。
【００８５】
【数１０】

【００８６】
ここで、相関判定部１５１によって縦横の画素との相関が大きいと判定された場合は、式（１５）による補正を行ない、斜めの画素との相関が大きいと判定された場合は、式（１６）による補正を行なう。
【００８７】
次に、本実施形態のデジタルカメラ１００の画素信号生成部１５０による補正処理を図７に示すフローチャート図を参照してステップ毎に説明する。
【００８８】
撮影・再生切替レバー１２２が撮影側１２２ａに切り替えられた状態で電源スイッチ１２１が押されてデジタルカメラ１００に電源が投入されると、この補正処理ルーチンが開始する。
【００８９】
（ステップＳ１）
まず、レリーズ釦１０４が押されたか否かが判定される。レリーズ釦１０４が押されていないと判定された場合は、レリーズ釦１０４が押されるまで、このステップＳ１を繰り返し実行する。レリーズ釦１０４が押されたと判定された場合はステップＳ２に進む。
【００９０】
（ステップＳ２）
ステップＳ２では、主画素の画素値を読み込んでステップＳ３に進む。
【００９１】
（ステップＳ３）
ステップＳ３では、副画素の画素値を読み込んでステップＳ４に進む。
【００９２】
（ステップＳ４）
ステップＳ４では、ＥＥＰＲＯＭ１４６に格納されている欠陥画素の欠陥情報を読み込む。
【００９３】
（ステップＳ５）
次に、ステップＳ５において、読み込まれた主画素および副画素の画素値を有する画素が上記欠陥情報を持つ欠陥画素であるか否かが判定される。欠陥画素でないと判定された場合は、後述するステップＳ２９に進む。一方、欠陥画素であると判定された場合はステップＳ６に進む。
【００９４】
（ステップＳ６）
ステップＳ６では、撮影した画像の光量が、低輝度領域Ｉの範囲内であるか否かが判定される。低輝度領域Ｉの範囲内である場合は、ステップＳ７へ進み、その後の補正処理が行なわれ、低輝度領域Ｉの範囲外である場合は、ステップＳ１４へ進む。
【００９５】
（ステップＳ７）
ステップＳ７では、主画素が欠陥であるか否かが判定される。主画素が欠陥であると判定された場合はステップＳ８に進み、主画素の補正処理が行なわれ、主画素が欠陥でないと判定された場合は、ステップＳ１１に進み、副画素の欠陥補正処理が行なわれる。
【００９６】
（ステップＳ８）
ステップＳ８では、相関判定部１５１が、欠陥画素の縦横あるいは斜めの画素との相関関係を判定し、縦横の画素との相関が大きい場合は、ステップＳ９へ進み、斜めの画素との相関が大きい場合は、ステップＳ１０へ進む。
【００９７】
（ステップＳ９）
ステップＳ９では、画素信号生成部１５０が、式（１）に基づいて演算を行ない、主画素の画素値を補正し、ステップＳ２９に進む。
【００９８】
（ステップＳ１０）
ステップＳ１０では、画素信号生成部１５０が、式（２）に基づいて演算を行ない、主画素の画素値を補正し、ステップＳ２９に進む。
【００９９】
（ステップＳ１１）
ステップＳ１１では、相関判定部１５１が、欠陥画素の縦横あるいは斜めの画素との相関関係を判定し、縦横の画素との相関が大きい場合は、ステップＳ９へ進み、斜めの画素との相関が大きい場合は、ステップＳ１２へ進む。
【０１００】
（ステップＳ１２）
ステップＳ１２では、画素信号生成部１５０が、式（３）に基づいて演算を行ない、副画素の画素値を補正し、ステップＳ２９に進む。
【０１０１】
（ステップＳ１３）
ステップＳ１３では、画素信号生成部１５０が、式（４）に基づいて演算を行ない、副画素の画素値を補正し、ステップＳ２９に進む。尚、ステップＳ１２、Ｓ１３では、低輝度領域Ｉにおいては、副画素は感度が低く画像の情報としては重要性をあまり持たないので、副画素の補正は行なわれずゼロ成分とされる。
【０１０２】
（ステップＳ１４）
ステップＳ１４では、撮影した画像の光量が、中輝度領域ＩＩの範囲内であるか否かが判定される。中輝度領域ＩＩの範囲内である場合は、ステップＳ１５へ進み、その後の補正処理が行なわれ、中輝度領域ＩＩの範囲外である場合は、ステップＳ２２へ進む。
【０１０３】
（ステップＳ１５）
ステップＳ１５では、主画素が欠陥であるか否かが判定される。主画素が欠陥であると判定された場合はステップＳ１６に進み、主画素の欠陥補正処理が行なわれ、主画素が欠陥でないと判定された場合は、ステップＳ１９に進み、副画素の欠陥補正処理が行なわれる。
【０１０４】
（ステップＳ１６）
ステップＳ１６では、相関判定部１５１が、欠陥画素の縦横あるいは斜めの画素との相関関係を判定し、縦横の画素との相関が大きい場合は、ステップＳ１７へ進み、斜めの画素との相関が大きい場合は、ステップＳ１８へ進む。
【０１０５】
（ステップＳ１７）
ステップＳ１７では、画素信号生成部１５０が、式（５）に基づいて演算を行ない、主画素の画素値を補正し、ステップＳ２９に進む。
【０１０６】
（ステップＳ１８）
ステップＳ１８では、画素信号生成部１５０が、式（６）に基づいて演算を行ない、主画素の画素値を補正し、ステップＳ２９に進む。
【０１０７】
（ステップＳ１９）
ステップＳ１９では、相関判定部１５１が、欠陥画素の縦横あるいは斜めの画素との相関関係を判定し、縦横の画素との相関が大きい場合は、ステップＳ２０へ進み、斜めの画素との相関が大きい場合は、ステップＳ２１へ進む。
【０１０８】
（ステップＳ２０）
ステップＳ２０では、画素信号生成部１５０が、式（８）に基づいて演算を行ない、副画素の画素値を補正し、ステップＳ２９に進む。
【０１０９】
（ステップＳ２１）
ステップＳ２１では、画素信号生成部１５０が、式（９）に基づいて演算を行ない、副画素の画素値を補正し、ステップＳ２９に進む。
【０１１０】
（ステップＳ２２）
ステップＳ１４にて高輝度領域ＩＩＩと判定された後、ステップＳ２２では、主画素が欠陥であるか否かが判定される。主画素が欠陥であると判定された場合はステップＳ２３に進み、主画素の欠陥補正処理が行なわれ、主画素が欠陥でないと判定された場合は、ステップＳ２６に進み、副画素の欠陥補正処理が行なわれる。
【０１１１】
（ステップＳ２３）
ステップＳ２３では、相関判定部１５１が、欠陥画素の縦横あるいは斜めの画素との相関関係を判定し、縦横の画素との相関が大きい場合は、ステップＳ２４へ進み、斜めの画素との相関が大きい場合は、ステップＳ２５へ進む。
【０１１２】
（ステップＳ２４）
ステップＳ２４では、画素信号生成部１５０が、式（１１）に基づいて演算を行ない、主画素の画素値を補正し、ステップＳ２９に進む。
【０１１３】
（ステップＳ２５）
ステップＳ２５では、画素信号生成部１５０が、式（１２）に基づいて演算を行ない、主画素の画素値を補正し、ステップＳ２９に進む。
【０１１４】
（ステップＳ２６）
ステップＳ２６では、相関判定部１５１が、欠陥画素の縦横あるいは斜めの画素との相関関係を判定し、縦横の画素との相関が大きい場合は、ステップＳ２７へ進み、斜めの画素との相関が大きい場合は、ステップＳ２８へ進む。
【０１１５】
（ステップＳ２７）
ステップＳ２７では、画素信号生成部１５０が、式（１５）に基づいて演算を行ない、副画素の画素値を補正し、ステップＳ２９に進む。
【０１１６】
（ステップＳ２８）
ステップＳ２８では、画素信号生成部１５０が、式（１６）に基づいて演算を行ない、副画素の画素値を補正し、ステップＳ２９に進む。
【０１１７】
（ステップＳ２９）
ステップＳ２９では、全ての欠陥画素について補正したか否かが判定される。全ての欠陥画素について未だ補正していないと判定された場合は、ステップＳ５に戻る。一方、全ての欠陥画素について補正したと判定された場合は、このルーチンを終了する。
【０１１８】
このように、上記実施形態のデジタルカメラによれば、撮影した画像の光量に応じて欠陥画素の補正処理を行なうことによって、欠陥画素の補正を極めて良好且つ的確に行なうことができ、また、補正処理時における演算回数を軽減することができ、更には、ダイナミックレンジを拡大するような処理を行なう場合に、精度の高い補正を行なうことができる。
【０１１９】
尚、上記の例では、相関判定部１５１を設けて欠陥画素に対して縦横もしくは斜めの画素との相関の大きい方を判定し、欠陥画素の周囲における縦横に位置する画素もしくは斜めに位置する画素のいずれかの画素値を補正処理に用いるようにしたが、相関判定部１５１を設けずに、縦横に位置する画素もしくは斜めに位置する画素のいずれか一方の画素値を補正処理に用いるように予め設定しておいても良く、あるいは両者の画素値を用いても良い。
【０１２０】
【発明の効果】
以上、説明したように、本発明のデジタルカメラおよびデジタルカメラにおける欠陥画素補正方法によれば、撮影した画像の光量に応じて欠陥画素の補正処理を行なうことによって、欠陥画素の補正を極めて良好且つ的確に行なうことができ、また、補正処理時における演算回数を軽減することができ、更には、ダイナミックレンジを拡大するような処理を行なう場合に、精度の高い補正を行なうことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態のデジタルカメラを説明するデジタルカメラの外観図である。
【図２】図１に示すデジタルカメラの回路構成を示すブロック図である。
【図３】図２に示すＣＣＤを構成する２つの画素を示す図である。
【図４】図２に示すバッファメモリの、主画素と副画素との双方の画素値が格納されるメモリ部分を示す図である。
【図５】主画素と副画素とを有するＣＣＤの画素の位置関係を説明する図である。
【図６】撮影した画像の光量に対する出力データを表すグラフ図である。
【図７】本実施形態のデジタルカメラの、画素信号生成部における欠陥画素の画素値を補正する補正処理ルーチンのフローチャートである。
【符号の説明】
１００ デジタルカメラ
１３２ ＣＣＤ（撮像素子）
１３２＿１、１３２＿２ 画素
１３２＿１１、１３２＿２１ 主画素
１３２＿１２、１３２＿２２ 副画素
１５０ 画素信号生成部
１５１ 相関判定部

Claims (11)

1. 感度の異なる主画素と副画素とを有する複数の画素を備え、入射した被写体光を受光して電気信号に変換する撮像素子と、
   前記画素の主画素もしくは副画素に欠陥がある場合に、前記撮像素子にて受光した画像の光量に応じて欠陥画素の画素値の補正処理を行なう画素信号生成部と、
   を具備することを特徴とするデジタルカメラ。
2. 前記主画素は前記副画素に対して感度が高くされ、前記画素信号生成部は、前記撮像素子にて受光した画像の光量が低い低輝度領域の場合に、欠陥主画素の周囲の他の主画素の画素値を用いて欠陥主画素の画素値の補正を行なうことを特徴とする請求項１記載のデジタルカメラ。
3. 前記画素信号生成部は、前記低輝度領域の場合に、欠陥副画素の画素値をゼロとすることを特徴とする請求項２記載のデジタルカメラ。
4. 前記画素信号生成部は、前記撮像素子にて受光した画像の光量が、前記副画素により有効な画素値が出力可能な程度の中輝度領域の場合に、欠陥主画素とともに画素を構成する副画素の画素値と、欠陥主画素の周囲の他の画素を構成する主画素および副画素の画素値とを用いて欠陥主画素の画素値の補正を行なうことを特徴とする請求項２または請求項３記載のデジタルカメラ。
5. 前記画素信号生成部は、前記中輝度領域の場合に、欠陥副画素の周囲の他の画素を構成する主画素および副画素の画素値を用いて欠陥副画素の画素値の補正を行なうことを特徴とする請求項４記載のデジタルカメラ。
6. 前記画素信号生成部は、前記撮像素子にて受光した画像の光量が高い高輝度領域の場合に、欠陥主画素の周囲の他の画素を構成する主画素および副画素の画素値を用いて欠陥主画素の画素値の補正を行なうことを特徴とする請求項２から５のいずれか１項記載のデジタルカメラ。
7. 前記画素信号生成部は、前記高輝度領域の場合に、欠陥副画素の周囲の他の副画素の画素値を用いて欠陥副画素の画素値の補正を行なうことを特徴とする請求項６記載のデジタルカメラ。
8. 欠陥画素と、この欠陥画素に対して縦横に位置する画素もしくは斜めに位置する画素のいずれの相関が高いかを判定する相関判定部を備え、前記画素信号生成部は、前記相関判定部が判定した相関の高い画素に基づいて前記欠陥画素の画素値を補正することを特徴とする請求項１から７のいずれか１項記載のデジタルカメラ。
9. 感度の異なる主画素と副画素とを有する複数の画素によって入射した被写体光を受光して電気信号からなる画素値に変換する変換ステップと、
   該変換ステップにて変換された画素値から撮影した画像の光量を検出する光量検出ステップと、
   前記変換ステップを行なう画素に欠陥が存在する場合に、前記光量検出ステップにて検出した光量に基づいて欠陥画素の画素値を補正する補正処理ステップと、
   を行なうことを特徴とするデジタルカメラにおける欠陥画素補正方法。
10. 主画素の欠陥の場合に、前記補正処理ステップにて、副画素の画素値を補正処理データの一部として用いて欠陥主画素の画素値を補正することを特徴とする請求項９記載のデジタルカメラにおける欠陥画素補正方法。
11. 副画素の欠陥の場合に、前記補正処理ステップにて、主画素の画素値を補正処理データの一部として用いて欠陥副画素の画素値を補正することを特徴とする請求項９または請求項１０記載のデジタルカメラにおける欠陥画素補正方法。

Images