JP2004221839A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】従来よりも少ない演算量であって、かつ、使用するフレームメモリ等の数を減少させて、色・感度モザイク画像から広ＤＲカラー画像を生成する。
【解決手段】感度補償部６３は、色・感度モザイク画像を色モザイク画像に変換する。注目画素決定部６１は、色モザイク画像から局所領域情報を抽出する。エッジ方向検出部６６は、局所領域のエッジを検出する。Ｇ成分算出部６７は、注目画素に対するＧ成分を、エッジ方向に基づいて重み付け補間する。統計量算出部６９は、局地領域における統計量情報を算出する。第１Ｒ，Ｂ成分算出部７０または第２Ｒ，Ｂ成分算出部７０は、統計量情報に基づいて注目画素のＲ，Ｂ成分を算出する。逆ガンマ変換部７３は、注目画素のＲ，Ｇ，Ｂ成分に逆ガンマ変換を施す。本発明は、例えば、ディジタルスチルカメラに適用することができる。
【選択図】 図３１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、隣り合う画素と有する色成分が異なり、かつ、撮影時の感度も異なる画素から構成される色・感度モザイク画像を元にして、複数の広いダイナミックレンジの色成分を有する画素から構成される広ダイナミックレンジカラー画像を生成する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【背景技術】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）の分野における部品検査装置、およびＭＥ（Ｍｅｄｉｃａｌ Ｅｌｅｃｔｒｏｎｉｃｓ）の分野における電子内視鏡等の光計測装置に幅広く利用されている。
【０００３】
従来、固体撮像素子を用いた撮像装置等のダイナミックレンジを向上させるために、画素毎に異なる感度で計測した光強度信号を合成する技術が知られている。以下、そのような第１乃至第５の従来技術について説明する。
【０００４】
第１の従来技術としては、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測する方法を挙げることができる（例えば、特許文献１参照）。しかしながら、第１の従来技術では、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、省コスト化や省スペース化の面で不利である問題があった。
【０００５】
第２の従来技術としては、１つの固体撮像素子を用い、その露光時間を複数に分割して複数枚の画像を撮像した後、得られた複数枚の画像を合成する方法を挙げることができる（例えば、特許文献２参照）。しかしながら、第２の従来技術では、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーンを正しく撮像できないという問題があった。
【０００６】
第３の従来技術としては、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像する方法を挙げることができる（例えば、特許文献３参照）。固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるフィルタで覆う方法がある。
【０００７】
第３の従来技術によれば、第１の従来技術において問題であった省コスト化や省スペース化の面で有利となる。また、第２の従来技術において問題であった動的シーンを正しく撮像できないことを解決することができる。しかしながら、第３の従来技術では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子から成る撮像素子が必要であり、ユニットセルサイズが大きくなる課題があった。
【０００８】
第４の従来技術としては、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子毎、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成する方法を挙げることができる。受光素子毎の露出が異なるような仕組みは、受光素子毎に光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する（例えば、非特許文献１参照）。
【０００９】
第４の従来技術では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
【００１０】
しかしながら、第４の従来技術は、モノクロ画像を生成することを前提としたものであり、カラー画像を生成することについては、その技術が確立されていない問題があった。
【００１１】
第５の従来方法としては、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子毎、その露出が異なるようにし、さらに、各受光素子が隣接する受光素子とは異なる色成分を出力するような仕組みを施し、得られた色・感度モザイク画像に所定の画像処理を施することにより広ダイナミックレンジのカラー画像信号を生成する方法を挙げることができる。各受光素子が隣接する受光素子とは異なる色成分を出力するような仕組みは、各受光素子を、カラーフィルタで覆うことにより実現する（例えば、特許文献４参照）。
【００１２】
【特許文献１】
特開平８−２２３４９１号公報
【特許文献２】
特開平８−３３１４６１号公報
【特許文献３】
特開昭５９−２１７３５８号公報
【特許文献４】
特開２００１−９７７号公報
【非特許文献１】
Ｓ．Ｋ．Ｎａｙａｒ ａｎｄ Ｔ．Ｍｉｔｓｕｎａｇａ，“Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ：Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｐｉｘｅｌ Ｅｘｐｏｓｕｒｅｓ”，Ｐｒｏｃ． ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２０００，Ｖｏｌ．１，ｐｐ．４７２−４７９，Ｊｕｎｅ，２０００
【００１３】
【発明が解決しようとする課題】
第５の従来技術によれば、撮影の結果得られた色・感度モザイク画像に所定の画像処理を施することにより広ダイナミックレンジのカラー画像を生成することが可能である。しかしながら、当該画像処理の過程において、各画素が輝度信号を有している輝度画像や各画素が色差信号を有している色差画像等を生成するための演算が必要となり、さらに、それらの画像を保持するメモリが必要となるので、演算量の削減や回路規模の縮小が望まれている課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、従来よりも少ない演算量であって、かつ、使用するフレームメモリ等の数を減少させることにより回路規模を縮小して、色・感度モザイク画像を元に広ダイナミックレンジのカラー画像を生成できるようにすることを目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、色・感度モザイク画像から、処理の対象とする注目画素を中心とした所定の領域を抽出する抽出手段と、抽出手段によって抽出された所定の領域に含まれる画素の光強度に対する感度特性を統一して、複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する感度特性が統一された画素からなる局所領域情報を生成する生成手段と、局所領域情報に含まれる画素のうち、第１の色成分を有する画素に基づいて、局所領域情報におけるエッジを検出するエッジ検出手段と、エッジ検出手段によって検出されたエッジの方向に基づき、局所領域情報に含まれる画素のうち、第１の色成分を有する画素を用いた重み付け平均演算により、注目画素に対する第１の色成分を補間する第１の補間手段と、局所領域情報に含まれる画素に基づき、統計量情報を算出する統計量情報算出手段と、第１の補間手段によって補間された注目画素に対する第１の色成分、および統計量情報に基づき、注目画素に対する第１の色成分以外の色成分を補間する第２の補間手段とを含むことを特徴とする。
【００１６】
本発明の画像処理装置は、局所領域情報に含まれる欠陥画素を、欠陥画素の近傍の画素を用いて補間する欠陥画素補間手段をさらに含むことができる。
【００１７】
前記統計量情報算出手段は、局所領域情報に含まれる画素に基づき、統計量情報として、各色成分の平均、各色成分の標準偏差、または第１の色成分とその他の色成分との相関係数のうち、少なくとも１つを算出するようにすることができる。
【００１８】
前記第２の補間手段は、第１の補間手段によって補間された注目画素に対する第１の色成分、並びに統計量情報算出手段によって算出された各色成分の平均、各色成分の標準偏差、および第１の色成分とその他の色成分との相関係数に基づき、注目画素に対する第１の色成分以外の色成分を補間するようにすることができる。
【００１９】
前記第２の補間手段は、第１の補間手段によって補間された注目画素に対する第１の色成分、および統計量情報算出手段によって算出された第１の色成分以外の色成分の平均に基づき、注目画素に対する第１の色成分以外の色成分を補間するようにすることができる。
【００２０】
前記第２の補間手段は、第１の補間手段によって補間された注目画素に対する第１の色成分、並びに統計量情報算出手段によって算出された各色成分の平均、各色成分の標準偏差、および第１の色成分とその他の色成分との相関係数に基づき、注目画素に対する第１の色成分以外の色成分を演算する第１の演算手段と、第１の補間手段によって補間された注目画素に対する第１の色成分、および統計量情報算出手段によって算出された第１の色成分以外の色成分の平均に基づき、注目画素に対する第１の色成分以外の色成分を演算する第２の演算手段とを含み、１の演算手段または第２の演算手段のうちの一方を選択して、注目画素に対する第１の色成分以外の色成分を補間するようにすることができる。
【００２１】
前記第２の補間手段は、統計量情報算出手段によって算出された第１の色成分の標準偏差に基づき、第１の演算手段または第２の演算手段のうちの一方を選択して、注目画素に対する第１の色成分以外の色成分を補間するようにすることができる。
【００２２】
本発明の画像処理装置は、局所領域情報に含まれる画素にガンマ変換を施すガンマ変換手段と、第１の補間手段によって補間された注目画素に対する第１の色成分、および第２の補間手段によって補間された注目画素に対する第１の色成分以外の色成分に逆ガンマ変換を施す逆ガンマ変換手段をさらに含むことができる。
【００２３】
前記第１の色成分は、複数の色成分のうち、統計的に信号レベルが最も大きい色成分であるようにすることができる。
【００２４】
前記第１の色成分は、複数の色成分のうち、色モザイク画像における空間占有率が最も高い色成分であるようにすることができる。
【００２５】
本発明の画像処理方法は、色・感度モザイク画像から、処理の対象とする注目画素を中心とした所定の領域を抽出する抽出ステップと、抽出ステップの処理で抽出された所定の領域に含まれる画素の光強度に対する感度特性を統一して、複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する感度特性が統一された画素からなる局所領域情報を生成する生成ステップと、局所領域情報に含まれる画素のうち、第１の色成分を有する画素に基づいて、局所領域情報におけるエッジを検出するエッジ検出ステップと、エッジ検出ステップの処理で検出されたエッジの方向に基づき、局所領域情報に含まれる画素のうち、第１の色成分を有する画素を用いた重み付け平均演算により、注目画素に対する第１の色成分を補間する第１の補間ステップと、局所領域情報に含まれる画素に基づき、統計量情報を算出する統計量情報算出ステップと、第１の補間ステップの処理で補間された注目画素に対する第１の色成分、および統計量情報に基づき、注目画素に対する第１の色成分以外の色成分を補間する第２の補間ステップとを含むことを特徴とする。
【００２６】
本発明の記録媒体のプログラムは、色・感度モザイク画像から、処理の対象とする注目画素を中心とした所定の領域を抽出する抽出ステップと、抽出ステップの処理で抽出された所定の領域に含まれる画素の光強度に対する感度特性を統一して、複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する感度特性が統一された画素からなる局所領域情報を生成する生成ステップと、局所領域情報に含まれる画素のうち、第１の色成分を有する画素に基づいて、局所領域情報におけるエッジを検出するエッジ検出ステップと、エッジ検出ステップの処理で検出されたエッジの方向に基づき、局所領域情報に含まれる画素のうち、第１の色成分を有する画素を用いた重み付け平均演算により、注目画素に対する第１の色成分を補間する第１の補間ステップと、局所領域情報に含まれる画素に基づき、統計量情報を算出する統計量情報算出ステップと、第１の補間ステップの処理で補間された注目画素に対する第１の色成分、および統計量情報に基づき、注目画素に対する第１の色成分以外の色成分を補間する第２の補間ステップとを含むことを特徴とする。
【００２７】
本発明のプログラムは、色・感度モザイク画像から、処理の対象とする注目画素を中心とした所定の領域を抽出する抽出ステップと、抽出ステップの処理で抽出された所定の領域に含まれる画素の光強度に対する感度特性を統一して、複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する感度特性が統一された画素からなる局所領域情報を生成する生成ステップと、局所領域情報に含まれる画素のうち、第１の色成分を有する画素に基づいて、局所領域情報におけるエッジを検出するエッジ検出ステップと、エッジ検出ステップの処理で検出されたエッジの方向に基づき、局所領域情報に含まれる画素のうち、第１の色成分を有する画素を用いた重み付け平均演算により、注目画素に対する第１の色成分を補間する第１の補間ステップと、局所領域情報に含まれる画素に基づき、統計量情報を算出する統計量情報算出ステップと、第１の補間ステップの処理で補間された注目画素に対する第１の色成分、および統計量情報に基づき、注目画素に対する第１の色成分以外の色成分を補間する第２の補間ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２８】
本発明の画像処理装置および方法、並びにプログラムにおいては、色・感度モザイク画像から、処理の対象とする注目画素を中心とした所定の領域が抽出され、抽出された所定の領域に含まれる画素の光強度に対する感度特性が統一されて、複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する感度特性が統一された画素からなる局所領域情報が生成される。また、局所領域情報に含まれる画素のうち、第１の色成分を有する画素に基づいて、局所領域情報におけるエッジが検出され、検出されたエッジの方向に基づき、局所領域情報に含まれる画素のうち、第１の色成分を有する画素を用いた重み付け平均演算により、注目画素に対する第１の色成分が補間される。さらに、局所領域情報に含まれる画素に基づき、統計量情報が算出され、補間された注目画素に対する第１の色成分、および統計量情報に基づき、注目画素に対する第１の色成分以外の色成分が補間される。
【００２９】
【発明の実施の形態】
図１は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００３０】
ディジタルスチルカメラの光学系は、被写体の光画像を集光するレンズ１、光画像の光量を調整する絞り２、および、集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換する単板式のＣＣＤイメージセンサ４から構成される。
【００３１】
信号処理系は、ＣＣＤイメージセンサ４からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（ＣＤＳ）５、相関２重サンプリング回路５が出力するアナログ信号をＡＤ変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６から入力されるディジタル信号にデモザイク処理を施して広ＤＲカラー画像を生成する画像処理部７から構成される。なお、画像処理部７が実行するデモザイク処理の詳細については後述する。
【００３２】
記録系は、画像処理部７が生成した広ＤＲカラー画像を符号化してメモリ９に記録したり、また、メモリ９に記憶されている符号化データを読み出して復号し、画像処理部７に供給したりするＣＯＤＥＣ（Ｃｏｍｐｒｅｓｓｉｏｎ／Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）８、および、符号化された広ＤＲカラー画像を記憶するメモリ９から構成される。
【００３３】
表示系は、画像処理部７から出力される画像信号をＤＡ変換するＤ／Ａコンバータ１０、アナログ化された画像信号を後段のディスプレイ１２に適合する形式の映像信号（ＮＴＳＣ信号等）にエンコードするビデオエンコーダ１１、および、入力されるビデオ信号に対応する画像を表示することによりファインダや画像モニタとして機能するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等よりなるディスプレイ１２から構成される。
【００３４】
制御系は、ＣＣＤイメージセンサ４乃至画像処理部７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３、およびユーザがシャッタタイミングやその他のコマンドを入力する操作入力部１３から構成される。
【００３５】
当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ１および絞り２を介してＣＣＤイメージセンサ４に入射され、ＣＣＤイメージセンサ４によって光電変換され、得られた電気信号は、相関２重サンプリング回路５によってノイズが除去され、Ａ／Ｄコンバータ６によってディジタル化された後、画像処理部７が内蔵する画像メモリに一時格納される。
【００３６】
なお、通常の状態では、タイミングジェネレータ３による信号処理系に対する制御により、画像処理部７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部７に内蔵された画像メモリの画像信号は、間引きなどによりその画像サイズが縮小されてＤ／Ａコンバータ１０に供給され、アナログ信号に変換され、ビデオエンコーダ１１によってビデオ信号に変換されて対応する画像が、ファインダの役割も担っているディスプレイ１２に表示される。
【００３７】
ユーザにより操作入力部１３に含まれるシャッタボタンが押下された場合、タイミングジェネレータ３は、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部７の画像メモリに画像信号が上書きされないように信号処理系を制御する。その後、画像処理部７の画像メモリに書き込まれた画像データは、ＣＯＤＥＣ８によって符号化されてメモリ９に記録される。以上のようなディジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
【００３８】
次に、ディジタルスチルカメラの動作概要について、図２のフローチャートを参照して説明する。ステップＳ１において、ＣＣＤイメージセンサ４を中心とする光学系の撮像処理によって、被写体を画素毎に異なる色と感度で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を取得する。
【００３９】
ステップＳ２において、画像処理部７を中心とする信号処理系のデモザイク処理により、撮像処理によって得られた色・感度モザイク画像が、各画素がＲ，Ｇ，Ｂ成分の全てを有し、かつ、均一の感度を有する画像に変換される。以上で、ディジタルスチルカメラの動作概要の説明を終了する。
【００４０】
次に、色・感度モザイク画像を構成する画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）Ｐ１乃至１４を図３乃至図１６に示す。なお、色・感度モザイクパターンを構成する色の組み合わせとしては、Ｒ（赤）、Ｇ（緑）、およびＢ（青）からなる３色の組み合わせを基本として、その他の３原色や、Ｙ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）、およびＧ（緑）からなる４色原色の組み合わせも考えられる。
【００４１】
感度の段階としては、Ｓ０およびＳ１から成る２段階を基本として、より多段階とすることができる。
【００４２】
なお、図３乃至図１６においては、各正方形が１画素に対応しており、英文字がその色成分し、英文字の添え字として数字がその感度を示している。例えば、Ｇ_０と表示された画素は、色成分がＧ（緑）であって感度がＳ０であることを示している。また、感度については数字が大きいほど、より高感度であるとする。
【００４３】
色・感度モザイクパターンＰ１乃至Ｐ１４は、以下に示す第１乃至第４の特徴によって分類することができる。
【００４４】
第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。第１の特徴について、図３に示す色・感度モザイクパターンＰ１を参照して説明する。
【００４５】
色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２^１／２の間隔で、垂直方向には２^３／２の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２^１／２の間隔で格子状の配置されている。
【００４６】
第１の特徴は、図３に示す色・感度モザイクパターンＰ１の他、色・感度モザイクパターンＰ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１３が有している。
【００４７】
第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。
【００４８】
第２の特徴は、図５に示す色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ７，Ｐ８，Ｐ９，Ｐ１２，Ｐ１４が有している。
【００４９】
第３の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ（Ｂａｙｅｒ）配列をなしていることである。第３の特徴について、図４に示す色・感度モザイクパターンＰ２を参照して説明する。色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。
【００５０】
したがって、色・感度モザイクパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列であるといえる。なお、第３の特徴は、色・感度モザイクパターンＰ２の他、色・感度モザイクパターンＰ１０，Ｐ１１が有している。
【００５１】
第４の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。第４の特徴について、図５に示す色・感度モザイクパターンＰ３を参照して説明する。色・感度モザイクパターンＰ３において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２^１／２の間隔を空けてベイヤ配列をなしている。また、感度Ｓ１の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
【００５２】
なお、第４の特徴は、色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ１２が有している。
【００５３】
ところで、色・感度モザイクパターンＰ１乃至Ｐ１４の色や感度の配列に関連し、画素の感度に拘わらず色だけに注目した場合、「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目した場合、「感度のモザイク配列」と記述する。
【００５４】
次に、ＣＣＤイメージセンサ４において上述した色・感度モザイクパターンを実現する方法について説明する。
【００５５】
色・感度モザイクパターンのうち、色のモザイク配列については、ＣＣＤイメージセンサ４の受光素子の上面に、画素毎に異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。
【００５６】
色・感度モザイクパターンのうち、感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。
【００５７】
まず、感度のモザイク配列を光学的に実現する方法について説明するが、その前に、ＣＣＤイメージセンサ４を構成する、１画素分の画素信号を生成する受光素子について説明する。図１７は、ＣＣＤイメージセンサ４を構成する受光素子の断面を示している。受光素子の上部表面には、オンチップレンズ２１が形成されている。オンチップレンズ２１は、図面上方からの入射光がフォトダイオード（ＰＤ）２３に集光されるようになされている。オンチップカラーフィルタ２２は、入射光の波長帯域を制限する（特定の波長帯域だけを透過させる）。受光素子の下部には、ウェハ中にフォトダイオード２３が形成されている。フォトダイオード２３は、入力された光量に対応して電荷を生じる。フォトダイオード２３の両脇には、垂直レジスタ２６が形成されている。垂直レジスタ２６の上部には、垂直レジスタ２６を駆動する垂直レジスタ駆動電極２５が配線されている。
【００５８】
垂直レジスタ２６は、フォトダイオード２３で生じた電荷を転送する領域であるので、そこで電荷が生じることがないように、垂直レジスタ２６と垂直レジスタ駆動電極２５はシールド２４によって遮光されている。シールド２４は、フォトダイオード２３の上部だけが開口しており、その開口部分を入射光が通過してフォトダイオード２３に到達するようになされている。
【００５９】
以上説明したように構成されるＣＣＤイメージセンサ４を利用して、各受光素子の感度を変えることができる。換言すれば、フォトダイオード２３に対する入射光量を変化させることができる。
【００６０】
感度のモザイク配列を光学的に実現するには、例えば、図１８に示す２つの受光素子のように、オンチップレンズ２１の設置の有無により、集光される光量を変化させる方法がある。また、例えば、図１９に示すように、オンチップカラーフィルタ２２の上方（または下方）にニュートラルデンシティフィルタ３１を設置することにより、光の透過率を変える方法がある。さらに、例えば図２０に示すように、シールド２４の開口部分の面積を変化させることにより、フォトダイオード２３に対する入射光量を変化させる方法がある。
【００６１】
次に、感度のモザイク配列を電子的に実現する２種類の方法について説明する。例えば、隣接する２つの受光素子（第１および第２の受光素子と称する）に対し、制御のタイミングを違えることにより、２つの受光素子を異なる感度に設定する第１の方法について、図２１を参照して説明する。
【００６２】
図２１の第１段目は、ＣＣＤイメージセンサ４の露光期間を示している。同図の第２段目は、電荷掃き出しを指令するパルス電圧のタイミングを示している。同図の第３段目は、電荷転送を指令する制御電圧が与えられるタイミングを示している。同図の第４段目は、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第５段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。同図の第６段目は、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第７段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００６３】
感度のモザイク配列を電子的に実現する第１の方法において、電荷掃き出しパルス電圧は、第１および第２の受光素子に対して共通に、露光期間以外においては、フォトダイオード２３から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。
【００６４】
電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通して垂直レジスタ２６に電荷を転送させるための波形電圧が供給され、露光期間中においては、垂直レジスタ２６からの電荷の転送が停止されるように電荷転送電圧は供給されない。
【００６５】
電荷読み出しパルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミング（同図の第２段目）の直前に、１回目の電荷読み出しパルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読み出しパルス電圧が供給される。
【００６６】
このような制御の結果、第１の受光素子からは、１回目および２回目の電荷読み出しパルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、それら２回の読み出し電荷量が垂直レジスタ２６内で加算され、露光期間終了後に同じフレームのデータとして垂直レジスタ２６から転送されることになる。
【００６７】
一方、第２の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミングの直前に１回だけ電荷読み出しパルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとして垂直レジスタ２６から転送されることになる。
【００６８】
以上のように、第１の受光素子に対する制御タイミングと第２の受光素子と対する制御タイミングを変化させることにより、同じ露光期間中に第１の受光素子から読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
【００６９】
ただし、感度のモザイク配列を電子的に実現する第１の方法では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないことが問題である。
【００７０】
次に、感度のモザイク配列を電子的に実現する第２の方法について、図２２を参照して説明する。同図の第１乃至７段目はそれぞれ、図２１の第１乃至７段目と同様に、ＣＣＤイメージセンサ４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００７１】
感度のモザイク配列を電子的に実現する第２の方法においては、露光期間中において、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返して供給される。
【００７２】
すなわち、電荷掃き出しパルス電圧については、第１および第２の受光素子に対して共通に、露光期間中において、１回目の電荷掃き出しパルス電圧と２回目の電荷掃き出しパルス電圧の組が複数回供給される。電荷読み出しパルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃き出しパルス電圧の直前に２回目の電荷読み出しパルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回だけ電荷読み出しパルス電圧が供給される。
【００７３】
その結果、第１の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、垂直レジスタ２６の電荷の転送が停止されているので、これら組ごとに２回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。第２の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に１回だけ供給される電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。
【００７４】
以上説明したような感度のモザイク配列を電子的に実現する第２の方法では、露光期間において電荷の読み出しを複数回繰り返すので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。
【００７５】
なお、上述した感度のモザイク配列を電子的に実現する第１および第２の方法に関連し、一般的に、ＣＣＤイメージセンサ４の読み出し制御は、水平ライン毎に配線される垂直レジスタ駆動電極２５に印加される。例えば、図３に示された色・感度モザイクパターンＰ１のように、水平ライン毎に感度が変わるような感度のモザイク配列を実現するためには、その電極構造を利用すればよいので、ラインごとに異なる読み出しパルス電圧がかけられるような若干の改良をおこなえばよい。さらに、３相駆動の垂直レジスタを持つプログレッシブスキャンのＣＣＤイメージセンサにおいては、その電極構造を工夫することによって、２段階感度による任意のモザイク配列を電子的に実現できる。
【００７６】
図２３は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第１の電極構造を示している。図２４は、図２３の図中の線分ａａ’におけるＣＣＤイメージセンサの断面図を示している。第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。一方、第３相垂直レジスタ駆動電極４４は、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。また、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４は、対応するフォトダイオ−ド２３に隣接する読み出しゲ−ト４１上にもかかるようになされている。
【００７７】
したがって、第２相垂直レジスタ駆動電極４３、または第３相垂直レジスタ駆動電極４４に読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを一時的に取り除き、対応するフォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送することが可能である。以下、図２３および図２４に示された電極構造をＯＲ型の電極構造と記述する。
【００７８】
図２５は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第２の電極構造を示している。図２５の図中の線分ａａ’におけるＣＣＤイメージセンサの断面も、図２４に示した断面図と同様である。すなわち、第２の電極構造においても、第１の電極構造と同様に、第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。第３相垂直レジスタ駆動電極４４は、第１の電極構造と同様に、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。
【００７９】
しかしながら、第３相垂直レジスタ駆動電極４４が対応するフォトダイオ−ド２３に隣接する読み出しゲート４１上において、当該フォトダイオ−ド２３の辺縁部分に沿って配置され、次いでそれに隣接するように第２相垂直レジスタ駆動電極４３の細長く加工された部分が読み出しゲート４１にかかるようになされている点が第１の電極構造と異なる。
【００８０】
したがって、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４のうち、一方だけに読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを取り除くことができない。読み出しゲ−ト４１のバリアを取り除き、フォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送するためには、第２相垂直レジスタ駆動電極４３と第３相垂直レジスタ駆動電極４４に同時に読み出しパルスを印加する必要がある。以下、図２５に示された電極構造をＡＮＤ型の電極構造と記述する。
【００８１】
以上説明したＯＲ型の電極構造とＡＮＤ型の電極構造を、１つのＣＣＤイメージセンサ内で組み合わせて使うことにより、２段階感度による任意のモザイク配列をつくることができる。例えば、色・感度モザイクパターンＰ１のうち、感度のモザイク配列を実現するためには、図２６に示すようにＯＲ型の電極構造とＡＮＤ型の電極構造を組み合わせればよい。
【００８２】
図５に示された色・感度モザイクパターンＰ１と、図２８に示されたパターンを比較すれば明らかなように、２段階の感度Ｓ０，Ｓ１のうち、低感度Ｓ０画素にはＡＮＤ型の電極構造を採用し、高感度Ｓ１の画素にはＯＲ型の電極構造を採用するようにする。このようにＯＲ型とＡＮＤ型の電極構造を組み合わせて構成したＣＣＤイメージセンサ４に対し、その第２相垂直レジスタ駆動電極４３に読み出しパルス電圧を印加すれば、ＯＲ型の画素だけで電荷読み出しがおこなわれ、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４に同時に読みだしパルス電圧を印加すれば、ＯＲ型とＡＮＤ型の両方、すなわち全ての画素で電荷読み出しがおこなわれるようになる。
【００８３】
なお、第２相垂直レジスタ駆動電極４３、および第３相垂直レジスタ駆動電極４４に対するパルス電圧の供給タイミングは、図２１（または図２２）に示した制御タイミングのうち、同図４段目の１回目の電荷読み出しパルス電圧の供給タイミングと、同図６段目の電荷読み出しパルス電圧の供給タイミングにおいて、第２相および第３相の両方を駆動し、同図４段目の２回目の電荷読み出しパルス電圧の供給タイミングにおいて第２相だけを駆動するようにすれば、ＯＲ型の電極構造の画素は高感度Ｓ１となり、ＡＮＤ型の電極構造の画素は低感度Ｓ０となる。
【００８４】
同様の方法により、その他の２段階の感度を有する感度のモザイク配列をつくることができる。例えば、色・感度モザイクパターンＰ２のうち、感度のモザイクパターンを実現するためには、ＯＲ型とＡＮＤ型を図２７に示すように組み合わせる。
【００８５】
色・感度モザイクパターンＰ３のうち、感度のモザイクパターンを実現するためには、ＯＲ型とＡＮＤ型を図２８に示すように組み合わせる。色・感度モザイクパターンＰ４のうち、感度のモザイクパターンを実現するためには、ＯＲ型とＡＮＤ型を図２９に示すように組み合わせる。色・感度モザイクパターンＰ５のうち、感度のモザイクパターンを実現するためには、ＯＲ型とＡＮＤ型を図３０に示すように組み合わせる。
【００８６】
以上、色・感度モザイク画像を生成するための仕組みの説明を終了する。
【００８７】
次に、図３１は、図１に示された画像処理部７の第１の構成例を示している。画像処理部７の注目画素決定部６１は、上段から入力される色・感度モザイク画像を構成する画素を、順次、１画素ずつ注目画素に決定し、注目画素を中心とする局所領域（例えば、７×７画素）を抽出して、保持メモリ６２に出力する。
保持メモリ６２は、注目画素決定部６１から入力された、色・感度モザイク画像の注目画素を中心とする局所領域を保持する。感度補償部６３は、保持メモリ６２に保持された、色・感度モザイク画像の注目画素を中心とする局所領域に含まれる画素のうち、低感度の画素の色成分信号を、高感度で撮影されたものに相当するように補償して、得られる局所的な色モザイク画像を、局所領域情報として欠陥画素補間部６４に出力する。
【００８８】
図３２は、感度補償部６３の構成例を示している。感度補償部６３の乗算部８１は、保持メモリ６２に保持されている局所的な色・感度モザイク画像の各画素に対して、高感度で撮影された画素と低感度で撮影された画素の感度比を乗算し、セレクタ８２に出力する。セレクタ８２は、局所的な色・感度モザイク画像と、乗算部８１が出力する感度補償された色・感度モザイク画像を入力として、予め保持している色・感度モザイク画像の感度配列を示す情報に基づき、高感度の画素位置については、局所的な色・感度モザイク画像の画素を有効性判定部８３に出力し、低感度の画素位置については、乗算部８１が出力する感度補償された局所的な色・感度モザイク画像の画素を有効性判定部８３に出力する。
【００８９】
有効性判定部８３は、セレクタ８２から入力される、画素の撮影時の感度が高感度に統一された局所的な色モザイク画像を構成する画素のうち、その画素値（色成分の値）が所定のノイズレベル以下であるもの、または、その画素値が所定の飽和レベル以上であるものを無効な画素に判定し、画素値を無効な画素であることを示す値（例えば、負の値）に置換して、後段の欠陥画素補間部６４に出力する。有効な画素は、そのまま欠陥画素補間部６４に出力する。
【００９０】
図３１に戻る。欠陥画素補間部６４は、感度補償部６３から入力される局所領域情報の中心に位置する注目画素が、欠陥画素（感度補償部６３の有効性判定部８３によって無効な画素と判定された画素）である場合、局所領域情報に含まれる他の画素を用いて、欠陥画素を補間し、ガンマ補正部６５に出力する。
【００９１】
図３３は、欠陥画素補間部６４の第１の構成例を示している。当該第１の構成例の近傍画素抽出部９１は、局所領域情報に含まれる画素のうち、注目画素と同じ色成分を有する画素を抽出して、平均値算出部９２に出力する。
【００９２】
例えば、保持メモリ６２に保持された色モザイク画像の色のモザイク配列がベイヤ配列である場合、注目画素がＧ成分を有しているときには、図３４Ａに示すように、中心の注目画素の斜め方向に隣接したＧ成分を有する画素が抽出される。また、注目画素がＲ成分を有しているときには、図３４Ｂに示すように、中心の注目画素の上下左右に１画素を空けて隣接したＲ成分を有する画素が抽出される。同様に、注目画素がＢ成分を有しているときには、図３４Ｃに示すように、中心の注目画素の上下左右に１画素を空けて隣接したＢ成分を有する画素が抽出される。
【００９３】
平均値算出部９２は、近傍画素抽出部９１から入力される、複数の画素の画素値（色成分の値）の平均値を算出して、セレクタ９３に出力する。セレクタ９３は、局地領域情報の中心に位置する注目画素の画素値が、無効な画素であることを示す値（例えば、負の値）である場合、平均値算出部９２の出力（近傍画素の平均値）を用いて、局地領域情報の注目画素の画素値を置換し、後段のガンマ補正部６５に出力する。注目画素の画素値が、無効な画素であることを示す値ではない場合、上段からの局地領域情報を、そのまま後段のガンマ補正部６５に出力する。
【００９４】
図３５は、欠陥画素補間部６４の第２の構成例を示している。当該第２の構成例の近傍画素抽出部１０１は、局所領域情報に含まれる画素のうち、注目画素と同じ色成分を有する画素を抽出して、平均値算出部１０２−１，１０２−２、および重み係数算出部１０３−１，１０３−２に出力する。
【００９５】
平均値算出部１０２−１は、近傍画素抽出部１０１から入力される画素のうち、注目画素の上下方向に位置する画素の平均値を算出して、重み付け補間部１０４に出力する。平均値算出部１０２−２は、近傍画素抽出部１０１から入力される画素のうち、注目画素の左右方向に位置する画素の平均値を算出して、重み付け補間部１０４に出力する。
【００９６】
重み係数算出部１０３−１は、重み付け補間部１０４において平均値算出部１０２−１の出力と、平均値算出部１０２−２の出力との重き付け平均を算出する際に用いる上下方向の重み係数を算出して、重み付け補間部１０４に出力する。重み係数算出部１０３−２は、重み付け補間部１０４において平均値算出部１０２−１の出力と、平均値算出部１０２−２の出力との重き付け平均を算出する際に用いる左右方向の重み係数を算出して、重み付け補間部１０４に出力する。
【００９７】
重み付け補間部１０４は、平均値算出部１０２−１の出力と、平均値算出部１０２−２の出力とを、重み係数算出部１０３−１から入力される上下方向の重み係数と、重み係数算出部１０３−２から入力される左右方向の重み係数とを用いて重み付け平均し、その演算結果を注目画素の補間値をしてセレクタ１０５に出力する。なお、注目画素の近傍の画素を用いた重み付け平均の演算は、上下方向と左右方向の２方向に分ける他、例えば、他の方向（斜め方向等）を追加するようにしてもよい。
【００９８】
セレクタ１０５は、局地領域情報の中心に位置する注目画素の画素値が、無効な画素であることを示す値（例えば、負の値）である場合、重み付け補間部１０４の出力（近傍画素の重く付け平均値）を用いて、局地領域情報の注目画素の画素値を置換し、後段のガンマ補正部６５に出力する。注目画素の画素値が、無効な画素であることを示す値ではない場合、上段からの局地領域情報を、そのまま後段のガンマ補正部６５に出力する。
【００９９】
図３１に戻る。ガンマ補正部６５は、欠陥画素補間部６４から入力される局所領域情報に含まれる各画素に対し、ガンマ補正を施してエッジ検出部６６、Ｇ成分算出部６７、および位相同期化部６８に出力する。なお、ガンマ補正部６５にいてガンマ補正を施すことにより、これ以降において、エッジが検出し易くなる、色味を揃え易くなる等の効果がある。
【０１００】
エッジ方向検出部６６は、ガンマ補正部６５から入力される局所領域情報の中のエッジ（被写体の輪郭等）を検出し、検出結果としてエッジ方向ベクトルおよびエッジ方向ベクトルのサイズ（エッジサイズ）をＧ成分算出部６７に出力する。
【０１０１】
図３６は、エッジ方向検出部６６の構成例を示している。リサンプリング部１１１は、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）等を用い、例えば、図３７Ａに示すように、ガンマ補正された局地領域情報に含まれる画素のうち、Ｇ成分を有する画素だけに基づき、同図Ｂに示すような全ての画素がＧ成分を有する３×３画素の縮小画像を生成して、グラディエント算出部１１２に出力する。ここで、Ｇ成分を有する画素だけに注目する理由は、Ｒ，Ｇ，Ｂ成分の中でＧ成分が統計的に最も輝度の情報を多く含むからであり、また、色のモザイク配列がベイヤ配列である場合、Ｇ成分を有する画素の占める画像の空間的占有率が最も高いからである。
【０１０２】
グラディエント算出部１１２は、リサンプリング部１１１から入力される縮小画像に、図３８Ａ，３８Ｂに示すグラディエントオペレータ（ＳＯＢＥＬフィルタ）を適用して、図３９に示すように、局所領域情報におけるＧ成分のグラディエント（勾配）を算出し、エッジ方向ベクトル算出部１１３に出力する。なお、局所領域情報におけるＧ成分のグラディエントを算出する方法は、グラディエントオペレータ（ＳＯＢＥＬフィルタ）を用いる他、局所領域情報におけるＧ成分の分散、差分等を利用するようにしてもよい。
【０１０３】
エッジ方向算出部１１３は、図３９に示すように、グラディエント算出部１１２から入力されるグラディエントを９０度回転してエッジ方向ベクトルを算出し、得られたエッジ方向ベクトルのノルムを算出して、Ｇ成分算出部６７に出力する。
【０１０４】
図３１に戻る。Ｇ成分算出部６７は、ガンマ補正部６５から入力される局所領域情報の中心に位置する注目画素に対するＧ成分を、近傍のＧ成分を有する画素を用いて補間し、第１Ｒ，Ｂ成分算出部７０、第２Ｒ，Ｂ成分算出部７１、および逆ガンマ変換部７３に出力する。なお、ガンマ補正部６５から入力される局所領域情報の中心に位置する注目画素がＧ成分を有している場合、そのまま後段に出力するようにしてもよい。
【０１０５】
図４０は、Ｇ成分算出部６７の構成例を示している。Ｇ成分算出部６７の距離算出部１２１は、図４１に示すように、局所領域情報に含まれるＧ成分を有する各画素と、エッジ方向ベクトルと並行であって注目画素を通る直線との距離を算出して、重み係数算出部１２２に出力する。重み係数算出部１２２は、Ｇ成分を有する各画素に対して、当該直線との距離が短ければ短いほど、その値が大きく設定されるように重み係数を算出し、第１Ｇ成分補間部１２３に出力する。
【０１０６】
第１Ｇ成分補間部１２３は、ガンマ補正部６５から入力される局所領域情報のＧ成分を有する各画素を、重み係数算出部１２２から入力される重み係数を重み付け平均値を演算し、その演算結果をセレクタ１２５に出力する。第２Ｇ成分補間部１２４は、ガンマ補正部６５から入力される局所領域情報のＧ成分を有する各画素を平均し、その演算結果をセレクタ１２５に出力する。
【０１０７】
セレクタ１２５は、エッジ方向検出部６６から入力されるエッジサイズが所定の閾値よりも大きい場合、第１Ｇ成分補間部１２３から入力される、エッジ方向に重み付け平均された値を、注目画素のＧ成分として後段に出力し、エッジ方向検出部６６から入力されるエッジサイズが所定の閾値よりも大きくない場合、第２Ｇ成分補間部１２３から入力される値を、注目画素のＧ成分として後段に出力する。
【０１０８】
図３１に戻る。位相同期化部６８は、ガンマ補正部６５から入力される局所領域情報のＢ成分を有する各画素およびＲ成分を有する画素に対し、その上下左右に隣接するＧ成分を有する画素を用いてＲ成分を補間し、局地領域情報に追加して統計量算出部６９に出力する。
【０１０９】
図４２は、位相同期化部６８の構成例を示している。位相同期化部６８のＧ成分抽出部１３１は、ガンマ補正部６５から入力される局所領域情報のＧ成分を有する画素を抽出して、Ｇ成分補間部１３２に出力する。Ｇ成分補間部１３２は、局所領域情報のＢ成分を有する各画素に対し、図４３Ａに示すように、その上下左右に隣接するＧ成分を有する画素を用いてＧ成分を補間する。また、Ｇ成分補間部１３２は、局所領域情報のＲ成分を有する各画素に対し、図４３Ｂに示すように、その上下左右に隣接するＧ成分を有する画素を用いてＧ成分を補間する。なお、Ｇ成分補間部１３２における補間演算は、単に平均値を演算するだけでもよいし、Ｇ成分を有する画素の配置を考慮して重み付け平均を演算するようにしてもよい。
【０１１０】
図３１に戻る。統計量算出部６９は、位相同期化部６８から入力される局地領域情報に基づき、局地領域におけるＲ成分の標準偏差ｓｔｄｄｅｖＲ、Ｒ成分の平均ａｖｇＲ、Ｇ成分の標準偏差ｓｔｄｄｅｖＧ、Ｇ成分の平均ａｖｇＧ、Ｂ成分の標準偏差ｓｔｄｄｅｖＢ、Ｂ成分の平均ａｖｇＢ、Ｒ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｒ，Ｇ）、およびＢ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｂ，Ｇ）を算出し、これらの全てを第１Ｒ，Ｂ成分算出部７０に出力する。また、Ｒ成分の平均ａｖｇＲ、Ｇ成分の平均ａｖｇＧ、およびＢ成分の平均ａｖｇＢを第２Ｒ，Ｂ成分算出部７１に出力する。さらに、Ｇ成分の標準偏差ｓｔｄｄｅｖＧをセレクタ７２に出力する。本明細書において、統計量算出部６９により算出されたこれらの値を、統計量情報と記述する。
【０１１１】
図４４は、統計量算出部６９の構成例を示している。統計量算出部６９のＲ成分抽出部１４１−Ｒは、位相同期化部６８から入力される局所領域情報に含まれる画素のうち、Ｒ成分を有する画素を抽出して平均算出部１４２−Ｒ、および標準偏差算出部１４３−Ｒに出力する。平均算出部１４２−Ｒは、Ｒ成分抽出部１４１−Ｒから入力される複数の画素のＲ成分の平均ａｖｇＲを算出する。標準偏差算出部１４３−Ｒは、Ｒ成分抽出部１４１−Ｒから入力される複数の画素と、平均算出部１４２−Ｒにより算出されたＲ成分の平均ａｖｇＲに基づき、Ｒ成分の標準偏差ｓｔｄｄｅｖＲを算出する。
【０１１２】
Ｇ成分抽出部１４１−Ｇは、位相同期化部６８から入力される局所領域情報に含まれる画素のうち、位相同期化部６８でＧ成分が生成された画素を抽出して平均算出部１４２−Ｇ、および標準偏差算出部１４３−Ｇに出力する。平均算出部１４２−Ｇは、Ｇ成分抽出部１４１−Ｇから入力される複数の画素のＧ成分の平均ａｖｇＧを算出する。標準偏差算出部１４３−Ｇは、Ｇ成分抽出部１４１−Ｇから入力される複数の画素と、平均算出部１４２−Ｇにより算出されたＧ成分の平均ａｖｇＧに基づき、Ｇ成分の標準偏差ｓｔｄｄｅｖＧを算出する。
【０１１３】
Ｂ成分抽出部１４１−Ｂは、位相同期化部６８から入力される局所領域情報に含まれる画素のうち、Ｂ成分を有する画素を抽出して平均算出部１４２−Ｂ、および標準偏差算出部１４３−Ｂに出力する。平均算出部１４２−Ｂは、Ｂ成分抽出部１４１−Ｂから入力される複数の画素のＢ成分の平均ａｖｇＢを算出する。標準偏差算出部１４３−Ｂは、Ｂ成分抽出部１４１−Ｂから入力される複数の画素と、平均算出部１４２−Ｂにより算出されたＢ成分の平均ａｖｇＢに基づき、Ｂ成分の標準偏差ｓｔｄｄｅｖＢを算出する。
【０１１４】
相関係数算出部１４４は、Ｒ成分の平均ａｖｇＲおよび標準偏差ｓｔｄｄｅｖＲ、並びにＧ成分の平均ａｖｇＧおよび標準偏差ｓｔｄｄｅｖＧに基づき、Ｒ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｒ，Ｇ）を次式に基づいて算出する。
ｃｏｒｒｅｌａｔｉｏｎ（Ｒ，Ｇ）＝ｃｏｖａｒ（Ｒ，Ｇ）／ｓｔｄｄｅｖＲ・ｓｔｄｄｅｖＧ
ｃｏｖａｒ（Ｒ，Ｇ）＝［Σ（Ｒ_ｉ・Ｇ_ｉ・ｗ_ｉ）／Σｗ_ｉ］−ａｖｇＲ・ａｖｇＧ
【０１１５】
ここで、Ｒ_ｉは画素のＲ成分、Ｇ_ｉはＲ成分を有する画素に対して位相同期化部６８により補間されたＧ成分、ｗ_ｉは１であり、Σは総和を示すものとする。
【０１１６】
相関係数算出部１４５は、Ｂ成分の平均ａｖｇＢおよび標準偏差ｓｔｄｄｅｖＢ、並びにＧ成分の平均ａｖｇＧおよび標準偏差ｓｔｄｄｅｖＧに基づき、Ｂ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｂ，Ｇ）を次式に基づいて算出する。
ｃｏｒｒｅｌａｔｉｏｎ（Ｂ，Ｇ）＝ｃｏｖａｒ（Ｂ，Ｇ）／ｓｔｄｄｅｖＢ・ｓｔｄｄｅｖＧ
ｃｏｖａｒ（Ｂ，Ｇ）＝［Σ（Ｂ_ｉ・Ｇ_ｉ・ｗ_ｉ）／Σｗ_ｉ］−ａｖｇＢ・ａｖｇＧ
【０１１７】
ここで、Ｂ_ｉは画素のＢ成分、Ｇ_ｉはＢ成分を有する画素に対して位相同期化部６８により補間されたＧ成分、ｗ_ｉは１であり、Σは総和を示すものとする。
【０１１８】
図３１に戻る。第１Ｒ，Ｂ成分算出部７０は、Ｇ成分算出部６７から入力される注目画素のＧ成分Ｇ、統計量算出部６９から入力されるＲ成分の標準偏差ｓｔｄｄｅｖＲ、Ｒ成分の平均ａｖｇＲ、Ｇ成分の標準偏差ｓｔｄｄｅｖＧ、Ｇ成分の平均ａｖｇＧ、およびＲ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｒ，Ｇ）を次式に適用して、注目画素のＲ成分を算出してセレクタ７２に出力する。
注目画素のＲ成分＝ｓｉｇｎ・（Ｇ−ａｖｇＲ）×（ｓｔｄｄｅｖＲ／ｓｔｄｄｅｖＧ）＋ａｖｇＲ
ここで、ｓｉｇｎは相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｒ，Ｇ）の符号を示すものとする。
【０１１９】
また、第１Ｒ，Ｂ成分算出部７０は、Ｇ成分算出部６７から入力される注目画素のＧ成分Ｇ、統計量算出部６９から入力されるＢ成分の標準偏差ｓｔｄｄｅｖＢ、Ｂ成分の平均ａｖｇＢ、Ｇ成分の標準偏差ｓｔｄｄｅｖＧ、Ｇ成分の平均ａｖｇＧ、およびＢ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｂ，Ｇ）を次式に適用して、注目画素のＢ成分を算出してセレクタ７２に出力する。
注目画素のＢ成分＝ｓｉｇｎ・（Ｇ−ａｖｇＢ）×（ｓｔｄｄｅｖＢ／ｓｔｄｄｅｖＧ）＋ａｖｇＢ
ここで、ｓｉｇｎは相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｂ，Ｇ）の符号を示すものとする。
【０１２０】
第２Ｒ，Ｂ成分算出部７１は、Ｇ成分算出部６７から入力される注目画素のＧ成分Ｇ、統計量算出部６９から入力されるＲ成分の平均ａｖｇＲ、およびＧ成分の平均ａｖｇＧを次式に適用して、注目画素のＲ成分を算出してセレクタ７２に出力する。
注目画素のＲ成分＝Ｇ×（ａｖｇＲ／ａｖｇＧ）
【０１２１】
また、第２Ｒ，Ｂ成分算出部７１は、Ｇ成分算出部６７から入力される注目画素のＧ成分Ｇ、統計量算出部６９から入力されるＢ成分の平均ａｖｇＢ、およびＧ成分の平均ａｖｇＧを次式に適用して、注目画素のＢ成分を算出してセレクタ７２に出力する。
注目画素のＢ成分＝Ｇ×（ａｖｇＢ／ａｖｇＧ）
【０１２２】
セレクタ７２は、統計量算出部６９から入力される、局地領域におけるＧ成分の標準偏差ｓｔｄｄｅｖＧと所定の閾値を比較し、Ｇ成分の標準偏差ｓｔｄｄｅｖＧが所定の閾値よりも小さいと判定した場合、第２Ｒ，Ｂ成分算出部７１の出力を、注目画素のＲ，Ｂ成分として逆ガンマ変換部７３に出力する。反対に、Ｇ成分の標準偏差ｓｔｄｄｅｖＧが所定の閾値よりも小さくないと判定した場合、第１Ｒ，Ｂ成分算出部７０の出力を、注目画素のＲ，Ｂ成分として逆ガンマ変換部７３に出力する。
【０１２３】
逆ガンマ変換部７３は、Ｇ成分算出部６７から入力される注目画素のＧ成分、およびセレクタ７２から入力される注目画素のＲ，Ｂ成分に対し、逆ガンマ変換を施して、その結果を注目画素に対応する広ＤＲカラー画像の画素のＲ，Ｇ，Ｂ成分として後段に出力する。
【０１２４】
次に、図３１に示された画像処理部７の第１の構成例によるデモザイク処理について、図４５のフローチャートを参照して説明する。
【０１２５】
ステップＳ１１において、注目画素決定部６１は、上段から入力された色・感度モザイク画像を構成する画素を、順次、１画素ずつ注目画素に決定し、注目画素を中心とする局所領域（例えば、７×７画素）を抽出して保持メモリ６２に保持させる。ステップＳ１２において、感度補償部６３は、保持メモリ６２に保持されている局所的な色・感度モザイク画像を構成する画素のうち、低感度の画素の色成分信号を、高感度で撮影されたものに相当するように補償して、得られる局所的な色モザイク画像を、局所領域情報として欠陥画素補間部６４に出力する。
【０１２６】
ステップＳ１３において、欠陥画素補間部６４は、感度補償部６３から入力された局所領域情報の中心に位置する注目画素が、欠陥画素である場合、局所領域情報に含まれる他の画素を用いて、欠陥画素を補間し、ガンマ補正部６５に出力する。ステップＳ１４において、ガンマ補正部６５は、欠陥画素補間部６４から入力された局所領域情報に含まれる各画素に対し、ガンマ補正を施してエッジ検出部６６、Ｇ成分算出部６７、および位相同期化部６８に出力する。
【０１２７】
ステップＳ１５において、エッジ方向検出部６６は、ガンマ補正部６５から入力された局所領域情報の中のエッジを検出し、検出結果としてエッジ方向ベクトルおよびエッジサイズをＧ成分算出部６７に出力する。ステップＳ１６において、Ｇ成分算出部６７は、ガンマ補正部６５から入力された局所領域情報の中心に位置する注目画素に対するＧ成分を、近傍のＧ成分を有する画素を用いて重み付け補間し、第１Ｒ，Ｂ成分算出部７０、第２Ｒ，Ｂ成分算出部７１、および逆ガンマ変換部７３に出力する。
【０１２８】
ステップＳ１７において、位相同期化部６８は、ガンマ補正部６５から入力された局所領域情報のＢ成分を有する各画素およびＲ成分を有する画素に対し、その上下左右に隣接するＧ成分を有する画素を用いてＲ成分を補間し、局地領域情報に追加して統計量算出部６９に出力する。ステップＳ１８において、統計量算出部６９は、位相同期化部６８から入力された局地領域情報に基づき、局地領域におけるＲ成分の標準偏差ｓｔｄｄｅｖＲ、Ｒ成分の平均ａｖｇＲ、Ｇ成分の標準偏差ｓｔｄｄｅｖＧ、Ｇ成分の平均ａｖｇＧ、Ｂ成分の標準偏差ｓｔｄｄｅｖＢ、Ｂ成分の平均ａｖｇＢ、Ｒ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｒ，Ｇ）、およびＢ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｂ，Ｇ）を算出し、これらの全てを第１Ｒ，Ｂ成分算出部７０に出力する。また、Ｒ成分の平均ａｖｇＲ、Ｇ成分の平均ａｖｇＧ、およびＢ成分の平均ａｖｇＢを第２Ｒ，Ｂ成分算出部７１に出力する。さらに、Ｇ成分の標準偏差ｓｔｄｄｅｖＧをセレクタ７２に出力する。
【０１２９】
なお、ステップＳ１５およびＳ１６の処理と、ステップＳ１７およびＳ１８の処理とは、並行して実行するようにしてもよい。
【０１３０】
ステップＳ１９において、統計量算出部６９によって算出された局地領域におけるＧ成分の標準偏差ｓｔｄｄｅｖＧが所定の閾値よりも小さいか否かが判定され、局地領域におけるＧ成分の標準偏差ｓｔｄｄｅｖＧが所定の閾値よりも小さくないと判定された場合、処理はステップＳ２０に進む。
【０１３１】
ステップＳ２０において、第１Ｒ，Ｂ成分算出部７０は、Ｇ成分算出部６７から入力された注目画素のＧ成分Ｇ、統計量算出部６９から入力されたＲ成分の標準偏差ｓｔｄｄｅｖＲ、Ｒ成分の平均ａｖｇＲ、Ｇ成分の標準偏差ｓｔｄｄｅｖＧ、Ｇ成分の平均ａｖｇＧ、およびＲ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｒ，Ｇ）に基づき、注目画素のＲ成分を算出してセレクタ７２に出力する。また、第１Ｒ，Ｂ成分算出部７０は、Ｇ成分算出部６７から入力された注目画素のＧ成分Ｇ、統計量算出部６９から入力されたＢ成分の標準偏差ｓｔｄｄｅｖＢ、Ｂ成分の平均ａｖｇＢ、Ｇ成分の標準偏差ｓｔｄｄｅｖＧ、Ｇ成分の平均ａｖｇＧ、およびＢ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｂ，Ｇ）に基づき、注目画素のＢ成分を算出してセレクタ７２に出力する。セレクタ７２は、第１Ｒ，Ｂ成分算出部７０の出力を、注目画素のＲ，Ｂ成分として逆ガンマ変換部７３に出力する。
【０１３２】
反対に、ステップＳ１９において、局地領域におけるＧ成分の標準偏差ｓｔｄｄｅｖＧが所定の閾値よりも小さいと判定された場合、処理はステップＳ２１に進む。
【０１３３】
ステップＳ２１において、第２Ｒ，Ｂ成分算出部７１は、Ｇ成分算出部６７から入力された注目画素のＧ成分Ｇ、統計量算出部６９から入力されたＲ成分の平均ａｖｇＲ、およびＧ成分の平均ａｖｇＧに基づき、注目画素のＲ成分を算出してセレクタ７２に出力する。また、第２Ｒ，Ｂ成分算出部７１は、Ｇ成分算出部６７から入力された注目画素のＧ成分Ｇ、統計量算出部６９から入力されるＢ成分の平均ａｖｇＢ、およびＧ成分の平均ａｖｇＧに基づき、注目画素のＢ成分を算出してセレクタ７２に出力する。セレクタ７２は、第２Ｒ，Ｂ成分算出部７１の出力を、注目画素のＲ，Ｂ成分として逆ガンマ変換部７３に出力する。
【０１３４】
ステップＳ２２において、逆ガンマ変換部７３は、Ｇ成分算出部６７から入力された注目画素のＧ成分、およびセレクタ７２から入力された注目画素のＲ，Ｂ成分に対し、逆ガンマ変換を施して、その結果を注目画素に対応する広ＤＲカラー画像の画素のＲ，Ｇ，Ｂ成分として後段に出力する。
【０１３５】
ステップＳ２３において、注目画素決定部６１は、保持メモリ６２に保持されている色モザイク画像を構成する画素のうち、注目画素に決定していないものが残っているか否かを判定する。注目画素に決定していないものが残っていると判定された場合、ステップＳ１２に戻り、それ以降の処理が繰り返される。その後、ステップＳ２３において、注目画素に決定していないものが残っていないと判定された場合、広ＤＲカラー画像の全ての画素のＲ，Ｇ，Ｂ成分が出力されたことになるので、このデモザイク処理は終了される。以上で、画像処理部７の第１の構成例によるデモザイク処理の説明を終了する。
【０１３６】
次に、図４６は、画像処理部７の第２の構成例を示している。この第２の構成例は、図３１に示された第１の構成例から欠陥画素補間部６４を省略したものであり、その他の構成要素は第１の構成例のそれと同様であって、対応するものには同一の符号を付している。この第２の構成例においては、感度補償部６３の有効性判定部８３によって無効な画素と判定された画素（欠陥画素）の補間が行われないので、ガンマ補正部６５以降においては、補間などの演算に欠陥画素を用いないようにする。
【０１３７】
次に、図４７は、画像処理部７の第３の構成例を示している。この第３の構成例は、図３１に示された第１の構成例からガンマ補正部６５、第２Ｒ，Ｂ成分算出部７１、セレクタ７２、および逆ガンマ変換部７３を省略したものであり、その他の構成要素は第１の構成例のそれと同様であって、対応するものには同一の符号を付している。この第３の構成例においては、注目画素のＲ，Ｂ成分は、統計量算出部６９により算出されたＲ成分の標準偏差ｓｔｄｄｅｖＲ、Ｒ成分の平均ａｖｇＲ、Ｇ成分の標準偏差ｓｔｄｄｅｖＧ、Ｇ成分の平均ａｖｇＧ、Ｂ成分の標準偏差ｓｔｄｄｅｖＢ、Ｂ成分の平均ａｖｇＢ、Ｒ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｒ，Ｇ）、およびＢ成分とＧ成分の相関係数ｃｏｒｒｅｌａｔｉｏｎ（Ｂ，Ｇ）に基づいて演算されたものとなる。
【０１３８】
次に、図４８は、画像処理部７の第４の構成例を示している。この第４の構成例は、図３１に示された第１の構成例からガンマ補正部６５、第１Ｒ，Ｂ成分算出部７０、セレクタ７２、および逆ガンマ変換部７３を省略したものであり、その他の構成要素は第１の構成例のそれと同様であって、対応するものには同一の符号を付している。ただし、この第４の構成例においては、統計量算出部６９は、局所領域におけるＲ成分の平均ａｖｇＲ、Ｇ成分の平均ａｖｇＧ、およびＢ成分の平均ａｖｇＢを算出すればよい。注目画素のＲ，Ｂ成分は、統計量算出部６９により算出されたＲ成分の平均ａｖｇＲ、Ｇ成分の平均ａｖｇＧ、およびＢ成分の平均ａｖｇＢに基づいて演算されたものとなる。
【０１３９】
次に、図４９は、画像処理部７の第５の構成例を示している。この第５の構成例は、図４７に示された第３の構成例から欠陥画素補間部６４を省略したものであり、その他の構成要素は第３の構成例のそれと同様であって、対応するものには同一の符号を付している。この第５の構成例においては、感度補償部６３の有効性判定部８３によって無効な画素と判定された画素（欠陥画素）の補間が行われないので、感度補償部６３の後段においては、補間などの演算に欠陥画素を用いないようにする。
【０１４０】
次に、図５０は、画像処理部７の第６の構成例を示している。この第６の構成例は、図４８に示された第４の構成例から欠陥画素補間部６４を省略したものであり、その他の構成要素は第４の構成例のそれと同様であって、対応するものには同一の符号を付している。この第６の構成例においては、感度補償部６３の有効性判定部８３によって無効な画素と判定された画素（欠陥画素）の補間が行われないので、感度補償部６３の後段においては、補間などの演算に欠陥画素を用いないようにする。
【０１４１】
以上説明したように、画像処理部７のいずれの構成例においても、入力された色・感度モザイク画像の注目画素を中心とする局所領域情報を（例えば７×７画素）を単位として処理を施すようにしているので、画像全体を保持するためのメモリが必要ない。したがって、従来技術を適用した場合に比較して回路規模を縮小することができる。また、各局所領域においてエッジを考慮した補間を実施するので、画像の高周波成分を再現し、かつ、ノイズを抑制した広ＤＲカラー画像を生成することができる。
【０１４２】
なお、本実施の形態においては、局所領域内のＧ成分を有する画素を用いてエッジ方向ベクトルを検出し、その結果に基づいて注目画素のＧ成分を補間し、その後、注目画素のＲ，Ｂ成分を補間するようにしたが、局所領域内のＲ成分を有する画素を用いてエッジ方向ベクトルを検出し、その結果に基づいて注目画素のＲ成分を補間し、その後、注目画素のＧ，Ｂ成分を補間するようにしてもよい。あるいは、局所領域内のＢ成分を有する画素を用いてエッジ方向ベクトルを検出し、その結果に基づいて注目画素のＢ成分を補間し、その後、注目画素のＲ，Ｇ成分を補間するようにしてもよい。
【０１４３】
また、本発明は、色・感度モザイク画像を構成する画素の色成分が、Ｒ，Ｇ，Ｂ以外の組み合わせであってもかまわない。
【０１４４】
本発明は、ディジタルスチルカメラの他、ディジタルスチルカメラ、スキャナ等に適用することが可能である。
【０１４５】
ところで、上述したデモザイク処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１４６】
図５１は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ１５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５１を内蔵している。ＣＰＵ１５１にはバス１５４を介して、入出力インタフェース１５５が接続されている。バス１５４には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５３が接続されている。
【０１４７】
入出力インタフェース１５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１５６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１５８、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部１５９が接続されている。また、磁気ディスク１６１（フレキシブルディスクを含む）、光ディスク１６２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク１６３（ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）を含む）、もしくは半導体メモリ１６４などの記録媒体に対してデータを読み書きするドライブ１６０が接続されている。
【０１４８】
ＣＰＵ１５１は、ＲＯＭ１５２に記憶されているプログラム、または磁気ディスク１６１乃至半導体メモリ１６４から読み出されて記憶部１５８にインストールされ、記憶部１５８からＲＡＭ１５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１５３にはまた、ＣＰＵ１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５０】
【発明の効果】
以上のように、本発明によれば、従来よりも少ない演算量であって、かつ、使用するフレームメモリ等の数を減少させて、色・感度モザイク画像から広ＤＲカラー画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。
【図２】図１に示されたディジタルスチルカメラの動作概要を説明するフローチャートである。
【図３】色・感度モザイクパターンＰ１を示す図である。
【図４】色・感度モザイクパターンＰ２を示す図である。
【図５】色・感度モザイクパターンＰ３を示す図である。
【図６】色・感度モザイクパターンＰ４を示す図である。
【図７】色・感度モザイクパターンＰ５を示す図である。
【図８】色・感度モザイクパターンＰ６を示す図である。
【図９】色・感度モザイクパターンＰ７を示す図である。
【図１０】色・感度モザイクパターンＰ８を示す図である。
【図１１】色・感度モザイクパターンＰ９を示す図である。
【図１２】色・感度モザイクパターンＰ１０を示す図である。
【図１３】色・感度モザイクパターンＰ１１を示す図である。
【図１４】色・感度モザイクパターンＰ１２を示す図である。
【図１５】色・感度モザイクパターンＰ１３を示す図である。
【図１６】色・感度モザイクパターンＰ１４を示す図である。
【図１７】ＣＣＤイメージセンサに内蔵された受光素子の断面を示す図である。
【図１８】感度のモザイク配列をオンチップレンズの有無により光学的に実現する方法を説明するための図である。
【図１９】感度のモザイク配列をオンチップＮＤフィルタの有無により光学的に実現する方法を説明するための図である。
【図２０】感度のモザイク配列を開口面積の大小により光学的に実現する方法を説明するための図である。
【図２１】感度のモザイク配列を電子的に実現する第１の方法を説明するための図である。
【図２２】感度のモザイク配列を電子的に実現する第２の方法を説明するための図である。
【図２３】ＯＲ型の電極構造を示す図である。
【図２４】ＯＲ型の電極構造の断面を示す図である。
【図２５】ＡＮＤ型の電極構造を示す図である。
【図２６】色・感度モザイクパターンＰ１を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
【図２７】色・感度モザイクパターンＰ２を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
【図２８】色・感度モザイクパターンＰ３を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
【図２９】色・感度モザイクパターンＰ４を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
【図３０】色・感度モザイクパターンＰ５を実現するＯＲ型の電極構造とＡＮＤ型の電極構造の組み合わせを示す図である。
【図３１】図１に示された画像処理部の第１の構成例を示すブロック図である。
【図３２】図３１に示された感度補償部の構成例を示すブロック図である。
【図３３】図３１に示された欠陥画素補間部の第１の構成例を示すブロック図である。
【図３４】欠陥画素補間部の近傍画素抽出部によって抽出される画素の位置を示す図である。
【図３５】図３１に示された欠陥画素補間部の第２の構成例を示すブロック図である。
【図３６】図３１に示されたエッジ検出部の構成例を示すブロック図である。
【図３７】図３６に示されたリサンプリング部の動作を説明する図である。
【図３８】図３６に示されたグラディエント算出部が用いるグラディエントオペレータの一例を示す図である。
【図３９】グラディエントとエッジ方向ベクトルの関係を示す図である。
【図４０】図３１に示されたＧ成分算出部の構成例を示すブロック図である。
【図４１】図４０に示された距離算出部の動作を説明するための図である。
【図４２】図３１に示された位相同期化部の構成例を示すブロック図である。
【図４３】図４３に示されたＧ成分抽出部により抽出される画素の位置を示す図である。
【図４４】図３１に示された統計量算出部の構成例を示すブロック図である。
【図４５】図３１に示された画像処理部の第１の構成例によるデモザイク処理を説明するフローチャートである。
【図４６】図１に示された画像処理部の第２の構成例を示すブロック図である。
【図４７】図１に示された画像処理部の第３の構成例を示すブロック図である。
【図４８】図１に示された画像処理部の第４の構成例を示すブロック図である。
【図４９】図１に示された画像処理部の第５の構成例を示すブロック図である。
【図５０】図１に示された画像処理部の第６の構成例を示すブロック図である。
【図５１】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
７ 画像処理部， ６１ 注目画素決定部， ６２ 保持メモリ， ６３ 感度補償部， ６４ 欠陥画素補間部， ６５ ガンマ補正部， ６６ エッジ検出部， ６７ Ｇ成分算出部， ６８ 位相同期化部， ６９ 統計量算出部，７０ 第１Ｒ，Ｂ成分算出部， ７１ 第２Ｒ，Ｂ成分算出部， ７２ セレクタ， ７３ 逆ガンマ変換部， １５１ ＣＰＵ， １６１ 磁気ディスク， １６２ 光ディスク， １６３ 光磁気ディスク， １６４ 半導体メモリ

Claims (13)

1. 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、各画素が光強度に対する複数の感度特性のうちのいずれかの感度特性で撮影された色・感度モザイク画像を元にして、各画素が前記複数の色成分を有し、かつ、各画素の光強度に対する感度特性が統一されたカラー画像を生成する画像処理装置において、
   前記色・感度モザイク画像から、処理の対象とする注目画素を中心とした所定の領域を抽出する抽出手段と、
   前記抽出手段によって抽出された前記所定の領域に含まれる画素の光強度に対する感度特性を統一して、複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する感度特性が統一された画素からなる局所領域情報を生成する生成手段と、
   前記局所領域情報に含まれる画素のうち、第１の色成分を有する画素に基づいて、前記局所領域情報におけるエッジを検出するエッジ検出手段と、
   前記エッジ検出手段によって検出された前記エッジの方向に基づき、前記局所領域情報に含まれる画素のうち、第１の色成分を有する画素を用いた重み付け平均演算により、前記注目画素に対する第１の色成分を補間する第１の補間手段と、
   前記局所領域情報に含まれる画素に基づき、統計量情報を算出する統計量情報算出手段と、
   前記第１の補間手段によって補間された前記注目画素に対する第１の色成分、および前記統計量情報に基づき、前記注目画素に対する前記第１の色成分以外の色成分を補間する第２の補間手段と
   を含むことを特徴とする画像処理装置。
2. 前記局所領域情報に含まれる欠陥画素を、前記欠陥画素の近傍の画素を用いて補間する欠陥画素補間手段を
   さらに含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記統計量情報算出手段は、前記局所領域情報に含まれる画素に基づき、前記統計量情報として、各色成分の平均、各色成分の標準偏差、または第１の色成分とその他の色成分との相関係数のうち、少なくとも１つを算出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第２の補間手段は、前記第１の補間手段によって補間された前記注目画素に対する第１の色成分、並びに前記統計量情報算出手段によって算出された各色成分の平均、各色成分の標準偏差、および第１の色成分とその他の色成分との相関係数に基づき、前記注目画素に対する前記第１の色成分以外の色成分を補間する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の補間手段は、前記第１の補間手段によって補間された前記注目画素に対する第１の色成分、および前記統計量情報算出手段によって算出された前記第１の色成分以外の色成分の平均に基づき、前記注目画素に対する前記第１の色成分以外の色成分を補間する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記第２の補間手段は、
   前記第１の補間手段によって補間された前記注目画素に対する第１の色成分、並びに前記統計量情報算出手段によって算出された各色成分の平均、各色成分の標準偏差、および第１の色成分とその他の色成分との相関係数に基づき、前記注目画素に対する前記第１の色成分以外の色成分を演算する第１の演算手段と、前記第１の補間手段によって補間された前記注目画素に対する第１の色成分、および前記統計量情報算出手段によって算出された前記第１の色成分以外の色成分の平均に基づき、前記注目画素に対する前記第１の色成分以外の色成分を演算する第２の演算手段とを含み、
   前記第１の演算手段または前記第２の演算手段のうちの一方を選択して、前記注目画素に対する前記第１の色成分以外の色成分を補間する
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記第２の補間手段は、前記統計量情報算出手段によって算出された前記第１の色成分の標準偏差に基づき、前記第１の演算手段または前記第２の演算手段のうちの一方を選択して、前記注目画素に対する前記第１の色成分以外の色成分を補間する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記局所領域情報に含まれる画素にガンマ変換を施すガンマ変換手段と、
   前記第１の補間手段によって補間された前記注目画素に対する第１の色成分、および前記第２の補間手段によって補間された前記注目画素に対する前記第１の色成分以外の色成分に逆ガンマ変換を施す逆ガンマ変換手段を
   さらに含むことを特徴とする請求項１に記載の画像処理装置。
9. 前記第１の色成分は、前記複数の色成分のうち、統計的に信号レベルが最も大きい色成分である
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記第１の色成分は、前記複数の色成分のうち、前記色モザイク画像における空間占有率が最も高い色成分である
    ことを特徴とする請求項１に記載の画像処理装置。
11. 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、各画素が光強度に対する複数の感度特性のうちのいずれかの感度特性で撮影された色・感度モザイク画像を元にして、各画素が前記複数の色成分を有し、かつ、各画素の光強度に対する感度特性が統一されたカラー画像を生成する画像処理方法において、
    前記色・感度モザイク画像から、処理の対象とする注目画素を中心とした所定の領域を抽出する抽出ステップと、
    前記抽出ステップの処理で抽出された前記所定の領域に含まれる画素の光強度に対する感度特性を統一して、複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する感度特性が統一された画素からなる局所領域情報を生成する生成ステップと、
    前記局所領域情報に含まれる画素のうち、第１の色成分を有する画素に基づいて、前記局所領域情報におけるエッジを検出するエッジ検出ステップと、
    前記エッジ検出ステップの処理で検出された前記エッジの方向に基づき、前記局所領域情報に含まれる画素のうち、第１の色成分を有する画素を用いた重み付け平均演算により、前記注目画素に対する第１の色成分を補間する第１の補間ステップと、
    前記局所領域情報に含まれる画素に基づき、統計量情報を算出する統計量情報算出ステップと、
    前記第１の補間ステップの処理で補間された前記注目画素に対する第１の色成分、および前記統計量情報に基づき、前記注目画素に対する前記第１の色成分以外の色成分を補間する第２の補間ステップと
    を含むことを特徴とする画像処理方法。
12. 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、各画素が光強度に対する複数の感度特性のうちのいずれかの感度特性で撮影された色・感度モザイク画像を元にして、各画素が前記複数の色成分を有し、かつ、各画素の光強度に対する感度特性が統一されたカラー画像を生成するためのプログラムであって、
    前記色・感度モザイク画像から、処理の対象とする注目画素を中心とした所定の領域を抽出する抽出ステップと、
    前記抽出ステップの処理で抽出された前記所定の領域に含まれる画素の光強度に対する感度特性を統一して、複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する感度特性が統一された画素からなる局所領域情報を生成する生成ステップと、
    前記局所領域情報に含まれる画素のうち、第１の色成分を有する画素に基づいて、前記局所領域情報におけるエッジを検出するエッジ検出ステップと、
    前記エッジ検出ステップの処理で検出された前記エッジの方向に基づき、前記局所領域情報に含まれる画素のうち、第１の色成分を有する画素を用いた重み付け平均演算により、前記注目画素に対する第１の色成分を補間する第１の補間ステップと、
    前記局所領域情報に含まれる画素に基づき、統計量情報を算出する統計量情報算出ステップと、
    前記第１の補間ステップの処理で補間された前記注目画素に対する第１の色成分、および前記統計量情報に基づき、前記注目画素に対する前記第１の色成分以外の色成分を補間する第２の補間ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
13. 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、各画素が光強度に対する複数の感度特性のうちのいずれかの感度特性で撮影された色・感度モザイク画像を元にして、各画素が前記複数の色成分を有し、かつ、各画素の光強度に対する感度特性が統一されたカラー画像を生成するためのプログラムであって、
    前記色・感度モザイク画像から、処理の対象とする注目画素を中心とした所定の領域を抽出する抽出ステップと、
    前記抽出ステップの処理で抽出された前記所定の領域に含まれる画素の光強度に対する感度特性を統一して、複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する感度特性が統一された画素からなる局所領域情報を生成する生成ステップと、
    前記局所領域情報に含まれる画素のうち、第１の色成分を有する画素に基づいて、前記局所領域情報におけるエッジを検出するエッジ検出ステップと、
    前記エッジ検出ステップの処理で検出された前記エッジの方向に基づき、前記局所領域情報に含まれる画素のうち、第１の色成分を有する画素を用いた重み付け平均演算により、前記注目画素に対する第１の色成分を補間する第１の補間ステップと、
    前記局所領域情報に含まれる画素に基づき、統計量情報を算出する統計量情報算出ステップと、
    前記第１の補間ステップの処理で補間された前記注目画素に対する第１の色成分、および前記統計量情報に基づき、前記注目画素に対する前記第１の色成分以外の色成分を補間する第２の補間ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。

Images