JP2015070529A - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Abstract

【課題】画像処理をした場合に偽色の発生を抑制する画像処理装置、撮像装置および画像処理方法を提供する。【解決手段】撮像素子１１によって撮像された画像について画像処理部１６のホワイトバランス処理部１２によってホワイトバランス処理が実行された後、値調整部１３によって、ホワイトバランス処理により画素が撮像素子１１により検出可能な光量の最大値より大きい部分の輝度値を最大値に置き換える値調整処理が実行され、復元処理部１４によって逆変換フィルタによる復元処理が実行される。【選択図】図４

Description

本発明は、画像処理装置、撮像装置および画像処理方法に関する。

近年、情報のデジタル化の発展に伴い、撮像装置の分野においてもデジタル化の発展が著しい。特に、デジタルカメラに代表される撮像装置において、撮像面は従来のフィルムに置き換わって固体撮像素子が使用されている。固体撮像素子（以下、単に撮像素子という）として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等が使用されている。

このように、撮像素子を使用した撮像装置は、被写体からの光を光学系によって取り込み、固体撮像素子によって光を電気信号に変換して抽出するものである。このような撮像装置として、デジタルカメラの他、ビデオカメラ、バーコードリーダ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）および産業用カメラ等が挙げられる。

上述のような撮像装置においては、光学系に位相板を挿入することによって、被写界深度を拡張するいわゆるＥＤｏｆ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ：強化被写体深度）に対応した用途に用いる撮像装置がある。被写界深度とは、カメラのレンズからある距離にある被写体に対して、焦点が合っていると許容できるレンズの光軸方向の距離範囲のことをいう。光学系に挿入された位相板は、撮像素子に入射される被写体の光に点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を与える働きをし、撮像素子で撮像する画像がぼけた状態にする代わりに広い被写界深度でそのぼけが一定となるようにする。したがって、位相板によってぼけた画像は、所定のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の値が得られるように補正する必要がある。このような位相板によってぼけた画像を復元するために、点像分布関数の逆変換処理を施すことによって、ＭＴＦを向上させ、高解像度の画像に復元する。

また、撮像装置としてのカラーカメラにおける撮像素子は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のうちＧ（緑）に相当する光を検出する感度が最も高く、撮像素子によって検出（撮像）された画像をそのまま表示すると、全体的に緑がかった画像になる傾向がある。このような画像に対して補正するのがホワイトバランス処理である。ホワイトバランス処理は、撮像素子のＲ、Ｇ、Ｂの感度の相違を補正するもので、Ｒ、Ｇ、Ｂの画素に適正なゲイン値を乗じることによって画素を調整し、白い被写体は白く表示されるように補正する処理である。

このような、ホワイトバランス処理を行い、光学系によってぼけた画像を復元する復元処理を行う撮像装置として、ホワイトバランスゲインをかけた後に、画素のＹ信号について復元処理を行う撮像装置が提案されている（特許文献１参照）。

また、撮像素子は、検出可能な光量の限界値（最大値）があり、その光量以上の光が入射した画素は、すべて同一の値（最大値）をとり、正確な光量が検出できない場合がある。特に、上述したように、撮像素子のうちＧ（緑）を検出する素子は感度が高いので、Ｇ（緑）に相当する光が検出可能な最大の光量以上の光が入射して撮像された画像は、逆変換処理によって正確な復元ができないことになる。特に問題になるのが、撮像装置がカラーカメラである場合で、ある色（例えば、Ｒ（赤）、Ｂ（青））では正確な光量が検出されて復元も正確に行われるが、他の色（例えば、Ｇ（緑））では飽和して正確な光量が検出されず復元が正確に行われない場合、偽色が発生する問題がある。

しかしながら、特許文献１に記載された撮像装置におけるホワイトバランス処理は、特定の色以外でのゲインは０とするものであり、一般的な画像全体を補正するホワイトバランス処理とは異なる。また、上述したように、ある色（例えば、Ｇ（緑））で飽和して正確な光量が検出されず復元が正確に行われず、偽色が発生する問題点が解消する方法は記載されていない。

本発明は、上記に鑑みてなされたものであって、画像処理をした場合に偽色の発生を抑制する画像処理装置、撮像装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、撮像手段により撮像された撮像画像を構成する複数の色からなる第１画素に、該色に応じたゲイン値を該第１画素に乗じて第２画素を生成するホワイトバランス処理手段と、前記第２画素のうち、所定値以下の前記第２画素はそのままの値とし、前記所定値より大きい前記第２画素を前記所定値に置換して第３画素を生成する値調整手段と、前記第３画素に対して、復元フィルタによって光学系により生じた解像度の低下を復元する復元処理手段と、を備えることを特徴とする。

本発明によれば、画像処理をした場合に偽色の発生を抑制することができる。

図１は、実施の形態に係る撮像システムの全体構成の一例を示す図である。 図２は、実施の形態の情報処理装置の構成の一例を示す図である。 図３は、実施の形態に係る撮像装置の構成の一例を示す図である。 図４は、実施の形態に係る撮像装置の画像処理部の構成の一例を示す図である。 図５は、撮像素子によって撮像された検出画像の一例を示す図である。 図６は、撮像素子によって撮像された検出画像の画素の構成の一例を示す図である。 図７は、撮像素子から出力される画素がホワイトバランス処理部に入力される動作を示すタイミングチャートである。 図８は、実施の形態の画像処理部のホワイトバランス処理部の構成の一例を示す図である。 図９は、実施の形態の画像処理部の値調整部の構成の一例を示す図である。 図１０は、実施の形態の画像処理部の復元処理部の構成の一例を示す図である。 図１１は、実施の形態の復元処理部の画像バッファ部の構成の一例を示す図である。 図１２は、実施の形態の復元処理部のフィルタ処理部の構成の一例を示す図である。 図１３は、逆変換フィルタの構成の一例を示す図である。 図１４は、逆変換フィルタによってフィルタ処理することを説明する図である。 図１５は、逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。 図１６は、正確な光量が検出された場合の画像におけるエッジ部の復元処理を説明する図である。 図１７は、正確に光量が検出されない場合の画像におけるエッジ部の復元処理を説明する図である。 図１８は、検出画像について復元処理した後にホワイトバランス処理をする場合を説明する図である。 図１９は、検出画像についてホワイトバランス処理をした後に値調整をせずに復元処理をする場合を説明する図である。 図２０は、検出画像についてホワイトバランス処理をした後に値調整および復元処理をする場合を説明する図である。

以下に、図面を参照しながら、本発明に係る画像処理装置、撮像装置および画像処理方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。

（撮像システムの全体構成）
図１は、実施の形態に係る撮像システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の撮像システム５００の構成について説明する。

図１に示すように、撮像システム５００は、撮像装置１と、ＰＣ２と、を備えている。撮像装置１とＰＣ２とは、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル等の通信ケーブル３によって通信可能に接続されている。

撮像装置１は、被写体４から出る光を電気信号に変換することによって被写体４を撮像し、撮像した画像の情報（以下、単に画像という）に対して各種処理を実行し、処理後の画像を、通信ケーブル３を介してＰＣ２へ送信する。ＰＣ２は、撮像装置１から受信した画像に対して所定の処理を実行する。

例えば、撮像装置１は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をＰＣ２に送信する。ＰＣ２は、受信した画像からバーコードの情報を読み出して解析する。

なお、図１に示すように、撮像システム５００は、撮像装置１とＰＣ２とが通信ケーブル３を介してデータを通信する有線通信方式のシステムとしているが、これに限定されるものではない。例えば、撮像装置１とＰＣ２とは、Ｗｉ−Ｆｉ（登録商標）（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）等の無線通信方式によって互いにデータが通信可能であってもよい。

また、撮像システム５００が生産ラインにおいて使用される場合、撮像システム５００は、ＰＣ２がＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）等に通信可能に接続されている構成としてもよい。この場合、撮像システム５００の動作として、以下の動作が一例として挙げられる。撮像装置１は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をＰＣ２に送信する。ＰＣ２は、受信したバーコードの画像から、生産ラインを流れている製品の品番を判定する。ＰＣ２は、判定した品番が、生産ラインにおいて段替えされている品番と不一致である場合、品番を判定した製品は異なる品番の製品であることを示す信号をＰＬＣに送信する。ＰＬＣは、ＰＣ２から異なる品番の製品であることを示す信号を受信した場合、その製品を生産ラインから除去し、あるいは、警告ランプを点灯させて生産ラインを停止するように生産ラインの動作を制御する。

（情報処理装置の構成）
図２は、実施の形態の情報処理装置の構成の一例を示す図である。図２を参照しながら、情報処理装置の一例であるＰＣ２の構成について説明する。

図２に示すように、情報処理装置の一例であるＰＣ２は、通信部２１と、操作部２２と、表示部２３と、記憶部２４と、外部記憶装置２５と、制御部２６と、を備えている。上記の各部は、バス２７によって接続され、互いにデータの送受信が可能となっている。

通信部２１は、通信ケーブル３を介して、撮像装置１と通信する装置である。通信部２１は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置によって実現される。通信部２１の通信プロトコルは、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ等によって実現される。

操作部２２は、ユーザによって制御部２６に対して所定の処理を実行させるための操作入力を行う装置である。操作部２２は、例えば、マウス、キーボード、テンキー、タッチパッドまたはタッチパネルにおける操作入力機能によって実現される。

表示部２３は、制御部２６により実行されているアプリケーション画像等を表示する装置である。表示部２３は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等によって実現される。

記憶部２４は、ＰＣ２で実行される各種プログラムおよびＰＣ２で行われる各種処理に使用されるデータ等を記憶する装置である。記憶部２４は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置によって実現される。

外部記憶装置２５は、画像、プログラムおよびフォントデータ等を蓄積して記憶する記憶装置である。外部記憶装置２５は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、または光磁気ディスク（ＭＯ：Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｋ）等の記憶装置によって実現される。

制御部２６は、ＰＣ２の各部の動作を制御する装置である。制御部２６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で実現される。

（撮像装置の構成）
図３は、実施の形態に係る撮像装置の構成の一例を示す図である。図３を参照しながら、本実施の形態の撮像装置１の構成について説明する。

図３に示すように、撮像装置１は、レンズユニット１０と、撮像素子１１と、画像処理部１６と、通信部１７と、を備えている。

レンズユニット１０は、被写体４から出る光を集光し、撮像素子１１に対して結像させるユニットである。レンズユニット１０は、１枚以上のレンズで構成された光学系によって実現される。レンズユニット１０は、位相板１０ａと、絞り１０ｂとを備えている。被写体４は、例えば、人物、被監視物、バーコード、２次元コードまたは文字列等である。

位相板１０ａは、レンズユニット１０に入射する光に対して収差を与える作用を有する。その結果、位相板１０ａは、撮像素子１１に入射される光に対して点像分布関数を付加する作用を奏し、撮像素子１１で撮像される画像がぼけた状態（解像度の低下）とする代わりに所定の被写界深度でそのぼけが一定となるようにする。

絞り１０ｂは、レンズユニット１０に入射する光の量を自在に調整する部材であり、位相板１０ａの近傍に配置されている。

撮像素子１１は、レンズユニット１０に入射する被写体からの光を電気信号に変換することによって被写体４を撮像して画像を生成する固体撮像素子である。撮像素子１１は、固体撮像素子を構成する各検出素子によって撮像した画像を構成する画素（第１画素）を出力する。撮像素子１１は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサ等によって実現される。

画像処理部１６は、撮像素子１１から出力される画像から、画像処理を施した画像を生成する装置である。

通信部１７は、通信ケーブル３を介して、ＰＣ２と通信する装置である。通信部１７は、例えば、画像処理部１６から出力される画像をＰＣ２に対して送信する。通信部１７は、例えば、ＮＩＣ等の通信装置によって実現される。通信部１７の通信プロトコルは、例えば、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等によって実現される。

（画像処理部の構成および動作）
図４は、実施の形態に係る撮像装置の画像処理部の構成の一例を示す図である。図５は、撮像素子によって撮像された検出画像の一例を示す図である。図６は、撮像素子によって撮像された検出画像の画素の構成の一例を示す図である。図４を参照しながら、本実施の形態の撮像装置１の画像処理部１６の構成について説明する。

以下、撮像素子１１は、ＶＧＡの画像を形成して出力するものとして説明する。具体的には、撮像素子１１は、Ｘ方向に６４０個、Ｙ方向に４８０個の検出素子によって、図５に示すように、６４０×４８０のマトリックス状に配列された画素で構成される画像である検出画像１０１を検出する。

また、撮像素子１１は、光のＲ（赤）成分を検出する検出素子と、Ｇ（緑）成分を検出する検出素子と、Ｂ（青）成分を検出する検出素子とが、いわゆるベイヤー配列によって規則的に配設されて構成されている。ベイヤー配列とは、２×２の検出素子（画像であれば、２×２の画素）を１セットとして規則的に並べた配列である。ベイヤー配列によって検出素子が配設された撮像素子１１によって、撮像された検出画像１０１を図６に示す。

図６に示すように、検出画像１０１は、検出素子がベイヤー配列により配設された撮像素子１１によって撮像された結果、ベイヤー配列により並んだ画素によって構成される画像となる。図６の例では、検出画像１０１は、紙面視において、配列単位となる２×２の画素は、左上の画素がＲ（赤）、右上および左下の画素がＧ（緑）、右下の画素がＢ（青）となるように構成されている。図６に示すように、この２×２の画素に含まれる２つのＧ（緑）の画素のうち、右上の画素を「Ｇｒ」と示し、左下の画素を「Ｇｂ」と示すものとする。検出画像１０１は、このような２×２の画素が規則的に配列して構成され、全体として６４０×４８０の画素で構成される。図６に示すように、検出画像１０１において、例えば、Ｘ方向の５番目、かつＹ方向の３番目のＲ（赤）の画素を「Ｒ３５」と示すものとする。検出画像１０１において、例えば、Ｘ方向の３番目、かつＹ方向の２番目のＧ（緑）（Ｇｂ）の画素を「Ｇｂ２３」と示すものとする。検出画像１０１において、例えば、Ｘ方向の２番目、かつＹ方向の６番目のＢ（青）の画素を「Ｂ６２」と示すものとする。また、検出画像１０１において、単に、Ｘ方向のＸ番目、かつＹ方向のＹ番目の画素を（Ｘ，Ｙ）の画素というものとする。

なお、撮像素子１１が検出する画像の大きさは６４０×４８０のＶＧＡの画像であるものとしたが、これに限定されるものではなく、異なる大きさの画像であってもよい。

図４に示すように、画像処理部１６は、ホワイトバランス処理部１２（ホワイトバランス処理手段）と、値調整部（値調整手段）１３と、復元処理部（復元処理手段）１４と、ベイヤー補間部１５と、を備えている。

ホワイトバランス処理部１２は、撮像素子１１のＲ（赤）、Ｇ（緑）、Ｂ（青）の検出素子の感度の相違を補正し、Ｒ、Ｇ、Ｂの画素に適正なゲイン値を乗じることによって調整した画素（第２画素）を出力するホワイトバランス処理を実行する。ホワイトバランス処理部１２の具体的な構成および動作については、図７および８において後述する。

値調整部１３は、ホワイトバランス処理部１２によるホワイトバランス処理の結果、画素の値が、撮像素子１１が検出可能とする光量（例えば、０〜２５５の範囲）の最大値（所定値）よりも大きくなった場合に、その画素の値を最大値に置き換え、その最大値を新たな画素（第３画素）とする値調整処理を実行する。値調整部１３の具体的な構成および動作については、図９において後述する。

復元処理部１４は、撮像素子１１により撮像された点像分布関数が付加されてぼけた画像に対し、ホワイトバランス処理部１２によるホワイトバランス処理および復元処理部１４による値調整処理後の処理対象画像に対して、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタである逆変換フィルタ（復元フィルタ）により復元処理を実行する。復元処理部１４の具体的な構成および動作については、図１０〜１５において後述する。

ベイヤー補間部１５は、復元処理部１４による復元処理後のベイヤー配列の復元画像を、ベイヤー補間処理によってＲＧＢ画像に変換する。ベイヤー補間部１５の具体的な動作については、後述する。

＜ホワイトバランス処理部の構成および動作＞
図７は、撮像素子から出力される画素がホワイトバランス処理部に入力される動作を示すタイミングチャートである。図８は、実施の形態の画像処理部のホワイトバランス処理部の構成の一例を示す図である。図８を参照しながら、本実施の形態の撮像装置１のホワイトバランス処理部１２の構成および動作について説明する。

まず、図５および７を参照しながら、撮像素子１１によって撮像された検出画像の出力動作について説明する。撮像素子１１は、検出した画素をＸ方向の１水平ラインずつ走査しながら、その１水平ラインに含まれる画素を出力する。具体的には、撮像素子１１は、Ｙ方向の１番目の水平ラインに含まれる画素を、Ｘ方向の１番目の画素から６４０番目の画素まで順に出力する。撮像素子１１は、上記の動作を、Ｙ方向の４８０番目の水平ラインに含まれる画素の出力まで行う。

上記の動作を図７に示すタイミングチャートに基づいて説明する。図７に示すように、撮像素子１１は、有効フレーム信号がオン状態のとき、１フレーム分、すなわち１画像分の画素を出力する。撮像素子１１において、有効フレーム信号がオン状態になってからフレーム開始期間Ａを経て、Ｙ方向の１番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ１がオン状態になる。撮像素子１１は、有効ライン信号Ｌ１がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の１番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，１）〜（６４０，１）の画素）を順に出力する。撮像素子１１によってＹ方向の１番目の水平ラインの画素が出力された後、有効ライン信号Ｌ１がオフ状態になる。

撮像素子１１において、有効ライン信号Ｌ１がオフ状態になってから水平ブランキング期間Ｂを経て、Ｙ方向の２番目の水平ラインの画素の出力許可を示す有効ライン信号Ｌ２がオン状態になる。撮像素子１１は、有効ライン信号Ｌ２がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の２番目の水平ラインを走査し、その水平ラインに含まれるＸ方向の１〜６４０番目の画素（（１，２）〜（６４０，２）の画素）を順に出力する。撮像素子１１によってＹ方向の２番目の水平ラインの画素が出力された後、有効ライン信号Ｌ２がオフ状態になる。

撮像素子１１は、以上の動作について、有効ライン信号Ｌ４８０がオン状態になっている有効データ期間Ｔの間に、Ｙ方向の４８０番目の水平ラインに含まれるＸ方向の１〜６４０番目の画素を出力するまで行う。撮像素子１１において、有効ライン信号Ｌ４８０がオフ状態になってからフレーム終了期間Ｃを経て、有効フレーム信号がオフ状態になる。以上の動作によって、撮像素子１１による１フレーム分の画素の出力が終了する。また、撮像素子１１において、有効フレーム信号がオフ状態になってから垂直ブランキング期間Ｄを経て、再び有効フレーム信号がオン状態になり、次の１フレーム分の画素の出力が開始される。

ホワイトバランス処理部１２は、図８に示すように、カウンタ１２３、１２３ａと、乗算器１２４と、加算器１２５と、レジスタ１２６ａ〜１２６ｄと、乗算器１２７ａ〜１２７ｄと、出力切替器１２８と、を備えている。ホワイトバランス処理部１２は、撮像素子１１から出力される画素を入力部１２１から入力し、ホワイトバランス処理を実行した画素を出力部１２９から出力する。また、ホワイトバランス処理部１２は、前述の有効ライン信号Ｌ１〜Ｌ４８０を入力部１２２から入力する。

図８に示すように、入力部１２１は、カウンタ１２３ａおよび乗算器１２７ａ〜１２７ｄそれぞれの入力側に接続されている。カウンタ１２３の入力側は、入力部１２２に接続され、カウンタ１２３の出力側は、乗算器１２４の入力側に接続されている。乗算器１２４およびカウンタ１２３ａのそれぞれの出力側は、加算器１２５の入力側に接続されている。レジスタ１２６ａ〜１２６ｄは、それぞれ乗算器１２７ａ〜１２７ｄの入力側に接続されている。加算器１２５の出力側は、出力切替器１２８の入力側に接続されている。乗算器１２７ａ〜１２７ｄの出力側は、それぞれ出力切替器１２８の入力側の「３」〜「０」端子に接続されている。出力切替器１２８の出力側は、出力部１２９に接続されている。

次に、図８を参照しながら、ホワイトバランス処理部１２における撮像素子１１から出力される画素に対するホワイトバランス処理について説明する。カウンタ１２３は、入力部１２２を介して上述の有効ライン信号を入力し、有効ライン信号の立ち上がりを検出し、検出すると保持しているカウント値が「０」の場合「１」に切り替えて出力し、カウント値が「１」の場合「０」に切り替えて出力する。ここで、カウンタ１２３は、初期状態として、カウント値「０」を保持しているものとする。すなわち、カウンタ１２３は、有効ライン信号Ｌ１の立ち上がりを検出した場合、カウント値を「０」から「１」に切り替え、その後、有効ライン信号Ｌ２の立ち上がりを検出した場合、カウント値を「１」から「０」に切り替える。すなわち、カウンタ１２３は、撮像素子１１から検出画像１０１（図５参照）のＹ方向の奇数ラインの有効ライン信号を入力している場合「１」を出力し、偶数ラインの有効ライン信号を入力している場合「０」を出力する。乗算器１２４は、加算器１２５に対して、カウンタ１２３から「０」を入力した場合「０」を出力し、「１」を入力した場合、２倍した「２」を出力する。

カウンタ１２３ａは、入力部１２１を介して撮像素子１１から出力される画素を入力し、新しい画素を入力すると保持しているカウント値が「０」の場合「１」に切り替えて出力し、カウント値が「１」の場合「０」に切り替えて出力する。ここで、カウンタ１２３ａは、初期状態として、カウント値「０」を保持しているものとする。すなわち、カウンタ１２３ａは、加算器１２５に対して、検出画像１０１における特定の水平ラインに含まれるＸ方向の奇数番目の画素を入力した場合「１」を出力し、偶数番目の画素を入力した場合「０」を出力する。

すなわち、ホワイトバランス処理部１２が検出画像１０１のＹ方向の奇数ラインに含まれる画素を入力している場合、かつその奇数ラインに含まれるＸ方向の奇数番目の画素を入力している場合、加算器１２５は、乗算器１２４から「２」を入力し、カウンタ１２３ａから「１」を入力し、双方を加算した「３」を出力切替器１２８に出力する。これは、ホワイトバランス処理部１２が、撮像素子１１から入力部１２１を介して、Ｒ（赤）の画素を入力している場合に相当する。

また、ホワイトバランス処理部１２が検出画像１０１のＹ方向の奇数ラインに含まれる画素を入力している場合、かつその奇数ラインに含まれるＸ方向の偶数番目の画素を入力している場合、加算器１２５は、乗算器１２４から「２」を入力し、カウンタ１２３ａから「０」を入力し、双方を加算した「２」を出力切替器１２８に出力する。これは、ホワイトバランス処理部１２が、撮像素子１１から入力部１２１を介して、Ｇｒ（緑）の画素を入力している場合に相当する。

また、ホワイトバランス処理部１２が検出画像１０１のＹ方向の偶数ラインに含まれる画素を入力している場合、かつその奇数ラインに含まれるＸ方向の奇数番目の画素を入力している場合、加算器１２５は、乗算器１２４から「０」を入力し、カウンタ１２３ａから「１」を入力し、双方を加算した「１」を出力切替器１２８に出力する。これは、ホワイトバランス処理部１２が、撮像素子１１から入力部１２１を介して、Ｇｂ（緑）の画素を入力している場合に相当する。

そして、ホワイトバランス処理部１２が検出画像１０１のＹ方向の偶数ラインに含まれる画素を入力している場合、かつその奇数ラインに含まれるＸ方向の偶数番目の画素を入力している場合、加算器１２５は、乗算器１２４から「０」を入力し、カウンタ１２３ａから「０」を入力し、双方を加算した「０」を出力切替器１２８に出力する。これは、ホワイトバランス処理部１２が、撮像素子１１から入力部１２１を介して、Ｂ（青）の画素を入力している場合に相当する。

乗算器１２７ａは、入力部１２１から入力した画素と、レジスタ１２６ａに保持されたＲ（赤）の画素に対するホワイトバランス処理用のゲイン値との乗算値を出力する。乗算器１２７ｂは、入力部１２１から入力した画素と、レジスタ１２６ｂに保持されたＧｒ（緑）の画素に対するホワイトバランス処理用のゲイン値との乗算値を出力する。乗算器１２７ｃは、入力部１２１から入力した画素と、レジスタ１２６ｃに保持されたＧｂ（緑）の画素に対するホワイトバランス処理用のゲイン値との乗算値を出力する。乗算器１２７ｄは、入力部１２１から入力した画素と、レジスタ１２６ｄに保持されたＢ（青）の画素に対するホワイトバランス処理用のゲイン値との乗算値を出力する。

出力切替器１２８は、加算器１２５から入力される値に応じて出力を切り替える。すなわち、出力切替器１２８は、加算器１２５から「３」を入力している場合、入力側の「３」端子に入力され、乗算器１２７ａによりゲイン値が乗算されたＲ（赤）の画素を、出力部１２９を介して出力する。また、出力切替器１２８は、加算器１２５から「２」を入力している場合、入力側の「２」端子に入力され、乗算器１２７ｂによりゲイン値が乗算されたＧｒ（緑）の画素を、出力部１２９を介して出力する。また、出力切替器１２８は、加算器１２５から「１」を入力している場合、入力側の「１」端子に入力され、乗算器１２７ｃによりゲイン値が乗算されたＧｂ（緑）の画素を、出力部１２９を介して出力する。そして、出力切替器１２８は、加算器１２５から「０」を入力している場合、入力側の「１」端子に入力され、乗算器１２７ｄによりゲイン値が乗算されたＢ（青）の画素を、出力部１２９を介して出力する。

以上のように、撮像素子１１から出力され、ホワイトバランス処理部１２に入力されたベイヤー配列を有する検出画像１０１は、Ｒ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）の画素がそれぞれに対応したゲイン値が乗算されるホワイトバランス処理がなされて、ホワイトバランス処理部１２から出力される。

なお、図８はホワイトバランス処理部１２の構成の一例を示すものであり、この構成に限定されるものではなく、上述したホワイトバランス処理部１２のホワイトバランス処理と同様の作用を奏する構成であればよい。

また、上述したように、撮像素子１１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のうちＧ（緑）に相当する光を検出する感度が最も高いので、Ｒ（赤）およびＢ（青）の画素に乗算するゲイン値は、Ｇ（緑）の画素に乗算するゲイン値よりも大きく設定することが好ましい。

＜値調整部の構成および動作＞
図９は、実施の形態の画像処理部の値調整部の構成の一例を示す図である。図９を参照しながら、本実施の形態の撮像装置１の値調整部１３の構成および動作について説明する。

値調整部１３は、図９に示すように、レジスタ１３２と、比較器１３３と、出力切替器１３４と、を備えている。値調整部１３は、ホワイトバランス処理部１２から出力されるホワイトバランス処理がなされた画素を入力部１３１から入力し、値調整処理を実行した画素を出力部１３５から出力する。

図９に示すように、入力部１３１は、比較器１３３の入力側のａ端子、および出力切替器１３４の入力側の「０」端子に接続されている。レジスタ１３２は、比較器１３３の入力側のｂ端子、および出力切替器１３４の入力側の「１」端子に接続されている。比較器１３３の出力側は、出力切替器１３４の入力側に接続されている。出力切替器１３４の出力側は、出力部１３５に接続されている。

次に、図９を参照しながら、値調整部１３におけるホワイトバランス処理部１２から出力される画素に対する値調整処理について説明する。レジスタ１３２は、比較器１３３における閾値判定に用いる閾値として、例えば、撮像素子１１が検出可能とする光量（例えば、０〜２５５の範囲）の最大値（例えば、２５５）を保持している。ホワイトバランス処理部１２から出力されるホワイトバランス処理が実行された画像の画素は順次、入力部１３１を介して、比較器１３３の「ａ」端子に入力される。レジスタ１３２が保持している閾値は、比較器１３３の「ｂ」端子に入力される。比較器１３３は、「ａ」端子に入力された画素と、「ｂ」端子に入力された閾値とを比較する閾値判定を行い、画素が閾値よりも大きい場合「１」を出力切替器１３４に対して出力し、画素が閾値以下である場合「０」を出力切替器１３４に対して出力する。

出力切替器１３４は、比較器１３３から入力される値に応じて出力を切り替える。すなわち、出力切替器１３４は、比較器１３３から「１」を入力した場合、入力側の「１」端子に入力された値、すなわち、レジスタ１３２に保持された閾値を、出力部１３５を介して出力する。また、出力切替器１３４は、比較器１３３から「０」を入力した場合、入力側の「０」端子に入力された値、すなわち、入力部１３１から入力された画素を、出力部１３５を介して出力する。

以上のように、ホワイトバランス処理部１２から出力され、値調整部１３に入力されたホワイトバランス処理された画像は、画素が閾値より大きい場合、閾値に置換され、画素が閾値以下である場合、画素はそのままの状態とする値調整処理がなされて、値調整部１３から出力される。

なお、図９は値調整部１３の構成の一例を示すものであり、この構成に限定されるものではなく、上述した値調整部１３の値調整処理と同様の作用を奏する構成であればよい。

また、上述の比較器１３３における閾値判定において用いる閾値を撮像素子１１が検出可能とする光量の最大値としたが、これに限定されるものではなく、最大値以下の所定値であってもよい。

＜復元処理部の構成および動作＞
図１０は、実施の形態の画像処理部の復元処理部の構成の一例を示す図である。図１０を参照しながら、本実施の形態の撮像装置１の復元処理部１４の構成および動作について説明する。

図１０に示すように、復元処理部１４は、画像バッファ部１４１と、フィルタ処理部１４３と、を備えている。

画像バッファ部１４１は、値調整部１３から出力される画素を順に入力してバッファリングする装置である。画像バッファ部１４１の具体的な構成および動作については、図１１において後述する。

フィルタ処理部１４３は、画像バッファ部１４１から出力される画素に対して、フィルタ回路によって、所定のフィルタ処理を行う。本実施の形態においては、フィルタ処理として、位相板１０ａの作用によって点像分布関数を与えられたぼけた画像に対して、ぼけを補正する逆変換処理をするためのフィルタ処理について説明する。フィルタ処理部１４３の具体的な構成および動作については、図１２〜１５において後述する。

＜＜画像バッファ部１４１の構成および動作＞＞
図１１は、実施の形態の復元処理部の画像バッファ部の構成の一例を示す図である。図７および１１を参照しながら、復元処理部１４の画像バッファ部１４１の構成および動作について説明する。

画像バッファ部１４１は、図１１に示すように、レジスタ１４１１ａ〜１４１１ｄと、ラインバッファ１４１２ａ〜１４１２ｄと、を備えている。画像バッファ部１４１は、撮像素子１１から出力される画素を入力部１４１０から入力し、バッファリングした画素を出力部１４１３ａ〜１４１３ｅから出力する。

図１１に示すように、レジスタ１４１１ａの入力側は、入力部１４１０および出力部１４１３ａに接続されている。レジスタ１４１１ａ〜１４１１ｄの出力側は、それぞれラインバッファ１４１２ａ〜１４１２ｄの入力側に接続されている。ラインバッファ１４１２ａ〜１４１２ｃの出力側は、それぞれレジスタ１４１１ｂ〜１４１１ｄの入力側に接続されている。そして、ラインバッファ１４１２ａ〜１４１２ｄの出力側は、それぞれ出力部１４１３ｂ〜１４１３ｅに接続されている。

次に、画像バッファ部１４１における撮像素子１１から出力される画素のバッファリング処理について説明する。画像バッファ部１４１は、撮像素子１１から出力される画素を入力部１４１０から入力する。具体的には、画像バッファ部１４１は、まず、Ｙ方向の１番目の水平ラインについて、撮像素子１１から入力した（１，１）の画素を、出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、レジスタ１４１１ａに格納した画素をラインバッファ１４１２ａの記憶領域１ａに格納する。そして、画像バッファ部１４１は、撮像素子１１から次に入力した（２，１）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、記憶領域１ａに格納した画素をラインバッファ１４１２ａの記憶領域２ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。そして、画像バッファ部１４１は、撮像素子１１から次に入力した（３，１）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

以上の動作を繰り返すことにより、画像バッファ部１４１は、撮像素子１１から入力したＹ方向の１番目の水平ラインの画素を出力部１４１３ａから出力する。それと共に、画像バッファ部１４１は、Ｙ方向の１番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ａの記憶領域６３９ａ〜１ａにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ａに格納する。

次に、画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域１ａ〜６３９ａに格納した画素を記憶領域２ａ〜６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。画像バッファ部１４１は、記憶領域６４０ａに格納した（１，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、Ｙ方向の２番目の水平ラインについて、撮像素子１１から入力した（１，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。すなわち、画像バッファ部１４１は、Ｘ方向の値が同一の画素である（１，１）および（１，２）の画素を、出力部１４１３ｂおよび１４１３ａからそれぞれ出力する。

画像バッファ部１４１は、次のタイミングで、レジスタ１４１１ｂに格納した画素をラインバッファ１４１２ｂの記憶領域１ｂに格納する。画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域１ａ〜６３９ａに格納した画素を記憶領域２ａ〜６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。画像バッファ部１４１は、記憶領域６４０ａに格納した（２，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、撮像素子１１から次に入力した（２，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

画像バッファ部１４１は、次のタイミングで、記憶領域１ｂに格納した画素をラインバッファ１４１２ｂの記憶領域２ｂにシフトして格納し、レジスタ１４１１ｂに格納した画素を記憶領域１ｂに格納する。画像バッファ部１４１は、ラインバッファ１４１２ａの記憶領域１ａ〜６３９ａに格納した画素を記憶領域２ａ〜６４０ａにシフトして格納し、レジスタ１４１１ａに格納した画素を記憶領域１ａに格納する。画像バッファ部１４１は、記憶領域６４０ａに格納した（３，１）の画素を出力部１４１３ｂから出力すると共に、レジスタ１４１１ｂに格納する。そして、画像バッファ部１４１は、撮像素子１１から次に入力した（３，２）の画素を出力部１４１３ａから出力すると共に、レジスタ１４１１ａに格納する。

以上の動作を繰り返すことにより、画像バッファ部１４１は、撮像素子１１から入力したＹ方向の１および２番目の水平ラインの画素についてＸ方向の値が同一の画素を、出力部１４１３ａおよび１４１３ｂからそれぞれ同一のタイミングで出力する。それと共に、画像バッファ部１４１は、Ｙ方向の１番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ｂの記憶領域６３９ｂ〜１ｂにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ｂに格納する。さらに、画像バッファ部１４１は、Ｙ方向の２番目の水平ラインの１〜６３９番目の画素をラインバッファ１４１２ａの記憶領域６３９ａ〜１ａにそれぞれ格納し、６４０番目の画素をレジスタ１４１１ａに格納する。

以上の動作のように、画像バッファ部１４１は、撮像素子１１から入力した各水平ラインの画素をラインバッファ１４１２ａ〜１４１２ｄにバッファリングする。それと共に、画像バッファ部１４１は、Ｘ方向の値が同一の画素、すなわち、（Ｘ，Ｙ−４）、（Ｘ，Ｙ−３）、（Ｘ，Ｙ−２），（Ｘ，Ｙ−１）および（Ｘ，Ｙ）の画素を、出力部１４１３ａ〜１４１３ｅからそれぞれ同一のタイミングで出力する。

＜＜フィルタ処理部１４３の構成および動作＞＞
図１２は、実施の形態の復元処理部のフィルタ処理部の構成の一例を示す図である。図１３は、逆変換フィルタの構成の一例を示す図である。図１４は、逆変換フィルタによってフィルタ処理することを説明する図である。図１５は、逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。図１２〜１５を参照しながら、復元処理部１４のフィルタ処理部１４３の構成および動作について説明する。

フィルタ処理部１４３は、図１２に示すように、レジスタ１４３２ａ〜１４３２ｅ、１４３３ａ〜１４３３ｅ、１４３４ａ〜１４３４ｅ、１４３５ａ〜１４３５ｅ、１４３６ａ〜１４３６ｅおよび１４３７ａ〜１４３７ｅを備えている。また、フィルタ処理部１４３は、乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅを備えている。また、フィルタ処理部１４３は、加算器１４４３ａ〜１４４３ｅ、１４４４ａ〜１４４４ｅ、１４４５ａ〜１４４５ｅ、１４４６ａ〜１４４６ｅおよび１４４７ａ〜１４４７ｃを備えている。そして、フィルタ処理部１４３は、画像バッファ部１４１から出力される画素を入力部１４３１ａ〜１４３１ｅから入力し、所定のフィルタ係数を有する逆変換フィルタによってコンボリューション演算を行い、演算値を出力部１４４８から出力する。逆変換フィルタのフィルタ係数は、図１３に示すように５×５の係数で構成されている。

乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅは、入力側から入力される画素とフィルタ係数との乗算値を出力する回路である。具体的には、乗算器１４３８ａ〜１４４２ａは、それぞれフィルタ係数ａ３３、「０」、ａ３２、「０」、ａ３１と画素との乗算値を出力する。乗算器１４３８ｂ〜１４４２ｂは、それぞれフィルタ係数「０」と画素との乗算値を出力する。乗算器１４３８ｃ〜１４４２ｃは、それぞれフィルタ係数ａ２３、「０」、ａ２２、「０」、ａ２１と画素との乗算値を出力する。乗算器１４３８ｄ〜１４４２ｄは、それぞれフィルタ係数「０」と画素との乗算値を出力する。乗算器１４３８ｅ〜１４４２ｅは、それぞれフィルタ係数ａ１３、「０」、ａ１２、「０」、ａ１１と画素との乗算値を出力する。

加算器１４４３ａ〜１４４３ｅ、１４４４ａ〜１４４４ｅ、１４４５ａ〜１４４５ｅ、１４４６ａ〜１４４６ｅ、ならびに１４４７ａおよび１４４７ｃは、入力側から入力される２つのデータの値の加算値を出力する回路である。加算器１４４７ｂは、入力側から入力される３つのデータの値の加算値を出力する回路である。

図１２に示すように、入力部１４３１ａ〜１４３１ｅは、それぞれレジスタ１４３２ａ〜１４３２ｅの入力側に接続されている。レジスタ１４３２ａ〜１４３７ａは、直列に接続している。レジスタ１４３２ｂ〜１４３７ｂ、１４３２ｃ〜１４３７ｃ、１４３２ｄ〜１４３７ｄおよび１４３２ｅ〜１４３７ｅのそれぞれについても同様である。

入力部１４３１ａ〜１４３１ｅは、それぞれ乗算器１４３８ａ〜１４３８ｅの入力側に接続されている。レジスタ１４３２ａ〜１４３５ａの出力側は、それぞれ乗算器１４３９ａ〜１４４２ａの入力側に接続されている。レジスタ１４３２ｂ〜１４３５ｂと乗算器１４３９ｂ〜１４４２ｂとの接続関係、レジスタ１４３２ｃ〜１４３５ｃと乗算器１４３９ｃ〜１４４２ｃとの接続関係、レジスタ１４３２ｄ〜１４３５ｄと乗算器１４３９ｄ〜１４４２ｄとの接続関係、およびレジスタ１４３２ｅ〜１４３５ｅと乗算器１４３９ｅ〜１４４２ｅとの接続関係もそれぞれ同様である。

乗算器１４３８ａ〜１４３８ｅの出力側は、それぞれ加算器１４４３ａ〜１４４３ｅの入力側に接続されている。加算器１４４３ａ〜１４４６ａは、直列に接続している。加算器１４４３ｂ〜１４４６ｂ、１４４３ｃ〜１４４６ｃ、１４４３ｄ〜１４４６ｄおよび１４４３ｅ〜１４４６ｅのそれぞれについても同様である。

乗算器１４３９ａ〜１４４２ａの出力側は、それぞれ加算器１４４３ａ〜１４４６ａの入力側に接続されている。乗算器１４３９ｂ〜１４４２ｂと加算器１４４３ｂ〜１４４６ｂとの接続関係、乗算器１４３９ｃ〜１４４２ｃと加算器１４４３ｃ〜１４４６ｃとの接続関係、乗算器１４３９ｄ〜１４４２ｄと加算器１４４３ｄ〜１４４６ｄとの接続関係、および乗算器１４３９ｅ〜１４４２ｅと加算器１４４３ｅ〜１４４６ｅとの接続関係もそれぞれ同様である。

加算器１４４６ａおよび１４４６ｂの出力側は、加算器１４４７ａの入力側に接続されている。加算器１４４６ｄおよび１４４６ｅの出力側は、加算器１４４７ｃの入力側に接続されている。加算器１４４６ｃ、１４４７ａおよび１４４７ｃの出力側は、加算器１４４７ｂの入力側に接続されている。加算器１４４７ｂの出力側は、出力部１４４８に接続されている。

次に、図１２〜１５を参照しながら、フィルタ処理部１４３におけるフィルタ処理について説明する。フィルタ処理に使用されるフィルタは、図１３に示すように、フィルタ係数ａ１１、「０」、ａ１２、「０」およびａ１３、５つの「０」、ａ２１、「０」、ａ２２、「０」およびａ２３、５つの「０」、ならびにａ３１、「０」、ａ３２、「０」およびａ３３によって構成されるタップ数が５×５の逆変換フィルタ１２１である。この逆変換フィルタ１２１によるフィルタ処理の対象となる処理対象画像の部分を、図１４に示す対象部分画像２１１であるものとする。対象部分画像２１１は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１〜Ａ３５、Ａ４１〜Ａ４５およびＡ５１〜Ａ５５によって構成された５×５の処理対象画像の部分である。

レジスタ１４３２ａ〜１４３２ｅ、１４３３ａ〜１４３３ｅ、１４３４ａ〜１４３４ｅ、１４３５ａ〜１４３５ｅ、１４３６ａ〜１４３６ｅおよび１４３７ａ〜１４３７ｅには、データが格納されていない状態、すなわち、「０」の値が格納された状態であるものとする。フィルタ処理部１４３は、入力部１４３１ａ〜１４３１ｅから対象部分画像２１１の画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１を入力し、それぞれレジスタ１４３２ａ〜１４３２ｅに格納すると共に、乗算器１４３８ａ〜１４３８ｅに入力させる。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ３３、「０」、ａ３２、「０」、ａ３１と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅによって演算された乗算値は、加算器１４４７ａ〜１４４７ｃによって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。

フィルタ処理部１４３は、次のタイミングで、レジスタ１４３２ａ〜１４３２ｅに格納した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１を、それぞれレジスタ１４３３ａ〜１４３３ｅにシフトして格納し、乗算器１４３９ａ〜１４３９ｅに入力させる。フィルタ処理部１４３は、入力部１４３１ａ〜１４３１ｅから対象部分画像２１１の画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２を入力し、それぞれレジスタ１４３２ａ〜１４３２ｅに格納すると共に、乗算器１４３８ａ〜１４３８ｅに入力させる。乗算器１４３９ａ〜１４３９ｅは、それぞれのフィルタ係数である「０」と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ３３、「０」、ａ３２、「０」、ａ３１と、それぞれ入力した画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２との乗算値を出力する。乗算器１４３９ａ〜１４３９ｅによって演算された乗算値、および乗算器１４３８ａ〜１４３８ｅによって演算された乗算値は、加算器１４４３ａ〜１４４３ｅおよび１４４７ａ〜１４４７ｃによって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。

そして、以上の動作が繰り返された結果、レジスタ１４３２ａ〜１４３６ａ、１４３２ｂ〜１４３６ｂ、１４３２ｃ〜１４３６ｃ、１４３２ｄ〜１４３６ｄおよび１４３２ｅ〜１４３６ｅに、それぞれ画素Ａ５５〜Ａ５１、Ａ４５〜Ａ４１、Ａ３５〜Ａ３１、Ａ２５〜Ａ２１およびＡ１５〜Ａ１１が格納されたものとする。また、乗算器１４３８ａ〜１４４２ａ、１４３８ｂ〜１４４２ｂ、１４３８ｃ〜１４４２ｃ、１４３８ｄ〜１４４２ｄおよび１４３８ｅ〜１４４２ｅに、それぞれ画素Ａ５５〜Ａ５１、Ａ４５〜Ａ４１、Ａ３５〜Ａ３１、Ａ２５〜Ａ２１およびＡ１５〜Ａ１１が入力されたものとする。乗算器１４４２ａ〜１４４２ｅは、それぞれのフィルタ係数であるａ３１、「０」、ａ２１、「０」およびａ１１と、それぞれ入力した画素Ａ５１、Ａ４１、Ａ３１、Ａ２１およびＡ１１との乗算値を出力する。乗算器１４４１ａ〜１４４１ｅは、それぞれのフィルタ係数である「０」と、それぞれ入力した画素Ａ５２、Ａ４２、Ａ３２、Ａ２２およびＡ１２との乗算値を出力する。乗算器１４４０ａ〜１４４０ｅは、それぞれのフィルタ係数であるａ３２、「０」、ａ２２、「０」およびａ１２と、それぞれ入力した画素Ａ５３、Ａ４３、Ａ３３、Ａ２３およびＡ１３との乗算値を出力する。乗算器１４３９ａ〜１４３９ｅは、それぞれのフィルタ係数である「０」と、それぞれ入力した画素Ａ５４、Ａ４４、Ａ３４、Ａ２４およびＡ１４との乗算値を出力する。乗算器１４３８ａ〜１４３８ｅは、それぞれのフィルタ係数であるａ３３、「０」、ａ２３、「０」およびａ１３と、それぞれ入力した画素Ａ５５、Ａ４５、Ａ３５、Ａ２５およびＡ１５との乗算値を出力する。

乗算器１４３８ａ〜１４３８ｅ、１４３９ａ〜１４３９ｅ、１４４０ａ〜１４４０ｅ、１４４１ａ〜１４４１ｅおよび１４４２ａ〜１４４２ｅによって演算された乗算値は、図１２に示す全ての加算器によって加算される。加算値は、加算器１４４７ｂから出力され、出力部１４４８からフィルタ処理部１４３の外部に出力される。この加算値は、図１４に示すように、対象部分画像２１１に対して逆変換フィルタ２０１によってコンボリューション演算した値、すなわち、式（１）で表される演算値と同一である。コンボリューション演算の演算値は、対象部分画像２１１の中央に位置する画素である中央データに対してフィルタ処理を実行した値となる。すなわち、コンボリューションの演算値は、フィルタ処理後の復元画像において、フィルタ処理前の処理対象画像の中央データに相当する位置の画素となる。

次に、フィルタ処理部１４３のフィルタ処理について、図１５を参照しながら、処理対象画像１１１においてＸ方向の水平ラインを走査しながらフィルタ処理をする動作の概略を説明する。図１５（ａ）は、フィルタ処理部１４３が、処理対象画像１１１における（１，１）の画素に対して逆変換フィルタ２０１によってフィルタ処理をする状態を示している。図１５（ａ）に示すように、（１，１）の画素を中央データ３０５ａとしてコンボリューション演算するためには、（１，１）の画素を中央データとする対象部分画像３０１ａと、処理対象画像１１１とが重複している部分の画素が必要になる。すなわち、対象部分画像３０１ａのうち、図１４に示す対象部分画像２１１の画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が必要である。

そのためには、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５に相当する画素が、画像バッファ部１４１の出力部１４１３ａ〜１４１３ｃから出力されている必要がある。さらに、画素Ａ３５〜Ａ３３、Ａ４５〜Ａ４３およびＡ５５〜Ａ５３に相当する画素が、フィルタ処理部１４３のレジスタ１４３２ｃ〜１４３４ｃ、１４３２ｂ〜１４３４ｂおよび１４３２ａ〜１４３４ａに格納されている必要がある。そして、対象部分画像３０１ａにおいて、処理対象画像１１１と重複していない部分の画素は「０」として取り扱うものとする。

以上の状態において、フィルタ処理部１４３は、図１４に示したコンボリューション演算と同様に、対象部分画像３０１ａに対して逆変換フィルタ２０１によってコンボリューション演算を行う。フィルタ処理部１４３は、処理対象画像１１１の対象部分画像３０１ａの中央データ３０５ａである（１，１）の画素に対してコンボリューション演算した値を、フィルタ処理後の通常画像の（１，１）の画素として出力する。

次に、フィルタ処理部１４３は、図１５（ｂ）に示すように、コンボリューション演算の対象となる画素をＸ方向にひとつシフトし、対象部分画像３０１ｂの中央データ３０５ｂである（２，１）の画素に対してフィルタ処理をする。そして、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１５（ｃ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，１）の画素に対してフィルタ処理をする。（６４０，１）の画素は、図１５（ｃ）に示すように、対象部分画像３０１ｃの中央データ３０５ｃである。

以上のように、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対するフィルタ処理が終了すると、Ｙ方向の次の水平ラインに対して同様にフィルタ処理を行う。

図１５（ｄ）〜１５（ｆ）は、フィルタ処理部１４３が、処理対象画像１１１におけるＹ方向の４番目の水平ラインの画素に対してフィルタ処理を行う状態を示している。図１５（ｄ）は、フィルタ処理部１４３が、処理対象画像１１１における（１，４）の画素に対して逆変換フィルタ２０１によってフィルタ処理をする状態を示している。図１５（ｄ）に示すように、（１，４）の画素を中央データ３０５ｄとしてコンボリューション演算するためには、（１，４）の画素を中央データとする対象部分画像３０１ｄと、処理対象画像１１１とが重複している部分の画素が必要になる。そして、対象部分画像３０１ｄにおいて、処理対象画像１１１と重複していない部分の画素は、上述と同様に「０」として取り扱うものとする。

図１５（ｅ）は、フィルタ処理部１４３が、処理対象画像１１１における（５，４）の画素に対して逆変換フィルタ２０１によってフィルタ処理をする状態を示している。図１５（ｅ）に示すように、（５，４）の画素を中央データ３０５ｅとする対象部分画像３０１ｅは全体が処理対象画像１１１と重複しているので、フィルタ処理部１４３は、対象部分画像３０１ｅに含まれる画素をすべて利用したフィルタ処理が可能となる。

そして、フィルタ処理部１４３は、Ｘ方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図１５（ｆ）に示すように、Ｘ方向の水平ラインの最後の画素である（６４０，４）の画素に対してフィルタ処理をする。（６４０，４）の画素は、図１５（ｆ）に示すように、対象部分画像３０１ｆの中央データ３０５ｆである。

以上のように、フィルタ処理部１４３は、処理対象画像１１１を構成する各画素に対して逆変換フィルタ２０１によるコンボリューション演算を行ってフィルタ処理をするので、レンズユニット１０によってぼけた画像を補正し、画像の解像度を向上させることができる。

また、図１３に示される構成の逆変換フィルタ２０１によって、ベイヤー配列によって構成された処理対象画像１１１のうち、Ｒ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）の画素群ごとにフィルタ処理を実行することが可能となる。すなわち、ベイヤー配列の処理対象画像１１１に対して直接、フィルタ処理の実行が可能となり、かつ、共通の逆変換フィルタ２０１によってフィルタ処理の実行が可能となる。したがって、フィルタ処理を実行するフィルタ処理部１４３の回路構成を簡易に構成することができる。

また、一般に画像の解像度の低下は、上述のように、撮像素子１１により撮像された点像分布関数が付加されてぼけることによる解像度の低下と、回折限界による解像度の低下とがある。回折限界とは、光学系に収差がない場合に、被写体の一点から出た光は像面で無限小の一点に集光せず、光が波の性質を有することによって、所定の半径をもつ有限の大きさまでしか集光することができない集光限界をいう。上述の復元処理部１４による復元処理は、撮像素子１１により撮像された点像分布関数が付加されてぼけることによる解像度の低下に対して復元するだけではなく、回折限界による解像度の低下に対する復元にも寄与する。

なお、上述のように、処理対象画像１１１における逆変換フィルタ２０１によるコンボリューション演算の対象となる対象部分画像について、処理対象画像１１１と重複していない部分の画素は「０」としたが、これに限定されるものではない。例えば、対象部分画像のうち処理対象画像１１１と重複していない部分の画素は、対象部分画像の中央データを基準にして、対象部分画像の処理対象画像１１１と重複している部分の画素を折り返した場合の画素を用いるものとしてもよい。

具体的に、図１５（ａ）の対象部分画像３０１ａを例にして説明する。対象部分画像３０１ａのそれぞれの画素の名称を、仮に図１４に示す対象部分画像２１１の画素の名称と同様とする。この場合、対象部分画像３０１ａの処理対象画像１１１と重複していない部分の画素は、画素Ａ１１〜Ａ１５、Ａ２１〜Ａ２５、Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２である。また、対象部分画像３０１ａの処理対象画像１１１と重複している部分の画素は、画素Ａ３３〜Ａ３５、Ａ４３〜Ａ４５およびＡ５３〜Ａ５５である。

このとき、画素Ａ３１、Ａ３２、Ａ４１、Ａ４２、Ａ５１およびＡ５２は、中央データを基準にして、対象部分画像３０１ａの処理対象画像１１１と重複している部分の画素を折り返し、それぞれ画素Ａ３５、Ａ３４、Ａ４５、Ａ４４、Ａ５５およびＡ５４の値を用いる。また、画素Ａ１３〜Ａ１５およびＡ２３〜Ａ２５は、中央データを基準にして、対象部分画像３０１ａの処理対象画像１１１と重複している部分の画素を折り返し、それぞれ画素Ａ５３〜Ａ５５およびＡ４３〜Ａ４５の値を用いる。そして、画素Ａ１１、Ａ１２、Ａ２１およびＡ２２は、中央データを基準にして、対象部分画像３０１ａの処理対象画像１１１と重複している部分の画素のうち点対象の位置関係にある画素、すなわち、それぞれＡ５５、Ａ５４、Ａ４５およびＡ４４の値を用いる。以上のような方法によって、対象部分画像の各画素を決定するものとしてもよい。

また、図１２〜１４に示すように、フィルタ処理部１４３が有する逆変換フィルタはタップ数が５×５のフィルタとしているが、これに限定されるものではない。すなわち、フィルタのタップ数は９×９、１３×１３または２１×２１等異なるタップ数としてもよい。この場合、フィルタのタップ数に合わせて、対象部分画像の大きさも一致させる必要がある。また、フィルタによる逆変換処理の対象となる中央データが存在するように、フィルタのタップ数は奇数である必要がある。また、フィルタ処理の対象となる処理対象画像は、ベイヤー配列を有するので、Ｒ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）の画素群ごとにフィルタ処理を実行するためには、対象部分画像に同一の色の画素がＸ方向またはＹ方向に奇数個含まれている必要もある。

また、逆変換フィルタは、例えば１７×１７以上のタップ数であることが好ましい。逆変換フィルタは、タップ数が多いほど、位相板によって被写界深度が拡張されてぼけが加えられた画像に対して、ぼけを補正できる光軸上の幅を大きくすることができる。したがって、タップ数が多い逆変換フィルタを用いることによって、位相板およびレンズの被写界深度についての設計のバリエーションを増やすことができる。

＜ベイヤー補間部の動作＞
次に、本実施の形態の撮像装置１のベイヤー補間部１５の動作（ベイヤー補間）について説明する。

上述のように、復元処理部１４から出力される復元画像を構成する６４０×４８０の画素は、それぞれ、Ｒ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）のいずれか一色を表すものである。ここで、復元画像を構成する６４０×４８０の構成単位を「ピクセル」と称するものとする。上述のように、復元処理部１４が出力する復元画像の各ピクセルには、Ｒ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）のいずれか一色を表す画素が対応している。このピクセルにおける色以外の色（Ｒ（赤）のピクセルであればＧ（緑）およびＢ（青））、周囲のピクセルの単一の色の画素から推定するのがベイヤー補間である。すなわち、ベイヤー補間は、各ピクセルに単一の色の画素のみを対応させるのではなく、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三色の画素を対応させる処理である。ベイヤー補間の具体的な処理内容について説明する。

まず、ベイヤー補間の対象となるピクセルを中心として、３×３のピクセルを演算対象として考える。次に、対象となるピクセル（以下、中心ピクセルという）の色（以下、当色という）の画素は、そのまま中心ピクセルに対応する当色の画素として対応させる。そして、中心ピクセルの色以外の色（以下、他色という）の画素は、中心ピクセルの周囲を囲む８つのピクセルに含まれる他色の平均値を演算し、演算値を中心ピクセルに対応する他色の画素として対応させる。

復元処理部１４が出力する復元画像が、図６に示すベイヤー配列のピクセルによって構成されているものとして、具体例を示して説明する。ベイヤー補間前の、復元画像を構成する各画素を、図６に示すように、「Ｒ１１」、「Ｇｒ１２」、「Ｒ１３」、・・・と称するものとする。

まず、画素Ｒ１１に対応するピクセルのベイヤー補間について説明する。画素Ｒ１１に対応するピクセルを中心とする３×３のピクセルは、一部しかとれないので、画素Ｇｒ１２、Ｇｂ２１、Ｂ２２を演算対象とする。まず、画素Ｒ１１に対応するピクセルに対応するＲ（赤）の画素は、そのまま画素Ｒ１１とする。次に、画素Ｒ１１に対応するピクセルに対応するＧ（緑）の画素は、演算対象に含まれる画素のうち同色である画素Ｇｒ１２、Ｇｂ２１の平均値とする。そして、画素Ｒ１１に対応するピクセルに対応するＢ（青）の画素は、演算対象に含まれる画素のうちＢ（青）のものが画素Ｂ２２のみなので、画素Ｂ２２とする。

次に、画素Ｒ３３に対応するピクセルのベイヤー補間について説明する。画素Ｒ３３に対応するピクセルを中心とする３×３のピクセルを演算対象とする。まず、画素Ｒ３３に対応するピクセルに対応するＲ（赤）の画素は、そのまま画素Ｒ３３とする。次に、画素Ｒ３３に対応するピクセルに対応するＧ（緑）の画素は、演算対象に含まれる画素のうち同色である画素Ｇｂ２３、Ｇｒ３２、Ｇｒ３４、Ｇｂ４３の平均値とする。そして、画素Ｒ３３に対応するピクセルに対応するＢ（青）の画素は、演算対象に含まれる画素のうち同色である画素Ｂ２２、Ｂ２４、Ｂ４２、Ｂ４４の平均値とする。

上述のような方法によって、ベイヤー補間部１５によりベイヤー補間が実行される。

なお、画像処理部１６は、ベイヤー補間部１５を含む構成としているが、これに限定されるものではなく、撮像装置１の外部においてベイヤー補間の機能が実行されるものとしてもよい。例えば、撮像装置１によって生成された復元画像は、通信ケーブル３を介してＰＣ２に送信され、ＰＣ２において実行されるアプリケーションによって復元画像に対するベイヤー補間が実行されるものとしてもよい。

（画像処理部における偽色発生を抑制する動作）
図１６は、正確な光量が検出された場合の画像におけるエッジ部の復元処理を説明する図である。まず、図１６を参照しながら、画像処理部１６の復元処理部１４の復元処理について、グラフ（波形）に基づいて具体的に説明する。ここで、復元処理とは、復元処理部１４の画像バッファ部１４１におけるバッファリング処理、およびフィルタ処理部１４３におけるフィルタ処理の一連の処理を示すものとする。

図１６（ａ）は、被写体の理想画像の特定方向（ここではＸ方向）におけるエッジ部の輝度値（画素）の理想波形４００を示している。図１６（ｂ）は、被写体から出る光についてレンズユニット１０を通して撮像素子１１によって撮像された画像の特定方向（ここではＸ方向）におけるエッジ部の輝度値（画素）の撮像波形４０１を示している。なお、理想波形４００および撮像波形４０１は、撮像素子１１のＲ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）のいずれの検出素子により撮像された画素の波形であってもよい。また、図１６においては、画像のＸ方向の輝度値の波形を示しているが、これに限定されるものではなく、画像のＹ方向の輝度値の波形と考えてもよく、後述の図１７〜２０においても同様である。

図１６に示すように、撮像波形４０１は、レンズユニット１０が与える収差によってぼけた状態の画像のエッジ部の波形であるので、理想波形４００と比較して、波形のエッジ部分が曲線状、すなわち、輝度値の変化がなだらかな状態となっている。この撮像波形４０１が示す特性が含まれる画像を復元処理すると、撮像波形４０１は、理想波形４００とほぼ同じ状態に復元することができる。

図１７は、正確に光量が検出されない場合の画像におけるエッジ部の復元処理を説明する図である。次に、図１７を参照しながら、撮像素子１１が検出可能とする光量以上の光を発する被写体を撮像素子１１により撮像した画像に対して実行する復元処理について、グラフ（波形）に基づいて具体的に説明する。

図１７（ａ）は、被写体の理想画像の特性方向（ここではＸ方向）におけるエッジ部の輝度値（画素）の理想波形４１０を示している。上述したように、撮像素子１１が検出可能とする光量以上の光を発する被写体であるので、理想波形４１０のエッジの立ち上がり部分（山部分）は、輝度値が途中の波形位置から撮像素子１１が検出可能とする光量の最大値よりも大きい値となっている。図１７においては、撮像素子１１が検出可能とする光量の範囲（正確には、光量を量子化した値の範囲）を「０」〜「２５５」とし、光量の最大値を「２５５」としており、後述の図１８〜２０においても同様である。

図１７（ｂ）は、被写体から出る光についてレンズユニット１０を通して撮像素子１１によって撮像された画像の特性方向（ここではＸ方向）におけるエッジ部の輝度値（画素）の撮像波形４１１を示している。しかし、被写体から出る光は、撮像素子１１が検出可能とする光量以上の光であるので、被写体から出る光のうち、光量が最大値より大きい場合は検出することができない。したがって、撮像波形４１１のうち、輝度値が最大値より大きい非検出波形部４１１ａの部分に対応する輝度値は、最大値「２５５」となっている。すなわち、撮像波形４１１は、本来、撮像素子１１によって検出されるべき輝度値の波形を正確に反映していないことになる。

この撮像波形４１１が示す特性が含まれる画像を復元処理すると、撮像波形４１１は、図１７（ｃ）に示す復元波形４１２となる。復元波形４１２は、撮像波形４１１において、非検出波形部４１１ａの部分の輝度値が正確に反映されていないため、非検出波形部４１１ａの部分の輝度値が正確に反映された場合の波形である理想復元波形４１２ａの傾斜部分よりも緩やかな傾斜部分を有する波形となる。

図１８は、検出画像について復元処理した後にホワイトバランス処理をする場合を説明する図である。次に、図１８を参照しながら、撮像した画像について復元処理した後にホワイトバランス処理を実行する場合について説明する。

図１８においては、被写体から出る光のうち、例えば、Ｇ（緑）の光の一部の光量が、撮像素子１１が検出可能とする光量の最大値よりも大きくなり、Ｒ（赤）およびＢ（青）の光の光量は、撮像素子１１によって検出可能であるものとし、後述の図１９および２０においても同様とする。図１８（ａ）は、被写体から出る光についてレンズユニット１０を通して撮像素子１１によって撮像された画像の特性方向（ここではＸ方向）におけるエッジ部のＧ（緑）の輝度値（画素）の撮像波形４２０、および、Ｒ（赤）またはＢ（青）の輝度値（画素）の撮像波形４３０を示している。図１８（ａ）に示すように、Ｇ（緑）の光の撮像波形４２０は、エッジの立ち上がり部分（山部分）において輝度値が途中の波形位置から最大値よりも大きい値となっているため、本来の波形部分である非検出波形部４２０ａの部分に対応する輝度値は、最大値「２５５」となっている。すなわち、撮像波形４２０は、本来、撮像素子１１によって検出されるべき輝度値の波形を正確に反映していないことになる。一方、Ｒ（赤）またはＢ（青）の光の撮像波形４３０は、撮像素子１１によって正確に検出されている。

図１８（ｂ）は、図１８（ａ）に示す撮像波形４２０および撮像波形４３０が示す特性が含まれる画像に対して復元処理をした場合の波形を示す。この復元処理の結果、撮像波形４２０は、復元波形４２１となり、撮像波形４３０は、復元波形４３１となる。このとき、復元波形４３１は、撮像波形４３０の輝度値（画素）が撮像素子１１によって正確に検出されているので、傾斜部分が、被写体の理想画像における同じエッジ部分の傾斜部分とほぼ同じとなるように復元される。一方、復元波形４２１は、撮像波形４２０において、非検出波形部４２０ａの部分の輝度値が正確に反映されていないため、復元波形４３１の傾斜部分よりも緩やかな傾斜部分を有する波形となる。

図１８（ｃ）は、図１８（ｂ）に示す復元波形４２１および復元波形４３１が示す特性が含まれる画像に対してホワイトバランス処理をした場合の波形を示す。このホワイトバランス処理の結果、復元波形４２１は、ＷＢ（Ｗｈｉｔｅ Ｂａｌａｎｃｅ）波形４２２となり、復元波形４３１は、ＷＢ波形４３２となる。例えば、被写体の理想画像において、ＷＢ波形４２２の輝度値が最大となっている領域が無彩色（白色）であるものとし、ホワイトバランス処理によって、復元波形４３１は、当該領域において無彩色（白色）となるように、山部分が略一致するように持ち上げられてＷＢ波形４３２となる。また、ＷＢ波形４２２およびＷＢ波形４３２は、本来、復元処理によって傾斜部分が略一致するべきであるが、撮像素子１１による撮像時点において非検出波形部４２０ａの部分の輝度値が正確に反映されていないため、ＷＢ波形４２２の傾斜部分の方が、ＷＢ波形４３２の傾斜部分よりも緩やかとなる。

したがって、ホワイトバランス処理後の画像において、ＷＢ波形４２２の傾斜部分に対応する領域６００では、Ｇ（緑）の波形であるＷＢ波形４２２の輝度値が、Ｒ（赤）またはＢ（青）の波形であるＷＢ波形４３２の輝度値より大きくなる。したがって、ホワイトバランス処理後の画像は、ＷＢ波形４２２、４３２の傾斜部分が略一致していれば領域６００において無彩色に表示されるところ、Ｇ（緑）の輝度値がＲ（赤）およびＢ（青）の輝度値より大きいため緑がかって表示、すなわち、偽色が発生することになる。

図１９は、検出画像についてホワイトバランス処理をした後に値調整をせずに復元処理をする場合を説明する図である。次に、図１９を参照しながら、撮像した画像についてホワイトバランス処理した後、値調整処理をせずに復元処理を実行する場合について説明する。

図１９（ａ）は、被写体から出る光についてレンズユニット１０を通して撮像素子１１によって撮像された画像の特性方向（ここではＸ方向）におけるエッジ部のＧ（緑）の輝度値（画素）の撮像波形４４０、および、Ｒ（赤）またはＢ（青）の輝度値（画素）の撮像波形４５０を示している。図１９（ａ）に示すように、Ｇ（緑）の光の撮像波形４４０は、エッジの立ち上がり部分（山部分）において輝度値が途中の波形位置から最大値よりも大きい値となっているため、本来の波形部分である非検出波形部４４０ａの部分に対応する輝度値は、最大値「２５５」となっている。すなわち、撮像波形４４０は、本来、撮像素子１１によって検出されるべき輝度値の波形を正確に反映していないことになる。一方、Ｒ（赤）またはＢ（青）の光の撮像波形４５０は、撮像素子１１によって正確に検出されている。

図１９（ｂ）は、図１９（ａ）に示す撮像波形４４０および撮像波形４５０が示す特性が含まれる画像に対してホワイトバランス処理をした場合の波形を示す。このホワイトバランス処理の結果、撮像波形４４０は、ＷＢ波形４４１となり、撮像波形４５０は、ＷＢ波形４５１となる。例えば、被写体の理想画像において、撮像波形４４０の輝度値が最大となっている領域が無彩色（白色）であるものとし、ホワイトバランス処理によって、撮像波形４５０は、当該領域において無彩色（白色）となるように、山部分が図１９（ａ）に示す非検出波形部４４０ａの輝度値と略一致するように持ち上げられてＷＢ波形４５１となる。ホワイトバランス処理は、演算処理であるので、撮像波形４５０がホワイトバランス処理によって持ち上げられた結果、最大値よりも大きい値を有する波形部分を有することになる。

図１９（ｃ）は、図１９（ｂ）に示すＷＢ波形４４１およびＷＢ波形４５１が示す特性が含まれる画像に対して復元処理をした場合の波形を示す。この復元処理の結果、ＷＢ波形４４１は、復元波形４４２となり、ＷＢ波形４５１は、復元波形４５２となる。このとき、復元波形４５２は、撮像波形４５０の輝度値（画素）が撮像素子１１によって正確に検出され、ホワイトバランス処理後も、最大値より大きい値を有する波形部分もそのままとしているので、被写体の理想画像における同じエッジ部分の傾斜部分とほぼ同じとなるように復元される。ただし、復元処理後は、画素の最大値以下に調整する必要があるため、図１９（ｃ）に示すように、復元波形４５２において、輝度値（画素）が最大値より大きい部分に対応する輝度値は、最大値「２５５」としている。一方、復元波形４４２は、撮像波形４４０において、非検出波形部４４０ａの部分の輝度値が正確に反映されていないため、復元波形４５２の傾斜部分よりも緩やかな傾斜部分を有する波形となる。

したがって、復元処理後の画像において、復元波形４４２の傾斜部分に対応する領域６０１では、Ｇ（緑）の波形である復元波形４４２の輝度値が、Ｒ（赤）またはＢ（青）の波形である復元波形４５２の輝度値より大きくなる。したがって、復元処理後の画像は、復元波形４４２、４５２の傾斜部分が略一致していれば領域６０１において無彩色に表示されるところ、Ｇ（緑）の輝度値がＲ（赤）およびＢ（青）の輝度値より大きいため緑がかって表示、すなわち、偽色が発生することになる。

図２０は、検出画像についてホワイトバランス処理をした後に値調整および復元処理をする場合を説明する図である。次に、図２０を参照しながら、撮像した画像について画像処理部１６のホワイトバランス処理部１２によりホワイトバランス処理が実行された後、値調整部１３により値調整処理が実行され、復元処理部１４により復元処理が実行される場合について説明する。

図２０（ａ）は、被写体から出る光についてレンズユニット１０を通して撮像素子１１によって撮像された画像の特性方向（ここではＸ方向）におけるエッジ部のＧ（緑）の輝度値（画素）の撮像波形４６０、および、Ｒ（赤）またはＢ（青）の輝度値（画素）の撮像波形４７０を示している。図２０（ａ）に示すように、Ｇ（緑）の光の撮像波形４６０は、エッジの立ち上がり部分（山部分）において輝度値が途中の波形位置から最大値よりも大きい値となっているため、本来の波形部分である非検出波形部４６０ａの部分に対応する輝度値は、最大値「２５５」となっている。すなわち、撮像波形４６０は、本来、撮像素子１１によって検出されるべき輝度値の波形を正確に反映していないことになる。一方、Ｒ（赤）またはＢ（青）の光の撮像波形４７０は、撮像素子１１によって正確に検出されている。

図２０（ｂ）は、図２０（ａ）に示す撮像波形４６０および撮像波形４７０が示す特性が含まれる画像に対してホワイトバランス処理および値調整処理をした場合の波形を示す。このホワイトバランス処理および値調整処理の結果、撮像波形４６０は、ＷＢ波形４６１となり、撮像波形４７０は、ＷＢ波形４７１となる。例えば、被写体の理想画像において、撮像波形４６０の輝度値が最大となっている領域が無彩色（白色）であるものとし、ホワイトバランス処理によって、撮像波形４７０は、当該領域において無彩色（白色）となるように、山部分が図２０（ａ）に示す非検出波形部４６０ａの輝度値と略一致するように持ち上げられた波形となる。しかし、ここで、値調整部１３は、ホワイトバランス処理により撮像波形４７０から持ち上げられた波形のうち、輝度値が最大値より大きい部分である値調整波形部４７１ａに対応する輝度値を、最大値に置き換える値調整処理を実行する。

図２０（ｃ）は、図２０（ｂ）に示すＷＢ波形４６１およびＷＢ波形４７１が示す特性が含まれる画像に対して復元処理をした場合の波形を示す。この復元処理の結果、ＷＢ波形４６１は、復元波形４６２となり、ＷＢ波形４７１は、復元波形４７２となる。このとき、復元波形４６２は、撮像波形４６０において、非検出波形部４６０ａの部分の輝度値が正確に反映されていないため、被写体の理想画像における同じエッジ部分の傾斜部分よりも緩やかな傾斜部分を有する波形となる。また、復元波形４７２は、ＷＢ波形４７１において、値調整波形部４７１ａの部分の輝度値が正確に反映されていないため、復元波形４６２と同様に、被写体の理想画像における同じエッジ部分の傾斜部分よりも緩やかな傾斜部分を有する波形となる。

その結果、復元波形４６２および復元波形４７２の傾斜部分は、被写体の理想画像の同じエッジ部分の傾斜部分よりも緩やかになる結果、被写体の理想画像よりもややエッジがぼけた画像とはなるものの、復元波形４６２の傾斜部分に対応する領域６０２において、双方の傾斜部分が略一致することになる。したがって、復元処理後の画像は、復元波形４６２、４７２の領域６０２において傾斜部分が略一致するので、Ｒ（値）、Ｇ（緑）、Ｂ（青）の輝度値が略同一となって理想画像の本来の無彩色が表示されることになり、偽色の発生が抑制される。

以上のように、本実施の形態に係る撮像装置１の画像処理部１６は、撮像素子１１により撮像された画像に対してホワイトバランス処理をした画像において、輝度値が撮像素子１１の検出可能な光量の最大値よりも大きい値である場合に最大値に置換する値調整処理を実行している。そして、画像処理部１６は、値調整処理した画像に対して復元処理を実行している。これによって、画像におけるエッジ部における輝度値の傾斜部分をＲ（赤）、Ｇ（緑）、Ｂ（青）それぞれにおいて一致させることができ、特定の色が強調されて表示される偽色の発生を抑制することができる。すなわち、ある色では復元が正しく行われるが、他の色では正しく復元されないという復元処理のアンバランスの発生を低減することができる。また、偽色の発生を抑制することによって、後段の画像処理の認識精度の低下を抑制することができる。

なお、図１８〜２０の説明において、被写体から出る光のうちＧ（緑）の光の光量が、撮像素子１１が検出可能とする光量の最大値よりも大きくなる場合について説明したが、これに限定されるものではなく、Ｒ（赤）またはＢ（青）の光であってもよい。これに付随して、図２０において、値調整処理が実行される画素（輝度値）に係る色がＲ（赤）またはＢ（青）に限定されるものではなく、Ｇ（緑）であってもよい。

１ 撮像装置
２ ＰＣ
３ 通信ケーブル
４ 被写体
１０ レンズユニット
１０ａ 位相板
１０ｂ 絞り
１１ 撮像素子
１２ ホワイトバランス処理部
１３ 値調整部
１４ 復元処理部
１５ ベイヤー補間部
１６ 画像処理部
１７ 通信部
２１ 通信部
２２ 操作部
２３ 表示部
２４ 記憶部
２５ 外部記憶装置
２６ 制御部
２７ バス
１０１ 検出画像
１１１ 処理対象画像
１２１、１２２ 入力部
１２３、１２３ａ カウンタ
１２４ 乗算器
１２５ 加算器
１２６ａ〜１２６ｄ レジスタ
１２７ａ〜１２７ｄ 乗算器
１２８ 出力切替器
１２９ 出力部
１３１ 入力部
１３２ レジスタ
１３３ 比較器
１３４ 出力切替器
１３５ 出力部
１４１ 画像バッファ部
１４３ フィルタ処理部
２０１ 逆変換フィルタ
２１１ 対象部分画像
３０１ａ〜３０１ｆ 対象部分画像
３０５ａ〜３０５ｆ 中央データ
４００ 理想波形
４０１ 撮像波形
４１０ 理想波形
４１１ 撮像波形
４１１ａ 非検出波形部
４１２ 復元波形
４１２ａ 理想復元波形
４２０ 撮像波形
４２０ａ 非検出波形部
４２１ 復元波形
４２２ ＷＢ波形
４３０ 撮像波形
４３１ 復元波形
４３２ ＷＢ波形
４４０ 撮像波形
４４０ａ 非検出波形部
４４１ ＷＢ波形
４４２ 復元波形
４５０ 撮像波形
４５１ ＷＢ波形
４５２ 復元波形
４６０ 撮像波形
４６０ａ 非検出波形部
４６１ ＷＢ波形
４６２ 復元波形
４７０ 撮像波形
４７１ ＷＢ波形
４７１ａ 値調整波形部
４７２ 復元波形
５００ 撮像システム
６００〜６０２ 領域
１４１０ 入力部
１４１１ａ〜１４１１ｄ レジスタ
１４１２ａ〜１４１２ｄ ラインバッファ
１４１３ａ〜１４１３ｅ 出力部
１４３１ａ〜１４３１ｅ 入力部
１４３２ａ〜１４３２ｅ レジスタ
１４３３ａ〜１４３３ｅ レジスタ
１４３４ａ〜１４３４ｅ レジスタ
１４３５ａ〜１４３５ｅ レジスタ
１４３６ａ〜１４３６ｅ レジスタ
１４３７ａ〜１４３７ｅ レジスタ
１４３８ａ〜１４３８ｅ 乗算器
１４３９ａ〜１４３９ｅ 乗算器
１４４０ａ〜１４４０ｅ 乗算器
１４４１ａ〜１４４１ｅ 乗算器
１４４２ａ〜１４４２ｅ 乗算器
１４４３ａ〜１４４３ｅ 加算器
１４４４ａ〜１４４４ｅ 加算器
１４４５ａ〜１４４５ｅ 加算器
１４４６ａ〜１４４６ｅ 加算器
１４４７ａ〜１４４７ｃ 加算器
１４４８ 出力部
Ａ フレーム開始期間
Ｂ 水平ブランキング期間
Ｃ フレーム終了期間
Ｄ 垂直ブランキング期間
Ｔ 有効データ期間

特開２０１２−０４９７５９号公報

Claims (13)

1. 撮像手段により撮像された撮像画像を構成する複数の色からなる第１画素に、該色に応じたゲイン値を該第１画素に乗じて第２画素を生成するホワイトバランス処理手段と、
   前記第２画素のうち、所定値以下の前記第２画素はそのままの値とし、前記所定値より大きい前記第２画素を前記所定値に置換して第３画素を生成する値調整手段と、
   前記第３画素に対して、復元フィルタによって光学系により生じた解像度の低下を復元する復元処理手段と、
   を備える画像処理装置。
2. 前記撮像画像を構成する前記第１画素は、ベイヤー配列によって配設され、
   前記復元処理手段は、前記ベイヤー配列によって配設された前記第３画素により構成される画像に対して、共通の前記復元フィルタによって解像度の低下を復元する請求項１に記載の画像処理装置。
3. 前記ホワイトバランス処理手段によって赤色および青色に対応する前記第１画素に乗じる前記ゲイン値は、緑色に対応する前記第１画素に乗じる前記ゲイン値よりも大きい請求項１または２に記載の画像処理装置。
4. 前記復元フィルタは、前記光学系により前記撮像画像に与えられた点像分布関数の逆変換処理を行うための逆変換フィルタである請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記復元フィルタは、ＦＩＲフィルタである請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記復元処理手段は、前記第３画素に対して、前記復元フィルタによって回折限界に基づく解像度の低下を復元する請求項１〜５のいずれか一項に記載の画像処理装置。
7. 光軸上の所定範囲において解像度の低下を一定とする前記光学系と、
   前記撮像手段と、
   請求項１〜６のいずれか一項に記載の画像処理装置と、
   をさらに備える撮像装置。
8. 前記光学系は、入射する光に収差を与える請求項７に記載の撮像装置。
9. 前記光学系は、前記光軸上に位相板を有する請求項８に記載の撮像装置。
10. 撮像手段により撮像された撮像画像を構成する複数の色からなる第１画素に、該色に応じたゲイン値を該第１画素に乗じて第２画素を生成するホワイトバランス処理を実行するステップと、
    前記第２画素のうち、所定値以下の前記第２画素はそのままの値とし、前記所定値より大きい前記第２画素を前記所定値に置換して第３画素を生成する値調整処理を実行するステップと、
    前記第３画素に対して、復元フィルタによって光学系により生じた解像度の低下を復元する復元処理を実行するステップと、
    を有する画像処理方法。
11. 前記復元処理を実行するステップにおいて、ベイヤー配列によって配設された前記第３画素により構成される画像に対して、共通の前記復元フィルタによって解像度の低下を復元する請求項１０に記載の画像処理方法。
12. 前記ホワイトバランス処理を実行するステップにおいて、赤色および青色に対応する前記第１画素に乗じる前記ゲイン値は、緑色に対応する前記第１画素に乗じる前記ゲイン値よりも大きいものとする請求項１０または１１に記載の画像処理方法。
13. 前記復元処理を実行ステップにおいては、前記光学系によって光軸上の所定範囲において与えられた一定の解像度の低下を内包する前記第３画素に対して前記復元処理を実行する請求項１０〜１２のいずれか一項に記載の画像処理方法。