JP2012010276A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】単色光が入射する場合であっても解像度の低下を防止することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】本発明の画像処理装置１は、出力信号取得部２と、分光感度決定部８と、出力信号増幅部３と、画像生成部４とを具備する。
出力信号取得部２は、互いに透過波長が異なるカラーフィルタを透過した光を出力信号として出力する複数種の画素を有する画素群に接続され、これらの画素の出力信号を取得する。分光感度決定部８は、画素群に入射した入射光の波長に対する、複数種の画素の分光感度を決定する。出力信号増幅部３は、各種画素の出力信号をそれぞれ増幅する。画像生成部５は、出力信号増幅部３によって増幅された、各種画素の出力信号から、各種画素のそれぞれの画素値を算出し、画像を生成する。
【選択図】図１

Description

本発明は、撮像素子の出力信号から画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

デジタルカメラ等の撮像装置では、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子が用いられる。これらの撮像素子は複数の画素が平面状に配列され、各画素は入射した光（以下、入射光とする）を光電変換して電気信号として出力する。演算処理回路がこれらの電気信号を演算処理することによって画像が生成される。

ここで、上述のような撮像素子は、入射光の波長にかかわらず光の強度に応じた電気信号を出力するため、これだけではカラー画像を生成させることができない。このため、カラー画像を生成するための撮像装置では、それぞれ特定の波長域（例えばＲＧＢ）の光を透過させる各色のカラーフィルタが各画素に設けられ（単板方式）、当該波長域以外の波長を有する光はカラーフィルタにより減衰されるように構成されている。これにより、入射光のうちカラーフィルタの透過波長を有する成分が画素に到達し、電気信号に変換される。

各色のカラーフィルタの配列には種々のものがあるが、「ベイヤ（Bayer)配列」と呼ばれる配列が一般的である。ベイヤ配列はＲ、Ｇが交互となる列とＢ、Ｇが交互となる列をＧが隣接しないように配列したものであり、人間の眼の分光感度が高いＧの数がＲ及びＢの数と２倍となる配列である。

このように配列されたカラーフィルタを透過した光による各画素の出力信号から、演算処理回路はその画素の画素値（ＲＧＢそれぞれの輝度値）を算出する。この際、上述のように各画素には各色のカラーフィルタが設けられているため、その出力から算出される輝度値はカラーフィルタの透過波長に応じたもの、即ちＲＧＢのうちの１色に関するものである。ここで演算処理回路は、隣接する撮像素子の出力から他の２色の輝度値を「補間演算」により算出し、各画素の画素値を決定する。この補間演算の方式により画質に影響が生じるため、種々の方式が検討されている。

例えば、特許文献１には、この補間演算に関する技術が開示されている。特許文献１に記載の「信号処理装置」は、補間対象の画素に対する水平方向及び垂直方向の相関から、画像に縦縞あるいは横縞が含まれるかどうかを判断し、その判断結果に応じて補間に用いる画素データを選択する。これにより、画像に縦縞あるいは横縞が存在する場合であってっも適切に画像のぼやけを補正することが可能であるとされている。

特開２００２−２３２９０４号公報（段落[００３８]、図５）

ここで、上述のような補間演算は、入射光が複色光（広い波長域を有する光）であり、ＲＧＢに対応する各撮像素子に満遍なく光が入射する場合には有効である。しかしながら、入射光が単色光（狭い波長域を有する光）である場合には有効ではない。入射光が単色光である場合とは、例えば、病理診断の分野で用いられる蛍光撮影あるはＤＮＡシーケンサのための蛍光染色されたサンプルを撮像する場合等である。このような場合では、その色を透過させるカラーフィルタが設けられた画素には光が入射するが、それ以外の色のカラーフィルタが設けられた画素にはほとんど光が入射しない。光が入射しない画素からは輝度値の情報が得られず、入射光が複色光である場合に比べ解像度が低下する。

以上のような事情に鑑み、本発明の目的は、単色光が入射する場合であっても解像度の低下を防止することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る画像処理装置は、出力信号取得部と、分光感度決定部と、出力信号増幅部と、画像生成部とを具備する。
上記出力信号取得部は、第１の特性を有する第１のカラーフィルタを透過した光を光電変換して第１の出力信号として出力する第１の画素と、上記第１の特性と異なる第２の特性を有する第２のカラーフィルタを透過した光を光電変換して第２の出力信号として出力する第２の画素と、上記第１の特性及び上記第２の特性と異なる第３の特性を有する第３のカラーフィルタを透過した光を光電変換して第３の出力信号として出力する第３の画素とを有する画素群に接続され、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号を取得する。
上記分光感度決定部は、上記画素群に入射した入射光の波長に対する、上記第１の出力信号の分光感度である第１の分光感度、上記第２の出力信号の分光感度である第２の分光感度及び上記第３の出力信号の分光感度である第３の分光感度をそれぞれ決定する。
上記出力信号増幅部は、上記第１の分光感度、上記第２の分光感度及び上記第３の分光感度に基づいて、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号をそれぞれ増幅する。
上記画像生成部は、上記出力信号増幅部によって増幅された、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号から、上記第１の画素、上記第２の画素及び上記第３の画素のそれぞれの画素値を算出し、画像を生成する。

画素群に単色の入射光が入射した場合、入射光は、少なくとも第１のカラーフィルタ、第２のカラーフィルタ及び第３のカラーフィルタのいずれかによって減衰され、光電変換されて第１の出力信号、第２の出力信号及び第３の出力信号として出力される。ここで、各カラーフィルタによって入射光が減衰されることによる各画素の分光感度、即ち、画素相互間での出力信号の強度比は、入射光の波長によって決まる。本発明では、出力信号増幅部が、第１の分光感度、第２の分光感度及び第３の分光感度に基づいて第１の出力信号、第２の出力信号及び第３の出力信号をそれそれ増幅する。これにより、画像生成部が増幅された各出力信号から画像を生成する際に、本来なら出力信号が小さく、情報が得られない画素からの出力信号も利用することが可能であり、画素群に復色光が入射する場合と同程度の解像度を維持することが可能である。

上記画像処理装置は、入射光の波長を取得する入射光波長取得部をさらに有し、上記分光感度決定部は、入射光の波長と上記第１の分光感度、上記第２の分光感度及び上記第３の分光感度との相関が予め登録された分光感度テーブルを有し、上記分光感度テーブルから、上記入射光波長取得部によって取得された入射光の波長に対応した、上記第１の分光感度、上記第２の分光感度及び上記第３の分光感度を選択してもよい。

本発明によれば、分光感度決定部は、これらのカラーフィルタについての分光感度テーブルを予め保持し、入射光の波長に対応した、上記第１の分光感度、上記第２の分光感度及び上記第３の分光感度を選択する。これにより、画像処理装置は、分光感度テーブルに記載されている複数色の単色光について、解像度を維持することが可能となる。

上記出力信号増幅部は、上記第１の分光感度、上記第２の分光感度及び上記第３の分光感度のそれぞれの逆数を増幅率として、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号のそれぞれ増幅してもよい。

この構成によれば、画像処理装置は、第１の出力信号、第２の出力信号及び第３の出力信号を、各画素にカラーフィルタが設けられない場合と同程度に増幅することができ、解像度を維持することが可能となる。

上記画像生成部は、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号の強度を、上記入射光波長取得部によって取得された入射光の波長を有する色の輝度値としてもよい。

この構成によれば、画像生成部が、各画素の輝度値から、各画素の画素値を決定し、画像を生成することが可能となる。

上記目的を達成するため、本発明の一形態に係る画像処理方法は、第１の特性を有する第１のカラーフィルタを透過した光を光電変換して第１の出力信号として出力する第１の画素と、上記第１の特性と異なる第２の特性を有する第２のカラーフィルタを透過した光を光電変換して第２の出力信号として出力する第２の画素と、上記第１及び上記第２の特性と異なる第３の特性を有する第３のカラーフィルタを透過した光を光電変換して第３の出力信号として出力する第３の画素とを有する画素群に接続された出力信号取得部が、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号を取得する。
分光感度決定部が、上記画素群に入射した入射光の波長に対する、上記第１の出力信号の分光感度である第１の分光感度、上記第２の出力信号の分光感度である第２の分光感度及び上記第３の出力信号の分光感度である第３の分光感度をそれぞれ決定する。
出力信号増幅部が、上記第１の分光感度、上記第２の分光感度及び上記第３の分光感度に基づいて、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号をそれぞれ増幅する。
画像生成部が、上記出力信号増幅部によって増幅された上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号から上記第１の画素、上記第２の画素及び上記第３の画素のそれぞれの画素値を算出し、画像を生成する。

上記目的を達成するため、本発明の一形態に係る画像処理プログラムは、出力信号取得部と、分光感度決定部と、出力信号増幅部と、画像生成部ととしてコンピュータを機能させる。
上記出力信号取得部は、第１の特性を有する第１のカラーフィルタを透過した光を光電変換して第１の出力信号として出力する第１の画素と、上記第１の特性と異なる第２の特性を有する第２のカラーフィルタを透過した光を光電変換して第２の出力信号として出力する第２の画素と、上記第１の特性及び上記第２の特性と異なる第３の特性を有する第３のカラーフィルタを透過した光を光電変換して第３の出力信号として出力する第３の画素とを有する画素群に接続され、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号を取得する。
上記分光感度決定部は、上記画素群に入射した入射光の波長に対する、上記第１の出力信号の分光感度である第１の分光感度、上記第２の出力信号の分光感度である第２の分光感度及び上記第３の出力信号の分光感度である第３の分光感度をそれぞれ決定する。
上記出力信号増幅部は、上記第１の分光感度、上記第２の分光感度及び上記第３の分光感度に基づいて、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号をそれぞれ増幅する。
上記画像生成部は、上記出力信号増幅部によって増幅された、上記第１の出力信号、上記第２の出力信号及び上記第３の出力信号から、上記第１の画素、上記第２の画素及び上記第３の画素のそれぞれの画素値を算出し、画像を生成する。

本発明によれば、単色光が入射する場合であっても解像度の低下を防止することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することが可能である。

本発明の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の実施形態に係る撮像部を示す模式図である。 本発明の実施形態に係る画素の断面図である。 本発明の実施形態に係る３種類のカラーフィルタの透過波長を示すグラフである。 本発明の実施形態に係る赤色フィルタ、緑色フィルタ及び青色フィルタの配列例を示す模式図である。 本発明の実施形態に係る分光感度テーブルの一例を示す表である。 本発明の実施形態に係る画像処理装置の動作を示すフローチャートである。 比較例に係る画像処理装置によって生成されたサンプル画像である。 本実施形態に係る画像処理装置によって生成されたサンプル画像である。

以下、図面を参照しながら、本発明の実施形態を説明する。

［画像処理装置の構成］
図１は、本発明の実施形態に係る画像処理装置１の構成を示すブロック図である。同図に示すように画像処理装置１は、出力信号取得部２、出力信号増幅部３、画像データ生成部４、画像生成部５、画像記憶部６、入射光波長取得部７及び分光感度供給部８を有する。出力信号取得部２は出力信号増幅部３に接続され、出力信号増幅部３は画像データ生成部４に接続されている。画像データ生成部４は画像生成部５に接続され、画像生成部５は画像記憶部６に接続されている。また、入射光波長取得部７は分光感度供給部８に接続され、分光感度供給部８は出力信号増幅部３に接続されている。出力信号取得部２には、撮像部１４が接続されている。

出力信号取得部２は、接続された撮像部１４から出力される「出力信号」を取得し、出力信号増幅部３に出力する。ここで、撮像部１４について説明する。

撮像部１４は、入射光から出力信号を生成する。図２は、撮像部１４を示す模式図である。同図に示すように、撮像部１４は、画素群９と光学系１０を有し、光学系１０によって集光された光が画素群９に入射するように構成されている。画素群９は、複数の画素１１が配列されて形成されている。画素１１の個数は実際には図示よりも多数（例えば数百万個）である。

図３は複数の画素１１の断面図である。同図に示すように各画素１１は、光電変換素子１２とカラーフィルタ１３を有する。カラーフィルタ１３は、各光電変換素子１２の光学系１０側にそれぞれ配置されている。各光電変換素子１２はＣＣＤ(Charge Coupled Device)あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の光電変換を可能とする素子であり、詳細な構成は省略する。カラーフィルタ１３は、特定の波長（以下、透過波長とする）以外の光を減衰させるフィルタであり、透過特性が異なる３種類がある。

図４は、３種類のカラーフィルタ１３の透過特性を示すグラフである。グラフの横軸は光の波長であり、縦軸はカラーフィルタ１３を透過した光による光電変換素子１２の出力である。同図に示すように３種類のカラーフィルタ１３のそれぞれの透過特性は、４５０ｎｍ、５３０ｎｍ、６２０ｎｍをそれぞれ中心とする波状である。以下、４５０ｎｍ（青色領域）付近を中心とする透過波長を有するカラーフィルタ１３を青色フィルタ１３Ｂ、５３０ｎｍ付近（緑色領域）を中心とする透過波長を有するカラーフィルタ１３を緑色フィルタ１３Ｇ、６２０ｎｍ付近（赤色領域）を中心とする透過波長を有するカラーフィルタ１３を赤色フィルタ１３Ｒとする。なお、これらのカラーフィルタ１３の透過特性はここに示すものに限られず、また、カラーフィルタ１３の種類も３種類以外、例えば４種類とすることも可能である。

図５は、赤色フィルタ１３Ｒ、緑色フィルタ１３Ｇ及び青色フィルタ１３Ｂの配列を示す模式図である。同図に示すように、これらのカラーフィルタ１３は赤色フィルタ１３Ｒと緑色フィルタ１３Ｇが交互となる列と青色フィルタ１３Ｂと緑色フィルタ１３Ｇが交互となる列を緑色フィルタ１３Ｇが隣接しないように配列されている。緑色は人間の眼の分光感度が高いため、緑色フィルタ１３Ｇの数が赤色フィルタ１３Ｒ及び青色フィルタ１３Ｂの数と２倍となるように配列される。このような配列は「ベイヤ（Bayer)配列」と呼ばれる配列であるが、カラーフィルタ１３の配列はこれと異なる配列であってもよい。

このように構成された画素１１では、光学系１０を介して入射した光が各カラーフィルタ１３によって分光され、各カラーフィルタ１３の透過波長を有する光が光電変換素子１２に入射する。光電変換素子１２は、入射した光を光電変換し、出力信号として出力する。この際、光電変換素子１２への入射光の強度に応じて出力信号が変動する。このように、撮像部１４から各画素１１の出力信号が出力信号取得部２に出力される。なお、以下、赤色フィルタ１３Ｒが設けられた画素１１を「赤色画素」、緑色フィルタ１３Ｇが設けられた画素１１を「緑色画素」、青色フィルタ１３Ｂが設けられた画素１１を「青色画素」とする。

出力信号増幅部３は、各画素１１の出力信号を、分光感度供給部８から入力される「分光感度」に応じて増幅する。詳細は後述するが、出力信号増幅部３は、赤色画素、緑色画素及び青色画素毎に分光感度に基づいて算出された増幅率で、各画素１１の出力信号を増幅する。出力信号増幅部３は、ソフトウェア的あるいはハードウェア的に出力信号を増幅するものとすることができる。出力信号増幅部３は、増幅した各画素１１の出力信号を画像データ生成部４に出力する。

画像データ生成部４は、増幅後の各画素１１の出力信号から「画像データ」を生成する。画像データ生成部４は、ある画素１１について、その画素１１の出力信号を用いて画素値（ＲＧＢの輝度値）を算出する。なお、本実施形態では、入射光が単色光であることを想定しているため、画素値は輝度値と同義である。画像データ生成部４は、この他にノイズ低減処理やコントラスト強調処理等を実行してもよい。画像データ生成部４は、算出した画素１１毎の画素値を「画像データ」として画像生成部５に出力する。

画像生成部５は、画像データからＪＰＥＧ（Joint Photographic Experts Group）等の任意の画像形式の画像を生成し、画像記憶部６に出力する。画像記憶部６は当該画像を不揮発性メモリ等に保存し、あるいは外部に送信する。

入射光波長取得部７は、撮像部１４に入射する光の波長である「入射光波長」を取得する。入射光波長取得部７は入射光波長をユーザの入力により取得してもよく、分光計等を用いた測定により取得してもよい。また、プレパラート等に記載されたバーコード情報から入射光波長を取得してもよい。入射光波長取得部７は、入射光波長を分光感度供給部８に出力する。

分光感度供給部８は、入射光波長に応じた各色画素の「分光感度」を出力信号増幅部３に供給する。具体的には、分光感度供給部８は、波長毎に分光感度を記した「分光感度テーブル」を記憶している。図６は分光感度テーブルの一例を示す表である。同図に示す分光感度テーブルは、特定の波長の光が撮像部１４に入射した場合の、赤色画素、緑色画素及び青色画素のそれぞれの出力比を示したものであり、例えば図４のような波長に対する各画素の出力から求めることが可能である。分光感度供給部８は、入射光波長取得部７から入射光波長が供給されると、分光感度テーブルから該当する波長の各色画素の分光感度を選択し、出力信号増幅部３に供給する。

本実施形態に係る画像処理装置１は以上のように構成されている。

［画像処理装置の動作］
画像処理装置１の動作について説明する。
なお、撮像部１４には、例えば蛍光撮影あるいはＤＮＡ（Deoxyribonucleic acid）シーケンサのための蛍光染色されたサンプル等の単色の色調を有する、即ち単色光を発する撮像対象物がセットされているものとする。

図７は、画像処理装置１の動作を示すフローチャートである。
同図に示す各ステップ（Ｓｔ）について順に説明する。

最初に、入射光波長取得部７が「入射光波長」を取得する（Ｓｔ１０１）。入射光波長取得部７は上述のように、ユーザによる入力や、分光計による測定によって入射光波長を取得することができる。入射光波長取得部７は取得した入射光波長を分光感度供給部８に出力する。

分光感度供給部８は、分光感度テーブルを参照して、入射光波長に一致する波長の各色画素の分光感度を選択し、出力信号増幅部３に供給する（Ｓｔ１０２）。例えば入射光波長取得部７から出力された入射光波長が「６００ｎｍ」であった場合、分光感度は「赤色画素：９５％、青色画素：５％、緑色画素：２５％」となる。

次に、出力信号取得部２が第１の出力信号、第２の出力信号及び第３の出力信号を取得する（Ｓｔ１０３）。具体的には、撮像部１４において光学系１０を介して画素群９に到達した入射光は、各画素１１に設けられた各色のカラーフィルタ１３を透過して各光電変換素子１２に到達する。この際、上述のように、赤色フィルタ１３Ｒ及び緑色フィルタ１３Ｇ及び青色フィルタ１３Ｂはそれぞれ所定の透過波長を有しているため、入射光のうち透過波長に含まれない成分はカラーフィルタ１３により減衰される。減衰されなかった光は光電変換素子１２において光電変換されてそれぞれ第１の出力信号、第２の出力信号及び第３の出力信号として出力され、出力信号取得部２がこれらの出力信号を取得する。

続いて、出力信号増幅部３は、出力信号を増幅する（Ｓｔ１０４）。この際、出力信号増幅部３は、分光感度供給部８から供給された各色画素の分光感度を増幅率の決定に用いる。具体的には、出力信号増幅部３は、各色画素の出力信号の増幅率αを以下の（式１）を用いて決定する。
α＝１００００／ｎ ［式１］
ｎは、増幅する画素に対応する分光感度である。

例えば、上述の例のように分光感度が「赤色画素：９５％、青色画素：５％、緑色画素：２５％」であった場合、増幅率αは、赤色画素については「１００００／９５（％）＝１０５．２（％）」となる。同様に、青色画素については「１００００／５（％）＝２０００（％）」となり、緑色画素については「１００００／２５（％）＝４００（％）」となる。

出力信号増幅部３は、このようにして算出した各色の増幅率αを、増幅しようとする画素１１の色に応じてそれぞれ乗じ、出力信号を増幅する。これにより、各画素１１の出力信号は、カラーフィルタ１３による減衰量に相当する増幅を受ける。また、出力信号増幅部３は、さらにホワイトバランス等のために増幅率αを調整してもよい。出力信号増幅部３は、増幅された各画素１１の出力信号を画像データ生成部４に出力する。

次に、画像データ生成部４が、増幅された各画素１１の出力信号から画像データを生成する（Ｓｔ１０５）。具体的には、画像データ生成部４は、各画素１１の出力信号の強度を離散値として輝度値とする。この際、画像データ生成部４はこの輝度値を、出力信号が赤色画素、緑色画素及び青色画素のいずれから出力されたかに係わらず、入射光波長取得部７が取得した入射光波長の色の輝度値とする。即ち、各色に対応する画素１１を、入射光波長の色に対応する画素１１として取り扱う。

例えば、入射光波長が「６００ｎｍ（赤色領域）」であって、ある青色画素の出力信号から得られた輝度値が「１００」であった場合、画像データ生成部４はこの画素について、本来の青色ではなく波長６００ｎｍ（赤色）の輝度値が１００であるとして扱う。ここで、青色画素の出力信号は、ステップ１０４において増幅されたものである。このように画像データ生成部４は、全ての画素１１について、入射光波長を有する色の輝度値を決定する。

さらに画像データ生成部４は、この各画素１１の輝度値から各画素１１の画素値を求める。入射光波長がＲＧＢの各原色のいずれかの波長と一致もしくは近接する場合は、輝度値はその原色の画素値とすることができる。例えば、入射光波長が「６００ｎｍ」で輝度値が１００であった場合、６００ｎｍは原色Ｒの波長であるので、画素値は（Ｒ：Ｇ：Ｂ＝１００：０：０）とすることができる。一方、入射光波長がＲＧＢの各原色のいずれかの波長と近接しない場合は、輝度値から画素値に変換すればよい。例えば、入射光波長が「５８０ｎｍ」で輝度値が１００であった場合５８０ｎｍは原色Ｒ及び原色Ｇの中間の波長であるので、画素値は（Ｒ：Ｇ：Ｂ＝５０：５０：０）とすることができる。このようにして画像データ生成部４は全ての画素１１についてその画素値を算出する。画像データ生成部４は、生成した各画素１１の画素値をその座標と関連付けて画像データを生成し、画像生成部５に出力する。

以下、必要に応じて、画像生成部５は、画像データから所定の画像形式で画像を生成し、画像記憶部６に出力する。画像記憶部６はこの画像を記憶当し、あるいは外部に送信する。

以上のようにして、画像処理装置１は、撮像対象物の画像を撮像する。

［本実施形態による効果］
本実施系形態に係る画像処理装置１の効果について説明する。
図８は比較例に係る画像処理装置によって生成されたサンプル画像、図９は本実施形態に係る画像処理装置１によって生成されたサンプル画像である。図８及び図９に示すサンプル画像は共に同一の、単色の色調を有する撮像対象物を同条件で撮像したものである。しかし、図８に示す比較例では、本実施形態に係る画像処理装置１の出力信号増幅部３に相当する構成がなく、即ち、各画素の出力を増幅することなく画像データを生成したものである。なお、図８及び図９に示すサンプルの入射光波長は共に６００ｎｍ（赤色領域）である。

図８と図９を比較すると、図９に示す本実施形態に係るサンプル画像の方が線状の構造が明瞭であり、図８に示す比較例に係るサンプル画像よりも解像度が高いことがわかる。これは、比較例では、緑色画素と青色画素の出力信号が小さく、これらの画素の情報は有効に利用されないのに対し、本実施形態では、これらの画素の出力信号も増幅され、画素値の決定に有効に利用されているためである。以上のように、本実施形態では、入射光波長と異なる波長に対応する画素の出力信号を、入射光波長に応じて増幅することにより有効に利用し、生成する画像の解像度を向上させることが可能である。

本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。

上記実施形態では、出力信号増幅部によって増幅されるカラーフィルタの波長域は、可視光領域であるものとしたがこれに限られない。例えば、紫外領域あるいは赤外領域とすることも可能である。

１…画像処理装置
３…出力信号増幅部
４…画像生成部
７…入射光波長取得部
８…分光感度供給部
９…画素群
１１…画素
１３…カラーフィルタ
１３Ｒ…赤色フィルタ
１３Ｇ…緑色フィルタ
１３Ｂ…青色フィルタ

Claims (6)

1. 第１の特性を有する第１のカラーフィルタを透過した光を光電変換して第１の出力信号として出力する第１の画素と、前記第１の特性と異なる第２の特性を有する第２のカラーフィルタを透過した光を光電変換して第２の出力信号として出力する第２の画素と、前記第１の特性及び前記第２の特性と異なる第３の特性を有する第３のカラーフィルタを透過した光を光電変換して第３の出力信号として出力する第３の画素とを有する画素群に接続され、前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号を取得する出力信号取得部と、
   前記画素群に入射した入射光の波長に対する、前記第１の出力信号の分光感度である第１の分光感度、前記第２の出力信号の分光感度である第２の分光感度及び前記第３の出力信号の分光感度である第３の分光感度をそれぞれ決定する分光感度決定部と、
   前記第１の分光感度、前記第２の分光感度及び前記第３の分光感度に基づいて、前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号をそれぞれ増幅する出力信号増幅部と、
   前記出力信号増幅部によって増幅された前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号から、前記第１の画素、前記第２の画素及び前記第３の画素のそれぞれの画素値を算出し、画像を生成する画像生成部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   入射光の波長を取得する入射光波長取得部をさらに有し、
   前記分光感度決定部は、入射光の波長と前記第１の分光感度、前記第２の分光感度及び前記第３の分光感度との相関が予め登録された分光感度テーブルを有し、前記分光感度テーブルから、前記入射光波長取得部によって取得された入射光の波長に対応した、前記第１の分光感度、前記第２の分光感度及び前記第３の分光感度を選択する
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記出力信号増幅部は、前記第１の分光感度、前記第２の分光感度及び前記第３の分光感度のそれぞれの逆数を増幅率として、前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号のそれぞれ増幅する
   画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記画像生成部は、前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号の強度を、前記入射光波長取得部によって取得された入射光の波長を有する色の輝度値とする
   画像処理装置。
5. 第１の特性を有する第１のカラーフィルタを透過した光を光電変換して第１の出力信号として出力する第１の画素と、前記第１の特性と異なる第２の特性を有する第２のカラーフィルタを透過した光を光電変換して第２の出力信号として出力する第２の画素と、前記第１の特性及び前記第２の特性と異なる第３の特性を有する第３のカラーフィルタを透過した光を光電変換して第３の出力信号として出力する第３の画素とを有する画素群に接続された出力信号取得部が、前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号を取得し、
   分光感度決定部が、前記画素群に入射した入射光の波長に対する、前記第１の出力信号の分光感度である第１の分光感度、前記第２の出力信号の分光感度である第２の分光感度及び前記第３の出力信号の分光感度である第３の分光感度をそれぞれ決定し、
   出力信号増幅部が、前記第１の分光感度、前記第２の分光感度及び前記第３の分光感度に基づいて、前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号をそれぞれ増幅し、
   画像生成部が、前記出力信号増幅部によって増幅された前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号から前記第１の画素、前記第２の画素及び前記第３の画素のそれぞれの画素値を算出し、画像を生成する
   画像処理方法。
6. 第１の特性を有する第１のカラーフィルタを透過した光を光電変換して第１の出力信号として出力する第１の画素と、前記第１の特性と異なる第２の特性を有する第２のカラーフィルタを透過した光を光電変換して第２の出力信号として出力する第２の画素と、前記第１の特性及び前記第２の特性と異なる第３の特性を有する第３のカラーフィルタを透過した光を光電変換して第３の出力信号として出力する第３の画素とを有する画素群に接続され、前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号を取得する出力信号取得部と、
   前記画素群に入射した入射光の波長に対する、前記第１の出力信号の分光感度である第１の分光感度、前記第２の出力信号の分光感度である第２の分光感度及び前記第３の出力信号の分光感度である第３の分光感度をそれぞれ決定する分光感度決定部と、
   前記第１の分光感度、前記第２の分光感度及び前記第３の分光感度に基づいて、前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号をそれぞれ増幅する出力信号増幅部と、
   前記出力信号増幅部によって増幅された前記第１の出力信号、前記第２の出力信号及び前記第３の出力信号から、前記第１の画素、前記第２の画素及び前記第３の画素のそれぞれの画素値を算出し、画像を生成する画像生成部と
   としてコンピュータを機能させる画像処理プログラム。