JP2016012746A - 信号処理装置、信号処理方法及び信号処理プログラム - Google Patents

Abstract

【課題】可視光と赤外光を用いて撮影された画像に対し、より正確な色再現を行う。【解決手段】まず複数の補色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから、色差順次方式により出力される複数の画素信号を取得する。そして、この複数の画素信号に対し、該複数の画素信号を用いて色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定する。その後、そのパラメータを用いて、複数の画素信号を加算処理して得られる輝度信号と、複数の画素信号間の減算処理によって得られる色差信号とを算出する。【選択図】図５

Description

本開示は、赤外光照射に基づく夜間撮影を行う監視カメラや民生用カムコーダなどの撮像装置に適用して好適な信号処理装置、信号処理方法及び信号処理プログラムに関する。

監視カメラでは、一般に、日中に撮影するためのデイモードと夜間に撮影を行うためのナイトモードの２つの機能を備えている。デイモードは通常のカラーによる撮影機能であるが、ナイトモードでは、夜間の暗い環境での撮影を行うために、赤外光（赤外線）を投光して、その反射光を撮影する。これにより、可視光が全く無い環境においても、鮮明な画像（以下、赤外画像と称す）を取得することが可能となる。

しかしながら、赤外光による撮影では、可視光の撮影と異なり、色情報を取得することができないので、通常、赤外光の明るさに対応して、灰色もしくは緑色のモノクロで表示装置に画像を表示するのが一般的である。

一方、監視カメラの用途としては、監視エリアでの不審人物、不審物を監視する必要があり、それらを特定するために、人物の服の色、車などの色情報は極めて重要である。しかしながら、夜間などの暗時に通常のカラーモードで撮影すると、ノイズと被写体の信号強度が同レベルとなり、これらを判別することは困難となる。

これらの問題の解決策として、上記のような赤外光照射によるナイトモードが用いられるが、赤外光照射により得られる画像では日中と同様に鮮明な画像が得られるものの、被写体の色が判別できないモノクロ画像となってしまう。

また、監視カメラ以外の用途としても、デジタルビデオカメラやカムコーダなどにおいて、赤外光の照射により暗時の撮影を行う機能が備わっているものがあり、これらにおいても、自然な画像を得るために赤外画像に色をつけたいという要望がある。

以上のような問題に対して、環境による可視光の全くない状況においても、赤外画像に色を付加できる手法として、例えば特許文献１に開示されているものがある。この手法は、被写体に投光する赤外光として、波長の異なる３種の赤外光を用い、これらの赤外光の物質（樹脂）による反射特性と可視光の反射特性の違い（相関）から、被写体の色を推定するものである。しかしながら、このような手法では、複数の光源とそれらの分光システムを利用するなどによりコストが高くなる傾向があり、また、色推定の精度も十分とは言えない。

一方、環境に残る僅かな可視光を利用する場合は、既存のカメラシステムを用い、信号処理の方式を工夫することにより、ある程度の色再現が可能となる。このような手法の一例として、デジタルビデオカメラにおいて、暗時の赤外光投光による撮影画像（ナイトショット）で、自然な色を再現する手法が提案されている（例えば、特許文献２を参照）。これは、カメラシステムがナイトモードに入ったことを検知すると、ホワイトバランス調整に使用されるパラメータテーブルを、通常のカラー撮像モードとは異なるものを用いる。それにより、可視光と赤外光が混合している状態でも適切な色再現を行おうというものである。

特開２０１１−５００４９号公報 特開２００５−１３０３１７号公報

しかしながら、このような手法では、可視光と赤外光の成分を含む混合信号に対して、通常のカラー信号処理と同様な処理がなされるため、赤外信号成分による色ずれ、画面全体の色付きなどが発生し、正確な色再現が難しい。また、さまざまな光源下でのロバスト性（環境の変化に対する耐性）の点からも良いとは言えない。

以上の状況から、可視光と赤外光を用いて撮影された画像に対し、より正確な色再現を行う手法が要望されていた。

本開示の一側面では、まず複数の補色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから、色差順次方式により出力される複数の画素信号を取得する。そして、この複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定する。その後、そのパラメータが適用された計算式を用いて、複数の画素信号を加算処理して得られる輝度信号と、複数の画素信号間の減算処理によって得られる色差信号とを算出する。

また本開示の他の側面では、まず複数の原色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから出力される複数の画素信号を取得する。そして、この複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定する。その後、そのパラメータが適用された計算式を用いて、複数の画素信号を、該複数の画素信号を加算処理して得られる輝度信号と、複数の画素信号間の減算処理によって得られる色差信号に変換する。

本開示の一側面及び他の側面によれば、イメージセンサから出力される複数の画素信号から色差信号を算出する計算式において、所定の赤外波長に該当する項が消去されるパラメータを設定する。当該計算式を用いることにより、色差信号から目的の赤外波長に該当する信号成分を排除することができる。

本開示の少なくとも一つの実施形態によれば、可視光と赤外光を用いて撮影された画像に対し、色の飽和度の向上と色相の再現精度を上げることが可能となり、より正確な色再現を行うことができる。

従来の補色フィルタを搭載するイメージセンサを用いた撮像装置の構成例を示す機能ブロック図である。 イメージセンサに搭載される補色フィルタの説明図である。 ナイトモード撮影の説明図である。図３Ａはナイトモード撮影で利用される光の波長を示す図であり、図３ＢはＩＲカットフィルタの分光透過特性を示す図である。 補色フィルタを搭載するイメージセンサの分光感度特性の一例を示す図である。 本開示の第１の実施形態に係る撮像装置の構成例を示すブロック図である。 従来の原色フィルタを搭載するイメージセンサを用いた撮像装置の構成例を示す機能ブロック図である。 本開示の第２の実施形態に係る撮像装置の構成例を示すブロック図である。 原色フィルタを搭載するイメージセンサの分光感度特性の一例を示す図である。 本開示の第３の実施形態に係る撮像装置の構成例を示すブロック図である。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本開示の技術を実施するための形態（以下、実施形態という）の例について説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。説明は以下の順序で行う。
１．導入説明
２．第１の実施形態（信号処理部：補色フィルタ搭載のイメージセンサに適用した例）
３．第２の実施形態（信号処理部：原色フィルタ搭載のイメージセンサに適用した例）
４．第３の実施形態（信号処理部：ノイズ低減部を備えた例）
５．第４の実施形態（環境赤外光のみが存在する場合の例）

＜１．導入説明＞
本開示は、わずかに可視光が残存している環境下において撮影された、ナイトモードによる赤外線照射画像をカラー化する信号処理装置において、さまざまな光源下においても、より正確に色を再現する手法である。

以下、本開示の技術を説明する前に、現行の暗環境下で投光赤外光を用いて撮影された画像に対する、色再現の手法を説明する。ここでは、複数の補色フィルタから構成される色フィルタアレイ（色分離フィルタ）を搭載したイメージセンサを用いた撮像装置を例として、従来の信号処理手順と、その信号処理で可視光と赤外光の成分を含む混合信号を処理したときの問題点を説明する。以下の説明では、複数の補色フィルタを備える色フィルタアレイを、色分離フィルタということもある。

図１は、従来の補色フィルタを搭載するイメージセンサを用いた撮像装置の構成例を示す機能ブロック図である。図２は、補色フィルタの説明図である。
図１に示す撮像装置１００は、前面に補色タイプの色フィルタアレイ１１２が配置されたイメージセンサ１１３を用いた、一般的な監視カメラやデジタルビデオカメラ等のカメラシステムである。図２に示す色フィルタアレイ１１２は、黄（Ｙｅ），シアン（Ｃｙ），マゼンタ（Ｍｇ），緑（Ｇ）の４色の補色フィルタが所定位置に配列されている。

撮像装置１００は、光学レンズ１１１、前面に色フィルタアレイ１１２が配置されたイメージセンサ１１３、欠陥補正・ノイズ除去部１１４、ＹＣ１Ｃ２抽出部１１５、及びＲＧＢ算出部１１６を備える。また撮像装置１００は、ホワイトバランス部１１７、ガンマ補正部１１８、ＹＣｂＣｒ変換部１１９、及びクロマ補正部１２０を備えている。

イメージセンサ１１３は、色フィルタアレイ１１２の補色フィルタを通過した各色成分の光を、対応する各画素の光電変換素子により光電変換して画素信号として出力する。イメージセンサ１１３には、ＣＣＤやＣＭＯＳ等を用いた撮像素子が適用される。一般的に、色フィルタアレイ１１２を搭載するイメージセンサ１１３の信号読み出しは、ＮＴＳＣ方式のインタレース読み出しに対応するために、色差順次方式が採用されている。色差順次方式では、イメージセンサ１１３からの画素データの読み出し時に、垂直方向に隣接する画素を加算して読み出しを行い、インタレースの奇数フィールド、偶数フィールド毎に一行ずらして読み出しを行う。これにより、例えば偶数フィールドの場合、一行ごとに(Mg+Cy),(Ye+G) と (Cy+G),(Mg+Ye)の信号が交互に出力される。

読み出された信号は、図１に示すように、欠陥補正・ノイズ除去部１１４によって欠陥補正、ノイズ除去等の処理がなされた後、ＹＣ１Ｃ２抽出部１１５において、式（１−１）に示す計算式により、輝度信号Ｙ，色差信号Ｃ１，Ｃ２が算出される。色差信号Ｃ１，Ｃ２は、擬似色差信号Ｃｂ，Ｃｒといえる。以下、輝度信号Ｙを“Ｙ”又は“Ｙ信号”と略記することがある。同様に、色差信号Ｃ１を“Ｃ１”又は“Ｃ１信号”、色差信号Ｃ２を“Ｃ２”又は“Ｃ２信号”と略記することがある。

（数１−１）
Y = Mg+Cy+Ye+G
C1 = (Mg+Cy)-(Ye+G) = 2B-G
C2 = (Mg+Ye)-(Cy+G) = 2R-G

ここで、Ｙ信号は４種の補色フィルタに対応する信号の単純加算で変換され、Ｃ１，Ｃ２信号は列方向に隣り合う２種の信号の減算処理により算出される。
原色信号の赤色信号をＲ、緑色信号をＧ、青色信号をＢとし、Mg=R+B, Ye=R+G, Cy=B+Gとすると、C1=2B-G, C2=2R-Gであり、近似的にＹＣｂＣｒ色空間のＣｂ，Ｃｒに対応する。

このＹ，Ｃ１，Ｃ２データは色フィルタアレイ１１２の２×２マトリクス（Ｇ，Ｃｙ，Ｙｅ，Ｍｇ）ごとに算出される。しかし、Ｃ１，Ｃ２データについては、各行毎にどちらか片方しか算出されないので、他方のデータは上下各行のデータ値からの補間などによって求められる。

続いて、上記のＹ，Ｃ１，Ｃ２信号は、ＲＧＢ算出部１１６において、Ｒ，Ｇ，Ｂ信号に変換される（原色分離）。ここで、変換式は式（１−２）に示すものが一般的に使用される。これは、式（１−１）の連立方程式を、Ｒ，Ｇ，Ｂについて解いたものに相当する。

（数１−２）
R = 0.1*Y-0.1*C1+0.4*C2
G = 0.2*Y-0.2*C1-0.2*C2
B = 0.1*Y+0.4*C1-0.1*C2

この計算式において特徴的なのは、Ｙにかかる係数が、ＧとＲ，Ｂの間で２倍の差が生ずることであり、後述するように可視光と赤外光の成分を含む混合信号を処理する場合に問題となる。ＲＧＢ算出部１１６で算出されたＲ，Ｇ，Ｂ信号は、この後、ホワイトバランス部１１７で色補正がなされる。以降、ガンマ補正部１１８、ＹＣｂＣｒ変換部１１９、クロマ補正部１２０等による処理がなされ、最終的に撮像装置１００の外部に出力される。

次に、以上のような従来の撮像装置１００を用いて、可視光と赤外光の成分を含む混合信号を処理した場合の問題点を以下に説明する。

図３は、ナイトモード撮影の説明図である。図３Ａはナイトモード撮影で利用される光の波長を示す図であり、図３ＢはＩＲカットフィルタの分光透過特性を示す図である。

一般的に、監視カメラ等のデイモードでは、６５０ｎｍ付近にカット周波数を持つ赤外カットフィルタ（ＩＲカットフィルタ）を装着することにより、赤外光成分が除去される。しかし、ナイトモードでは、ＩＲカットフィルタが外されるため、可視光と赤外光の成分を含む混合信号がイメージセンサ１１３に受光される。また、赤外光は、環境に存在する残光成分（環境赤外光）とカメラシステムから照射される投光赤外光成分に分けられる（図３Ａ）。

ここで、以降の説明を簡略化するために、環境に存在する赤外成分はゼロとし、可視光と投光赤外光成分の２種がイメージセンサ１１３に受光される場合を想定する。これは、一般的に図３Ｂに示すような、投光赤外光の周辺波長の光を通すバンドを備えたＩＲカットフィルタを用いて実現されるものである。また、色フィルタアレイ１１２の各補色フィルタ（Ｍｇ，Ｙｅ，Ｃｙ，Ｇ）の６５０ｎｍ以下の可視光の信号強度をMg_v, Ye_v, Cy_v, G_vとし、各補色フィルタ（Ｍｇ，Ｙｅ，Ｃｙ，Ｇ）の投光赤外光成分の信号強度をIp_m, Ip_y, Ip_c, Ip_gとする。投光赤外波長は、一般的によく使用される８５０ｎｍの赤外光とする。

以上より、各補色フィルタの画素の信号成分は、Mg=Mg_v+Ip_m, Ye=Ye_v+Ip_y, Cy=Cy_v+Ip_c, G=G_v+Ip_gと表される。これらの信号を、図１に示す手順で処理した場合を考える。まず、ＹＣ１Ｃ２抽出部１１５により上記の信号を式（１−１）にて変換すると、式（１−３）となる。

（数１−３）
Y = (Mg_v+Ye_v+Cy_v+G_v)+(Ip_m+Ip_y+Ip_c+Ip_g)
C1 = (Mg_v+Cy_v)-(Ye_v+G_v)+(Ip_m+Ip_c)-(Ip_y+Ip_g)
C2 = (Mg_v+Ye_v)-(Cy_v-G_v)+(Ip_m+Ip_y)-(Ip_c+Ip_g)

図４は、補色フィルタが配置されたイメージセンサ１１３の分光感度特性の一例を示す図である。横軸は入射光の周波数、縦軸は規格化した分光感度を表している。

投光赤外波長８５０ｎｍにおける分光感度特性に着目した場合、各補色フィルタの感度比は直接、Ip_m、Ip_c、Ip_y、Ip_gの信号強度比に対応するため、分光感度特性より、およそIp_m = 1.02＊Ip_y = 1.18＊Ip_c = 1.20＊Ip_g = Ipと表される。これを用いて式（１−３）のＹ，Ｃ１，Ｃ２を計算すると、以下のようになる。

Y = (Mg_v+Ye_v+Cy_v+G_v)+3.66＊Ip = Y_v + 3.66 ＊ Ip
C1 = (Mg_v+Cy_v)-(Ye_v+G_v) + 0.04＊Ip = C1_v + 0.04 ＊ Ip
C2 = (Mg_v+Ye_v)-(Cy_v+G_v) + 0.3＊Ip = C2_v + 0.3 ＊ Ip
ここで、Y_v, C1_v, C2_vは、Ｙ，Ｃ１，Ｃ２それぞれの可視光による成分を示す。

以上の計算式により、投光赤外光成分（Ip）は、主にＹ成分に重畳されるとともに、Ｃ１，Ｃ２の色信号にも不均等に分配されることとなる。

次に、上記Ｙ，Ｃ１，Ｃ２信号を、ＲＧＢ算出部１１６において式（１−２）を用いて処理すると、
R = Rv + 0.482 ＊Ip
G = Gv + 0.664 ＊Ip
B = Bv + 0.352 ＊Ip
となる。

ここで、Rv,Gv,Bvは可視光のみの成分である。
Rv = 0.4 ＊ (C2_v) + 0.1 ＊ (Y_v - C1_v)
Gv = 0.2 ＊ (Y_v - C1_v - C2_v)
Bv = 0.4 ＊ (C1_v) + 0.1 ＊ (Y_v - C2_v)

以上のように、投光赤外光成分（Ｉｐ）の係数は、Ｒ，Ｇ，Ｂで異なり、最終的にＲ，Ｇ，Ｂに不均等に配分されることになる。上記の計算結果では、Ｒ，Ｂに対してそれぞれ、約１．４倍，約１．９倍の強度の赤外光成分がＧに配分されることになる。

そして、ＲＧＢ算出部１１６で算出されたＲ，Ｇ，Ｂ信号に対し、続いてホワイトバランス部１１７においてホワイトバランス処理が行われる。ここで、処理対象の信号に赤外光信号と可視光信号が混合されている場合は、一般的にグレイワールド（Ｒ＝Ｇ＝Ｂ）に一致するように単純な補正がなされる（例えば、特許文献２参照）。これにより、例えば画素信号が赤外光成分のみであれば、全ての画素でＲ，Ｇ，Ｂの信号強度比は同一であるので全画面がグレイ化され、一方、カラー信号のみの場合は、通常のカラー処理と同様な色の再現が可能となる。

しかしながら、これら赤外光信号のみの場合とカラー信号のみの場合の最適なＲ，Ｇ，Ｂのゲイン値は異なるものであり、赤外光と可視光の成分を含む混合信号の場合は、両方を同時に最適化するゲイン値は得られないこととなる。結果として、およそ、赤外信号と可視光信号の強度比に応じて、それぞれを独立にホワイトバランス処理した場合の収束値（最適値）の中間の値にＲ，Ｇ，Ｂのゲイン値が設定されることとなる。

例えば、可視光に最適化されるホワイトバランスゲインが、R=0.8, G=1.0, B=1.2であるとする。一方、投光赤外光に対するホワイトバランスは、ＲＧＢ算出の計算式（式１−２）による赤外光信号の係数の比率から、R=1.4, G=1.0, B=1.9が最適値である。すると、最終的な補正値（ゲイン値）はこれらの混合信号に対して算出され、両者の輝度がほぼ同等であれば、およそこれらの中間値R=1.1, G=1.0, B=1.55に収束することとなる。これにより、Ｒ，Ｂ信号に着目すると、可視光の最適ゲイン値からそれぞれ３８％（（１．４−１．１）／０．８）、２９％（（１．９−１．５５）／１．２）ずれた値に設定されることとなる。

このような状態であると、本来グレイ化されるべき赤外信号成分に対しては色が付き、可視光信号については、本来の色に対して、ずれた色が再現されることとなる。結局、最終的な画像としては、全体に色が付き、また被写体においては色相がずれた画像となり、画質を悪化させる要因となる。

＜２．第１の実施形態＞
本開示の第１の実施形態は、補色フィルタを搭載するイメージセンサを用いた撮像装置で撮像された画像に対し、赤外光と可視光の成分を含む混合信号に従来の信号処理を施した場合の上記問題点を解消するものである。以下、第１の実施形態に係る色再現手法を実行する信号処理装置として、監視カメラや民生用カムコーダなどの撮像装置に適用した例を説明する。

［撮像装置の構成例］
図５は、本開示の第１の実施形態に係る撮像装置の構成例を示すブロック図である。
図５に例示した撮像装置１は、前面に補色タイプの色フィルタアレイ１２が配置されたイメージセンサ１３を用いた、一般的な監視カメラやデジタルビデオカメラ等のカメラシステムである。

撮像装置１は、光学レンズ１１、前面に色フィルタアレイ１２が配置されたイメージセンサ１３、欠陥補正・ノイズ除去部１４、信号処理部１５、メモリ１５Ｍを備えている。また撮像装置１は、ホワイトバランス部１６、ガンマ補正部１７、ＹＣｂＣｒ変換部１８、及びクロマ補正部１９を備えている。

イメージセンサ１３は、光学レンズ１１から受光した光（可視光及び投光赤外光の）を電気信号に変換する光電変換回路である。一般にＣＣＤやＣＭＯＳ等を用いた撮像素子が用いられる。このイメージセンサ１３の前面には色フィルタアレイ１２が設けられている。色フィルタアレイ１２は、イメージセンサ１３のマトリクス状に配列された各画素の光電変換素子ごとに、例えば、黄（Ｙｅ），シアン（Ｃｙ），マゼンタ（Ｍｇ），緑（Ｇ）の４色の補色フィルタがマトリクス状に配列されている（図２参照）。イメージセンサ１３は、色フィルタアレイ１２の補色フィルタを通過した各色成分の光を、対応する各画素の光電変換素子により光電変換して画素信号として出力する。

イメージセンサ１３内には、画素に対応する複数の光電変換素子が二次元的に配置されており、各画素の光電変換素子は、補色フィルタを通過した各色成分の光を光電変換して画素信号（アナログ信号）として出力する。色フィルタアレイ１２を構成する各補色フィルタの配置位置は、イメージセンサ１３の画素の配置位置と対応している。すなわち、各画素では、Ｙｅ，Ｃｙ，Ｍｇ，Ｇのいずれか１つの色成分を有する画素信号が生成される。

イメージセンサ１３は、例えば、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）のフレームレートで信号を読み出す。イメージセンサ１３から出力された画素信号（画像信号）は、Ａ／Ｄ変換器（不図示）によりアナログ信号からデジタル信号に変換されて欠陥補正・ノイズ除去部１４へ出力される。

欠陥補正・ノイズ除去部１４は、イメージセンサ１３や光学系に起因する画素信号（画像信号）の欠陥及びノイズを補正する。

信号処理部１５は、イメージセンサ１３から色差順次方式により出力される複数の画素信号から輝度信号Ｙと色差信号Ｃ１，Ｃ２を算出し、色差信号Ｃ１，Ｃ２にゲインをかけた後、Ｒ，Ｇ，Ｂの原色信号を算出する。この信号処理部１５は、ＹＣ１Ｃ２算出部２１、Ｃ１Ｃ２ゲイン部２２、ＲＧＢ算出部２３を備えて構成される。

ＹＣ１Ｃ２算出部２１は、色差信号算出部の一例である。ＹＣ１Ｃ２算出部２１は、イメージセンサ１３から色差順次方式により出力される各色に対応する複数の画素信号を取得する。また、ＹＣ１Ｃ２算出部２１は、複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータをメモリ１５Ｍから取得する。そして、そのパラメータが適用された計算式を用いて、複数の画素信号を加算処理して輝度信号Ｙを算出し、また複数の画素信号間の減算処理によって色差信号Ｃ１,Ｃ２を算出する。

上記パラメータは、一例として次のように設定される。まずイメージセンサ１３から出力される各色に対応する複数の画素信号の各々における所定の赤外波長に該当する信号強度の比が、所定の赤外波長における複数の補色フィルタの感度の比と一致するように、各々の信号強度が規格化される。そして、規格化された各々の信号強度に基づいて上記計算式において所定の赤外波長に該当する項が消去される値に設定される。このパラメータの設定方法の詳細は後述する。

Ｃ１Ｃ２ゲイン部２２は、色差信号増幅部の一例である。Ｃ１Ｃ２ゲイン部２２は、ＹＣ１Ｃ２算出部２１により算出された色差信号Ｃ１,Ｃ２を、所定の増幅度で増幅する。

ＲＧＢ算出部２３は、原色信号算出部の一例である。ＲＧＢ算出部２３は、輝度信号Ｙと色差信号Ｃ１,Ｃ２からＲ，Ｇ，Ｂの原色信号（画像信号）を算出する（原色分離）。このとき、各原色信号に含まれる輝度信号Ｙに係る係数を一定として各原色信号を算出する。そして、ＲＧＢ算出部２３は、算出した各原色信号をホワイトバランス部１６へ出力する。

ホワイトバランス部１６は、信号処理部１５のＲＧＢ算出部２３から出力される各原色信号に対して、白い被写体に対してＲＧＢの各色の信号レベルが同じレベルになるようにホワイトバランス調整処理を行う。例えば、全画素から得られる信号を積分し、Ｒ＝Ｇ＝Ｂとなるように補正を行う。

ガンマ補正部１７は、ホワイトバランス部１６から出力された各色の画像信号の値をガンマ曲線に沿って補正する。

ＹＣｂＣｒ変換部１８は、各色の画像信号にマトリックス処理を行い、Ｙ信号とＣｂ,Ｃｒ色差信号に変換し、輝度成分とクロマ成分に分離する。

クロマ補正部１９は、ＹＣｂＣｒ変換部１８から出力されるクロマ成分（Ｃｂ，Ｃｒ）に対して、所定のクロマゲインをかけて色調補正（クロマ補正）を行う。そして、Ｙ信号とクロマ補正を行ったＣｂ，Ｃｂ色差信号を後段へ出力する。

メモリ１５Ｍは、不揮発性の記憶手段である。メモリ１５Ｍは、一例として、イメージセンサ１３から出力される複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを記憶している。

［信号処理部の動作］
（ＹＣ１Ｃ２算出部２１）
以下、信号処理部１５が備える各ブロックの動作を詳細に説明する。
まず、ＹＣ１Ｃ２算出部２１において、Ｙ，Ｃ１，Ｃ２信号を算出するための計算式として、式（２−１）に示すものを用いる。従来の式（１−１）との違いは、第二項の係数として、ｓとｔのパラメータをそれぞれ設定することである。ここで、ｓとｔのパラメータは、式（２−２）に示す波長８５０ｎｍの投光赤外光の信号成分が、色差信号Ｃ１，Ｃ２についてゼロになるように決定される。

（数２−１）
Y = Mg+Cy+Ye+G
C1 = (Mg+Cy)-s*(Ye+G)
C2 = (Mg+Ye)-t*(Cy+G)

（数２−２）
C1 = (Mg_v + Cy_v) - s ＊ (Ye_v + G_v) + (Ip_m + Ip_c) - s ＊ (Ip_y + Ip_g)
C2 = (Mg_v + Ye_v) - t ＊ (Cy_v + G_v) + (Ip_m + Ip_y) - t ＊ (Ip_c + Ip_g)

ここで、式（２−２）において投光赤外光成分である第三項以降がゼロになるために、
s = (Ip_m + Ip_c) / (Ip_y + Ip_g)
t = (Ip_m + Ip_y) / (Ip_c + Ip_g)
とする。

上述したとおり、投光赤外光成分の信号強度Ip_m, Ip_y, Ip_c, Ip_gの比率は補色フィルタの８５０ｎｍの位置の分光感度特性の比と一致するため、結局、パラメータｓ，ｔは分光感度特性より一義的に決定することができる。図４の分光感度特性を例にとると、Ip_m = 1.02＊Ip_y = 1.18＊Ip_c = 1.20＊Ip_g = Ipであり、およそs=1.05, t=1.2である。以上のようにパラメータｓ，ｔの値を設定することにより、色差信号Ｃ１，Ｃ２は、以下の式（２−３）のように表すことできる。

（数２−３）
C1 = (Mg_v + Cy_v) - s ＊ (Ye_v + G_v)
C2 = (Mg_v + Ye_v) - t ＊ (Cy_v + G_v)

式（２−３）より理解されるように、色差信号Ｃ１，Ｃ２から赤外光成分を除去することが可能となる。ここで、Ｃ１，Ｃ２の可視光成分は、パラメータｓ，ｔにより本来の値とはずれが生ずるが、この値は後段のＲＧＢ算出部２３にて色調整がなされる。

実際のパラメータｓ，ｔの算出方法としては、色フィルタアレイ１２を搭載したイメージセンサ１３の分光感度特性から、投光赤外光成分の信号強度Ip_m, Ip_y, Ip_c, Ip_gの比率を読み取って計算する方法がある。また、さらに精度を上げる方法として、撮像装置１（イメージセンサ１３）により、投光赤外光のみの光源で撮影した画像を取得し、画像全体のＹ，Ｃ１，Ｃ２の平均値を算出し、Ｃ１，Ｃ２がゼロになるようにパラメータｓ，ｔを設定すればよい。これは、撮像装置（カメラシステム）のキャリブレーションとして、同一のイメージセンサ１３を搭載する撮像装置の機種毎、または、個々の撮像装置毎に一度行えばよい。

なお、上記のパラメータｓ，ｔの設定は、ＹＣ１Ｃ２算出部２１が実行してもよいし、撮像装置１内のブロック全体を制御するマイクロコンピュータ等の演算処理装置（不図示）が予め行ってもよい。設定したパラメータｓ，ｔのデータは、メモリ１５Ｍに保存され、ＹＣ１Ｃ２算出部２１に適宜読み出される。あるいは、パラメータｓ，ｔのデータを、ＹＣ１Ｃ２算出部２１に格納してもよい。

（Ｃ１Ｃ２ゲイン部２２）
次に、ＹＣ１Ｃ２算出部２１の後段のＣ１Ｃ２ゲイン部２２において、色差信号Ｃ１，Ｃ２は係数ａ（ａ＞０）のゲインがかけられ（式２−４）、信号が増幅される（Ｃ１’，Ｃ２’）。

（数２−４）
C1'= a*C1
C2'= a*C2

（ＲＧＢ算出部２３）
続いて、ＲＧＢ算出部２３において、Ｒ，Ｇ，Ｂ信号が算出される。ここで、ＲＧＢ算出の計算式の一例を、式（２−５）に示す。この計算式の特徴は、式（１−２）と異なり、Ｙの係数が全て同じになるように設定されていることである。この例では、Ｙの係数を１としているが、他の値であってもよい。また、Ｙの係数をメモリ１５Ｍに保存しておき、ＲＧＢ算出部２３が適宜読み出してもよい。

（数２−５）
R = Rv + 3.66 ＊Ip
G = Gv + 3.66 ＊Ip
B = Bv + 3.66 ＊Ip

ここで、Rv,Gv,Bvは以下のとおりである。
Rv = Y_v + 1.0 ＊C2’_v
Gv = Y_v - 0.5 ＊C2’_v - 0.5 ＊ C1’_v
Bv = Y_v + 2.0 ＊C1’_v
ただし、C1’_v, C2’_vは、C1’,C2’それぞれの可視光成分である。

つまり、式（２−５）と従来例の式（１−２）を比較すると、本実施形態は、Ｒ，Ｇ，Ｂに対して、赤外光の成分が均等に割り振られることとなる。その後は、従来例と同様に、ホワイトバランス部１６で色補正がなされる。以降、ガンマ補正部１７、ＹＣｂＣｒ変換部１８、クロマ補正部１９等による処理がなされ、最終的に撮像装置１の外部に出力される。あるいは、上述の処理を施した画像信号を、メモリ１５Ｍもしくは大容量の記憶装置（不図示）に記録してもよい。

以上、第１の実施形態についてまとめると、下記（１）〜（３）に集約される。
（１）ＹＣ１Ｃ２算出部２１における、ｓ，ｔパラメータの設定によるＣ１，Ｃ２信号からの赤外光成分の除去。
（２）Ｃ１Ｃ２ゲイン部２２における、赤外光成分が除去されたＣ１，Ｃ２信号のゲイン調整による可視光と赤外光の強度調整。
（３）ＲＧＢ算出部２３における、Ｙ信号にかかる係数の統一による赤外光成分のＲ，Ｇ，Ｂ信号への均等配分。
これら（１），（２），（３）により、補色フィルタを搭載するイメージセンサを用いた撮像装置で撮像された画像に対し、色再現の精度向上とさまざまな環境下におけるロバスト性の向上を図ることが可能となる。

まず、上記（１）においては、複数の画素信号からＣ１，Ｃ２信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定し、当該計算式を用いてＣ１，Ｃ２信号を算出する。それゆえ、目的の波長の赤外光による信号成分をＣ１，Ｃ２信号から排除することが可能となるため、色の飽和度の向上と色相の再現精度を上げることが可能となる。

また、上記（２）においては、信号処理部１５の後段でホワイトバランス処理を行う場合に有利である。ホワイトバランスのバランスポイントは赤外光と可視光の強度比で重み付けがなされるが、この強度比を、赤外光成分が除去されたＣ１，Ｃ２信号のゲインを変えることにより調整することが可能となる。通常、ナイトモードの撮影では、可視光が弱いことが前提となるため、イメージセンサ１３から出力される信号成分は赤外光成分が支配的となり、赤外光成分に最適なバランスポイントに収束されやすい傾向がある。しかし、可視光成分（Ｃ１，Ｃ２）にゲインをかけることにより、可視光のバランスポイントに近づけることが可能となる。また、このような可視光成分へのゲイン処理は、上記（１）の処理において、Ｃ１，Ｃ２信号から赤外光成分を除去したことにより可能となるものである。

また、上記（３）においては、赤外光成分を含むＹ信号をＲ，Ｇ，Ｂ信号に均等分配することにより、赤外光成分による色相のずれを回避することが可能となる。つまり、後段のホワイトバランス部１６において、従来例と同様に可視光成分と赤外光成分それぞれの最適ゲイン値の中間にバランスポイントが設定されることとなるが、赤外光成分に関しては既にグレイ化（Ｒ＝Ｇ＝Ｂ）に設定されているため、可視光と混合されたときのゲイン値も、両者の最適ゲイン値からのずれを小さく抑えることが可能となる。例えば、従来例の光源を例にとると、可視光の最適ゲイン値がR=0.8, G=1.0, B=1.2であるのに対し、赤外光の最適ゲイン値はR=1.0, G=1.0, B=1.0である。それゆえ、両者の強度がほぼ同等であれば、最終的なゲイン値は、R=0.9, G=1.0, B=1.1となり、赤外光、可視光ともに本来の最適値からのずれは１０％程度である。

また、以上の一連の操作により、可視光と赤外光の成分を含む混合信号に対し、どちらかの信号に偏ってホワイトバランスが最適化されることなく、両者を折衷するバランスポイントへ収束させることが可能となるため、発光スペクトルに偏りのあるようなさまざまな照明条件（可視光）に対するロバスト性も向上させることが可能となる。

なお、上記（１），（２），（３）は必ずしも一連の処理として実行しなくてもよい。例えば、（１）のみの実施であってもよいし、又は、少なくとも（１）を含む組み合わせを実施してもよい。つまり、（１）における、Ｃ１，Ｃ２信号から赤外光成分を除外するという構成が、今回の色再現の精度向上とさまざまな環境下におけるロバスト性の向上への寄与度が高いといえる。例えば、（１）、（１）＋（２）、（１）＋（２）＋（３）、（１）＋（３）の組み合わせが考えられ、上記（１）〜（３）について説明した各効果のうち少なくとも１以上の効果が得られる。

＜３．第２の実施形態＞
第２の実施形態は、第１の実施形態で示した信号処理と同様な手法を、原色フィルタを搭載するイメージセンサを用いた撮像装置に適用したものである。
原色フィルタを用いた色フィルタアレイでは、一般に、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色フィルタをベイヤ方式で配列したものが利用される。ベイヤ配列では、例えば、第１の色成分としてのＧのフィルタが市松状に配置されるとともに、第２又は第３の色成分としてのＲ及びＢのフィルタが、それ以外の位置に一行ごとに交互に配置されている。

図６は、従来の原色フィルタを搭載するイメージセンサを用いた撮像装置の構成例を示す機能ブロック図である。
図６に示す撮像装置１５０は、光学レンズ１１１、前面に原色タイプの色フィルタアレイ１１２Ａが配置されたイメージセンサ１１３、欠陥補正・ノイズ除去部１１４、デモザイク処理部１２１を備えている。また撮像装置１５０は、ホワイトバランス部１１７、ガンマ補正部１１８、ＹＣｂＣｒ変換部１１９、及びクロマ補正部１２０を備えている。

イメージセンサ１１３は、色フィルタアレイ１１２Ａの原色フィルタを通過した各色成分（Ｒ，Ｇ，Ｂ）の光を、対応する各画素の光電変換素子により光電変換して画素信号として出力する。

デモザイク処理部１２１は、欠陥補正・ノイズ除去部１１４から出力される画像信号（モザイク画像）の各画素の画素信号に対して、その画素信号が有さない色成分を推定し、推定した色成分を補間する処理（デモザイク）を行う。イメージセンサ１１３の各画素においては、Ｒ，Ｇ，Ｂのうちの対応する１色のデータしか得られないため、得られない他の色については、周辺の画素の画素信号を用いた演算を行うことによって補間する。

このように、従来の信号処理では、イメージセンサ１１３から読み出されたＲ，Ｇ，Ｂ信号は、欠陥補正等がなされた後、デモザイク処理により、画素毎にＲ，Ｇ，Ｂの信号データが割り振られた後、そのままホワイトバランス処理がなされる。このような処理では、第１の実施形態の補色フィルタを用いた例と同様に、Ｒ，Ｇ，Ｂへの赤外光成分の配分が異なるため、ホワイトバランス処理によるゲインが、可視光、赤外光それぞれの最適ゲイン値からずれやすくなる問題が生ずる。

それに対し、本実施形態では、デモザイク処理後、第１の実施形態と同様に、Ｒ，Ｇ，Ｂ信号からＹ，Ｃ１，Ｃ２信号への変換を行った後、ホワイトバランス処理を行う。

図７は、本開示の第２の実施形態に係る撮像装置の構成例を示すブロック図である。
図７に例示した撮像装置１Ａは、光学レンズ１１、前面に色フィルタアレイ１２Ａが配置されたイメージセンサ１３、欠陥補正・ノイズ除去部１４、デモザイク処理部３１、信号処理部１５Ａ、メモリ１５Ｍを備えている。また撮像装置１は、ホワイトバランス部１６、ガンマ補正部１７、ＹＣｂＣｒ変換部１８、及びクロマ補正部１９を備えている。

色フィルタアレイ１２Ａは、色フィルタアレイ１１２Ａに相当し、例えば原色フィルタがベイヤ状に配列されている。イメージセンサ１３は、色フィルタアレイ１２Ａの原色フィルタを通過した各色成分（Ｒ，Ｇ，Ｂ）の光を、対応する各画素の光電変換素子により光電変換して画素信号として出力する。

デモザイク処理部３１は、欠陥補正・ノイズ除去部１４から出力される画像信号（モザイク画像）の各画素の画素信号に対して、その画素信号が有さない色成分を推定し、推定した色成分を補間する処理（デモザイク）を行う。

信号処理部１５Ａは、デモザイク処理部３１から入力される各色に対応する複数（Ｒ，Ｇ，Ｂ）の画素信号を、輝度信号Ｙと色差信号Ｃ１，Ｃ２に変換し、色差信号Ｃ１，Ｃ２にゲインをかけた後、Ｒ，Ｇ，Ｂの原色信号へ変換する。この信号処理部１５Ａは、ＹＣ１Ｃ２変換部３２、Ｃ１Ｃ２ゲイン部２２、ＲＧＢ変換部３４を備えて構成される。

ＹＣ１Ｃ２変換部３２は、デモザイク処理部３１から入力される各色（Ｒ，Ｇ，Ｂ）に対応する複数の画素信号を、輝度信号Ｙと色差信号Ｃ１，Ｃ２に変換する。

ＲＧＢ変換部３４は、Ｃ１Ｃ２ゲイン部２２によりゲインがかけられた色差信号Ｃ１，Ｃ２を、Ｒ，Ｇ，Ｂの原色信号へ変換する。そして、ＲＧＢ変換部３４は、各原色信号をホワイトバランス部１６へ出力する。

[信号処理部の動作]
（ＹＣ１Ｃ２変換部３２）
以下、信号処理部１５Ａが備える各ブロックの動作を詳細に説明する。
まず、ＹＣ１Ｃ２変換部３２は、デモザイク処理部３１から入力されたＲ，Ｇ，Ｂ信号に対して、式（３−１）に示すように投光赤外光の波長８５０ｎｍの分光感度特性に従い規格化を行う（Ｒ’，Ｇ’，Ｂ’）。図８に、原色フィルタを搭載するイメージセンサの分光感度特性の一例を示す図である。

（数３−１）
R'= u*R
G'= v*G
B'= w*B

そして、規格化された信号Ｒ’，Ｇ’，Ｂ’に対し、例えば式（３−２）に従って輝度信号Ｙと色差信号Ｃ１，Ｃ２を算出する。なお、第１の実施形態に係る式（２−２）では、可視光の信号強度をMg_v, Ye_v, Cy_v, G_vとし、各補色フィルタ（Ｍｇ，Ｙｅ，Ｃｙ，Ｇ）の投光赤外光成分の信号強度をIp_m, Ip_y, Ip_c, Ip_gとして、式の各項を記述していたが、ここでは省略する。

（数３−２）
Y = 0.3*R'+0.6*G'+0.1*B'
C1 = B'-Y
C2 = R'-Y

このとき、第１の実施形態の式（２−３）におけるパラメータｓ，ｔと同様に、式（３−２）に示す色差信号Ｃ１，Ｃ２において、波長８５０ｎｍの投光赤外光の信号成分がゼロになるように、パラメータu，v，wを設定する。これにより、投光赤外光成分Ipは、Ｙ信号のみに集中し、Ｃ１，Ｃ２信号ではキャンセルされることとなる。

そして、続いてＣ１Ｃ２ゲイン部２２において、色差信号Ｃ１，Ｃ２に係数ａ（ａ＞０）のゲインがかけられ（式３−３）、信号が増幅される（Ｃ１’，Ｃ２’）。

（数３−３）
C1'= a*C1
C2'= a*C2

（ＲＧＢ変換部３４）
その後、ＲＧＢ変換部３４において、色差信号Ｃ１，Ｃ２を、Ｒ，Ｇ，Ｂの原色信号へ変換する。ここで変換されるＲ，Ｇ，Ｂ信号には、Ｒ，Ｇ，Ｂ信号のそれぞれに対し、赤外光成分Ｉｐが等分配される（式３−４）。すなわち、第１の実施形態と同様に、（式３−４）におけるＹの係数が全て同じになるように設定される。

（数３−４）
R = Y+1.4*C2'
G = Y-0.3*C2'-0.7*C1'
B = Y+1.7*C1'

その後は、従来例と同様に、ホワイトバランス部１６で色補正がなされる。上記構成により、赤外光成分のホワイトバランスによる最適値を、グレイ化（Ｒ＝Ｇ＝Ｂ）することができる。

上述した第２の実施形態によれば、第１の実施形態と同様に、原色フィルタを搭載するイメージセンサを用いた撮像装置で撮像して取得された、赤外光と可視光の成分を含む混合信号について、色再現の精度向上とさまざまな光源に対するロバスト性を向上させることが可能となる。

なお、上記のパラメータu，v，wの設定は、ＹＣ１Ｃ２変換部３２が実行してもよいし、撮像装置１内のマイクロコンピュータ等の演算処理装置（不図示）が予め行ってもよい。設定したパラメータu，v，wのデータは、メモリ１５Ｍに保存され、ＹＣ１Ｃ２変換部３２に適宜読み出される。あるいは、パラメータu，v，wのデータを、ＹＣ１Ｃ２変換部３２に格納してもよい。

＜４．第３の実施形態＞
第２の実施形態は、第１及び第２の実施形態により算出された色差信号Ｃ１，Ｃ２に対する、後段の処理に関するものである。
従来の信号処理においては、後段の信号処理は、通常のカメラ信号処理と同様に、ガンマ係数、リニアマトリクス係数、アパチャコントロールなどの処理を経て外部に出力される。しかしながら、本来、元の画像は、暗環境のような低照度時の撮影が前提となるので、色ノイズが非常に多い画像である。よって、通常のカメラ信号と同様な処理では、粒状の色ノイズが多い画像が再現されることも考えられる。そこで、本実施形態は、その問題を解決するために、色差信号Ｃ１，Ｃ２に対し、広域のノイズリダクションフィルタを適用する。

図９は、本開示の第３の実施形態に係る撮像装置の構成例を示すブロック図である。
図９に例示した撮像装置１Ｂは、第１の実施形態と同様に、補色フィルタを搭載するイメージセンサを用いた撮像装置である。

撮像装置１Ｂは、光学レンズ１１、前面に色フィルタアレイ１２が配置されたイメージセンサ１３、欠陥補正・ノイズ除去部１４、信号処理部１５Ｂ、メモリ１５Ｍを備えている。また撮像装置１は、ホワイトバランス部１６、ガンマ補正部１７、ＹＣｂＣｒ変換部１８、及びクロマ補正部１９を備えている。

信号処理部１５Ｂは、イメージセンサ１３から色差順次方式により出力される複数の画素信号から輝度信号Ｙと色差信号Ｃ１，Ｃ２を算出し、色差信号Ｃ１，Ｃ２にノイズ低減処理をかけた後、Ｒ，Ｇ，Ｂの原色信号を算出する。信号処理部１５Ｂは、ＹＣ１Ｃ２算出部２１、Ｃ１Ｃ２ゲイン部２２、ＲＧＢ算出部２３、ノイズ低減部４０を備えて構成される。イメージセンサ１３からの信号データ読み出し、Ｙ，Ｃ１，Ｃ２の算出、Ｃ１，Ｃ２ゲインについては、第１の実施形態と同じである。

ノイズ低減部４０は、色差信号Ｃ１，Ｃ２のみに対して、画像縮小及び画像拡大の処理を行い、その過程で広域なノイズ低減処理を実施する。ノイズ低減部４０は、画像縮小部４１、ブロック平均化フィルタ部４２、画像拡大部４３、画素平均化フィルタ部４４を備える。

ノイズ低減部４０では、画像縮小部４１において、Ｃ１Ｃ２ゲイン部２２から入力される色差信号Ｃ１，Ｃ２に対して、例えば１／８の縮小画像を生成する。すなわち、６４画素をブロック化して１つの画素とする。ここで、縮小画像の生成では、元画像の８＊８画素のブロックの単純平均をとって縮小後の画素値としてもよいし、ブロック内で重み付けをした画素値の平均をとって縮小後の画素値としてもよい。

続いて、ブロック平均化フィルタ部４２により、この縮小画像の各画素に対して３＊３の平均化フィルタを適用する。この平均化処理により、縮小後の画像のエッジを目立たなくする。

その後、縮小画像を元の画像サイズに戻すため、画像拡大部４３により、ブロックを分割して画像を拡大する。ここで元の画像サイズへの変換は、縮小画像の画素値をそのまま８＊８画素の画素値に当てはめて１辺が８倍の画像を生成する。

しかしながら、このままでは、８＊８画素単位のブロックによる境界が明瞭になってしまう。そのため、さらに画素平均化フィルタ部４４により、画像拡大部４３が拡大した画像に５＊５画素の平均化フィルタを適用し、境界での画素値の変化をなだらかにする。

このようにして、平均化されたＣ１，Ｃ２信号は、Ｙ信号と同時にＲＧＢ算出部２３に引き渡される。以降の処理は、第１の実施形態と同様である。

上述した第３実施形態の信号処理により、画像の広域に分布する色ノイズを効率的に平均化することができ、色ノイズの少ない画像を生成することが可能である。また、一般的に広域のノイズフィルタは、画像の細部再現を損なうことになるが、本実施形態では、ノイズ低減処理を色差信号Ｃ１，Ｃ２のみについて施しているため、最終的な画像の解像度を損なうことはない。また、広域のノイズフィルタとして、縮小画像を用いることにより、信号処理をハードウェア化したときに、ラインバッファを削減することも可能である。

＜５．第４の実施形態＞
以上説明した第１〜第３の実施形態では、赤外光として投光赤外光成分のみが存在し、環境による赤外光は存在しない場合を説明したが、逆に投光赤外光は存在せず、環境赤外光のみが存在する場合にも適用可能である。

ここで、第１の実施形態の（１）において赤外光成分を完全にＣ１，Ｃ２信号より排除することはできない。しかし、第１の実施形態で示したキャリブレーションの方法により、Ｃ１，Ｃ２信号において目的の赤外光成分が０（ゼロ）により近くなるｓ，ｔパラメータを算出することにより、目的の赤外光の影響を排除することができる。このときのキャリブレーション手法としては、可視光を遮断して撮像装置に赤外光のみを通すフィルタを装着し、環境光の中から赤外光のみを受光するようにする。そして、信号強度の強い赤外光の波長を指定して、その赤外光の影響を排除する。

この手法は、夜間のナイトモードにおいて、赤外光は投光しないけれども、環境赤外光も受光することにより感度を上げる場合に利用可能である。一方、デイモードによる日中の撮影においても、撮像装置にＩＲカットフィルタを装着しないで撮影する場合の色再現を改善する方法として利用可能である。また、図３Ｂに示すようなＩＲカットフィルタを用いた場合、日中の撮影では８５０ｎｍ近辺の環境赤外光が透過してしまうが、そのような場合にも、本実施形態を適用して８５０ｎｍ近辺の赤外光の影響を排除することができる。

なお、本開示は以下のような構成も取ることができる。
（１）
複数の補色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから、色差順次方式により出力される複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータが適用された前記計算式を用いて、前記複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号とを算出する色差信号算出部、を有する
信号処理装置。
（２）
前記パラメータは、前記イメージセンサから出力される複数の画素信号の各々における所定の赤外波長に該当する信号強度の比が、前記所定の赤外波長における前記複数の補色フィルタの感度の比と一致するように、各々の前記信号強度が規格化され、規格化された各々の前記信号強度に基づいて前記計算式において前記所定の赤外波長に該当する項が消去される値に設定される
前記（１）に記載の信号処理装置。
（３）
前記色差信号算出部により算出された前記色差信号を増幅する色差信号増幅部と、を更に備える
前記（１）又は（２）に記載の信号処理装置。
（４）
前記輝度信号と前記色差信号から赤色信号、緑色信号及び青色信号の原色信号を算出する原色信号算出部、を更に備え、
前記原色信号算出部は、各原色信号に含まれる前記輝度信号に係る係数を一定として各原色信号を算出する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記イメージセンサの分光感度特性に基づいて、前記所定の赤外波長における前記複数の補色フィルタの感度の比が得られる
前記（２）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記所定の赤外波長の光源を用いて前記イメージセンサにより撮像された画像から、前記画像全体の色差信号の平均値が算出され、前記色差信号の平均値がゼロになるように前記パラメータが設定される
前記（２）乃至（４）のいずれかに記載の信号処理装置。
（７）
前記所定の赤外波長は、投光された赤外光の波長である
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
複数の原色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから出力される複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータが適用された前記計算式を用いて、前記複数の画素信号を、該複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号に変換する色差信号変換部、を有する
信号処理装置。
（９）
複数の補色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから、色差順次方式により出力される複数の画素信号を取得することと、
前記複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定することと、
その後、前記パラメータが適用された前記計算式を用いて、前記複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号とを算出すること、を含む
信号処理方法。
（１０）
複数の原色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから出力される複数の画素信号を取得することと、
前記複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定することと、
その後、前記パラメータが適用された前記計算式を用いて、前記複数の画素信号を、該複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号に変換すること、を含む
信号処理方法。
（１１）
複数の補色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから、色差順次方式により出力される複数の画素信号を取得する処理と、
前記複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定する処理と、
その後、前記パラメータが適用された前記計算式を用いて、前記複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号とを算出する処理を、
コンピュータに実行させるための信号処理プログラム。
（１２）
複数の原色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから出力される複数の画素信号を取得する処理と、
前記複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定する処理と、
その後、前記パラメータが適用された前記計算式を用いて、前記複数の画素信号を、該複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号に変換する処理を、
コンピュータに実行させるための信号処理プログラム。

なお、以上において説明したように、上述した各実施形態に係る撮像装置は、画像の大局的な構造を抽出する画像処理を行う。このような画像処理により抽出された情報は、画質を向上させる処理などに利用することが可能であるため、画像の大局的な構造を抽出するブロックを実装する装置として、デジタルビデオカメラだけでなく他の装置にも適用することが可能である。例えば、そのような装置として、デジタルスチルカメラなどの撮像装置や、プリンタ、ディスプレイなどの表示装置等が考えられる。さらに、画像を加工したり、編集したりする装置やコンピュータプログラムにも応用することができる。

［コンピュータのハードウェアの構成例］
上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ２０１，ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２，ＲＡＭ２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、ＣＰＵ２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

以上、本開示は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
すなわち、上述した各実施形態の例は、本開示の好適な具体例であるため、技術的に好ましい種々の限定が付されている。しかしながら、本開示の技術範囲は、各説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以上の説明で挙げた使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、また説明に用いた各図における寸法、形状および配置関係も概略的なものである。

１，１Ａ，１Ｂ…撮像装置、 １２…色フィルタアレイ（補色フィルタ）、１２Ａ…色フィルタアレイ（原色フィルタ）、 １３…イメージセンサ、 １５，１５Ａ，１５Ｂ…信号処理部、 １５Ｍ…メモリ、 １６…ホワイトバランス部、 ２１…ＹＣ１Ｃ２算出部（色差信号算出部）、 ２２…Ｃ１Ｃ２ゲイン部（色差信号増幅部）、 ２３…ＲＧＢ算出部（原色信号算出部）、 ３２…ＹＣ１Ｃ２変換部（色差信号変換部）、 ３３…Ｃ１Ｃ２ゲイン部（色差信号増幅部）、 ３４…ＲＧＢ変換部、 ４０…ノイズ低減部、 ４１…画像縮小部、 ４２…ブロック平均化フィルタ部、 ４３…画像拡大部、 ４４…画素平均化フィルタ部

Claims (12)

1. 複数の補色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから、色差順次方式により出力される複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータが適用された前記計算式を用いて、前記複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号とを算出する色差信号算出部、を有する
   信号処理装置。
2. 前記パラメータは、前記イメージセンサから出力される複数の画素信号の各々における所定の赤外波長に該当する信号強度の比が、前記所定の赤外波長における前記複数の補色フィルタの感度の比と一致するように、各々の前記信号強度が規格化され、規格化された各々の前記信号強度に基づいて前記計算式において前記所定の赤外波長に該当する項が消去される値に設定される
   請求項１に記載の信号処理装置。
3. 前記色差信号算出部により算出された前記色差信号を増幅する色差信号増幅部と、を更に備える
   請求項２に記載の信号処理装置。
4. 前記輝度信号と前記色差信号から赤色信号、緑色信号及び青色信号の原色信号を算出する原色信号算出部、を更に備え、
   前記原色信号算出部は、各原色信号に含まれる前記輝度信号に係る係数を一定として各原色信号を算出する
   請求項３に記載の信号処理装置。
5. 前記イメージセンサの分光感度特性に基づいて、前記所定の赤外波長における前記複数の補色フィルタの感度の比が得られる
   請求項２に記載の信号処理装置。
6. 前記所定の赤外波長の光源を用いて前記イメージセンサにより撮像された画像から、前記画像全体の色差信号の平均値が算出され、前記色差信号の平均値がゼロになるように前記パラメータが設定される
   請求項２に記載の信号処理装置。
7. 前記所定の赤外波長は、投光された赤外光の波長である
   請求項１に記載の信号処理装置。
8. 複数の原色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから出力される複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータが適用された前記計算式を用いて、前記複数の画素信号を、該複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号に変換する色差信号変換部、を有する
   信号処理装置。
9. 複数の補色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから、色差順次方式により出力される複数の画素信号を取得することと、
   前記複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定することと、
   その後、前記パラメータが適用された前記計算式を用いて、前記複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号とを算出すること、を含む
   信号処理方法。
10. 複数の原色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから出力される複数の画素信号を取得することと、
    前記複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定することと、
    その後、前記パラメータが適用された前記計算式を用いて、前記複数の画素信号を、該複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号に変換すること、を含む
    信号処理方法。
11. 複数の補色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから、色差順次方式により出力される複数の画素信号を取得する処理と、
    前記複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定する処理と、
    その後、前記パラメータが適用された前記計算式を用いて、前記複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号とを算出する処理を、
    コンピュータに実行させるための信号処理プログラム。
12. 複数の原色フィルタから構成される色フィルタアレイを通過した光が入射されたイメージセンサから出力される複数の画素信号を取得する処理と、
    前記複数の画素信号に対し、該複数の画素信号から色差信号を算出する計算式において所定の赤外波長に該当する項が消去されるパラメータを設定する処理と、
    その後、前記パラメータが適用された前記計算式を用いて、前記複数の画素信号を、該複数の画素信号を加算処理して得られる輝度信号と、前記複数の画素信号間の減算処理によって得られる色差信号に変換する処理を、
    コンピュータに実行させるための信号処理プログラム。