JP2012124760A

JP2012124760A - イメージセンサ用係数算出装置、及びイメージセンサ用係数算出方法

Info

Publication number: JP2012124760A
Application number: JP2010274677A
Authority: JP
Inventors: Yoshio Wada; 善生和田
Original assignee: Samsung Techwin Co Ltd
Current assignee: Hanwha Techwin Co Ltd
Priority date: 2010-12-09
Filing date: 2010-12-09
Publication date: 2012-06-28
Anticipated expiration: 2030-12-09
Also published as: KR101247321B1; JP5538199B2; KR20120064614A

Abstract

【課題】可視光と赤外光とを分離するための係数を自動算出すること。
【解決手段】受光した可視光及び赤外光を光電変換して第１の信号を出力する第１の素子と、受光した赤外光を光電変換して第２の信号を出力する第２の素子と、を有するイメージセンサから、前記第１及び第２の信号の振幅値を取得する振幅値取得部と、前記第１の素子により出力される第１の信号の振幅値から、前記第２の素子により出力される第２の信号の振幅値に第１の係数をかけて得られる振幅値を差し引いて、前記第１の信号に含まれる可視光の成分を抽出する信号分離部と、前記第１及び第２の信号の振幅値に基づいて前記第１の係数を算出する係数算出部と、を備える、イメージセンサ用係数算出装置が提供される。
【選択図】図１

Description

本発明は、イメージセンサ用係数算出装置、及びイメージセンサ用係数算出方法に関する。

可視光と赤外光とを共通の光ダイオードで検出するイメージセンサが知られている（下記の特許文献１を参照）。このイメージセンサにおいて、光ダイオードから出力される信号には、可視光の成分と赤外光の成分とが含まれている。そのため、このイメージセンサは、光ダイオードから出力された信号を可視光の成分と赤外光の成分とに分離する信号分離手段を備えている。この信号分離手段は、次のようにして可視光の成分と赤外光の成分とを分離する。

いま、赤色の成分をＲ、緑色の成分をＧ、青色の成分をＢと表現する。また、赤色の光ダイオードにより出力される信号が含む赤外光の成分をＩＲ１、緑色の光ダイオードにより出力される信号が含む赤外光の成分をＩＲ２、青色の光ダイオードにより出力される信号が含む赤外光の成分をＩＲ３と表現する。さらに、赤外光用の光ダイオードによる出力をＩＲ４と表現する。これらの表現を用いると、赤色の光ダイオードによる出力は、Ｒ＋ＩＲ１と表現される。また、緑色の光ダイオードによる出力は、Ｇ＋ＩＲ２と表現される。そして、青色の光ダイオードによる出力は、Ｂ＋ＩＲ３と表現される。

上記の信号分離手段は、ＩＲ１≒ＫＲ＊ＩＲ４、ＩＲ２≒ＫＧ＊ＩＲ４、ＩＲ３≒ＫＢ＊ＩＲ４となる係数ＫＲ、ＫＧ、ＫＢを保持しており、この係数ＫＲ、ＫＧ、ＫＢを利用して出力Ｒ、Ｇ、Ｂを算出している。具体的には、上記の信号分離手段は、赤色の光ダイオードによる出力からＫＲ＊ＩＲ４を差し引き、緑色の光ダイオードによる出力からＫＧ＊ＩＲ４を差し引き、青色の光ダイオードによる出力からＫＢ＊ＩＲ４を差し引くことにより、可視光の成分Ｒ、Ｇ、Ｂを算出している。

特開２００７−７４６３５号公報

しかし、上記のイメージセンサにおいて、係数ＫＲ、ＫＧ、ＫＢは、経験に基づいて予め手動で設定されていた。そのため、環境が変化した場合に適応的に係数を変更することができなかった。そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、可視光と赤外光とを受光して光電変換することが可能な素子より出力された信号から可視光の成分と赤外光の成分とを分離するために用いる係数を自動的に算出することが可能な、新規かつ改良されたイメージセンサ用係数算出装置、及びイメージセンサ用係数算出方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、受光した可視光及び赤外光を光電変換して第１の信号を出力する第１の素子と、受光した赤外光を光電変換して第２の信号を出力する第２の素子と、前記第１の素子により出力される第１の信号の振幅値から、前記第２の素子により出力される第２の信号の振幅値に第１の係数をかけて得られる振幅値を差し引いて、前記第１の信号に含まれる可視光の成分を抽出する信号分離部と、を有するイメージセンサにおいて用いる係数を算出するイメージセンサ用係数算出装置であって、前記可視光の輝度成分の振幅値が前記第１の信号の振幅値に第２の係数をかけて得られるとし、前記可視光の輝度成分の振幅値と、前記第２の信号の振幅値に第３の係数をかけて得られる振幅値との二乗誤差が最小となるような前記第１〜第３の係数を算出する係数算出部を備える、イメージセンサ用係数算出装置が提供される。

かかる構成により、可視光と赤外光とを受光したイメージセンサにより出力される信号から、可視光の成分と赤外光の成分とを分離するための係数を自動算出することが可能になる。また、環境（例えば、昼夜、天候など）が変化した場合にも容易に係数を再計算することができるため、環境に応じた最適な係数をイメージセンサに提供することにより、イメージセンサの性能を向上させることが可能になる。その結果、イメージセンサにより出力される信号から現像される画像の画質を向上させることが可能になる。

また、上記のイメージセンサ用係数算出装置は、前記係数算出部により算出された第１〜第３の係数をそれぞれローパスフィルタ、有限インパルス応答フィルタ、又は無限インパルス応答フィルタにより処理するフィルタ処理部をさらに備えていてもよい。かかる構成により、イメージセンサにより出力される信号の瞬時の変動に応じて生じるリンギングのような現象を排除することが可能になる。

また、前記係数算出部は、前記可視光の輝度成分の振幅値が所定の変化量を超えて変化する度に前記第１〜第３の係数を計算するように構成されていてもよい。当該係数は時間的にゆっくりと変化するものと考えられる。そのため、ある程度時間を空けて係数の計算を実行しても、十分にイメージセンサの性能を向上させることができると考えられる。また、係数の計算頻度を下げることにより、消費電力を低減させることが可能になる。係数の変化が大きくなるのは、可視光の輝度成分が大きく変化した場合であると考えられる。そのため、可視光の輝度成分の変化を監視し、その変化量が大きい場合に係数を再計算するように構成することで省電力化に寄与する。

また、前記係数算出部は、所定の周期で前記第１〜第３の係数を計算するように構成されていてもよい。当該係数は時間的にゆっくりと変化するものと考えられる。そのため、ある程度時間を空けて係数の計算を実行しても、十分にイメージセンサの性能を向上させることができると考えられる。また、係数の計算頻度を下げることにより、消費電力を低減させることが可能になる。

また、上記課題を解決するために、本発明の別の観点によれば、受光した可視光及び赤外光を光電変換して第１の信号を出力する第１の素子と、受光した赤外光を光電変換して第２の信号を出力する第２の素子と、前記第１の素子により出力される第１の信号の振幅値から、前記第２の素子により出力される第２の信号の振幅値に第１の係数をかけて得られる振幅値を差し引いて、前記第１の信号に含まれる可視光の成分を抽出する信号分離部と、を有するイメージセンサにおいて用いる係数を算出するイメージセンサ用係数算出方法であって、前記可視光の輝度成分の振幅値が前記第１の信号の振幅値に第２の係数をかけて得られるとし、前記可視光の輝度成分の振幅値と、前記第２の信号の振幅値に第３の係数をかけて得られる振幅値との二乗誤差が最小となるような前記第１〜第３の係数を算出する係数算出工程を含む、イメージセンサ用係数算出方法が提供される。

かかる構成により、可視光と赤外光とを受光したイメージセンサにより出力される信号から、可視光の成分と赤外光の成分とを分離するための係数を自動算出することが可能になる。また、環境が変化した場合にも容易に係数を再計算することができるため、環境に応じた最適な係数をイメージセンサに提供することにより、イメージセンサの性能を向上させることが可能になる。その結果、イメージセンサにより出力される信号から現像される画像の画質を向上させることが可能になる。

また、上記のイメージセンサ用係数算出方法は、前記係数算出工程で算出された第１〜第３の係数をそれぞれローパスフィルタ、有限インパルス応答フィルタ、又は無限インパルス応答フィルタにより処理するフィルタ処理工程をさらに含んでいてもよい。かかる構成により、イメージセンサにより出力される信号の瞬時の変動に応じて生じるリンギングのような現象を排除することが可能になる。

また、前記係数算出工程では、前記可視光の輝度成分の振幅値が所定の変化量を超えて変化する度に前記第１〜第３の係数が計算されてもよい。当該係数は時間的にゆっくりと変化するものと考えられる。そのため、ある程度時間を空けて係数の計算を実行しても、十分にイメージセンサの性能を向上させることができると考えられる。また、係数の計算頻度を下げることにより、消費電力を低減させることが可能になる。係数の変化が大きくなるのは、可視光の輝度成分が大きく変化した場合であると考えられる。そのため、可視光の輝度成分の変化を監視し、その変化量が大きい場合に係数を再計算するように構成することで省電力化に寄与する。

また、前記係数算出工程では、所定の周期で前記第１〜第３の係数が計算されてもよい。当該係数は時間的にゆっくりと変化するものと考えられる。そのため、ある程度時間を空けて係数の計算を実行しても、十分にイメージセンサの性能を向上させることができると考えられる。また、係数の計算頻度を下げることにより、消費電力を低減させることが可能になる。

また、上記課題を解決するために、本発明の別の観点によれば、上記のイメージセンサ用係数算出装置が有する機能をコンピュータに実現させるためのプログラムが提供される。また、上記課題を解決するために、本発明の別の観点によれば、当該プログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。

以上説明したように本発明によれば、可視光と赤外光とを受光して光電変換することが可能な素子より出力された信号から可視光の成分と赤外光の成分とを分離するために用いる係数を自動的に算出することが可能になる。

本発明の一実施形態に係るイメージセンサ用係数算出装置により算出される係数の特徴について説明するための説明図である。同実施形態において想定するイメージセンサの構成について説明するための説明図である。同実施形態において想定するイメージセンサの構成について説明するための説明図である。同実施形態に係るイメージセンサ用係数算出方法について説明するための説明図である。同実施形態に係るイメージセンサ用係数算出方法について説明するための説明図である。同実施形態の一変形例（変形例１）に係るイメージセンサ用係数算出方法について説明するための説明図である。同実施形態の一変形例（変形例２）に係るイメージセンサ用係数算出方法について説明するための説明図である。同実施形態の一変形例（変形例３）に係るイメージセンサ用係数算出方法について説明するための説明図である。同実施形態に係るイメージセンサ用係数算出装置の機能を実現することが可能なハードウェア構成例について説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜実施形態＞
以下、本発明の一実施形態について説明する。

（イメージセンサの構成）
まず、図１を参照しながら、本実施形態において想定しているイメージセンサの構成について説明する。図１は、本実施形態において想定しているイメージセンサの構成について説明するための説明図である。

図１に示すように、本実施形態において想定しているイメージセンサは、主に、撮像素子１０（Ｉｍａｇｅｒ）と、信号分離手段２０（ＳｕｂｔｒａｃｔｉｎｇＩＲｓｉｇｎａｌｓ）と、により構成される。なお、図１に記載されているイメージセンサ用係数算出装置１００については後段において詳述する。

撮像素子１０は、可視光及び赤外光に感応する複数の光電変換素子と、赤外光に感応する複数の光電変換素子とにより構成されている。また、各ピクセルに相当する撮像素子１０の各ブロックは、４種類の光電変換素子により構成されている。具体的には、図１に示すように、各ブロックは、Ｒ＋ＩＲに感応する第１の光電変換素子、Ｇ＋ＩＲに感応する第２の光電変換素子、Ｂ＋ＩＲに感応する第３の光電変換素子、及びＩＲに感応する第４の光電変換素子により構成されている。但し、赤色光をＲ、緑色光をＧ、青色光をＢ、赤外光をＩＲと表現した。

可視光及び赤外光を含む光を撮像素子１０に照射すると、撮像素子１０は、照射された光の強度に応じた振幅を持つ信号を出力する。このとき、第１の光電変換素子は、赤色光Ｒ及び赤外光ＩＲの強度に応じた振幅を持つ信号を出力する。また、第２の光電変換素子は、緑色光Ｇ及び赤外光ＩＲの強度に応じた振幅を持つ信号を出力する。さらに、第３の光電変換素子は、青色光Ｂ及び赤外光ＩＲの強度に応じた振幅を持つ信号を出力する。そして、第４の光電変換素子は、赤外光ＩＲの強度に応じた振幅を持つ信号を出力する。

但し、赤外光ＩＲに対する第１〜第４の光電変換素子の感度はそれぞれ異なる。そのため、同じ赤外光ＩＲの照射を受けていても、第１〜第４の光電変換素子から出力される信号に含まれる赤外光成分の振幅値は、それぞれ異なる。いま、赤色光Ｒの照射を受けた場合に光電変換素子から出力される信号の振幅値をＲと表現し、緑色光Ｇの照射を受けた場合に光電変換素子から出力される信号の振幅値をＧと表現し、青色光Ｂの照射を受けた場合に光電変換素子から出力される信号の振幅値をＢと表現する。

また、赤外光ＩＲの照射を受けた場合に第１の光電変換素子から出力される信号の振幅値をＩＲ１と表現し、赤外光ＩＲの照射を受けた場合に第２の光電変換素子から出力される信号の振幅値をＩＲ２と表現し、赤外光ＩＲの照射を受けた場合に第３の光電変換素子から出力される信号の振幅値をＩＲ３と表現し、赤外光ＩＲの照射を受けた場合に第４の光電変換素子から出力される信号の振幅値をＩＲ４と表現する。

このように表現すると、第１の光電変換素子から出力される信号の振幅値は、Ｒ＋ＩＲ１と表現される。また、第２の光電変換素子から出力される信号の振幅値は、Ｇ＋ＩＲ２と表現される。さらに、第３の光電変換素子から出力される信号の振幅値は、Ｂ＋ＩＲ３と表現される。そして、第４の光電変換素子から出力される信号の振幅値は、ＩＲ４と表現される。図１に示すように、第１〜第４の光電変換素子から出力された４種類の信号は、信号分離手段２０に入力される。

これら４種類の信号が入力されると、信号分離手段２０は、その振幅値Ｒ＋ＩＲ１、Ｇ＋ＩＲ２、Ｂ＋ＩＲ３、ＩＲ４に基づいて赤色光成分Ｒ、緑色光成分Ｇ、青色光成分Ｂを分離する。従来のイメージセンサにおける信号分離手段は、ＩＲ１≒ＫＲ＊ＩＲ４、ＩＲ２≒ＫＧ＊ＩＲ４、ＩＲ３≒ＫＢ＊ＩＲ４となる係数ＫＲ、ＫＧ、ＫＢを保持しており、この係数ＫＲ、ＫＧ、ＫＢを利用して各色光成分Ｒ、Ｇ、Ｂを算出している。具体的には、Ｒ＋ＩＲ１からＫＲ＊ＩＲ４を差し引き、Ｇ＋ＩＲ２からＫＧ＊ＩＲ４を差し引き、Ｂ＋ＩＲ３からＫＢ＊ＩＲ４を差し引くことによりＲ、Ｇ、Ｂを算出している。

しかし、従来のイメージセンサにおいては係数ＫＲ、ＫＧ、ＫＢが固定値であった。そのため、環境に応じて最適な係数ＫＲ、ＫＧ、ＫＢが変化しても適応することができなかった。また、係数ＫＲ、ＫＧ、ＫＢは経験に基づいて設定されていたため、最適な係数ＫＲ、ＫＧ、ＫＢを決定するのに手間がかかっていた。そこで、本件発明者は、この係数ＫＲ、ＫＧ、ＫＢを自動的に決定する方法を考案した。図１に示したイメージセンサ用係数算出装置１００は、環境に応じた最適な係数ＫＲ、ＫＧ、ＫＢを自動算出する手段である。このイメージセンサ用係数算出装置１００を適用することにより、環境の変化に応じて適応的に係数ＫＲ、ＫＧ、ＫＢを決定することが可能になる。以下、係数ＫＲ、ＫＧ、ＫＢを第１の係数と呼ぶ場合がある。

以上、本実施形態において想定するイメージセンサの構成について説明した。

（イメージセンサ用係数算出方法）
次に、本実施形態に係るイメージセンサ用係数算出装置１００によるイメージセンサ用係数算出方法について説明する。以下では、図２に示すように、第１の光電変換素子から出力される信号の振幅値Ｒ＋ＩＲ１をＲＩ、第２の光電変換素子から出力される信号の振幅値Ｇ＋ＩＲ２をＧＩ、第３の光電変換素子から出力される信号の振幅値Ｂ＋ＩＲ３をＢＩ、第４の光電変換素子から出力される信号の振幅値ＩＲ４をＩＲと表記する。また、赤色光成分をＲＯ、緑色光成分をＧＯ、青色光成分をＢＯと表記する。さらに、撮像素子１０のブロックは図３に示すような構成を有するものとする。

まず、ｎ番目のブロックに注目し、このブロックを構成する光電変換素子から出力される信号の振幅値をそれぞれＲＩ（ｎ）、ＧＩ（ｎ）、ＢＩ（ｎ）、ＩＲ（ｎ）と表現する。また、ＲＩ（ｎ）、ＧＩ（ｎ）、ＢＩ（ｎ）に含まれる各色光成分をＲＯ（ｎ）、ＧＯ（ｎ）、ＢＯ（ｎ）と表現する。ここで第１の係数ＫＲ、ＫＧ、ＫＢを用いると、色光成分ＲＯ（ｎ）、ＧＯ（ｎ）、ＢＯ（ｎ）は、ＲＩ（ｎ）、ＧＩ（ｎ）、ＢＩ（ｎ）、ＩＲ（ｎ）を用いて、下記の式（１）のように表現することができる。また、輝度信号の振幅値Ｙは、新たに導入する第２の係数ｃ１、ｃ２、ｃ３を用いて、下記の式（２）のように表現することができる。

ここで、輝度信号Ｙ（ｎ）が第４の光電変換素子から出力された信号の振幅値ＩＲ（ｎ）に比例すると仮定する。つまり、輝度信号Ｙ（ｎ）が振幅値ＩＲ（ｎ）に第３の係数Ｓをかけたものと等しくなると仮定する。但し、実際にはノイズなどがあるため、Ｙ（ｎ）とＳ＊ＩＲ（ｎ）との間には誤差が生じる。そこで、下記の式（３）に示す誤差関数Ｆを導入し、この誤差関数Ｆが最小となる第１〜第３の係数を算出する。

上記の誤差関数ＦをＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、Ｓのそれぞれで偏微分すると、下記の式（４）が得られる。

また、ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、ＳのそれぞれにＫＲｉ、ＫＧｉ、ＫＢｉ、ｃ１ｉ、ｃ２ｉ、ｃ３ｉ、Ｓｉを代入した場合の偏微分係数を下記の式（５）に示すように、ＤＫＲｉ、ＤＫＧｉ、ＤＫＢｉ、Ｄｃ１ｉ、Ｄｃ２ｉ、Ｄｃ３ｉ、ＤＳｉと表現する。そして、偏微分係数ＤＫＲｉ、ＤＫＧｉ、ＤＫＢｉ、Ｄｃ１ｉ、Ｄｃ２ｉ、Ｄｃ３ｉ、ＤＳｉが示す方向を参照しながら、図４に示すように、ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、Ｓの最小値を探索する。

ここで、図５を参照する。図５は、ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、Ｓの最小値を探索するための具体的な処理の流れを示すフローチャートである。

図５に示すように、イメージセンサ用係数算出装置１００は、まず、ｉ＝０、及び初期値ＫＲ_ｉ、ＫＧ_ｉ、ＫＢ_ｉ、ｃ１_ｉ、ｃ２_ｉ、ｃ３_ｉ、Ｓ_ｉを設定する（Ｓ１０１）。次いで、イメージセンサ用係数算出装置１００は、上記の式（５）に基づいてＤＫＲ_ｉ、ＤＫＧ_ｉ、ＤＫＢ_ｉ、Ｄｃ１_ｉ、Ｄｃ２_ｉ、Ｄｃ３_ｉ、ＤＳ_ｉを計算する（Ｓ１０２）。次いで、イメージセンサ用係数算出装置１００は、Ｆ_ｉ＋１＝Ｆ（Ｓ_ｉ＋１，ＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１）が最小となるＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を探索する（Ｓ１０３）。

例えば、偏微分係数ＤＳｉが負の場合、ＫＲ_ｉ、ＫＧ_ｉ、ＫＢ_ｉ、ｃ１_ｉ、ｃ２_ｉ、ｃ３_ｉ、Ｓ_ｉを固定してＳ_ｉを増加させると誤差関数Ｆが減少する。そのため、この場合にはＳ_ｉをＳ_ｉ＋１＞Ｓ_ｉとなるＳ_ｉ＋１に更新することで誤差関数Ｆ_ｉ＋１を小さくすることができる。同様にして、イメージセンサ用係数算出装置１００は、誤差関数Ｆ_ｉ＋１が小さくなるようにＫＲ_ｉ、ＫＧ_ｉ、ＫＢ_ｉ、ｃ１_ｉ、ｃ２_ｉ、ｃ３_ｉを更新してＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を決定する。

次いで、イメージセンサ用係数算出装置１００は、イメージセンサに適用すべき最適な係数ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、ＳとしてＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力すべきか否かを判定する（Ｓ１０４）。例えば、ΔＦ＝｜Ｆ_ｉ−Ｆ_ｉ＋１｜が所定の閾値を下回った場合、イメージセンサ用係数算出装置１００は、ＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力すべきと判定し、処理をステップＳ１０５に進める。一方、ΔＦ＝｜Ｆ_ｉ−Ｆ_ｉ＋１｜が所定の閾値を上回っている場合、イメージセンサ用係数算出装置１００は、ｉを１増加させ（Ｓ１０６）、処理をステップＳ１０２に進める。

処理をステップＳ１０５に進めた場合、イメージセンサ用係数算出装置１００は、イメージセンサに適用すべき最適な係数ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、ＳとしてＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力し（Ｓ１０５）、一連の処理を終了する。ここで出力された係数のうち、第１の係数ＫＲ、ＫＧ、ＫＢは、図１に示すように信号分離手段２０に入力される。

以上、本実施形態に係るイメージセンサ用係数算出装置１００によるイメージセンサ用係数算出方法について説明した。上記の構成により、可視光と赤外光とを受光したイメージセンサにより出力される信号から、可視光の成分と赤外光の成分とを分離するための係数を自動算出することが可能になる。また、環境が変化した場合にも容易に係数を再計算することができるため、環境に応じた最適な係数をイメージセンサに提供することにより、イメージセンサの性能を向上させることが可能になる。その結果、イメージセンサにより出力される信号から現像される画像の画質を向上させることが可能になる。

＜変形例１＞
次に、図６を参照しながら、本実施形態の一変形例（変形例１）に係るイメージセンサ用係数算出方法について説明する。図６は、本実施形態の一変形例（変形例１）に係るイメージセンサ用係数算出方法について説明するための説明図である。

図６に示すように、イメージセンサ用係数算出装置１００は、まず、ｉ＝０、及び初期値ＫＲ_ｉ、ＫＧ_ｉ、ＫＢ_ｉ、ｃ１_ｉ、ｃ２_ｉ、ｃ３_ｉ、Ｓ_ｉを設定する（Ｓ１１１）。次いで、イメージセンサ用係数算出装置１００は、上記の式（５）に基づいてＤＫＲｉ、ＤＫＧ_ｉ、ＤＫＢ_ｉ、Ｄｃ１_ｉ、Ｄｃ２_ｉ、Ｄｃ３_ｉ、ＤＳ_ｉを計算する（Ｓ１１２）。次いで、イメージセンサ用係数算出装置１００は、Ｆ_ｉ＋１＝Ｆ（Ｓ_ｉ＋１，ＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１）が最小となるＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を探索する（Ｓ１１３）。

次いで、イメージセンサ用係数算出装置１００は、イメージセンサに適用すべき最適な係数ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、ＳとしてＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力すべきか否かを判定する（Ｓ１１４）。例えば、ΔＦ＝｜Ｆ_ｉ−Ｆ_ｉ＋１｜が所定の閾値を下回った場合、イメージセンサ用係数算出装置１００は、ＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力すべきと判定し、処理をステップＳ１１５に進める。一方、ΔＦ＝｜Ｆ_ｉ−Ｆ_ｉ＋１｜が所定の閾値を上回っている場合、イメージセンサ用係数算出装置１００は、ｉを１増加させ（Ｓ１１７）、処理をステップＳ１１２に進める。

処理をステップＳ１１５に進めた場合、イメージセンサ用係数算出装置１００は、ＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１をそれぞれ所定のフィルタに通す（Ｓ１１５）。所定のフィルタとしては、例えば、ローパスフィルタ、有限インパルス応答フィルタ、又は無限インパルス応答フィルタなどを利用できる。このように、フィルタを通すことによって、イメージセンサにより出力される信号の瞬時の変動に応じて生じるリンギングのような現象を排除することが可能になる。

次いで、イメージセンサ用係数算出装置１００は、イメージセンサに適用すべき最適な係数ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、ＳとしてＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力し（Ｓ１１６）、一連の処理を終了する。ここで出力された係数のうち、第１の係数ＫＲ、ＫＧ、ＫＢは、図１に示すように信号分離手段２０に入力される。

以上、本実施形態の一変形例（変形例１）に係るイメージセンサ用係数算出方法について説明した。

＜変形例２＞
次に、図７を参照しながら、本実施形態の一変形例（変形例２）に係るイメージセンサ用係数算出方法について説明する。図７は、本実施形態の一変形例（変形例２）に係るイメージセンサ用係数算出方法について説明するための説明図である。

図７に示すように、イメージセンサ用係数算出装置１００は、まず、輝度信号Ｙの変化量が所定値を越えたか否かを判定する（Ｓ１２１）。輝度信号Ｙの変化量が所定値を越えている場合、イメージセンサ用係数算出装置１００は、処理をステップＳ１２２に進める。一方、輝度信号Ｙの変化量が所定値を越えていない場合、イメージセンサ用係数算出装置１００は、輝度信号Ｙの変化量を監視しながら待機する。なお、輝度信号Ｙの変化量は、前回第１〜第３の係数を出力した時点の輝度信号Ｙと、現時点の輝度信号Ｙとの差分絶対値で表現される。

処理をステップＳ１２２に進めた場合、イメージセンサ用係数算出装置１００は、ｉ＝０、及び初期値ＫＲ_ｉ、ＫＧ_ｉ、ＫＢ_ｉ、ｃ１_ｉ、ｃ２_ｉ、ｃ３_ｉ、Ｓ_ｉを設定する（Ｓ１２２）。次いで、イメージセンサ用係数算出装置１００は、上記の式（５）に基づいてＤＫＲ_ｉ、ＤＫＧ_ｉ、ＤＫＢ_ｉ、Ｄｃ１_ｉ、Ｄｃ２_ｉ、Ｄｃ３_ｉ、ＤＳ_ｉを計算する（Ｓ１２３）。次いで、イメージセンサ用係数算出装置１００は、Ｆ_ｉ＋１＝Ｆ（Ｓ_ｉ＋１，ＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１）が最小となるＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を探索する（Ｓ１２４）。

次いで、イメージセンサ用係数算出装置１００は、イメージセンサに適用すべき最適な係数ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、ＳとしてＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力すべきか否かを判定する（Ｓ１２５）。例えば、ΔＦ＝｜Ｆ_ｉ−Ｆ_ｉ＋１｜が所定の閾値を下回った場合、イメージセンサ用係数算出装置１００は、ＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力すべきと判定し、処理をステップＳ１２６に進める。一方、ΔＦ＝｜Ｆ_ｉ−Ｆ_ｉ＋１｜が所定の閾値を上回っている場合、イメージセンサ用係数算出装置１００は、ｉを１増加させ（Ｓ１２７）、処理をステップＳ１２３に進める。

処理をステップＳ１２６に進めた場合、イメージセンサ用係数算出装置１００は、イメージセンサに適用すべき最適な係数ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、ＳとしてＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力し（Ｓ１２６）、一連の処理を終了する。ここで出力された係数のうち、第１の係数ＫＲ、ＫＧ、ＫＢは、図１に示すように信号分離手段２０に入力される。

以上、本実施形態の一変形例（変形例２）に係るイメージセンサ用係数算出方法について説明した。なお、上記の係数は時間的にゆっくりと変化するものと考えられる。そのため、ある程度時間を空けて係数の計算を実行しても、十分にイメージセンサの性能を向上させることができると考えられる。また、係数の計算頻度を下げることにより、消費電力を低減させることが可能になる。係数の変化が大きくなるのは、可視光の輝度成分が大きく変化した場合であると考えられる。そのため、可視光の輝度成分の変化を監視し、その変化量が大きい場合に係数を再計算するように構成することで省電力化に寄与する。

＜変形例３＞
次に、図８を参照しながら、本実施形態の一変形例（変形例３）に係るイメージセンサ用係数算出方法について説明する。図８は、本実施形態の一変形例（変形例３）に係るイメージセンサ用係数算出方法について説明するための説明図である。

図８に示すように、イメージセンサ用係数算出装置１００は、まず、第１〜第３の係数を更新するタイミングが到来したか否かを判定する（Ｓ１３１）。このタイミングは、例えば、所定の時間間隔で到来するように設定される。更新のタイミングが到来した場合、イメージセンサ用係数算出装置１００は、処理をステップＳ１３２に進める。一方、更新のタイミングが到来していない場合、イメージセンサ用係数算出装置１００は、更新のタイミングが到来するまで待機する。

処理をステップＳ１３２に進めた場合、イメージセンサ用係数算出装置１００は、ｉ＝０、及び初期値ＫＲ_ｉ、ＫＧ_ｉ、ＫＢ_ｉ、ｃ１_ｉ、ｃ２_ｉ、ｃ３_ｉ、Ｓ_ｉを設定する（Ｓ１３２）。次いで、イメージセンサ用係数算出装置１００は、上記の式（５）に基づいてＤＫＲ_ｉ、ＤＫＧ_ｉ、ＤＫＢ_ｉ、Ｄｃ１_ｉ、Ｄｃ２_ｉ、Ｄｃ３_ｉ、ＤＳ_ｉを計算する（Ｓ１３３）。次いで、イメージセンサ用係数算出装置１００は、Ｆ_ｉ＋１＝Ｆ（Ｓ_ｉ＋１，ＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１）が最小となるＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を探索する（Ｓ１３４）。

次いで、イメージセンサ用係数算出装置１００は、イメージセンサに適用すべき最適な係数ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、ＳとしてＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力すべきか否かを判定する（Ｓ１３５）。例えば、ΔＦ＝｜Ｆ_ｉ−Ｆ_ｉ＋１｜が所定の閾値を下回った場合、イメージセンサ用係数算出装置１００は、ＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力すべきと判定し、処理をステップＳ１２６に進める。一方、ΔＦ＝｜Ｆ_ｉ−Ｆ_ｉ＋１｜が所定の閾値を上回っている場合、イメージセンサ用係数算出装置１００は、ｉを１増加させ（Ｓ１３７）、処理をステップＳ１３３に進める。

処理をステップＳ１３６に進めた場合、イメージセンサ用係数算出装置１００は、イメージセンサに適用すべき最適な係数ＫＲ、ＫＧ、ＫＢ、ｃ１、ｃ２、ｃ３、ＳとしてＫＲ_ｉ＋１，ＫＧ_ｉ＋１，ＫＢ_ｉ＋１，ｃ１_ｉ＋１，ｃ２_ｉ＋１，ｃ３_ｉ＋１を出力し（Ｓ１３６）、一連の処理を終了する。ここで出力された係数のうち、第１の係数ＫＲ、ＫＧ、ＫＢは、図１に示すように信号分離手段２０に入力される。

以上、本実施形態の一変形例（変形例３）に係るイメージセンサ用係数算出方法について説明した。なお、上記の係数は時間的にゆっくりと変化するものと考えられる。そのため、ある程度時間を空けて係数の計算を実行しても、十分にイメージセンサの性能を向上させることができると考えられる。また、係数の計算頻度を下げることにより、消費電力を低減させることが可能になる。

＜ハードウェア構成＞
上記のイメージセンサ用係数算出装置１００が有する各構成要素の機能は、例えば、図９に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図９に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、ＰｅｒｓｏｎａｌＨａｎｄｙ−ｐｈｏｎｅＳｙｓｔｅｍの略である。また、上記のＰＤＡは、ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔの略である。

図９に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔの略である。また、上記のＲＯＭは、ＲｅａｄＯｎｌｙＭｅｍｏｒｙの略である。そして、上記のＲＡＭは、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、ＣａｔｈｏｄｅＲａｙＴｕｂｅの略である。また、上記のＬＣＤは、ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙの略である。そして、上記のＰＤＰは、ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、ＨａｒｄＤｉｓｋＤｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓの略である。また、上記のＳＣＳＩは、ＳｍａｌｌＣｏｍｐｕｔｅｒＳｙｓｔｅｍＩｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、ＷｉｒｅｌｅｓｓＵＳＢの略である。そして、上記のＡＤＳＬは、ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅの略である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１０撮像素子
２０信号分離手段
１００イメージセンサ用係数算出装置

Claims

受光した可視光及び赤外光を光電変換して第１の信号を出力する第１の素子と、受光した赤外光を光電変換して第２の信号を出力する第２の素子と、前記第１の素子により出力される第１の信号の振幅値から、前記第２の素子により出力される第２の信号の振幅値に第１の係数をかけて得られる振幅値を差し引いて、前記第１の信号に含まれる可視光の成分を抽出する信号分離部と、を有するイメージセンサにおいて用いる係数を算出するイメージセンサ用係数算出装置であって、
前記可視光の輝度成分の振幅値が前記第１の信号の振幅値に第２の係数をかけて得られるとし、前記可視光の輝度成分の振幅値と、前記第２の信号の振幅値に第３の係数をかけて得られる振幅値との二乗誤差が最小となるような前記第１〜第３の係数を算出する係数算出部を備える
ことを特徴とする、イメージセンサ用係数算出装置。
前記係数算出部により算出された第１〜第３の係数をそれぞれローパスフィルタ、有限インパルス応答フィルタ、又は無限インパルス応答フィルタにより処理するフィルタ処理部をさらに備える
ことを特徴とする、請求項１に記載のイメージセンサ用係数算出装置。
前記係数算出部は、前記可視光の輝度成分の振幅値が所定の変化量を超えて変化する度に前記第１〜第３の係数を計算する
ことを特徴とする、請求項１又は２に記載のイメージセンサ用係数算出装置。
前記係数算出部は、所定の周期で前記第１〜第３の係数を計算する
ことを特徴とする、請求項１又は２に記載のイメージセンサ用係数算出装置。
受光した可視光及び赤外光を光電変換して第１の信号を出力する第１の素子と、受光した赤外光を光電変換して第２の信号を出力する第２の素子と、前記第１の素子により出力される第１の信号の振幅値から、前記第２の素子により出力される第２の信号の振幅値に第１の係数をかけて得られる振幅値を差し引いて、前記第１の信号に含まれる可視光の成分を抽出する信号分離部と、を有するイメージセンサにおいて用いる係数を算出するイメージセンサ用係数算出方法であって、
前記可視光の輝度成分の振幅値が前記第１の信号の振幅値に第２の係数をかけて得られるとし、前記可視光の輝度成分の振幅値と、前記第２の信号の振幅値に第３の係数をかけて得られる振幅値との二乗誤差が最小となるような前記第１〜第３の係数を算出する係数算出工程を含む
ことを特徴とする、イメージセンサ用係数算出方法。
前記係数算出工程で算出された第１〜第３の係数をそれぞれローパスフィルタ、有限インパルス応答フィルタ、又は無限インパルス応答フィルタにより処理するフィルタ処理工程をさらに含む
ことを特徴とする、請求項５に記載のイメージセンサ用係数算出方法。
前記係数算出工程では、前記可視光の輝度成分の振幅値が所定の変化量を超えて変化する度に前記第１〜第３の係数が計算される
ことを特徴とする、請求項５又は６に記載のイメージセンサ用係数算出方法。
前記係数算出工程では、所定の周期で前記第１〜第３の係数が計算される
ことを特徴とする、請求項５又は６に記載のイメージセンサ用係数算出方法。