JP2016025439A - 信号処理装置 - Google Patents

Abstract

【課題】低照度環境下における撮影であっても低ノイズの画像信号を生成する。【解決手段】撮像装置の信号処理装置において、ノイズリダクション部は、非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成する。画像信号生成部は、輝度信号および色差信号を調整することにより輝度信号と色差信号との比率に略等しい比率の調整輝度信号および調整色差信号からなる画像信号を生成し、調整輝度信号または調整色差信号の何れかについては非可視光信号およびノイズが除去された信号群に基づいて生成する。【選択図】図２

Description

本技術は、信号処理装置に関する。詳しくは、カメラ等に使用される撮像装置、撮像装置における信号処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、夜間などの低照度環境下において撮影を行う際には、被写体からの赤外光を検出可能な撮像素子を使用して撮影を行う撮像装置が使用されている。例えば、撮像素子が出力する画像信号のうち可視光成分に基づく可視光信号および赤外光成分に基づく赤外信号を混合して画像信号を生成する。これにより、擬似的なカラー画像を構成するシステムが提案されている（例えば、特許文献１参照。）。

特開２０１２−２４４５３３号公報

低照度環境下における撮影では、可視光信号の信号レベルが低いため、この可視光信号に基づく輝度信号は相対的にノイズ成分が大きな信号となる。これに対して、上述の従来技術では、この輝度信号に赤外信号を混合する際、ノイズ成分の除去を行っていない。そのため、混合により得られた輝度信号には可視光信号に由来するノイズ成分が含まれており、鮮明な画像を得ることができないという問題がある。

本技術はこのような状況に鑑みて生み出されたものであり、低照度環境下における撮影であっても低ノイズの画像信号を生成することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、上記輝度信号および上記色差信号を調整することにより上記輝度信号と上記色差信号との比率に略等しい比率の調整輝度信号および調整色差信号からなる画像信号を生成し、上記調整輝度信号または上記調整色差信号の何れかについては上記非可視光信号および上記ノイズが除去された信号群に基づいて生成する画像信号生成部とを具備する信号処理装置である。これにより、輝度信号と色差信号との比率を保ちながら輝度信号および色差信号が調整され、輝度信号または色差信号の何れか１つについてはノイズを除去された信号群に基づいて調整されるという作用をもたらす。

また、この第１の側面において、上記ノイズリダクション部は、上記非可視光信号および上記輝度信号のノイズを除去して上記信号群を生成し、上記画像信号生成部は、上記非可視光信号と上記ノイズを除去された上記非可視光信号と上記ノイズを除去された上記輝度信号とに基づいて上記調整輝度信号を生成してもよい。これにより、非可視光信号とノイズを除去された非可視光信号とノイズを除去された輝度信号とに基づいて調整輝度信号を生成するという作用をもたらす。

また、この第１の側面において、上記画像信号生成部は、上記色差信号に基づいて上記調整色差信号を生成してもよい。これにより、色差信号に基づいて調整色差信号が生成されるという作用をもたらす。

また、この第１の側面において、上記生成された上記調整輝度信号および上記非可視光信号を所定の混合比率に基づいて混合する混合部をさらに具備してもよい。これにより調整輝度信号および非可視光信号を所定の混合比率に基づいて混合するという作用をもたらす。

また、この第１の側面において、上記混合部は、上記画像信号における所定の選択領域に含まれる上記調整輝度信号と上記非可視光信号とを混合する際には上記混合比率とは異なる混合比率に基づいて混合してもよい。これにより、画像信号における所定の選択領域に含まれる調整輝度信号および非可視光信号は、上記混合比率とは異なる混合比率に基づいて混合されるという作用をもたらす。

また、この第１の側面において、上記ノイズリダクション部は、上記色差信号および上記輝度信号のノイズを除去して上記信号群を生成し、上記画像信号生成部は、上記非可視光信号と上記ノイズを除去された上記色差信号と上記ノイズを除去された上記輝度信号とに基づいて上記調整色差信号を生成してもよい。これにより、非可視光信号とノイズを除去された色差信号とノイズを除去された輝度信号とに基づいて調整色差信号が生成されるという作用をもたらす。

また、この第１の側面において、上記画像信号生成部は、上記非可視光信号に基づいて上記調整輝度信号を生成してもよい。これにより、非可視光信号に基づいて調整輝度信号が生成されるという作用をもたらす。

また、この第１の側面において、上記非可視光信号は、赤外光に対応する赤外信号であってもよい。これにより赤外信号に基づいて輝度信号および色差信号を調整するという作用をもたらす。

また、本技術の第２の側面は、画像信号を出力する画素が２次元に配置された画素面を備える撮像素子と、上記撮像素子から出力された上記画像信号を処理する信号処理装置とを具備し、上記信号処理装置は、上記画像信号に基づいて輝度信号と色差信号と非可視光信号とを生成する画像信号処理部と、上記非可視光信号または上記色差信号の何れかと上記輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、上記輝度信号および上記色差信号を調整して上記輝度信号および上記色差信号の比率と略等しい比率の調整輝度信号および調整色差信号よりなる画像信号を生成し、上記調整輝度信号または上記調整色差信号の何れかについては上記非可視光信号および上記ノイズが除去された信号群に基づいて生成する画像信号生成部とを備える撮像装置である。これにより、輝度信号と色差信号との比率を保ちながら輝度信号および色差信号が調整され、輝度信号または色差信号の何れか１つについてはノイズを除去された信号群に基づいて調整されるという作用をもたらす。

また、本技術の第３の側面は、非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション手順と、上記輝度信号または上記色差信号の何れか１つについては上記ノイズを除去された信号群に基づいて上記輝度信号と上記色差信号との比率を保ちながら上記輝度信号および上記色差信号を調整する調整比率を算出する調整比率算出手順と、上記算出された上記調整比率を用いて上記輝度信号および上記色差信号を調整して調整輝度信号および調整色差信号を生成する画像信号生成手順とを具備する信号処理方法である。これにより、輝度信号と色差信号との比率を保ちながら輝度信号および色差信号が調整され、輝度信号または色差信号の何れか１つについてはノイズを除去された信号群に基づいて調整されるという作用をもたらす。

本技術によれば、低照度環境下における撮影であっても低ノイズの画像信号を生成するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態における撮像装置の構成例を示す図である。 本技術の実施の形態における信号処理装置の構成例を示す図である。 本技術の第１の実施の形態における被写体の例を示す図である。 本技術の第１の実施の形態における調整輝度信号および調整色差信号の生成処理を説明する図である。 本技術の第１の実施の形態における処理部の構成例を示す図である。 本技術の第１の実施の形態における３次元ノイズリダクション処理部の構成例を示す図である。 本技術の第１の実施の形態における撮像素子の画素の配置例を示す図である。 本技術の第１の実施の形態における信号処理手順の一例を示す図である。 本技術の第２の実施の形態における調整輝度信号および調整色差信号の生成処理を説明する図である。 本技術の第２の実施の形態における処理部の構成例を示す図である。 本技術の第３の実施の形態における処理部の構成例を示す図である。 本技術の第３の実施の形態の変形例における選択領域が設定された画面の一例を示す図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ノイズが除去された信号に基づいて輝度信号を調整する例）
２．第２の実施の形態（ノイズが除去された信号に基づいて色差信号を調整する例）
３．第３の実施の形態（調整輝度信号に赤外信号を混合する例）

＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置の構成例を示す図である。同図における撮像装置１０は、レンズ１００と、撮像素子２００と、信号処理装置３００と、制御装置４００と、赤外光照射部５００とを備える。

レンズ１００は、撮像素子２００に対して光学的に被写体を結像するものである。撮像素子２００は、レンズ１００によって結像された光学画像を画像信号に変換し、出力するものである。この撮像素子２００には、光学画像が結像される面において、画像信号を生成する画素が２次元に配置されている。この画素から出力される画像信号には可視光成分に対応する可視光信号および赤外光成分に対応する赤外信号が含まれる。

このような画素を有する撮像素子２００の例としては、赤色光と赤外光に対応する画像信号を出力する画素、緑色光と赤外光に対応する画像信号を出力する画素および青色光と赤外光に対応する画像信号を出力する画素の３種の画素を有する撮像素子が挙げられる。また、これらの画素に赤外光に対応する画像信号を出力する画素を加えた４種の画素を有する撮像素子を使用することもできる。以下、赤色光と赤外光に対応する画像信号、緑色光と赤外光に対応する画像信号、青色光と赤外光に対応する画像信号および赤外光に対応する画像信号をそれぞれＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号と称する。また、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号を出力する画素をそれぞれＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ信号およびＩＲ画素と称する。このように異なる光に対応した画素として構成するために、各画素にはカラーフィルタが備えられている。このカラーフィルタの分光特性を特定の光に対応させて、上述した３種または４種の画素を構成している。

信号処理装置３００は、画像信号を処理するものである。この信号処理装置３００は、画像信号から輝度信号、色差信号およびＩＲ信号を分離生成し、これらの信号を処理する。その後、可視光信号のみを含む画像信号に変換して出力する。制御装置４００は、撮像装置１０の全体を制御するものである。この制御装置４００は、信号処理装置３００が出力した画像信号を撮像装置１０の外部に出力する機能も有する。赤外光照射部５００は、被写体に赤外光を照射するものである。この赤外光照射部５００は、制御装置４００により制御される。

［信号処理装置の構成］
図２は、本技術の実施の形態における信号処理装置の構成例を示す図である。同図における信号処理装置３００は、デモザイク部３１０と、分離部３２０と、ＹＣ変換部３３０と、処理部３４０と、ＲＧＢ変換部３５０とを備える。

デモザイク部３１０は、画像信号に対してデモザイク処理を行うものである。このデモザイク処理は、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ画素およびＩＲ画素に対してそれぞれの画素が有していない他の色についての画像信号を生成する処理である。このデモザイク処理としては公知の方法を使用することができる。例えば、対象とする画素がＲ＋ＩＲ画素であり、デモザイク処理によりＧ＋ＩＲ信号を生成する場合に、当該画素の周囲のＧ＋ＩＲ画素により出力されたＧ＋ＩＲ信号の平均値を算出し、これを当該画素のＧ＋ＩＲ信号とする方法を使用することができる。

分離部３２０は、画像信号をＩＲ信号および可視光信号に分離するものである。この可視光信号には、赤色光に対応する画像信号、緑色光に対応する画像信号および青色光に対応する画像信号が含まれる。以下、これらをそれぞれＲ信号、Ｇ信号およびＢ信号と称する。この分離部３２０における処理は、前述した撮像素子２００の構成に対応した処理を選択する。撮像素子２００がＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ及びＩＲ画素を有する場合には、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ信号からＩＲ画素により出力されたＩＲ信号を減算することによりＲ、ＧおよびＢ信号を分離することができる。撮像素子２００がＩＲ画素を有さない場合には、撮像素子２００のカラーフィルタの分光特性から求められる演算式により、Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲ信号からＲ、Ｇ、ＢおよびＩＲ信号を分離することができる。

ＹＣ変換部３３０は、Ｒ、ＧおよびＢ信号を輝度信号および色差信号に変換するものである。なお、図２におけるＹは輝度信号を表し、ＣｂおよびＣｒは色差信号を表す。ここで、色差信号ＣｂはＢ信号と輝度信号との差分に基づく信号であり、色差信号ＣｒはＲ信号と輝度信号との差分に基づく信号である。ＹＣ変換部３３０における変換は、例えば、下記の変換式により行うことができる。
Ｙ ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
Ｃｒ＝−０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
但し、Ｒ、ＧおよびＢは、それぞれＲ信号、Ｇ信号およびＢ信号を表す。

処理部３４０は、輝度信号、色差信号およびＩＲ信号に基づいて、輝度信号Ｙと色差信号ＣｂおよびＣｒとを調整して調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'とを生成するものである。処理部３４０の動作については後述する。ＲＧＢ変換部３５０は、調整輝度信号および調整色差信号を新たな画像信号（以下、Ｒ'、Ｇ'およびＢ'信号と称する）に変換するものである。このＲＧＢ変換部３５０により変換されたＲ'、Ｇ'およびＢ'信号は制御装置４００を介して撮像装置の外部に出力されモニター等における表示の用に供される。ＲＧＢ変換部３５０における変換は、例えば、下記の変換式により行うことができる。
Ｒ'＝１．０００×Ｙ'＋１．４０２×Ｃｒ'
Ｇ'＝１．０００×Ｙ'−０．３４４×Ｃｂ'−０．７１４×Ｃｒ'
Ｂ'＝１．０００×Ｙ'＋１．７７２×Ｃｂ'
但し、Ｙ'は調整輝度信号を表す。また、Ｃｂ'およびＣｒ'は調整色差信号を表す。また、Ｒ'、Ｇ'およびＢ'は、それぞれ変換後のＲ信号、Ｇ信号およびＢ信号を表す。

［調整輝度信号の生成処理］
図３は、本技術の第１の実施の形態における被写体の例を示す図である。同図は、夜間等の低照度環境下において人物を撮影する場合の例を表している。このような場合、可視光成分に由来する輝度信号および色差信号は信号レベルが低く、相対的にノイズの大きな信号となる。これに対し、赤外信号は人物に係る部分において信号レベルが比較的高くなる。なお、同図におけるＡおよびＡ'で表した線は、画面上の画像信号を特定するための仮想的な線である。Ａは背景部分でありＡ'は人物にかかる部分であるため、ＡからＡ'に移行する途中で、対応する画像信号の信号レベルが急変することとなる。

図４は、本技術の第１の実施の形態における調整輝度信号および調整色差信号の生成処理を説明する図である。なお、同図は、図３に表した被写体を撮影した場合の処理部３４０における処理を説明する図であり、輝度信号Ｙおよび赤外信号ＩＲから調整輝度信号Ｙ'を生成する処理を表している。また、図４には、各部における信号波形も記載している。これらの波形は、図３におけるＡおよびＡ'で表した線上に配置された画像信号により生成された輝度信号または赤外信号の波形に対応している。具体的には、図３におけるＡおよびＡ'で表した線上に位置する各画素が出力した画像信号に対応する輝度信号または赤外信号を線でつないだものである。図４のＡおよびＡ'は図３のＡおよびＡ'の位置における画像信号に対応している

前述したように、図４における輝度信号は相対的に信号レベルが低く、ノイズが大きい波形となる。また、赤外信号は相対的に信号レベルが高く、ノイズが少ない波形となる。これらに対してノイズリダクション処理を行うことによりノイズを除去する。このノイズリダクション処理は、一種のローパスフィルタを用いて信号の高周波成分を減衰させる処理である。なお、同図におけるＹ＿ＮＲおよびＩＲ＿ＮＲは、それぞれノイズリダクション処理後の輝度信号および赤外信号を表したものである。ノイズリダクション処理により、高周波成分であるノイズ成分は減衰して小さくなる。同時に、高周波成分が減衰するため、ノイズ以外の輝度信号成分および赤外信号成分は変化が緩慢な波形になってしまう。これを画像として捉えた場合には、図３における人物の輪郭がぼけた画像に変化する。

次に、Ｙ＿ＮＲをＩＲ＿ＮＲにより除算する。この演算によりＩＲ＿ＮＲに対するＹ＿ＮＲの比率にほぼ等しい値の直流信号に近い波形（不図示）が得られる。信号レベルはＩＲ＿ＮＲよりもＹ＿ＮＲの方が低いため、上述の直流信号は大きさが値「１」より小さな値、例えば、「０．２」程度の値となる。次に、この直流信号とノイズリダクション処理をする前のＩＲ信号とを乗算する。これにより、図４に表したような低ノイズかつ信号成分の急峻な変化を保った調整輝度信号を得ることができる。この調整輝度信号は処理前の輝度信号からノイズ成分のみを減衰させた信号と等価な信号である。このため、調整輝度信号は、ＩＲ信号と比べて信号レベルが低いものとなる。なお、本技術の第１の実施の形態では、色差信号ＣｂおよびＣｒについては上述のような演算は行わずに調整色差信号として出力する。

［処理部の構成］
図５は、本技術の第１の実施の形態における処理部の構成例を示す図である。同図における処理部３４０は、ノイズリダクション部３４１と、画像信号生成部３４９とを備える。ノイズリダクション部３４１は、ＩＲ信号または色差信号（ＣｂおよびＣｒ）の何れか１つと輝度信号Ｙとのノイズを除去し、ノイズが除去された信号群を生成するものである。本技術の第１の実施の形態においては、ノイズリダクション部３４１は、ＩＲ信号および輝度信号Ｙのノイズを除去する。このノイズリダクション部３４１は、ＩＲ信号ノイズリダクション処理部３４２と、輝度信号ノイズリダクション処理部３４３とを備える。ＩＲ信号ノイズリダクション処理部３４２は、ＩＲ信号のノイズを除去してＩＲ＿ＮＲ信号を生成するものである。また、輝度信号ノイズリダクション処理部３４３は、輝度信号のノイズを除去してＹ＿ＮＲ信号を生成するものである。

これらのノイズリダクション処理部として、例えば、一般的なローパスフィルタを使用することができる。また、同一フレームに属する画像信号について演算を行うことによりノイズを除去する２次元ノイズリダクション処理、例えば、平均化を行うノイズリダクション処理を行っても良い。また、連続する複数のフレームに属する画像信号を用いてノイズを除去する３次元ノイズリダクション処理を行ってもよい。この３次元ノイズリダクション処理については、後述する。

このように各種のノイズリダクション処理を使用することができる。しかし、ＩＲ信号ノイズリダクション処理部３４２および輝度信号ノイズリダクション処理部３４３として同じ特性、例えば、カットオフ周波数が同じノイズリダクション処理装置を使用する必要がある。図４において説明したように、除算処理により直流信号を生成するため、ノイズリダクション処理後の信号波形として同様な特性をもった波形とする必要があるためである。なお、色差信号ＣｂおよびＣｒについても、ノイズ除去処理を行ってもよい。しかし、上述した画像の輪郭のぼけを生じないように軽度なノイズ除去処理とする必要がある。

画像信号生成部３４９は、輝度信号Ｙおよび色差信号ＣｂおよびＣｒを調整することにより輝度信号Ｙと色差信号ＣｂおよびＣｒとの比率に略等しい比率の調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'とからなる画像信号を生成するものである。この際、調整輝度信号Ｙ'または調整色差信号Ｃｂ'およびＣｒ'の何れかについてはＩＲ信号および上述したノイズが除去された信号群に基づいて生成する。本技術の第１の実施の形態においては、画像信号生成部３４９は、ＩＲ信号、ＩＲ＿ＮＲ信号及びＹ＿ＮＲ信号から調整輝度信号Ｙ'を生成する。この画像信号生成部３４９における処理は、図４において説明した除算および乗算処理に該当するものである。具体的には、次の式により調整輝度信号Ｙ'を生成する。
Ｙ'＝（Ｙ＿ＮＲ／ＩＲ＿ＮＲ）×ＩＲ
但し、Ｙ＿ＮＲおよびＩＲ＿ＮＲはそれぞれノイズリダクション処理後の輝度信号および赤外信号を表す。また、ＩＲは赤外信号を表す。なお、前述したように、色差信号ＣｂおよびＣｒについては特に処理を行わずに調整色差信号Ｃｂ'およびＣｒ'として出力する。また、調整輝度信号Ｙ'は輝度信号Ｙからノイズ成分のみを減衰させたものと等価である。このため輝度信号Ｙと色差信号Ｃｂ、Ｃｒとの比率および調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'との比率は略等しい値とすることができる。

ここで、調整輝度信号および調整色差信号を生成する際に、調整輝度信号と調整色差信号との比率を輝度信号と色差信号との比率と等しくするための係数を調整比率と表現する。本技術の第１の実施の形態において、この調整比率は、輝度信号については上述の式よりＹ＿ＮＲ／ＩＲ＿ＮＲとなり、色差信号については「１」となる。

［３次元ノイズリダクション処理］
図６は、本技術の第１の実施の形態における３次元ノイズリダクション処理部の構成例を示す図である。同図における３次元ノイズリダクション処理部は、連続する１６フレームの画像信号を画素ごとに加算する。その後、加算した画像信号数である１６で除算し、出力する。これにより、ランダムに発生したノイズ成分を平均化してノイズ除去を行う。３次元ノイズリダクション処理は、２次元ノイズリダクション処理よりも高いノイズ除去能力がある。一方、動きのある画像に対して３次元ノイズリダクション処理を行うと、画像のぼけを生じるという問題がある。しかし、本技術の第１の実施の形態においては、画像信号生成部３４９による演算により、この画像のぼけを補正することができる。

［撮像素子における画素の配置］
図７は、本技術の第１の実施の形態における撮像素子の画素の配置例を示す図である。同図におけるａは、撮像素子２００がＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ及びＩＲ画素を有する場合の例を表したものである。同図に表したように撮像素子２００は、画素２０１が２次元格子状に配置されている。図中の文字は、当該文字が付された画素の種類を表している。例えば、「Ｒ＋ＩＲ」が付された画素はＲ＋ＩＲ画素を表している。同図におけるｂは、同図におけるａの画素のうちＩＲ画素を白色光に対応するＷ画素に置き換えた場合の例を表したものである。また、同図におけるｃは、撮像素子２００がＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ及びＷ＋ＩＲ画素を有する場合の例を表したものである。ここで、Ｗ＋ＩＲ画素は白色光および赤外光に対応する画素である。

［信号処理手順］
図８は、本技術の第１の実施の形態における信号処理手順の一例を示す図である。信号処理装置３００は、入力された画像信号に対してデモザイク処理を行う（ステップＳ９０１）。次に、信号処理装置３００は、デモザイク処理が行われた画像信号をＩＲ信号とＲ、ＧおよびＢ信号とに分離する（ステップＳ９０２）。次に、分離された信号のうちＲ、ＧおよびＢ信号から輝度信号Ｙと色差信号ＣｒおよびＣｂが生成される（ステップＳ９０３）。次に、信号処理装置３００は、ノイズリダクション処理を行う（ステップＳ９０４）。本技術の第１の実施の形態においては、ＩＲ信号および輝度信号Ｙについてノイズリダクション処理が行われる。次に、信号処理装置３００は、調整比率算出処理を行う（ステップＳ９０５）。前述したように、本技術の第１の実施の形態において、この調整比率は、色差信号については「１」であるため、輝度信号に関する調整比率のみが算出される。

信号処理装置３００は、数式Ｙ＿ＮＲ／ＩＲ＿ＮＲに基づいて輝度信号に関する調整比率を算出する。次に、信号処理装置３００は、この調整比率を用いて輝度信号および色差信号を調整して調整輝度信号および調整色差信号を生成する画像信号生成処理を行う（ステップＳ９０６）。具体的には、次の式に基づいて調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'とが生成される。
Ｙ' ＝（Ｙ＿ＮＲ／ＩＲ＿ＮＲ）×ＩＲ
Ｃｂ'＝Ｃｂ
Ｃｒ'＝Ｃｒ
最後に、信号処理装置３００は、調整輝度信号および調整色差信号をＲ'、Ｇ'およびＢ'信号に変換する（ステップＳ９０７）。

このように本技術の第１の実施の形態においては、輝度信号および色差信号を調整した調整輝度信号および調整色差信号を生成する。この際、輝度信号からノイズを除去した調整輝度信号を生成することにより、低照度環境下における撮影であっても低ノイズの画像信号を生成することができる。また、本技術の第１の実施の形態によれば、調整輝度信号と調整色差信号との比率は、輝度信号と色差信号との比率に略等しいため、色再現性を向上させることができる。

＜２．第２の実施の形態＞
上述の本技術の第１の実施の形態では、ノイズが除去された信号に基づいて調整輝度信号を生成していた。これに対し本技術の第２の実施の形態では、ノイズが除去された信号に基づいて調整色差信号を生成する。

［調整色差信号の生成処理］
図９は、本技術の第２の実施の形態における調整輝度信号および調整色差信号の生成処理を説明する図である。同図は図３に表した被写体を撮影した場合の、処理部３４０における処理を説明する図である。本技術の第２の実施の形態では、輝度信号および色差信号に対してノイズリダクション処理を行う。Ｃｂ＿ＮＲおよびＣｒ＿ＮＲは、ノイズリダクション処理後の色差信号を表したものである。図に表したように、Ｃｂ＿ＮＲおよびＣｒ＿ＮＲとＹ＿ＮＲとは同等レベルの信号波形となる。

このＣｂ＿ＮＲおよびＣｒ＿ＮＲをＹ＿ＮＲにより除算する。この演算によりＹ＿ＮＲに対するＣｂ＿ＮＲまたはＣｒ＿ＮＲの比率にほぼ等しい値の直流信号に近い波形（不図示）が得られる。Ｃｂ＿ＮＲおよびＣｒ＿ＮＲとＹ＿ＮＲとは、ほぼ同じ信号レベルであるため、上述の直流信号は大きさが値「１」に近い値、例えば、「０．９」程度の値となる。次に、この直流信号とＩＲ信号とを乗算する。これにより図９に表したような低ノイズかつ信号成分の急峻な変化を保った調整色差信号を得ることができる。また、本技術の第２の実施の形態では、ＩＲ信号を調整輝度信号として出力する。このように、本技術の第２の実施の形態における処理は、信号レベルを保った状態のＩＲ信号を調整輝度信号および調整色差信号に変換する方式であるため、図４に表した方式とは異なり、高い信号レベルの調整輝度信号および調整色差信号を得ることができる。

［処理部の構成］
図１０は、本技術の第２の実施の形態における処理部の構成例を示す図である。同図における処理部３４０は、ノイズリダクション部３４５と、画像信号生成部３４８とを備える。ノイズリダクション部３４５は、輝度信号Ｙおよび色差信号ＣｂおよびＣｒのノイズを除去する。このノイズリダクション部３４５は、輝度信号ノイズリダクション処理部３４３と、色差信号ノイズリダクション処理部３４４とを備える。色差信号ノイズリダクション処理部３４４は、色差信号のノイズを除去してＣｂ＿ＮＲおよびＣｒ＿ＮＲ信号を生成するものである。この色差信号ノイズリダクション処理部３４４として本技術の第１の実施の形態において前述した各種のノイズリダクション処理装置を使用することができる。しかし、輝度信号ノイズリダクション処理部３４３と同じ特性のノイズリダクション処理装置を使用する必要がある。

画像信号生成部３４８は、ＩＲ信号、ＩＲ＿Ｙ信号、Ｃｂ＿ＮＲ信号およびＣｒ＿ＮＲ信号から調整色差信号Ｃｂ'およびＣｒ'を生成する。この画像信号生成部３４８における処理は、図９において説明した除算および乗算処理に該当するものである。具体的には、次の式により調整色差信号Ｃｂ'およびＣｒ'を生成する。
Ｃｂ'＝（Ｃｂ＿ＮＲ／Ｙ＿ＮＲ）×ＩＲ
Ｃｒ'＝（Ｃｒ＿ＮＲ／Ｙ＿ＮＲ）×ＩＲ
但し、Ｃｂ＿ＮＲおよびＣｒ＿ＮＲはそれぞれノイズリダクション処理後の色差信号を表す。なお、前述したように、ＩＲ信号を調整輝度信号Ｙ'として出力する。また、Ｃｂ'およびＣｒ'は、上記式より明らかなように、ＩＲ信号をＣｂ＿ＮＲおよびＣｒ＿ＮＲとＹ＿ＮＲとの比率に基づいて信号レベルを調整したものである。このため、輝度信号Ｙと色差信号ＣｂおよびＣｒとの比率および調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'との比率は略等しい値とすることができる。また、本技術の第２の実施の形態での調整比率は、輝度信号については「１」となり、色差信号については上述の式よりＣｂ＿ＮＲ／Ｙ＿ＮＲまたはＣｒ＿ＮＲ／Ｙ＿ＮＲとなる。

これ以外の本技術の第２の実施の形態における信号処理装置３００および撮像装置１０の構成は、上述の第１の実施の形態と同様であるため、説明を省略する。

このように本技術の第２の実施の形態では、信号レベルを保った状態でＩＲ信号から調整輝度信号および調整色差信号を生成するため、高い信号レベルの調整輝度信号および調整色差信号を得ることができる。また、本技術の第２の実施の形態においても、調整輝度信号と調整色差信号との比率は、輝度信号と色差信号との比率に略等しいため、色再現性を向上させることができる。

＜３．第３の実施の形態＞
前述の本技術の第１の実施の形態では、調整輝度信号および調整色差信号を新たな画像信号に変換していた。これに対し、本技術の第３の実施の形態では、調整輝度信号にＩＲ信号を混合して新たな調整輝度信号を生成する。その後、この新たな調整輝度信号および調整色差信号を新たな画像信号に変換する。

［処理部の構成］
図１１は、本技術の第３の実施の形態における処理部の構成例を示す図である。同図における処理部３４０は、混合部３４７を備える点で図５において説明した処理部３４０と異なる。混合部３４７は、画像信号生成部３４９により生成された調整輝度信号Ｙ'とＩＲ信号とを所定の混合比率に基づいて混合するものである。この混合は、次式のように行う。
Ｙ''＝（１−α）×ＩＲ＋α×Ｙ'
但し、Ｙ''は混合により新たに生成された調整輝度信号を表し、αは混合比率を表す。前述したように本技術の第１の実施の形態における調整輝度信号はＩＲ信号に比べ信号レベルが低い。しかし、この調整輝度信号にＩＲ信号を混合することにより、信号レベルを高めることができる。

さらに混合比率αを変更可能とすることにより、新たな調整輝度信号の特性を変化させることができる。例えば、αを１に近い値とした場合は、信号レベルは低いものの色再現性の高い画像を得ることができる。一方、αを０に近い値とした場合は、信号レベルが上昇するため視認性の高い画像を得ることができる。但し、この場合、色差信号については信号レベルの調整を行わないため、得られた画像は色合いが変化する。さらに、αを０にすると、得られる画像はモノクロの画像となる。このように、画像の用途により、調整輝度信号の特性を変化させることができる。

これ以外の処理部３４０、信号処理装置３００および撮像装置１０の構成は、上述の第１の実施の形態と同様であるため、説明を省略する。

このように、本技術の第３の実施の形態によれば、調整輝度信号にＩＲ信号を混合することにより調整輝度信号の特性をその使用目的によって変えることができる。

［変形例］
上述の第３の実施の形態では、全ての調整輝度信号について同じ混合比率αに基づいてＩＲ信号を混合していた。これに対し、本技術の第３の実施の形態の変形例では、画面に選択領域を設定し、この選択領域に含まれる調整輝度信号については、異なる混合比率により混合を行う。

図１２は、本技術の第３の実施の形態の変形例における選択領域が設定された画面の一例を示す図である。同図における画面２０２には、選択領域２０３が設定されている。この選択領域２０３は、例えば、被写体である人物の顔を含む領域に設定することができる。この選択領域２０３に含まれる画像に対応する調整輝度信号については混合比率αを他の領域とは異なる値とする。上記の場合には、選択領域２０３に含まれる調整輝度信号Ｙ''を生成する際に、αを、例えば、「０」とし、顔の視認性を高めることができる。選択領域２０３以外の領域においてはαを、例えば、「１」として色再現性を高め、人物の服装の色の把握を容易にすることができる。本技術の第３の実施の形態の変形例における信号処理装置３００は、画像信号が選択領域２０３に含まれるか否かを判断し、αの値を変更する。なお、選択領域は１つの画面に対し複数設定してもよい。また、選択領域２０３の境界ではαを徐々に変更してもよい。この場合、選択領域２０３の境界における画像の不連続性を緩和することができる。

このように、本技術の第３の実施の形態の変形例によれば、画面に選択領域を設定して混合比率を変更することにより、選択領域に含まれる画像の特性を他の領域とは異なる特性にすることができる。画像の使用目的に応じて、色再現性または視認性の何れかを高めた画像に変更できるため、利便性を向上させることができる。

このように、本技術の実施の形態によれば、輝度信号からノイズを除去した調整輝度信号または調整色差信号を生成することにより、低照度環境下における撮影であっても低ノイズの画像信号を生成することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

なお、本技術は以下のような構成もとることができる。
（１）非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、
前記輝度信号および前記色差信号を調整することにより前記輝度信号と前記色差信号との比率に略等しい比率の調整輝度信号および調整色差信号からなる画像信号を生成し、前記調整輝度信号または前記調整色差信号の何れかについては前記非可視光信号および前記ノイズが除去された信号群に基づいて生成する画像信号生成部と
を具備する信号処理装置。
（２）前記ノイズリダクション部は、前記非可視光信号および前記輝度信号のノイズを除去して前記信号群を生成し、
前記画像信号生成部は、前記非可視光信号と前記ノイズを除去された前記非可視光信号と前記ノイズを除去された前記輝度信号とに基づいて前記調整輝度信号を生成する
前記（１）に記載の信号処理装置。
（３）前記画像信号生成部は、前記色差信号に基づいて前記調整色差信号を生成する前記（２）に記載の信号処理装置。
（４）前記生成された前記調整輝度信号および前記非可視光信号を所定の混合比率に基づいて混合する混合部をさらに具備する前記（２）または（３）に記載の信号処理装置。
（５）前記混合部は、前記画像信号における所定の選択領域に含まれる前記調整輝度信号と前記非可視光信号とを混合する際には前記混合比率とは異なる混合比率に基づいて混合する前記（４）に記載の信号処理装置。
（６）前記ノイズリダクション部は、前記色差信号および前記輝度信号のノイズを除去して前記信号群を生成し、
前記画像信号生成部は、前記非可視光信号と前記ノイズを除去された前記色差信号と前記ノイズを除去された前記輝度信号とに基づいて前記調整色差信号を生成する
前記（１）に記載の信号処理装置。
（７）前記画像信号生成部は、前記非可視光信号に基づいて前記調整輝度信号を生成する前記（６）に記載の信号処理装置。
（８）前記非可視光信号は、赤外光に対応する赤外信号である前記（１）から（７）に記載の信号処理装置。
（９）画像信号を出力する画素が２次元に配置された画素面を備える撮像素子と、
前記撮像素子から出力された前記画像信号を処理する信号処理装置と
を具備し、
前記信号処理装置は、
前記画像信号に基づいて輝度信号と色差信号と非可視光信号とを生成する画像信号処理部と、
前記非可視光信号または前記色差信号の何れかと前記輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、
前記輝度信号および前記色差信号を調整して前記輝度信号および前記色差信号の比率と略等しい比率の調整輝度信号および調整色差信号よりなる画像信号を生成し、前記調整輝度信号または前記調整色差信号の何れかについては前記非可視光信号および前記ノイズが除去された信号群に基づいて生成する画像信号生成部と
を備える
撮像装置。
（１０）非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション手順と、
前記輝度信号または前記色差信号の何れか１つについては前記ノイズを除去された信号群に基づいて前記輝度信号と前記色差信号との比率を保ちながら前記輝度信号および前記色差信号を調整する調整比率を算出する調整比率算出手順と、
前記算出された前記調整比率を用いて前記輝度信号および前記色差信号を調整して調整輝度信号および調整色差信号を生成する画像信号生成手順と
を具備する信号処理方法。

１０ 撮像装置
１００ レンズ
２００ 撮像素子
２０１ 画素
２０２ 画面
２０３ 選択領域
３００ 信号処理装置
３１０ デモザイク部
３２０ 分離部
３３０ ＹＣ変換部
３４０ 処理部
３４１、３４５ ノイズリダクション部
３４２ ＩＲ信号ノイズリダクション処理部
３４３ 輝度信号ノイズリダクション処理部
３４４ 色差信号ノイズリダクション処理部
３４７ 混合部
３４８、３４９ 画像信号生成部
３５０ ＲＧＢ変換部
４００ 制御装置
５００ 赤外光照射部

Claims (10)

1. 非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、
   前記輝度信号および前記色差信号を調整することにより前記輝度信号と前記色差信号との比率に略等しい比率の調整輝度信号および調整色差信号からなる画像信号を生成し、前記調整輝度信号または前記調整色差信号の何れかについては前記非可視光信号および前記ノイズが除去された信号群に基づいて生成する画像信号生成部と
   を具備する信号処理装置。
2. 前記ノイズリダクション部は、前記非可視光信号および前記輝度信号のノイズを除去して前記信号群を生成し、
   前記画像信号生成部は、前記非可視光信号と前記ノイズを除去された前記非可視光信号と前記ノイズを除去された前記輝度信号とに基づいて前記調整輝度信号を生成する
   請求項１記載の信号処理装置。
3. 前記画像信号生成部は、前記色差信号に基づいて前記調整色差信号を生成する請求項２に記載の信号処理装置。
4. 前記生成された前記調整輝度信号および前記非可視光信号を所定の混合比率に基づいて混合する混合部をさらに具備する請求項２記載の信号処理装置。
5. 前記混合部は、前記画像信号における所定の選択領域に含まれる前記調整輝度信号と前記非可視光信号とを混合する際には前記混合比率とは異なる混合比率に基づいて混合する請求項４記載の信号処理装置。
6. 前記ノイズリダクション部は、前記色差信号および前記輝度信号のノイズを除去して前記信号群を生成し、
   前記画像信号生成部は、前記非可視光信号と前記ノイズを除去された前記色差信号と前記ノイズを除去された前記輝度信号とに基づいて前記調整色差信号を生成する
   請求項１記載の信号処理装置。
7. 前記画像信号生成部は、前記非可視光信号に基づいて前記調整輝度信号を生成する請求項６記載の信号処理装置。
8. 前記非可視光信号は、赤外光に対応する赤外信号である請求項１記載の信号処理装置。
9. 画像信号を出力する画素が２次元に配置された画素面を備える撮像素子と、
   前記撮像素子から出力された前記画像信号を処理する信号処理装置と
   を具備し、
   前記信号処理装置は、
   前記画像信号に基づいて輝度信号と色差信号と非可視光信号とを生成する画像信号処理部と、
   前記非可視光信号または前記色差信号の何れかと前記輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、
   前記輝度信号および前記色差信号を調整して前記輝度信号および前記色差信号の比率と略等しい比率の調整輝度信号および調整色差信号よりなる画像信号を生成し、前記調整輝度信号または前記調整色差信号の何れかについては前記非可視光信号および前記ノイズが除去された信号群に基づいて生成する画像信号生成部と
   を備える
   撮像装置。
10. 非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション手順と、
    前記輝度信号または前記色差信号の何れか１つについては前記ノイズを除去された信号群に基づいて前記輝度信号と前記色差信号との比率を保ちながら前記輝度信号および前記色差信号を調整する調整比率を算出する調整比率算出手順と、
    前記算出された前記調整比率を用いて前記輝度信号および前記色差信号を調整して調整輝度信号および調整色差信号を生成する画像信号生成手順と
    を具備する信号処理方法。

Images