JP2017168925A - 信号処理装置、撮像装置および信号処理方法 - Google Patents

Abstract

【課題】可視光信号と赤外光信号とを混合してカラー画像信号を生成する際の画質の低下を防止する。【解決手段】信号処理装置は、混合比率生成部と混合部とを備える。混合比率生成部は、可視光信号の低周波数成分である低周波可視光信号と非可視光信号の低周波数成分である低周波非可視光信号とを混合する際の比率である混合比率を低周波可視光信号および低周波非可視光信号に基づいて生成する。混合部は、低周波可視光信号および低周波非可視光信号を混合比率に基づいて混合して混合信号を生成する。【選択図】図８

Description

本技術は、信号処理装置、撮像装置および信号処理方法に関する。詳しくは、可視光信号と赤外光信号とを混合して画像信号を生成する信号処理装置、撮像装置およびこれらにおける信号処理方法に関する。

従来、低照度環境において使用される監視カメラ等の撮像装置において、可視光信号と赤外光に対応する赤外光信号とを合成することにより、視認性を向上させた画像信号を生成する撮像装置が使用されている。例えば、可視光信号から生成された可視光輝度信号と赤外光信号から生成された赤外光輝度信号とを合成して合成輝度信号を生成する撮像装置が使用されている。この合成の際、可視光輝度信号の値に応じた合成比率に基づいて合成を行うシステムが提案されている（例えば、特許文献１参照。）。

特開２０１４−１３５６２７号公報

上述の従来技術では、可視光輝度信号に基づいて合成比率が決定される。このため、赤外光を照射しながら撮像を行った場合のように、可視光信号と比較して赤外光信号の値が大きい場合等には、合成後の画像信号の色再現性が低下し、画質が低下するという問題がある。

本技術はこのような状況に鑑みて生み出されたものであり、赤外光を照射しながら可視光信号と赤外光信号とを混合してカラー画像信号を生成する場合において、画質の低下を防止することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、可視光信号の低周波数成分である低周波可視光信号と非可視光信号の低周波数成分である低周波非可視光信号とを混合する際の比率である混合比率を上記低周波可視光信号および上記低周波非可視光信号に基づいて生成する混合比率生成部と、上記低周波可視光信号および上記低周波非可視光信号を上記混合比率に基づいて混合して混合信号を生成する混合部とを具備する信号処理装置および信号処理方法である。これにより、低周波可視光信号および低周波非可視光信号に基づいて混合比率が生成されるという作用をもたらす。

また、この第１の側面において、上記混合比率生成部は、上記低周波可視光信号または上記低周波非可視光信号の何れが大きいかに基づいて上記混合比率を生成してもよい。これにより、低周波可視光信号または低周波非可視光信号の何れが大きいかに基づいて混合比率が生成されるという作用をもたらす。

また、この第１の側面において、上記混合比率生成部は、上記低周波可視光信号が上記低周波非可視光信号より小さい場合に上記混合における上記低周波非可視光信号の比率を略０にする上記混合比率を生成してもよい。これにより、低周波可視光信号が低周波非可視光信号より小さい場合に低周波非可視光信号の比率が略０となる混合比率が生成されるという作用をもたらす。

また、この第１の側面において、上記混合比率生成部は、上記低周波可視光信号が上記低周波非可視光信号より大きい場合に上記混合における上記低周波可視光信号および上記低周波非可視光信号の比率を略等しくする上記混合比率を生成してもよい。これにより、低周波可視光信号が低周波非可視光信号より大きい場合に低周波可視光信号および低周波非可視光信号を等しい比率にする混合比率が生成されるという作用をもたらす。

また、この第１の側面において、上記混合比率生成部は、上記低周波可視光信号が所定の閾値より小さい場合に上記混合比率を所定の値に制限して上記混合信号を上記低周波非可視光信号より小さくしてもよい。これにより、上記低周波可視光信号が所定の閾値より小さい場合に混合信号が低周波非可視光信号より小さくなるという作用をもたらす。

また、この第１の側面において、上記非可視光信号の高周波数成分である高周波非可視光信号を上記混合信号に加算する高周波信号加算部をさらに具備してもよい。これにより、混合信号に高周波信号が加算されるという作用をもたらす。

また、この第１の側面において、上記高周波信号加算部は、上記可視光信号の高周波数成分である高周波可視光信号と上記高周波非可視光信号とを上記混合信号に加算してもよい。これにより、混合信号に高周波可視光信号と高周波非可視光信号とが加算されるという作用をもたらす。

また、この第１の側面において、上記可視光信号から上記低周波可視光信号を生成する可視光信号フィルタと、上記非可視光信号から上記低周波非可視光信号を生成する非可視光信号フィルタとをさらに具備し、上記混合比率生成部は、上記生成された低周波可視光信号と上記生成された低周波非可視光信号とに基づく上記混合比率を生成し、上記混合部は、上記生成された低周波可視光信号と上記生成された低周波非可視光信号とを混合してもよい。これにより、可視光信号フィルタおよび非可視光信号フィルタにより、低周波可視光信号および低周波非可視光信号がそれぞれ生成されるという作用をもたらす。

また、この第１の側面において、上記可視光信号フィルタは、ローパスフィルタにより構成されてもよい。これにより、ローパスフィルタにより低周波可視光信号が生成されるという作用をもたらす。

また、この第１の側面において、上記非可視光信号フィルタは、ローパスフィルタにより構成されてもよい。これにより、ローパスフィルタにより低周波非可視光信号が生成されるという作用をもたらす。

また、この第１の側面において、上記可視光信号フィルタは、上記可視光信号のノイズを除去するノイズリダクション部により構成されてもよい。これにより、ノイズリダクション部により低周波可視光信号が生成されるという作用をもたらす。

また、この第１の側面において、上記非可視光信号フィルタは、上記非可視光信号のノイズを除去するノイズリダクション部により構成されてもよい。これにより、ノイズリダクション部により低周波非可視光信号が生成されるという作用をもたらす。

また、この第１の側面において、上記低周波可視光信号は、可視光輝度信号の低周波数成分である低周波可視光輝度信号であり、上記混合比率生成部は、上記低周波可視光輝度信号と上記低周波非可視光信号とに基づいて上記混合比率を生成し、上記混合部は、上記低周波可視光輝度信号および上記低周波非可視光信号を混合してもよい。これにより、低周波可視光輝度信号および低周波非可視光信号に基づいて混合比率が生成されるという作用をもたらす。

また、この第１の側面において、上記低周波非可視光信号は、赤外光に対応する赤外光信号の低周波数成分である低周波赤外光信号であってもよい。これにより、低周波可視光輝度信号および低周波赤外光信号に基づいて混合比率が生成されるという作用をもたらす。

また、本技術の第２の側面は、可視光信号および非可視光信号を生成する撮像素子と、上記生成された可視光信号の低周波数成分である低周波可視光信号と上記生成された非可視光信号の低周波数成分である低周波非可視光信号とを混合する際の比率である混合比率を上記低周波可視光信号および上記低周波非可視光信号に基づいて生成する混合比率生成部と、上記低周波可視光信号および上記低周波非可視光信号を上記混合比率に基づいて混合して混合信号を生成する混合部とを具備する撮像装置である。これにより、低周波可視光信号および低周波非可視光信号に基づいて混合比率が生成されるという作用をもたらす。

本技術によれば、赤外光を照射しながら可視光信号と赤外光信号とを混合してカラー画像信号を生成する場合において、画質の低下を防止するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態における撮像装置１０の構成例を示す図である。 本技術の実施の形態における撮像素子１２の構成例を示す図である。 本技術の実施の形態における赤外光の照射の一例を示す図である。 本技術の実施の形態における信号処理部１３の構成例を示す図である。 本技術の実施の形態における３次元ノイズリダクション部１００の構成例を示す図である。 本技術の第１の実施の形態における合成部２００の構成例を示す図である。 本技術の第１の実施の形態における帯域分離部２２０の構成例を示す図である。 本技術の第１の実施の形態における低周波信号合成部２３０の構成例を示す図である。 本技術の第１の実施の形態における高周波信号補完部２４０の構成例を示す図である。 本技術の第１の実施の形態における画像信号切替部２５０の構成例を示す図である。 本技術の実施の形態における混合比率の一例を示す図である。 本技術の実施の形態における低周波輝度信号生成処理の処理手順の一例を示す図である。 本技術の第２の実施の形態における合成部２００の構成例を示す図である。 本技術の第２の実施の形態における帯域分離部２６０の構成例を示す図である。 本技術の第２の実施の形態における高周波信号補完部２７０の構成例を示す図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ローパスフィルタにより低周波可視光輝度信号を生成する場合の例）
２．第２の実施の形態（ノイズリダクション部により低周波可視光輝度信号を生成する場合の例）

＜１．第１の実施の形態＞
図１は、本技術の実施の形態における撮像装置１０の構成例を示す図である。この撮像装置１０は、レンズ１１と、撮像素子１２と、信号処理部１３と、制御部１４と、赤外光照射部１５とを備える。

レンズ１１は、撮像素子１２に対して光学的に被写体を結像するものである。

撮像素子１２は、レンズ１１によって結像された光学画像を画像信号に変換し、出力するものである。この撮像素子１２は、光学画像が結像される面に画像信号を生成する画素が２次元格子状に配置されて構成される。この画素から出力される画像信号には可視光成分に対応する可視光信号および赤外光成分に対応する赤外光信号が含まれる。

このような画素を有する撮像素子１２の例としては、赤色光と赤外光に対応する画像信号を生成する画素、緑色光と赤外光に対応する画像信号を生成する画素および青色光と赤外光に対応する画像信号を生成する画素の３種の画素を有する撮像素子が挙げられる。さらに、白色光と赤外光に対応する画像信号を生成する画素を加えた４種の画素を有する撮像素子を使用することもできる。以下、赤色光と赤外光に対応する画像信号、緑色光と赤外光に対応する画像信号、青色光と赤外光に対応する画像信号および白色光と赤外光に対応する画像信号をそれぞれＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＷ＋ＩＲ信号と称する。これら、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＷ＋ＩＲ信号を生成する画素をそれぞれＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素およびＷ＋ＩＲ画素と称する。このように異なる光に対応した画素として構成するために、各画素にはカラーフィルタが備えられている。このカラーフィルタの分光特性を特定の光に対応させて、上述した４種の画素を構成している。

また、撮像素子１２は、アナログデジタル変換器を有しており、デジタル信号に変換された１画面分の上記画像信号を出力する。ここで、１画面分の画像信号をフレームと称する。

信号処理部１３は、撮像素子１２から出力された画像信号を処理するものである。この信号処理部１３は、出力された画像信号を可視光信号および赤外光信号に分離してノイズ除去等の処理を行う。その後、ノイズ除去等が行われた可視光信号および赤外光信号を合成し、出力するものである。信号処理部１３の構成の詳細については後述する。なお、信号処理部１３は、特許請求の範囲に記載の信号処理装置の一例である。

制御部１４は、信号処理部１３から出力された画像信号を撮像装置１０の外部に出力するものである。また、この制御部１４は、撮像装置１０の全体を制御する。

赤外光照射部１５は、赤外光を被写体に対して照射するものである。この赤外光照射部１５は、制御部１４の制御により、赤外光の照射を行う。赤外光の照射の詳細については後述する。

［撮像素子の構成］
図２は、本技術の実施の形態における撮像素子１２の構成例を示す図である。同図は、撮像素子１２の画面上の画素の配置を表したものである。同図の四角は画素４０１を表しており、撮像素子１２の画面は、画素４０１が２次元格子状に配置されて構成される。なお、画素４０１に記載された記号は、画素４０１の種類を表すものである。Ｒ、Ｇ、ＢおよびＷが記載された画素は、それぞれＲ+ＩＲ画素、Ｇ+ＩＲ画素、Ｂ+ＩＲ画素およびＷ+ＩＲ画素を表している。これらの画素が画面上に一定の規則に基づいて配置されている。同図においては、Ｗ＋ＩＲ画素が市松形状に配置され、残りの部分にＲ+ＩＲ画素、Ｇ+ＩＲ画素およびＢ+ＩＲ画素が配置された例を表している。

［赤外光の照射］
図３は、本技術の実施の形態における赤外光の照射の一例を示す図である。同図は、撮像素子１２におけるフレーム毎の露光および露光後の画像信号の読出しの様子を表したものである。同図においては、撮像素子１２は、Ｎ本のラインを有する画面により構成されることを想定する。撮像素子１２は、１ライン毎に露光の開始および停止と画像信号の出力とを順次行う。これを第１ラインから第Ｎラインまで行うことにより、１フレーム分の画像信号の生成が行われる。このように、１ライン毎に露光の開始および停止と画像信号の出力とが順次行われる方式をローリングシャッタ方式と称する。また、露光の開始から停止までの期間を露光期間と称する。本技術の実施の形態においては、１つの露光期間おきに赤外光照射部１５による赤外光の照射が行われる。ここで、赤外光が照射された露光期間（同図におけるＦおよびＦ＋２）に生成されたフレームを赤外光照射フレームと称し、赤外光が照射されない露光期間（同図におけるＦ＋１およびＦ＋３）に生成されたフレームを可視光フレームと称する。赤外光の照射を行うことにより、低照度環境下における画像信号の信号レベルを高めることができ、視認性を向上させることができる。

［信号処理部の構成］
図４は、本技術の実施の形態における信号処理部１３の構成例を示す図である。この信号処理部１３は、３次元ノイズリダクション部１００と、デモザイク部３１および３２と、分離部３３および３４とを備える。また、信号処理部１３は、２次元ノイズリダクション部３５および３６と、ホワイトバランス調整部３７と、合成部２００と、補正部３８と、輝度色差信号変換部３９とをさらに備える。

３次元ノイズリダクション部１００は、３次元ノイズリダクション処理を行うことにより、撮像素子１２から出力された画像信号のノイズを除去するものである。ここで、３次元ノイズリダクション処理とは、連続する複数のフレームに属する画像信号を用いてノイズの除去を行う処理である。この３次元ノイズリダクション部１００は、可視光フレームおよび赤外光照射フレームの画像信号に対して個別にノイズリダクション処理を行う。可視光フレームと赤外光照射フレームとは、画像信号に含まれる赤外光信号成分が異なるためである。処理後の可視光フレームおよび赤外光照射フレームの画像信号は、それぞれデモザイク部３１および３２に対して出力される。また、３次元ノイズリダクション部１００は、入力された画像信号において動きのある領域を検出し、この領域についての情報である動き情報をさらに出力する。ここで、動きのある領域とは、フレームにおいて動いている人物等が含まれる領域である。３次元ノイズリダクション部１００の構成の詳細については後述する。

デモザイク部３１および３２は、３次元ノイズリダクション部１００から出力された画像信号に対してデモザイク処理を行うものである。このデモザイク処理は、撮像素子１２から出力された単色の画像信号に対して不足する他の色の画像信号を補完するものである。このデモザイク処理により、デモザイク部３１では、１画素当たりの画像信号がＲ+ＩＲ信号、Ｇ+ＩＲ信号、Ｂ+ＩＲ信号およびＷ＋ＩＲ信号の４つに増加することになる。デモザイク部３１は、可視光フレームの画像信号に対してデモザイク処理を行って分離部３３に対して出力する。デモザイク部３２は、赤外光照射フレームの画像信号に対し、一例としてＷ＋ＩＲ信号のデモザイク処理を行って分離部３４に対して出力する。

分離部３３および３４は、それぞれデモザイク部３１および３２により出力された画像信号から可視光信号および赤外光信号を分離するものである。この分離は、例えば、次式に基づいて行うことができる。
ＩＲ＝（Ｒ_ＩＲ＋Ｇ_ＩＲ＋Ｂ_ＩＲ−Ｗ_ＩＲ）／２
Ｒ ＝Ｒ_ＩＲ−ＩＲ
Ｇ ＝Ｇ_ＩＲ−ＩＲ
Ｂ ＝Ｂ_ＩＲ−ＩＲ
ここで、ＩＲは、赤外光に対応する画像信号を表す。また、Ｒ、ＧおよびＢは、それぞれ赤色光に対応する画像信号（赤色画像信号）、緑色光に対応する画像信号（緑色画像信号）および青色光に対応する画像信号（青色画像信号）を表す。また、Ｒ_ＩＲ、Ｇ_ＩＲ、Ｂ_ＩＲおよびＷ_ＩＲは、それぞれＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＷ＋ＩＲ信号を表す。

分離部３３は、可視光フレームの画像信号から分離した画像信号のうち、赤色画像信号Ｒ、緑色画像信号Ｇおよび青色画像信号Ｂを２次元ノイズリダクション部３５に対して出力する。この際、可視光フレームの画像信号に含まれていた環境赤外光信号成分は、除去される。ここで、赤色画像信号Ｒ、緑色画像信号Ｇおよび青色画像信号Ｂは、可視光信号に該当する。一方、分離部３４は、赤外光照射フレームの画像信号から分離した画像信号のうち、赤外光照射フレームの輝度信号を２次元ノイズリダクション部３６および合成部２００に対して出力する。ここでは、この赤外光照射フレームの輝度信号の一例として、Ｗ＋ＩＲ画素から出力されたＷ＋ＩＲ信号に対してデモザイク処理を行うことにより生成された信号である赤外光輝度信号Ｙｉｒが出力される。ここで、赤外光輝度信号Ｙｉｒは、赤外光に対応する画像信号である。

２次元ノイズリダクション部３５および３６は、２次元ノイズリダクション処理を行うことにより、分離部３３等から出力された画像信号のノイズを除去するものである。ここで、２次元ノイズリダクション処理とは、同一フレームに属する画像信号を用いてノイズを除去する処理である。２次元ノイズリダクション部３５は、分離部３３から出力された赤色画像信号Ｒ、緑色画像信号Ｇおよび青色画像信号Ｂに対してノイズリダクション処理を行ってホワイトバランス調整部３７に対して出力する。一方、２次元ノイズリダクション部３６は、分離部３４から出力された赤外光輝度信号Ｙｉｒに対してノイズリダクション処理を行って合成部２００に対して出力する。同図においては、ノイズが除去された赤色画像信号Ｒ、緑色画像信号Ｇ、青色画像信号Ｂおよび赤外光輝度信号ＹｉｒをそれぞれＲ＿ＮＲ、Ｇ＿ＮＲ、Ｂ＿ＮＲおよびＹｉｒ＿ＮＲと記載した。

ホワイトバランス調整部３７は、２次元ノイズリダクション部３５から出力された可視光信号である赤色画像信号Ｒ＿ＮＲ、緑色画像信号Ｇ＿ＮＲおよび青色画像信号Ｂ＿ＮＲに対してホワイトバランス調整を行うものである。ここで、ホワイトバランス調整とは、白い被写体に対する赤色画像信号、緑色画像信号および青色画像信号が同じ信号レベルになるように調整する処理である。このホワイトバランス調整部３７は、調整後の赤色画像信号、緑色画像信号および青色画像信号（同図において、それぞれＲ＿ＮＲ'、Ｇ＿ＮＲ'およびＢ＿ＮＲ'と記載した。）を合成部２００に対して出力する。

合成部２００は、ホワイトバランス調整が行われた可視光信号とノイズが除去された赤外光信号とを合成して低周波合成信号を生成するものである。ここで、低周波合成信号とは、可視光信号および赤外光信号が混合されて生成された信号である。低照度環境の撮像において、赤外光を被写体に照射しながら画像信号を生成すると、生成された画像信号は疑似カラー化した画像信号となり、色再現性が低下した画像となる。そこで、低周波合成信号を生成することにより、視認性と色再現性を向上させた画像信号を得ることができる。この合成部２００は、生成した低周波合成信号、可視光信号および赤外光信号（赤外光輝度信号Ｙｉｒ）を切り替えて出力する。また、合成部２００は、ノイズ除去の過程において失われた可視光信号の高周波数成分の補完をさらに行う。合成部２００の構成の詳細については後述する。

補正部３８は、合成部２００から出力された画像信号に対してガンマ補正を行うものである。ここで、ガンマ補正とは、赤色画像信号、緑色画像信号および青色画像信号をガンマ曲線に沿って補正する処理である。補正部３８は、ガンマ補正後の赤色画像信号、緑色画像信号および青色画像信号を輝度色差信号変換部３９に対して出力する。

輝度色差信号変換部３９は、補正部３８から出力された赤色画像信号、緑色画像信号および青色画像信号を輝度信号および色差信号に変換するものである。この変換は、公知の変換式に基づいて行うことができる。変換後の輝度信号および色差信号は、制御部１４に対して出力される。

［３次元ノイズリダクション部の構成］
図５は、本技術の実施の形態における３次元ノイズリダクション部１００の構成例を示す図である。この３次元ノイズリダクション部１００は、フレームメモリ＃１（１１０）および＃２（１３０）と、可視光フレームノイズリダクション部１２０と、赤外光照射フレームノイズリダクション部１４０とを備える。

フレームメモリ＃１（１１０）および＃２（１３０）は、画像信号を保持するメモリである。フレームメモリ＃１（１１０）は、可視光フレームノイズリダクション部１２０から出力された複数の可視光フレームの画像信号を保持する。フレームメモリ＃２（１３０）は、赤外光照射フレームノイズリダクション部１４０から出力された複数の赤外光照射フレームの画像信号を保持する。

可視光フレームノイズリダクション部１２０は、撮像素子１２から出力された画像信号のうち可視光フレームの画像信号に対して３次元ノイズリダクション処理を行うものである。この可視光フレームノイズリダクション部１２０は、可視光フレームの画像信号をフレームメモリ＃１（１１０）に保持させるとともに、フレームメモリ＃１（１１０）に保持された画像信号に基づいて３次元ノイズリダクション処理を行う。この処理として、例えば、連続する複数のフレームにおける画像信号の画素毎の平均を算出する方法を使用することができる。この際、動きのある画像については、３次元ノイズリダクション処理を制限し、画質の低下を防止する必要がある。このため、可視光フレームノイズリダクション部１２０は、動きのある領域の検出を行い、該当する領域におけるノイズリダクション処理を制限する。また、可視光フレームノイズリダクション部１２０は、ノイズ除去処理を行った画像信号を可視光フレーム画像信号としてデモザイク部３１に対して出力する。さらに可視光フレームノイズリダクション部１２０は、検出した動きのある領域を動き情報として合成部２００に対して出力する。

赤外光照射フレームノイズリダクション部１４０は、撮像素子１２から出力された画像信号のうち赤外光照射フレームの画像信号に対して３次元ノイズリダクション処理を行うものである。この赤外光照射フレームノイズリダクション部１４０は、赤外光照射フレームの画像信号をフレームメモリ＃２（１３０）に保持させるとともに、フレームメモリ＃２（１３０）に保持された画像信号に基づいて３次元ノイズリダクション処理を行う。また、赤外光照射フレームノイズリダクション部１４０は、ノイズ除去処理を行った画像信号を赤外光照射フレーム画像信号としてデモザイク部３２に対して出力する。さらに赤外光照射フレームノイズリダクション部１４０は、検出した動きのある領域を動き情報として合成部２００に対して出力する。

［合成部の構成］
図６は、本技術の第１の実施の形態における合成部２００の構成例を示す図である。この合成部２００は、利得調整部２１０と、帯域分離部２２０と、低周波信号合成部２３０と、高周波信号補完部２４０と、画像信号切替部２５０とを備える。

利得調整部２１０は、３次元ノイズリダクション部１００から出力された動き情報に基づいて色差信号利得調整情報および赤外光信号利得調整情報を生成するものである。ここで、色差信号利得調整情報は、後述する低周波信号合成部２３０において色差信号のレベルの調整および低周波合成信号と低周波赤外光輝度信号との合成に使用する情報である。図５において説明したように、３次元ノイズリダクション部１００は、動きのある領域におけるノイズの除去を制限する。このため、当該領域においては、比較的ノイズが多い画像となり視認性が低下する。そこで、動きのある領域における色差信号の信号レベルを低下させるとともに赤外光信号の混合比率を高める。これにより、当該領域における視認性の低下を軽減することができる。

帯域分離部２２０は、ホワイトバランス調整部３７から出力された可視光信号を輝度信号および色差信号に変換するものである。また、この帯域分離部２２０は、変換後の輝度信号の低周波数成分である低周波可視光輝度信号と変換後の色差信号の低周波数成分である低周波色差信号とを生成する。さらに、帯域分離部２２０は、分離部３４から出力された赤外光輝度信号の高周波数成分である高周波赤外光輝度信号の生成を行う。帯域分離部２２０の構成の詳細については後述する。

低周波信号合成部２３０は、帯域分離部２２０から出力された低周波可視光輝度信号及び低周波赤外光輝度信号等から低周波合成信号を生成するものである。低周波信号合成部２３０の構成の詳細については後述する。

高周波信号補完部２４０は、低周波信号合成部２３０により生成された低周波合成信号に対して帯域分離部２２０により生成された高周波可視光信号及び高周波赤外光輝度信号を補完するものである。後述するように、帯域分離部２２０により、可視光輝度信号および色差信号の高周波数成分が除去される。高い周波数のノイズが除去されるとともに、画像のエッジ部分のように急峻な信号の変化を有する部分の画像信号においても高周波数成分が除去される。このため、エッジ部分の信号の変化が緩慢なものとなり、エッジのぼけを生じる。そこで、高周波信号補完部２４０により、高周波数成分の補完を行いエッジのぼけ等の画質の低下を防止する。高周波信号補完部２４０により高周波数成分が補完された画像信号を合成信号と称する。高周波信号補完部２４０の構成の詳細については後述する。

画像信号切替部２５０は、可視光信号、合成信号および赤外光輝度信号の切替えを行うものである。この画像信号切替部２５０は、可視光フレームの画像の明るさに応じて可視光信号、合成信号および赤外光輝度信号の切替えを行う。この切替の際、画像の遷移を滑らかに行う。例えば、可視光信号から合成信号に切り替える際には、可視光信号の画像が徐々に合成信号に遷移するように制御される。この切替えの際に合成信号を全部または一部出力することにより、赤外光照射中にカラー画像を出力するモードである「カラーナイトビューモード」を実現することができる。画像信号切替部２５０の構成の詳細については後述する。なお、合成部２００の構成は、上述の例に限定されるものではない。例えば、画像信号切替部２５０を省略し、可視光信号、合成信号および赤外光輝度信号を個別に出力する構成にすることもできる。

［帯域分離部の構成］
図７は、本技術の第１の実施の形態における帯域分離部２２０の構成例を示す図である。この帯域分離部２２０は、輝度色差信号変換部２２１と、ローパスフィルタ＃１（２２２）乃至＃３（２２４）と、減算部＃１（２２５）および＃２（２２６）とを備える。

輝度色差信号変換部２２１は、ホワイトバランス調整部３７から出力された可視光信号（Ｒ＿ＮＲ'、Ｇ＿ＮＲ'およびＢ＿ＮＲ'）を可視光輝度信号Ｙおよび色差信号ＣｒおよびＣｂに変換するものである。ここで、色差信号Ｃｒは赤色画像信号と可視光輝度信号Ｙとの差分に基づく信号であり、色差信号Ｃｂは青色画像信号と可視光輝度信号Ｙとの差分に基づく信号である。

ローパスフィルタ＃１（２２２）乃至＃３（２２４）は、画像信号等の高周波数成分を減衰させることにより、低周波数成分の画像信号を生成するものである。高周波数成分の減衰により、画像信号のノイズの除去を行うことができ、画像信号の視認性を向上させることができる。ローパスフィルタ＃１（２２２）は、色差信号ＣｒおよびＣｂの低周波数成分である低周波色差信号Ｃｒ＿ＬＦおよびＣｂ＿ＬＦを生成する。ローパスフィルタ＃２（２２３）は、可視光輝度信号Ｙの低周波数成分である低周波可視光輝度信号Ｙ＿ＬＦを生成する。ローパスフィルタ＃３（２２４）は、２次元ノイズリダクション部３６から出力された赤外光輝度信号Ｙｉｒ＿ＮＲの低周波数成分である低周波赤外光輝度信号Ｙｉｒ＿ＬＦを生成する。低周波色差信号Ｃｒ＿ＬＦおよびＣｂ＿ＬＦと低周波可視光輝度信号Ｙ＿ＬＦと低周波赤外光輝度信号Ｙｉｒ＿ＬＦとは、低周波信号合成部２３０に対して出力される。これらのローパスフィルタ＃１（２２２）乃至＃３（２２４）としてデジタルフィルタを使用することができる。

減算部＃１（２２５）および＃２（２２６）は、画像信号等の減算を行うものである。減算部＃１（２２５）は、可視光輝度信号Ｙから低周波可視光輝度信号Ｙ＿ＬＦを減算するものである。これにより、可視光輝度信号Ｙの高周波数成分である高周波可視光輝度信号Ｙ＿ＨＦが生成される。一方、減算部＃２（２２６）は、分離部３４により出力された赤外光輝度信号Ｙｉｒから低周波赤外光輝度信号Ｙｉｒ＿ＬＦを減算するものである。これにより、赤外光輝度信号Ｙｉｒの高周波数成分である高周波赤外光輝度信号Ｙｉｒ＿ＨＦが生成される。高周波可視光輝度信号Ｙ＿ＨＦおよび高周波赤外光輝度信号Ｙｉｒ＿ＨＦは、高周波信号補完部２４０に対して出力される。

［低周波信号合成部の構成］
図８は、本技術の第１の実施の形態における低周波信号合成部２３０の構成例を示す図である。この低周波信号合成部２３０は、色差信号レベル変換部２３１と、赤外光信号利得調整部２３７と、画像信号変換部２３２と、混合比率生成部２３４と、混合部２３６とを備える。

色差信号レベル変換部２３１は、利得調整部２１０から出力された色差信号利得調整情報に基づいて帯域分離部２２０から出力された低周波色差信号Ｃｒ＿ＬＦおよびＣｂ＿ＬＦの信号レベルを変換するものである。対象の画像信号が動きのある領域の画像信号である場合に、低周波色差信号Ｃｒ＿ＬＦおよびＣｂ＿ＬＦの信号レベルを低下させる。これにより、低周波色差信号Ｃｒ＿ＬＦおよびＣｂ＿ＬＦに含まれるノイズ成分を減衰させることができる。

混合比率生成部２３４は、低周波可視光信号と低周波非可視光信号とを混合する際の比率である混合比率を低周波可視光信号および低周波非可視光信号に基づいて生成するものである。この混合比率生成部２３４は、帯域分離部２２０から出力された低周波可視光輝度信号Ｙ＿ＬＦおよび低周波赤外光輝度信号Ｙｉｒ＿ＬＦに基づいて混合比率α１を生成する。これらの高周波数成分が除去された信号に基づいて混合比率を生成するため、ノイズの影響を削減することができる。混合比率α１は、例えば、所定の変換テーブルに基づいて生成することができる。混合比率α１の生成の詳細については後述する。

混合部２３６は、混合比率生成部２３４により生成された混合比率α１に基づいて、低周波可視光信号および低周波非可視光信号を混合するものである。この混合は、例えば、アルファブレンドにより行うことができる。ここで、同図の混合部２３６は、帯域分離部２２０から出力された低周波可視光輝度信号Ｙ＿ＬＦおよび低周波赤外光輝度信号Ｙｉｒ＿ＬＦを混合して低周波輝度信号を生成する。この混合は、次式に基づいて行うことができる。
Ｙ＿ＣＮＶ＝Ｙ＿ＬＦ×（１−α１）＋Ｙｉｒ＿ＬＦ×α１
ここで、Ｙ＿ＣＮＶは、低周波輝度信号を表す。このように、高周波数成分が除去された画像信号同士を混合するため、ノイズが低減された低周波輝度信号を生成することができる。

赤外光信号利得調整部２３７は、混合部２３６から出力された低周波輝度信号Ｙ＿ＣＮＶと帯域分離部２２０から出力された低周波赤外光輝度信号Ｙｉｒ＿ＬＦとを混合するものである。この混合は、混合比率α２に基づいて行われる。赤外光信号利得調整部２３７は、利得調整部２１０から出力された赤外光信号利得調整情報に基づいて混合比率α２を生成する。具体的には、対象の画像信号が動きのある領域の画像信号である場合に、低周波赤外光輝度信号の混合比率を高める混合比率α２が生成される。混合は、次式に基づいて行うことができる。
Ｙ＿ＣＮＶ'＝Ｙ＿ＣＮＶ×（１−α２）＋Ｙｉｒ＿ＬＦ×α２
ここで、Ｙ＿ＣＮＶ'は、混合後の信号である。これにより、動きのある領域における画像信号の際には、赤外光信号の混合比率を高めることができ、ノイズの影響を削減することができる。

画像信号変換部２３２は、輝度信号および色差信号をＲ、ＧおよびＢ信号に変換するものである。この画像信号変換部２３２は、赤外光信号利得調整部２３７により生成された低周波輝度信号Ｙ＿ＣＮＶ'と色差信号レベル変換部２３１から出力された低周波色差信号Ｃｒ＿ＬＦおよびＣｂ＿ＬＦとを低周波合成信号（Ｒ＿ＣＮＶ、Ｇ＿ＣＮＶおよびＢ＿ＣＮＶ）に変換する。変換は、公知の変換式に基づいて行うことができる。画像信号変換部２３２により変換された低周波合成信号は、高周波信号補完部混合部２４０に対して出力される。

［高周波信号補完部の構成］
図９は、本技術の第１の実施の形態における高周波信号補完部２４０の構成例を示す図である。この高周波信号補完部２４０は、高周波信号生成部２４１と、高周波信号加算部２４２とを備える。

高周波信号生成部２４１は、帯域分離部２２０から出力された高周波可視光輝度信号Ｙ＿ＨＦおよび高周波赤外光輝度信号Ｙｉｒ＿ＨＦに基づいて高周波信号を生成するものである。この高周波信号の生成は、例えば、高周波可視光輝度信号Ｙ＿ＨＦおよび高周波赤外光輝度信号Ｙｉｒ＿ＨＦを混合することにより生成することができる。この際、例えば、高周波可視光輝度信号Ｙ＿ＨＦおよび高周波赤外光輝度信号Ｙｉｒ＿ＨＦのうち大きなエッジ部分を含む信号の混合比率を高めて混合する方式を採用することができる。また、例えば、これらの信号の混合を行わずに、高周波可視光輝度信号Ｙ＿ＨＦおよび高周波赤外光輝度信号Ｙｉｒ＿ＨＦの何れかを高周波信号として出力することも可能である。この際、例えば、高周波可視光輝度信号Ｙ＿ＨＦおよび高周波赤外光輝度信号Ｙｉｒ＿ＨＦのうち大きなエッジ部分を含む信号を選択し、高周波信号として出力することもできる。

大きなエッジ部分を含む信号の混合比率を高める方式または大きなエッジ部分を含む信号を選択する方式を採用することにより、可視光信号および赤外光信号の何れかにエッジが存在する場合において、被写体の視認性を確保することができる。

可視光および赤外光の反射率は、被写体により大きく変化する場合がある。例えば、塗料または染料により模様が付けられた布地が被写体になる場合には、可視光および赤外光の反射率が塗料等により大きく変化し、可視光では模様の輝度変化を観測できるが、赤外光では模様の輝度変化を観測できない場合が多く発生する。このような場合に上述の「大きなエッジを選択する機能」を用いることにより、可視光が非常に微弱な領域では赤外光の高周波信号を用い、可視光がある程度以上に大きな領域では可視光の高周波信号を用いることができる。このように、高周波の可視光信号および赤外光信号の混合比率を、低周波の可視光信号および赤外光信号の混合比率と独立させることにより、被写体の視認性を確保することができる。

高周波信号加算部２４２は、低周波信号合成部２３０により出力された低周波輝度信号と高周波信号生成部２４１により生成された高周波信号とを加算するものである。この加算は、低周波輝度信号を構成する赤色画像信号（Ｒ＿ＣＮＶ）、緑色画像信号（Ｇ＿ＣＮＶ）および青色画像信号（Ｂ＿ＣＮＶ）のそれぞれに高周波信号を加算することにより行うことができる。これにより、図７において説明したローパスフィルタ＃１（２２２）乃至＃３（２２４）において除去された画像信号の高周波数成分を補完することができ、画像のエッジ部分のぼけを防ぐことができる。高周波信号加算部２４２は、高周波数成分が補完された合成信号（Ｒ＿ＣＮＶ'、Ｇ＿ＣＮＶ'およびＢ＿ＣＮＶ'）を画像信号切替部２５０に対して出力する。

なお、上述の加算の最も簡単な例として次式に基づく方式を挙げることができる。
Ｒ＿ＣＮＶ'＝Ｒ＿ＣＮＶ＋ＨＦ
Ｇ＿ＣＮＶ'＝Ｇ＿ＣＮＶ＋ＨＦ
Ｂ＿ＣＮＶ'＝Ｂ＿ＣＮＶ＋ＨＦ
ここで、ＨＦは、高周波信号生成部２４１により生成された高周波信号を表す。

［画像信号切替部の構成］
図１０は、本技術の第１の実施の形態における画像信号切替部２５０の構成例を示す図である。この画像信号切替部２５０は、混合部２５２および２５３を備える。

混合部２５２は、分離部３４から出力された赤外光輝度信号Ｙｉｒと高周波信号補完部２４０から出力された合成信号（Ｒ＿ＣＮＶ'、Ｇ＿ＣＮＶ'およびＢ＿ＣＮＶ'）とを混合するものである。混合は、図８において説明した混合部２３６と同様にアルファブレンドにより行うことができる。具体的には、次のように行うことができる。可視光フレームの画像が所定の照度、例えば０．１ルクス（ｌｘ）未満の場合には、赤外光輝度信号Ｙｉｒの比率を値「１．０」にする。可視光フレームの画像が０．１乃至０．５ルクスの範囲の照度の場合には、混合部２５２は、赤外光輝度信号Ｙｉｒの比率を値「１．０」から低下させ、合成信号の比率を上昇させて混合を行う。可視光フレームの画像の照度が０．５ルクスを超える場合には、混合部２５２は、合成信号の混合比率を値「１．０」にする。この場合には、合成信号のみが出力される。

混合部２５３は、混合部２５２から出力された画像信号とホワイトバランス調整部３７から出力された可視光信号（Ｒ＿ＮＲ'、Ｇ＿ＮＲ'およびＢ＿ＮＲ'）とを混合するものである。この混合部２５３は、可視光フレームの画像が所定の照度、例えば、８ルクス未満の場合、混合部２５２から出力された画像信号を出力する。可視光フレームの画像の照度が８乃至１０ルクスの範囲の場合には、混合部２５２から出力された画像信号と可視光信号とを混合する。この際、混合部２５２から出力された画像信号の混合比率を徐々に低下させて混合を行う。可視光フレームの画像の照度が１０ルクスを超える場合には、混合部２５３は、可視光信号のみを出力する。

これら混合部２５２および２５３により、画像信号の切替えが行われる。なお、画像信号の混合の際の混合比率を図１において説明した制御部１４の制御に基づいて変更することも可能である。

［混合比率α１の生成］
図１１は、本技術の実施の形態における混合比率の一例を示す図である。同図は、図８において説明した混合比率生成部２３４における混合比率α１の生成に使用する変換テーブルの例を表したものである。この変換テーブルは、低周波可視光信号および低周波非可視光信号を混合比率に変換するものである。同図においては、規格化された低周波可視光輝度信号Ｙ＿ＬＦおよび低周波赤外光輝度信号Ｙｉｒ＿ＬＦを混合比率α１に変換する。ここで、低周波可視光信号が所定の閾値より小さい場合に混合比率を所定の値に制限して混合信号を低周波非可視光信号より小さくすることができる。同図の例では、低周波可視光輝度信号Ｙ＿ＬＦが所定の閾値より小さい場合には、混合比率α１を所定の値に制限して混合信号である低周波輝度信号を低周波非可視光信号より小さくすることができる。例えば、同図における範囲４１１により表したように、上記所定の閾値を値「０．１」に設定し、低周波可視光輝度信号Ｙ＿ＬＦがこの閾値より小さい場合には、混合比率α１を所定の値、例えば値「０．２５」に制限することができる。これにより、視認性を向上させることができ、画質の低下を防止することができる。

また、低周波可視光信号または低周波非可視光信号の何れが大きいかに基づいて混合比率を生成することもできる。同図の例では、低周波可視光輝度信号Ｙ＿ＬＦおよび低周波赤外光輝度信号Ｙｉｒ＿ＬＦの何れが大きいかに基づいて前記混合比率を生成することができる。例えば、同図における領域４１２（網掛けが付された領域）のように、低周波可視光輝度信号Ｙ＿ＬＦが低周波赤外光輝度信号Ｙｉｒ＿ＬＦより小さい場合に、混合比率α１を略０にすることができる。すなわち、低周波非可視光信号の混合比率を略０にすることができる。これにより、色再現性を向上させた低周波輝度信号を生成することができ、画質の低下を防止することができる。

また、例えば、同図における領域４１３（斜線が付された領域）のように、低周波可視光輝度信号Ｙ＿ＬＦが低周波赤外光輝度信号Ｙｉｒ＿ＬＦより大きい場合に、混合比率α１を０．５にすることができる。すなわち、低周波可視光信号および低周波非可視光信号の比率を略等しくすることができる。これにより、低周波可視光信号が飽和した際の視認性の低下を防止することができる。また、ノイズ成分の少ない低周波赤外光輝度信号Ｙｉｒ＿ＬＦを加えることにより、ノイズが少ない低周波輝度信号を生成することができ、画質の低下を防止することができる。

このように、低周波可視光輝度信号Ｙ＿ＬＦおよび低周波赤外光輝度信号Ｙｉｒ＿ＬＦに基づいて混合比率α１を生成することにより、合成信号の視認性や色再現性を向上させることができ、画質の低下を防止することができる。なお、混合比率α１の生成方法は、上述の例に限定されるものではない。例えば、同図において説明した変換テーブルと同様の混合比率α１を出力する関数を使用する構成にすることもできる。

［低周波信号生成処理］
図１２は、本技術の実施の形態における低周波輝度信号生成処理の処理手順の一例を示す図である。まず、輝度色差信号変換部２２１が、可視光輝度信号Ｙを生成する（ステップＳ９０１）。次に、ローパスフィルタ＃２（２２３）が低周波可視光輝度信号Ｙ＿ＬＦを生成する（ステップＳ９０２）。次に、ローパスフィルタ＃３（２２４）が低周波赤外光輝度信号Ｙｉｒ＿ＬＦを生成する（ステップＳ９０３）。次に、混合比率生成部２３４が、低周波可視光輝度信号Ｙ＿ＬＦおよび低周波赤外光輝度信号Ｙｉｒ＿ＬＦに基づいて混合比率α１を生成する（ステップＳ９０４）。次に、混合部２３６が低周波可視光輝度信号Ｙ＿ＬＦおよび低周波赤外光輝度信号Ｙｉｒ＿ＬＦを混合比率α１に基づいて混合し（ステップＳ９０５）、低周波輝度信号を生成する。

このように、本技術の第１の実施の形態では、低周波可視光輝度信号および低周波赤外光輝度信号に基づいて混合比率が生成される。この混合比率に基づいて低周波可視光輝度信号および低周波赤外光輝度信号が混合されて低周波合成信号が生成される。このため、可視光信号と比較して赤外光信号の値が大きい場合、色再現性を向上させる混合比率を選択することができる。また、可視光または赤外光の何れか一方のみが被写体から届く場合であっても最適な輝度信号を選択することができ、高い視認性を得ることができる。

さらに、本技術の第１の実施の形態では、可視光信号の高周波数成分である高周波可視光信号と非可視光信号の高周波数成分である高周波非可視光信号とを混合して高周波数成分を補完する際、これらのうち大きなエッジを有する信号を選択する。または、これらのうち大きなエッジを有する信号の比率を高めて混合する。これにより、可視光および赤外光の何れかにエッジが存在する場合において被写体の視認性を確保することができる。

＜２．第２の実施の形態＞
上述の実施の形態では、ローパスフィルタ＃１（２２２）等により画像信号の高周波数成分を除去していた。これに対し、本技術の第２の実施の形態では、２次元ノイズリダクション部３５および３６において高周波数成分の除去を行う。これにより、信号処理部１３の構成を簡略化することができる。

［合成部の構成］
図１３は、本技術の第２の実施の形態における合成部２００の構成例を示す図である。同図の合成部２００は、図６おいて説明した合成部２００と比較して、帯域分離部２２０および高周波信号補完部２４０の代わりに帯域分離部２６０および高周波信号補完部２７０を備える。また、同図の低周波信号合成部２３０は、輝度信号Ｙ、２次元ノイズリダクション部３６から出力された赤外光輝度信号Ｙｉｒ＿ＮＲならびに色差信号ＣｒおよびＣｂから低周波合成信号を生成する。すなわち、図６における信号Ｙｉｒ＿ＬＦ、Ｙ＿ＬＦ、Ｃｒ＿ＬＦおよびＣｂ＿ＬＦがそれぞれ同図の信号Ｙｉｒ＿ＮＲ、Ｙ、ＣｒおよびＣｂに対応する。

帯域分離部２６０は、高周波信号補完部２７０に対して高周波赤外光輝度信号Ｙｉｒ＿ＨＦのみを出力する。また、帯域分離部２６０は、低周波可視光輝度信号Ｙ＿ＬＦと低周波色差信号Ｃｒ＿ＬＦおよびＣｂ＿ＬＦとに代えて可視光輝度信号Ｙと色差信号ＣｒおよびＣｂとを低周波信号合成部２３０に対して出力する。なお、低周波信号合成部２３０には、低周波赤外光輝度信号Ｙｉｒ＿ＬＦに代えて２次元ノイズリダクション部３６から出力された赤外光輝度信号Ｙｉｒ＿ＮＲが入力される。なお、本技術の第２の実施の形態における２次元ノイズリダクション部３５および３６（図４において説明）は、画像信号の高周波数成分を除去することによりノイズを除去する２次元ノイズリダクション処理を行う。なお、２次元ノイズリダクション部３５および３６は、特許請求の範囲に記載のノイズリダクション部の一例である。

［帯域分離部の構成］
図１４は、本技術の第２の実施の形態における帯域分離部２６０の構成例を示す図である。この帯域分離部２６０は、図７において説明した帯域分離部２２０と比較して、ローパスフィルタ＃１（２２２）乃至＃３（２２４）および減算部＃２（２２６）を備える必要はない。同図の減算部２２６は、分離部３４から出力された赤外光輝度信号Ｙｉｒから２次元ノイズリダクション部３６から出力された赤外光輝度信号Ｙｉｒ＿ＮＲを減算して高周波赤外光輝度信号Ｙｉｒ＿ＨＦを生成する。また、輝度色差信号変換部２２１が生成した輝度信号Ｙと色差信号ＣｒおよびＣｂは、低周波信号合成部２３０に対して出力される。このように、２次元ノイズリダクション部３５および３６において画像信号の高周波数成分の除去が行われるため、ローパスフィルタ＃１（２２２）乃至＃３（２２４）を省略することができる。

［高周波信号補完部の構成］
図１５は、本技術の第２の実施の形態における高周波信号補完部２７０の構成例を示す図である。この高周波信号補完部２７０は、図９において説明した高周波信号補完部２４０と比べて、高周波信号生成部２４１を備える必要はない。同図の高周波信号加算部２４２は、低周波信号合成部２３０により出力された低周波合成信号（Ｒ＿ＣＮＶ、Ｇ＿ＣＮＶおよびＢ＿ＣＮＶ）と帯域分離部２６０から出力された高周波赤外光輝度信号Ｙｉｒ＿ＨＦとを加算する。なお、３次元ノイズリダクション部１００と２次元ノイズリダクション部３５および３６とにおいて画像のエッジ部分が保全される方式のノイズリダクション処理を行う際には、上述の高周波信号の補完を省略することもできる。

これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。

このように、本技術の第２の実施の形態によれば、画像信号の高周波数成分を除去する２次元ノイズリダクション部３５および３６を使用することにより、ローパスフィルタ＃１（２２２）乃至＃３（２２４）を省略することができる。これにより、信号処理部１３の構成を簡略化することができる。

＜変形例＞
上述の実施の形態では、Ｗ＋ＩＲ信号に対してデモザイク処理を行うことにより生成された信号を赤外光輝度信号Ｙｉｒとして処理を行っていたが、赤外光に対応する画像信号（ＩＲ信号）を赤外光輝度信号Ｙｉｒとして処理を行ってもよい。これにより、Ｗ＋ＩＲ画素を含まない撮像素子１２を使用する場合であっても、本技術を適用することができる。例えば、赤色光に対応する赤色画素（Ｒ画素）、緑色光に対応する緑色画素（Ｇ画素）、青色光に対応する青色画素（Ｂ画素）および赤外光に対応する赤外光画素（ＩＲ画素）を有する撮像素子１２を使用する場合が該当する。この場合、Ｒ、ＧおよびＢ画素により生成された可視光信号（Ｒ、ＧおよびＢ信号）の低周波数成分である低周波可視光信号と赤外光信号（ＩＲ信号）の低周波数成分である低周波赤外光信号とに基づいて混合比率α１を生成する。この生成された混合比率α１に基づいて低周波可視光信号および低周波赤外光信号の混合を行うことができる。なお、混合比率α１の生成は、図１１において説明した方式により行うことができる。

なお、撮像素子１２としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）型およびＣＣＤ（Charge Coupled Device）型の撮像素子を使用することができる。また、図３においてローリングシャッタ方式の撮像素子１２の使用を想定したが、グローバルシャッタ方式の撮像素子を使用することも可能である。さらに、赤外光以外の光、例えば、紫外光を非可視光信号として処理することも可能である。

これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０の構成と同様であるため、説明を省略する。

上述のように、本技術の実施の形態では、低周波可視光信号および低周波赤外光信号に基づいて混合比率が生成され、この混合比率に基づいて低周波可視光信号および低周波赤外光信号が混合されて、画像信号が生成される。このため、赤外光を照射しながら可視光信号と赤外光信号とを混合して画像信号を生成する場合において、生成された画像信号の画質の低下を防止することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

なお、本技術は以下のような構成もとることができる。
（１）可視光信号の低周波数成分である低周波可視光信号と非可視光信号の低周波数成分である低周波非可視光信号とを混合する際の比率である混合比率を前記低周波可視光信号および前記低周波非可視光信号に基づいて生成する混合比率生成部と、
前記低周波可視光信号および前記低周波非可視光信号を前記混合比率に基づいて混合して混合信号を生成する混合部と
を具備する信号処理装置。
（２）前記混合比率生成部は、前記低周波可視光信号または前記低周波非可視光信号の何れが大きいかに基づいて前記混合比率を生成する前記（１）に記載の信号処理装置。
（３）前記混合比率生成部は、前記低周波可視光信号が前記低周波非可視光信号より小さい場合に前記混合における前記低周波非可視光信号の比率を略０にする前記混合比率を生成する前記（２）に記載の信号処理装置。
（４）前記混合比率生成部は、前記低周波可視光信号が前記低周波非可視光信号より大きい場合に前記混合における前記低周波可視光信号および前記低周波非可視光信号の比率を略等しくする前記混合比率を生成する前記（２）に記載の信号処理装置。
（５）前記混合比率生成部は、前記低周波可視光信号が所定の閾値より小さい場合に前記混合比率を所定の値に制限して前記混合信号を前記低周波非可視光信号より小さくする前記（１）に記載の信号処理装置。
（６）前記非可視光信号の高周波数成分である高周波非可視光信号を前記混合信号に加算する高周波信号加算部をさらに具備する前記（１）から（５）のいずれかに記載の信号処理装置。
（７）前記高周波信号加算部は、前記可視光信号の高周波数成分である高周波可視光信号と前記高周波非可視光信号とを前記混合信号に加算する前記（６）に記載の信号処理装置。
（８）前記可視光信号から前記低周波可視光信号を生成する可視光信号フィルタと、
前記非可視光信号から前記低周波非可視光信号を生成する非可視光信号フィルタと
をさらに具備し、
前記混合比率生成部は、前記生成された低周波可視光信号と前記生成された低周波非可視光信号とに基づく前記混合比率を生成し、
前記混合部は、前記生成された低周波可視光信号と前記生成された低周波非可視光信号とを混合する
前記（１）から（７）のいずれかに記載の信号処理装置。
（９）前記可視光信号フィルタは、ローパスフィルタにより構成される前記（８）に記載の信号処理装置。
（１０）前記非可視光信号フィルタは、ローパスフィルタにより構成される前記（８）に記載の信号処理装置。
（１１）前記可視光信号フィルタは、前記可視光信号のノイズを除去するノイズリダクション部により構成される前記（８）に記載の信号処理装置。
（１２）前記非可視光信号フィルタは、前記非可視光信号のノイズを除去するノイズリダクション部により構成される前記（８）に記載の信号処理装置。
（１３）前記低周波可視光信号は、可視光輝度信号の低周波数成分である低周波可視光輝度信号であり、
前記混合比率生成部は、前記低周波可視光輝度信号と前記低周波非可視光信号とに基づいて前記混合比率を生成し、
前記混合部は、前記低周波可視光輝度信号および前記低周波非可視光信号を混合する
前記（１）から（１２）のいずれかに記載の信号処理装置。
（１４）前記低周波非可視光信号は、赤外光に対応する赤外光信号の低周波数成分である低周波赤外光信号である前記（１）から（１３）のいずれかに記載の信号処理装置。
（１５）可視光信号および非可視光信号を生成する撮像素子と、
前記生成された可視光信号の低周波数成分である低周波可視光信号と前記生成された非可視光信号の低周波数成分である低周波非可視光信号とを混合する際の比率である混合比率を前記低周波可視光信号および前記低周波非可視光信号に基づいて生成する混合比率生成部と、
前記低周波可視光信号および前記低周波非可視光信号を前記混合比率に基づいて混合して混合信号を生成する混合部と
を具備する撮像装置。
（１６）可視光信号の低周波数成分である低周波可視光信号と非可視光信号の低周波数成分である低周波非可視光信号とを混合する際の比率である混合比率を前記低周波可視光信号および前記低周波非可視光信号に基づいて生成する混合比率生成手順と、
前記低周波可視光信号および前記低周波非可視光信号を前記混合比率に基づいて混合して混合信号を生成する混合手順と
を具備する信号処理方法。

１０ 撮像装置
１１ レンズ
１２ 撮像素子
１３ 信号処理部
１４ 制御部
１５ 赤外光照射部
３１、３２ デモザイク部
３３、３４ 分離部
３５、３６ ２次元ノイズリダクション部
３７ ホワイトバランス調整部
３８ 補正部
３９、２２１ 輝度色差信号変換部
１００ ３次元ノイズリダクション部
１１０、１３０ フレームメモリ
１２０ 可視光フレームノイズリダクション部
１４０ 赤外光照射フレームノイズリダクション部
２００ 合成部
２１０ 利得調整部
２２０、２６０ 帯域分離部
２２２〜２２４ ローパスフィルタ
２２６、２２６ 減算部
２３０ 低周波信号合成部
２３１ 色差信号レベル変換部
２３２ 画像信号変換部
２３４ 混合比率生成部
２３６ 混合部
２３７ 赤外光信号利得調整部
２４０、２７０ 高周波信号補完部
２４１ 高周波信号生成部
２４２ 高周波信号加算部
２５０ 画像信号切替部
２５２、２５３ 混合部
４０１ 画素

Claims (16)

1. 可視光信号の低周波数成分である低周波可視光信号と非可視光信号の低周波数成分である低周波非可視光信号とを混合する際の比率である混合比率を前記低周波可視光信号および前記低周波非可視光信号に基づいて生成する混合比率生成部と、
   前記低周波可視光信号および前記低周波非可視光信号を前記混合比率に基づいて混合して混合信号を生成する混合部と
   を具備する信号処理装置。
2. 前記混合比率生成部は、前記低周波可視光信号または前記低周波非可視光信号の何れが大きいかに基づいて前記混合比率を生成する請求項１記載の信号処理装置。
3. 前記混合比率生成部は、前記低周波可視光信号が前記低周波非可視光信号より小さい場合に前記混合における前記低周波非可視光信号の比率を略０にする前記混合比率を生成する請求項２記載の信号処理装置。
4. 前記混合比率生成部は、前記低周波可視光信号が前記低周波非可視光信号より大きい場合に前記混合における前記低周波可視光信号および前記低周波非可視光信号の比率を略等しくする前記混合比率を生成する請求項２記載の信号処理装置。
5. 前記混合比率生成部は、前記低周波可視光信号が所定の閾値より小さい場合に前記混合比率を所定の値に制限して前記混合信号を前記低周波非可視光信号より小さくする請求項１記載の信号処理装置。
6. 前記非可視光信号の高周波数成分である高周波非可視光信号を前記混合信号に加算する高周波信号加算部をさらに具備する請求項１記載の信号処理装置。
7. 前記高周波信号加算部は、前記可視光信号の高周波数成分である高周波可視光信号と前記高周波非可視光信号とを前記混合信号に加算する請求項６記載の信号処理装置。
8. 前記可視光信号から前記低周波可視光信号を生成する可視光信号フィルタと、
   前記非可視光信号から前記低周波非可視光信号を生成する非可視光信号フィルタと
   をさらに具備し、
   前記混合比率生成部は、前記生成された低周波可視光信号と前記生成された低周波非可視光信号とに基づく前記混合比率を生成し、
   前記混合部は、前記生成された低周波可視光信号と前記生成された低周波非可視光信号とを混合する
   請求項１記載の信号処理装置。
9. 前記可視光信号フィルタは、ローパスフィルタにより構成される請求項８記載の信号処理装置。
10. 前記非可視光信号フィルタは、ローパスフィルタにより構成される請求項８記載の信号処理装置。
11. 前記可視光信号フィルタは、前記可視光信号のノイズを除去するノイズリダクション部により構成される請求項８記載の信号処理装置。
12. 前記非可視光信号フィルタは、前記非可視光信号のノイズを除去するノイズリダクション部により構成される請求項８記載の信号処理装置。
13. 前記低周波可視光信号は、可視光輝度信号の低周波数成分である低周波可視光輝度信号であり、
    前記混合比率生成部は、前記低周波可視光輝度信号と前記低周波非可視光信号とに基づいて前記混合比率を生成し、
    前記混合部は、前記低周波可視光輝度信号および前記低周波非可視光信号を混合する
    請求項１記載の信号処理装置。
14. 前記低周波非可視光信号は、赤外光に対応する赤外光信号の低周波数成分である低周波赤外光信号である請求項１記載の信号処理装置。
15. 可視光信号および非可視光信号を生成する撮像素子と、
    前記生成された可視光信号の低周波数成分である低周波可視光信号と前記生成された非可視光信号の低周波数成分である低周波非可視光信号とを混合する際の比率である混合比率を前記低周波可視光信号および前記低周波非可視光信号に基づいて生成する混合比率生成部と、
    前記低周波可視光信号および前記低周波非可視光信号を前記混合比率に基づいて混合して混合信号を生成する混合部と
    を具備する撮像装置。
16. 可視光信号の低周波数成分である低周波可視光信号と非可視光信号の低周波数成分である低周波非可視光信号とを混合する際の比率である混合比率を前記低周波可視光信号および前記低周波非可視光信号に基づいて生成する混合比率生成手順と、
    前記低周波可視光信号および前記低周波非可視光信号を前記混合比率に基づいて混合して混合信号を生成する混合手順と
    を具備する信号処理方法。

Images