JP2010161636A

JP2010161636A - 撮影装置用フィルタ及び撮影画像処理装置

Info

Publication number: JP2010161636A
Application number: JP2009002562A
Authority: JP
Inventors: Yoshikatsu Kimura; 好克木村; Yoshiki Ninomiya; 芳樹二宮
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2009-01-08
Filing date: 2009-01-08
Publication date: 2010-07-22

Abstract

【課題】近赤外光フィルタを用いて、解像度が高く視認性のよい画像を得ることができるようにする。
【解決手段】近赤外光フィルタが近接するように配置されたカラーフィルタ群１４を用いて、近赤外光フィルタを透過した近赤外光が、撮影装置の対応する画素の受光素子に入射され、撮影装置によって、入射された光に応じた信号を出力する。また、近赤外光フィルタに隣接するように配置された可視光フィルタを透過した可視光が、撮影装置の対応する画素の受光素子に入射され、撮影装置によって、入射された光に応じた信号を出力する。可視光フィルタに対応する複数の画素の受光素子から出力された信号を補間して可視光画像データを生成すると共に、近赤外光フィルタに対応する複数の画素の受光素子から出力された信号を補間して近赤外光画像データを生成する。
【選択図】図２

Description

本発明は、撮影装置用フィルタ及び撮影画像処理装置に係り、特に、可視光フィルタと近赤外光フィルタとを備えた撮影装置用フィルタ及び撮影画像処理装置に関する。

従来より、ＲＧＢの各カラーフィルタで透過した可視光を検出して生成される可視画像データと、赤外線透過フィルタで透過した赤外線を検出して生成される赤外画像データとを用いて、擬似カラー画像を生成するカラー画像再生装置が知られている（特許文献１）。このカラー画像再生装置では、各種フィルタが同じ割合で配置されている。

特開２００７−１８４８０５号公報

しかしならが、上記特許文献１に記載の技術では、赤外線を透過するフィルタの割合が少ないため、得られる赤外画像データの解像度が低くなり、視認性が低下してしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、近赤外光フィルタを用いて、解像度が高く視認性のよい画像を得ることができる撮影装置用フィルタ及び撮影画像処理装置を提供することを目的とする。

上記の目的を達成するために本発明に係る撮影装置用フィルタは、２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備えた撮影装置に対して入射される光を透過し、かつ、前記複数の画素に対応して２次元に配列された複数のフィルタを備えた撮影装置用フィルタであって、前記複数のフィルタは、可視光を透過する複数の可視光フィルタと、近赤外光を透過させる複数の近赤外光フィルタとから構成され、前記近赤外光フィルタに対して最も近い距離に位置するフィルタを、前記可視光フィルタとし、次に近い距離に位置するフィルタを前記近赤外光フィルタとするように配置されていることを特徴としている。

本発明に係る撮影装置用フィルタによれば、他の近赤外光フィルタに対して次に近い距離に位置する近赤外光フィルタを透過した近赤外光が、対応する画素の受光素子に入射され、入射された光に応じた信号を出力する。また、近赤外光フィルタに対して最も近い距離に位置する可視光フィルタを透過した可視光が、対応する画素の受光素子に入射され、入射された光に応じた信号を出力する。

このように、近赤外光フィルタが近い距離に位置するように配置されたフィルタを用いて、撮影装置によって、透過した近赤外光に応じた信号を出力することにより、解像度が高く視認性のよい画像を得ることができる。

本発明の複数の可視光フィルタを、各々波長域が異なる３波長域を透過する３種類のフィルタで構成することができる。

本発明の３種類のフィルタは、赤色光を透過するフィルタ、青色光を透過するフィルタ、及び緑色光を透過するフィルタであって、ベイヤー配列となるように配置することができる。これによって、色情報の再現性を向上させることができる。

本発明に係る撮影画像処理装置は、上記の撮影装置用フィルタと、２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備えた撮影装置と、前記可視光フィルタに対応する複数の画素の前記受光素子から出力された信号を補間して可視光画像を生成すると共に、前記近赤外光フィルタに対応する複数の画素の前記受光素子から出力された信号を補間して近赤外光画像を生成する補間処理手段とを含んで構成されている。

本発明に係る撮影画像処理装置によれば、他の近赤外光フィルタに対して次に近い距離に位置する近赤外光フィルタを透過した近赤外光が、撮影装置の対応する画素の受光素子に入射され、撮影装置によって、入射された光に応じた信号を出力する。また、近赤外光フィルタに対して最も近い距離に位置する可視光フィルタを透過した可視光が、撮影装置の対応する画素の受光素子に入射され、撮影装置によって、入射された光に応じた信号を出力する。

そして、可視光フィルタに対応する複数の画素の受光素子から出力された信号を補間して可視光画像を生成すると共に、近赤外光フィルタに対応する複数の画素の受光素子から出力された信号を補間して近赤外光画像を生成する。

このように、近赤外光フィルタが近い距離に位置するように配置されたフィルタを用いて、撮影装置によって、透過した近赤外光に応じた信号を出力し、近赤外光フィルタに対応する複数の画素の受光素子から出力された信号を補間して近赤外光画像を生成することにより、解像度が高く視認性のよい画像を得ることができる。

本発明に係る撮影画像処理装置は、補間処理手段によって生成された可視光画像及び近赤外画像に基づいて、擬似カラー画像を生成する擬似カラー画像生成手段を更に含むことができる。

また、本発明に係る撮影画像処理装置は、近赤外光を含む光を照射する光源を更に含むことができる。

以上説明したように、本発明の撮影装置用フィルタ及び撮影画像処理装置によれば、近赤外光フィルタが近い距離に位置するように配置されたフィルタを用いて、撮影装置によって、透過した近赤外光に応じた信号を出力することにより、解像度が高く視認性のよい画像を得ることができる、という効果が得られる。

本発明の実施の形態に係る撮影システムの構成を示すブロック図である。カラーフィルタ群の配置を示すイメージ図である。各種フィルタの波長に対する透過率を示すグラフである。撮影された画像の各画素とフィルタの対応を示す図である。（Ａ）Ｒ成分データを示すイメージ図、及び（Ｂ）Ｒ成分画像データを示すイメージ図である。（Ａ）Ｇ成分データを示すイメージ図、及び（Ｂ）Ｇ成分画像データを示すイメージ図である。（Ａ）Ｂ成分データを示すイメージ図、及び（Ｂ）Ｂ成分画像データを示すイメージ図である。（Ａ）近赤外成分データを示すイメージ図、及び（Ｂ）近赤外成分画像データを示すイメージ図である。本発明の実施の形態に係る撮影システムにおける擬似カラー画像生成処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ、撮影された前方画像からカラー画像を生成して表示する撮影システムに本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る撮影システム１０は、自車両の前方を撮影するＣＣＤカメラからなる撮影装置１２と、撮影装置１２へ入射する光を透過させるカラーフィルタ群１４と、近赤外光を含む光を前方に照射する赤外光源１６と、撮影装置１２によって撮影された前方画像に対して画像処理を行って擬似カラー画像を生成するコンピュータ１８と、コンピュータ１８から出力された擬似カラー画像を表示する表示装置２０とを備えている。なお、カラーフィルタ群１４が、本発明の撮影装置用フィルタの一例である。

撮影装置１２は、自車両の前方を撮影するように取り付けられている。また、撮影装置１２は、２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備え、複数の受光素子から出力された信号をデジタル信号に変換して、複数の画素の画素値からなる画像データを生成する。

撮影装置１２のレンズ面に対向するように、カラーフィルタ群１４が設置されており、撮影装置１２は、カラーフィルタ群１４を介して、自車両の前方を撮影する。

図２に示すように、カラーフィルタ群１４は、撮影装置１２の各画素に対応するように２次元に配列された複数のフィルタから構成され、複数のフィルタは、可視光のＲＧＢ成分のうちのＲ成分（赤色光成分）の光を透過させるＲ成分フィルタ１４Ｒ（図２のＲ参照）、Ｇ成分（緑色光成分）の光を透過させるＧ成分フィルタ１４Ｇ（図２のＧ参照）、Ｂ成分（青色光成分）の光を透過させるＢ成分フィルタ１４Ｂ（図２のＢ参照）、及びＮＩｒ成分である近赤外光を透過させる近赤外光フィルタ１４ＮＩ（図２のＩｒ参照）の４種類のフィルタから構成されている。

例えば、図３に示すように、Ｂ成分フィルタ１４Ｂは、可視光のうちのＢ成分の光を主に透過し、Ｇ成分フィルタ１４Ｇは、可視光のうちのＧ成分の光を主に透過する。また、Ｒ成分フィルタ１４Ｒは、可視光のうちのＲ成分の光を主に透過し、近赤外光フィルタ１４ＮＩは、可視光を透過せずに、近赤外光の波長以上の光を透過する。なお、Ｂ成分フィルタ１４Ｂ、Ｇ成分フィルタ１４Ｇ、及びＲ成分フィルタ１４Ｒも、近赤外光の波長以上の光を透過する。

カラーフィルタ群１４では、上記図２に示すように、市松模様のように複数の近赤外光フィルタ１４ＮＩが配置され、近赤外光フィルタ１４ＮＩの配置位置の間に、Ｒ成分フィルタ１４Ｒ、Ｇ成分フィルタ１４Ｇ、及びＢ成分フィルタ１４Ｂが配置される。すなわち、ある近赤外光フィルタ１４ＮＩに対して最も近い距離に位置するフィルタを、可視光を透過させるフィルタ（Ｒ成分フィルタ１４Ｒ、Ｇ成分フィルタ１４Ｇ、又はＢ成分フィルタ１４Ｂ）とし、次に近い距離に位置するフィルタを近赤外光フィルタ１４ＮＩとするように、各種フィルタが配置されている。

また、カラーフィルタ群１４における、Ｒ成分フィルタ１４Ｒ、Ｇ成分フィルタ１４Ｇ、Ｂ成分フィルタ１４Ｂ、近赤外光フィルタ１４ＮＩの割合が、以下の式のようになるように、各種フィルタが設けられている。
Ｒ：Ｇ：Ｂ：ＮＩ＝１：２：１：４

これによって、近赤外の解像度が増加し、また、色情報も通常（カラー）のベイヤー配列の比Ｒ：Ｇ：Ｂ＝１：２：１となり、色情報の再現もカラーカメラと同様に実施できる。

赤外光源１６は、撮影装置１２による撮影を行う際に、自車両の前方に近赤外光を含む光を照射する。

コンピュータ１８は、ＣＰＵ、後述する擬似カラー画像生成処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１８をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、上記図１に示すように、コンピュータ１８は、撮影装置１２から出力される前方画像を取得する画像取得部２２と、画像取得部２２の出力である前方画像から、Ｒ成分フィルタ１４Ｒ、Ｇ成分フィルタ１４Ｇ、Ｂ成分フィルタ１４Ｂ、及び近赤外光フィルタ１４ＮＩの各々に対する画素のみからなる、Ｒ成分データ、Ｇ成分データ、Ｂ成分データ、及び近赤外成分データに分離し、各データについて補間処理を施したＲ成分画像データ、Ｇ成分画像データ、Ｂ成分画像データ、及び近赤外成分画像データを生成する補間処理部２４と、Ｒ成分画像データ、Ｇ成分画像データ、Ｂ成分画像データ、及び近赤外成分画像データに基づいて、擬似カラー画像データを生成して表示装置２０に出力する擬似カラー画像生成部２６とを備えている。

画像取得部２２は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

補間処理部２４は、図４に示すような、Ｒ成分フィルタ１４Ｒに対応する複数の画素、Ｇ成分フィルタ１４Ｇに対応する複数の画素、Ｂ成分フィルタ１４Ｂに対応する複数の画素、及び近赤外光フィルタ１４ＮＩに対応する複数の画素からなる前方画像を、Ｒ成分フィルタ１４Ｒに対応する画素（図４のＲ１２、Ｒ１６など参照）のみからなる図５（Ａ）に示すＲ成分データ、Ｇ成分フィルタ１４Ｇに対応する画素（図４のＧ２１、Ｇ２３など参照）のみからなる図６（Ａ）に示すＧ成分データ、Ｂ成分フィルタ１４Ｂに対応する画素（図４のＢ１４、Ｂ１８など参照）のみからなる図７（Ａ）に示すＢ成分データ、及び近赤外光フィルタ１４ＮＩに対応する画素（図４のＩ１１、Ｉ１３など参照）のみからなる図８（Ａ）に示す近赤外成分データに分離する。

また、補間処理部２４は、Ｒ成分データについて、Ｒ成分フィルタ１４Ｒに対応する画素以外の画素のＲ成分（ｒ３５、ｒ３６、ｒ３７、ｒ４５など）を、以下の式に従って、左右の画素のＲ成分を用いて補間して、図５（Ｂ）に示すＲ成分画像データを生成する。
ｒ３５＝（Ｒ３４＋ｒ３６）／２
ｒ３６＝（Ｒ３８＋Ｒ３４）／２
ｒ３７＝（Ｒ３８＋ｒ３６）／２
ｒ４５＝（Ｒ３４＋Ｒ５６）／２
ｒ４６＝（ｒ３６＋Ｒ５６）／２
ｒ４７＝（Ｒ３８＋Ｒ５６）／２
ｒ４８＝（Ｒ３８＋ｒ５８）／２
ｒ５５＝（ｒ５４＋Ｒ５６）／２
ｒ５７＝（Ｒ５６＋ｒ５８）／２
ｒ５８＝（Ｒ５６＋Ｒ５１０）／２
ｒ６５＝（Ｒ５６＋Ｒ７４）／２
ｒ６６＝（ｒ７６＋Ｒ５６）／２
ｒ６７＝（Ｒ５６＋Ｒ７８）／２
ｒ６８＝（ｒ５８＋Ｒ７８）／２
ｒ７６＝（Ｒ７４＋Ｒ７８）／２

なお、上記の式は、Ｒ成分フィルタ１４Ｒに対応する画素以外の画素の一部に対する式であり、その他の画素に対する式は同様であるため説明を省略する。また、以下の式に従って、上下の画素のＲ成分を用いて補間処理を行っても良い。
ｒ３５＝（Ｒ３４＋ｒ３６）／２
ｒ３６＝（Ｒ１６＋Ｒ５６）／２
ｒ３７＝（Ｒ３８＋ｒ３６）／２
ｒ４５＝（Ｒ３４＋Ｒ５６）／２
ｒ４６＝（ｒ３６＋Ｒ５６）／２
ｒ４７＝（Ｒ３８＋Ｒ５６）／２
ｒ４８＝（Ｒ３８＋ｒ５８）／２

また、以下の式に従って、上下又は左右の画素のＲ成分を用いて補間処理を行っても良い。
ｒ３５＝（Ｒ３４＋ｒ３６）／２
ｒ３６＝（Ｒ１６＋Ｒ５６＋Ｒ３４＋Ｒ３８）／４
ｒ３７＝（Ｒ３８＋ｒ３６）／２
ｒ４５＝（Ｒ３４＋Ｒ５６）／２
ｒ４６＝（ｒ３６＋Ｒ５６）／２
ｒ４７＝（Ｒ３８＋Ｒ５６）／２
ｒ４８＝（Ｒ３８＋ｒ５８）／２

また、補間処理部２４は、Ｇ成分データについて、Ｇ成分フィルタ１４Ｇに対応する画素以外の画素のＧ成分（ｇ３５、ｇ３６、ｇ３７など）を、以下の式に従って、Ｇ成分フィルタ１４Ｇに対応する近接の画素のＧ成分を用いて補間して、図６（Ｂ）に示すＧ成分画像データを生成する。
ｇ３５＝（Ｇ２５＋Ｇ４５）／２
ｇ３６＝（Ｇ２５＋Ｇ２７＋Ｇ４５＋Ｇ４７）／４
ｇ３７＝（Ｇ２７＋Ｇ４７）／２
ｇ４６＝（Ｇ４５＋Ｇ４７）／２
ｇ５５＝（Ｇ４５＋Ｇ６５）／２
ｇ５６＝（Ｇ４５＋Ｇ４７＋Ｇ６５＋Ｇ６７）／４
ｇ５７＝（Ｇ４７＋Ｇ６７）／２
ｇ６６＝（Ｇ６５＋Ｇ６７）／２
ｇ７６＝（Ｇ６５＋Ｇ６７＋Ｇ８５＋Ｇ８７）／４

なお、上記の式は、Ｇ成分フィルタ１４Ｇに対応する画素以外の画素の一部に対する式であり、その他の画素に対する式は同様であるため説明を省略する。

また、補間処理部２４は、Ｂ成分データについて、Ｂ成分フィルタ１４Ｂに対応する画素以外の画素のＢ成分（ｂ３５、ｂ３７、ｂ３８など）を、以下の式に従って、左右の画素のＢ成分を用いて補間して、図７（Ｂ）に示すＢ成分画像データを生成する。
ｂ３４＝（Ｂ３６＋Ｂ３２）／２
ｂ３５＝（ｂ３４＋Ｂ３６）／２
ｂ３７＝（ｂ３８＋Ｂ３６）／２
ｂ３８＝（Ｂ３８＋Ｂ３１０）／２
ｂ４５＝（Ｂ３６＋Ｂ５４）／２
ｂ４６＝（Ｂ３６＋ｂ５６）／２
ｂ４７＝（Ｂ３８＋Ｂ５６）／２
ｂ４８＝（ｂ３８＋Ｂ５８）／２
ｂ５５＝（Ｂ５４＋ｂ５６）／２
ｂ５６＝（Ｂ５４＋Ｂ５８）／２
ｂ５７＝（ｂ５６＋Ｂ５８）／２
ｂ６５＝（Ｂ５４＋Ｂ７６）／２
ｂ６６＝（ｂ５６＋Ｂ７６）／２
ｂ６７＝（Ｂ５８＋Ｂ７６）／２
ｂ６８＝（Ｂ５８＋ｂ７８）／２
ｂ７８＝（Ｂ７６＋Ｂ７１０）／２

なお、上記の式は、Ｂ成分フィルタ１４Ｂに対応する画素以外の画素の一部に対する式であり、その他の画素に対する式は同様であるため説明を省略する。また、以下の式に従って、上下の画素のＢ成分を用いて補間処理を行っても良い。
ｂ３４＝（Ｂ１４＋Ｂ５４）／２
ｂ３５＝（ｂ３４＋Ｂ３６）／２
ｂ３７＝（ｂ３８＋Ｂ３６）／２
ｂ３８＝（Ｂ１８＋Ｂ５８）／２
ｂ４５＝（Ｂ３６＋Ｂ５４）／２
ｂ４６＝（Ｂ３６＋ｂ５６）／２
ｂ４７＝（Ｂ３８＋Ｂ５６）／２
ｂ４８＝（ｂ３８＋Ｂ５８）／２

また、以下の式に従って、上下又は左右の画素のＢ成分を用いて補間処理を行ってもよい。
ｂ３４＝（Ｂ３６＋Ｂ３２＋Ｂ１４＋Ｂ５４）／４
ｂ３５＝（ｂ３４＋Ｂ３６）／２
ｂ３７＝（ｂ３８＋Ｂ３６）／２
ｂ３８＝（Ｂ３６＋Ｂ３１０＋Ｂ１８＋Ｂ５８）／４
ｂ４５＝（Ｂ３６＋Ｂ５４）／２
ｂ４６＝（Ｂ３６＋ｂ５６）／２
ｂ４７＝（Ｂ３８＋Ｂ５６）／２
ｂ４８＝（ｂ３８＋Ｂ５８）／２

また、補間処理部２４は、近赤外成分データについて、近赤外光フィルタ１４ＮＩに対応する画素以外の画素の近赤外成分（ｉ３４、ｉ３６、ｉ３８など）を、以下の式に従って、近赤外光フィルタ１４ＮＩに対応する近接の画素の近赤外成分を用いて補間して、図８（Ｂ）に示す近赤外成分画像データを生成する。
ｉ３４＝（Ｉ２４＋Ｉ３３＋Ｉ３５＋Ｉ４４）／４
ｉ３６＝（Ｉ２６＋Ｉ３５＋Ｉ３７＋Ｉ４６）／４
ｉ４５＝（Ｉ３５＋Ｉ４４＋Ｉ４６＋Ｉ５５）／４
ｉ４７＝（Ｉ３７＋Ｉ４６＋Ｉ４８＋Ｉ５７）／４
ｉ５４＝（Ｉ４４＋Ｉ５３＋Ｉ５５＋Ｉ６４）／４
ｉ５６＝（Ｉ４６＋Ｉ５５＋Ｉ５７＋Ｉ６６）／４
ｉ６５＝（Ｉ５５＋Ｉ６４＋Ｉ６６＋Ｉ７５）／４
ｉ６７＝（Ｉ５７＋Ｉ６６＋Ｉ６８＋Ｉ７７）／４
ｉ７６＝（Ｉ６６＋Ｉ７５＋Ｉ７７＋Ｉ８６）／４

なお、上記の式は、近赤外光フィルタ１４ＮＩに対応する画素以外の画素の一部に対する式であり、その他の画素に対する式は同様であるため説明を省略する。また、以下の式に従って、近赤外光フィルタ１４ＮＩに対応する左右の画素の近赤外成分を用いて補間処理を行うようにしてもよい。
ｉ３４＝（Ｉ３３＋Ｉ３５）／２
ｉ３６＝（Ｉ３５＋Ｉ３７）／２
ｉ４５＝（Ｉ４４＋Ｉ４６）／２
ｉ４７＝（Ｉ４６＋Ｉ４８）／２

また、以下の式に従って、近赤外光フィルタ１４ＮＩに対応する上下の画素の近赤外成分を用いて補間処理を行うようにしても良い。
ｉ３４＝（Ｉ２４＋Ｉ４４）／２
ｉ３６＝（Ｉ２６＋Ｉ４６）／２
ｉ４５＝（Ｉ３５＋Ｉ５５）／２
ｉ４７＝（Ｉ３７＋Ｉ５７）／２

上記で説明したように、近赤外画像の解像度に関して、図８（Ａ）に示すように、近赤外光フィルタ１４ＮＩに対する画素が近接して配置されているため、補間処理を実施することにより、近赤外画像が精度良く再現される。また、近赤外画像に比べて、ＲＧＢ成分の画像の解像度は低下するが、人間の視覚特性として輝度情報の変化より色情報の変化は知覚しにくく、解像度の低下はそれほど問題にならないため、全体として、視認性が向上する。

擬似カラー画像生成部２６は、以下に説明するように、Ｒ成分画像データ、Ｇ成分画像データ、Ｂ成分画像データ、及び近赤外成分画像データに基づいて、擬似カラー画像を生成する。

まず、Ｒ成分画像データ、Ｇ成分画像データ、及びＢ成分画像データの輝度値と、近赤外成分画像データの輝度値とを比較し、輝度値が大きい方を選択する。

輝度値が大きい方として、Ｒ成分画像データ、Ｇ成分画像データ、及びＢ成分画像データが選択された場合には、Ｒ成分画像データ、Ｇ成分画像データ、及びＢ成分画像データに基づいて、輝度情報を抽出する。また、輝度値が大きい方として、近赤外成分画像データが選択された場合には、近赤外成分画像データに基づいて、輝度情報を抽出する。

また、近赤外成分画像データを用いて、各フィルタで透過した近赤外成分の量を推定して、Ｒ成分画像データ、Ｇ成分画像データ、及びＢ成分画像データの各々から、近赤外成分の量を除去する。例えば、用いるカラーフィルタの透過特性が上記図３のグラフによって与えられる場合、Ｒ成分フィルタ１４Ｒに対応する画素の受光素子における受光量から、近赤外光フィルタ１４ＮＩに対応する画素の受光素子における受光量を差し引いた差分値が、当該画素におけるＲ成分に関する真の受光量であると考えることができる。

また、近赤外成分を除去した可視成分（即ち、近赤外成分除去後のＲ成分画像データ、Ｇ成分画像データ、及びＢ成分画像データ）から色情報を抽出するのに都合が良い様に、ＲＧＢ空間からＨＳＶ空間（またはＹＩＱ空間などの色空間）に画像データを変換する。ここではＨＳＶ空間を利用する方式が採用された例を仮定する。即ち、ＨＳＶ空間において各画素は色相、彩度、輝度（明度）の３軸で表現されるので、近赤外成分を除去した可視成分から、色情報である色相と彩度が抽出される。

そして、抽出された各画素の色情報と輝度情報を合成して擬似カラー画像を生成する。即ち、得られた色相情報と彩度情報、および輝度情報を合わせてＲＧＢ空間へ逆変換することによって、擬似カラー画像を得ることができる。

次に、本実施の形態に係る撮影システム１０の作用について説明する。赤外光源１６によって近赤外光が前方に照射されると共に、撮影装置１２によって、カラーフィルタ群１４を介して、自車両の前方が連続して撮影されているときに、コンピュータ１８において、図９に示す擬似カラー画像生成処理ルーチンが実行される。

まず、ステップ１００において、撮影装置１２より撮影された前方画像のデータを取得する。ステップ１０２において、上記ステップ１００で取得した前方画像から、近赤外光フィルタ１４ＮＩに対応する画素のデータを分離して近赤外成分データを取得し、近赤外成分データに対して補間処理を行い、近赤外成分画像データを取得する。

次のステップ１０４では、上記ステップ１００で取得した前方画像から、Ｒ成分フィルタ１４Ｒに対応する画素のデータを分離してＲ成分データを取得し、Ｒ成分データに対して補間処理を行い、Ｒ成分画像データを取得する。また、ステップ１０６では、上記ステップ１００で取得した前方画像から、Ｇ成分フィルタ１４Ｇに対応する画素のデータを分離してＧ成分データを取得し、Ｇ成分データに対して補間処理を行い、Ｇ成分画像データを取得する。そして、ステップ１０８において、上記ステップ１００で取得した前方画像から、Ｂ成分フィルタ１４Ｂに対応する画素のデータを分離してＢ成分データを取得し、Ｂ成分データに対して補間処理を行い、Ｂ成分画像データを取得する。

次のステップ１１０では、上記ステップ１０２で取得した近赤外成分画像データを用いて、上記ステップ１０４〜１０８で取得したＲ成分画像データ、Ｇ成分画像データ、及びＢ成分画像データの各々から、近赤外成分を除去した後に、色情報を抽出する。

そして、ステップ１１２において、上記ステップ１０４〜１０８で取得したＲ成分画像データ、Ｇ成分画像データ、及びＢ成分画像データの輝度値より、上記ステップ１０２で取得した近赤外成分画像データの輝度値の方が高いか否かを判定し、近赤外成分画像データの輝度値の方が高い場合には、ステップ１１４において、近赤外成分画像データから輝度情報を抽出して、ステップ１１８へ移行する。

一方、Ｒ成分画像データ、Ｇ成分画像データ、及びＢ成分画像データの輝度値の方が高い場合には、ステップ１１６において、Ｒ成分画像データ、Ｇ成分画像データ、及びＢ成分画像データから輝度情報を抽出して、ステップ１１８へ移行する。

ステップ１１８では、上記ステップ１１０で抽出された色情報と、上記ステップ１１４又は１１６で抽出された輝度情報とに基づいて、擬似カラー画像データを生成して、表示装置２０に出力し、上記ステップ１００へ戻る。

上記のように擬似カラー画像生成処理ルーチンが実行されると、表示装置２０によって、コンピュータ１８から連続して出力される擬似カラー画像データを連続して表示する。

以上説明したように、本発明の実施の形態に係る撮影システムによれば、近赤外光フィルタが近接するように配置されたカラーフィルタを用いて、撮影装置によって、透過した近赤外光に応じた信号を出力し、近赤外光フィルタに対応する複数の画素の受光素子から出力された信号を補間して近赤外成分画像データを生成することにより、解像度が高く視認性のよい画像を得ることができる。

また、近赤外成分のみを透過する画素を増加させることにより、近赤外成分画像の解像度が増加するため、夜間の近赤外画像の解像度が従来よりも向上し、夜間でも視認性のよい画像が得られる。

また、可視光を透過する画素をまばらに配置することにより画素数は減少するが、可視情報からは色成分（色相、彩度）などを検出すればよいので、色情報の視認性の低下は少ない。

夜間における画像は輝度変化が昼間より少ないため、補間処理を簡易的にすることができ、補間処理を簡易的にすることにより、補間処理の高速化を図ることができる。

なお、上記の実施の形態では、画像取得部２２、補間処理部２４、及び擬似カラー画像生成部２６をコンピュータで実現した場合を例に説明したが、これに限定されるものではなく、画像取得部２２、補間処理部２４、及び擬似カラー画像生成部２６を、各部の機能を実現する複数のコンピュータ、または１つまたは複数の電子回路で構成するようにしてもよい。

１０撮影システム
１２撮影装置
１４カラーフィルタ群
１４ＮＩ近赤外光フィルタ
１４ＲＲ成分フィルタ
１４ＧＧ成分フィルタ
１４ＢＢ成分フィルタ
１６赤外光源
１８コンピュータ
２０表示装置
２２画像取得部
２４補間処理部
２６擬似カラー画像生成部

Claims

２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備えた撮影装置に対して入射される光を透過し、かつ、前記複数の画素に対応して２次元に配列された複数のフィルタを備えた撮影装置用フィルタであって、
前記複数のフィルタは、可視光を透過する複数の可視光フィルタと、近赤外光を透過させる複数の近赤外光フィルタとから構成され、前記近赤外光フィルタに対して最も近い距離に位置するフィルタを、前記可視光フィルタとし、次に近い距離に位置するフィルタを前記近赤外光フィルタとするように配置された撮影装置用フィルタ。
前記複数の可視光フィルタを、各々波長域が異なる３波長域を透過する３種類のフィルタで構成した請求項１記載の撮影装置用フィルタ。
前記３種類のフィルタは、赤色光を透過するフィルタ、青色光を透過するフィルタ、及び緑色光を透過するフィルタであって、ベイヤー配列となるように配置された請求項２記載の撮影装置用フィルタ。
請求項１〜請求項３の何れか１項記載の撮影装置用フィルタと、
２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備えた撮影装置と、
前記可視光フィルタに対応する複数の画素の前記受光素子から出力された信号を補間して可視光画像を生成すると共に、前記近赤外光フィルタに対応する複数の画素の前記受光素子から出力された信号を補間して近赤外光画像を生成する補間処理手段と、
を含む撮影画像処理装置。
前記補間処理手段によって生成された前記可視光画像及び前記近赤外画像に基づいて、擬似カラー画像を生成する擬似カラー画像生成手段を更に含む請求項４記載の撮影画像処理装置。
近赤外光を含む光を照射する光源を更に含む請求項４又は５記載の撮影画像処理装置。