JP2011239259A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】霞などで見えにくい撮影条件や、照度の低い暗い環境でも被写体を撮像可能で、カラー画像を得ることが可能な画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】可視光領域の波長成分のみからなるカラー画像データと、可視光領域の波長成分を含まず可視光領域以外の波長成分のみからなるモノクロ画像データとを取得する画像取得部と、カラー画像データから色情報を抽出する色情報抽出部と、モノクロ画像データから輝度情報を抽出する輝度情報抽出部と、抽出された色情報と輝度情報とを合成し合成画像データを生成する合成部とを備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

屋外などを撮影する広域監視カメラでは、以下の３点が主に要求される。第一の要求は、霧や霞などで見えにくい撮影条件であっても注目する被写体を鮮明に撮像できることである。第二の要求は、照度の低い暗い環境でも被写体を撮像できることである。第三の要求は、服の色等の色情報による識別が重視される場合も多いため、カラー画像が得られることである。

従来の単板カラー撮像素子を用いたカメラを使用した場合の上述した３つの要求の具備又は不具備について説明する。

まず、第一の要求について説明する。被写体を鮮明に撮像するには、被写体で反射した光がカメラの撮像素子まで減衰せずに到達することが重要である。被写体で反射した光がカメラまで届くまでの空間には、空気（Ｎ_２分子等）、霧などの水分、スモッグや砂などの浮遊粒子などが存在する。そして、これらの物体が光を散乱させることで鮮明な撮影を阻害する。

直径０．３７ｎｍの空気分子や一部のスモッグのように浮遊粒子が小さい場合に成り立つRayleighの散乱式によれば、散乱強度は光線波長の−４乗に比例する。また、直径が１０００ｎｍ〜５０μｍ程度といわれる霧などの粒子径の場合には、Mieの散乱式が適用され、散乱強度は光線波長の０〜−２乗程度に比例する。波長４００ｎｍ〜７００ｎｍの可視光では、特に青や緑の波長が散乱されやすく、青や緑の波長がカメラに到達しない。そのため、可視光を受光するカメラでは、得られる画像は眼で見た状態に近く遠方は霞み見通しが利かなくなる。

次に、第二の要求について説明する。単板カラー撮像素子は、受光素子の前に赤・緑・青の色フィルタを設置しているため、赤・緑・青の各色の受光素子がいずれも、モノクロ撮像素子と比べて感度が低くなる。照度の低い暗い環境での撮像における感度不足を補うため、撮像素子の前に設置してあるＩＲカットフィルタを一時的に退避し、かつ赤外光で被写体を照明する方法（例えばナイトモード撮影）もある。しかし、赤外線撮影では、カラー撮影できないことに加え、受光素子の前の赤・緑・青の色フィルタを通過することから大幅な感度向上が難しい。

これに対して、単板モノクロ撮像素子は、単板カラー撮像素子と比較して、高感度でかつ空間解像度の高い撮影が可能という利点がある。しかしながら、モノクロ撮像素子は、当然ながら色情報を取得することが不可能であるため、上述した第三の要求を満たすことができない。

特開２００７−１８４８０５号公報

特許文献１では、色情報と輝度情報とがそれぞれ何れも最適なカラー画像を再生するため、可視光と赤外線を含有する画像データから輝度情報を抽出し、赤外成分除去後の可視光画像から色情報を抽出し、輝度情報と色情報を合成する技術が開示されている。しかし、特許文献１では、輝度情報を抽出する際に可視光を含有する画像データを使用していたため、上述した第一の要求を満たさず、被写体を鮮明に撮像できないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、霞などで見えにくい撮影条件や、照度の低い暗い環境でも被写体を撮像可能で、カラー画像を得ることが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、可視光領域の波長成分のみからなるカラー画像データと、可視光領域の波長成分を含まず可視光領域以外の波長成分のみからなるモノクロ画像データとを取得する画像取得部と、カラー画像データから色情報を抽出する色情報抽出部と、モノクロ画像データから輝度情報を抽出する輝度情報抽出部と、抽出された色情報と輝度情報とを合成し合成画像データを生成する合成部とを備える画像処理装置が提供される。

上記カラー画像データは、所定値以下の波長成分のみからなり、モノクロ画像データは、所定値以上の波長成分のみからなるとよい。

上記カラー画像データは、４００ｎｍ〜７００ｎｍの波長成分を含み、モノクロ画像データは、７００ｎｍ〜１０００ｎｍの波長成分を含むとよい。

上記カラー画像データは、短波長側半値波長が４２０ｎｍ〜４６０ｎｍで長波長側半値波長が６１０ｎｍ〜６５０ｎｍの波長成分を含み、モノクロ画像データは、短波長側半値波長が６５０ｎｍ〜７５０ｎｍの波長成分を含むとよい。

上記画像取得部は、可視光領域外側に近い可視光領域の波長成分と、可視光領域外の波長成分からなるモノクロ画像データを取得してもよい。

上記カラー画像データは、第一の所定値以下の波長成分のみからなり、モノクロ画像データは、第一の所定値より小さい第二の所定値以上の波長成分のみからなるとよい。

また、上記課題を解決するために、本発明の別の観点によれば、可視光領域の波長成分のみからなるカラー画像データと、可視光領域の波長成分を含まず可視光領域外の波長成分のみからなるモノクロ画像データとを取得するステップと、カラー画像データから色情報を抽出するステップと、モノクロ画像データから輝度情報を抽出するステップと、抽出された色情報と輝度情報とを合成し合成画像データを生成するステップとを備える画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、可視光領域の波長成分のみからなるカラー画像データと、可視光領域の波長成分を含まず可視光領域外の波長成分のみからなるモノクロ画像データとを取得する手段、カラー画像データから色情報を抽出する手段、モノクロ画像データから輝度情報を抽出する手段、抽出された色情報と輝度情報とを合成し合成画像データを生成する手段としてコンピューターを機能させるためのプログラムが提供される。

以上説明したように本発明によれば、霞などで見えにくい撮影条件や、照度の低い暗い環境でも被写体を撮像可能で、カラー画像を得ることができる。

本発明の一実施形態に係る画像処理装置１０２を示すブロック図である。 同実施形態に係る撮像装置１００を示すブロック図である。 同実施形態に係る光学系１０１を示す説明図である。 同実施形態に係る画像処理装置１０２の合成処理を示すフローチャートである。 分光ミラー１５２で反射する光線の分光反射率を示すグラフである。 分光ミラー１５２を透過する光線の分光透過率を示すグラフである。 人間の錐体細胞（Ｓ，Ｍ，Ｌ）と桿体細胞（Ｒ）が含む視物質の吸収スペクトルを示すグラフである。 カラー撮像素子１５４の分光感度特性を示すグラフである。 モノクロ撮像素子１５６の分光感度特性を示すグラフである。 Rayleighの散乱式による散乱量と波長の関係を示すグラフである。 モノクロカメラとカラーカメラの感度及び最低被写体照度例を示す表である。 本発明の一実施形態の変更例に係る撮像装置２００及び画像処理装置１０２を示すブロック図である。 同実施形態の変更例に係る撮像装置３００ａ，３００ｂ及び画像処理装置１０２を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．一実施形態の構成及び動作
２．変更例

＜１．一実施形態の構成及び動作＞
［画像処理装置１０２の構成］
まず、図１を参照して、本発明の一実施形態に係る画像処理装置１０２の構成について説明する。図１は、本実施形態に係る画像処理装置１０２を示すブロック図である。

画像処理装置１０２は、可視光領域の波長成分のみからなるカラー画像データから色情報を抽出し、可視光領域の波長成分を含まず可視光領域外の波長成分のみからなるモノクロ画像データから輝度情報を抽出して、色情報と輝度情報を合成し画像データを生成する。これによって、輝度情報を抽出する際に可視光を含有する画像データを使用しないため、被写体像が鮮明に表示される画像データを得られる。

画像処理装置１０２は、カラー画像データ取得部１１２と、モノクロ画像データ取得部１１４と、色情報抽出部１２２と、輝度情報抽出部１２４と、合成部１３０等からなる。

カラー画像データ取得部１１２は、画像取得部の一例であり、カラー撮像素子を使用して撮像された結果得られるカラー画像データを取得する。カラー撮像素子は、受光素子の前に赤・緑・青の色フィルタが設置された撮像素子であり、赤成分・緑成分・青成分からなるカラー画像データを出力する。

カラー撮像素子から取得するカラー画像データが、可視光領域の波長成分のみからなる場合、カラー画像データ取得部１１２は、そのまま可視光領域の波長成分のみからなるカラー画像データを色情報抽出部１２２に送る。または、カラー撮像素子から取得するカラー画像データが、可視光領域以外の赤外光成分等の波長成分を含む場合は、カラー画像データ取得部１１２は、可視光領域以外の波長成分を除去して、可視光領域の波長成分のみからなるカラー画像データを色情報抽出部１２２に送る。

カラー画像データにおいて、赤外光成分等の波長成分が除去されることにより、人の知覚に合致した人の目に分かりやすいカラー画像が得られる。

モノクロ画像データ取得部１１４は、画像取得部の一例であり、モノクロ撮像素子を使用して撮像された結果得られるモノクロ画像データを取得する。モノクロ撮像素子は、受光素子の前に色フィルタが設置されない撮像素子であり、輝度情報からなるモノクロ画像データを出力する。モノクロ撮像素子は、色フィルタが設置されていないためカラー撮像素子に比べて高感度であり、かつ空間解像度が高い撮像が可能となる。

モノクロ撮像素子から取得するモノクロ画像データが、可視光領域以外の波長成分のみからなる場合、モノクロ画像データ取得部１１４は、そのまま可視光領域以外の波長成分のみからなるモノクロ画像データを輝度情報抽出部１２４に送る。または、モノクロ撮像素子から取得するモノクロ画像データが、可視光領域の波長成分を含む場合は、モノクロ画像データ取得部１１４は、可視光領域の波長成分を除去して、可視光領域以外の波長成分のみからなるモノクロ画像データを輝度情報抽出部１２４に送る。

モノクロ画像データにおいて、可視光成分が除去されることにより、霧や霞などで見えにくい環境でも、被写体が鮮明なモノクロ画像が得られる。

上記カラー画像データは、所定値、例えば６７５ｎｍ以下の波長成分のみからなり、モノクロ画像データは、所定値、例えば６７５ｎｍ以上の波長成分のみからなるとよい。なお、所定値は上記例に限定されず、例えば上記カラー画像データは、４００ｎｍ〜７００ｎｍの波長成分を含み、モノクロ画像データは、７００ｎｍ〜１０００ｎｍの波長成分を含むようにしてもよい。また、上記カラー画像データは、短波長側半値波長が４２０ｎｍ〜４６０ｎｍで長波長側半値波長が６１０ｎｍ〜６５０ｎｍの波長成分を含み、モノクロ画像データは、短波長側半値波長が６５０ｎｍ〜７５０ｎｍの波長成分を含むようにしてもよい。

色情報抽出部１２２は、カラー画像データ取得部１１２から受けた可視光領域の波長成分のみからなるカラー画像データを輝度情報Ｙ１と、色差情報Ｃｂ，Ｃｒに分解し、色差情報Ｃｂ，Ｃｒを抽出する。色差情報Ｃｂ，Ｃｒは色情報の一例である。色情報抽出部１２２は、抽出した色差情報Ｃｂ，Ｃｒを合成部１３０に送る。輝度情報Ｙ１は、合成部１３０における合成処理に使用されないため、合成部１３０に送らなくてもよい。

ＲＧＢ各８ｂｉｔのカラー画像データを輝度情報Ｙ１と、色差情報Ｃｂ，Ｃｒに分解するには、例えばＲＧＢ信号をＹＣｂＣｒ信号に変換する下記の数式１〜３を使用する。

Ｙ１＝ ０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋ １６ ……（数式１）
Ｃｂ＝−０．１４８Ｒ−０．２９１Ｇ＋０．４３９Ｂ＋１２８ ……（数式２）
Ｃｒ＝ ０．４３９Ｒ−０．３６８Ｇ−０．０７１Ｂ＋１２８ ……（数式３）

輝度情報抽出部１２４は、モノクロ画像データ取得部１１４から受けた可視光領域以外の波長成分のみからなるモノクロ画像データを輝度情報Ｙ２とする。そして、輝度情報抽出部１２４は、抽出した輝度情報Ｙ２を合成部１３０に送る。

合成部１３０は、色情報抽出部１２２から受けた色差情報Ｃｂ，Ｃｒと、輝度情報抽出部１２４から受けた輝度情報Ｙ２を合成し、合成画像データを生成する。色差情報Ｃｂ，Ｃｒと輝度情報Ｙ２を合成して、ＲＧＢ各８ｂｉｔのカラーの合成画像データを生成するには、例えばＹＣｂＣｒ信号をＲＧＢ信号に変換する下記の数式４〜６を使用する。

Ｒ＝１．１６４（Ｙ２−１６） −１．５９６（Ｃｒ−１２８） ……（数式４）
Ｇ＝１．１６４（Ｙ２−１６）−０．３９１（Ｃｂ−１２８）−０．８１３（Ｃｒ−１２８） ……（数式５）
Ｂ＝１．１６４（Ｙ２−１６）−２．０１８（Ｃｂ−１２８） ……（数式６）

［画像処理装置１０２の動作］
次に、図４を参照して、上述した本実施形態に係る画像処理装置１０２の合成処理について説明する。図４は、本実施形態に係る画像処理装置１０２の合成処理を示すフローチャートである。

まず、画像処理装置１０２は、可視光領域の波長成分のみからなるカラー画像データと、可視光領域以外の波長成分のみからなるモノクロ画像データを取得する（ステップＳ１）。

次に、カラー画像データが輝度情報Ｙ１、色差情報Ｃｂ，Ｃｒに分解され、カラー画像データから色差情報Ｃｂ，Ｃｒが抽出される。また、モノクロ画像データから輝度情報Ｙ２が抽出される（ステップＳ２）。

その後、カラー画像データから抽出された色差情報Ｃｂ，Ｃｒと、モノクロ画像データから抽出された輝度情報Ｙ２が合成されて合成画像データが生成される（ステップＳ３）。

［撮像装置１００］
次に、上述した画像処理装置１０２が適用される撮像装置１００について説明する。即ち、画像処理装置１０２が撮像装置１００に信号処理回路として内蔵されている場合を説明する。

図２は、本実施形態に係る撮像装置１００を示すブロック図である。撮像装置１００は、例えば光学系１０１と画像処理装置１０２からなる。光学系１０１は、図２に示すようにカラー画像データとモノクロ画像データを別々に画像処理装置１０２に送る。

図３は、本実施形態に係る光学系１０１を示す説明図である。図３は、各光学部品の概略的な外観と光路を示している。

光学系１０１は、前玉レンズ１５１と、分光ミラー１５２と、レンズ群１５３と、カラー撮像素子１５４と、レンズ群１５５と、モノクロ撮像素子１５６などからなる。光学系１０１は、分光ミラー１５２が、可視光領域の波長成分のみからなる第一の光と、第一の光を含まず可視光領域以外の波長成分のみからなる第二の光に分光する。そして、カラー撮像素子１５４が、光学部材から照射された第一の光を受光し、モノクロ撮像素子１５６が、光学部材から照射された第二の光を受光する。

前玉レンズ１５１は、被写体で反射した光を受けて、被写体からの光を透過屈折させ、光を分光ミラー１５２に照射する。

分光ミラー１５２は、表面にダイクロイック膜が蒸着されている。そして、分光ミラー１５２は、入射した光のうち可視光領域の波長成分である例えば６７５ｎｍ以下の可視光波長成分を反射し、入射した光のうち可視光領域以外の波長成分である例えば６７５ｎｍ以上の近赤外光線波長成分を透過させる。６７５ｎｍ以下の波長成分は、レンズ群１５３を透過してカラー撮像素子１５４に照射され結像し、６７５ｎｍ以上の波長成分は、レンズ群１５５を透過してモノクロ撮像素子１５６に照射され結像する。なお、分光ミラー１５２による波長成分の分光の境界値は、６７５ｎｍに限定されず、他の値でもよい。

図５は、分光ミラー１５２で反射する光線の分光反射率を示すグラフである。図５に示すように、分光ミラー１５２によって、主に波長６７５ｎｍ以下の光がカラー撮像素子１５４に導かれる。人の眼の分光感度は、図７のように示されるといわれるため、カラー撮像素子１５４に導かれる光線の波長は、概ね可視光領域であるといえる。図７は、人間の錐体細胞（Ｓ，Ｍ，Ｌ）と桿体細胞（Ｒ）が含む視物質の吸収スペクトルを示すグラフである。

図６は、分光ミラー１５２を透過する光線の分光透過率を示すグラフである。図６に示すように、分光ミラー１５２によって、主に波長６７５ｎｍ以上の光がモノクロ撮像素子１５６に導かれる。図７を参照すると、モノクロ撮像素子１５６に導かれる光線の波長は、概ね可視光領域以外の領域であるといえる。

なお、撮影レンズを含む他の光学部品は、波長４００ｎｍ〜１１００ｎｍにおいて十分な透過率を有しており、カラー撮像素子１５４やモノクロ撮像素子１５６に到達する光を遮断することはない。

カラー撮像素子１５４及びモノクロ撮像素子１５６としては、ＣＣＤ固体撮像素子、ＭＯＳ型固体撮像素子、ＣＭＯＳ型固体撮像素子等の各種の固体撮像素子を使用することができる。カラー撮像素子１５４は、受光素子の前に赤・緑・青の色フィルタが設置された撮像素子であり、赤成分・緑成分・青成分からなるカラー画像データを出力する。モノクロ撮像素子１５６は、受光素子の前に色フィルタが設置されない撮像素子であり、輝度情報からなるモノクロ画像データを出力する。

図８は、カラー撮像素子１５４の分光感度特性を示すグラフである。図５で示した分光ミラー１５２で反射し、カラー撮像素子１５４に入射する波長６７５ｎｍ以下の波長領域と、図８で示したカラー撮像素子１５４が分光感度を有する領域が適合していることが分かる。従って、カラー撮像素子１５４は、無駄なく可視光をとらえることが可能となっている。

図９は、モノクロ撮像素子１５６の分光感度特性を示すグラフである。図９に示すように、モノクロ撮像素子１５６は、可視光域に最大感度を示すものの、波長６７５ｎｍ〜１０００ｎｍの近赤外線領域においても、十分な感度を持っている。よって、モノクロ撮像素子１５６は、分光ミラー１５２を透過し、モノクロ撮像素子１５６に入射する可視光より波長の長い６７５ｎｍ以上の波長成分を受光することが可能である。

カラー撮像素子１５４とモノクロ撮像素子１５６は、カラー画像データの被写体像とモノクロ画像データの被写体像とが一致するように位置決めされる。被写体像の一致のための位置決めは、機械的に行う方法と、画像合成時にソフトウエアを使用して行う方法と、双方を使用する方法がある。

カラー撮像素子１５４とモノクロ撮像素子１５６の光学サイズは、ほぼ同等であるとよい。この構成によれば、特に調整をしなくても、分光ミラー１５２で分岐された２つの光学系において、画角や焦点深度、並びに撮像領域をほぼ同等とすることができる利点を有する。

カラー撮像素子１５４とモノクロ撮像素子１５６の光学サイズが同等である場合、カラー撮像素子１５４の画素数をＣｎ、モノクロ撮像素子１５６の画素数をＭｎとしたとき、Ｍｎ≧Ｃｎを満たすように構成する。この構成によれば、カラー撮像素子１５４の画素数Ｃｎがモノクロ撮像素子１５６の画素数Ｍｎ以下であるため、カラー撮像素子１５４の各画素サイズがモノクロ撮像素子１５６の画素サイズに比べて大きくなる。その結果、カラー撮像素子１５４の感度を高くすることができ、画素数の多いカラー撮像素子と比較して感度を向上させることができる。一方、モノクロ撮像素子１５６の画素数Ｍｎが多いので、モノクロ撮像素子１５６によって高い解像度が確保される。

［本実施形態の効果］
本実施形態の撮像装置１００は、例えば広域監視カメラに適用して最適な結果が得られる。本実施形態によれば、広域監視カメラにおける特に以下の三つの要求を満たすことが可能である。

第一の要求は、霧や霞などで見えにくい撮影条件であっても注目する被写体を鮮明に撮像できることである。第二の要求は、照度の低い暗い環境でも被写体を撮像できることである。第三の要求は、服の色等の色情報による識別が重視される場合も多いため、カラー画像が得られることである。

まず、第一の要求について説明する。被写体を鮮明に撮像するには、被写体で反射した光が撮像素子まで減衰せずに到達することが重要である。本実施形態では、画像の解像度に支配的な輝度信号として、可視光より波長の長い６７５ｎｍ〜１０００ｎｍの近赤外光（ＮＩＲ）を用いる。

図１０は、Rayleighの散乱式による散乱量と波長の関係を示すグラフである。Rayleighの散乱式は、下記の数式７で表される。Rayleighの散乱式によれば、ｄ≦λ／πの場合、散乱強度は光線波長の−４乗に比例する。

ここで、ｎ：粒子数、ｄ：粒子径（空気分子ｄ＝０．３７ｎｍ、スモッグｄ＝１ｎｍ〜１０００ｎｍ）、ｍ：反射係数、λ：光の波長である。反射係数ｍは自然条件で与えられ、光の波長λは撮像装置１００の設計条件に応じて変化させることができる。

Rayleighの散乱式によれば、近赤外光（ＮＩＲ）は、４００〜６７５ｎｍの可視光より散乱量が小さい。そのため、空気中や、直径が光線波長のおおよそ１／３以下の浮遊粒子が漂う環境では、遠方や霞などで見えにくい撮影条件であっても、本実施形態の技術を適用することにより、通常のカメラよりも、注目する被写体を鮮明に撮像できる。

また、光線波長のおおよそ１／３以上の直径の浮遊粒子が漂う環境に適用できるMieの散乱式によれば、散乱量は波長の０〜−２乗に比例する。そのため、霧などの環境でも、近赤外光（ＮＩＲ）は、可視光よりも散乱されにくい。よって、近赤外光（ＮＩＲ）を利用する本実施形態では、通常のカメラよりも、霧などの環境でも被写体を鮮明に撮像できる。

次に、第二の要求について説明する。本実施形態によれば、照度の低い暗い環境でも被写体を撮像できる。本実施形態では、まず、通常のカラーカメラでは未使用の近赤外光（ＮＩＲ）も利用し、かつ、夕暮れや人工照明はＮＩＲを含むため、本実施形態は低照度時に有利である。加えて、本実施形態では、ＮＩＲを受光するために、カラー撮像素子１５４と比較して、より高感度でかつ空間解像度の高い撮影が可能なモノクロ撮像素子１５６を使用しているため、本実施形態は低照度時に有利である。

図１１は、モノクロカメラとカラーカメラの感度及び最低被写体照度例を示す表である。同一の受光素子の前にＲ、Ｇ、Ｂの色フィルタを設置したカラーカメラと、受光素子前に色フィルタのない白黒カメラにおいて比較した例である。白黒カメラはカラーカメラと比べ、高感度で、最低被写体照度も低くなっていることが分かる。カラー撮像素子は、受光素子の前にＲ、Ｇ、Ｂの色フィルタを設置しているため、ＲＧＢの各色の画素が、いずれも、モノクロ撮像素子と比べて感度が低くなる。

次に、第三の要求について説明する。本実施形態によれば、カラー画像が得られる。モノクロ撮像素子は、低照度時の撮影が可能であるが、当然ながら色情報を取得することが不可能である。一方、本実施形態では、カラー撮像素子１５４から得た色情報とモノクロ撮像素子１５６から得た輝度情報双方を利用することで、第一、第二の要求を満たしつつ、第三の要求も満たしカラー撮影も可能である。

＜２．変更例＞
上述の画像処理装置１０２は、撮像装置１００に信号処理回路として内蔵される場合について説明したが、本発明はこの例に限定されない。例えば、図１２に示すように、画像処理装置１０２は、撮像装置２００の外部に設けられてもよい。図１２は、本実施形態の変更例に係る撮像装置２００及び画像処理装置１０２を示すブロック図である。このとき、画像処理装置１０２は、例えばパーソナルコンピュータ、サーバ装置等である。撮像装置２００は、上述した光学系１０１を有して、可視光領域の波長成分のみからなるカラー画像データと、可視光領域の波長成分を含まず可視光領域以外の波長成分のみからなるモノクロ画像データを出力する。

また、本発明は、図１３に示すように、画像処理装置１０２は、２台の撮像装置３００ａ，３００ｂから画像データを受けるとしてもよい。図１３は、本実施形態の変更例に係る撮像装置３００ａ，３００ｂ及び画像処理装置１０２を示すブロック図である。撮像装置３００ａは、カラー撮像素子を有してカラー撮影が可能なカメラであり、可視光領域の波長成分のみからなるカラー画像データを出力する。撮像装置３００ｂは、モノクロ撮像素子を有してモノクロ撮影が可能なカメラであり、可視光領域の波長成分を含まず可視光領域以外の波長成分のみからなるモノクロ画像データを出力する。

なお、この変更例では、撮像装置３００ｂは、上述の一実施形態と異なり光学系１０１を使用しないで、モノクロ撮影ができる。そのため、撮像装置３００ｂが出力する波長成分が、撮像装置３００ａが出力する波長成分と一部重なるようにしてもよい。例えば、カラー画像データは、可視光領域の波長成分のみからなり、モノクロ画像データは、可視光領域外側に近い可視光領域の波長成分と、可視光領域外の波長成分からなる。言い換えると、カラー画像データは、第一の所定値以下の波長成分のみからなり、モノクロ画像データは、第一の所定値より小さい第二の所定値以上の波長成分のみからなる。

このようにモノクロ画像データの波長成分に可視光領域外側に近い可視光領域の波長成分を含むようにすることで、上述した第一の要求に関する霧や霞等の除去効果が低下する可能性がある。一方、モノクロ画像データにおいて受光量が増加するため、第二の要求に関して、より照度の低い暗い環境でも被写体を撮像できるようになる。

なお、上述した画像処理を行う時期は、特に限定されず、リアルタイムや撮影完了後等、様々な時期が考えられる。例えば、リアルタイムに画像処理を行う場合には、カラー撮像素子１５４及びモノクロ撮像素子１５６で撮影して得られる画像データを信号処理するため、短時間で合成した画像を作成できる。一方、例えば、カラー撮像素子１５４及びモノクロ撮像素子１５６で撮影して得られる画像を一旦記録媒体に記録しておいて、後で画像を呼び出して画像処理を行うことも可能である。

なお、モノクロ撮像素子を備えた撮像装置３００ｂと、カラー撮像素子を備えた撮像装置３００ａとを、撮像領域がほぼ重なるように配置することで、本発明の撮像装置と同様の撮像を行うことが可能ではあるが、カメラが別々になることから視差の発生や焦点の合わせズレ等の問題を生じるおそれがある。一方、上述した第一の実施形態に係る撮像装置１００や変更例に係る撮像装置２００では、モノクロ撮像素子１５６及びカラー撮像素子１５４がカメラを共通としていることにより、視差や合わせズレは生じない、という利点がある。

また、カラー撮像素子１５４及びモノクロ撮像素子１５６と、画像処理装置１０２や記録媒体の記録装置との間の接続は、有線（例えば、ケーブル、電話回線）又は無線等を通じてデータのやり取りが可能な構成とすることも考えられる。更に、例えばネットワーク（イントラネット、インターネット等）上のサーバ装置に画像処理を行うソフトウエア（コンピュータプログラム）を置き、ネットワークを通じてこのソフトウエアにアクセスして、カラー撮像素子１５４及びモノクロ撮像素子１５６によって撮影した画像の信号処理を行うことも考えられる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

上述の本実施形態に係る撮像装置１００では、入射光を分岐させる分光ミラー１５２を前玉レンズ１５１とレンズ群１５３，１５５との間に配置したが、本発明において、入射光を分岐させる光学部材の位置は特に限定されず、その他の位置に配置することも考えられる。例えば、レンズ群の中間や、レンズ群と撮像素子との間に配置することが考えられる。また、前玉レンズを設けない代わりに、それぞれのレンズ群の手前に同様の機能を有するレンズを配置して、最初に光学部材によって入射光を分岐させることも考えられる。

但し、上述の本実施形態に係る撮像装置１００のように、分光ミラー１５２を前玉レンズ１５１とレンズ群１５３，１５５との間に配置した場合には、前玉レンズ１５１が共通になる。そのため、前玉レンズ１５１の収差等の影響が等しくなることや、レンズ群１５３，１５５として、従来のカメラに使用されているものをそのまま使用することが可能になる、という利点を有する。

本発明において、入射光を分岐させる光学部材は、分光ミラー１５２に限られず、プリズムの組み合わせ等の他の光学部材を使用することも可能である。

本発明において、光路の分岐の数は、２つに限定されるものではなく、全体として３つ以上に分岐させても構わない。即ち、カラー撮像素子又はモノクロ撮像素子を複数備えて撮像装置を構成してもよい。例えば、カラー撮像素子として、Ｒ，Ｇ，Ｂの３色に対応して色毎に撮像素子を設けた３板式のカラー撮像素子があるが、この３板式のカラー撮像素子とモノクロ撮像素子とを組み合わせて撮像装置を構成することも可能である。この場合、光路が４つ以上に分岐することになる。

１００，２００，３００ａ，３００ｂ 撮像装置
１０１ 光学系
１０２ 画像処理装置
１１２ カラー画像データ取得部
１１４ モノクロ画像データ取得部
１２２ 色情報抽出部
１２４ 輝度情報抽出部
１３０ 合成部
１５１ 前玉レンズ
１５２ 分光ミラー
１５３，１５５ レンズ群
１５４ カラー撮像素子
１５６ モノクロ撮像素子

Claims (8)

1. 可視光領域の波長成分のみからなるカラー画像データと、前記可視光領域の波長成分を含まず可視光領域以外の波長成分のみからなるモノクロ画像データとを取得する画像取得部と、
   前記カラー画像データから色情報を抽出する色情報抽出部と、
   前記モノクロ画像データから輝度情報を抽出する輝度情報抽出部と、
   抽出された前記色情報と前記輝度情報とを合成し合成画像データを生成する合成部と、
   を備える、画像処理装置。
2. 前記カラー画像データは、所定値以下の波長成分のみからなり、前記モノクロ画像データは、前記所定値以上の波長成分のみからなる、請求項１に記載の画像処理装置。
3. 前記カラー画像データは、４００ｎｍ〜７００ｎｍの波長成分を含み、前記モノクロ画像データは、７００ｎｍ〜１０００ｎｍの波長成分を含む、請求項１又は２に記載の画像処理装置。
4. 前記カラー画像データは、短波長側半値波長が４２０ｎｍ〜４６０ｎｍで長波長側半値波長が６１０ｎｍ〜６５０ｎｍの波長成分を含み、前記モノクロ画像データは、短波長側半値波長が６５０ｎｍ〜７５０ｎｍの波長成分を含む、請求項１又は２に記載の画像処理装置。
5. 前記画像取得部は、前記可視光領域外側に近い前記可視光領域の波長成分と、前記可視光領域外の波長成分からなる前記モノクロ画像データを取得する、請求項１に記載の画像処理装置。
6. 前記カラー画像データは、第一の所定値以下の波長成分のみからなり、前記モノクロ画像データは、前記第一の所定値より小さい第二の所定値以上の波長成分のみからなる、請求項１又は５に記載の画像処理装置。
7. 可視光領域の波長成分のみからなるカラー画像データと、前記可視光領域の波長成分を含まず可視光領域外の波長成分のみからなるモノクロ画像データとを取得するステップと、
   前記カラー画像データから色情報を抽出するステップと、
   前記モノクロ画像データから輝度情報を抽出するステップと、
   抽出された前記色情報と前記輝度情報とを合成し合成画像データを生成するステップと、
   を備える、画像処理方法。
8. 可視光領域の波長成分のみからなるカラー画像データと、前記可視光領域の波長成分を含まず可視光領域外の波長成分のみからなるモノクロ画像データとを取得する手段、
   前記カラー画像データから色情報を抽出する手段、
   前記モノクロ画像データから輝度情報を抽出する手段、
   抽出された前記色情報と前記輝度情報とを合成し合成画像データを生成する手段、
   としてコンピューターを機能させるためのプログラム。