JP2018160800A

JP2018160800A - 撮像装置及び撮像方法

Info

Publication number: JP2018160800A
Application number: JP2017057054A
Authority: JP
Inventors: 晃史大石; Akinori Oishi; 秀紀天花寺; Hidenori Tenkaji
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2017-03-23
Filing date: 2017-03-23
Publication date: 2018-10-11
Anticipated expiration: 2037-03-23
Also published as: US20180278857A1; JP7314976B2; JP2021192534A; US10659703B2; JP6939000B2

Abstract

【課題】近赤外光の撮像感度を落とすことなく、近赤外光映像の解像度を高める技術を提供する。【解決手段】照明装置１０は、可視光または近赤外光を照射する。レンズ３０は、被写体からの光を結像させる。ビームスプリッタ２５は、可視光と近赤外光を分光する。カラー撮像素子５０は、可視光を照射された被写体４００からの反射光を撮像するものであり、赤色フィルタをもつ撮像素子を含む。白黒撮像素子６０は、ビームスプリッタ２５によって分光された近赤外光を撮像する。分光された近赤外光を撮像する白黒撮像素子６０の画素ピッチは、カラー撮像素子５０の画素ピッチよりも大きい。近赤外光のサンプリング位置とカラー撮像における赤色のサンプリング位置が画素配列上、水平方向または垂直方向にずれている。【選択図】図８

Description

本発明は、近赤外光映像の撮像技術に関する。

医療分野において近赤外光映像が用いられることがある。近赤外光は生体を透過しやすいため、生体の深部を観察するのに適している。近赤外光によって励起され近赤外蛍光を発するインドシアニングリーン（ＩＣＧ）と呼ばれる検査試薬を体内に注入し、ＩＣＧによる蛍光を赤外線カメラで撮像することにより、生体内の状態を観察することができる。

特許文献１には、撮像した可視光データ及び赤外光データを合成する際に、可視画像と赤外光画像の対応する撮像領域の位置ずれを少なくして、合成した画像データを表示する撮像装置が開示されている。

特開２００５−２２９３１７号公報

高解像度画像を撮像するため、可視光撮像素子は画素ピッチを小さくして高画素化することが行われている。他方、近赤外光撮像素子は、近赤外光の撮像感度を確保するために、可視光撮像素子に比べて画素ピッチを大きくする必要があり、解像度が低くなり、可視光撮像素子の高画素化とは両立しない。そのため、可視光カメラと近赤外光カメラを独立して設けて、高解像度の可視光カラー映像と低解像度の近赤外光白黒映像とを別々に撮像し、映像を切り替えて表示したり、可視光カラー映像と近赤外光白黒映像を重畳して表示することが行われている。

本発明はこうした状況に鑑みてなされたものであり、その目的は、近赤外光の撮像感度を落とすことなく、近赤外光映像の解像度を高める技術を提供することにある。

上記課題を解決するために、本発明のある態様の撮像装置は、被写体からの光を結像させる光学系（３０）と、近赤外光を分光するビームスプリッタ（２５）と、カラー撮像素子であって赤色フィルタをもつ撮像素子（５０）と、前記分光された近赤外光を撮像する撮像素子（６０）とを含む。前記分光された近赤外光を撮像する撮像素子の画素ピッチが前記赤色フィルタをもつ撮像素子の画素ピッチよりも大きく、近赤外光のサンプリング位置とカラー撮像における赤色のサンプリング位置が画素配列上、水平方向または垂直方向にずれている。

本発明の別の態様は、撮像方法である。この方法は、被写体からの光を撮像素子に結像させる光学系を用いて近赤外光映像を撮像する撮像方法であって、ビームスプリッタを透過した光を赤色フィルタをもつ撮像素子に撮像するステップと、ビームスプリッタによって分光された近赤外光を撮像素子に撮像するステップとを含む。前記分光された近赤外光を撮像する撮像素子の画素ピッチが前記赤色フィルタをもつ撮像素子の画素ピッチよりも大きく、前記分光された近赤外光を撮像する撮像素子に撮像された画像の画素を赤色フィルタをもつ撮像素子に撮像された画像の画素に対してずらして画像を合成するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、近赤外光の撮像感度を落とすことなく、近赤外光映像の解像度を高めることができる。

可視光と近赤外光の波長域を説明する図である。画像センサの前面に配置される色フィルタを説明する図である。色フィルタの透過特性を説明する図である。画像センサの画素ピッチと感度の関係を説明する図である。図５（ａ）および図５（ｂ）は、可視光映像と近赤外光映像を独立して撮像する撮像装置の構成図である。図６（ａ）および図６（ｂ）は、ＵＶ−ＩＲフィルタのフィルタ特性を説明する図である。ビームスプリッタの反射膜の分光特性を説明する図である。本実施の形態に係る撮像装置の構成図である。図９（ａ）、図９（ｂ）および図９（ｃ）は、図８のバンドストップフィルタのフィルタ特性を説明する図である。図１０（ａ）、図１０（ｂ）および図１０（ｃ）は、カラー撮像素子の近赤外光映像と白黒撮像素子の近赤外光映像を画素ずらし合成する方法を説明する図である。本実施の形態の撮像装置による、可視光映像と近赤外光映像の撮像手順を説明するフローチャートである。

図１〜７を参照して本発明の実施の形態の前提となる技術について説明する。

図１は、可視光と近赤外光の波長域を説明する図である。光の波長域は波長の短い方から、紫外域、可視光域、近赤外域、中赤外域、遠赤外域に分かれている。波長４００〜６６０ナノメートル（ｎｍ）の間は人間の眼で普通に認識できる可視光域であり、それよりも波長の長い領域は赤外域である。符号２００は励起光域を示し、符号２１０は蛍光発光域を示す。医療分野では生体内部を観察するために、生体を透過しやすい近赤外域の光が用いられる。一例として、近赤外光によって励起され、励起光とは波長の異なる近赤外蛍光を発するインドシアニングリーン（ＩＣＧ）と呼ばれる検査試薬を体内に注入し、励起光を照射して近赤外光の発光を観察することが行われている。そのためには、眼では見ることのできない蛍光発光のみを励起光を除いて撮像することが必要である。

図２は、画像センサの前面に配置される色フィルタ３００を説明する図である。色フィルタ３００は、一般的にＲ（赤）、Ｇ（緑）、Ｂ（青）の色フィルタを同図のようにベイヤ配列で並べたＲＧＢフィルタである。ＲＧＢフィルタの後ろには画像センサのフォトダイオードがあり、各色フィルタを透過した光を電荷に変換する。蓄えられた電荷は電気信号に変換され、ＲＧＢ３色のカラー映像が信号処理によって作り出される。

図３は、色フィルタ３００の透過特性を説明する図である。横軸は波長、縦軸は光の透過率を示す。符号２２０は青色フィルタ、符号２２２は緑色フィルタ、符号２２４は赤色フィルタの透過特性を示す。参考のため、符号２２６は近赤外光を透過する近赤外光フィルタの透過特性を示す。

画像センサの１画素単位の大きさを画素ピッチと呼ぶ。画像を高解像度にするためには画像センサの画素数を上げる必要があり、近年、画素ピッチは小さくなってきている。他方、一般的に画素ピッチが小さくなると、センサの感度が低くなる。

図４は、画像センサの画素ピッチと感度の関係を説明する図である。横軸は波長、縦軸は感度を示す。画素ピッチが小さい場合、光の波長に対する画像センサの感度は、符号２３０で示すグラフのようになる。それに対して画素ピッチが大きい場合、光の波長に対する画像センサの感度は、符号２３２で示すグラフのようになる。画素ピッチが大きいほど、センサの感度は高くなる。光の波長が長くなると、画像センサの感度は低くなるが、特に近赤外域での感度の低下は大きい。近赤外域の光を十分な感度で撮像するためには、画素ピッチを大きくする必要がある。これは、可視光域を撮像する画像センサの高画素化の要求とは両立しないため、画素ピッチの小さい（高画素数の）可視光用カラー撮像素子と画素ピッチの大きい（低画素数の）近赤外光用白黒撮像素子を独立して用意して、高解像度の可視光映像と低解像度の近赤外光映像を別々に取得することが通常である。

図５（ａ）および図５（ｂ）は、可視光映像と近赤外光映像を独立して撮像する撮像装置の構成図である。まず、図５（ａ）の撮像装置の構成を説明する。照明装置１０は被写体４００に可視光または近赤外域の励起光を照射する。ビームスプリッタ２０は、可視光を透過し、赤外光を反射する光学素子である。

可視光を照射された被写体４００からの反射光はビームスプリッタ２０を透過し、レンズ３１によりカラー撮像素子５０に結像する。レンズ３１とカラー撮像素子５０の間には、紫外域と赤外域の光をカットするＵＶ−ＩＲフィルタ４０が配置される。カラー撮像素子５０により可視光映像が撮像される。

ここで、図６（ａ）および図６（ｂ）を参照して、ＵＶ−ＩＲフィルタ４０のフィルタ特性を説明する。横軸は波長、縦軸は透過率を示す。符号２４０は可視光域を示す。カラー撮像素子のＲＧＢフィルタの特性によれば、青色フィルタは可視光域の青色以外に紫外域の光の一部を透過させ、赤色フィルタは可視光域の赤色以外に近赤外域の光の一部を透過させる。ＵＶ−ＩＲフィルタ４０は、可視光域以外の不要光をカットするために設けられるバンドパスフィルタであり、４００ｎｍ〜６６０ｎｍの可視光を通過させ、４００ｎｍ未満の紫外光と６６０ｎｍを超える赤外光をカットする。カットフィルタとして、赤外光だけをカットするＩＲフィルタを用いてもよい。また、自然光が入らないクローズドな環境では、光源の波長を制限し、赤外域の光をカットするようにしてもよい。

図５（ａ）を再び参照する。励起光を照射された被写体４００からの蛍光はビームスプリッタ２０の反射膜で反射し、レンズ３２により白黒撮像素子６０に結像する。白黒撮像素子６０により近赤外光映像が撮像される。近赤外光の撮像感度を高めるため、白黒撮像素子６０の画素ピッチは、カラー撮像素子５０の画素ピッチより大きくする必要がある。したがって、センサのサイズが同一であれば、白黒撮像素子６０の画素数はカラー撮像素子５０の画素数よりも少なくなり、白黒撮像素子６０により撮像された近赤外光映像の解像度は、カラー撮像素子５０により撮像された可視光映像の解像度よりも低くなる。

ここで、図７を参照して、ビームスプリッタ２０の反射膜の分光特性を説明する。横軸は波長、縦軸は透過率を示す。符号２５０は近赤外光域を示す。近赤外光域に対して、符号２５２は励起光のスペクトル、符号２５４は蛍光のスペクトルを示す。ビームスプリッタ２０の反射膜は符号２６０に示すようなショートパスフィルタの特性をもち、可視光は透過させてカラー撮像素子５０に導き、近赤外光は反射させて近赤外用の白黒撮像素子６０に光を導く。さらに、ビームスプリッタ２０の反射膜は、近赤外光の内、励起光２５２は透過させ、蛍光２５４は反射させるように透過する波長帯域が調整されている。これにより、白黒撮像素子６０は蛍光域の光だけを撮像することができる。

図５（ａ）の撮像装置では、カラー撮像素子５０により可視光映像が撮像され、白黒撮像素子６０により近赤外光映像が撮像され、可視光映像と近赤外光映像とが切り替えて出力される。

図５（ｂ）の撮像装置は、カラー撮像素子５０により可視光映像が、白黒撮像素子６０により近赤外光映像が独立して撮像される点は図５（ａ）の撮像装置と同じであるが、共通のレンズ３０でカラー撮像素子５０と白黒撮像素子６０に結像させるため、可視光映像と近赤外光映像とを重畳して出力することもできる点が異なる。それ以外の構成は、図５（ａ）の撮像装置と同じである。

図８は、本実施の形態に係る撮像装置の構成図である。照明装置１０は被写体４００に可視光または近赤外域の励起光を照射する。ビームスプリッタ２５は、可視光および赤外光の一部を透過し、残りの赤外光を反射する光学素子である。

可視光を照射された被写体４００からの反射光はレンズ３０を通ってビームスプリッタ２５を透過し、カラー撮像素子５０に結像する。ビームスプリッタ２５とカラー撮像素子５０の間には、特定の帯域をカットするバンドストップフィルタ４５が配置される。バンドストップフィルタ４５は、可視光および近赤外光の一部を透過するため、可視光照射時はカラー撮像素子５０により可視光映像が撮像され、近赤外域の励起光照射時はカラー撮像素子５０により近赤外光映像が撮像される。

ここで、図９（ａ）、図９（ｂ）および図９（ｃ）を参照して、バンドストップフィルタ４５のフィルタ特性を説明する。横軸は波長、縦軸は透過率を示す。符号２７０はバンドストップフィルタ４５によって透過される光域を示す。図９（ａ）に示すように、バンドストップフィルタ４５は、４００ｎｍ未満の紫外光をカットし、被写体に照射される励起光２５２をカットするために６６０ｎｍ〜８００ｎｍの近赤外光をカットするが、被写体からの蛍光２５４の一部を撮像するために８００ｎｍ以上の近赤外光は透過する。

その結果、可視光照射時は、図９（ｂ）のようにＲ、Ｇ、Ｂの可視光が透過して可視光画像が撮像されるが、近赤外域の励起光照射時は、図９（ｃ）のように近赤外域の蛍光の一部が赤色フィルタを透過して近赤外光映像が撮像される。

図８を再び参照する。励起光を照射された被写体４００からの蛍光はレンズ３０を通ってビームスプリッタ２５の反射膜で反射し、ビームスプリッタ２５の壁で再度反射して白黒撮像素子６０に結像する。１回反射では画像が左右反転するため、２回反射させる構成にすることにより、反転しない画像が白黒撮像素子６０に結像する。近赤外光の撮像感度を高めるため、白黒撮像素子６０の画素ピッチは、カラー撮像素子５０の画素ピッチより大きくする必要がある。

ビームスプリッタ２５の反射膜の分光特性は図７で説明したものと同じである。すなわち、ビームスプリッタ２５の反射膜は可視光は透過させ、近赤外光の内、励起光２５２は透過させ、蛍光２５４は反射させる。

ここで、ビームスプリッタ２５の反射膜により分光される波長帯域を調整することで、蛍光２５４の一部を透過させてカラー撮像素子５０に結像させ、残りの蛍光２５４を反射させて白黒撮像素子６０に結像させる。反射膜により分光される半値波長は、蛍光２５４の波長帯域の略半分となる波長またはそれ以上に設定する。カラー撮像素子５０は白黒撮像素子６０よりも画素ピッチが小さいため、蛍光２５４を撮像するときのカラー撮像素子５０の感度は白黒撮像素子６０の強度よりも低くなる。そのため、反射膜により分光される波長の半値は、カラー撮像素子５０の感度を上げる方向に調整し、カラー撮像素子５０のＳＮ比を向上させるのが好ましい。すなわち、反射膜により分光される波長の半値は、蛍光２５４の波長帯域の略半分となる波長よりも大きくして、カラー撮像素子５０の方により多くの蛍光２５４を入射させることが好ましい。

このようにビームスプリッタ２５の分光特性とバンドストップフィルタ４５のフィルタ特性を構成することにより、被写体４００に励起光２５２を照射して、蛍光２５４を撮像するとき、カラー撮像素子５０の赤色撮像素子には蛍光２５４の一部が結像し、白黒撮像素子６０には残りの蛍光２５４が結像する。

図１０（ａ）、図１０（ｂ）および図１０（ｃ）は、カラー撮像素子５０の近赤外光映像と白黒撮像素子６０の近赤外光映像を画素ずらし合成する方法を説明する図である。カラー撮像素子５０は、Ｒ、Ｇ、Ｂの画素が図１０（ａ）に示すように配置されている。他方、白黒撮像素子６０は、カラー撮像素子５０よりも画素ピッチが大きく、図１０（ｂ）のように近赤外光の輝度を示す画素が配置されている。ここでは、白黒撮像素子６０の画素ピッチは、カラー撮像素子５０の画素ピッチの２倍であるとする。

近赤外光の撮像時には、図１０（ａ）のカラー撮像素子５０のＲ画素にも近赤外光が撮像されているため、図１０（ｂ）の白黒撮像素子６０の画素と合成することで、近赤外光映像を取得することができる。ここで、図１０（ｂ）の白黒撮像素子６０の解像度は、図１０（ａ）のカラー撮像素子５０の解像度の半分であるが、合成の際、図１０（ｂ）の白黒撮像素子６０の画素を、図１０（ａ）のカラー撮像素子５０のＲ画素に対して半画素（カラー撮像素子５０の画素ピッチの半分）ずらして合成することで、近赤外感度を落とすことなく解像度を上げることができる。

図１０（ｃ）は、白黒撮像素子６０の画素をカラー撮像素子５０のＲ画素に対して半画素ずらして合成した画像を示す。このようにカラー撮像素子５０のＲ画素に取得された近赤外光映像を半画素ずらして白黒撮像素子６０の画素に合成すれば、白黒撮像素子６０の近赤外光映像の解像度は、カラー撮像素子５０の可視光映像の解像度と同じになる。ただし、解像度を最も上げるには、白黒撮像素子６０の画素をカラー撮像素子５０のＲ画素に対して半画素ずらすことが好ましいが、白黒撮像素子６０の画素をカラー撮像素子５０のＲ画素に対して半画素以外のずらし量でも解像度を上げることは可能である。

より一般には、白黒撮像素子６０の画素ピッチがカラー撮像素子５０の画素ピッチのｎ倍（ｎは自然数）である場合、白黒撮像素子６０の画素をカラー撮像素子５０のＲ画素に対して１／ｎ画素ずらして合成することにより、白黒撮像素子６０の近赤外光映像の解像度をカラー撮像素子５０の可視光映像の解像度に揃えることができる。

もっとも解像度を上げる必要がないなら、画素ずらしをせずに白黒撮像素子６０の画素とカラー撮像素子５０のＲ画素を合成することにより、近赤外光映像を生成してもよい。

なお、図８の撮像装置において、図５（ａ）の撮像装置のように、カラー撮像素子５０用のレンズ３１と、白黒撮像素子６０用のレンズ３２を別々に設ける構成にしてもよい。また、ビームスプリッタ２５は２回反射のプリズムでなく、１回反射のプリズムにしてもよい。その場合、画素をずらして合成する際、白黒撮像素子６０により撮像された画像を左右反転させる信号処理を合わせて行えばよい。

図１１は、図８の本実施の形態の撮像装置による、可視光映像と近赤外光映像の撮像手順を説明するフローチャートである。

照明装置１０により可視光を被写体４００に照射する（Ｓ１０）。ビームスプリッタ２５を透過した可視光がバンドストップフィルタ４５により紫外域および近赤外域の不要光をカットされてカラー撮像素子５０に結像し、可視光映像が撮像される（Ｓ２０）。

照明装置１０により励起光を被写体４００に照射する（Ｓ３０）。ビームスプリッタ２５を透過した近赤外光の内、励起光がバンドストップフィルタ４５によりカットされ、蛍光がカラー撮像素子５０の赤色フィルタをもつ撮像素子に結像し、赤色撮像素子に近赤外光映像Ａが撮像される（Ｓ４０）。

ビームスプリッタ２５の反射膜は、近赤外光の内、励起光を透過させ、蛍光を反射させ、反射した蛍光が白黒撮像素子６０に結像し、白黒撮像素子６０に近赤外光映像Ｂが撮像される（Ｓ５０）。白黒撮像素子６０に撮像された近赤外光映像Ｂは、カラー撮像素子５０に撮像された可視光画像に比べて解像度が低い。

カラー撮像素子５０の赤色撮像素子に撮像された近赤外光映像Ａの画素を、白黒撮像素子６０に撮像された近赤外光映像Ｂの画素に対してずらして二つの映像を合成することにより、可視光画像と同等の解像度をもつ近赤外光映像を生成する（Ｓ６０）。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の実施の形態では、励起光による蛍光を撮像して近赤外光映像を生成したが、本実施の形態の画素ずらしによる画像合成は、励起光を用いない通常の赤外線カメラによって近赤外光映像を撮像する場合にも適用することができる。一般のカメラでは赤外光が入り込まないようにＩＲフィルタをカラー撮像素子の前に置いているが、ＩＲフィルタを用いないで可視光映像を撮像すると、赤色フィルタをもつ撮像素子には赤外光も取り込まれている。可視光帯域をカットするフィルタを用いればカラー撮像素子によって赤外光映像を撮像することができるので、白黒撮像素子によって撮像された赤外光映像と合成して近赤外感度を落とすことなく解像度を上げることができる。

１０照明装置、２０、２５ビームスプリッタ、３０、３１、３２レンズ、４０ＵＶ−ＩＲフィルタ、４５バンドストップフィルタ、５０カラー撮像素子、６０白黒撮像素子、４００被写体。

Claims

被写体からの光を結像させる光学系と、
近赤外光を分光するビームスプリッタと、
カラー撮像素子であって赤色フィルタをもつ撮像素子と、
前記分光された近赤外光を撮像する撮像素子とを含み、
前記分光された近赤外光を撮像する撮像素子の画素ピッチが前記赤色フィルタをもつ撮像素子の画素ピッチよりも大きく、
近赤外光のサンプリング位置とカラー撮像における赤色のサンプリング位置が画素配列上、水平方向または垂直方向にずれていることを特徴とする撮像装置。
前記分光された近赤外光を撮像する撮像素子の画素ピッチが、前記赤色フィルタをもつ撮像素子の画素ピッチの２倍であり、
近赤外光のサンプリング位置がカラー撮像における赤色のサンプリング位置に対して画素配列上、水平方向または垂直方向に、前記赤色フィルタをもつ撮像素子の画素ピッチの半分ずれていることを特徴とする請求項１に記載の撮像装置。
前記ビームスプリッタは、近赤外光を偶数回反射することを特徴とする請求項１または２に記載の撮像装置。
前記赤色フィルタをもつ撮像素子の前に配置されるバンドストップフィルタをさらに含み、
前記バンドストップフィルタは、前記被写体に照射される励起光をカットするフィルタであり、
前記ビームスプリッタは、前記励起光によって前記被写体から発する蛍光を分光することを特徴とする請求項１から３のいずれかに記載の撮像装置。
前記ビームスプリッタにより分光される半値波長は、分光される蛍光の波長帯域の半分となる波長またはそれ以上であることを特徴とする請求項４に記載の撮像装置。
被写体からの光を撮像素子に結像させる光学系を用いて近赤外光映像を撮像する撮像方法であって、
ビームスプリッタを透過した光を赤色フィルタをもつ撮像素子に撮像するステップと、
ビームスプリッタによって分光された近赤外光を撮像素子に撮像するステップとを含み、
前記分光された近赤外光を撮像する撮像素子の画素ピッチが前記赤色フィルタをもつ撮像素子の画素ピッチよりも大きく、前記分光された近赤外光を撮像する撮像素子に撮像された画像の画素を赤色フィルタをもつ撮像素子に撮像された画像の画素に対してずらして画像を合成するステップとを含むことを特徴とする撮像方法。