以下、添付の図面に示す好適実施形態に基づいて、本発明に係る偏光画像計測装置、及び偏光画像計測表示システムを詳細に説明する。
図1は、本発明の偏光画像計測表示システムの一実施形態の概略構成を示す模式的ブロック図である。
図1に示す本実施形態の偏光画像計測表示システム10は、生体(被検体)の所定部位、例えば人体の消化器等の体腔や人体の腹部内等を検査したり、その病変部や病巣を観察したり、診断したり、その手術や処置等をするのに用いられる内視鏡や腹腔鏡に適用され、また、内視鏡診断装置や腹腔鏡ナビゲーション装置等に用いられるものであり、所定部位の表層に表出する表出組織を表層の組織と識別するための、所定の偏光特性、すなわち偏光変数による偏光特性画像を得、表出組織を表層の組織と識別可能に可視化して表示するものである。
図示例の偏光画像計測表示システム10は、生体の所定部位に異なる複数の偏光状態の照射光(偏光光)をそれぞれ照射し、所定部位の表層からの複数の異なる偏光状態の反射光による複数の光強度画像を撮像する偏光撮像系12と、異なる偏光状態の複数の光強度画像に偏光変換処理を行い、所定の偏光特性による偏光特性画像(それぞれ偏光特性の異なる複数の偏光特性画像)を得る偏光変換処理部14と、偏光特性画像を、表出組織を表層の組織と識別可能に可視化して表示するための表示用偏光特性画像に変換する表示変換処理部16と、表示用偏光特性画像を表示する表示部18と、所定部位の通常のカラー画像を取得する通常カラー撮像系20と、表示用偏光特性画像を通常のカラー画像に重ねて、若しくは並べて表示するために両画像の合成を行う画像合成部22と、を有する。
なお、偏光撮像系12及び偏光変換処理部14は、本発明に係る偏光画像計測装置を構成する。
偏光撮像系12は、従来のP/S偏光だけではなく、複数の偏光特性(偏光変数)を含む高次の偏光パラメータ(ミューラー(Mueller)行列)を計測することができる偏光撮像システム、すなわち撮影対象のミューラー計測ができるミューラー撮像システムを構成するもので、生体の所定部位にその表層から複数の異なる偏光状態の照射光をそれぞれ照射する偏光照射部24と、偏光状態の異なる偏光光が偏光照射部24から生体に照射される毎に、複数の偏光状態の照射光によって照射された所定部位の表層から複数の偏光状態の反射光を順次受光して、所定部位の表層の複数の光強度画像を撮像する撮像部26と、を有するものである。
本発明においては、偏光撮像系12は、このようなミューラー撮像システムを構成することができるものであれば、どのような撮像系であってもよく、その偏光照射部24及び撮像部26としては、種々のタイプのものを用いることができる。
図2に、本発明の偏光撮像系の一実施形態の模式図を示す。
同図に示す偏光撮像系12aは、図1に示す偏光撮像系12として用いられ、アザム(Azzam)方式の2重位相子型のミューラー行列偏光計の光学系をなすもので、検査対象又は観察対象となる生体の所定部位である人体腹部Aに所定の偏光状態の照射光を照射する偏光照射部24aと、人体腹部Aから反射する所定の偏光状態の反射光を検出光として受光して撮像する撮像部26aを有する。
偏光照射部24aは、光源34と、光源34より人体腹部A側に固定的に配置される本発明の第1偏光子である偏光板36a及び人体腹部A側に配置され、所定角度毎に回転される本発明の第1位相差付与手段である回転位相差板38aを備え、複数の偏光状態内の1つの偏光状態の照射光のみをそれぞれ順次透過させる照射側の第1偏光フィルタ部40aとを有する。
また、撮像部26aは、CCDカメラ42と、カメラ42より人体腹部A側に固定的に配置される本発明の第2偏光子である偏光板36b及び人体腹部A側に配置され、所定角度毎に回転される本発明の第2位相差付与手段である回転位相差板38bを備え、第1偏光フィルタ部40aを透過する照射光の1つの偏光状態に対応する1つの偏光状態の反射光のみをそれぞれ順次透過させる反射側の第2偏光フィルタ部40bとを有する。
偏光照射部24aに用いられる光源34としては、人体腹部Aを撮像可能に照明できる所定波長の光を射出できれば特に制限的ではなく、例えば、所定の狭帯域波長のレーザビームを射出するレーザやLED等や、キセノンランプや、蛍光灯、水銀灯などの白色灯等や、3原色、例えばRGBの3色のLEDやレーザからなる白色LEDや白色レーザ、所定波長のレーザと蛍光体とからなる擬似白色レーザなどを用いることができる。なお、白色灯等や白色LED等を用いる場合には、所定の狭帯域波長を透過する色フィルタや、いわゆるバンドパスフィルタを用いる必要がある。
ここで、照射光の所定の狭帯域波長としては、特に制限的ではないが、例えば、400nm〜700nm等の可視域であっても良いし、700nm〜1300nmの赤外域であっても良く、波長帯域は、例えば、5nm〜50nm、好ましくは10nm〜20nmである。
カメラ42は、デジタル画像情報として人体腹部Aの偏光光による光強度画像情報を取得するものであり、例えば、CCDやCMOSなどの撮像素子を備えた高画素密度カメラを用いることができる。画素数としては特に限定はないが、高精細な偏光画像を得るためには、20万画素以上であるのが好ましく、100万画素以上であるのがより好ましい。画素数の上限は特に限定されないが、後述する撮像部26aのカメラのCCDや後述するCCD56の画素数によって定めればよい。
また、第1及び第2偏光フィルタ部40a及び40bの偏光板36a及び36bは、それぞれ偏光子及び検光子として用いられるもので、同様の偏光板が用いられ、光源34からの射出光の光軸に垂直に固定して配置される。例えば、光源34からの射出光は、偏光板36aによって直線偏光される。また、回転位相差板38bを透過した反射光は、偏光板36bによって直線偏光される。
また、第1及び第2偏光フィルタ部40a及び40bの回転位相差板38a及び38bは、例えば、回転する円板状のλ/4波長板が用いられ、すなわちλ/4波長板を光軸に垂直な平面内において光軸周りにそれぞれ所定角度毎に回転させることにより構成することができる。例えば、回転位相差板38aを透過した光は、直線偏光又は円(楕円)偏光した光となり、人体腹部Aで反射した光も、直線偏光又は円(楕円)偏光した光となる。なお、回転位相差板38a及び38bとなる2枚のλ/4波長板は、光軸に垂直に所定位相差となるように光軸周りに所定角度ずらした状態で、それぞれ所定角度ずつ回転される。
なお、回転位相差板38a及び38bをそれぞれ回転駆動する機構としては、特に限定的ではなく、回転位相差板38a及び38bを構成する円板の外周を保持して回転させる公知の回転駆動機構を用いることができる。
偏光撮像系12aの偏光照射部24aの第1偏光フィルタ部40aと、撮像部26aの第2偏光フィルタ部40bとは、互いに各々の所定の偏光状態に正確に維持する必要があるために、両者を正確に位置合わせしておく必要がある。
この偏光撮像系12aは、回転位相差板38a及び38bを回転駆動させる必要があるために、装置が大型化するため、偏光照射部24a及び撮像部26aを人体の腹部Aの外部に設置する必要があるが、偏光特性(偏光変数)は完全であり、腹腔鏡には好適に適用でき、腹腔鏡ナビゲーション装置に好適に用いることができる。なお、回転位相差板38a及び38bとしては、λ/4板に限定されず、λ/2板や、その他の位相差板を用いても良い。
ここで、例えば、図示例の実施形態の偏光撮像系12aは、ミューラー撮像システムを構成し、撮影対象(サンプル)Mの4行×4列のミューラー行列を求めるための光強度偏光画像を求めるものである。
したがって、本実施形態では、ミューラー行列に含まれる全ての偏光特性、すなわち16(=4×4)の偏光変数を全て得るためには、詳細は、後述するが、偏光状態が互いに異なる少なくとも16枚の光強度偏光画像を取得する必要がある。すなわち、第1偏光フィルタ部40aから射出され、人体の腹部Aに入射される入射光の偏光状態が互いに異なる少なくとも4種類となり、人体の腹部Aから反射され、第2偏光フィルタ部40bから射出される検出光の偏光状態が互いに異なる少なくとも4種類となり、その組み合わせが少なくとも16種類の互いに異なる偏光状態となるように、回転位相差板38a及び38bを回転させる必要がある。
例えば、偏光撮像系12aでは、第1偏光フィルタ部40aの回転位相差板38aのλ/4波長板を、入射光の偏光状態が互いに異なる少なくとも4種類となるように、後述する光の偏光状態を表す入射光のストークスパラメータS0、S1、S2及びS3が互いに異なるように回転させると共に、第2偏光フィルタ部40bの回転位相差板38bのλ/4波長板を、入射光のストークスパラメータS0、S1、S2及びS3のそれぞれに対して、出射光の偏光状態が互いに異なる少なくとも4種類となるように、例えば、出射光のストークスパラメータS0、S1、S2及びS3が互いに異なるように回転させながら、撮像部26は、16回以上撮影し、16フレーム(枚)以上の光強度偏光画像、すなわち16フレーム以上の光強度偏光画像情報を取得する必要がある。この場合に、レジスト処理を行うのが良い。
なお、ストークスパラメータS0、S1、S2、及びS3は、それぞれ、偏光の全体の強度(縦と横との偏光ベクトルの和)、縦と横(水平方向と垂直方向)との偏光ベクトルの差、偏光角45度と135度との偏光ベクトルの差、及び右円偏光と左円偏光との差ということができる。
また、本発明においては、互いに異なる偏光状態の16フレーム(枚)以上の光強度偏光画像から、入射光及び出射光のストークスパラメータS0、S1、S2、及びS3を求めて、ミューラー行列を求めてもよいが、予め、互いに異なる偏光状態の16フレーム(枚)以上の光強度偏光画像から直接ミューラー行列を求めるように演算方式を設定しておけば、入射光及び出射光のストークスパラメータS0、S1、S2、及びS3は、必ずしも求めなくても良い。
また、本実施形態においては、回転位相差板38aであるλ/4波長板の偏光角度(回転角度)がθである時、回転位相差板38bであるλ/4波長板の偏光角度(回転角度)は、5θ以上、かつ、θの奇数倍、好ましくは5θに設定されることも好ましい。
例えば、第1偏光フィルタ部40aの回転位相差板38aのλ/4波長板の回転角度θを、0°から180°まで所定の角度毎に、例えば、11.25°毎に変えると共に、第2偏光フィルタ部40bの回転位相差板38bのλ/4波長板の回転角度を、その5倍以上、すなわち5θ以上の角度毎に変えながら、撮像部26は、16(=180/11.25)回撮影し、16フレームの光強度偏光画像を取得することができる。
また、詳細は後述するが、本発明では、偏光撮像系12aにおいて、λ/4波長板の偏光角度θを、0度から180度まで、例えば、7.2度毎に変えながら、撮像部26は、25(=180/7.2)回撮影し、25フレーム(枚)の光強度偏光画像、すなわち25フレームの光強度偏光画像情報を取得するのがより好ましい。
なお、回転位相差板38a及び38bの回転方法としては、これに限定されるわけではなく、4行4列のミューラー行列の16偏光変数(要素)の1つでも欠けて求まらなくなることがないように、基本的には、入射光及び出射光の偏光状態を、円偏光成分と直線偏光成分を含み、方位の変化がある異なる偏光状態にできれば、どのような回転方法であっても良いが、全偏光変数を均等に(例えば、直線偏光←→楕円偏光←→円偏光、光軸方向が0°←→180°(=ポアンカレ球表面全域))、かつ同じ条件が重ならないように変調することが好ましい。例えば、回転位相板38aの回転角度を、0°、90°、180°及び270°とすると、45°及び135°の円偏光成分が発生せず、ミューラー行列の4行4列の全偏光変数を求めることができないので、間の角度を回転させることが必要である。また、光軸の方も、0°と90°との2方向しかなく、方位に関しても間の45°とか135°の成分がないと、ミューラー行列の全偏光変数を求めることができず、不完全なものとなる。
なお、ミューラー行列に含まれるすべての偏光特性(偏光変数)を得る必要がなく、特定の偏光特性(偏光変数)のみが必要である場合には、25フレーム等の少なくとも16フレームの光強度偏光画像を取得する必要はなく、必要な偏光特性(偏光変数)に応じて必要な数のフレームの光強度偏光画像のみを取得するようにしても良い。例えば、直線偏光に関する偏光状態のみが問題になる場合には、16フレーム未満、例えば、12フレームのみの光強度偏光画像を取得するようにしても良い。
なお、図2に示す実施形態の偏光撮像系12aは、偏光照射部24aの本発明の第1位相差付与手段として、回転位相差板38aを用い、撮像部26aの本発明の第2位相差付与手段として、回転位相差板38bを用いるものであるが、本発明はこれに限定されず、例えば、第1位相差付与手段として、位相差シート又は2枚の位相変調素子を用いても良いし、第2位相差付与手段として、2枚の位相変調素子、偏光子貼付パターニング素子又は偏光子及び位相子に貼り付けられたパターニング素子を用いても良い。
図3に、第1及び第2位相差付与手段としてそれぞれ2枚の位相変調素子を用いる偏光撮像系の一実施形態を示す。
図3に示す偏光撮像系12bは、回転位相差板38a及び38bの代わりに、それぞれ2枚の位相変調素子44a、45a及び44b、45bを用いる点を除いて、図2に示す光撮像系12aと同様の構成を有するものであるので、その詳細な説明は省略する。
偏光撮像系12bは、偏光照射部24b、及び撮像部26bを有し、偏光照射部24bは、光源34と、偏光板36a、第1位相変調素子44a及び第2位相変調素子45aからなる第1偏光フィルタ部46aと、を有し、撮像部26bは、第1及び第2位相変調素子44b及び45b、並びに偏光板36bからなる第2偏光フィルタ部46bと、カメラ42とを有する。
偏光照射部24bの第1偏光フィルタ部46aに用いられる第1及び第2位相変調素子44a及び45aは、撮像部26bの第2偏光フィルタ部46bに用いられる第1及び第2位相変調素子44b及び45bと同様の構成を有するものである。これらの位相変調素子44a、44b、45a及び45bは、屈折率に方向性があり、その方向に関しては変えることができないが、電気的に駆動することにより、屈折率の高さを変えることができる素子であり、例えば、直線偏光が入った時に、屈折率の高さを変えることにより、直線偏光だけを通すこともできるし、縦と横の屈折率の高さに応じた楕円偏光や円偏光(λ/4)を通すこともできる素子である。なお、このような位相変調素子44a、44b、45a及び45bとして、例えば、液晶素子等を用いた位相変調素子や、市販の位相変調素子(例えば、メドウラーク(Meadowlark)社製)等を挙げることができる。
このような第1位相変調素子44a及び44b(例えば0度に配置)に対してそれぞれ第2位相変調素子45a及び45bを45度傾けて設置(例えば45度に配置)することにより、楕円偏光や円偏光を直線偏光にすることもできるし、楕円偏光の楕円率を変えることもできるし、様々な角度の楕円偏光にすることもできる。例えば、0°に設置された第1位相変調素子44aに、45°の方向の直線偏光光が入射する場合、位相変調素子44aの位相差(複屈折率)が0(=0°)の場合は、直線偏光光が変化せずそのまま透過して出ていき、一方、位相変調素子44aの位相差がλ/4(=90°=π/2)の場合は、直線偏光光はその影響を受けて、円偏光光として出ていくことなる。
このため、偏光撮像系12bでは、第1位相変調素子44a及び44bと第2位相変調素子45a及び45bとを組み合わせて電気的に変調駆動することにより、機械的に回転する回転位相差板38a及び38bと同様の機能を発揮させることができる。すなわち、第1位相変調素子44a及び44bをそれぞれ第2位相変調素子45a及び45bと組み合わせることにより、図2に示す偏光撮像系12aにおいて回転位相差板38a及び38bを回転させることによって実現した入射光の偏光状態、及び検出光の偏光状態と同じ入射光の偏光状態、及び同じ検出光の偏光状態を達成することができ、偏光照射部24bからの入射光においても、撮像部26bの検出光においても、ストークスパラメータS0、S1、S2及びS3を求めることができ、設定することができる。
すなわち、偏光照射部24bの第1偏光フィルタ部46aの第1位相変調素子44a
を、例えば、その遅相軸が偏光板36aの遅相軸に対して0度、すなわち軸(屈折率の高い方向)の角度が0°となるように設定し、直線偏光の縦と横の偏光量(ベクトル)、すなわち位相差がΔ1、Δ2となるようにすると共に、第1位相変調素子44bを、その遅相軸が偏光板36aの遅相軸に対して45度、すなわち軸(屈折率の高い方向)の角度が45°となるように設定し、偏光の斜め(左右)方向の偏光量、すなわち位相差がΔ1、Δ2となるようにすることにより、偏光照射部24bからの入射光において、後述する光の偏光状態を表すストークスパラメータS0、S1、S2及びS3を互いに異なるものとすることができる。
一方、撮像部26bの第2偏光フィルタ部46bの第2位相変調素子45a及び45bについても同様に、第2位相変調素子45bを、軸(屈折率の高い方向)の角度が0°となるように設定し、位相差がΔ1、Δ2となるようにすると共に、第2位相変調素子44aを、軸(屈折率の高い方向)の角度が45°となるように設定し、位相差がΔ1、Δ2となるようにすることにより、撮像部26bの検出光においても、ストークスパラメータS0、S1、S2及びS3を互いに異なるものとすることができる。
したがって、本実施形態の偏光撮像系12bも、ミューラー撮像システムを構成し、互いに偏光状態の異なる偏光光による少なくとも16枚の光強度画像を得ることができ、ミューラー行列に含まれる全16の偏光変数を得ることができる。
この偏光撮像系12bは、位相変調素子44a、44b、45a及び45bを駆動させるので、偏光特性(偏光変数)は完全であるし、回転位相差板38a及び38bを回転駆動させる図1に示す偏光撮像系12aに比べて、装置が小型化できるので、腹腔鏡にはより好適に適用でき、腹腔鏡ナビゲーション装置により好適に組み込むことができる。
なお、図2及び図3に示す例では、偏光照射部24と撮像部26に同様の偏光フィルタ部を用いているが、本発明は、これに限定されず、両者で異なる偏光フィルタ部を用いても良いし、異なる位相差付与手段を用いても良い。例えば、図2に示す偏光照射部24aと、図3に示す撮像部26bとを用いて偏光撮像系を構成しても良いし、逆に図3に示す偏光照射部24bと、図2に示す撮像部26aとを用いて偏光撮像系を構成しても良い。
なお、図2及び図3に示す例は、偏光照射部24と撮像部26を生体の外部に配置するものであり、腹腔鏡などに適用されものであるが、以下に、内視鏡等の生体内部に適用可能な例を示す。
図4(a)は、内視鏡に適用される偏光撮像系の一実施形態の模式図であり、図4(b)は、その偏光撮像系に用いられるパターニング偏光/波長板の1画素分の素子を拡大して示す拡大模式図である。
図4(a)に示す偏光撮像系12cは、偏光照射部24c及び撮像部26cを有し、偏光照射部24cは、光源34と、偏光板36a、第1及び第2位相変調素子44a及び45aからなる第1偏光フィルタ部46aと、光ファイバ48を備える光プローブ50と、を有し、撮像部26cは、光プローブ50内に配置されるパターニング偏光/波長板52からなる第2偏光フィルタ部54と、CCD56とを有する。
ここで、偏光照射部24cの光源34及び第1偏光フィルタ部46aは、図3に示す偏光撮像系12bと同様の構成を有するものであるので、その詳細な説明は省略する。
光ファイバ48は、内視鏡の光伝送部として機能し、第2偏光フィルタ部54を透過した所定の偏光状態の照射光を光プローブ50の先端まで導光して、その先端から所定の部位に伝送された照射光を、生体の体腔内の所定部位である胃などの消化器Bの表層に照射する。
CCD56は、デジタル画像情報として体腔Bの表層の偏光光による光強度画像情報を取得する高画素密度撮像素子であるが、CMOSなどの他の撮像素子を用いても良い。
光プローブ50内に配置されるパターニング偏光/波長板52は、図4(b)に示すように、偏光状態の異なる4つの偏光子のアレイからなる矩形状の偏光板55aと、その中の1つの偏光子に貼付された位相子(波長板)55bと、を備える矩形状の偏光子及び位相子パターニング素子53を、多数、例えば、取得すべき偏光画像の画素数分だけアレイ状に配置したものである。すなわち、パターニング偏光/波長板52は、単独で第2偏光フィルタ部54を構成するものであり、図2及び図3に示す第2偏光フィルタ部40b及び46bと同様の機能を有するものである。
なお、偏光子及び位相子パターニング素子53としては、図4(b)に拡大して示すように、矩形状の偏光板55aの4つの偏光子の内の左下の偏光角(軸(屈折率の高い方向)の角度)0°の偏光子53a、左上の偏光角90°の偏光子53b、右上の偏光角45°の偏光子53c、及び右下の偏光角90°の偏光子に偏光角45°の位相子(波長板)が貼り付けられた位相子貼付偏光子53dが2×2のアレイ状に配置されて、偏光画像の1画素となるものを挙げることができる。
このように、偏光子及び位相子パターニング素子53の偏光子53b及び53aによって縦(90°)と横(0°)との偏光成分、偏光子53cによって斜め(45°)の偏光成分、位相子貼付偏光子53dによって楕円偏光成分(円偏光成分:90°、45°)(軸(屈折率の高い方向)の角度:90°、位相差:Δ1=0、軸の角度:90°、位相差:Δ2=λ/4)を求めることができるので、図2及び図3に示す撮像部26a及び26bの第2偏光フィルタ部40b及び46bと同様に、撮像部26cの検出光においても、偏光の全体の強度(縦と横との偏光ベクトルの和)、縦と横(水平方向と垂直方向)との偏光ベクトルの差、偏光角45度と135度との偏光ベクトルの差、及び右円偏光と左円偏光との差に対応するストークスパラメータS0、S1、S2及びS3を互いに異なるものとすることができるし、また、求めることもでき、設定することもできる。
したがって、本実施形態の偏光撮像系12cも、ミューラー撮像システムを構成し、互いに偏光状態の異なる偏光光による少なくとも16枚の光強度画像を得ることができ、ミューラー行列に含まれる全16の偏光変数を得ることができる。
なお、ミューラー行列に含まれる全16の偏光変数を得る必要がない場合には、図4(a)に示す偏光撮像系12cの第2偏光フィルタ部54において、偏光子及び位相子パターニング素子53のアレイからなるパターニング偏光/波長板52の代わりに、互いに偏光状態の異なる3つの偏光子のアレイからなる偏光子パターニング素子、すなわち、図4(a)に示す偏光子及び位相子パターニング素子53の右下の、楕円偏光成分に対応する位相子貼付偏光子53dがない、偏光子53a,53b及び53cの3つのみからなる偏光子パターニング素子をアレイ状に配置したパターニング偏光板を用いても良い。この場合には、ミューラー行列に含まれる全16の偏光変数の内、楕円偏光成分に対応しない、直線偏光に対応する12偏光変数を求めることができる。
なお、パターニング偏光/波長板52やパターニング偏光板を用いる場合には、偏光子及び位相子パターニング素子53や偏光子パターニング素子のアレイ状に配置された偏光子53a〜53dのそれぞれにCCD56の1画素を正確に対応させ、各偏光子53a〜53dからの偏光のみを検出する必要がある。しかし、偏光子53a〜53dの各々とCCD56の各画素とを完全に対応させて組み立てたり、製造したりすることは困難であるので、対応が不十分な場合には、CCD56で撮像後、電気信号やデータとして補正処理を行うのが好ましい。
上述したように、偏光子及び位相子パターニング素子53の4つの偏光子のアレイや、偏光子パターニング素子の3つの偏光子のアレイが偏光画像の1画素となるので、CCD56の画素数は、偏光光による光強度画像の画素数の4倍又は3倍必要となる。したがって、光強度画像の画素数が、例えば20万画素であれば、CCD56の画素数は、80万画素又は60万画素となり、光強度画像の画素数が、例えば100万画素であれば、CCD56の画素数は、400万画素又は300万画素となる。
ここで、内視鏡に適用される偏光撮像系としては、図4(a)に示す偏光撮像系12cに限定されず、図5(a)に示す偏光撮像系12dのように、図4(a)に示す偏光照射部24cの第1偏光フィルタ部46aの第1及び第2位相変調素子44a及び45aの代わりに、図2に示す回転位相差板38aを用いる第1偏光フィルタ部40aを備える偏光照射部24dを用いても良い。
なお、偏光撮像系12c及び12dは、光プローブ50の先端に、図4(b)及び図5(b)に示す偏光子及び位相子パターニング素子53をアレイ状に配置したパターニング偏光/波長板52及びCCD56を組み込んでいるので、装置が小型化できるにもかかわらず、偏光特性(偏光変数)は完全であるので、内視鏡にはより好適に適用でき、内視鏡診断装置により好適に組み込むことができる。
また、図6に示す偏光撮像系12eのように、図4(a)に示す偏光撮像系12cにおいて、撮像部26cの光プローブ50内に配置されるパターニング偏光/波長板52及びCCD56の代わりに、消化器Bからの所定の偏光状態の反射光を光プローブ50の光ファイバ48内を光伝送させて、他端から射出させ、生体の外部で、図3に示す第2偏光フィルタ部46bを用い、光ファイバ48の他端から射出された偏光反射光を、イメージファイバ58で伝送して、第2偏光フィルタ部46bに入射させ、偏光フィルタ部46bの後ろに配置されたCCD56で撮像する撮像部26dを用いても良い。
この偏光撮像系12eでは、消化器Bからの偏光反射光を、光ファイバ48及びイメージファイバ58によって導光するので、解像度が低下する恐れがあるが、偏光状態の変化は少なく偏光状態は維持されるので、光プローブ50内に撮像部26dを組み込む必要がないので、装置を小型化する必要はなく、装置構成の自由度を高くすることができる。
本実施形態の偏光撮像系12eでも、偏光撮像系12c及び12dと同様に、偏光特性(偏光変数)は完全であり、内視鏡にはより容易に適用でき、内視鏡診断装置により容易に組み込むことができる。
なお、内視鏡に適用される偏光撮像系においても、上記偏光撮像系12c、12d及び12eに限定されず、偏光照射部24及び撮像部26に、異なる又は同じ、種々の偏光フィルタ部を用いても良いし、異なる又は同じ、種々の位相差付与手段を用いても良い。
偏光撮像系12は、基本的に以上のように、構成される。
次に、偏光変換処理部14は、図1に示すように、偏光撮像系12で撮像された偏光光(複数の偏光状態の反射光)による複数枚の光強度画像の画像情報、例えば、25フレームの光強度画像情報を、撮像部26から受信し、受信した複数の光強度画像情報にミューラー画像変換を行い、複数(例えば、16)の偏光変数についての複数枚のミューラー画像(複数フレームのミューラー画像情報)を得るミューラー画像変換部28と、得られた複数枚のミューラー画像(複数フレームのミューラー画像情報)に偏光変数分離処理を行って、生体の所定部位の表層に表出する表出組織を表層の組織と識別するための、所定の偏光変数(偏光特性)による偏光特性画像(偏光特性画像情報)に変換する偏光変数分離処理部30と、ミューラー画像変換部28においてミューラー画像変換に用いられる偏光板(36a、36b)や回転位相差板(38a、38b)、位相変調素子(44a、44b、45a、45b)、パターニング偏光/波長板(52)等の位相差付与手段の偏光角等の偏光素子特性を補正する偏光素子特性補正処理部32とを有する。
ここで、ミューラー画像変換部28は、高次の偏光パラメータ(ミューラー(Mueller)行列)を得るための変換処理を行う部分である。
ところで、サンプルMがミューラー行列Mの各要素で与えられる偏光特性を持ち、その偏光特性がサンプルMの特徴を表すものである場合、ミューラー行列M、すなわちその要素を求める必要がある。ここで、ミューラー行列Mは、4行4列の行列であり、下記式(1)で与えられ、16の要素を持つので、各要素によるサンプルの16個のミューラー画像を得ることになる。
……(1)
ここで、ミューラー行列Mの全16の要素m00〜m33の各要素と偏光の物理的特性との厳密な対応は難しいが、おおまかな関係としては、要素m00は、輝度を表し、全16の要素m00〜m33は、偏光度を表し、要素m01、m02、m10及びm20は、二色性(直線複吸収)を表し、要素m03及びm30は、円二色性(円複吸収)を表し、要素m11、m12、m21及びm22は、旋光性(円複屈折)を表し、要素m11〜m13、m21〜m23及びm31〜m33は、複屈折性(直線複屈折)を表すものである。
なお、ミューラー行列Mの全16の要素m00〜m33を測定する場合、図7に示すような、サンプルMがミューラー行列で表わされるミューラー計測システムを構成する必要があり、このミューラー計測システムにおいて、25種類の異なる偏光状態の光による光強度画像を得る必要がある。なお、このミューラー計測システムは、図2に示す偏光撮像系12aと同じ偏光照射部24a及び撮像部26aからなるものであることが分かる。
ここで、ミューラー画像変換部28におけるミューラー行列の変換アルゴリズムについて説明する。
サンプルMの16の偏光要素が、上記ミューラー行列Mで表わされ、図7に示すミューラー計測システムおいて、サンプルMへの入射光の偏光状態が、ストークスパラメータ
S0、S1、S2及びS3で表わされ、サンプルMから反射された検出光の偏光状態が、ストークスパラメータS’0、S’1、S’2及びS’3で表わされ、偏光板36a及び36bのミューラー行列がP1及びP2で、角度θにおける1/4λ板(λ/4波長板)38a及び38bのミューラー行列がR1(θ)及びR2(5θ)で表わされる場合、下記式(2)を満足する。
……(2)
ここで、ストークスパラメータS’0は、I(θ)(S’0=I(θ))であるので、
1/4λ板(λ/4波長板)38aの角度θの時の光強度をフーリエ変換すると、下記式(3)で表わされる。
……(3)
ここで、光強度の実測値をΦ(θ)とすると、最小二乗法によってΦ(θ)とI(θ)との誤差が最小になるように、25個のフーリエ係数(振幅)a0〜a12及びb1〜b12を求めることになり、異なるθについての25個の上記式(3)が必要となるので、上記式(3)において、I(θ)=Φ(θ)としたときの25個の連立方程式を解くことになる。
その結果、ミューラー行列Mの各要素m00〜m33は、下記式(4)に示すように、フーリエ係数a0〜a12及びb1〜b12を用いて表すことができるので、ミューラー行列Mの各要素m00〜m33を求めることができる。
m00=a0−a2+a8−a10+a12
m01=2(a2−a8−a12)
m02=2(b2+b8−b12)
m03=b1−2b11=b1+2b9=b1+b9−b11
m10=2(−a8+a10−a12)
m11=4(a8+a12)
m12=4(−b8+b12)
m13=−4b9=4b11=2(−b9+b11)
m20=2(−b8+b10−b12)
m21=4(b8+b12)
m22=4(a8−a12)
m23=4a9=−4a11=2(a9−a11)
m30=2b3−b5=−b5+2b7=b3−b5+b7
m31=−4b3=−4b7=−2(b3+b7)
m32=−4a3=4a7=2(−a3+a7)
m33=−2a4=2a6=−a4+a6) ……(4)
なお、図7に示すミューラー行列偏光計によって構成される偏光撮像系12aで設置されるλ/4板は材料の波長特性や製造技術により、厳密にλ/4(90°)にすることは難しいため、λ/4板38a、38bと偏光板36a、36bとが主軸方位や複屈折位相差を持つ場合には、ミューラー行列の要素m00〜m33が誤差を含むことになる。したがって、偏光計測の精度向上のために、この誤差をキャリブレーションする必要がある。
これらの誤差のキャリブレーション方法は、ここでは記載を省略するが、チップマン(Chipman)や、ゴールドシュタイン(Goldstein)が提案するキャリブレーション方法を適用すればよい。
以上から、ミューラー行列Mの16個の全要素についての16枚のミューラー画像を求めるには、偏光状態の異なる25枚の光強度画像が必要である。
こうして、ミューラー画像変換部28は、上記変換処理アルゴリズムによって、角度θを7.2度(180/25)毎に撮像することにより得られた光状態の異なる25枚の光強度画像(情報)から、ミューラー行列を得ることができ、全16個の要素に基づく16枚のミューラー画像(情報)を得ることができる。
なお、上記式(4)から分かるように、フーリエ係数a0〜a12及びb1〜b12のなかには、一次独立でないものが存在している。したがって、上述のように、25枚の光強度画像の全てを用いなくても、ミューラー行列Mの16個の全要素(ミューラーパラメータ)を求めることができる。すなわち、本発明においては、フーリエ変換した場合には、25枚の光強度画像を取得するのが好ましいが、少なくとも16枚の光強度画像を取得すればよい。
一方、上記式(1)から分かるように、ミューラー行列Mは、16の要素m00〜m33を持つものであるので、これらの要素(ミューラーパラメータ)を全部求めるためには、少なくとも16種類の偏光状態の異なる光強度画像(偏光画像)が必要であることが分かる。
したがって、上記式(2)から明らかなように、サンプルMへの入射光の偏光状態を表すストークスパラメータがS’0、S’1、S’2及びS’3の4種類で、サンプルMからの検出光の偏光状態を表すストークスパラメータがS0、S1、S2及びS3であることから、サンプルMへの入射光の偏光状態及びサンプルMからの検出光の偏光状態を、互いに異なるように設定し、例えば、上述したように、縦(90°:垂直)の直線偏光成分、横(0°:水平)の直線偏光成分、斜め(45°)の直線偏光成分、及び楕円率が異なる(90°/45°)の楕円(円)偏光成分となるように設定することにより、それぞれ4種の偏光状態から、それぞれ4種のストークスパラメータS’0、S’1、S’2及びS’3並びにS0、S1、S2及びS3を求めるための、16種類の偏光状態のサンプルMの光強度画像を得ることができる。その結果、16個のミューラーパラメータを全部求めることができる。
次に、偏光変数分離処理部30は、ミューラー画像変換部28で得られたミューラー行列に分解処理を行って、ミューラー行列において混在している偏光特性(偏光変数)を分離する処理を行う部分であるということができ、換言すれば、得られた複数枚のミューラー画像(複数フレームのミューラー画像情報)に偏光変数分離処理を行って、生体の所定部位の表層に表出する表出組織を表層の組織と識別するための、所定の偏光変数(偏光特性)による偏光特性画像(偏光特性画像情報)に変換する部分である。なお、偏光特性画像(偏光特性画像情報)は、所定部位の表層に表出する膠原繊維などの表出組織の表出程度を表わすものであるということもできる。
偏光変数分離処理部30において、ミューラー行列Mは、主として、リターダンス特性(複屈折性、旋光性)と、吸収特性(二色性、円二色性)と、偏光解消性との3つに分離される。これらの分離された偏光特性から、生体の所定部位(サンプル)の偏光解消度、位相差、方位(位相差)、方位(吸収)及び旋光性、さらに、光の偏光度及び光の偏光方位等の偏光特性を求めることができる。
ここで、位相差は、光の進行方向に垂直な面での物質の屈折率の縦と横の差であり、偏光解消度は、偏光した光がその物質に入射して、出射した光の偏光状態(偏光しているか否(偏光していない)かを示す状態)がどの程度の影響を受けるかを表す値であり、位相差の方位は、屈折率が最大の方向を角度として表すものであり、吸収の方位は、二色性の方位と同じで、吸収の最も高い方向を角度として表すものであり、旋光性は、直線偏光に対する回転特性を角度として表すもので、方位を持たないことが位相差と異なるものである。
ところで、ミューラー行列をMとし、偏光解消度を表す行列をMΔとし、リターダンス(位相差)を表す行列をMRとし、2色性を表す行列をMDとするとき、下記式(5)で表わすことができる。なお、これらの行列は、4行4列の行列である。
M=MΔMRMD …(5)
したがって、上記式(1)に基づいて、ミューラー行列Mを分解することにより、行列MΔ、MR、及びMDを求め、行列MΔから偏光解消度、行列MRから位相差、及び行列MDから2色性を求めることができる。
なお、ミューラー行列の分解方法及び各特性とミューラー行列の要素との関係についても、アザム(Azzam)や、チップマン(Chipman)や、ゴールドシュタイン(Goldstein)等により、提案されている方法や関係式を適用すれば良いので、ここでは、詳細な記載を省略して、その結果を記載する(”Polarized light”, Dennis Goldstein, 2th ed., Marcel Dekker, NY (2003), Chapter 9 “Mathematics of the Mueller Matrix“ 9.5 “The Lu-Chipman Decomposition” P175-P186、及び、SPIE Vol. 3120 “Decomposition of Mueller Matrix” P385-P396参照)。
すなわち、分解された行列MRは、ミューラー行列Mの要素m00〜m33を用いて下記式(6)で与えられ、位相差Rは、下記式(7)で与えられることが分かる。ここで、係数a及びbは、それぞれ下記式(8)及び(9)で与えられる。
また、分解された行列MDも、ミューラー行列Mの要素m00〜m33を用いて下記式(10)で与えられ、2色性Dは、下記式(11)で与えられることが分かる。ここでも、係数a及びbは、それぞれ上記式(8)及び(9)で与えられる。
また、行列MΔは、上記式(5)を変形することにより、下記式(12)で与えられ、偏光解消度mΔは、下記式(13)で与えられることが分かる。ここで、m‘、κ1、κ2及びκ3は、それぞれ上記式(14)、(15)、(16)、(17)及び(18)で与えられる。なお、λ1、λ2、及びλ3は、mΔの固有値から導くことができる。
MΔ=MMD −1MR −1 …(12)
本発明者らは、こうして得られた偏光特性のうち、特定の偏光特性が所定部位の表層に表出する表出組織を表層の組織と識別する性質があることを知見した。
このような偏光特性としては、位相差、偏光解消度、方位(位相差)、方位(吸収)、旋光性、光の偏光度、光の偏光方位、二色性、二色性方位、p偏光及びs偏光等の偏光特性が、所定部位の表層に表出する表出組織を表層の組織と識別する上で好ましい。その結果、これらの偏光特性による偏光特性画像、すなわち、位相差画像、偏光解消度画像、方位画像(位相差)、方位画像(吸収)、旋光性画像、光の偏光度画像、光の偏光方位画
像、二色性画像、二色性方位画像、p偏光及びs偏光画像では、表出組織と表層の組織とを区別して、例えば、疑似カラーで識別可能に表示することができる。
このような偏光特性によって識別できる表出組織は、線維状組織であるのが好ましく、線維状組織は、膠原線維、神経線維、又は筋線維であるのが好ましい。
ここで、偏光特性画像について説明する。
図12は、大腸正常部の断面のカラー画像、図13および図14は、その病理染色標本と光強度画像である。また、図15(A)〜(F)は、図12に示す大腸正常部の断面の表面に、偏光特性の異なる複数の偏光光を順次照射して複数枚の光強度偏光画像を撮像し、これら複数枚の光強度偏光画像に対して偏光変換処理および表示変換処理を施すことによって作成された、偏光解消度、光の偏光度、位相差、位相差の方位、吸収の方位、旋光の偏光特性画像(偏光解消度画像、光の偏光度画像、位相差画像、位相差の方位画像、吸収の方位画像、旋光画像)であり、同図(G)は、同図(A)〜(F)の偏光特性画像に適用された疑似カラーパレットである。
撮像に使用した大腸正常部の断面の厚さは約10mmである。図12に示すカラー画像は、通常カラー撮像系20により、大腸正常部の断面の表面に白色光(通常光)を照射し、その反射光をCCD等の固体撮像素子で光電変換して撮像したものであり、図14は、その光強度画像である。カラー画像と光強度画像では、大腸正常部の断面の表面の様子を観察することができるが、その内部、つまり、表層から中層、深層での様子を観察することはできない。
図13に示す病理染色標本は、従来から病理診断を目的として作成されているものである。病理染色標本は、大腸正常部の断面を数ミクロンの膜状にスライスし、スライドガラスに貼り付けて染色してプレパラートにしてある。同図は、大腸正常部の断面の病理染色標本であるから、その粘膜層、粘膜筋板、粘膜下層、膠原線維等を観察することができる。ただし、病理染色標本の作成は、一般的に、工数が多く、主に手作業であるため手間がかかる。
図15(A)に示す偏光解消度画像は、偏光解消度を0〜1の範囲とし、各画素について、偏光解消度に応じて黒(偏光解消度=0)〜白(偏光解消度=1)の白黒画像としたものである。同様に、同図(B)に示す光の偏光度画像は、光の偏光度を0〜1の範囲とし、各画素について、光の偏光度に応じて黒(光の偏光度=1)〜白(光の偏光度=0)の白黒画像としたものである。
これに対し、同図(C)〜(F)に示す位相差画像、位相差の方位画像、吸収の方位画像、旋光画像は、各偏光特性の角度を0°〜180°の範囲とし、各画素の角度に応じて異なる色を割り当てて、疑似カラー画像としたものである。
例えば、同図(A)に示す偏光解消度画像において、膠原線維は、偏光解消度が0.96〜0.98の部分となる。また、例えば、同図(C)に示す位相差画像において、膠原線維は、位相差の角度が140°±10°の部分となる。
次に、下記表1を参照して、偏光解消度、光の偏光度、位相差、位相差の方位、吸収の方位、旋光の各偏光特性について、その光学特性、検知対象、および、具体例を説明する。
表1に示すように、偏光解消度は、光学特性として、物の偏光解消の程度、つまり、偏光強度×解消(散乱)で表される。偏光解消度の検知対象、つまり、偏光解消度によって検知することができるものは、例えば、組織の均一性である。具体例として、偏光解消度は、脂肪組織やランダムな線維が存在する部分では大きくなり、水や揃った線維が存在する部分では小さくなると考えられる。
以下順に、光の偏光度は、光学特性として、光の偏光の完全さを表す。光の偏光度の検知対象は、例えば、組織の異方性である。具体例として、光の偏光度は、揃った線維が存在する部分では大きくなり、水、脂肪組織、ランダムな線維が存在する部分では小さくなると考えられる。
位相差は、光学特性として、屈折率異方性のレベルを表す。位相差の検知対象は、例えば、線維の配向である。具体例として、位相差は、密で揃った線維が存在する部分では大きくなり、疎な線維やランダムな線維が存在する部分では小さくなると考えられる。
位相差の方位は、光学特性として、屈折率異方性の方向を表す。位相差の方向の検知対象は、例えば、線維の配向角度である。位相差の方位の具体例は、線維の方向である。
位相差の吸収は、光学特性として、吸収異方性の方向を表す。位相差の吸収の検知対象は、例えば、吸収型の線維の配向角度である。位相差の吸収の具体例は、光の偏光面と平行な線維の吸収方向である。
旋光は、光学特性として、直線偏光の旋回の程度を表す。旋光の検知対象は、例えば、左右不均型分子である。具体例として、旋光は、血糖やグルコース濃度が高い部分では大きくなり、水が存在する部分では小さくなると考えられる。
なお、大腸正常部の断面を撮像した場合の例を挙げて説明したが、例えば、本発明を内視鏡装置に適用し、大腸正常部の内表面を撮像する場合も同様である。また、大腸以外の観察部位、上記以外の偏光特性画像についても同様である。
図8は、図1に示す偏光画像計測表示システムの偏光変換処理部及びその偏光変数分離処理部の一実施形態の模式図であり、特に、偏光変数分離処理部を詳しく説明した説明図である。
図8に示すように、偏光変数分離処理部30は、ミューラー画像変換部28で得られたミューラー行列に分解処理を行う分離部82と、分離部82で分離された偏光特性画像に生体の所定部位の表層に表出する表出組織を表層の組織と識別するための強調処理を施した強調偏光特性画像を形成する分離後画像形成部84とからなり、偏光画像計測表示システム10の偏光変換処理部14は、上述したようにミューラー画像変換部28、偏光変数分離処理部30及び偏光素子特性補正処理部32に加え、さらに、ミューラー画像変換部28から偏光変数分離処理部30で変数分離する際の生体観察モデルを設定する生体観察モデル設定部86と、分離後画像形成部84で形成する強調偏光特性画像の偏光特性の領域を設定する分離後画像形成用パラメータ設定部88とを有する。
分離部82は、生体観察モデル設定部86で設定された生体観察モデルを用いて、計測されたミューラー行列において混在している偏光特性を分離することにより、すなわちミューラー行列の複数の要素の各々からなる複数枚のミューラー画像に偏光変数分離処理を行うことにより、生体の所定部位の表層に表出する表出組織を表層の組織と識別するのに適した、所定の偏光変数(偏光特性)による偏光特性画像(偏光特性画像情報)を出力する部分である。なお、例えば、偏光特性が位相差であれば、分離部82の出力信号は、0〜360°の画像情報である。
分離後画像形成部84は、生体の所定部位の表層に表出する表出組織を表層の組織と識別するために、分離部82で分離された所定の偏光特性による偏光特性画像に対して、分離後画像形成用パラメータ設定部88で設定された所定の偏光特性の強調領域(注目領域)に強調処理を施した強調偏光特性画像を形成する部分であり、強調偏光特性画像形成部ということもできる。なお、分離後画像形成部84を偏光変換処理部14とは別個に設け、偏光変換処理部14から出力される偏光特性画像に対して強調処理を施す構成としてもよい。
図9(a)及び(b)は、それぞれ図8に示す偏光変数分離処理部で変数分離する際の生体観察モデルの一実施形態の概略構成図であり、それぞれミューラー画像変換部から偏光変数分離処理部で変数分離する際の生体観察モデルを説明した説明図である。
本発明に用いることができる生体観察モデルとしては、まず、図9(a)に示す複数の偏光状態の照射光が観察される生体を透過する「透過モデル」90aを挙げることができる。ここで、分離部82では、この透過モデル90aを前提として、偏光変数分離処理部30で変数分離している。この透過モデル90aは、は、図9(a)に示すように、「二色性」、「位相差×旋光」及び「偏光解消度」の層を複数重ねたモデルである。なお、この透過モデル90aは、生体サンプルの偏光特性を取得するためには有効なモデルである。
一方、実際の系では、観察される生体に照射光を斜めに照射して、その反射光を撮像することになる。したがって、本発明の生体観察モデルとして、図9(b)に示す「反射モデル」90bを生体観察モデルとすることが考えられる。この場合の生体観察モデルとしては、例えば、図9(b)に示すように、「散乱性(偏光解消度)」、「位相差」「旋光性」及び「二色性」の層を複数重ねたモデルがある。また、反射モデルであることにより各層で反射光が発生し、例えば、散乱+位相差の混在した反射光が観測される。このような反射モデルでは、これらが想定できるので、偏光変数分離処理部30で変数分離精度が上がり、リターダンス特性、吸収特性、偏光解消性の精度アップが期待できる。
なお、図8に示す生体観察モデル設定部86は、偏光変数分離処理部で変数分離する際の生体観察モデルとして、上述したこの透過モデル90aや反射モデル90b等の生体観察モデルを設定するためのものである。このように、実際の観察系に合わせて、生体観察モデル設定部86にて、生体観察モデルを選択できるようにすることで、偏光変数分離処理部30で変数分離精度が上がり、リターダンス特性、吸収特性、偏光解消性の精度アップが期待できる。
分離後画像形成用パラメータ設定部88は、特定の偏光特性が所定部位の表層に表出する表出組織を表層の組織と識別するために、分離後画像形成部84で形成する強調偏光特性画像の偏光特性の領域を設定するためのものであり、観察される組織毎に、位相差などの特定の偏光特性における強調するべき領域を設定することができるものである。
なお、本発明者らが、このような分離後画像形成用パラメータ設定部88を設けたのは、特定の偏光特性が所定部位の表層に表出する表出組織を表層の組織と識別するためには、観察組織毎に、強調すべき偏光特性の領域、例えば、偏光特性が位相差であれば、強調すべき位相差領域を設定できるようにする必要があることを知見したからである。
本発明では、偏光特性画像の観察時には、分離後画像形成用パラメータ設定部88から観察組織毎に適切なパラメータを選択することで、表層に表出する表出組織を明確に表層の組織と識別することができる。
例えば、偏光特性が位相差であれば、分離部82からの出力信号は0〜360°の画像情報であるので、観察組織が膠原線維である場合には、強調すべき位相差領域として、分離後画像形成用パラメータ設定部88によって、140°±10°の領域を設定することができる。
なお、ここでは、強調すべき偏光特性の領域を、観察組織毎(神経、リンパ節、血管)に設定する例を示したが、観察部位(上部消化器、下部消化器、呼吸器)毎に設定するようにしても良い。
特に、膠原線維の表出度合いは、がんの進行度合いを診断する上で、有効である。
がんの進行度合いと、膠原線維の表出度合いとの関係は、以下のように考えることができる。
図10(a)は、正常な生体の表層近傍の概略構成模式図であり、図10(b)は、粘膜内がんが発生した生体の表層近傍の概略構成模式図であり、図10(c)は、粘膜下層浸潤がんに進行した生体の表層近傍の概略構成模式図である。
図10(a)に示すように、正常な生体の表層近傍の組織60aは、表面側から粘膜層62、その下側に粘膜筋板64、その下に粘膜下層66があり、膠原線維68は、粘膜筋板64の下側の粘膜下層66に存在している。
次に、図10(b)に示す粘膜内がんが発生した生体の表層近傍の組織60bでは、粘膜層62に粘膜内がん(mがん)70が発生しているが、粘膜層62の下側の粘膜筋板64は破れておらず、粘膜筋板64の下側の粘膜下層66に存在している膠原線維68は、粘膜層62には表出していない。このため、粘膜内がんが発生した生体の表層近傍の組織60bでは、本発明による偏光計測を行っても、正常な生体の表層近傍の組織60aの場合と同様に、粘膜層62に表出した膠原線維68を検出することはできない。
これに対し、図10(c)に示すがん72が進行している、すなわち粘膜下層浸潤がん(smがん)72が存在する生体の表層近傍の組織60cでは、粘膜下層浸潤がん72に進行している部分の粘膜筋板64が破れて、その破れ部分65から粘膜下層66の膠原線維68が粘膜層62に移動し、表面の粘膜層62のがん細胞72の間で成長し、膠原線維68が表層の粘膜層62に表出する。このため、粘膜下層浸潤がん72が存在する生体の表層近傍の組織60cでは、本発明による偏光計測を行って、粘膜層62に表出した膠原線維68を検出することができ、他の組織と識別することができる。その結果、粘膜層62に表出した膠原線維68を表色することができ、膠原線維68の粘膜層62への表出を知ることができ、粘膜下層浸潤がん72を検出することができる。
すなわち、図10(c)に示すように、粘膜下層浸潤がん72の進行に従い、粘膜筋板64が破れると、粘膜筋板64の下層にある粘膜下層66から膠原線維68を生成する線維芽細胞が入り込み、粘膜下層66の膠原線維68が、その破れから粘膜層62に移動し、上層の粘膜層62にて膠原線維68が多く生成される。すなわち、その膠原線維68が表面から捉えられるかどうかによって、図10(b)に示す粘膜内がん70と図10(c)に示す粘膜下層浸潤がん72の区別が可能となる。
この膠原線維68は、高分子から構成されており、光学異方性があるために、上記偏光特性によって粘膜層62と識別でき、識別可能に画像表示できる。したがって、膠原線維68は、粘膜層62と識別可能に疑似カラー画像として可視化できる。
したがって、このような画像によって、所定部位の表面のがん細胞の間で膠原線維が成長しており、間質変化(粘膜への膠原線維の表出)を確認できれば、転移可能性高いと診断可能であり、がんか否か、また、粘膜内がんか粘膜下層浸潤がんかを診断することが可能となる。
ここで、分離後画像形成部84における偏光特性画像の強調処理について説明する。
分離後画像形成用パラメータ設定部88は、偏光変換処理部で得られる偏光特性画像情報に対応する偏光特性画像において強調表示すべき強調領域(注目領域)を指定するためのパラメータ、つまり、分離後画像形成部84で偏光特性画像に対して強調処理を施し、強調偏光特性画像を形成するための強調領域を指定するパラメータを、観察部位毎に、かつ、偏光特性画像毎に記憶するパラメータ設定テーブルを有する。
図16は、パラメータ設定テーブルの一例である。同図には、成人男子用のパラメータ設定テーブルと成人女子用のパラメータ設定テーブルが例示されている。例えば、成人男子用のパラメータ設定テーブルの縦方向には、観察箇所(部位)として、上部消化器、下部消化器、…が示され、横方向には、偏光特性画像として、位相差(膠原線維)、偏光解消度(膠原線維)、…が示されている。(膠原線維)は、強調領域として、膠原線維が設定されていることを表す。
同図に示すパラメータ設定テーブルにおいて、例えば、上部消化器と位相差(膠原線維)との交点には、位相差の角度を0°〜180°の範囲として、膠原線維の位相差の角度が140°±10°であることが示されている。また、上部消化器と偏光解消度(膠原線維)との交点には、偏光解消度を0〜1の範囲として、膠原線維の偏光解消度が0.96〜0.98であることが示されている。このパラメータ設定テーブル中のデータは、あらかじめ設定されている。
なお、下部消化器については具体的な数値の記載を省略しているが、上部消化器の場合と同様である。また、成人女子用のパラメータ設定テーブルも、成人男子用のパラメータ設定テーブルと同様である。
ここで、例えば、入力装置(図示略)を介して外部から入力される観察部位指定情報および偏光特性画像指定情報により、観察部位として上部消化器が指定され、偏光特性画像として位相差が指定された場合、両者の交点にある位相差の角度140°±10°が、パラメータとして出力され、分離後画像形成部84に入力される。
分離後画像形成部84は、パラメータとして、分離後画像形成用パラメータ設定部88から位相差の角度140°±10°を受け取ると、分離部82で分離された位相差の偏光特性画像に対して、パラメータである位相差の角度140°±10°に対応する領域(強調領域)に所定の強調処理を施し、強調偏光特性画像を形成する。これにより、強調偏光特性画像では、膠原線維の領域が強調表示される。
分離後画像形成部84における強調処理は、パラメータに対応する強調領域を強調して表示することができれば、どのような強調方法であってもよく、例えば、以下の(1)〜(5)を例示することができる。
(1)強調領域のダイナミックレンジを拡大し、それ以外の領域のダイナミックレンジを圧縮する強調処理を行う。
(2)強調領域以外の領域を取り除き、強調領域のみを疑似カラー表示するための強調処理を行う。
(3)強調領域のみを疑似カラー表示し、それ以外の領域を白黒表示するための強調処理を行う。
(4)強調領域を含む領域に白黒で輪郭を付ける強調処理を行う。
(5)強調領域を含む領域を線で囲む強調処理を行う。
例えば、(1)の強調方法の場合、位相差画像における膠原線維の位相差の角度である140°±10°の部分の疑似カラーが1色で表示されていたとすると、ダイナミックレンジを拡大する場合には、強調領域以外の部分を疑似カラー表示するために使用される疑似カラーパレットとは別の疑似カラーパレットを使用して、140°±10°の部分を複数色で疑似カラー表示する。つまり、ダイナミックレンジを拡大する場合には、強調領域が、拡大前よりも細かい分解能で表示される。
強調方法の指定は、例えば、パラメータとして、パラメータ設定テーブルの中に入れてもよいし、あるいは、監察部位および偏光特性画像の指定と同じように、外部から入力してもよい。また、本実施形態のように、パラメータ設定テーブルを使用することは必須ではない。パラメータ設定テーブルを設けることなく、例えば、位相差画像を強調処理するためのパラメータとして、位相差の角度が140°±10°であることを外部から入力装置を介して直接入力してもよい。
なお、パラメータ設定テーブルにおいて、観察箇所(部位)は必須の項目であるが、偏光特性画像は必須の項目ではない。例えば、強調処理が施される偏光特性画像を、位相差(膠原線維)のみとしてもよい。この場合、偏光特性画像は位相差(膠原線維)のみであるから、偏光特性画像を指定する必要はない。また、成人男子用、成人女子用のパラメータ設定テーブルに限らず、小学生用、中学生用、高校生用、等のように、被検体の種別に応じて、パラメータ設定テーブルを適宜設けてもよい。
次に、表示変換処理部16は、偏光変換処理部14の偏光変数分離処理部30で得られた所定の偏光特性の偏光特性画像(情報)に表示変換処理、すなわち表示色明度画像変換処理を行って、偏光特性画像(情報)を、表出組織を表層の組織と識別可能に可視化して、例えば、疑似カラーに着色して疑似カラー表示するための表示用偏光特性画像情報に変換する部分である。偏光変数分離処理部30の分離後画像形成部84によって、偏光特性画像に対して強調処理が施されて強調偏光特性画像情報が得られた場合、表示変換処理部16は、この強調偏光特性画像情報を、可視化して表示するための表示用強調偏光特性画像情報に変換する。例えば、位相差画像情報に対して強調処理が施されて強調位相差画像情報が得られた場合、表示変換処理部16は、この強調位相差画像情報を、可視化して表示するための表示用強調位相差画像情報に変換する。他の強調偏光特性画像情報の場合も同様である。
ここで、表示変換処理部16による表示変換処理は、偏光特性画像情報に基づいて、所定の偏光変数の値(偏光特性の強度)に応じて表出組織及び表層の組織に彩色すべき色を決定し、この表出組織及び該表層の組織に彩色すべき色をカラーマッピングすることにより表出組織の表出分布を可視化して表示するための表示用偏光特性画像情報を生成するのが良い。
表示部18は、表示変換処理部16で得られた表示用偏光特性画像情報に基づいて表示画面に表出組織を表層の組織と識別可能に可視化表示、すなわち、疑似カラー表示するものである。表示変換処理部16で表示用強調偏光特性画像情報が得られた場合、表示部18は、この表示用強調偏光特性画像情報に基づいて、表示用強調偏光特性画像情報に対応する表示用強調偏光特性画像を表示する。例えば、表示変換処理部16で表示用強調位相差画像情報が得られた場合、表示部18は、この表示用強調位相差画像情報に基づいて、表示用強調位相差画像情報に対応する表示用強調位相差画像を表示する。他の表示用強調偏光特性画像の場合も同様である。表示部18には、公知のモニタやディスプレイを用いることができる。
なお、表示部18による偏光特性画像の表示は、表示用偏光特性画像情報に基づいて、彩色すべき色に彩色された表出組織の分布を可視化可能に表示するのが好ましい。
また、通常カラー撮像系20は、所定部位に通常観察用の照明光を照射してその反射光を撮像することにより得られた光強度画像(情報)を得るものであり、従来公知の通常カラー画像の撮像系を用いることができる。
また、画像合成部22は、表示変換処理部16で得られた表示用偏光特性画像情報及び通常カラー撮像系20で得られた通常のカラー光強度画像情報に基づいて、表示用偏光特性画像と通常のカラー光強度画像とを組み合わせて、例えば、両者を重ね合わせて、もしくは並べて、もしくは両者を演算処理して表示するための合成画像情報を生成する。また、画像合成部22は、表示変換処理部16で得られる、偏光特性の異なる複数の表示用偏光特性画像情報に基づいて、複数の表示用偏光特性画像情報に各々対応する複数の表示用偏光特性画像のうちの2以上の表示用偏光特性画像を組み合わせて合成画像情報を作成する。その結果、表示部18には、合成画像情報に基づく合成画像を表示させることができる。
ここで、画像合成部22における偏光特性画像の表示方法について説明する。
画像合成部22は、例えば、入力装置を介しての外部からの入力により、もしくは、あらかじめ設定されている組み合わせ条件に応じて、表示変換処理部16で得られた表示用偏光特性画像情報に基づいて、あらかじめ撮像されている同一部位の、偏光解消度画像、光の偏光度画像、位相差画像、位相差の方位画像、吸収の方位画像、旋光画像(つまり、表示用偏光特性画像情報に各々対応する複数の表示用偏光特性画像)のうちの2以上の表示用偏光特性画像を組み合わせて表示、例えば、2以上の偏光特性画像を重ね合わせて、もしくは並べて、もしくは演算処理して表示するための合成画像情報を生成する。その結果、表示部18には、合成画像情報に基づく合成画像が表示される。
2以上の偏光特性画像の組合せとしては、例えば、偏光解消度画像と位相差画像の組合せ、偏光解消度画像と位相差画像と位相差の方位画像の組合せ、偏光解消度画像と位相差画像と旋光画像の組合せ、偏光解消度画像と位相差画像と位相差の方位画像と旋光画像の組合せ、等を例示することができる。また、偏光解消度画像の代わりに光の偏光度画像を使用してもよい。また、位相差の方位画像の代わり、もしくは位相差の方位画像に加えて、吸収の方位画像を使用してもよい。
偏光解消度を例に挙げて説明すると、脂肪組織やランダムな線維が存在する部分では散乱性が大きいため、偏光解消度が大きくなると考えられる。一方、水は、偏光解消しないでそのまま偏光光が通過するため、水が存在する部分は、偏光解消度が小さくなると考えられる。また、揃った線維には、方向性があり、異方性が大きくなるため、揃った線維が存在する部分では、偏光解消度が小さくなると考えられる。
例えば、膠原線維は、正常部では、粘膜下層の領域に揃った状態で存在する。従って、この状態では、偏光解消度は小さくなる。一方、病変部では、膠原線維が粘膜下層の上側の粘膜筋板を破って、さらにその上側の粘膜層に表出する。粘膜層に表出した膠原線維はランダムな繊維となるから、粘膜層の膠原線維が存在する部分、つまり、病変部において偏光解消度は大きくなる。
従って、偏光解消度画像を表示装置に表示することによって、医師が、偏光解消度画像を見て、偏光解消度が大きい部分を確認し、この部分が病変部である可能性があるという診断を行うための支援をすることができる。
また、光の偏光度や位相差については、ランダムな線維が存在する部分では、光の偏光度および位相差の角度が小さくなる。つまり、病変部における光の偏光度や位相差の角度は小さくなる。従って、光の偏光度画像や位相差画像を表示装置に表示することによって、医師が、光の偏光度画像や位相差画像を見て、光の偏光度や位相差の角度が小さい部分を確認し、この部分が病変部である可能性があるという診断を行うための支援をすることができる。
また、位相差の方位画像や吸収の方位画像を見れば、線維の方向や線維の吸収の方向を確認することができるが、これらの偏光特性画像だけを見ても位相差の角度は分からない。従って、位相差の方位画像や位相差の吸収画像は、位相差画像と組み合わせて見ることが望ましい。これにより、位相差の角度と、線維の方向や線維の吸収の方向を合わせて見ることができる。
また、旋光によって、血糖やグルコースの濃度を検出することができる。つまり、血糖やグルコースの濃度が高くなると、旋光の角度も大きくなる。例えば、ガンになると、ガンに栄養を供給するために、血管ができて、栄養がたくさん供給される。そのため、栄養を供給するグルコースの量も増える。従って、旋光画像を表示装置に表示することによって、医師が、旋光画像を見て、グルコースの量が増大している部分を確認し、この部分がガンである可能性があるという診断するための支援を行うことができる。
膠原線維は、前述のように、線維であるから方向性を持っている。位相差画像を観察するだけでは、異方性の角度(強度)だけ、つまり、屈折率の異方性だけを見ることになる。これに対し、位相差の方位画像を観察することによって、膠原線維の方位、つまり、屈折率が高い方向が分かる。膠原線維の方向は粘膜下層では揃っているが、例えば、垂直方向になっている場合には、病変部の可能性があると診断することができる。
このように、2以上の偏光特性画像を組み合わせて表示することにより、2以上の偏光特性画像を順次入れ替えて表示させる必要がなくなり、2以上の偏光特性画像を見比べながら観察することができる。これにより、医師は、1枚の偏光特性画像だけでは診断することが難しい場合であっても、2以上の偏光特性画像を見ることによって、病変部であると診断することができるため、診断の精度を向上させることができる。
また、表示変換処理部16で得られた表示用偏光特性画像情報及び通常カラー撮像系20で得られた通常のカラー光強度画像情報に基づいて、2以上の偏光特性画像と通常のカラー光強度画像ないし光強度画像とを組み合わせて表示してもよい。
本発明の偏光画像計測表示システムは、基本的に以上のように構成される。
以下に、本発明の偏光画像計測表示システムの作用、並びにこれらにおいて実施される偏光画像計測方法及び偏光画像表示方法について説明する。
図11は、本発明の偏光画像計測表示システムにおいて実施される偏光画像計測方法による偏光画像表示方法、すなわち偏光画像計測及び表示方法の一例を示すフローチャートである。
まず、本発明では、ステップS100において、生体の所定部位の表層を偏光計測するために、図1に示す偏光画像計測表示システム10を準備し、撮像する異なる偏光状態の光強度画像の枚数や、偏光画像計測表示システム10で用いられる種々の初期値や条件を設定する。
次に、ステップS102において、偏光画像計測表示システム10の偏光撮像系12の偏光照射部24によって生体の所定部位に、その表層から所定の偏光状態の照射光をそれぞれ照射する。
続いて、ステップS104において、偏光照射部24によって照射された所定の偏光状態の照射光による、所定部位の表層からの所定の偏光状態の反射光を撮像部26によって撮像して1枚の偏光変調された、生体の所定部位の表層の光強度画像(データ)を計測し取得する。
次に、ステップS106において、取得された光強度画像(データ)が所定枚数、好ましくは、少なくとも16枚、例えば、25枚に達しているかどうかの判断をして、所定枚数に達していなければ(NO)、ステップS102に戻り、偏光照射部24から偏光状態を変えて照射光を生体の所定部位に照射する照射光照射ステップS102と次のステップS104の、照射光の偏光状態に対応して変更された偏光状態の反射光を撮像部26で撮像して1枚の光強度画像(データ)を取得する撮像ステップS104とを、所定枚数に達するまで繰り返し、所定枚数に達していれば、次のステップS108に移る。
次に、ステップS108において、撮像部26によって取得された少なくとも16枚の光強度画像(データ)に偏光変換処理部14によって偏光変換処理を行い、すなわち、サブステップS110で、偏光変換処理部14のミューラー画像変換部28のミューラー画像変換処理によって、16枚のミューラー画像(データ)を得て、さらに、サブステップS112で、偏光変数分離処理部30によって、所定部位の表層に表出する表出組織を前記表層の組織と識別するための、物理的意味の明確な偏光変数(データ)(位相差、位相差方位、偏光解消度、光の偏光度、二色性、二色性方位、旋光、光の偏光方位、P/S偏光)に分離変換して、所定の偏光変数(偏光特性)による偏光特性画像(データ)を取得する。
続いて、ステップS114において、偏光変換処理部14で得られた偏光特性画像(データ)を、表示変換処理部16によって、所定部位の表層に表出する表出組織が表層の組織と識別可能に可視化して表示するために疑似カラーに着色された表示用画像(データ)に変換する。
なお、ステップS108で、偏光変数分離処理部30によって偏光特性画像(データ)を取得した後、分離後画像形成部84によって、この偏光特性画像の中の注目領域に対して強調処理を施し、強調処理偏光特性画像(データ)を形成し、続くステップS114で、分離後画像形成部84によって形成された強調処理偏光特性画像(データ)に対して、表示変換処理部16によって表示変換処理を行い、疑似カラーに着色された表示用画像(データ)に変換してもよい。
また、ステップS114で、表示変換処理部16によって表示用画像(データ)を取得した後、画像合成部22によって、表示変換処理部16で得られた表示用画像(データ)に基づいて、あらかじめ撮像されている同一部位の、偏光解消度画像、光の偏光度画像、位相差画像、位相差の方位画像、吸収の方位画像、旋光画像のうちの2以上を組み合わせて表示、例えば、2以上の偏光特性画像を重ねて、もしくは並べて表示するための合成画像情報を生成し、表示部18に、合成画像情報(データ)に基づく合成画像を表示させてもよい。
次に、ステップS116において、表示変換処理部16で得られた表示用画像(データ)に基づいて、所定部位の表層に表出する表出組織が表層の組織と識別可能に可視化して表示するために、医師が判断しやすい表示色として疑似カラーに着色された表示用画像を表示部18のモニタ画面に表示する。
こうして、本発明による偏光画像表示方法は終了する。
なお、本発明者らは、この偏光画像計測表示システム10を用い、上述の偏光画像表示方法を実施して、偏光撮像系12にて胃のがん部の表面を計測して、表示部18のモニタ画面に表示したところ、胃の正常部には見られなかった差が明確にあることをモニタ画面で確認できた。
なお、本発明による偏光画像表示方法において、別のステップで、通常カラー撮像系20によって所定部位に通常観察用の照明光を照射してその反射光を撮像して通常のカラー光強度画像情報(データ)を取得しておき、次のステップで、画像合成部22によって、表示変換処理部16で得られた表示用偏光特性画像情報(データ)及び通常カラー撮像系20で得られた通常のカラー光強度画像情報(データ)に基づいて、表示用偏光特性画像と通常のカラー光強度画像とを重ねて、もしくは並べて表示するための合成画像情報(データ)を生成し、次のステップで、表示部18に、合成画像情報(データ)に基づく合成画像を表示させても良い。
また、本発明において、図1に示す偏光撮像系(光源、偏光カメラ)12によって、4枚の偏光変調した生体の光強度画像を計測し、位相差画像、位相差方位画像に変換し、医師が判断しやすい表示色として表示部18のモニタ画面に表示することもできる。
この光学系にて、胃のがん部の表面を計測したところ、胃の正常部には見られなかった位相差が明確にあることを確認できた。
さらに、本発明においては、図1に示す偏光画像計測表示システム10の偏光撮像系12によって、4枚及び3枚の偏光変調した生体の所定部位の表層の光強度画像を計測し、それぞれの場合について、偏光変換処理部14で偏光変換処理を行い、位相差画像及び位相差方位画像に変換し、表示変換処理部16において疑似カラーに着色された表示用画像情報に変換し、医師が判断しやすい表示色として表示部18のモニタ画面に表示する。
なお、本発明者らは、この光画像計測表示システム10を用い、偏光撮像系12にて、胃のがん部の表面を計測したところ、4枚の光強度画像の場合も、3枚の光強度画像の場合も、胃の正常部には見られなかった差が明確にあることをモニタ画面で確認できた。
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。