JP2017118887A - 体内近赤外光像検出カメラ - Google Patents

Abstract

【課題】本発明の課題は、いかなる輝度の（近）赤外光像変換像に対しても、可視像データの輝度に対して、有効なコントラストをもった表示の（近）赤外光像変換像を可視像データとともに表示する手段を提供することである。【解決手段】本発明にかかる体内近赤外光像検出カメラは、照明光源、カメラ、画像処理部、表示部、これらを制御する制御部を備え、画像処理部は、可視光像強度検出手段、赤外光像強度検出手段、強度倍率手段、強度補正手段を有して、強度倍率に基づいて、いかなる輝度の赤外光像に対してもその強度を補正する。【選択図】図１

Description

本発明は、近赤外光の所望の臓器部からの反射像、又は透過像、又は特に有益には、励起光により近赤外蛍光を発光する蛍光体を導入した体内の所望の臓器部からの明るさの弱い蛍光像を、可視光の照射による周辺の臓器の可視像の明るさに応じて、明るく補正し、周辺の臓器の可視光像に対して所望の臓器部の明瞭な近赤外像を得るようにした体内近赤外光像検出カメラに関するものである。

近赤外蛍光体を体内に導入して医療の施術時に臓器を観測するものとして、従来提案されているものを上げてみると、
先ず、血管造影に利用する提案があり、血管内に注射で蛍光体を導入して、近赤外線を照射し、血管部分の蛍光体が近赤外線を吸収することで、近赤外線の透過光又は反射光が血管部分で弱くなる（暗く映る）ことを利用したものがある。反射光を撮像する例としては、特許文献１に見ることができる。この例では、可視像と近赤外像を施術者が随意にフィルタを切り替えて別々に見るので、可視像と近赤外像は同時に見ることが無く、各々は、見えるが、切替により不便さと映像の相対的位置関係が明確でなく施術上不便がある。
次に、特許文献２では、特許文献１の内容に加えて、段落番号００２７、００２８に励起光により蛍光体から発光する別の波長の近赤外光を選択的にフィルタして映像とするモードが示されている。この例でも、可視像と近赤外像を施術者が随意にフィルタを切り替えて別々に見ることは特許文献１と同じであり、同じ欠点を有する。
更に、特許文献３では、いくつかの応用モードが記述してあるが、その中で、可視光像を表示する通常観察モードと赤外観察モードがあり、そのうち、赤外観察モードには、可視光像と赤外光像の合成像を表示するものが含まれ、段落番号００６７から００８９までに記述してある。このモードでは、可視像データと赤外光像データの各々に所望の倍率の掛け算を行ってから合成して表示していることが示されている。赤外線も可視光も照明光を照射して、臓器表面から反射してくる反射像をＣＣＤカメラで撮像しているので、可視像データと赤外光像データの輝度はほぼ決まっているので、所望の倍率の掛け算でも対応できるが、臓器内面、特に表面とは限らない患部からの反射や蛍光発光の輝度は、患部により極端に違うため、上記の例では対応ができない欠点があり、患部により極端に変わる輝度データの変化に十分応じて変わりえる、両者の輝度比の検出と掛け算倍率を決定する手段をもって、可視像データの輝度に対して、どのような赤外像データの輝度になっても赤外光像データを有効なコントラストをもって表示できることが必要となっていた。

特開２０００−４１９４２ 特開２００４−３０５３８２ 特開２００１−８７２２１

以上のような従来例の欠点を補い、本発明の体内近赤外光像検出カメラの課題は、いかなる輝度の（近）赤外光像変換像に対しても、可視像データの輝度に対して、有効なコントラストをもった表示の（近）赤外光像変換像を可視像データとともに表示する手段を提供することである。

本発明にかかる体内近赤外光像検出カメラは、照明光源、カメラ、画像処理部、表示部、これらを制御する制御部を備え、画像処理部は、可視光像強度検出手段、赤外光像強度検出手段、強度倍率手段、強度補正手段を有して、強度倍率に基づいて、赤外光像強度を補正する。
以下、請求項に沿って記述する。

請求項１記載の発明は、体内近赤外光像検出カメラであって、
患者の臓器を照明するための、可視光光源と身体透過性のよい近赤外光源、又は及び、体内に取り込んだ蛍光体に近赤外光を蛍光発光させるための励起光を与えるための励起近赤外光源を有する照明光源と、前記照明光源により得られる前記臓器の像を撮像する光学系と撮像素子を有するカメラと、前記カメラにより得られた可視光像と近赤外光像の各々のデータをディジタルデータに変換するＡ／Ｄ変換器と、前記可視光像と前記近赤外光像の各々の前記ディジタルデータを記憶する可視光像データメモリと近赤外光像データメモリと、前記可視光像データメモリの可視光像データから可視光像強度を検出する可視光像強度検出手段と、前記赤外光像データメモリの赤外光像データから赤外光像強度を検出する赤外光像強度検出手段と、前記可視光像強度と前記赤外光像強度の比を求める強度倍率手段と、前記赤外光像データに前記強度倍率手段からの倍率をもとにした補正倍率を掛け算補正することで補正後赤外光像データを求める強度補正手段とを備えた画像処理部と、前記画像処理部における前記補正後赤外光像データと前記可視光像データの合成値を表示する表示部と、前記カメラ内の光路又は及び照明光源の光路に配置された可視光透過フィルタ、色分離透過フィルタを有するフィルタと、前記照明光源、前記カメラ、画像処理部、前記表示部、前記フィルタの各々の動作を制御する制御部とを有し、前記補正により、前記可視光像と前記近赤外光像を合成して同時に表示する場合に、前記赤外光像が前記可視光像に隠れることなく、両者が明瞭に視認可能としたことを特徴とする。

請求項２記載の発明は、請求項１記載の体内近赤外光像検出カメラにおいて、
前記制御器は、前記倍率Ｇ、前記補正倍率ｇとして、前記ｇ＝ｎＧとし、ｎを１／４から４の範囲で設定する補正設定手段を有することを特徴とする。

請求項３記載の発明は、請求項１又は請求項２記載の体内近赤外光像検出カメラにおいて、
前記制御器は、前記可視光強度と前記近赤外光強度を比較のモード、又は及び、前記補正倍率を掛け算するモードを設定する手段を有することを特徴とする。

請求項４記載の発明は、請求項１から請求項３のいずれか１つに記載の体内近赤外光像検出カメラにおいて、前記近赤外光像の表示色を緑としたことを特徴とする。

以上の様に構成されているので、本発明による体内近赤外光像検出カメラでは、近赤外反射光、透過光のみならず、患部から発光する近赤外蛍光像さえも、可視光反射像とコントラストよく表示がなされる。

本発明の体内近赤外光像検出カメラの一実施態様を示す図である。 本発明の体内近赤外光像検出カメラの表示の状態の一実施態様を示す図である。 従来提案に見る、本発明の体内近赤外光像検出カメラにも使用できるフィルタの各種の例を示す図である。 図３と同様に、本発明の体内近赤外光像検出カメラにも使用できるフィルタの例を示す図である。

本発明にかかる体内近赤外光像検出カメラ１００は、照明光源１１０、カメラ１２０、画像処理部１３０、表示部１４０、これらを制御する制御部１５０を備えている。
画像処理部１３０は、可視光像強度検出手段、赤外光像強度検出手段、強度倍率手段、強度補正手段を有して、強度倍率に基づいて、赤外光像強度を補正する。
以下図に沿ってその詳細を説明する。

図１は、本発明の体内近赤外光像検出カメラの一実施態様を示す図である。
照明光源１１０は、患者（又はその臓器）を照明し、反射光又は透過光の像をカメラ画像として撮影するための光源となるもので、可視光光源（こだわらないが主には白色光）１１１、身体透過性のよい近赤外光源１１２、又は、体内に取り込んだ蛍光体に蛍光発光させるための励起光を与えるための励起近赤外光源１１３などである。
尚、蛍光体に癌等の疾患の抗体を修飾したものを用いると、血管から体内に入った後、蛍光体は疾患の患部に集中して取りつくので、励起近赤外光源を当てると、波長の違った新たな近赤外光を蛍光として発光し、近赤外光を撮影すれば患部を特定できることが知られている。ただし、その発光の強度は、励起近赤外光源の強度、蛍光体の濃度、体内の表面にあるか奥や他の臓器の裏側にあるかなどの条件により異なるので、このような複雑な状況に対応する手段を本発明の体内近赤外光像検出カメラが提供しなければならない。
近赤外光源１１２、励起近赤外光源１１３、蛍光体の例としては、多くの文献でも見ることができるが、その例を拾ってみると、以下のようなものがある。
近赤外蛍光体と励起光波長λ１、蛍光発光波長λ２の例を挙げると、以下のようなものがある。近赤外蛍光体名（λ１nm：λ２nm）の形で示すと、
１）インドシアニングリーンＩＣＧ（７６０〜７８０：８００〜８５０）
２）ローダミン（６５０：７００）
などがあり、他に、Ｙ_２Ｏ_３：Ｅｒ^３＋，Ｙｂ^３＋や、ＰｂＳ、ＰｂＳｅ、Ａｇ_２Ｓや、蛍光量子ドットと呼ばれるもの、Ｃｌｏｎｔｅｃｈ社のＣｕＳｉＲ−１などがある。
インドシアニングリーンは、生体の病巣の検出の為にはよく知られた素材で手に入れやすい。尚、生体イメージに使う蛍光体としては、血液に溶ける、従って、水溶性であることが要求される

カメラ１２０は、レンズ等の光学部１２１とＣＣＤ等の撮像装置１２２を有し、光学部１２１の前又は両者の間の光路には、フィルタ１２３を備えている。フィルタ１２３については、後述する。
患者の臓器等の画像情報をもつ可視光及び近赤外光、近赤外蛍光は、光学部１２１とフィルタ１２３を通過して、撮像装置１２２に像を結び、電気的情報に変換されて画像処理部１３０に入力する。

以下に画像処理部１３０の構成と機能を説明する。
ＣＤＳ１３１は、入力した画像データのノイズを除去するもので、良く知られたものである。ノイズを除去した画像データは、Ａ／Ｄ変換器１３２によりディジタルデータに変換される。フィルタ１２３により可視光像と近赤外光像は時間的に分離されているので、可視光像データは、色分離回路１３３で色分離したあと、可視光像データメモリ１３４Ａに、近赤外光像データは、近赤外光像データメモリ１３４Ｂに格納される。可視光像データメモリ１３４Ａには、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の成分に分けた光強度のデータが蓄えられる。近赤外光像データメモリ１３４Ｂには、既定の波長の近赤外光像の強度のデータが蓄えられる。

ここで、可視光像データメモリ１３４Ａと近赤外光像データメモリ１３４Ｂに格納された各データの強度に応じて、そのまま表示すると、明るい可視光像の中に近赤外光像が隠れて区別できないことがおうおうにしてある。近赤外光像は、目で見えるように所望の色の可視光像に変換して表示するのだが、近赤外光像の強度は、もともとの可視光像に比べて強度が小さいことがあると、このような不具合が起こる。
特に、体内に導入した蛍光体を励起近赤外光源１１３で励起して、近赤外光の蛍光を発光させる場合は、蛍光体の濃度や、蛍光体の体内での位置（深さ）により、発光されて撮像装置１２２に届く蛍光の強度は、可視光に比べて小さく、又、その大きさが一定ではない。
このような事情により、上記の不具合が起こり易い。

ところで、可視光像データメモリ１３４Ａに格納された可視光像の強度Ｅ_ＹＶは、人体である目に感ずるものとして、
Ｅ_ＹＶ＝０．３Ｅ_Ｒ＋０．５９Ｅ_Ｇ＋０．１１Ｅ_Ｂ （１）

と表されることが知られている。ここで、Ｅ_Ｒ、Ｅ_Ｇ、Ｅ_Ｂは、各々、可視光像データメモリ１３４Ａに格納された赤、グリーン、ブルーの成分の強度である。
可視光像強度検出手段１３５Ａは、例えば（１）により、Ｅ_ＹＶを求める手段である。

ここで、近赤外光像データメモリ１３４Ｂに格納された近赤外光像データの強度をＥ_Ｕとすると、この像を目に見える可視光領域の色（例えば緑）に変換して表示すると、Ｅ_Ｕと同じ強度（Ｅ_ＧＵ＝Ｅ_Ｕ）の緑の強度Ｅ_ＹＵは、
Ｅ_ＹＵ＝０．５９Ｅ_ＧＵ＝ ０．５９Ｅ_Ｕ （２）
となる。
Ｅ_Ｕの強度が小さければ、Ｅ_ＹＵを表示したものは、Ｅ_ＹＶに比べ小さく、視認が難しいものとなる。特に、蛍光の強度は、その大きさが一定でない場合は、対応が困難となる。
近赤外光像強度検出手段１３５Ｂは、（２）を用いてＥ_ＹＵを求める手段である。

Ｅ_ＹＵがＥ_ＹＶに比べて小さく、値も変わることで不具合があるので、可視光像強度に対して表示する近赤外光像を相対的に補正する。
そのために、例えば、Ｅ_ＹＶとＥ_ＹＵとの大きさの関係がどれほどかを知る。強度倍率手段１３６は、倍率ＧとしてＥ_ＹＶとＥ_ＹＵの比を求める。強度補正手段１３７は、近赤外光像データメモリ１３４Ｂに格納された近赤外光像データの強度Ｅ_Ｕを倍率Ｇを考慮した倍率を掛け算する。そのことで可視光像とほぼ同じ強度の近赤外光像のデータが得られる。同じ強度では、同じ色では、コントラストがない。ところが、臓器の色は白色光で見た場合は、通常は反射光の色は赤系統の色であり、近赤外光像に緑の色を与えた場合は、コントラストが得られる。
尚、一層のコントラストを得るには、ｇ＝ｎＧ（ｎ≧１／４）として、実際に掛ける倍率としてｇを用いれば、近赤外光像の方を可視光像より明るく、又は暗くできて、コントラストがよい同時表示像が得られる。特にｎの値としてどのくらいがよいかという点に触れる。ｎが大きすぎると、周辺の可視光像が真っ黒で、近赤外光像のみ極端に明るく白トビする状態となる。白トビが無ければ、近赤外光像が明るい方がよい。輝度を８ビットで表現した場合、可視光像が１２８以下で与えると、近赤外光像は１２８以上となるので、ｎは１／４から４ぐらいの範囲が適当である。（緑で近赤外像を表示する場合は、ｎは１／４位でもコントラストは得られる。また、近赤外部のみ暗くなる表示では１／４位でもよい。）
このように、可視光強度検出手段１３５Ａと近赤外光像検出手段１３５Ｂと強度倍率手段１３６と強度補正手段１３７により、いろいろな条件によって元の近赤外光像の強度が違っても対応がなされる。
尚、異なる色でコントラストよく表示をする条件として、明度差１２５以上（最大値２５５）、色の差５００以上（最大値７６５）であることがよいとしられているので、表示においては参考になる。

次に倍率を求める根拠となる可視光強度検出と近赤外光像検出について一例を述べる。
先ず、近赤外光像は、近赤外光を照射し、身体に導入した蛍光体での吸収があるために、反射光、透過光に違いが出る。又は、近赤外光を照射し、蛍光体で発光する新たな蛍光が得られるので、これらの部位は、特定の部位になる。近赤外光像を検出すれば、この部位は分かる。
そこで、この部位や、画像セルごとに可視光強度と近赤外光強度を比較することができる。
また、他には、この部位の周りの部位の可視光強度を求め、この部位の近赤外光強度と比較することができる。また、コントラストが得られればいいので、この部位や、画像セルのすべてでこのようなことを行う必要はなく、ある部位で求めた倍率を他の部位においても適用することも可能である。同様に撮影の毎時に随時行う必要もなく、ある時点の撮影で求めた倍率をその後にも適用してもよいなどいろいろな適用ができる。このことは、画像フレーム単位で補正してもよいし、その後のフレームにも同じ倍率で補正してもよいことも含んでいる。
尚、ｎの値や、上記の補正のモードを設定する補正設定手段を制御部１５０が備えることが好ましい。

補正された近赤外光像データは、近赤外光補正値メモリ１３８Ｂに保存される。尚、必須ではないが、可視光像データは、バッファメモリ１３８Ａに保存される。補正後の近赤外光像データと可視光像データは、合成器１３９Ａで合成した後、Ｄ／Ａ変換器１３９Ｂに入力する。
尚、Ｄ／Ａ変換器１３９Ｂで補正後の近赤外光像データと可視光像データをアナログ変換してから両者を合成するなど、順番の入れ替えは、設計事項であり、自由に変更可能である。

画像処理部１３０で処理された画像データは、表示部１４０を駆動し表示する。表示部としては、ＬＣＤ表示器やＥＬ表示器などよく知られている多くの手段があるので説明は省略する。

制御部１５０は、照明光源１１０、カメラ１２０（フィルタ１２３も含む）、画像処理部１３０、表示部１４０の上記の動作を行うように、ハードウェア又は／及びソフトウェアにより、これらを制御するものである。

次に、フィルタ１２３について説明する。
図３は、従来提案に見る、本発明の体内近赤外光像検出カメラにも使用できるフィルタの各種の例を示す図である。この図は、特許文献１から引用したものである。
図１の例では、カメラ１２０の中にフィルタ１２３があるものを示したが、照明光源１１０の照射路に備えることであってもよい。どちらか一方でも、両者に備えてもよい。
フィルタ１２３の動作を説明する。
先ず、可視光／近赤外光分離フィルタについて説明する。
カメラ１２０の撮像装置１２２で撮像する時には、可視光像と近赤外光像を同時に取り込むと分離できないので、両者の光路とカメラを分けるか、又は、時分割で両者を分けることになる。３−Ａに示すのは、後者の例である。回転すると、可視光像透過フィルタと近赤外光像透過フィルタが交互に連続して切替ができる。これで、可視光像だけ、近赤外光像だけが撮像できる。３−Ｂには、可視光像透過フィルタと近赤外光像透過フィルタの波長透過特性が示されている。
上記したように、照明光源側にも上記の３−Ａのようなフィルタがあってもよい。両者にあるときは、同期していることが必要である。

次に、可視光の色分離フィルタを３−Ｃで説明する。
回転により、Ｒ（赤）透過フィルタ（同時に近赤外光も透過）、Ｇ（緑）透過フィルタ（同時に近赤外光も透過）、Ｂ（青）透過フィルタ（同時に近赤外光も透過）が切り替わる。
３−Ｄにはこのような波長透過特性が示されている。

上記の可視光／近赤外光分離フィルタと色分離フィルタを両方使うことで、光は両者を通過する。その時、色分離フィルタでは、例えば、Ｒ（赤）透過フィルタ（同時に近赤外光も透過）では、赤の成分と近赤外光の成分が通過し、その後、可視光／近赤外光分離フィルタでは、可視光の通過タイミングでは、赤の成分が撮像装置１２２に届く。近赤外光の通過タイミングでは、近赤外光が撮像装置１２２に届く。青や緑でも同様である。
尚、両方のフィルタの置かれる順番は、透過結果に影響しないことは当然である。
また、他の文献にあるフィルタも使用可能である。

その他のフィルタの例を図４に示す。
４−Ａでは、図３と同じく回転フィルタであるが、半分が（近）赤外光透過フィルタ４０１であり、半分が、Ｒ，Ｇ，Ｂの可視光透過フィルタ４０２となっている。
４−Ｂにはその透過特性を示す。例えば、Ｒでは、赤の波長のみを透過する。
４−Ｃには、回転（例えば、画像のフレームレートと同じレートで回転する）した場合には、（近）赤外光透過フィルタ→Ｒ透過フィルタ→Ｇ透過フィルタ→Ｂ透過フィルタの順に繰り返す。図３の場合は、２枚のフィルタを使ったが、図４の場合は、１枚のフィルタを使用するだけで機能が実現する。

図２は、本発明の体内近赤外光像検出カメラの表示の状態の一実施態様を示す図である。
２−Ａは強度補正が無い場合の表示状態を示す。可視光による明るい臓器像２０１内に患部である蛍光像２０２があるのであるが、可視光像の明るさに埋もれて、確認できない。
２−Ｂは、強度補正がある場合の表示状態を示す。可視光による明るい臓器像２０１内に患部である蛍光像２０２があるが、補正がなされているので、臓器像に対して明瞭な蛍光像が表示される。

以上のように本発明による体内近赤外光像検出カメラは、可視光像と近赤外像を同時に表示しても、明瞭な近赤外像が得られるので、産業上利用して極めて好都合である。

１００ 体内近赤外光像検出カメラ
１１０ 照明光源
１１１ 可視光光源
１１２ 近赤外光源
１１３ 励起近赤外光源
１２０ カメラ
１２１ 光学部
１２２ 撮像装置
１２３ フィルタ
１３０ 画像処理部
１３１ ＣＤＳ
１３２ Ａ／Ｄ変換器
１３３ 色分離回路
１３４Ａ 可視光像データメモリ
１３４Ｂ 近赤外光像データメモリ
１３５Ａ 可視光強度検出手段
１３５Ｂ 近赤外光像検出手段
１３６ 強度倍率手段
１３７ 強度補正手段
１３８Ａ バッファメモリ
１３８Ｂ 近赤外光補正値メモリ
１３９Ａ 合成器
１３９Ｂ Ｄ／Ａ変換器
１４０ 表示部
１５０ 制御部

Claims (4)

1. 患者の臓器を照明するための、可視光光源と身体透過性のよい近赤外光源、又は及び、体内に取り込んだ蛍光体に近赤外光を蛍光発光させるための励起光を与えるための励起近赤外光源を有する照明光源と、前記照明光源により得られる前記臓器の像を撮像する光学系と撮像素子を有するカメラと、前記カメラにより得られた可視光像と近赤外光像の各々のデータをディジタルデータに変換するＡ／Ｄ変換器と、前記可視光像と前記近赤外光像の各々の前記ディジタルデータを記憶する可視光像データメモリと近赤外光像データメモリと、前記可視光像データメモリの可視光像データから可視光像強度を検出する可視光像強度検出手段と、前記赤外光像データメモリの赤外光像データから赤外光像強度を検出する赤外光像強度検出手段と、前記可視光像強度と前記赤外光像強度の比を求める強度倍率手段と、前記赤外光像データに前記強度倍率手段からの倍率をもとにした補正倍率を掛け算補正することで補正後赤外光像データを求める強度補正手段とを備えた画像処理部と、前記画像処理部における前記補正後赤外光像データと前記可視光像データの合成値を表示する表示部と、前記カメラ内の光路又は及び照明光源の光路に配置された可視光透過フィルタ、色分離透過フィルタを有するフィルタと、前記照明光源、前記カメラ、画像処理部、前記表示部、前記フィルタの各々の動作を制御する制御部とを有し、前記補正により、前記可視光像と前記近赤外光像を合成して同時に表示する場合に、前記赤外光像が前記可視光像に隠れることなく、両者が明瞭に視認可能としたことを特徴とする体内近赤外光像検出カメラ。
2. 前記制御器は、前記倍率Ｇ、前記補正倍率ｇとして、前記ｇ＝ｎＧとし、ｎを１／４から４の範囲で設定する補正設定手段を有することを特徴とする請求項１記載の体内近赤外光像検出カメラ。
3. 前記制御器は、前記可視光強度と前記近赤外光強度を比較のモード、又は及び、前記補正倍率を掛け算するモードを設定する手段を有することを特徴とする請求項１又は請求項２記載の体内近赤外光像検出カメラ。
4. 前記近赤外光像の表示色を緑としたことを特徴とする請求項１から請求項３のいずれか１つに記載の体内近赤外光像検出カメラ。

Images