JP2017169960A - 蛍光画像解析装置 - Google Patents

蛍光画像解析装置 Download PDF

Info

Publication number
JP2017169960A
JP2017169960A JP2016061211A JP2016061211A JP2017169960A JP 2017169960 A JP2017169960 A JP 2017169960A JP 2016061211 A JP2016061211 A JP 2016061211A JP 2016061211 A JP2016061211 A JP 2016061211A JP 2017169960 A JP2017169960 A JP 2017169960A
Authority
JP
Japan
Prior art keywords
fluorescent image
image
value
fluorescence
fluorescent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016061211A
Other languages
English (en)
Other versions
JP6721939B2 (ja
Inventor
森山 毅
Takeshi Moriyama
毅 森山
田村 雅巳
Masami Tamura
雅巳 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shofu Inc
Original Assignee
Shofu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shofu Inc filed Critical Shofu Inc
Priority to JP2016061211A priority Critical patent/JP6721939B2/ja
Publication of JP2017169960A publication Critical patent/JP2017169960A/ja
Application granted granted Critical
Publication of JP6721939B2 publication Critical patent/JP6721939B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】励起光を人体の一部に照射し、照射された部位から発せられる蛍光を撮影した蛍光画像から異常部位を特定する蛍光画像解析装置に関し、異常部位の範囲について客観性を高めた装置を提供する。【解決手段】蛍光画像を撮影する撮影装置は、425nm以下の波長の光を人体の一部に照射する光源を備えており、好ましくは500nm以下の光を遮断するフィルタが備えられている。蛍光画像解析装置は、蛍光画像を撮影する撮影装置で撮影された蛍光画像を記憶装置から読み込んで、蛍光画像の各画素を赤成分、緑成分、青成分に分割し、記憶装置から読み出られた蛍光画像に、術者が任意の範囲を指定し、指定された範囲内の緑成分の平均値を算出し、指定された範囲内で平均値より暗い画素を蛍光ロス部位(異常推定部位)として色分けして表示する。【選択図】図1

Description

本発明は、励起光を人体の一部に照射し、照射された部位から発せられる蛍光を撮影した蛍光画像から異常部位を特定する蛍光画像解析装置に関する。
蛍光とは、X線や紫外線、可視光線が照射されてそのエネルギーを吸収することで電子が励起し、それが基底状態に戻る際に余分なエネルギーを電磁波として放出する光である。このときに照射する光のことを励起光と呼ぶ。
近年LEDの高輝度化や光学フィルタの高精度化が進み、この原理が医療分野で応用されている。その例が高輝度LEDの光を人体の一部に照射し、照射された部位から発せられる蛍光を専用の光学フィルタを通した撮影蛍光画像から、癌化の恐れのある部位を特定する方法が検討されている。蛍光画像は健常部位では明るく、異常部位では暗く撮影される。この暗く映った部分は蛍光ロスと呼ばれる。
これまで手術による癌の切除は、新たな部位への転移を防ぐため、癌化した部位の周辺部位も切除していた。このとき切除後の再建が困難にならないように可能な限り狭い範囲を切除する必要があることから、癌化した部位を含めて周辺部位にもヨード液を塗布し、切除範囲のマージンを設定して切除するという方法が一般的であった。近年の研究では、ヨード液を塗布して切除範囲のマージンを設定する方法と蛍光画像から蛍光ロスした部分を切除範囲とする方法の対比が盛んに行われている。ただし、励起光を口腔内に均一に照射できないために、蛍光ロスした部位以外にも暗く撮影され、蛍光画像の解析には術者の熟練が必要である。
一方、医科・歯科の蛍光画像診断の分野においては、従来、術者の目視による判断による診断が主流であったが、近年のエビデンスベースの診療への転換の流れから、数値的な根拠が求められる様になり、かつ客観的かつ再現性のある診断が強く求められる様になってきている。この様な流れのなか、学会が認定する専門医の制度が普及し、医科・歯科の蛍光画像診断の分野においても、少なくとも日本国内で共通の診断基準が求められてきている。本発明の分野である蛍光画像診断の分野においてもその様な共通の診断基準に基づく客観的で再現性のある、数値的なエビデンスを持った診断が理想であることは言うまでも無く、現在これらの診断基準づくりはできていない状況にある。
一般的に歯科検診では、歯や歯周組織だけでなく口腔粘膜の観察も行われている。ただし、検査は歯と歯周組織が重要視され、粘膜疾患は見落とされる場合が多く、早期に口腔癌などの粘膜疾患をより確実に発見できる方法が求められていた。
特許文献1に記載の技術では、蛍光により義歯床に埋め込まれた患者情報を識別することは可能であるが、励起光の強さと500nm以下の波長をカットするフィルタが設置されていないため、患者の粘膜疾患を発見することはできなかった。
特許文献2に記載の技術では、う蝕部と健全部の蛍光を観察する装置であり、口腔粘膜を観察する装置と比較すると励起光の光量が少ないため、口腔粘膜の異常部と健全部を判別することはできなかった。
特許文献3も特許文献2と同様で、口腔内の硬組織である歯を観察対象としており、撮像蛍光画像から歯を抽出する技術が紹介されている。他の蛍光画像観察装置で撮像された蛍光画像を見やすくするためには、非常に有効な技術であるが、硬組織が対象であり、口腔粘膜を観察する場合には励起光の光量が少なく不向きである。
特許文献4に記載の技術は、紫外線領域の波長と可視光領域の波長の2種類の光を照射して撮影し、蛍光画像処理で立体イメージを構築する方法である。紫外線領域の波長の役割は被写体からの蛍光を励起するもので、可視光領域の波長は被写体イメージを撮影するためのものである。この方法では歯などの硬組織から発せられる蛍光から立体イメージを作成するのに適している方法であるが、舌やその他軟組織を観察した場合は、蛍光画像が撮影され、撮影された蛍光画像は蛍光画像処理されないために緑色の濃淡蛍光画像になり、舌やその他軟組織の観察には不向きである。
このように前述の特許文献1〜4では、蛍光画像を撮影するが、口腔粘膜などの軟組織を撮影対象にしていないため、励起光の光量が少ないことや撮影された蛍光画像に蛍光画像処理が加えられていないことで、舌やその他軟組織を撮影した場合にくっきりとした濃淡蛍光画像を得ることは困難であり、口腔癌やその他粘膜疾患発見には適しているとは言えない。
特開2013−244151 特許第4576278号 特許第5276006号 特表2006−527615
ヨード染色で切除範囲のマージンを決定する方法では、染まっている部分と染まっていない部分を術者が目視で確認していた。また、蛍光画像から切除部位を設定する方法でも同様で術者が映像、または、デジタル蛍光画像を目視で確認して切除範囲を設定していた。これらの方法では、術者ごとに切除範囲として設定される範囲にバラツキが生じていた。
蛍光画像から蛍光ロスした部位とそれ以外の部位の境界線の設定が困難な理由は、環境光による不要な外乱光、励起光源の明るさのばらつき、励起光源の投光パターンの強弱、励起光源から被写体までの距離による蛍光の増減など、撮影環境の影響により、蛍光の値が増減するという問題があったからである。
これらの変動や外乱は、個々の患者に対する客観的かつ再現性のある蛍光画像診断の妨げになるだけでなく、少なくとも日本国内において共通の診断基準を構築するための妨げになることも言うまでも無いことである。また、前述の先行文献記載の技術では、硬組織には適用できるが軟組織には適用できないという課題があった。
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位の検出に使用する蛍光画像解析装置であって、記憶装置、表示装置、演算装置、インターフェイスを有し、
インターフェイスによって記憶装置に読み込まれた蛍光画像から演算装置にて各画素を赤成分、緑成分、青成分に分割し、それぞれの画素値である成分画素値を算出し、演算装置にて算出することで以下の何れかの画像を表示することを特徴とする異常部位の検出に使用する蛍光画像解析装置である。
(1)成分画素値の平均値を算出し、平均値を閾値として表示する平均値蛍光画像、及び又は
(2)隣接した画素の画素値の変化率の2次元分布である変化率蛍光画像、及び又は
(3)画素値から一定のオフセット値を減算し、さらに一定のゲインを乗算した規格化蛍光画像、及び又は
(4)蛍光画像撮影時に使用した照明の明るさ分布を、蛍光画像の各画素の分布から除算した均一化蛍光画像、及び又は
(5)蛍光画像が被写体と蛍光画像撮影に使用した装置との距離情報を各画素毎に有し、距離情報の2乗に比例した値を各画素の画素値に乗算した距離補正蛍光画像、
(6)(3)規格化蛍光画像、(2)均一化蛍光画像、(5)距離補正蛍光画像のいずれか2つ以上を組合せた組合せ蛍光画像
(7)(3)規格化蛍光画像、(2)均一化蛍光画像、(5)距離補正蛍光画像、(6)組合せ蛍光画像のいずれかを元蛍光画像とし、(1)平均値蛍光画像または(2)変化率蛍光画像
本発明は、(1)平均値蛍光画像と(2)変化率蛍光画像を加法混色演算して表示することを特徴とする異常部位の検出に使用する蛍光画像解析装置である。
本発明は、(1)平均値蛍光画像において、閾値を変更する装置を有する異常部位の検出に使用する蛍光画像解析装置である。
本発明は、(3)規格化蛍光画像において、全画素値の最小値をオフセットとし、飽和値を除く最大値から最小値を引いたスパンをダイナミックレンジで割った逆数をゲインとすることを特徴とする異常部位の検出に使用する蛍光画像解析装置である。
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位の検出に使用する蛍光画像解析プログラムであって、
蛍光画像の各画素を赤成分、緑成分、青成分に分割する分割工程、それぞれの画素値である成分画素値を算出する成分画素値算出工程、以下の何れかの画像処理工程を経た各画像を表示する画像表示工程を有することを特徴とする異常部位の検出に使用する蛍光画像解析プログラムである。
(1)成分画素値の平均値を算出し、平均値を閾値とした平均値蛍光画像処理工程、及び又は
(2)隣接した画素の画素値の変化率の2次元分布である変化率蛍光画像処理工程、及び又は
(3)画素値から一定のオフセット値を減算し、さらに一定のゲインを乗算した規格化蛍光画像処理工程、及び又は
(4)蛍光画像撮影時に使用した照明の明るさ分布を、蛍光画像の各画素の分布から除算した均一化蛍光画像処理工程、及び又は
(5)蛍光画像が被写体と蛍光画像撮影に使用した装置との距離情報を各画素毎に有し、距離情報の2乗に比例した値を各画素の画素値に乗算した距離補正蛍光画像処理工程、
(6)(3)規格化蛍光画像処理工程、(2)均一化蛍光画像処理工程、(5)距離補正蛍光画像処理工程のいずれか2つ以上を組合せた組合せ蛍光画像処理工程、
(7)(3)規格化蛍光画像処理工程、(2)均一化蛍光画像処理工程、(5)距離補正蛍光画像処理工程、(6)組合せ蛍光画像処理工程のいずれかを元蛍光画像とし、(1)平均値蛍光画像処理工程または(2)変化率蛍光画像処理工程
本発明は、(1)平均値蛍光画像処理工程と(2)変化率蛍光画像処理工程を経た各画像を加法混色演算して表示することを特徴とする異常部位の検出に使用する蛍光画像解析プログラムである。
本発明は、(1)平均値蛍光画像処理工程において、閾値を変更する装置を有する異常部位の検出に使用する蛍光画像解析プログラムである。
本発明は、(3)規格化蛍光画像処理工程において、全画素値の最小値をオフセットとし、飽和値を除く最大値から最小値を引いたスパンをダイナミックレンジで割った逆数をゲインとすることを特徴とする異常部位の検出に使用する蛍光画像解析装置グラムである。
本発明は 医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位を検出する蛍光画像解析装置であって、
蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、
読み込まれた蛍光画像および解析結果を表示する表示装置と、
読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段と、
術者が蛍光画像の特定範囲を指定する手段と、
指定された範囲の画素の赤成分、緑成分、青成分の少なくとも1つ以上の平均値を算出する手段と、
算出された平均値を表示する手段を有し、
平均値より低い画素を異常部位として色分けして表示することを特徴とする蛍光画像解析装置である。
本発明は、異常部位の特定に使用された数値を変更する手段を有し、変更された数値より低い画素を異常部位として再描画する機能を有することを特徴とした蛍光画像解析装置である。
本発明は、蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、読み込まれた蛍光画像および解析結果を表示する表示装置と、読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段と、術者が蛍光画像の特定範囲を指定する手段と、指定された範囲の画素の赤成分、緑成分、青成分の少なくとも1つ以上の平均値を算出する手段と、撮影された蛍光画像の各画素の輝度値を抽出し、隣接した画素の輝度値の変化率を算出する手段を有し、変化率を256段階で色分けして表示することを特徴とする蛍光画像解析装置である。
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位を検出する蛍光画像解析装置であって、蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、読み込まれた蛍光画像および解析結果を表示する表示装置と、読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段とを有し、各画素値から一定のオフセット値を減算し、さらに一定のゲインを乗算して、新たな画素値として規格化蛍光画像を生成、表示することを特徴とする蛍光画像解析装置である。
本発明は、全画素値の最小値をオフセットとし、飽和値を除く最大値から最小値を引いたスパンをダイナミックレンジで割った逆数をゲインとすることを特徴とする蛍光画像解析装置である。
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位を検出する蛍光画像解析装置であって、蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、読み込まれた蛍光画像および解析結果を表示する表示装置と、読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段とを有し、各画素に蛍光画像撮影時に使用した照明の明るさ分布を対応させ、元蛍光画像の各画素毎に、明るさ分布で除算して、新たな画素値として均一化蛍光画像を生成、表示することを特徴とする蛍光画像解析装置である。
本発明は、医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位を検出する蛍光画像解析装置であって、蛍光画像が保存された記憶装置から蛍光画像を読み込む手段と、読み込まれた蛍光画像および解析結果を表示する表示装置と、読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段とを有し、各画素毎に、対応する被写体各部と蛍光画像撮影に使用した装置との距離の2乗に比例した値を乗算して、新たな画素値として距離補正蛍光画像を生成、表示することを特徴とする蛍光画像解析装置である。
本発明は、規格化、均一化、距離補正のいずれか2つ以上を組合して、新たな補正蛍光画像を生成、表示することを特徴とする蛍光画像解析装置である。
本発明は、規格化蛍光画像、均一化蛍光画像、距離補正蛍光画像、補正蛍光画像のいずれかを元蛍光画像とし、平均値または閾値を設定・表示、または変化率蛍光画像を表示することを特徴とする蛍光画像解析装置である。
ここで、各画素の輝度値を画素値という。
本発明ではヨード染色法と比較して、蛍光ロス領域を異常部位として色分けして推定表示することが可能なため、術者毎のバラツキを大幅に低減することができる。
(1)平均値蛍光画像においては通常蛍光画像の明るさは撮影装置と被写体の距離、光源のバラツキによって各画素の明るさは変化するが、平均値、または設定値を閾値として明るい部分および暗い部分を区別することで、撮影蛍光画像の明るさが補正される。そのため、これまで術者によってバラツキが生じていた切除範囲の設定も定量的に評価することが可能になった。
(2)変化率蛍光画像においては、蛍光画像は元々緑成分のみで表示されることが多いため、蛍光画像は緑成分の輝度の濃淡蛍光画像になることが多い。そのため、術者が蛍光ロスを見逃すことが予想される。本発明により、濃淡蛍光画像である蛍光画像に変化率蛍光画像を重ねて表示できることから術者の見落としが、これまでと比べて格段に少なくなる。
次に(3)規格化蛍光画像について説明する。環境光が存在する場所で撮影した場合には、環境光による蛍光成分が加算される。一方、励起光が装置によってばらついた場合は、発生する蛍光の量が変動する。規格化蛍光画像を用いることで、環境光の影響や装置のばらつきを抑えることができる。
加えて、(4)均一化蛍光画像においては均一化蛍光画像を用いることで、光源の投光パターンによらず、投光パターンの中心付近でも周辺部位でも同じ尺度で評価することができる。
さらに、(5)距離補正蛍光画像においては距離補正蛍光画像を用いることで、距離に依存していた蛍光の濃淡を解消することができる。
(6)組合せ蛍光画像や(7)(3)規格化蛍光画像、(4)均一化蛍光画像、(5)距離補正蛍光画像、(6)組合せ蛍光画像のいずれかを元蛍光画像とし、(1)平均値蛍光画像または(2)変化率蛍光画像とすることで、環境光、装置の差、撮影距離、術者によらず、より数値的エビデンスに基づく、客観的で再現性のある蛍光画像診断が可能となる。
以上、本発明による装置やプログラムにより、少なくとも日本国内で共通の診断基準を構築することが可能となる。
まず、本発明に関わる実施の形態を示す。
蛍光画像を撮影する撮影装置は、425nm以下の波長の光を人体の一部に照射する光源を備えており、530nm以下の光を遮断するフィルタが撮像素子に設置されているものであれば何でも良いが、好ましくは500nm以下の光を遮断するフィルタが備えられていることであり、最も好ましいのは475nm以下の光を遮断するフィルタが備えられていることである。本発明の蛍光画像解析装置は、蛍光画像を撮影する撮影装置で撮影された蛍光画像を記憶装置から読み込んで、蛍光画像の各画素を赤成分、緑成分、青成分に分割し、記憶装置から読み出られた蛍光画像に、術者が任意の範囲を指定し、指定された範囲内の緑成分の平均値を算出し、指定された範囲内で平均値より暗い画素を蛍光ロス部位(異常推定部位)として色分けして表示する。
ここで425nm以下の波長の光の光源は、425nmより長い波長の光が少なければ少ないほどよいが、仮に425nm以上の波長の光が含まれる光源を使用した場合は、光源と被写体の間に425nm以上の波長をカットするフィルタが設置されていれば光源は何でもよい。好ましくは425nm以下の波長で発光するLEDである。撮影装置内の撮像素子はカラーであればCCDでもCMOSでも良い。
記憶装置とは撮影装置で撮影された蛍光画像を保存できるものであれば何でもよいが、好ましくはUSBメモリー、SDカード、MicroSDカードであり、最も好ましいのは撮影装置に装備された記憶装置である。蛍光画像解析装置にUSBポート、SDカードスロットが装備されており、記憶装置から蛍光画像解析装置に読み込むのは、USBケーブルで接続して蛍光画像を蛍光画像解析装置に読み込むのが最も好ましいが、蛍光画像解析装置のSDカードスロットでSDカードから読み出してもよい。
読み込まれた蛍光画像および解析結果を表示する表示装置とは、赤成分を256階調、緑成分を256階調、青成分を256階調で表示できれる表示装置であれば何でもよい。好ましくは撮影装置と一体化した表示装置であり、最も好ましいのはパソコン用のディスプレイである。
演算装置とは、演算する装置であり、CPUなどに代表される。
インターフェイスとは演算装置や記憶装置に外部からデータや指示信号を入力する為の装置であり、外部記憶装置やデータ入力装置との接続部材である。具体的には外部記憶装置と接続するためのUSBポート、SDカードスロット等であり、データ入力装置としてはキーボード、スキャナ、カメラなどがある。
読み込んだ蛍光画像の各画素を赤成分、緑成分、青成分に分割する手段とは、読み込んだ蛍光画像の各画素の赤成分、緑線分、青成分に分割できるファームウェア、または、アプリケーションソフトウェアである。両ソフトウェアは、読み込んだデジタル蛍光画像の各画素の赤成分、緑成分、青成分の各成分の輝度値を抽出する機能を有するものである。
術者が行う蛍光画像の中の範囲指定は、円形、楕円形、三角形、四角形など指定する範囲の形は何でもよい。円形の指定は蛍光画像上にマウスでクリックした点を中心に、あらかじめ設定されている数値を半径、または、直径の円で範囲指定する。このとき半径、または、直径を変更できる機能が装備されていることが好ましい。楕円形の指定は、蛍光画像上にマウスでクリックした点を中心に、あらかじめ設定されている長径と短径で範囲指定する。円形と同様に長径と短径の長さを変更できる機能を装備していることが好ましい。三角形、四角形、それ以上の多角形の指定は、蛍光画像上にマウスで点を3点以上指定し、各点を結んで範囲指定する。円形、楕円形、三角形以上の多角形を指定する時、マウスの左ボタンで点を指定し、右ボタンでキャンセルできる機能を装備していることが好ましい。
デジタル蛍光画像は、0〜255までの256階調の赤成分、緑成分、青成分で表された画素で構成される。この中で術者に指定された範囲の画素の少なくとも1つ以上の成分の平均値を算出する。好ましくは緑成分の平均値を算出する。さらに好ましいのは、赤成分、青成分の平均値を算出する機能を装備していることである。この平均値の利用方法であるが、平均値は解析するための基準値の最初の値として利用する。指定範囲内の全ての画素を対象として平均値を最初の値とする基準値以下の画素を緑色以外の色で塗りつぶす機能を装備していることが好ましい。最も好ましいのは、基準値を術者が操作して、塗りつぶす画素を再描画する機能を装備していることである。
隣接した画素の輝度値の変化率を算出する手段とは、好ましくは横方向の変化率を算出し、変化率を256階調に変換することで、さらに好ましいのは縦方向の変化率も横方向と同様に算出し、256階調に変換することである。最も好ましいのは解析対象の画素の座標をA(X、Y)とすると、T1(X−1,Y)、T2(X−1、Y−1)、T3(X−1、Y+1)、T4(X、Y−1)、T5(X、Y+1)、T6(X+1、Y−1)、T7(X+1,Y)、T8(X+1,Y+1)の各点と解析対象画素(X,Y)の変化率を算出し、256階調に変換する機能を装備していることである。変化率を算出する色成分は緑成分で算出されることが好ましいが、赤成分、青成分の変化率も同時に算出されていると更に好ましい。
解析対象画素の変化率は、Aの緑成分−T1の緑成分の絶対値、Aの緑成分−T2の緑成分の絶対値、Aの緑成分−T3の緑成分の絶対値、Aの緑成分−T4の緑成分の絶対値、Aの緑成分−T5の緑成分の絶対値、Aの緑成分−T6の緑成分の絶対値、Aの緑成分−T7の緑成分の絶対値、Aの緑成分−T8の緑成分の絶対値の総和を求めて平均化する。この平均値を解析対象画素の変化率とする。赤成分と青成分を求める場合も同様の計算方法である。
変化率を表示する場合、変化率の数値を256階調に変換しても変化が乏しい蛍光画像の場合、蛍光ロスを発見することが困難な場合がある。その場合は、変化率の数値を少なくとも2倍以上の数値を掛け算して表示する機能を有することが好ましい。さらに好ましいのは掛け算する2倍以上の数値は術者が任意に選べる機能が装備されていることである。
次に蛍光画像解析装置の解析手順を以下に示す。
(1)撮影された蛍光画像を記憶装置から読み出す。
(2)蛍光画像を構成する全ての画素を赤成分、緑成分、青成分に分割する。
(3)表示装置に緑成分のみの蛍光画像を表示する。このとき、マウスの示す位置のX,Y座標と赤成分、緑成分、青成分の数値を表示する。
(4)円形、楕円形、多角形の中から解析範囲の指定方法を選択する。
(5)表示されている蛍光画像に解析範囲を指定する。
(6)指定された解析範囲内の全ての画素の緑成分の平均値を基準値として算出する。
(7)指定された解析範囲内の画素で平均値より小さい画素を緑色以外の色で塗りつぶす。
(8)観察が困難な場合、基準値の数値を入力し、基準値より小さい数値の画素を緑色以外の色で塗りつぶす。
さらに本発明の(3)規格化蛍光画像、(4)均一化蛍光画像、(5)距離補正蛍光画像(6)組合せ蛍光画像(7)(3)規格化蛍光画像、(4)均一化蛍光画像、(5)距離補正蛍光画像、(6)組合せ蛍光画像のいずれかを元蛍光画像とし、(1)平均値蛍光画像または(2)変化率蛍光画像に関わる実施例を以下に示す。
各画素値から、全画素値の最小値であるオフセット値を減算し、さらに飽和値を除外した最大値から最小値を引いてダイナミックレンジで割った逆数をゲインとして乗算し、新たな画素値として規格化蛍光画像を生成、表示する。また、各画素に蛍光画像撮影時に使用した照明の明るさ分布を対応させ、元蛍光画像の各画素毎に、明るさ分布で除算して、新たな画素値として均一化蛍光画像を生成、表示させる。各画素毎に、対応する被写体各部と蛍光画像撮影に使用した装置との距離の2乗に比例した値を乗算して、新たな画素値として距離補正蛍光画像を生成、表示する。
さらに、規格化、均一化、距離補正のいずれか2つ以上を組合して、新たな補正蛍光画像を生成、表示する。
最終的に、規格化蛍光画像、均一化蛍光画像、距離補正蛍光画像、補正蛍光画像のいずれかの蛍光画像を元蛍光画像として、上述した平均値または閾値を設定・表示、または変化率蛍光画像を表示する。
本発明の(1)平均値蛍光画像に係る実施例を図1で示す。図1において、左の図は緑色の蛍光輝度を示す元蛍光画像(本文書では白黒モノトーンで表現している。)、右の図は緑色の輝度の平均値156を算出して表示し、これを閾値とし、輝度が平均値(=閾値)よりも小さい領域を蛍光ロス部位として色分け(本文書では暗く)して表示している。また、右図において「閾値」の欄はユーザーが変更することが可能であり、変更設定した閾値に従って色分けの領域が変化する。
次に、本発明の(2)変化率蛍光画像に係る実施例を図2を用いて説明する。元蛍光画像(蛍光画像)だけでも蛍光ロスを判別できるが、変化率蛍光画像(図では白黒モノトーンであるが、例えば赤で表示することが出来る)では蛍光ロス部分の境界をはっきりと示すことが出来る。さらに蛍光画像+変化率蛍光画像では更に見やすくなる。この様に、本発明では変化率を強調して表示することから、蛍光画像だけでは蛍光ロスを発見することが困難な症例でも、変化率蛍光画像や蛍光画像+変化率蛍光画像で蛍光ロス周辺組織が濃い色(例えば赤)で囲まれており、蛍光画像のみの場合よりも格段に蛍光ロス部分の発見が容易である。
図2の元蛍光画像では蛍光画像処理を行わない生の輝度値データを用いているが、蛍光画像取得の段階において、励起光以外の環境光の影響が加算されたり、励起光の強さが撮影距離によって変動する問題を解決するために、(5)規格化蛍光画像により、生の輝度値に対して一定の値(オフセット)を減算したり、一定の値(ゲイン)を掛け算したりすることが出来る。また、全画素の最小値をオフセットとしたり、最大値から最小値を引いたスパンをダイナミックレンジ(例えば輝度が8ビットで表される場合は256)で割った逆数をゲインとしたりすることが出来る。
また、蛍光画像取得の段階において、緑色蛍光の輝度分布が励起光の明るさの分布(中央が明るく、周辺に向かうに従って暗くなる)に依存してしまう問題を解決するために、(4)均一化蛍光画像により、励起光の明るさの分布を予め0〜1の比率でデータ化し、対応する画素毎に明るさ分布の比率で除算することで、周辺部の蛍光の輝度値が中央部と同等の強さで均一に照射された様に補正することが出来る。
また、蛍光画像取得の段階において、緑色蛍光の輝度分布が撮影装置と被写体各部の距離の2乗で減衰してしまうという励起光の明るさに依存してしまう問題を解決するために、(5)距離補正蛍光画像により、被写体各部と撮影装置との距離の2乗に比例した値を画素毎に乗算することで、距離に依存しない様に補正することができる。この被写体各部への距離分布は予め設定しておくことも可能であり、また例えばオートフォーカスに用いるパラメーターを使用することも可能である。また、(6)組合せ蛍光画像または(7)(3)規格化蛍光画像、(4)均一化蛍光画像、(5)距離補正蛍光画像、(6)組合せ蛍光画像のいずれかを元蛍光画像とし、(1)平均値蛍光画像または(2)変化率蛍光画像により、上記の技術を複合することが可能である。
これまで癌などの異常部位を特定し、切除する範囲のマージンを決定する方法として、ヨード液を塗布して染色度合を術者が判断する方法、励起光を患部付近に照射して照射された部位から発せられる蛍光を撮影して蛍光画像から術者が判断する方法が一般的であったが、どちらも術者ごとのバラツキが大きかった。本発明は蛍光画像を撮影して蛍光画像処理を行うことで、使用環境や装置の器差、術者の判断基準の誤差を補正することができる。そのため異常部位の検出が容易になり、癌の早期発見につながる。また、数値的エビデンスに基づく客観的かつ再現性のある検査を実現する。これは、少なくとも日本国内の共通の診断基準によりさらに利用価値が高まり、癌の重篤化率や死亡率の低減に貢献するものと考える。


Claims (8)

  1. 医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位の検出に使用する蛍光画像解析装置であって、記憶装置、表示装置、演算装置、インターフェイスを有し、
    インターフェイスによって記憶装置に読み込まれた蛍光画像から演算装置にて各画素を赤成分、緑成分、青成分に分割し、それぞれの画素値である成分画素値を算出し、演算装置にて算出することで以下の何れかの画像を表示することを特徴とする異常部位の検出に使用する蛍光画像解析装置。
    (1)成分画素値の平均値を算出し、平均値を閾値として表示する平均値蛍光画像、及び又は
    (2)隣接した画素の画素値の変化率の2次元分布である変化率蛍光画像、及び又は
    (3)画素値から一定のオフセット値を減算し、さらに一定のゲインを乗算した規格化蛍光画像、及び又は
    (4)蛍光画像撮影時に使用した照明の明るさ分布を、蛍光画像の各画素の分布から除算した均一化蛍光画像、及び又は
    (5)蛍光画像が被写体と蛍光画像撮影に使用した装置との距離情報を各画素毎に有し、距離情報の2乗に比例した値を各画素の画素値に乗算した距離補正蛍光画像、
    (6)(3)規格化蛍光画像、(4)均一化蛍光画像、(5)距離補正蛍光画像のいずれか2つ以上を組合せた組合せ蛍光画像
    (7)(3)規格化蛍光画像、(4)均一化蛍光画像、(5)距離補正蛍光画像、(6)組合せ蛍光画像のいずれかを元蛍光画像とし、(1)平均値蛍光画像または(2)変化率蛍光画像
  2. (1)平均値蛍光画像と(2)変化率蛍光画像を加法混色演算して表示することを特徴とする請求項1記載の異常部位の検出に使用する蛍光画像解析装置。
  3. (1)平均値蛍光画像において、閾値を変更する装置を有する請求項1記載の異常部位の検出に使用する蛍光画像解析装置。
  4. (3)規格化蛍光画像において、全画素値の最小値をオフセットとし、飽和値を除く最大値から最小値を引いたスパンをダイナミックレンジで割った逆数をゲインとすることを特徴とする請求項1記載の異常部位の検出に使用する蛍光画像解析装置。
  5. 医科や歯科で用いられる蛍光撮影装置で撮影された蛍光画像から異常部位の検出に使用する蛍光画像解析プログラムであって、
    蛍光画像の各画素を赤成分、緑成分、青成分に分割する分割工程、それぞれの画素値である成分画素値を算出する成分画素値算出工程、以下の何れかの画像処理工程を経た各画像を表示する画像表示工程を有することを特徴とする異常部位の検出に使用する蛍光画像解析プログラム。
    (1)成分画素値の平均値を算出し、平均値を閾値とした平均値蛍光画像処理工程、及び又は
    (2)隣接した画素の画素値の変化率の2次元分布である変化率蛍光画像処理工程、及び又は
    (3)画素値から一定のオフセット値を減算し、さらに一定のゲインを乗算した規格化蛍光画像処理工程、及び又は
    (4)蛍光画像撮影時に使用した照明の明るさ分布を、蛍光画像の各画素の分布から除算した均一化蛍光画像処理工程、及び又は
    (5)蛍光画像が被写体と蛍光画像撮影に使用した装置との距離情報を各画素毎に有し、距離情報の2乗に比例した値を各画素の画素値に乗算した距離補正蛍光画像処理工程、
    (6)(3)規格化蛍光画像処理工程、(2)均一化蛍光画像処理工程、(5)距離補正蛍光画像処理工程のいずれか2つ以上を組合せた組合せ蛍光画像処理工程、
    (7)(3)規格化蛍光画像処理工程、(2)均一化蛍光画像処理工程、(5)距離補正蛍光画像処理工程、(6)組合せ蛍光画像処理工程のいずれかを元蛍光画像とし、(1)平均値蛍光画像処理工程または(2)変化率蛍光画像処理工程
  6. (1)平均値蛍光画像処理工程と(2)変化率蛍光画像処理工程を経た各画像を加法混色演算して表示することを特徴とする請求項5記載の異常部位の検出に使用する蛍光画像解析プログラム。
  7. (1)平均値蛍光画像処理工程において、閾値を変更する装置を有する請求項5記載の異常部位の検出に使用する蛍光画像解析プログラム。
  8. (3)規格化蛍光画像処理工程において、全画素値の最小値をオフセットとし、飽和値を除く最大値から最小値を引いたスパンをダイナミックレンジで割った逆数をゲインとすることを特徴とする請求項5記載の異常部位の検出に使用する蛍光画像解析装置グラム。


JP2016061211A 2016-03-25 2016-03-25 蛍光画像解析装置 Active JP6721939B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016061211A JP6721939B2 (ja) 2016-03-25 2016-03-25 蛍光画像解析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016061211A JP6721939B2 (ja) 2016-03-25 2016-03-25 蛍光画像解析装置

Publications (2)

Publication Number Publication Date
JP2017169960A true JP2017169960A (ja) 2017-09-28
JP6721939B2 JP6721939B2 (ja) 2020-07-15

Family

ID=59969778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016061211A Active JP6721939B2 (ja) 2016-03-25 2016-03-25 蛍光画像解析装置

Country Status (1)

Country Link
JP (1) JP6721939B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112816480A (zh) * 2021-02-01 2021-05-18 奎泰斯特(上海)科技有限公司 水质酶底物鉴定方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065581A (ja) * 2000-08-25 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP2004503279A (ja) * 2000-06-15 2004-02-05 スペクトロス コーポレイション 周辺光条件下のインビボ誘導信号の光学画像化
JP2004121372A (ja) * 2002-09-30 2004-04-22 Pentax Corp 診断補助用装置
JP2008229025A (ja) * 2007-03-20 2008-10-02 Olympus Corp 蛍光観察装置
JP2009148568A (ja) * 2007-12-19 2009-07-09 Kantonsspital Aarau Ag 蛍光画像の分析処理方法
JP2009172377A (ja) * 2008-01-22 2009-08-06 Carestream Health Inc う蝕状態のリアルタイムの視覚化のための方法
JP2010046346A (ja) * 2008-08-22 2010-03-04 Olympus Medical Systems Corp 撮像システム及び内視鏡システム
JP2010521687A (ja) * 2007-03-17 2010-06-24 デュール デンタル アクチェンゲゼルシャフト 蛍光画像用診断方法および診断装置
JP2011110272A (ja) * 2009-11-27 2011-06-09 Fujifilm Corp 内視鏡装置
WO2012132790A1 (ja) * 2011-03-31 2012-10-04 オリンパス株式会社 蛍光観察装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004503279A (ja) * 2000-06-15 2004-02-05 スペクトロス コーポレイション 周辺光条件下のインビボ誘導信号の光学画像化
JP2002065581A (ja) * 2000-08-25 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP2004121372A (ja) * 2002-09-30 2004-04-22 Pentax Corp 診断補助用装置
JP2010521687A (ja) * 2007-03-17 2010-06-24 デュール デンタル アクチェンゲゼルシャフト 蛍光画像用診断方法および診断装置
JP2008229025A (ja) * 2007-03-20 2008-10-02 Olympus Corp 蛍光観察装置
JP2009148568A (ja) * 2007-12-19 2009-07-09 Kantonsspital Aarau Ag 蛍光画像の分析処理方法
JP2009172377A (ja) * 2008-01-22 2009-08-06 Carestream Health Inc う蝕状態のリアルタイムの視覚化のための方法
JP2010046346A (ja) * 2008-08-22 2010-03-04 Olympus Medical Systems Corp 撮像システム及び内視鏡システム
JP2011110272A (ja) * 2009-11-27 2011-06-09 Fujifilm Corp 内視鏡装置
WO2012132790A1 (ja) * 2011-03-31 2012-10-04 オリンパス株式会社 蛍光観察装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112816480A (zh) * 2021-02-01 2021-05-18 奎泰斯特(上海)科技有限公司 水质酶底物鉴定方法

Also Published As

Publication number Publication date
JP6721939B2 (ja) 2020-07-15

Similar Documents

Publication Publication Date Title
US9870613B2 (en) Detection of tooth condition using reflectance images with red and green fluorescence
JP5729924B2 (ja) 齲蝕定量方法
US8866894B2 (en) Method for real-time visualization of caries condition
JP5435532B2 (ja) 画像処理システム
JP6920931B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
WO2004104927A2 (en) Analysis and display of fluorescence images
JP2004321793A (ja) 皮膚画像のコンピュータ解析のための方法およびシステム
JP6319449B2 (ja) イメージング装置
JPWO2019012911A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP6005278B2 (ja) 特に透過性かつ散乱性の表面における三次元測定のためのカラーコーディング
US10413619B2 (en) Imaging device
EP3938997A1 (en) System and method for generating digital three-dimensional dental models
JP2014230647A (ja) 表示装置、表示方法および表示プログラム
JP2021035549A (ja) 内視鏡システム
WO2017077772A1 (ja) プロセッサ装置、内視鏡システム、及び画像処理方法
WO2018159082A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2005253796A (ja) 眼底診断装置
WO2014083743A1 (ja) 画像計測装置および画像計測方法
JP6721939B2 (ja) 蛍光画像解析装置
CN113038868A (zh) 医疗图像处理系统
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
WO2020235502A1 (ja) 画像処理装置
US11689689B2 (en) Infrared imaging system having structural data enhancement
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
US20220280026A1 (en) Method of image enhancement for distraction deduction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200618

R150 Certificate of patent or registration of utility model

Ref document number: 6721939

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250