JP2018151334A - 計測システム - Google Patents
計測システム Download PDFInfo
- Publication number
- JP2018151334A JP2018151334A JP2017049243A JP2017049243A JP2018151334A JP 2018151334 A JP2018151334 A JP 2018151334A JP 2017049243 A JP2017049243 A JP 2017049243A JP 2017049243 A JP2017049243 A JP 2017049243A JP 2018151334 A JP2018151334 A JP 2018151334A
- Authority
- JP
- Japan
- Prior art keywords
- fluorescence
- distribution
- matrix
- membrane potential
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】膜電位分布を従来よりも高速に計測し得る計測システムを提供する。
【解決手段】計測システム1では、パターン光L1を組織表面6aに照射することで、蛍光を多点で同時計測できる蛍光分布画像を得ることができ、1点1点蛍光を計測していた従来の計測システムに比べて、膜電位分布Vを高速に計測し得る。また、計測システム1では、非ゼロ要素の数が少ないスパース行列αを再構成し、逆変換によってスパースでない膜電位分布Vを求めるようにしたことで、圧縮センシングの理論の下、少ない枚数の蛍光分布画像からでも膜電位分布Vを求めることができる。よって、計測システム1では、蛍光分布画像の枚数を減らせる分、処理負担が軽減し、膜電位分布を高速に計測し得る。
【選択図】図1
【解決手段】計測システム1では、パターン光L1を組織表面6aに照射することで、蛍光を多点で同時計測できる蛍光分布画像を得ることができ、1点1点蛍光を計測していた従来の計測システムに比べて、膜電位分布Vを高速に計測し得る。また、計測システム1では、非ゼロ要素の数が少ないスパース行列αを再構成し、逆変換によってスパースでない膜電位分布Vを求めるようにしたことで、圧縮センシングの理論の下、少ない枚数の蛍光分布画像からでも膜電位分布Vを求めることができる。よって、計測システム1では、蛍光分布画像の枚数を減らせる分、処理負担が軽減し、膜電位分布を高速に計測し得る。
【選択図】図1
Description
本発明は、計測システムに関するものである。
近年、メゾスコピックな領域での拡散光トモグラフィを試みている研究が報告されている(例えば、非特許文献1〜3参照)。この手法は、Laminar Optical Tomography(LOT)と呼ばれている。この種の計測システムでは、例えば1本の励起レーザ光と、2つのガルバノミラーと、を用いて組織表面上をラスタースキャンする。組織表面で励起された蛍光はガルバノミラーを通り、ダイクロイックミラーによって反射され、例えば7個の光電子増倍管で検出される。レーザ照射点と光電子増倍管との位置関係は、予め固定されており、レーザ照射点から近い点から遠い点まで蛍光を計測している。そして、用意した生体組織(以下、単に組織と呼ぶ)の光拡散モデルを用いて、計測された蛍光のデータから3次元情報を再構成している。
Hillman, E. M., Devor, A., Bouchard, M. B., Dunn, A. K., Krauss, G. W., Skoch, J., ... & Boas, D. A. (2007). Depth-resolved optical imaging and microscopy of vascular compartment dynamics during somatosensory stimulation. Neuroimage, 35(1), 89-104.
Hillman, E. M., Dunn, A. K., & Boas, D. A. (2004, April). Laminar optical tomography of rat cortical activation: resolving depth-dependent hemodynamics from 0 to 2mm. In Biomedical Topical Meeting (p. FC5). Optical Society of America.
Hillman, E. M., Bernus, O., Pease, E., Bouchard, M. B., & Pertsov, A. (2007). Depth-resolved optical imaging of transmural electrical propagation in perfused heart. Optics express, 15(26), 17827-17841.
しかしながら、かかる計測システムでは、1本の励起レーザ光と、複数個の光電子増倍管(ディテクタ)との位置関係を固定した状態で2枚のガルバノミラーによって1点1点、組織表面上をラスタースキャン計測してゆくことから、計測速度はガルバノミラーの動作速度に依存する。励起レーザ光によるスキャンスピードは、組織表面とガルバノミラーとの距離を開けることで、速めることが可能であるが、励起レーザ光の広がりや、組織表面での蛍光輝度値がさらに微弱になるという問題点があるため、膜電位分布を高速に計測し難いという問題があった。
本発明は、上記のような問題に鑑みてなされたものであり、膜電位分布を従来よりも高速に計測し得る計測システムを供することを目的とする。
本発明の計測システムは、光源から照射された励起光を基に、所定の照射点分布パターンのパターン光を生成し、前記パターン光を組織表面に照射する光学機器と、前記組織表面における蛍光分布を撮像して該組織表面の蛍光分布画像を取得する撮像機器と、前記蛍光分布画像に基づいて組織の膜電位分布Vを求める演算処理装置と、を備え、前記演算処理装置は、前記励起光および蛍光の強度分布関係をシミュレーションから求めた計測感度行列Jと、前記計測感度行列Jをスパース行列αにするための空間変換行列Ψと、を記憶する記憶部を備える。また、前記演算処理装置は、前記計測感度行列Jおよび前記空間変換行列Ψを基底行列として扱い、前記蛍光分布画像から求めた蛍光輝度値から前記スパース行列αを再構成する再構成演算部と、前記再構成演算部で再構成した前記スパース行列αを、前記空間変換行列Ψの逆変換によって前記膜電位分布Vに変換する膜電位分布演算部と、を備える。
本発明によれば、照射点分布パターンをもつパターン光を組織表面に照射することで、蛍光を多点で同時計測できる蛍光分布画像を得ることができ、1点1点蛍光を計測していた従来の計測システムに比べて、膜電位分布を高速に計測し得る。また、本発明では、非ゼロ要素の数が少ないスパース行列を再構成し、逆変換によってスパースでない膜電位分布を求めるようにしたことで、少ない枚数の蛍光分布画像からでも膜電位分布を求めることができ、その分、処理負担が軽減し得、膜電位分布を高速に計測し得る。
(1)本発明の計測システムについて
図1は、本発明の計測システムの全体構成を示す概略図である。計測システム1は、光学機器2と撮像機器3と演算処理装置4とで構成されている。計測システム1は、光学機器2で生成されたパターン光L1を、計測対象となる組織6に照射し、組織表面6aにおける蛍光分布を撮像機器3により撮像する。演算処理装置4は、撮像機器3で取得した蛍光分布画像を基に膜電位分布を求めることができる。
図1は、本発明の計測システムの全体構成を示す概略図である。計測システム1は、光学機器2と撮像機器3と演算処理装置4とで構成されている。計測システム1は、光学機器2で生成されたパターン光L1を、計測対象となる組織6に照射し、組織表面6aにおける蛍光分布を撮像機器3により撮像する。演算処理装置4は、撮像機器3で取得した蛍光分布画像を基に膜電位分布を求めることができる。
光学機器2は、光源9から出射した励起光をエキスパンダー10で拡大し、デジタルマイクロデバイス(Digital Micro-mirror Device:DMD)12に入射する。DMD12は、照射点分布パターンがランダムに変わるパターン光L1を生成し、当該パターン光を対物レンズ13およびダイクロイックミラー14を介して組織表面6aに照射する。対物レンズ13は、組織表面6aに対してパターン光L1を拡大および縮小し、当該パターン光L1の照射点分布パターンを組織表面6aの最適な領域に投影させる。
組織表面6aに照射されたパターン光L1により励起され、組織表面6a上に現れた色素の蛍光L2は、ダイクロイックミラー14で分離され、イメージングレンズ15を介して撮像機器3により撮像される。撮像機器3は、照射点分布パターン毎に得られる組織表面6aの蛍光分布を撮像してゆき、取得した複数の蛍光分布画像を演算処理装置4に送出する。演算処理装置4は、照射点分布パターン毎に得られた複数の蛍光分布画像を用いて、圧縮センシングの理論を利用した演算処理を実行し、組織6における膜電位分布を求める。
ここで、DMD12は、図2に示すように、アレイ状に配置された複数のマイクロミラー16を有しており、各マイクロミラー16をそれぞれ独立にオンオフ動作することにより所定のマイクロミラー16だけを傾かせる。オン動作したマイクロミラー16は、励起光L3を反射し、対物レンズ13を透過させて組織表面6aに励起光L3を照射し得る。DMD12は、ミラーによる光反射のため光効率が高く、かつ各マイクロミラー16間の隙間も狭いため高い光利用効率を有する。
また、DMD12は、所望の動作周波数に変更でき、各マイクロミラー16を同期させてオンオフ動作することで、大きな1つのミラーとして扱え、空間解像度についても自由に変更できる。この実施形態の場合、動作周波数が9.5[kHz]以下、ピクセルサイズが2560×1600ピクセルでなるDMD12を用いることができる。図3に示すように、組織表面6aには、DMD12によって、励起光L3の照射点P1がランダムに選定された、所定の照射点分布パターンのパターン光L1が照射され得る。
(2)LOTにおける計測原理について
本発明における、蛍光の多点同時計測の計測システム1について詳細に説明する前に、先ずは、基本的原理を理解するために、励起光L3を組織表面6aに照射することで組織6の膜電位分布を求める計測原理の概要について、簡単に説明する。ここでは、図4に示すように、組織6の所定位置を計測座標系の原点を0(図示せず)とし、励起光L3が照射された照射点P1の励起光照射位置をrsとして説明する。励起光照射位置rsに照射された励起光L3は、組織6内を拡散し、例えば位置rにある色素P3を励起することで当該位置rにて蛍光L2が発生する。蛍光L2は、組織6内を拡散伝播し、組織表面6a上の蛍光計測位置rdから外部に出射する。このようなとき組織表面6a上から計測される静止状態の蛍光Fx,mは次のような式で記述することができる。なお、蛍光Fx,mにおいて、xは励起光に依存する関数であることを示し、mは蛍光に依存する関数であることを示し、tは時間を示す。
本発明における、蛍光の多点同時計測の計測システム1について詳細に説明する前に、先ずは、基本的原理を理解するために、励起光L3を組織表面6aに照射することで組織6の膜電位分布を求める計測原理の概要について、簡単に説明する。ここでは、図4に示すように、組織6の所定位置を計測座標系の原点を0(図示せず)とし、励起光L3が照射された照射点P1の励起光照射位置をrsとして説明する。励起光照射位置rsに照射された励起光L3は、組織6内を拡散し、例えば位置rにある色素P3を励起することで当該位置rにて蛍光L2が発生する。蛍光L2は、組織6内を拡散伝播し、組織表面6a上の蛍光計測位置rdから外部に出射する。このようなとき組織表面6a上から計測される静止状態の蛍光Fx,mは次のような式で記述することができる。なお、蛍光Fx,mにおいて、xは励起光に依存する関数であることを示し、mは蛍光に依存する関数であることを示し、tは時間を示す。
ここで、Hxは、組織6内の励起光の強度分布(励起光強度分布とも呼ぶ)を示しており(xは励起光に依存する関数であることを示す)、より具体的には励起光波長における組織6の吸収係数、散乱係数、異方性パラメータ、屈折率の関数である。Emは、組織6内の蛍光の強度分布(蛍光強度分布とも呼ぶ)を示しており(mは蛍光に依存する関数であることを示す)、より具体的にはHxと同様に蛍光波長における組織6の吸収係数、散乱係数、異方性パラメータ、屈折率の関数である。数2におけるεxは、色素の吸光係数を示しており、励起光の波長の関数である。cは色素濃度を示す。ηmは、色素の蛍光における量子効率を示しており、蛍光波長による関数である。時間依存の関数px,mは膜電位の変化に依存して変化するものとなっている。なお、時間依存の関数px,mにおいて、xは励起光に依存する関数であることを示し、mは蛍光に依存する関数であることを示す。
ここでは、組織6の色素濃度cは時間的に変化せず、色素の励起光および蛍光波長スペクトルは膜電位分布Vに応じて変化する、と仮定する。さらに、先行研究の知見から、吸光係数εxの変化に比べて量子効率ηmの変化の方が非常に大きいものとし、次式のように近似を行う。
さらに、px,m(r,t)∝V(r,t)であるため、px,m(r,t)を次式のように近似する。wはスケーリング定数を示す。
ここで、蛍光のスペクトルシフトは実験的に計測された蛍光から組織6の光学特性変化を与えるには十分でないほどの変化しかないと仮定する。これによりスペクトルシフトによる光学定数の変化を無視している。これらの仮定を置いたうえで、励起光強度分布Hxと蛍光強度分布Emは時間的に変化しないものとする。これは組織6内部の吸収や拡散は、心臓の拍動中でも蛍光のスペクトルシフトによってもほぼ変化しないためである。ここでは心筋の収縮については考慮しない。計測される組織表面6a上の蛍光の変化は次式から得られる。
ここで、励起光強度分布Hxと蛍光強度分布Emは、モンテカルロシミュレーションによってモデル化することができる。そこで、励起光強度分布Hxと蛍光強度分布Emは、予めモンテカルロシミュレーションによってモデル化しておく。モンテカルロシミュレーションで励起光強度分布Hxと蛍光強度分布Emを予めモデル化するためには下記のような考え方に基づく。
例えば心筋組織を計測対象とする場合には、当該心筋組織の光学定数を、励起光波長および蛍光波長で予め調べる必要がある。ここで、光学定数とは、励起光のときの組織6の拡散係数、吸収係数、異方性パラメータの設定、空気の屈折率、組織6の屈折率、蛍光のときの組織6の拡散係数、吸収係数、異方性パラメータの設定、空気の屈折率、組織6の屈折率、励起光波長、蛍光波長等である。そして、得られた光学定数を元に、図5Aに示すように、励起光の波長で励起光照射位置rsに入射したときの励起光強度分布Hxを求める。これによって位置rにおける励起光の強度が得られる。
位置rで励起された色素が発する蛍光は、蛍光計測位置rdで計測されるが、ここでは蛍光計測位置rdに照射した蛍光波長が位置rに達し、そのときの強度をみる。これはフォトンが位置rから発生し、蛍光計測位置rdに達する確率と、蛍光計測位置rdに照射した蛍光波長が位置rに達する確率と、がほぼ同じで近似できるためである。そして、これらから得られた励起光強度分布Hxと蛍光強度分布Emを、各ボクセルで掛け合わせることにより、計測感度行列Jx,mとして統合することができる。計測感度行列Jx,mのxは励起光に依存する関数であることを示し、mは蛍光に依存する関数であることを示す。計測感度行列Jx,mは、励起光照射位置rsと蛍光計測位置rdで関連付けられる行列となっており、図5Bに示すようなものとなる。上述した数5は以下のように表される。toは基準時間を示す。
ここで、蛍光分布画像から計測される静止状態の蛍光Fx,mと、求めたい膜電位分布Vは、線型的な関係式にあることから圧縮センシングの導入が可能となる。
(3)上述の計測原理を利用した本発明の計測システムについて
計測システム1では、照射点分布パターンをランダムに変えながらパターン光L1を組織表面6aに照射してゆき、励起光を多点照射する照射点分布パターン毎に蛍光分布画像を取得している。そこで、励起光を同時に多点照射する照射点分布パターン毎に蛍光分布画像を取得する計測システム1に、上述した計測原理を適用した例について以下説明する。例えば、蛍光分布画像を取得する回数(計測回数とも呼ぶ)がp回であるとき、k番目のときの組織表面6a上におけるパターン光の励起光強度Pkは下記の式で表すことができる。
計測システム1では、照射点分布パターンをランダムに変えながらパターン光L1を組織表面6aに照射してゆき、励起光を多点照射する照射点分布パターン毎に蛍光分布画像を取得している。そこで、励起光を同時に多点照射する照射点分布パターン毎に蛍光分布画像を取得する計測システム1に、上述した計測原理を適用した例について以下説明する。例えば、蛍光分布画像を取得する回数(計測回数とも呼ぶ)がp回であるとき、k番目のときの組織表面6a上におけるパターン光の励起光強度Pkは下記の式で表すことができる。
ここで(u,v)は、計測対象となる組織表面6a上での座標系であり(図1)、hexは対物レンズ13の励起光のPoint Spread Function(PSF)を示す。ug kはk番目の照射点分布パターンの幾何学イメージであり、gは幾何座標を示し、次のように表される。(ξ,η)は、マイクロミラー16がアレイ状に配置されたDMD12において、マイクロミラー16の配置面上での座標系を示す。
ここでuk(α,β)は、DMD12のピクセル位置(α,β)におけるDMDパターンを示しており、それぞれの位置にあるマイクロミラー16がオン状態またはオフ状態を取る。△Dは、マイクロミラー16を正方形としたときのマイクロミラー16の一辺のサイズを示す。励起光照射の後に時間tにおける組織表面6a上での蛍光は次のように表される。
O(u,v,t)は、計測対象となる組織6の反応強度(励起光強度に対する蛍光強度)を示し、H(x,y,z)は、照射点分布パターンによって生じる組織6中の励起光強度の3次元分布(励起光強度分布)を示す。E(x−u,y−v,z)は、蛍光強度の3次元分布(蛍光強度分布)を示す。(x,y,z)は、組織6内での3次元座標系を示す。ε(x,y,z)は色素の吸光係数を示し、c(x,y,z)は色素濃度を示し、τ(x,y,z,t)は色素の量子効率を示す。k番目の照射点分布パターンによって生じた組織表面6a上の蛍光分布を撮像機器3で撮像した際、当該撮像機器3で取得した蛍光分布画像内での蛍光Ikは、以下のように表される。
(n,m)は、撮像機器3のセンサアレイ上の連続的な値の座標系である。hemは蛍光波長でのイメージングレンズ15のPSFを示す。Ek g(n,m,t)は、k番目の照射点分布パターンにおいて撮像機器3のセンサアレイ上での蛍光強度を示しており(gは幾何座標を示す)、下記のように表される。
Mdはイメージングレンズ15の拡大率を示す。k番目の蛍光分布画像における蛍光輝度値ykは、撮像機器3のディテクタ位置(a,b)においては以下のようになる。ディテクタ位置(a,b)とは、センサアレイに配置されたディテクタの位置(ピクセルの位置)を示す。
ρabはディテクタ位置(a,b)におけるシステムノイズを示す。また、△detは、ディテクタ(ピクセル)を正方形としたときのディテクタの一辺のサイズを示す。例えば、1番目の照射点分布パターンからp番目の照射点分布パターンまでの蛍光輝度値y1,…,ypをまとめたものを蛍光輝度行列Yとし、上述した数12を簡便に表すと、△Y=J△V+ρと表すことができる。△Y=J△V+ρのうちρはノイズ行列である。
ここで、計測感度行列Jは、上記の「(2)LOTにおける計測原理について」にて説明したように、励起光強度分布Hと蛍光強度分布Eの各ボクセルを掛け合わせることで得られる。計測感度行列Jは、撮像機器3の各ディテクタでそれぞれ計測される蛍光の空間感度を表す。膜電位分布Vは、計測対象となる組織6の反応強度の支配的な要因となる。従って、上述した数10において、膜電位分布Vは次のように表される。sはスケーリング定数を示す。
(4)圧縮センシングの適用について
圧縮センシングの目的はサブナイキスト周波数で少ない計測値(蛍光)から求めたい係数の値(膜電位分布V)を決定することである。先ず、図6に示すように、一般的な圧縮センシングを示すy=Φxの線形方程式を考える。ここではyをM×1の計測ベクトルとし、ΦはM×Nの基底行列とする。xがN×1の係数ベクトルである。この係数ベクトルはスパースであり、高々K個(<<N)の要素が非ゼロであるとする。少ない計測値から係数ベクトルを再構成するためl1ノルム最小化を考える。y=Φxの線形方程式の中で、解をxとすると、l1ノルム最小化によって、非常に少ない計測ベクトルyから、解であるxを精度よく求めることができる。
圧縮センシングの目的はサブナイキスト周波数で少ない計測値(蛍光)から求めたい係数の値(膜電位分布V)を決定することである。先ず、図6に示すように、一般的な圧縮センシングを示すy=Φxの線形方程式を考える。ここではyをM×1の計測ベクトルとし、ΦはM×Nの基底行列とする。xがN×1の係数ベクトルである。この係数ベクトルはスパースであり、高々K個(<<N)の要素が非ゼロであるとする。少ない計測値から係数ベクトルを再構成するためl1ノルム最小化を考える。y=Φxの線形方程式の中で、解をxとすると、l1ノルム最小化によって、非常に少ない計測ベクトルyから、解であるxを精度よく求めることができる。
図6に示すように、一般的な圧縮センシングを示すy=Φxの線形方程式は、行列をスパース行列にするための空間変換行列Ψを用いることで、y=ΦΨαの線形方程式で表すことができる。αはスパース行列であり、「ΦΨ」を新たな基底行列として考えることで、スパース行列αを含んだ線形方程式として計測理論モデルを扱うことができる。
計測システム1では、このような圧縮センシングの理論を利用して、膜電位分布Vを求めるが、膜電位分布Vは非ゼロ要素数が多い疎な行列(スパース行列)とは言えない。よって、この膜電位分布Vをスパースにするために、上述した圧縮センシングの理論の空間変換行列Ψの作用を考える。上述した△Y=J△V+ρの線形方程式(Yは蛍光輝度行列、Jは計測感度行列、Vは膜電位分布)を、空間変換行列Ψおよびスパース行列αを用いて簡単に表すと、次のように表すことができる。
図7は、Y=JΨαの線形方程式について、圧縮センシングの理論を適用したときのデータ構造を示した概略図である。計測画像となる蛍光分布画像は、DMD12で照射点分布パターンを変えた回数取得する。各蛍光分布画像Im1,…,Impのそれぞれの総ピクセル数をNとし、DMD12で作製された照射点分布パターンの数をP個(パターン1,…,パターンp)とすると、全P個の照射点分布パターン毎に計測した蛍光輝度値の全サイズはN×Pとなり、これが蛍光輝度行列Yのデータ構造となる。
DMD12で作られる照射点分布パターンは圧縮センシングを適用できるようにランダム性を持ったパターンとなっている。計測感度行列Jは、照射点分布パターン内のそれぞれの励起点に対して、撮像機器3の各ディテクタ用にM個のモンテカルロシミュレーションによって作成する。最終的に求めたい膜電位分布Vのサイズを、例えばX×Y×Zとすると、各計測感度行列JのサイズもX×Y×Zとなる。計測感度行列Jについては、P個の照射点分布パターン毎に、それぞれ撮像機器3のディテクタ数となるピクセル数Nだけ計測感度行列jを作成する必要がある。
例えば照射点分布パターンがパターン1のときには(図7)、パターン1により照射された複数点の励起光に対して、1ピクセル目での計測感度行列j1、2ピクセル目での計測感度行列j2、3ピクセル目での計測感度行列j3がそれぞれ求められ、最後のNピクセル目まで計測感度行列jNが求められる。結果として、照射点分布パターンがパターン1〜pまでの計測感度行列Jは、データ構造が(N×P)×(X×Y×Z)となる。
ここで、圧縮センシングの理論の下、膜電位分布Vをスパースの行列にするためには、上述したように空間変換行列Ψを用いる必要がある。この空間変換行列ΨのサイズはX×Y×Zである。スパース行列αのサイズもX×Y×Zである。求めたい膜電位分布Vは、空間変換行列Ψ×スパース行列αと表すことができる。蛍光分布画像Im1,…,Impからそれぞれ得られる蛍光輝度値y1,…,ypをまとめた蛍光輝度行列Yは、計測感度行列J×空間変換行列Ψ×スパース行列αで表すことができる。
本発明による計測システム1では、この関係式を用いて、最初に、計測感度行列Jと空間変換行列Ψを新たな基底行列として扱い、蛍光分布画像Im1,…,Impにより求めた蛍光輝度値y1,…,yp(蛍光輝度行列Y)から、スパース行列αをl1ノルム最小化法によって再構成する。得られたスパース行列αを空間変換行列Ψの逆変換によって、求めたい膜電位分布Vに変換する。これにより、計測画像である蛍光分布画像Im1,…,Impから、圧縮センシングを用いてスパースではない膜電位分布行列を得ることができる。
ここで、圧縮センシングにおいては基底行列のインコヒーレンス性が重要となるが、本発明による手法の基底行列は、計測感度行列Jと空間変換行列Ψを掛け合わせたものとなる。インコヒーレンス性を変化させる要因は、DMD12で生成される照射点分布パターンの変化のみによる。よってDMD12の照射点分布パターンをランダム性のあるパターンにすることで、インコヒーレンス性を高めることができる。
ところで、二分法的に言えば、図8に示すように、例えば心筋組織における膜電位は電気的に高い状態と低い状態になる。心筋組織は、高い状態になった後は不応期に入り、外部刺激に対して反応しない状態をとる。ゆえに、本発明の計測システム1の計測対象となる膜電位分布Vは、組織6中で電気的に高い部位が塊として存在し、空間的に低周波の物であると考えられる。
離散コサイン変換(Discrete Cosine Transformation:DCT)や、離散ウェーブレット変換(Discrete Wavelet Transformation:DWT)のような一般的な周波数変換は、逆変換もでき、完全再構成も保証されており、スパースに表現できる有用な方法である。このような計測対象のスパース性は計測回数(照射点分布パターン毎に得られる蛍光分布画像の取得回数)の削減につながってくる。
本発明の計測システム1で用いる変換手法としては、離散コサイン変換(DCT)と、離散ウェーブレット変換(DWT)を用いる。DCTはコサイン波の重ね合わせで対象を表現する手法となっており、以下のように得られる。
ここで、Χkは、複数の照射点分布パターンのうちk番目(k=0,…,N−1)の照射点分布パターンのDCT係数であり、データ長さをN、元の信号をxで示す。一方で、DWTは、マザーウェーブレットと呼ばれる波を伸縮・拡大させて対象を表現する手法となっている。本発明では、マザーウェーブレットとして代表的なHaarウェーブレット(以下、単にHaarとも呼ぶ)の、Coifletウェーブレット(以下、単にCoifletとも呼ぶ)の、Daubechiesウェーブレット(以下、単にDaubechiesとも呼ぶ)を用いることができる。DCTおよびDWTは、3次元変換に拡張して対象となる膜電位分布Vを変換する。ここでDWTにおいてはマルチレベル分解構造を取ることができる。これは1次元のDWTで考えたとき、DWTによって元の信号を高周波成分と低周波数成分に分割する。これを1レベル(level1)の分解と呼び以下のように表す。
ここでylowは低周波数成分を示し、yhighは高周波数成分を示し、カッコ内のnは離散変数を示す。x[k]は、k番目の元信号を示し、gは低周波数フィルタ、hは高周波数フィルタを示す。DWTでは、ここで得られた低周波数成分について、図9に示すように、高周波数成分(h[n])と低周波数成分(g[n])とに再度分解することができる。ここでは、1レベルの低周波成分を再度分解して高周波数成分と低周波数成分を得る分解を、2レベル(level2)の分解と呼ぶ。このような高周波成分と低周波成分の分解は連続して行うことができ、元信号が2N個のデータ数を持つとき、最大でNレベル(levelN)の分解を行うことができる。
この連続的な分解を考えると、蛍光分布画像内の蛍光が、ある特定の周波数をもつ場合においては、ある分解レベルで最もスパースになることが予想される。3次元変換で考えた場合には、図10に示すように、x方向、y方向、z方向にそれぞれ異なる分解レベルを適用することができる。ここでは、計測対象となる組織6がx方向、y方向で興奮伝播が異なる特性を持たないことが考えられるため、xy平面においては異なる分解レベルを適用しても、ほぼ変化はないものとしてx方向、y方向に対しては同様の分解レベルを適用することとした。すなわち、xy平面とz方向とで異なる分解レベルを適用することとした。
図10に示すように、3次元データをx方向、y方向、z方向にそれぞれ1レベルの分解レベルとしたとき、レベル(x,y,z)=(1,1,1)と表し、xy平面とz方向の分解レベルとして1.1と表す。分解レベルが1.1の3次元データのうち、低周波数成分である「LLL」をz方向にさらに分解したときは、レベル(x,y,z)=(1,1,2)=1.2と表す。分解レベルが1.1の3次元データのうち、低周波数成分である「LLL」をx方向、y方向にそれぞれ分解したときには、レベル(x,y,z)=(2,2,1)=2.1と表す。分解レベルが1.1の3次元データのうち、低周波数成分である「LLL」をx方向、y方向、z方向にそれぞれ分解したときには、レベル(x,y,z)=(2,2,2)=2.2と表す。
DWTにおいては、フィルタとして使用するマザーウェーブレットをいくつか用意しておき、蛍光分布画像内の蛍光分布や、求める膜電位分布の特性に応じて選択することが望ましい。例えば、1次元波形(128 data points)のステップ関数ではHaarが最もスパースとなり、1次元波形のコサイン波ではDCTが最もスパースになり、1次元波形の三角波ではDaubechies2(Db2)が最もスパースになることが確認できている。活動電位波形においては大きな差はなかったが、波形の違いによりCoifletまたはHaarが最もスパースとなることを確認している。
マザーウェーブレットの選択については計測対象と類似した波形の選択が有効である。点蛍光体のような場合においてはステップ関数とみなすことができるため、Haarが有効である。膜電位分布の場合には、計測視野範囲を20ミリ四方とすれば、その電位分布はステップ関数上になるためHaarが有効である。一方、計測視野範囲を10[cm]四方とした場合には、活動電位波形のような信号分布となるため、Coifletのような形状のマザーウェーブレットを選択することが有効である。
(5)演算処理装置について
次に、圧縮センシングの理論を利用して、膜電位分布Vを求める演算処理装置4について以下説明する。図11に示すように、演算処理装置4は、図示しないCPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)等からなるマイクロコンピュータ構成の制御部31と、外部インターフェース32と、記憶部33と、画像処理部34と、キーボードやマウスからなる操作部35と、再構成演算部36と、膜電位分布演算部37と、蛍光輝度計測部39と、がバス40を介して相互に接続された構成を有する。画像処理部34には表示部38が接続されており、外部インターフェース32には、光学機器2および撮像機器3が接続されている。
次に、圧縮センシングの理論を利用して、膜電位分布Vを求める演算処理装置4について以下説明する。図11に示すように、演算処理装置4は、図示しないCPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)等からなるマイクロコンピュータ構成の制御部31と、外部インターフェース32と、記憶部33と、画像処理部34と、キーボードやマウスからなる操作部35と、再構成演算部36と、膜電位分布演算部37と、蛍光輝度計測部39と、がバス40を介して相互に接続された構成を有する。画像処理部34には表示部38が接続されており、外部インターフェース32には、光学機器2および撮像機器3が接続されている。
制御部31は、操作部35を介して、作業者から各種操作命令が与えられると、ROMに予め格納している演算処理プログラム等を、操作命令に基づき適宜読み出してRAMに展開することにより、演算処理プログラム等に従って各回路部を制御する。制御部31は、各種プログラムの実行結果を、画像処理部34を介して表示部38に表示させ、例えば、表示部38を介して、組織6における膜電位分布Vを検査作業者に把握させ得る。
制御部31は、光学機器2のDMD12に対して外部インターフェース32を介して制御信号を送出し、DMD12の各マイクロミラー16をオンオフ動作させる。光学機器2では、DMD12により生成されるパターン光L1の照射点分布パターンをランダムに変えながら、組織表面6aにパターン光L1を照射する。外部インターフェース32は、照射点分布パターンがランダムに変わるパターン光L1が照射されている組織表面6aを撮像した蛍光分布画像を撮像機器3から受け取り、記憶部33に記憶する。なお、撮像機器3は、光学機器2と同期しており、光学機器2が異なる照射点分布パターンのパターン光を生成する毎に蛍光分布画像を取得する。
記憶部33には、スパース行列αを求める際に用いる空間変換行列Ψと、膜電位分布Vを求める際に用いる計測感度行列Jと、が予め記憶されている。ここで、空間変換行列Ψとしては、上述したように、DCT行列(離散コサイン変換行列)や、DWT行列(離散ウェーブレット変換行列)が記憶されている。DWT行列としては、例えば各分解レベルのHaar、Coiflet、Daubechiesの各行列が記憶されている。計測感度行列Jは、計測対象とする組織6の拡散係数、吸収係数、異方性パラメータの設定等の光学定数を用いて、照射点分布パターン毎にモンテカルロシミュレーションを利用して予め計算して求めたものである。
蛍光輝度計測部39は、ランダムに変わる照射点分布パターン毎に得られた蛍光分布画像から蛍光輝度値を求め、これら蛍光輝度値からなる蛍光輝度行列Yを求める。なお、この実施形態の場合、蛍光輝度計測部39を演算処理装置4に設けた場合について述べたが、本発明はこれに限らず、蛍光輝度計測部を撮像機器3に設けるようにしてもよい。この場合、撮像機器3は、蛍光輝度計測部により、ランダムに変わる照射点分布パターン毎に得られた蛍光分布画像から蛍光輝度行列Yを求め、これを計測結果として演算処理装置4に送出する。
再構成演算部36は、組織表面6aに照射したパターン光L1の各照射点分布パターンに対応する計測感度行列Jを、記憶部33から読み出す。具体的には、例えば、どの位置を照射点位置とするかについて予め決めた、幾つかの照射点分布パターンを用意しておく。そして、用意した各照射点分布パターン毎に、それぞれラスタースキャンにより1個目のディテクタから最後のN個目のディテクタまでの各計測感度行列j1,…,jNを予め求めておき、各照射点分布パターンに対応する計測感度行列J(1個目からN個目までのディテクタの計測感度行列j1,…,jNの集合)を記憶部33に記憶しておく。
再構成演算部36は、DMD12で照射されたパターン光L1が、どの照射点分布パターンであったかを、光学機器2や制御部31等からの情報により認識し、当該照射点分布パターンに対応した計測感度行列Jを記憶部33から読み出す。
また、再構成演算部36は、例えば検査作業者により選ばれたDCT行列を、空間変換行列Ψとして記憶部33から読み出す。再構成演算部36は、圧縮センシングの理論の下、計測感度行列Jと空間変換行列Ψを掛け合わせ、これら計測感度行列Jと空間変換行列Ψとを基底行列として扱い、l1ノルム最小化法により蛍光輝度行列Yからスパース行列αを再構成する。
膜電位分布演算部37は、再構成演算部36で求めたスパース行列αを、当該スパース行列αを求める際に用いた空間変換行列Ψ(DCT行列)の逆変換により、膜電位分布Vを求める。画像処理部34は、求められた膜電位分布Vを3次元情報として表示部38に表示し、検査作業者に対して組織6の3次元的な膜電位分布状況を呈示し得る。
この際、膜電位分布演算部37は、例えば、再構成された各ボクセルを、電気的に2値化した後、所定の閾値を基にHighまたはLowのどちらの状態にする。その後、膜電位分布演算部37は、モルフォロジー演算処理を実行し、膜電位分布Vを3次元画像として表示部38に表示する。モルフォロジー演算処理では、周りの全てのピクセルがLow(またはHigh)であるが中心1ピクセルだけHigh(またはLow)の状態のとき、このHigh(Low)のピクセルをLow(High)に塗りつぶす処理を行う。これにより、膜電位分布演算部37は、周囲と電位状態が異なる中心の1ピクセルは明らか誤差と見なし、誤差の少ない3次元情報を生成できる。
(6)膜電位分布計測手順について
次に、上述した組織6の膜電位分布計測手順について、図12に示すフローチャートを用いて以下簡単に説明する。図12に示すように、開始ステップRT1から膜電位分布計測手順を開始し、次のステップSP1に移る。ステップ1において、計測対象とする組織6の光学定数を決定するとともに、組織表面6aに照射するパターン光の照射点分布パターンを決定し、これら光学定数および照射点分布パターンの各情報を演算処理装置4の記憶部33に記憶し、次のステップ2に移る。ここで、組織6の光学定数の決定としては、励起光のときにおける組織6の拡散係数、吸収係数、異方性パラメータの設定、空気の屈折率、組織6の屈折率、蛍光のときにおける組織6の拡散係数、吸収係数、異方性パラメータの設定、空気の屈折率、組織6の屈折率、励起光波長、蛍光波長等を決定する。照射点分布パターンの決定としては、励起光の照射点数と、照射点分布パターンが異なるパターン光の照射回数(計測回数)とを決定する。
次に、上述した組織6の膜電位分布計測手順について、図12に示すフローチャートを用いて以下簡単に説明する。図12に示すように、開始ステップRT1から膜電位分布計測手順を開始し、次のステップSP1に移る。ステップ1において、計測対象とする組織6の光学定数を決定するとともに、組織表面6aに照射するパターン光の照射点分布パターンを決定し、これら光学定数および照射点分布パターンの各情報を演算処理装置4の記憶部33に記憶し、次のステップ2に移る。ここで、組織6の光学定数の決定としては、励起光のときにおける組織6の拡散係数、吸収係数、異方性パラメータの設定、空気の屈折率、組織6の屈折率、蛍光のときにおける組織6の拡散係数、吸収係数、異方性パラメータの設定、空気の屈折率、組織6の屈折率、励起光波長、蛍光波長等を決定する。照射点分布パターンの決定としては、励起光の照射点数と、照射点分布パターンが異なるパターン光の照射回数(計測回数)とを決定する。
ステップSP2において、演算処理装置4の制御部31は、ステップSP1で決定した光学定数を用いてモンテカルロシミュレーションにより計測感度行列Jを計算し、得られた計測感度行列Jを記憶部33に記憶して、次のサブルーチンSRT1に移る。サブルーチンSRT1において、計測システム1は、画像取得処理を実行して、各照射点分布パターン毎に蛍光分布画像を取得してゆき、これら蛍光分布画像から蛍光輝度行列Yを求め、次のステップSP3に移る。
ステップSP3において、演算処理装置4の再構成演算部36は、スパース行列αを求める際に用いる空間変換行列Ψを選択し、次のステップSP4に移る。ここで、空間変換行列Ψの選択は、記憶部33に予め記憶されたDCT行列やDWT行列の中から、例えば操作部35を介して検査作業者により選択させてもよい。その他として、計測対象となる組織6の種類に合わせて最適な種類の空間変換行列Ψを予め対応付けておき、組織6の種類が再構成演算部36に設定されることで、当該組織6に対応付けられた空間変換行列Ψを自動的に選択させるようにしてもよい。
ステップSP4において、演算処理装置4の再構成演算部36は、計測感度行列Jと空間変換行列Ψとを基底行列として扱い、後述するサブルーチンSRT1で得た蛍光輝度行列Yから、l1ノルム最小化法によりスパース行列αを再構成し、次のステップSP5に移る。
ステップSP5において、演算処理装置4の膜電位分布演算部37は、ステップSP4で用いた空間変換行列Ψによる逆変換によって、スパース行列αを膜電位分布Vに変換し、次のステップSP6に移り、膜電位分布計測手順を終了する。
ここで、画像取得処理を実行するサブルーチンSRT1は、図13に示すように、開始ステップRT2から開始し、次のステップSP11に移る。ステップSP11において、光学機器2は、DMD12のマイクロミラー16をオンオフ動作し、照射点分布パターンがランダムに変わるパターン光を生成して次のステップSP12に移る。
ステップSP12において、光学機器2は、DMD12で生成された照射点分布パターンのパターン光を、計測対象である組織6に照射し、次のステップSP13に移る。ステップSP13において、撮像機器3は、パターン光が照射された組織表面6aにおける蛍光分布を撮像してゆき、蛍光分布画像を取得して次のステップSP14に移る。
ステップSP14において、演算処理装置4の蛍光輝度計測部39は、ランダムに変わる照射点分布パターン毎にそれぞれ得られた蛍光分布画像を、撮像機器3から受け取る。ステップSP14において、蛍光輝度計測部39は、各蛍光分布画像の蛍光輝度値からなる蛍光輝度行列Yを求め、次のステップSP15に移り、画像取得処理を終了する。
(7)作用および効果
以上の構成において、計測システム1では、照射点分布パターンをランダムに変えながらパターン光L1を組織表面6aに照射してゆく光学機器2と、照射点分布パターン毎に組織表面6aにおける蛍光分布を撮像して組織表面6aの蛍光分布画像を取得する撮像機器3と、蛍光分布画像に基づいて組織6の膜電位分布Vを求める演算処理装置4とを設けるようにした。演算処理装置4では、励起光および蛍光の強度分布関係をモンテカルロシミュレーションから求めた計測感度行列Jと、計測感度行列Jをスパース行列αにするための空間変換行列Ψと、を基底行列として扱い、蛍光分布画像から求めた蛍光輝度行列Yからスパース行列αを再構成するようにした。演算処理装置4では、再構成演算部36で再構成したスパース行列αを、空間変換行列Ψの逆変換によって膜電位分布Vに変換することで、膜電位分布Vを求めることができる。
以上の構成において、計測システム1では、照射点分布パターンをランダムに変えながらパターン光L1を組織表面6aに照射してゆく光学機器2と、照射点分布パターン毎に組織表面6aにおける蛍光分布を撮像して組織表面6aの蛍光分布画像を取得する撮像機器3と、蛍光分布画像に基づいて組織6の膜電位分布Vを求める演算処理装置4とを設けるようにした。演算処理装置4では、励起光および蛍光の強度分布関係をモンテカルロシミュレーションから求めた計測感度行列Jと、計測感度行列Jをスパース行列αにするための空間変換行列Ψと、を基底行列として扱い、蛍光分布画像から求めた蛍光輝度行列Yからスパース行列αを再構成するようにした。演算処理装置4では、再構成演算部36で再構成したスパース行列αを、空間変換行列Ψの逆変換によって膜電位分布Vに変換することで、膜電位分布Vを求めることができる。
これにより、計測システム1では、パターン光L1を組織表面6aに照射することで、蛍光を多点で同時計測できる蛍光分布画像を得ることができ、1点1点蛍光を計測していた従来の計測システムに比べて、膜電位分布Vを高速に計測し得る。また、計測システム1では、非ゼロ要素の数が少ないスパース行列αを再構成し、逆変換によってスパースでない膜電位分布Vを求めるようにしたことで、圧縮センシングの理論の下、少ない枚数の蛍光分布画像からでも膜電位分布Vを求めることができる。よって、計測システム1では、蛍光分布画像の枚数を減らせる分、処理負担が軽減し、膜電位分布を高速に計測し得る。
なお、上述した実施形態においては、照射点分布パターンをランダムに変えながらパターン光L1を組織表面6aに照射してゆき、照射点分布パターン毎に蛍光分布画像を取得し、照射点分布パターン毎に得られた複数の蛍光分布画像から蛍光輝度行列Yを求めるようにした。しかしながら、本発明はこれに限らず、1つの照射点分布パターンのパターン光L1を組織表面6aに照射し、1つの照射点分布パターンで得られた1枚の蛍光分布画像から、当該蛍光分布画像の蛍光分布を示す蛍光輝度値を求めてもよい。この場合、再構成演算部36は、計測感度行列Jおよび空間変換行列Ψを基底行列として扱い、蛍光分布画像から求めた蛍光輝度値からスパース行列αを再構成する。
また、上述した実施形態においては、計測感度行列Jを求めるシミュレーションとして、モンテカルロシミュレーションを適用した場合について述べたが、本発明はこれに限らず、放射輸送方程式の他、拡散近似法を用いた解析的な手法を適用しても良い。
(8)シミュレーション実験
次に、図1に示した計測システム1を用いて膜電位分布を求めるシミュレーション実験を行った。計測対象モデルはウサギの心臓の活動電位モデルを用い、図14A〜図14Fに示すような6つの代表的な膜電位分状態を対象とした。電位は−80[mV]から20[mV]に変化するとし、活動電位モデルのサイズは20[mm]×20[mm]×5[mm](32×32×8ボクセル(合計8192ボクセル))とし、各ボクセルサイズを625[μm]とした。電気的な興奮伝播の速度を30[cm/s]とした。
次に、図1に示した計測システム1を用いて膜電位分布を求めるシミュレーション実験を行った。計測対象モデルはウサギの心臓の活動電位モデルを用い、図14A〜図14Fに示すような6つの代表的な膜電位分状態を対象とした。電位は−80[mV]から20[mV]に変化するとし、活動電位モデルのサイズは20[mm]×20[mm]×5[mm](32×32×8ボクセル(合計8192ボクセル))とし、各ボクセルサイズを625[μm]とした。電気的な興奮伝播の速度を30[cm/s]とした。
図14Aは、上部に高電位領域ERHを設け、下部に低電位領域ERLを設けて垂直方向に上から下に興奮伝播している状態を表した活動電位モデルを示す。図14Bは、下部に高電位領域ERHを設け、上部に低電位領域ERLを設けて垂直方向に下から上に興奮伝播している状態を表した活動電位モデルを示す。図14Cは、右側に高電位領域ERHを設け、左側に低電位領域ERLを設けて垂直な波面で興奮伝播している状態を表した活動電位モデルを示す。
図14Dは、右側に高電位領域ERHを設け、左側に低電位領域ERLを設けて−45度に傾いた波面で興奮伝播している状態を表した活動電位モデルを示す。図14Eは、右側に高電位領域ERHを設け、左側に低電位領域ERLを設けて+45度に傾いた波面で興奮伝播している状態を表した活動電位モデルを示す。図14Fは、中心に球状の高電位領域ERHを設け、その周辺を取り囲むように低電位領域ERLを設けて球面波で興奮伝播している状態を表した活動電位モデルを示す。組織6の膜電位分布は、これら6つの単純な活動電位モデルで表現できるものと考えた。
先ず最初に、これら6つの活動電位モデルが周波数変換において、どれほどのスパース性を持つかについて評価を行った。空間変換行列Ψを用いた変換手法としては、DCTとDWTとを用いた。評価手法としては、全8192ボクセル内の非ゼロ要素数をカウントすることでスパース性を評価した。また、係数のエネルギーからエネルギー評価を行った。DWTを用いたときの非ゼロ要素数を、図15Aに示す。
図15Aでは、全ボクセル8192(32×32×8ボクセル)中の非ゼロ要素数を、各膜電位分布モデル(図14A〜図14F)においてカウントし、平均を四捨五入した値を示している。図15中のカッコ内は各膜電位分布モデルのばらつきを示す標準偏差である。図15A中の「Level」は、図9および図10にて説明した分解レベルを示す。DCT行列を使用した場合には8143(25)という結果となった。
図15Aから、DWTの変換手法によって非ゼロ要素数は大きく変化することが確認できた。また、分解レベルによっても、非ゼロ要素数が変化することが確認できた。Haarの分解レベル1.3の変換が、最もスパース性が高く、1539(1320)という結果であった。全体としてはDaubechiesやCoifletではスパース性がHaarに比べて低かった。
3次元の膜電位分布モデルでは、興奮伝播波面を境界として高電位領域ERHと低電位領域ERLが存在する。Haarでは高電位領域ERHや低電位領域ERLのフィルタの結果は値を持つか0かのような結果となる。その結果としてDaubechiesやCoifletのような複雑な波形を持ったフィルタに比べてHaarはスパースになると考えられる。
Haarの変換において、xy平面のどの分解レベルにおいても、z方向において3レベルのときに最もスパースになった。これはシミュレーション実験で用いた膜電位分布モデルがz方向に対して空間周波数が低いものが支配的であったためであると考えられる。シミュレーション実験で用意した膜電位分布モデルは、z方向に対して低い周波数を有するものであったが、いくつかの電位分布モデルについてはxy平面で高い周波数を持つものであった。その点を考慮すると、結果的にxy平面において分解レベル1、z方向で分解レベル3のHaarのときに最もスパース性の高い結果となったことに妥当性がある。
エネルギーに関しては変換後の係数のうち、大きいものから50個の係数を選択し、そのエネルギーが全体の何パーセントに当たるかを評価した。その結果、図15Bに示すような結果が得られた。DCTでは90[%](14)という結果であった。エネルギーについても各変換によって大きく変化し、分解レベルによっても変化することを確認した。結果として、Haarの分解レベル3.3が最も高いエネルギーであった。
図9に示したように、DWTでは、高周波係数は連続的に分解されず、その後の分解でも残存する。そのために特定の分解レベルにおいて係数の数が最も小さくなることが分かった。結果として、xy平面において分解レベル3、z方向において分解レベル3のHaarのときに最も高いエネルギーとなったと考えられる。
次に、図14A〜図14Fに示した各膜電位分布モデルを計測対象として用い、パターン光における励起光の照射点数を変えたときに、再構成の精度がどのように変わるかについて確認した。ここでは、空間変換行列を用いた変換として、高スパース性のHaar 1.3と、高エネルギーのHaar 3.3と、DCTと、を用いた。一般的に用いられている膜電位感受性色素Di−4−ANEPPSの励起光波長および蛍光波長に近いものにするため、励起光波長は550[nm]、蛍光波長は600[nm]とした。計測感度行列Jはモンテカルロシミュレーションを用いて計算した。モンテカルロシミュレーションにて使用する、拡散係数、吸収係数、異方性パラメータの設定等の光学定数は、図16に示す。図16に示す光学定数は、ラットの筋組織の光学定数である。
パターン光の照射点分布パターンは、ランダム行列パターン(32×32 pixel)とした。パターン光の照射点直径は1[mm]とし、パターン光内の照射点数のみ固定し、ランダムに照射点分布パターンを変化させた。1回の再構成で使用する照射点分布パターンは、5パターン、10パターン、20パターンとした。すなわち、計測回数5回、10回、20回とした。ここでは、広く膜電位計測で使用されている膜電位感受性色素Di−4−ANEPPSを用いるが、この蛍光変化率は経験的に9[%]と定めた。Point Spread Function(PSF)については理想的であるとして、光学機器2内にある全てのレンズの倍率は1とした。センサアレイについては32×32 pixel(ディテクタが32×32に配置)で組織表面上の関心領域(Region of interest:ROI)を1倍で投影する状況を考えた。
パターン光内における照射点数を10点から90点まで10点ずつの間隔で変化させた照射点分布パターンのパターン光と、当該照射点数を100点から1000点まで100点ずつの間隔で変化させた照射点分布パターンのパターン光とを用いてそれぞれ評価を行った。図17には、ランダムに励起光を100点照射したパターン光と、ランダムに励起光を500点照射したパターン光と、ランダムに励起光を800点照射したパターン光と、についてそれぞれ示したものである。再構成に用いる蛍光分布画像の画像枚数(すなわち、計測回数)の変化が再構成の精度に与える影響について検討するため、照射点数はそのままで蛍光分布画像の画像枚数を5枚、10枚、20枚と変化させて再構成を行った。
再構成において、重要となるのは膜電位分布の形状である。すなわち、組織の脱分極と再分極の界面の動きを知ることができればよい。再構成されたボクセルは電気的にHigh(脱分極)、またはLow(再分極)の状態にあると言える。膜電位分布形状の評価を行うために、再構成された各ボクセルは電気的に2値化してHighまたはLowのどちらかの状態にした。膜電位分布形状の評価では、2値化処理とモルフォロジー演算処理とを実行した。2値化処理では、図18に示すように、再構成されたボクセルの最大輝度値と最小輝度値の平均を閾値(ここでは0.5)とし、各ボクセルがHighかLowかを判断した。
モルフォロジー演算処理では、周りの全てのピクセルがLowであるが中心1ピクセルだけHighの状態のとき、このHighのピクセルをLowに塗りつぶす処理を行った。また、この逆として、周り全てがHighであるが中心1ピクセルだけLowの状態のとき、このLowのピクセルをHighに塗りつぶす処理を行った。このようなモルフォロジー演算処理を行った理由としては、電気生理学的に1ボクセルの領域(625[μm]立方)のみ異なる状態にあることは考え難いことから、明らか誤差と見なして取り除くためである。
図14A〜図14Fに示した6つの膜電位分布モデルの再構成誤差ボクセル数の平均(Error voxels)を縦軸とし、励起光の照射点数(Number of irradiation points)を横軸としてグラフを作成したところ、図19A、図19Bおよび図19Cに示すような結果が得られた。再構成誤差ボクセル数は、図14A〜図14Fに示した6つの膜電位分布モデルを2値化して正解データを得、再構成された各ボクセルと、正解データとを比較して、正解データと異なっているボクセルを再構成誤差ボクセルとしてカウントした。
図19A、図19Bおよび図19Cでは、再構成に用いる蛍光分布画像の画像枚数が5枚のときに得られた結果を「5」と表記し、10枚のときに得られた結果を「10」と表記し、20枚のときに得られた結果を「20」と表記した。計測回数(再構成に用いる蛍光分布画像の画像枚数)が増えるに従って、再構成誤差ボクセル数が減少する傾向を示したが、蛍光分布画像の枚数が少ない5枚のときでも、再構成誤差ボクセル数は十分に小さいことが確認できた。また、励起光の照射点数が増えるに従って、再構成誤差ボクセル数が減少する傾向を示した。
次に、図14A〜図14Fに示した各膜電位分布モデルについて、計測回数10回(すなわち、再構成に用いる蛍光分布画像10枚)のときの再構成誤差ボクセル数を、DCT、Haar 1.3、およびHaar 3.3の変換毎にまとめたところ、図20A〜図20Fに示すような結果が得られた。各変換の再構成誤差ボクセル数は、膜電位分布モデルによって大きく変化することが確認できた。また、励起光の照射点数においても、再構成誤差ボクセル数が最も小さくなる照射点数が膜電位分布モデルによって異なることが分かった。
次に、図14A〜図14Fに示した各膜電位分布モデルについて、DCTを用いた再構成結果について調べたところ、図21A〜図21Fに示すような結果が得られた。計測輝度値に応じてランダムに変化するショットノイズを蛍光分布画像に付加した。ショットノイズは1[%]とした。図21Aは、図14Aの膜電位分布モデルに照射するパターン光の照射点数を90点とし、蛍光分布画像を得る計測回数を1回としたときの再構成結果を示す。図21Bは、図14Bの膜電位分布モデルに照射するパターン光の照射点数を50点とし、蛍光分布画像を得る計測回数を1回としたときの再構成結果を示す。
図21Cは、図14Cの膜電位分布モデルに照射するパターン光の照射点数を1000点とし、蛍光分布画像を得る計測回数を5回としたときの再構成結果を示す。図21Dは、図14Dの膜電位分布モデルに照射するパターン光の照射点数を1000点とし、蛍光分布画像を得る計測回数を5回としたときの再構成結果を示す。図21Eは、図14Eの膜電位分布モデルに照射するパターン光の照射点数を900点とし、蛍光分布画像を得る計測回数を5回としたときの再構成結果を示す。図21Fは、図14Fの膜電位分布モデルに照射するパターン光の照射点数を20点とし、蛍光分布画像を得る計測回数を1回としたときの再構成結果を示す。
図21A〜図21Fから、5枚の蛍光分布画像からでも誤差25[%]以下の再構成結果が得られ、少ない枚数の蛍光分布画像からでも膜電位分布Vを求められることが確認できた。また、再構成結果が得られるまでの計測速度についても、蛍光分布画像の枚数を減らせた分、処理負担を軽減し得、膜電位分布を高速に計測できた。
1 計測システム
2 光学機器
3 撮像機器
4 演算処理装置
33 記憶部
36 再構成演算部
37 膜電位分布演算部
39 蛍光輝度計測部
2 光学機器
3 撮像機器
4 演算処理装置
33 記憶部
36 再構成演算部
37 膜電位分布演算部
39 蛍光輝度計測部
Claims (6)
- 光源から照射された励起光を基に、所定の照射点分布パターンのパターン光を生成し、前記パターン光を組織表面に照射する光学機器と、
前記組織表面における蛍光分布を撮像して該組織表面の蛍光分布画像を取得する撮像機器と、
前記蛍光分布画像に基づいて組織の膜電位分布Vを求める演算処理装置と、を備え、
前記演算処理装置は、
前記励起光および蛍光の強度分布関係をシミュレーションから求めた計測感度行列Jと、前記計測感度行列Jをスパース行列αにするための空間変換行列Ψと、を記憶する記憶部と、
前記計測感度行列Jおよび前記空間変換行列Ψを基底行列として扱い、前記蛍光分布画像から求めた蛍光輝度値から前記スパース行列αを再構成する再構成演算部と、
前記再構成演算部で再構成した前記スパース行列αを、前記空間変換行列Ψの逆変換によって前記膜電位分布Vに変換する膜電位分布演算部と、を備える
ことを特徴とする計測システム。 - 前記光学機器は、
前記照射点分布パターンをランダムに変えながら前記パターン光を前記組織表面に照射してゆき、
前記撮像機器は、
前記照射点分布パターン毎に前記蛍光分布画像を取得してゆき、
前記演算処理装置は、
前記照射点分布パターン毎に得られた各前記蛍光分布画像の前記蛍光輝度値からなる蛍光輝度行列Yを求める
ことを特徴とする請求項1に記載の計測システム。 - 前記光学機器には、
複数のマイクロミラーがアレイ状に配置され、各前記マイクロミラーがそれぞれ独立して動き、前記照射点分布パターンをランダムに変えるデジタルマイクロデバイスが設けられている
ことを特徴とする請求項1または2に記載の計測システム。 - 前記記憶部には、前記空間変換行列Ψとして、離散コサイン変換行列、離散ウェーブレット変換行列、のうち少なくとも1つ以上が記憶されている
ことを特徴とする請求項1〜3のいずれか1項に記載の計測システム。 - 前記記憶部には、前記離散ウェーブレット変換行列として、Haarウェーブレット、Daubechiesウェーブレット、Coifletウェーブレットの各行列のうち少なくともいずれか1つ以上が記憶されている
ことを特徴とする請求項4に記載の計測システム。 - 前記再構成演算部は、
l1ノルム最小化法により前記スパース行列αを再構成する
ことを特徴とする請求項1〜5のいずれか1項に記載の計測システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049243A JP2018151334A (ja) | 2017-03-14 | 2017-03-14 | 計測システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049243A JP2018151334A (ja) | 2017-03-14 | 2017-03-14 | 計測システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018151334A true JP2018151334A (ja) | 2018-09-27 |
Family
ID=63679615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017049243A Pending JP2018151334A (ja) | 2017-03-14 | 2017-03-14 | 計測システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018151334A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109884180A (zh) * | 2019-02-14 | 2019-06-14 | 昆明理工大学 | 一种导电结构缺陷稀疏电涡流快速成像检测方法及系统 |
-
2017
- 2017-03-14 JP JP2017049243A patent/JP2018151334A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109884180A (zh) * | 2019-02-14 | 2019-06-14 | 昆明理工大学 | 一种导电结构缺陷稀疏电涡流快速成像检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11170258B2 (en) | Reducing noise in an image | |
JP6321668B2 (ja) | 効率的変調撮像 | |
US8084753B2 (en) | Method and system for non-contact fluorescence optical tomography with patterned illumination | |
EP3407793B1 (en) | Medical imaging system with a fixed array of x-ray detectors and method of using the same | |
US10551357B2 (en) | High resolution photoacoustic imaging in scattering media using structured illumination | |
JP5773578B2 (ja) | 被検体情報取得装置、被検体情報取得装置の制御方法およびプログラム | |
Venugopal et al. | Adaptive wide-field optical tomography | |
US20170168150A1 (en) | Photoacoustic apparatus, display control method, and storage medium | |
Ducros et al. | A virtual source pattern method for fluorescence tomography with structured light | |
WO2019076192A1 (zh) | 图像重建方法、装置及显微成像装置 | |
WO2018110558A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Allmaras et al. | Reconstructions in ultrasound modulated optical tomography | |
Paul et al. | A simple algorithm for diffuse optical tomography without Jacobian inversion | |
JP2018151334A (ja) | 計測システム | |
JP2021185384A (ja) | 電磁波位相振幅生成装置、電磁波位相振幅生成方法及び電磁波位相振幅生成プログラム | |
Lutzweiler et al. | High-throughput sparsity-based inversion scheme for optoacoustic tomography | |
Wu et al. | Fluorescence tomography of targets in a turbid medium using non-negative matrix factorization | |
US20210255042A1 (en) | Thermography method | |
JP2019118686A (ja) | 情報処理装置、情報処理方法、プログラム | |
Egolf et al. | Single laser-shot super-resolution photoacoustic tomography with fast sparsity-based reconstruction | |
Ren et al. | High-resolution tomographic reconstruction of optical absorbance through scattering media using neural fields | |
JP2021518916A (ja) | スキャナ及び対象物体の構造の画像再構築のための方法 | |
Li et al. | A self-supervised learning approach for high-resolution diffuse optical tomography using neural fields | |
JP2004537731A (ja) | 線形方程式系の解を向上させる方法およびシステム | |
Freiberger | Nonlinear reconstruction schemes and experimental design for fluorescence diffuse optical tomography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20170405 |