JP2020144012A - 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム - Google Patents
染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム Download PDFInfo
- Publication number
- JP2020144012A JP2020144012A JP2019041046A JP2019041046A JP2020144012A JP 2020144012 A JP2020144012 A JP 2020144012A JP 2019041046 A JP2019041046 A JP 2019041046A JP 2019041046 A JP2019041046 A JP 2019041046A JP 2020144012 A JP2020144012 A JP 2020144012A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stained
- estimator
- autofluorescent
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 4
- 230000005284 excitation Effects 0.000 claims abstract description 47
- 239000012620 biological material Substances 0.000 claims abstract description 31
- 238000010186 staining Methods 0.000 claims abstract description 24
- 238000004043 dyeing Methods 0.000 claims description 41
- 239000000243 solution Substances 0.000 claims description 35
- 239000012192 staining solution Substances 0.000 claims description 21
- 239000000126 substance Substances 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000002073 fluorescence micrograph Methods 0.000 abstract 3
- 239000000523 sample Substances 0.000 description 136
- 238000003384 imaging method Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 32
- 230000010365 information processing Effects 0.000 description 20
- 210000001519 tissue Anatomy 0.000 description 18
- 210000004027 cell Anatomy 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000002835 absorbance Methods 0.000 description 14
- 238000010521 absorption reaction Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 11
- 230000003595 spectral effect Effects 0.000 description 11
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000012886 linear function Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 210000005228 liver tissue Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- WZUVPPKBWHMQCE-XJKSGUPXSA-N (+)-haematoxylin Chemical compound C12=CC(O)=C(O)C=C2C[C@]2(O)[C@H]1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-XJKSGUPXSA-N 0.000 description 2
- 239000012472 biological sample Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004042 decolorization Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 210000000222 eosinocyte Anatomy 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 101150006061 neur gene Proteins 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Abstract
Description
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を撮影した染色画像を取得する画像取得部と、
前記画像取得部が取得した前記自家蛍光画像と前記染色画像とに基づいて、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の染色された前記生体物質試料が撮影された画像を推定する染色画像推定器を学習する染色画像推定器学習部と、
を備える画像処理装置である。
(構成例1)
図1は、本実施形態のシステムの構成例を示す図である。本実施形態のシステム10は、画像処理装置100、蛍光顕微鏡200、マルチスペクトルカメラ300を含む。
90は、一般的なコンピュータの構成を有している。画像処理装置100は、図3に示すような情報処理装置90を用いることによって、実現される。図3の情報処理装置90は、プロセッサ91、メモリ92、記憶部93、入力部94、出力部95、通信制御部96を有する。これらは、互いにバスによって接続される。メモリ92及び記憶部93は、コンピュータ読み取り可能な記録媒体である。情報処理装置のハードウェア構成は、図3に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
ドライブ(HDD、Hard Disk Drive)である。また、記憶部93は、リムーバブルメデ
ィア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、USB(Universal Serial Bus)メモリ、あるいは、CD(Compact Disc)やDVD(Digital Versatile Disc)のようなディスク記録媒体である。記憶部93は、二次記憶装置とも呼ばれる。
ネル、CRT(Cathode Ray Tube)ディスプレイ、PDP(Plasma Display Panel)等の表示装置、プリンタ等の出力装置を含む。また、出力部95は、スピーカのような音声の出力装置を含むことができる。
〈色素量推定器生成〉
図4は、画像処理装置における色素量推定器の生成の際の動作フローの例を示す図である。
染色液が使用されてもよい。マルチスペクトルカメラ300を使用することで、試料を透過した透過光のより詳細な情報を得ることができる。
これらの式より、推定行列X+を吸光度ベクトルaに乗算することによって、試料に取り込まれた染色液毎のピクセル毎(位置毎)の色素量Cを求めることができる。色素量検出部106は、ピクセル毎の色素量に基づいて、試料の各位置の色素量を示す色素量画像を生成する。色素量画像は、試料に取り込まれた染色液の分布を示す。色素量画像では、例えば、染色液が多く取り込まれた位置はより明るくなる。
続値を予測するような手法が適用可能である。色素量検出部106は、例えば、ニューラルネットワークであれば、複数の条件(励起光)で励起された試料の自家蛍光画像を入力データとし、試料を染色して得られたマルチスペクトル画像から求められた色素量画像を出力データとする。色素量検出部106は、当該入力データと当該出力データとが紐付けられた教師あり学習により、ニューラルネットワークのニューロン間の重み付け係数を最適化して、色素量推定器を構築する。色素量推定器は、より多くの自家蛍光画像と色素量画像との組を用いることで最適化される。また、色素量推定器は、染色液毎に生成することができる。また、入力データとして、テクスチャ情報等の画像処理特徴量(組織や細胞の特徴を示す情報など)が含まれてもよい。
図9は、画像処理装置における模擬染色画像の生成の際の動作フローの例を示す図である。模擬染色画像(デジタル染色画像)は、試料の自家蛍光画像を使用して色素量推定器により推定された推定色素量画像に基づいて得られる、模擬的な染色画像である。模擬染色画像は、試料を実際に染色した染色画像を模擬したものである。ここでは、画像処理装置100は、染色されていない試料の自家蛍光画像と、上記の色素量推定器とを用いて、模擬染色画像を生成する。
入力データとして、所望の染色液に対応する色素量推定器を用いて、推定された所望の染料液の色素量画像を生成する。色素量画像では、例えば、色素量が多いほど明るい色で表示される。色素量画像は、推定される試料に取り込まれた染色液の色素量を示す画像である。
画像処理装置100は、蛍光顕微鏡200で撮影された細胞や組織などの生体物質の試料の自家蛍光画像を取得する。画像処理装置100は、マルチスペクトルカメラ300で撮影された染色液で染色された染色画像を取得する。画像処理装置100は、染色画像と、染色液の分光吸収係数とに基づいて、試料に取り込まれた染色液の色素量を算出する。画像処理装置100は、自家蛍光画像と、算出された色素量(色素量画像)とに基づいて、色素量推定器を生成する。
(構成例2)
図10は、本実施形態のシステムの構成例を示す図である。本実施形態のシステム40は、染色画像推定器学習装置400、自家蛍光画像撮影装置500、染色画像撮影装置600を含む。
1、染色画像推定器(緑色)452、染色画像推定器(青色)453を含む。染色画像推定器(赤色)451、染色画像推定器(緑色)452、染色画像推定器(青色)453をまとめて、各色の染色画像推定器ともいう。
図11は、染色画像推定器学習装置における染色画像推定器の学習の際の動作フローの例を示す図である。
てもよい。画像取得部410は、染色画像を、赤色、緑色、青色の色毎の染色画像として取得し得る。また、画像取得部410は、染色画像を、使用する染色液毎に取得し得る。
-training artificial neural networks、SegNet、VGG-16、LeNet、AlexNet、ResNet、Auto encoders and decoders、Generative adversarial networks(GAN)、Recurrent Neural Networks(RNN)、Recursive Neural Networks、Long Short-Term Memory(L
STM)等が挙げられる。ここで使用される深層学習は、これらに限定されるものではない。分析には、画像を予測して出力するような手法が適用可能である。ここでは、染色画像推定器学習部430は、複数の条件(励起光)で励起された試料の、複数の自家蛍光画像を入力データとし、試料を染色して得られた染色試料の赤色、緑色、青色の染色画像(染色画像の赤色、緑色、青色の成分)を教師データとする。染色画像推定器学習部430は、当該入力データと当該教師データとが紐付けられた教師あり学習により、ニューラルネットワークのニューロン間の重み付け係数を最適化して、染色画像推定器を構築する。このとき、染色画像推定器学習部430は、染色画像の色毎(赤色、緑色、青色)に染色画像推定器を構築する。各色の染色画像推定器は、入力データである自家蛍光画像から、教師データである染色画像(各色の染色画像)を推定する推定器である。当該推定器からの出力は、模擬染色画像となる。染色画像推定器学習部430は、各画像の画素毎もしくは所定の領域(所定のブロック)毎に画素値を比較することなどにより、各色の染色画像推定器を構築する。各色の染色画像推定器は、より多くの自家蛍光画像と染色画像との組(学習データ)を用いることで最適化される。また、各色の染色画像推定器は、使用する染色液毎に構築され得る。また、入力データとして、テクスチャ情報等の画像処理特徴量(組織や細胞の特徴を示す情報など)が含まれてもよい。教師データは、染色画像のフルカラーの画像であってもよい。
色成分の画像(赤色の染色画像)である。画像58は、試料に対してHE染色を施した染色画像の緑色成分の画像(緑色の染色画像)である。画像59は、試料に対してHE染色を施した染色画像の青色成分の画像(青色の染色画像)である。
54と、実際の赤色の染色画像である画像57とを比較する。染色画像推定器学習部430は、比較結果(例えば、両画像の画素値の差分や平均二乗誤差)に基づいて、染色画像推定器(赤色)451を更に学習する。染色画像推定器学習部430は、出力画像である画像54が実際の染色画像である画像57に近づくように、染色画像推定器(赤色)451を学習する。染色画像推定器学習部430は、例えば、画像54の各画素値と画像57の各画素値との差分(あるいは平均二乗誤差)が所定の範囲内になるまで、繰り返し、染色画像推定器(赤色)451を学習する。染色画像推定器の学習は、各画像を複数の領域に分割して、当該領域毎に行われてもよい。染色画像推定器の学習は、各画像からサンプルをランダムに抜き出し、抜き出されたサンプルを使って行われてもよい。染色画像推定器学習部430は、染色画像推定器(緑色)452、染色画像推定器(青色)453についても同様に、学習する。このようにして、染色画像推定器学習部430は、染色画像推定器(赤色)451、染色画像推定器(緑色)452、染色画像推定器(青色)453を構築する。学習データとして使用される画像の組(入力データである画像と教師データである画像との組)は、1組だけではなく、複数組の画像が教師データとして使用される。より多くの組の教師データが使用されることで、染色画像推定器の精度が向上する。
図13は、本実施形態の模擬染色画像生成のシステムの構成例を示す図である。模擬染色画像生成のシステム70は、画像処理装置700、自家蛍光画像撮影装置500を含む。自家蛍光画像撮影装置500は、図10の自家蛍光画像撮影装置500と同様である。
標本である。ここで使用される自家蛍光画像に対応する試料は、染色画像推定器の生成の際に使用された自家蛍光画像に対応する試料と異なる試料である。
〈MTANNの構造(非特許文献1)〉
図16は、画像型深層学習器の一例として、MTANNの構造を示す図である。MTANNは、階層型ニューラルネット(Artificial Neural Network: ANN)回帰モデル(非特許文献2、非特許文献3)を演算の核として用いて画像処理を行う深層学習モデルである。MTANNでは、画素値そのものを階層型ANN回帰モデルの入力とする。また、通常の深層学習モデルの出力は、画像中にある対象物の属するクラスである(例えば、異常陰影、正常陰影に、それぞれ、1、0を割り当てる)が、MTANNの階層型ANN回帰モデルの出力は、画素値そのものであり、MTANNの出力は画像である。MTANNにおける、階層型ANN回帰モデルへの入力は、次式のように、入力画像から抽出した局所領域(画像パッチ)RS内の画素値である。各画素値は、各入力層ユニット(ニューロン)のそれぞれに入力する。出力層ユニットは1個で、局所領域の中心位置(x,y)に対応する画素値f(x,y)を出力する。
ただし、NN(・)は、階層型ANN回帰モデルの出力、g(x,y)は入力画像の画素値である。例えば、RSが、3x3画素の領域である場合、階層型ANN回帰モデルへの入力は、以下のようになる。
従って、この場合の階層型ANN回帰モデルの入力層ユニット数は、9個である。MTANNでは、出力が連続値であるため、階層型ANN回帰モデルに、線形出力ANNモデル(非特許文献2、非特許文献3)を用いる。これは、出力層ユニットの応答関数に、通常使われるシグモイド関数の代わりに、次式の線形関数を用いたANNのモデルであり、連続値を出力とする応用に大変適している(非特許文献2、非特許文献3)。
従って、入力層、中間層、出力層のユニットの応答関数は、それぞれ、恒等関数、シグモイド関数、線形関数である。階層型ANN回帰モデルを、入力画像上で、畳み込み演算のように走査することにより、出力画像を得る。また、畳み込み演算により中間層上に得られる中間画像上で、階層型ANN回帰モデルを畳み込み演算のように走査し、これを繰り返すことによって、深い層を形成する。
N)、shift-invariant neural networks、deep belief networks(DBN)、deep neur
al networks(DNN)、fully convolutional neural networks(FCN)、U-Net、V-Net、SegNet、VGG-16、LeNet、AlexNet、ResNet、Auto encoders and decoders、Generative adversarial networks(GAN)、Recurrent Neural Networks(RNN)、Recursive Neural Networks、Long short-term memory(LSTM)を用いることもできる。演算
の核として用いられる階層型ANN回帰モデルは、他の機械学習モデル、例えば、サポートベクトル回帰モデル、非線形ガウス過程回帰モデルに置き換えることができる(非特許文献4)。
図17は、MTANNの学習を示す図である。MTANNは、入力画像とそれに対する理想的な教師画像を与えて学習することにより、所望の画像処理を獲得する。学習により最小化する誤差は、次式で定義される。
ただし、T(x,y)は教師画像、f(x,y)は出力画像、RTは学習領域である。学習には、誤差逆伝播学習法を線形出力ANNモデル用に修正した学習法を用いる。線形出力ANNモデルでは、線形関数を出力層ユニットに用いているため、通常の階層型ANN回帰モデルの修正量を決める偏微分が、次式となる。
(3)式の線形関数を微分すると、次式となる。
従って、中間層・出力層間の重みの修正量は、次式となる。
ここで、
とおくことにより、入力層・中間層間の重みの修正量も、誤差逆伝播学習法の導出と同様に、求めることができる。MTANNでは、対象に応じて入力画像と教師画像を所望のものに変え、学習を行うことにより、様々な対象に対する画像処理を実現可能である。
染色画像推定器学習装置400は、自家蛍光画像撮影装置500で撮影された細胞や組織などの生体物質の試料の自家蛍光画像を取得する。染色画像推定器学習装置400は、染色画像撮影装置600で撮影された染色液で染色された染色画像を取得する。染色画像推定器学習装置400は、自家蛍光画像と染色画像とに基づいて、画像出力型深層学習であるMTANN等を用いて、各色の染色画像推定器を構築する。
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、各構成の組み合わせなど、当業者の知識に基づく種々の変更が可能である。
100 :画像処理装置
102 :画像取得部
104 :色情報取得部
106 :色素量検出部
108 :色素量推定部
110 :画像生成部
200 :蛍光顕微鏡
300 :マルチスペクトルカメラ
40 :システム
400 :染色画像推定器学習装置
410 :画像取得部
420 :位置合わせ部
430 :染色画像推定器学習部
500 :自家蛍光画像撮影装置
510 :蛍光顕微鏡
520 :撮像部
600 :染色画像撮影装置
610 :光学顕微鏡
620 :撮像部
70 :システム
700 :画像処理装置
710 :画像取得部
740 :模擬染色画像生成部
90 :情報処理装置
91 :プロセッサ
92 :メモリ
93 :記憶部
94 :入力部
95 :出力部
96 :通信制御部
Claims (8)
- 生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を撮影した染色画像を取得する画像取得部と、
前記画像取得部が取得した前記自家蛍光画像と前記染色画像とに基づいて、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の染色された前記生体物質試料が撮影された画像を推定する染色画像推定器を学習する染色画像推定器学習部と、
を備える染色画像推定器学習装置。 - 前記染色画像推定器学習部は、前記自家蛍光画像を入力データとし、前記染色画像を前記入力データに対する教師データとして機械学習を行うことにより、前記染色画像推定器を学習する、請求項1に記載の染色画像推定器学習装置。
- 生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得する画像取得部と、
前記画像取得部が取得した前記自家蛍光画像に基づいて、前記生体物質試料を染色液で染色した前記生体物質試料が撮影された画像を模擬する模擬染色画像を生成する模擬染色画像生成部を備える、
画像処理装置。 - 前記模擬染色画像生成部は、前記自家蛍光画像と異なる、他の生体物質試料を前記励起光による自家蛍光を撮影した他の自家蛍光画像を入力データとし、前記染色液で染色した前記他の生体物質試料を撮影した染色画像を前記入力データに対する教師データとして機械学習を行うことにより学習された染色画像推定器を用いて、前記模擬染色画像を生成する、
請求項3に記載の画像処理装置。 - 染色画像推定器学習装置が、
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、
所定の染色液で染色した前記生体物質試料を撮影した染色画像を取得し、
取得された前記自家蛍光画像と前記染色画像とに基づいて、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の染色された前記生体物質試料が撮影された画像を推定する染色画像推定器を学習する、
ことを実行する染色画像推定器学習方法。 - 画像処理装置が、
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、
取得された前記自家蛍光画像に基づいて、前記生体物質試料を染色液で染色した前記生体物質試料が撮影された画像を模擬する模擬染色画像を生成する、
ことを実行する画像処理方法。 - 染色画像推定器学習装置が、
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、
所定の染色液で染色した前記生体物質試料を撮影した染色画像を取得し、
取得された前記自家蛍光画像と前記染色画像とに基づいて、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の染色された前記生体物質試料が撮影された画像を推定する染色画像推定器を学習する、
ことを実行するための染色画像推定器学習プログラム。 - 画像処理装置が、
生体物質試料の所定の励起光による自家蛍光を撮影した自家蛍光画像を取得し、
取得された前記自家蛍光画像に基づいて、前記生体物質試料を染色液で染色した前記生体物質試料が撮影された画像を模擬する模擬染色画像を生成する、
ことを実行するための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019041046A JP7470339B2 (ja) | 2019-03-06 | 2019-03-06 | 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019041046A JP7470339B2 (ja) | 2019-03-06 | 2019-03-06 | 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020144012A true JP2020144012A (ja) | 2020-09-10 |
JP7470339B2 JP7470339B2 (ja) | 2024-04-18 |
Family
ID=72354002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019041046A Active JP7470339B2 (ja) | 2019-03-06 | 2019-03-06 | 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7470339B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021076575A (ja) * | 2019-11-05 | 2021-05-20 | トモキューブ, インコーポレーテッド | 3次元屈折率映像とディープラーニングを活用したラベルフリー方式の3次元分子像生成方法および装置 |
CN113344928A (zh) * | 2021-08-06 | 2021-09-03 | 深圳市瑞图生物技术有限公司 | 模型的训练及使用方法、装置、检测仪、存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120314930A1 (en) * | 2008-06-17 | 2012-12-13 | Hoyt Clifford C | Image Classifier Training |
JP2013506129A (ja) * | 2009-09-29 | 2013-02-21 | ゼネラル・エレクトリック・カンパニイ | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 |
JP2013507612A (ja) * | 2009-10-12 | 2013-03-04 | ベンタナ メディカル システムズ, インコーポレイテッド | 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出 |
JP2013114233A (ja) * | 2011-11-30 | 2013-06-10 | Olympus Corp | 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム |
JP2014521979A (ja) * | 2011-08-17 | 2014-08-28 | ゼネラル・エレクトリック・カンパニイ | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 |
WO2019191697A1 (en) * | 2018-03-30 | 2019-10-03 | The Regents Of The University Of California | Method and system for digital staining of label-free fluorescence images using deep learning |
-
2019
- 2019-03-06 JP JP2019041046A patent/JP7470339B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120314930A1 (en) * | 2008-06-17 | 2012-12-13 | Hoyt Clifford C | Image Classifier Training |
JP2013506129A (ja) * | 2009-09-29 | 2013-02-21 | ゼネラル・エレクトリック・カンパニイ | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 |
JP2013507612A (ja) * | 2009-10-12 | 2013-03-04 | ベンタナ メディカル システムズ, インコーポレイテッド | 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出 |
JP2014521979A (ja) * | 2011-08-17 | 2014-08-28 | ゼネラル・エレクトリック・カンパニイ | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 |
JP2013114233A (ja) * | 2011-11-30 | 2013-06-10 | Olympus Corp | 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム |
WO2019191697A1 (en) * | 2018-03-30 | 2019-10-03 | The Regents Of The University Of California | Method and system for digital staining of label-free fluorescence images using deep learning |
Non-Patent Citations (1)
Title |
---|
"Virtual histological staining of unlabelled tissue-autofluorescence images via deep learning", NATURE BIOMEDICAL ENGINEERING, vol. 3, JPN7022005986, 4 March 2019 (2019-03-04), pages 466 - 476, ISSN: 0004958459 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021076575A (ja) * | 2019-11-05 | 2021-05-20 | トモキューブ, インコーポレーテッド | 3次元屈折率映像とディープラーニングを活用したラベルフリー方式の3次元分子像生成方法および装置 |
JP7122769B2 (ja) | 2019-11-05 | 2022-08-22 | トモキューブ, インコーポレーテッド | 3次元屈折率映像とディープラーニングを活用したラベルフリー方式の3次元分子像生成方法および装置 |
CN113344928A (zh) * | 2021-08-06 | 2021-09-03 | 深圳市瑞图生物技术有限公司 | 模型的训练及使用方法、装置、检测仪、存储介质 |
CN113344928B (zh) * | 2021-08-06 | 2021-12-07 | 深圳市瑞图生物技术有限公司 | 模型的训练及使用方法、装置、检测仪、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7470339B2 (ja) | 2024-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7344568B2 (ja) | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム | |
Pradhan et al. | Deep learning a boon for biophotonics? | |
CN105378538B (zh) | 用于多频谱成像的自动聚焦方法和系统 | |
CN114945954A (zh) | 使用深度学习进行显微图像的数字染色的方法和系统 | |
JP2021166062A (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
EP3391288B1 (en) | Systems and methods of unmixing images with varying acquisition properties | |
CN106875391A (zh) | 皮肤图像的识别方法及电子设备 | |
Liang et al. | Stain style transfer of histopathology images via structure-preserved generative learning | |
JP7470339B2 (ja) | 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム | |
Qian et al. | Batch equalization with a generative adversarial network | |
CN111489319A (zh) | 基于多尺度双边滤波和视觉显著性的红外图像增强方法 | |
CN113450305A (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
WO2019171909A1 (ja) | 画像処理方法、画像処理装置及びプログラム | |
WO2018128091A1 (ja) | 画像解析プログラム及び画像解析方法 | |
WO2021015249A1 (ja) | 推定器学習装置、推定器学習方法、及び、推定器学習プログラム | |
JP6901072B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
Luo et al. | Endoscopic video defogging using luminance blending | |
Al-Oraifan et al. | Optic disc detection using fish school search algorithm based on FPGA | |
Hsu et al. | Using stain decomposition for nucleus segmentation on multisource h&e slide images | |
Vijayalakshmi et al. | Liver tumor detection using CNN | |
JP7090171B2 (ja) | 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム | |
TRIVEDI et al. | MOSAICFUSION: MERGING MODALITIES WITH PARTIAL DIFFERENTIAL EQUATION AND DISCRETE COSINE TRANSFORMATION | |
Draganova et al. | Model of Software System for automatic corn kernels Fusarium (spp.) disease diagnostics | |
Tan et al. | Automated Classification Map Generation of Prostate Cancer using Deep Learning | |
Knapp et al. | Combined flat-field and frequency filter approach to correcting artifacts of multichannel two-photon microscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231002 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240329 |