JP2019013461A - プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 - Google Patents
プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 Download PDFInfo
- Publication number
- JP2019013461A JP2019013461A JP2017133235A JP2017133235A JP2019013461A JP 2019013461 A JP2019013461 A JP 2019013461A JP 2017133235 A JP2017133235 A JP 2017133235A JP 2017133235 A JP2017133235 A JP 2017133235A JP 2019013461 A JP2019013461 A JP 2019013461A
- Authority
- JP
- Japan
- Prior art keywords
- diagnosis
- endoscopic image
- classifier
- image
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 70
- 239000000523 sample Substances 0.000 title abstract description 4
- 238000012333 histopathological diagnosis Methods 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 abstract description 11
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 239000000463 material Substances 0.000 description 12
- 238000000605 extraction Methods 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 6
- 210000002429 large intestine Anatomy 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 206010004593 Bile duct cancer Diseases 0.000 description 2
- 208000026900 bile duct neoplasm Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 208000006990 cholangiocarcinoma Diseases 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000002757 inflammatory effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 2
- 210000003097 mucus Anatomy 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000010562 histological examination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Microscoopes, Condenser (AREA)
- Endoscopes (AREA)
Abstract
【課題】プローブ型共焦点レーザー顕微内視鏡画像に基づいて、人手による試行錯誤を要する特徴値の抽出の学習過程を経ることなく、内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断することのできる、内視鏡画像診断支援装置を提供する。【解決手段】内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断する自動診断手段10を備え、自動診断手段10は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成する分類器自動作成手段20と、分類器自動作成手段20により自動作成された分類器により内視鏡画像を病理組織学上のいずれかの診断に分類する分類手段30とを備えた。【選択図】図１
Description
本発明は、プローブ型共焦点レーザー顕微内視鏡画像に基づき医師の診断を支援する内視鏡画像診断支援装置に関する。
消化管の内視鏡検査においては、内視鏡から得られる内視鏡画像に基づき診断がなされ、さらに生検採取が行われ、病理組織診断によりその診断が確実なものとされている。しかし、その内視鏡画像診断は、医師の経験等に左右されることがあり、病理組織診断は採取検体処理ののちに病理医により診断が行われるという過程から時間と労力を要する。そこで、医師の経験等に左右されずに正確な診断がなされ、短時間で病理組織診断に近い確実な情報が得られ、さらには生検検体採取による被検者へ侵襲をなくし、検体処理の過程で発生する時間や労力なく、病理医の診断時の負担を軽減するために、医師の診断を支援する内視鏡画像診断支援装置が求められている。
従来の内視鏡画像に基づき医師の診断を支援するための内視鏡画像診断支援装置としては、例えば、特許文献１に記載されているものが知られている。この装置は、大腸拡大内視鏡から得た内視鏡画像を数値化し、この数値化した情報を画像特徴量データベースの学習データに対してパターン認識し、その結果をもとに診断確率を計算して表示するものである。このほか、これと同様の装置は、特許文献２においても提案されている。
しかし、特許文献１、２に記載された装置は、大腸拡大内視鏡を用いるものであり、大腸拡大内視鏡は、光学式の約５００倍の拡大能を持つ顕微内視鏡であって、スコープに顕微装置がセットされている構造を有するものである。このため、特許文献１，２に記載された装置は、大腸内視鏡観察時の補助診断に用途が限定されていた。
また、特許文献１に記載された装置は、特徴値の抽出の学習過程において、過去の大腸拡大内視鏡画像から人手による試行錯誤を伴った探索によって得られた「ピットパターン分類」に当てはめて分類器を作成し、対象画像の特徴値を分類器に適用し、最近傍探索法による距離空間をもって診断を得ている。このため、特許文献１に記載された「ピットパターン」は、大腸拡大内視鏡に特化した生物学的特徴に過ぎず、様々な臓器の顕微内視鏡画像に適合したものではなかった。
このように、特許文献１に記載された装置は、大腸領域に限局しており、汎用性がないという問題があった。これは、特許文献２に記載された装置も同様であった。
一方、汎用性のある顕微内視鏡として、プローブ型共焦点レーザー顕微内視鏡が知られている。このプローブ型共焦点レーザー顕微内視鏡は、上部・下部消化管内視鏡、気管支鏡、喉頭鏡、胆道鏡、膵管鏡、膀胱鏡、膣鏡など各種スコープの鉗子孔や穿刺針を介して様々な対象物の顕微内視鏡像を撮像することが可能である。また、共焦点レーザーを用いることから、約１０００倍の表面から一定深度の深さの画像が得られる。そのため光学式顕微内視鏡で問題となる対象物表面の出血や粘液などの影響を受けにくい特性があり、信号に含まれる情報には有益なものが含まれていることが予想される。
しかし、プローブ型共焦点レーザー顕微内視鏡では、光学式の白色光を主体とした拡大画像が得られるわけではなく、レーザー光に対する組織内の蛍光信号が処理された画像信号が得られる。このため、いわゆる病理組織学的な構造を示す画像とは異なり、従来の組織画像と比し人が診断を行う場合は一定の訓練を要し、訓練によっても診断のばらつきが発生し、従来の診断技法以上の有益な情報が得られない可能性があった。
そこで、本発明は、プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像に基づいて、人による画像診断の訓練や教育によらず、また、大腸のピットパターンのような対象臓器の人手による試行錯誤を要する特徴値の抽出の学習過程を経ることなく、内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断することのできる、プローブ型共焦点レーザー顕微内視鏡画像診断支援装置を提供することを目的とする。
本発明のプローブ型共焦点レーザー顕微内視鏡画像診断支援装置は、プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断する自動診断手段を備え、前記自動診断手段は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成する分類器自動作成手段と、この分類器自動作成手段により自動作成された分類器により内視鏡画像を病理組織学上のいずれかの診断に分類する分類手段を備えたことを特徴とする。
また、前記分類器自動作成手段は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を取り込む学習用画像取り込み手段と、この学習用画像取り込み手段により得られた内視鏡画像を分割して数値化する数値化手段と、この数値化手段により得られた数値をもとに畳み込みニューラルネットワークにより特徴量の抽出を行う特徴量抽出手段と、この特徴量抽出手段により得られた特徴量を統計処理してもとの学習用の内視鏡画像に紐付けがなされた診断ごとに分類された特徴量データを作成する特徴量データ作成手段と、この特徴量データ作成手段で得られた特徴量データを格納する特徴量データ格納手段を備えたことを特徴とする。
本発明の内視鏡画像診断支援装置によれば、プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像に基づいて、人手による試行錯誤を要する特徴値の抽出の学習過程を経ることなく、内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断することができる。
本発明の内視鏡画像診断支援装置の実施例について、添付した図面を参照しながら説明する。
装置の構成を示す図１において、10は自動診断手段であり、内視鏡１から取り込んだ内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断し、診断結果をディスプレイなどの表示手段２に出力して表示させるようになっている。なお、自動診断手段10は、コンピュータプログラムにより構成されている。また、本実施例の内視鏡１は、プローブ型共焦点レーザー顕微内視鏡であり、得られる内視鏡画像はデジタル画像である。
自動診断手段10は、分類器自動作成手段20と分類手段30を備えている。分類器自動作成手段20は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成するように構成されている。そして、分類手段30は、分類器自動作成手段20により自動作成された分類器により内視鏡画像を病理組織学上のいずれかの診断に分類するように構成されている。
分類器自動作成手段20は、図２に示すように、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を取り込む学習用画像取り込み手段21と、学習用画像取り込み手段21により得られた画像を分割して数値化する数値化手段22と、数値化手段22により得られた数値をもとに畳み込みニューラルネットワークにより特徴量の抽出を行う特徴量抽出手段23と、特徴量抽出手段23により得られた特徴量を統計処理してもとの学習用の内視鏡画像に紐付けがなされた診断ごとに分類された特徴量データを作成する特徴量データ作成手段24と、特徴量データ作成手段24で得られた特徴量データを格納する特徴量データ格納手段25を備えている。ここで、学習用の内視鏡画像に紐付けがなされる病理学上の診断は、臓器や対象疾患に限定されるものではないが、例えば、「癌」と「非癌」、「ピロリ菌感染」と「ピロリ菌未感染」、「炎症活動期」と「炎症寛解期」などが挙げられる。
特徴量抽出手段23において用いられる畳み込みニューラルネットワークは、深層学習による機械学習を行うものであり、例えば、Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, Gradient-based learning applied to document recognition. Proc. of the IEEE, pages 2278-2324,1998.及び、M. Lin, Q. Chen, and S. Yan, Network in network, ICLR 2014に記載の既知の技術を用いることができる。畳み込みニューラルネットワークを用いることで、従来は人手を介して行う必要があった特徴量の抽出をすべて機械学習にて行うようになっている。
分類手段30は、図３に示すように、プローブ型共焦点レーザー顕微内視鏡から内視鏡画像を取り込む画像取り込み手段31と、画像取り込み手段31により得られた画像を分割して数値化する数値化手段32と、数値化手段32により得られた数値と分類器自動作成手段20の特徴量データ格納手段25に格納された特徴量データを比較して数値化手段32により得られた数値と最も類似した特徴量データを検索する類似特徴量検索手段33と、類似特徴量検索手段33により得られた特徴量データに対して数値化手段32により得られた数値をパターン認識して診断確率を計算する診断確率計算手段34を備えている。
つぎに、本実施例の装置の動作について説明する。
分類器自動作成手段20は、学習用画像取り込み手段21において、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を取り込む。つぎに、数値化手段22において、学習用画像取り込み手段21により得られた画像を分割して数値化する。ここで、内視鏡画像は、診断の分類ごとに、畳み込みニューラルネットワークにインプットされ、画像の各ノードは２０個程度の正方形小画像に分割され、それぞれの小画像はウェーブレット変換などの数値化変換により数値化される。
そして、特徴量抽出手段23において、数値化手段22により得られた数値をもとに畳み込みニューラルネットワークにより特徴量の抽出を行う。この特徴量の抽出の過程では、畳み込みニューラルネットワークの畳み込み層、プーリング層を経たのちに特徴量である数値が得られる。
なお、畳み込みニューラルネットワークは、深層学習技術の一つでもあり、全結合していない順伝播型ニューラルネットワークで、畳み込み層を通常の活性化関数でつないでいく方法である。全結合しているニューラルネットワークに比べ高速に学習できるメリットがある。そして、畳み込みニューラルネットワークは、画像の局所的な特徴量の抽出を担う畳み込み層と、局所ごとに特徴量をまとめあげるプーリング層（サブサンプリング層）を繰り返した構造となっている。畳み込みフィルターのパラメータは、画像中のすべての場所で共有されるため、単純な全結合ネットワークに比べ大きくパラメータ数が減っている。また、プーリング層を交えることで、さらにパラメータ数を削減すると同時に、一般物体認識において必要不可欠である入力の平行移動に対する不変性を段階的に加えることができる。直感的には、入力の解像度を少しずつ落としながら異なるスケールで隣接する特徴の共起をとり、識別に有効な情報を選択的に上層へ渡していくネットワークであると解釈できる。
その後、特徴量データ作成手段24において、特徴量抽出手段23により得られた特徴量を統計処理してもとの学習用の内視鏡画像に紐付けがなされた診断ごとに分類された特徴量データを作成する。なお、ここでは、統計処理により、分類及び外れ値処理が行われる。
そして、特徴量データ格納手段25において、特徴量データ作成手段24で得られた特徴量データを格納する。
以上のようにして、分類器自動作成手段20は、診断ごとに分類された特徴量データを、畳み込みニューラルネットワークを用いて自動的に作成する。この自動作成された特徴量データは、分類手段30によって内視鏡画像の分類器として使用される。すなわち、分類器自動作成手段20は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて、畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成する。この分類器の性能である分類精度（classification accuracy）は、分類手段30に評価用の内視鏡画像を与えて診断を予測させることにより、評価することができる。正確な診断を行うためには、評価用の内視鏡画像を用いて、分類器の性能を予め確認しておくことが望ましい。
なお、上記の分類器の作成過程中の細部の処理として、例えば、線形ＳＶＭを学習させて分類器を作成してもよい。また、分類器作成過程で過学習とよばれる現象の発生を抑えるために、ファインチューニングとよばれる適正化を行ってもよい。ファインチューニングでは、バックプロパゲーションを用いてネットワーク全体の重みの微調整を行う教師あり学習を行うことができる。
分類手段30は、画像取り込み手段31において、プローブ型共焦点レーザー顕微内視鏡から内視鏡画像を取り込む。つぎに、数値化手段32において、画像取り込み手段31により得られた画像を分割して数値化する。ここで、内視鏡画像は、畳み込みニューラルネットワークにインプットされ、画像の各ノードは２０個程度の正方形小画像に分割され、それぞれの小画像はウェーブレット変換などの数値化変換により数値化される。
そして、類似特徴量検索手段33において、数値化手段32により得られた数値と分類器自動作成手段20の特徴量データ格納手段25に格納された特徴量データを比較して数値化手段32により得られた数値と最も類似した特徴量データを検索する。ここで検索された特徴量データが分類されている診断が、診断結果となる。
なお、特徴量データの検索においては、最近隣近傍法が用いられる。最近隣近傍法とは、最も近くで、予め決められた閾値より小さい距離のデータを検索するパターン認識の手法である。
その後、診断確率計算手段34において、類似特徴量検索手段33により得られた特徴量データに対して数値化手段32により得られた数値をパターン認識して診断確率を計算する。このパターン認識においても、最近隣近傍法が用いられる。その結果は表示手段２に出力される。
以上のようにして、分類手段30は、分類器自動作成手段20により自動作成された分類器により内視鏡画像を病理組織学上のいずれかの診断に分類する。
このように、本実施例の装置によれば、人手による試行錯誤を要する特徴値の抽出の学習過程を経ることなく、内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断することができる。また、プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像に基づいて、病理組織学上のいずれの診断に分類されるかを自動診断することができる。このため、医師などが内視鏡検査時や手術施行時にプローブ型共焦点レーザー顕微内視鏡画像を用いて臓器の表面構造を診断しようとする際に、その部分画像が病理組織学上のどの分類で、それがどれくらいの確率であるかをリアルタイムに表示することにより、診断支援とすることができる。また、これにより、疾患部分の見落としを少なくし、検査者の能力にかかわらず、質の高い客観的診断を提供し、誤診の回避や正確な治療や手術が可能となる。
また、特徴量抽出手段23において、畳み込みニューラルネットワークによる深層学習、機械学習により特徴量の抽出を行うため、分類器を作成するに足る内視鏡画像さえあれば、臓器や部位、疾患に関係なく、それぞれの臓器や部位、疾患について適切な特徴量を抽出した様々な種類の分類器を作成することができる。また、実臨床で有効な分類方法が試行錯誤を経て人により考案されていなくとも、紐付けされた分類に沿った何らかの特徴値を抽出することができ、診断基準を作成する上で画像そのものの人為的な分類作業を必要としない。このため、多施設での画像情報を収集して用いることができるほか、分類器を開発する時間を短縮することができる。また、ネットワーク上の仮想空間での情報管理により他施設共同研究や国際的研究など幅広い利用も可能である。
また、本実施例のプローブ型共焦点レーザー顕微内視鏡により得られる内視鏡画像は原則単色であって、画像の前処理としてＲＧＢフィルターを必要とせず２値化されており、画像処理の関心領域の抽出もプローブ画素数よりに厳格に規定済みで画像処理における関心領域の設定を省略することができる。プローブ型共焦点レーザーの特性より対象物表面の粘液や血液などの撮影環境の影響も受けにくい。また、立体的な画像ではなく、平面的な単一の規格化された画像であり、これにより、従来の内視鏡画像診断に必要とされる大規模な学習用の内視鏡画像教材の作成を必要とせず、比較的小規模の教材であっても分類器の分類精度の向上が可能となる。この特性により演算処理速度を向上させ、装置を小型化することができる。
さらには、検診時の生検組織学的検査を、本実施例の装置を用いた非侵襲性の検査として代替することで、検査精度の向上や検査時の身体的な負担の軽減が期待できる。また、手術時の迅速組織学的検索の一部を、本実施例の装置を用いた検索に代替することで、手術時間の短縮や手術精度の向上が期待できる。これにより、病理診断医の負担軽減つながる可能性がある。
本実施例のプローブ型共焦点レーザー顕微内視鏡画像診断支援装置を実際の診断に適用した結果を以下に示す。なお、装置の作成にはC++言語のプログラムのオープンソースのcaffeを用いた。
（早期胃癌での検証）
学習教材はESD対象の早期胃癌20症例24病変よりプローブ型共焦点レーザー顕微画像は正常41枚、病変47を作成。試験教材は学習教材とは別に構成し、作成した分類器を検証した。精度（accuracy）66.4％の分類器が作成可能であった。試験教材での感度60%、特異度100%、陰性的中率71.4%、陽性的中率100%であった。それぞれの診断時の確率（probability）は癌で平均0.602、正常で平均0.91であった。
学習教材はESD対象の早期胃癌20症例24病変よりプローブ型共焦点レーザー顕微画像は正常41枚、病変47を作成。試験教材は学習教材とは別に構成し、作成した分類器を検証した。精度（accuracy）66.4％の分類器が作成可能であった。試験教材での感度60%、特異度100%、陰性的中率71.4%、陽性的中率100%であった。それぞれの診断時の確率（probability）は癌で平均0.602、正常で平均0.91であった。
きわめて少ない学習教材でありながら、一定の診断が可能であった。特異度と陽性的中率は好成績であった。
（胆管癌での検証）
胆管癌症例にて学習教材画像を正常49枚、癌部23枚作成した。試験教材は学習教材とは別に正常部6枚、癌部14枚で構成し、作成した分類器にて検証した。
胆管癌症例にて学習教材画像を正常49枚、癌部23枚作成した。試験教材は学習教材とは別に正常部6枚、癌部14枚で構成し、作成した分類器にて検証した。
作成した分類器の精度（accuracy）は69.8％。試験教材を用いた分類器の癌診断の感度50%、特異度100%、陰性的中率53.8%、陽性的中率100%であった。
きわめて少ない学習教材でありながら、一定の診断が可能であった。特異度と陽性的中率は好成績であった。
10 自動診断手段
20 分類器自動作成手段
21 学習用画像取り込み手段
22 数値化手段
23 特徴量抽出手段
24 特徴量データ作成手段
25 特徴量データ格納手段
30 分類手段
20 分類器自動作成手段
21 学習用画像取り込み手段
22 数値化手段
23 特徴量抽出手段
24 特徴量データ作成手段
25 特徴量データ格納手段
30 分類手段
Claims (2)
- プローブ型共焦点レーザー顕微内視鏡から得られた内視鏡画像が病理組織学上のいずれの診断に分類されるかを自動診断する自動診断手段を備え、前記自動診断手段は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成する分類器自動作成手段と、この分類器自動作成手段により自動作成された分類器により内視鏡画像を病理組織学上のいずれかの診断に分類する分類手段とを備えたことを特徴とするプローブ型共焦点レーザー顕微内視鏡画像診断支援装置。
- 前記分類器自動作成手段は、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を取り込む学習用画像取り込み手段と、この学習用画像取り込み手段により得られた内視鏡画像を分割して数値化する数値化手段と、この数値化手段により得られた数値をもとに畳み込みニューラルネットワークにより特徴量の抽出を行う特徴量抽出手段と、この特徴量抽出手段により得られた特徴量を統計処理してもとの学習用の内視鏡画像に紐付けがなされた診断ごとに分類された特徴量データを作成する特徴量データ作成手段と、この特徴量データ作成手段で得られた特徴量データを格納する特徴量データ格納手段を備えたことを特徴とする請求項１記載のプローブ型共焦点レーザー顕微内視鏡画像診断支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017133235A JP6710853B2 (ja) | 2017-07-07 | 2017-07-07 | プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017133235A JP6710853B2 (ja) | 2017-07-07 | 2017-07-07 | プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019013461A true JP2019013461A (ja) | 2019-01-31 |
| JP6710853B2 JP6710853B2 (ja) | 2020-06-17 |
Family
ID=65357805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017133235A Active JP6710853B2 (ja) | 2017-07-07 | 2017-07-07 | プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6710853B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126474A (zh) * | 2019-12-18 | 2020-05-08 | 山东大学齐鲁医院 | 共聚焦激光显微内镜消化道图像识别方法及系统 |
| US11450079B2 (en) | 2019-03-08 | 2022-09-20 | Fujifilm Corporation | Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016087370A (ja) * | 2014-11-04 | 2016-05-23 | 株式会社スタットラボ | 大腸拡大内視鏡画像診断支援装置 |
| WO2016144341A1 (en) * | 2015-03-11 | 2016-09-15 | Siemens Aktiengesellschaft | Systems and methods for deconvolutional network based classification of cellular images and videos |
| WO2017023569A1 (en) * | 2015-08-04 | 2017-02-09 | Siemens Aktiengesellschaft | Visual representation learning for brain tumor classification |
| JP2017520864A (ja) * | 2014-04-09 | 2017-07-27 | エントルピー インコーポレーテッドＥｎｔｒｕｐｙ Ｉｎｃ． | 微視的差異からの機械学習を使用する物体の真贋鑑定 |
-
2017
- 2017-07-07 JP JP2017133235A patent/JP6710853B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017520864A (ja) * | 2014-04-09 | 2017-07-27 | エントルピー インコーポレーテッドＥｎｔｒｕｐｙ Ｉｎｃ． | 微視的差異からの機械学習を使用する物体の真贋鑑定 |
| JP2016087370A (ja) * | 2014-11-04 | 2016-05-23 | 株式会社スタットラボ | 大腸拡大内視鏡画像診断支援装置 |
| WO2016144341A1 (en) * | 2015-03-11 | 2016-09-15 | Siemens Aktiengesellschaft | Systems and methods for deconvolutional network based classification of cellular images and videos |
| WO2017023569A1 (en) * | 2015-08-04 | 2017-02-09 | Siemens Aktiengesellschaft | Visual representation learning for brain tumor classification |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11450079B2 (en) | 2019-03-08 | 2022-09-20 | Fujifilm Corporation | Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device |
| CN111126474A (zh) * | 2019-12-18 | 2020-05-08 | 山东大学齐鲁医院 | 共聚焦激光显微内镜消化道图像识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6710853B2 (ja) | 2020-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6998474B2 (ja) | 生体組織のコンピュータ分類 | |
| CN109670510B (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统 | |
| US20210191094A1 (en) | Real-time Pathological Microscopic Image Collection and Analysis System, Method and Device and Medium | |
| US20180263568A1 (en) | Systems and Methods for Clinical Image Classification | |
| CN110335241B (zh) | 肠镜检查后对肠道准备自动进行评分的方法 | |
| KR102531400B1 (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
| KR20230097646A (ko) | 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 | |
| WO2022041222A1 (en) | Process and system for image classification | |
| JP6580446B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN114372951A (zh) | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 | |
| Désir et al. | An SVM-based distal lung image classification using texture descriptors | |
| Xu et al. | Upper gastrointestinal anatomy detection with multi‐task convolutional neural networks | |
| Seok et al. | The semantic segmentation approach for normal and pathologic tympanic membrane using deep learning | |
| Tran et al. | Support of deep learning to classify vocal fold images in flexible laryngoscopy | |
| JP2016154810A (ja) | 画像処理装置及び画像処理方法 | |
| Shrivastava et al. | Deep learning for visual recognition of environmental enteropathy and celiac disease | |
| JP2022126373A (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システム | |
| Do et al. | Supporting thyroid cancer diagnosis based on cell classification over microscopic images | |
| JP6710853B2 (ja) | プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 | |
| CN113570592A (zh) | 肠胃病检测和模型训练方法、装置、设备及介质 | |
| Li et al. | Computer-aided Diagnosis (CAD) for cervical cancer screening and diagnosis: a new system design in medical image processing | |
| Shi et al. | Ammonia-net: a multi-task joint learning model for multi-class segmentation and classification in tooth-marked tongue diagnosis | |
| JP6879520B2 (ja) | 画像処理装置及び画像処理方法 | |
| Gatoula et al. | Enhanced CNN-based gaze estimation on wireless capsule endoscopy images | |
| Abinaya et al. | A systematic review: Intellectual detection and prediction of cancer using dl techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200428 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200428 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6710853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |