JP2022180419A - 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 - Google Patents
画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 Download PDFInfo
- Publication number
- JP2022180419A JP2022180419A JP2022141451A JP2022141451A JP2022180419A JP 2022180419 A JP2022180419 A JP 2022180419A JP 2022141451 A JP2022141451 A JP 2022141451A JP 2022141451 A JP2022141451 A JP 2022141451A JP 2022180419 A JP2022180419 A JP 2022180419A
- Authority
- JP
- Japan
- Prior art keywords
- image
- analysis
- deep learning
- data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 137
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003703 image analysis method Methods 0.000 title claims abstract description 44
- 238000004519 manufacturing process Methods 0.000 title claims description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 160
- 210000001519 tissue Anatomy 0.000 claims abstract description 153
- 210000003855 cell nucleus Anatomy 0.000 claims abstract description 129
- 238000013528 artificial neural network Methods 0.000 claims abstract description 111
- 210000004027 cell Anatomy 0.000 claims abstract description 70
- 238000010191 image analysis Methods 0.000 claims description 114
- 238000003384 imaging method Methods 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 43
- 239000003086 colorant Substances 0.000 claims description 41
- 238000003745 diagnosis Methods 0.000 claims description 17
- 238000002073 fluorescence micrograph Methods 0.000 claims description 17
- 238000012758 nuclear staining Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 47
- 238000010186 staining Methods 0.000 description 24
- 208000005718 Stomach Neoplasms Diseases 0.000 description 20
- 206010017758 gastric cancer Diseases 0.000 description 20
- 201000011549 stomach cancer Diseases 0.000 description 20
- 238000001514 detection method Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 10
- 238000011478 gradient descent method Methods 0.000 description 6
- 230000001575 pathological effect Effects 0.000 description 6
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 5
- 238000012333 histopathological diagnosis Methods 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 210000004940 nucleus Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000834 fixative Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 102000004856 Lectins Human genes 0.000 description 1
- 108090001090 Lectins Proteins 0.000 description 1
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 208000006994 Precancerous Conditions Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 210000003567 ascitic fluid Anatomy 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 238000005119 centrifugation Methods 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 239000002523 lectin Substances 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 210000004962 mammalian cell Anatomy 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
Description
造方法に関する。より詳細には、組織または細胞の画像の任意の位置について、細胞核の
領域を示すデータを生成することを含む画像解析方法に関する。
状態の4つのグループに分類し、判定する画像診断支援装置が開示されている。画像分類
手段は、画像データから注視領域を抽出し、注視領域の特徴を示す特徴量を算出し、算出
した特徴量に基づいてグループの分類を行う。特徴量は、細胞核における単位面積あたり
の塊の密度、塊面積の密度、塊の面積、塊の太さ、および塊の長さなどである。画像判定
手段は、このような特徴量と判定結果との関係を学習し、学習済みの学習パラメータに基
づいて判定を行う。学習は、サポートベクターマシンなどの学習アルゴリズムを用いて、
機械学習を実行する。
れる。また病理組織診断は、手術中に悪性腫瘍を含む組織の切除部位を決定するための術
中迅速診断として行われることも少なくない。術中迅速診断は、手術中に患者の患部を切
開した状態で待機させ、腫瘍が悪性であるか、切除した組織の断端に腫瘍が残っていない
か、リンパ節転移があるか等の判断を病理組織診断により行うものである。術中迅速診断
の結果により、待機している患者のその後の手術の方向性が決められる。
組織標本の観察により正確な確定診断を行えるようになるためには、長い期間、熟練した
病理専門医の元で、様々な症例の組織標本の観察を繰り返す必要があり、病理医の育成に
も膨大な時間を要している。
遅れ、治療開始が遅れる、あるいは確定診断を待たずに治療を開始するという状態も危惧
されている。また、通常の組織診断と術中迅速診断との両方が、少ない病理医に集中する
ために、一人の病理医の業務量が膨大となり、病理医自身の労務状態も問題となっている
。しかし、現在のところこの問題の解消策は見つかっていない。
人の目による判断に近いほど、病理医不足の解消、及び病理医の労務状態の改善に大きく
貢献すると考えられる。
では、機械学習による画像解析に基づいて標本組織の病理判定を行っている。この方法で
は、特徴量を人の手で作成する必要がある。特徴量を人の手で作成する方法には、その人
の力量が画像解析の性能に大きく影響を与えるという問題がある。
核の状態であり、細胞核1つ1つの大きさや形態、並びに複数の細胞核の配列状態等から
、良性腫瘍と悪性腫瘍を区別する。このため、病理組織診断において、細胞核を精度よく
抽出できることは非常に重要であり、組織診断および細胞診断の根幹となる。
解析方法を提供することを課題とする。
ーラルネットワーク構造の深層学習アルゴリズム(60)を用いて、組織または細胞の画
像を解析する画像解析方法であって、解析対象の組織または細胞を含む解析対象画像(7
8)から解析用データ(80)を生成し(S21からS23)、解析用データ(80)を
、深層学習アルゴリズム(60)に入力し(S24)、深層学習アルゴリズム(60)に
よって、解析対象画像(78)における細胞核の領域を示すデータ(82,83)を生成
する(S25からS28)。これにより、組織または細胞の画像の任意の位置について、
細胞核の領域を示すデータを生成することが可能となる。
らなる色相を含むか、2以上の原色を組み合わせた色相(R,G,B)を含むことが好ま
しい。
らなる色相を含むか、2以上の原色を組み合わせた色相(R,G,B)を含むことが好ま
しい。
して提示するためのデータであることが好ましい。
を示すデータであることが好ましい。
域か否かを判定することが好ましい。
0)を生成することが好ましい。これにより、ニューラルネットワーク(60)の判別精
度を向上させることが可能となる。
毎に生成され、深層学習アルゴリズム(60)は、入力された解析用データ(80)に対
し所定画素に対し細胞核の領域か否かを示すラベルを生成することが好ましい。これによ
り、ニューラルネットワーク(60)の判別精度を向上させることが可能となる。
0)の所定画素数と組み合わせた原色の数との積に対応していることが好ましい。これに
より、ニューラルネットワーク(60)の判別精度を向上させることが可能となる。
視野下で撮像した画像であることが好ましい。
取された組織試料の標本または個体から採取された細胞を含む試料の標本に対して明視野
観察用染色を施して調製された標本の染色像を顕微鏡の明視野下で撮像した明視野画像(
70)、および標本に対応する、または同一の標本に蛍光核染色を施して調製された標本
の染色像を蛍光顕微鏡の蛍光観察下で撮像した細胞核の蛍光画像(71)であって、蛍光
画像(71)の標本内での位置は取得された明視野画像(70)の標本内での位置に対応
する蛍光画像(71)、に基づいて生成されていることが好ましい。
色であり、標本が細胞を含む試料の標本である場合、明視野観察用染色が、パパニコロウ
染色であることが好ましい。
細胞核の領域を示すラベル値を含むことが好ましい。これにより、細胞核の領域を示すラ
ベル値をニューラルネットワーク(50)に学習させることが可能となる。
。これにより、細胞核の領域を示すラベル値をニューラルネットワーク(50)に学習さ
せることが可能となる。
いることが好ましい。これにより、細胞核の領域を示すラベル値を、高い精度でニューラ
ルネットワーク(50)に学習させることが可能となる。
含まれる細胞核の領域を示すクラスに分類することが好ましい。これにより、解析対象の
組織画像や細胞を含む画像の任意の位置について、細胞核の領域と、それ以外の領域とに
分類することが可能となる。
数とするノードであることが好ましい。これにより、ニューラルネットワーク(60)が
、解析対象の組織画像や細胞を含む画像の任意の位置を、有限個のクラスに分類すること
が可能となる。
画像(78)に含まれる細胞核の領域であるか否かを示すデータ(82)を単位画素毎に
生成することが好ましい。これにより、解析対象の組織画像や細胞を含む画像の単位画素
(1画素)毎に、細胞核の領域と、それ以外の領域とに分類することが可能となる。
て生成されていることが好ましい。これにより、解析対象の組織画像や細胞を含む画像の
種別に応じて深層学習アルゴリズム(60)を使い分けることが可能となり、ニューラル
ネットワーク(60)の判別精度を向上させることが可能となる。
ズム(60)の中から選択された、試料の種類に対応する深層学習アルゴリズム(60)
を用いて、解析用データ(80)を処理することが好ましい。これにより、解析対象の組
織画像や細胞を含む画像の種別に応じて深層学習アルゴリズム(60)を使い分けること
が可能となり、ニューラルネットワーク(60)の判別精度を向上させることが可能とな
る。
A)は、ニューラルネットワーク構造の深層学習アルゴリズム(60)を用いて、組織ま
たは細胞の画像を解析する画像解析装置であって、解析対象の組織または細胞を含む解析
対象画像(78)から解析用データ(80)を生成し、解析用データ(80)を、深層学
習アルゴリズム(60)に入力し、深層学習アルゴリズム(60)によって、解析対象画
像(78)における細胞核の領域を示すデータ(82,83)を生成する処理部(20A
)、を備える。これにより、組織画像や細胞を含む画像の任意の位置が細胞核の領域であ
るか否かを示すデータを生成することが可能となる。
タプログラムは、ニューラルネットワーク構造の深層学習アルゴリズム(60)を用いて
、組織または細胞の画像を解析するコンピュータプログラムであって、コンピュータに、
解析対象の組織または細胞を含む解析対象画像(78)から解析用データ(80)を生成
する処理と、解析用データ(80)を、深層学習アルゴリズム(60)に入力する処理と
、深層学習アルゴリズム(60)によって、解析対象画像(78)における細胞核の領域
を示すデータ(82,83)を生成する処理と、を実行させるプログラムである。これに
より、組織または細胞の画像の任意の位置について、細胞核の領域を示すデータを生成す
ることが可能となる。
いて、学習済み深層学習アルゴリズム(60)の製造方法は、組織または細胞を撮像した
第1の訓練用画像(70)に対応する第1の訓練データ(72r,72g,72b)を取
得する第1の取得ステップと、第1の訓練用画像(70)における細胞核の領域を示す第
2の訓練用画像(71)に対応する第2の訓練データ(73)を取得する第2の取得ステ
ップと、第1の訓練データ(72r,72g,72b)と、第2の訓練データ(73)と
の関係をニューラルネットワーク(50)に学習させる学習ステップ(S13からS19
)と、を含む。これにより、組織または細胞の画像の任意の位置について、細胞核の領域
を示すデータを生成するための、深層学習アルゴリズムを製造することが可能となる。
力層(50a)とし、第2の訓練データ(73)をニューラルネットワーク(50)の出
力層(50b)とすることが好ましい。
,72g,72b)を生成するステップ(S11)をさらに含み、第2の取得ステップの
前に、第2の訓練用画像(71)から第2の訓練データ(73)を生成するステップ(S
12)をさらに含むことが好ましい。これにより、組織または細胞の画像の任意の位置に
ついて、細胞核の領域を示すデータを生成するための、深層学習アルゴリズムを製造する
ことが可能となる。
細胞を含む試料に対して明視野観察用染色を施して調製された標本の染色像を顕微鏡の明
視野下で撮像した明視野画像(70)であり、第2の訓練用画像(71)が、標本に蛍光
核染色を施して調製された標本の染色像を顕微鏡の蛍光観察下で撮像した蛍光画像(71
)であって、蛍光画像(71)の標本内での位置は取得された明視野画像(70)の標本
内での位置に対応する蛍光画像(71)であることが好ましい。
済み深層学習アルゴリズム(60)は、第1の訓練データ(72r,72g,72b)を
ニューラルネットワーク(50)の入力層(50a)とし、第2の訓練データ(73)を
ニューラルネットワーク(50)の出力層(50b)として学習させた深層学習アルゴリ
ズム(60)であって、第1の訓練データ(72r,72g,72b)は、組織または細
胞を撮像した第1の訓練用画像(70)から生成され、第2の訓練データ(73)は、第
1の訓練用画像における細胞核の領域を示す。
ータを生成することができる。
、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし
、よって、同じまたは類似の構成要素に関する説明を省略する。
ワーク構造の深層学習アルゴリズムを用いる画像解析方法に関する。
本から取得される画像である。組織試料の標本または細胞を含む試料の標本は、個体から
採取されている。個体は、特に制限されないが、好ましくは哺乳類であり、より好ましく
はヒトである。前記個体から試料が採取される際に、個体が生きているか死亡しているか
は問わない。前記組織は、個体内に存在するものである限り、制限されない。前記個体か
ら採取された組織としては、外科的な切除組織、生検組織等を挙げることができる。前記
細胞を含む試料は、個体から採取されたものである限り、制限されない。例えば、喀痰、
胸水、腹水、尿、脳脊髄液、骨髄、血液、のう胞液等を挙げることができる。
した状態のもの、例えばプレパラートを意図する。前記標本は、公知の方法に従って調製
することができる。例えば、組織標本の場合には、前記個体から組織を採取した後に、所
定の固定液(ホルマリン固定等)で組織を固定し、その固定組織をパラフィン包埋し、パ
ラフィン包埋組織を薄切する。薄切切片をスライドグラスにのせる。切片がのったスライ
ドグラスに対して光学顕微鏡での観察のため、すなわち明視野観察のための染色を施し、
所定の封入処理をして標本が完成する。組織標本の典型例は、組織診断用標本(病理標本
)であり、染色は、へマトキシリン・エオジン(HE)染色である。
てスライドグラス上に付着させ、所定の固定液(エタノール等)で固定し、明視野観察用
の染色を施し、所定の封入処理をして標本が完成する。細胞を含む試料の標本の典型例は
、細胞診断用標本(細胞診標本)であり、染色は、パパニコロウ染色である。前記細胞診
断用標本には、前記組織標本用に採取された組織の捺印標本も含まれる。
組織細胞染色において核染色剤として幅広く使用されている(例えば、免疫染色、レクチ
ン染色、糖染色、脂肪染色、膠原線維染色等)。このため、本発明は、このようなヘマト
キシリンを核染色に使う標本全般において、適用が可能である。
(第1の訓練用画像)は、個体から採取された組織試料の標本または個体から採取された
細胞を含む試料の標本に含まれる、組織または細胞を含む画像である。この画像は、顕微
鏡観察により、組織構造または細胞構造が認識できるように染色された標本から取得され
る。前記染色は、組織構造または細胞構造が認識できる限り制限されないが、好ましくは
明視野観察用の染色である。前記明視野観察用染色は、少なくとも細胞核と細胞核以外の
部位が、色相で区別可能に染色できる限り制限されない。前記標本が哺乳類の組織標本で
ある場合には、例えば、HE染色を挙げることができる。また、例えば、前記標本が哺乳
類の細胞を含む標本である場合には、パパニコロウ染色を挙げることができる。
核領域であるかを示す、すなわち「細胞核領域である」という正解が第1の訓練用画像の
どこの領域であるかを示す画像である。この画像は、第1の訓練用画像を取得した標本と
同一の標本、または第1の訓練用画像を取得した標本に対応する標本(例えば、連続切片
標本)に対して、細胞核を選択的に染色する蛍光核染色を施し、撮像された画像である。
前記蛍光核染色としては、制限されないが、4',6-diamidino-2-phenylindole(DAPI)染
色を挙げることができる。
0を、第2の訓練用画像としてDAPI染色された組織であって、第1の訓練用画像70
に示されている標本の位置に対応する標本の位置の第2の訓練用画像71をそれぞれ用い
る。画像解析処理時に使用する解析対象の解析用データとして、図3に示す第1の訓練用
画像と同じ明視野用染色が施された組織の解析対象画像78を用いる。ニューラルネット
ワーク50に正解として学習させる判別対象は、組織標本または細胞を含む標本内に含ま
れる細胞核の領域である。
れる細胞核の領域を、深層学習アルゴリズムによって判別する場合を一例として説明する
。
以下ではまず、深層学習方法および画像解析方法の概要について説明する。次に、本発
明の複数の実施形態のそれぞれについて、詳細に説明する。
図1に示すように、深層学習方法では、上述した第1の訓練用画像および第2の訓練用
画像のそれぞれから生成される訓練データを用いる。第1の訓練用画像は、HE染色した
標本を顕微鏡の明視野観察下で例えばカラー画像として撮像しているため、第1の訓練用
画像には複数の色相が含まれる。
バーチャルスライドスキャナ等の画像取得装置を用いて、予め取得することができる。例
示的には、本実施形態において画像取得装置から取得されるカラー撮像は、カラースペー
スがRGBの24ビットカラーであることが好ましい。RGBの24ビットカラーでは、
赤色、緑色および青色のそれぞれの濃さ(色濃度)を、8ビット(256段階)で表すこ
とが好ましい。第1の訓練用画像(明視野画像)70は、1以上の原色を含む画像であれ
ばよい。
組み合わせで規定される。第1の訓練データは、第1の訓練用画像70から生成される、
第1の訓練用画像70に現れる色相を個々の原色に分離して原色毎に生成し、その濃度に
応じた符号で表されたデータである。図1では光の3原色である赤(R)、緑(G)、青
(B)の原色毎に分離した単一色の画像72R,72G,72Bを得る。
、画像全体をR、G、B毎の各画像について、画素毎の色濃度に対応した符号化図72r
,72g,72bとなる。色濃度は、各色256段階を示す数値で符号化しても良い。ま
た、色濃度は、各色256段階を示す数値に対して、さらに前処理を行って、各画素にお
ける色濃度を例えば、値0から値7の8段階で示す数字で符号化してもよい。図1に例示
的に示すR、G、B各色の単一色画像における色濃度符号化図72r,72g,72bは
、各画素における色濃度を値0から値7の8段階(階調で表すと3階調)の符号で表して
いる。色濃度を示す符号は、本明細書において色濃度値ともいう。
以上のグレースケールで撮像またはカラー撮像した画像である。第2の訓練用画像71は
、例えば公知の蛍光顕微鏡またはバーチャルスライドスキャナ等明視野画像取得装置を用
いて、予め取得することができる。
、学習対象の組織の細胞核の領域を示す真値像73である。第1の訓練用画像70および
第2の訓練用画像71は、標本上の組織の同じ領域または対応する領域を撮像した画像で
ある。
71を、二値化処理により白黒の蛍光画像としてデータ化し、真値像73としてニューラ
ルネットワーク50に正解として学習させる。ニューラルネットワーク60に判別させる
対象が、細胞核の領域である場合、真値像73は、細胞核の領域すなわち正解を示すデー
タである。第2の訓練用画像71が二値化されることにより、細胞核の領域とそれ以外の
領域とが区別され、細胞核の領域が判別される。細胞核の領域またはそれ以外の領域のい
ずれであるかの判断は、例えば、画像内の各画素の色濃度を、所定の条件(例えば、色濃
度のしきい値)と比較することにより行う。
う)および真値像73(第2の訓練データともいう)を訓練データ74として、色濃度符
号化図72r,72g,72bを入力層50aとし、真値像73を出力層50bとするニ
ューラルネットワーク50に学習させる。すなわち、R、G、B各色の色濃度符号化図7
2r,72g,72bと真値像73とのペアを、ニューラルネットワーク50の学習の訓
練データ74として使用する。
タ74は、R、G、B各色の色濃度符号化図72r,72g,72bと真値像73とを組
み合わせたデータである。訓練データ74は、図2(a)では、その画像サイズ(訓練デ
ータ1つあたりの大きさ)が説明の便宜のために簡素化されており、色濃度符号化図72
r,72g,72bおよび真値像73が、縦方向9画素および横方向9画素の合計81画
素を有する。
す3つの値74aが、各画素におけるR、G、B各色の濃度値である。例示的には、3つ
の値は、赤(R)、緑(G)および青(B)の順序で格納されている。色濃度符号化図7
2r,72g,72bの各画素は、色濃度値が値0から値7の8段階で示されている。こ
れは、画像の前処理の一例として、撮像された際に256段階で表されている各色の画像
72R,72G,72Bの明るさを、8段階の色濃度値にそれぞれ変換する処理である。
色濃度値は、例えば最も低い明るさ(RGBカラー256段階で表した時の輝度値が低い
階調群)を色濃度値0とし、明るさの程度が高くなるに従い徐々に高い値を割り当ててゆ
き、最も高い明るさ(RGBカラー256段階で表した時の輝度値が高い階調群)を色濃
度値7とする。図2(b)中の下段に示す値74bが、真値像73の二値データである。
真値像73の二値データ74bはラベル値とも呼ぶ。例えばラベル値1は細胞核の領域を
示し、ラベル値0はそれ以外の領域を示すこととする。すなわち、図1に示す真値像73
において、ラベル値が1から0に変化する画素または0から1に変化する画素の位置が、
細胞核の領域とそれ以外の領域との境界に相当する。
の領域(以下、「ウィンドウサイズ」と記載する)を切り出したデータである。ウィンド
ウサイズの訓練データ75も、説明の便宜のために3×3画素に簡素化して示すが、実際
の好ましいウィンドウサイズは、例示的には113×113画素程度であり、その中に正
常の胃上皮細胞の核が3×3個程度入る大きさが、学習効率の点から好ましい。例えば、
図2(c)に示すように、3×3画素のウィンドウW1を設定し、訓練データ74に対し
てウィンドウW1を移動させる。ウィンドウW1の中心は、訓練データ74のいずれかの
画素に位置しており、例えば、黒枠で示すウィンドウW1内の訓練データ74がウィンド
ウサイズの訓練データ75として切り出される。切り出したウィンドウサイズの訓練デー
タ75は図1に示すニューラルネットワーク50の学習に用いられる。
れるウィンドウサイズの訓練データ75の画素数と画像に含まれる原色の数(例えば光の
三原色であれば、R、G、Bの3つ)との積に対応している。ウィンドウサイズの訓練デ
ータ75の各画素の色濃度値データ76をニューラルネットワークの入力層50aとし、
訓練データ75の各画素の真値像73に対応する二値データ74bのうち中心に位置する
画素の二値データ77を、ニューラルネットワークの出力層50bとして、ニューラルネ
ットワーク50に学習させる。各画素の色濃度値データ76は、訓練データ75の各画素
のR、G、B各色の色濃度値74aの集合データである。例示として、ウィンドウサイズ
の訓練データ75が3×3画素である場合には、各画素についてR、G、B毎に1つずつ
の色濃度値74aが与えられるので、色濃度値データ76の色濃度値数は「27」(3×
3×3=27)となり、ニューラルネットワーク50の入力層50aのノード数も「27
」となる。
5は、ユーザが作成することなく、コンピュータが自動的に作成することができる。これ
により、ニューラルネットワーク50の効率的な深層学習が促進される。
4の左上角に位置している。以後、ウィンドウW1によってウィンドウサイズの訓練デー
タ75を切り出し、ニューラルネットワーク50の学習を行う度に、ウィンドウW1の位
置を移動させる。具体的には、ウィンドウW1の中心が訓練データ74の例えば全ての画
素を走査するように、ウィンドウW1を1画素単位で移動させる。これにより、訓練デー
タ74の全ての画素から切り出されたウィンドウサイズの訓練データ75が、ニューラル
ネットワーク50の学習に用いられる。よってニューラルネットワーク50の学習の程度
を向上でき、深層学習の結果、図3に示すニューラルネットワーク60構造を有する深層
学習アルゴリズムが得られる。
図3に示すように、画像解析方法では、解析対象の組織または細胞を含む標本を撮像し
た解析対象画像(明視野画像)78から、解析用データ80を生成する。前記標本は、第
1の訓練用画像と同じ染色が施されていることが好ましい。解析対象画像78も、例えば
公知の顕微鏡またはバーチャルスライドスキャナ等を用いて、例えばカラー画像として取
得することができる。解析対象画像(明視野画像)78は、1以上の原色を含む画像であ
ればよい。カラーの解析対象画像78を、各画素についてR、G、B各色の色濃度値で符
号化すると、画像全体をR、G、B毎に各画素における色濃度値の符号化図として表すこ
とができる(解析用色濃度符号化図79r,79g,79b)。図3に例示的に示すR、
G、B各色の単一色画像における色濃度の符号を示す色濃度符号化図79r,79g,7
9bは、3原色の各画像79R,79G,79Bに代えて、値0から値7の8段階で符号
で表された色濃度値を表示している。
すなわち、ウィンドウサイズ)を切り出したデータであり、解析対象画像78に含まれて
いる組織または細胞の色濃度値を含むデータである。ウィンドウサイズの解析用データ8
0も、訓練データ75と同様に、説明の便宜のために3×3画素に簡素化して示すが、実
際の好ましいウィンドウサイズは、例示的には113×113画素程度であり、その中に
正常の胃上皮細胞の核が3×3個程度入る大きさが、判別精度の点から好ましく、例えば
40倍の視野で113×113画素程度である。例えば、3×3画素のウィンドウW2を
設定し、色濃度符号化図79r,79g,79bに対してウィンドウW2を移動させる。
ウィンドウW2の中心は、色濃度符号化図79r,79g,79bのいずれかの画素に位
置しており、色濃度符号化図79r,79g,79bを、例えば3×3画素の黒枠で示す
ウィンドウW2によって切り出すと、ウィンドウサイズの解析用データ80が得られる。
このように、解析用データ80は、色濃度符号化図79r,79g,79bから、所定の
画素を中心として周辺の画素を含む領域毎に生成される。所定の画素とは、ウィンドウW
2の中心に位置する色濃度符号化図79r,79g,79bの画素を意味し、周辺の画素
とは、この所定の画素を中心とする、ウィンドウサイズの範囲内に含まれる色濃度符号化
図79r,79g,79bの画素を意味する。解析用データ80においても、訓練データ
74と同様に、各画素について、色濃度値が赤(R)、緑(G)および青(B)の順序で
格納されている。
ニューラルネットワークを有する深層学習アルゴリズム60を用いて、解析用データ80
を処理する。解析用データ80を処理することによって、解析対象の組織または細胞にお
いて細胞核の領域であるか否かを示すデータ83を生成する。
出された解析用データ80が深層学習アルゴリズムを構成するニューラルネットワーク6
0に入力される。ニューラルネットワーク60の入力層60aのノード数は、入力される
画素数と画像に含まれる原色の数との積に対応している。解析用データ80の各画素の色
濃度値データ81を、ニューラルネットワーク60に入力すると、出力層60bからは、
解析用データ80の中心に位置する画素の推定値82(二値)が出力される。例えば推定
値が1の場合は細胞核の領域を示し、推定値が0の場合はそれ以外の領域を示す。すなわ
ち、ニューラルネットワーク60の出力層60bから出力される推定値82は、解析対象
画像の画素毎に生成されるデータであり、解析対象画像における細胞核の領域であるか否
かを示すデータである。推定値82は、細胞核の領域とそれ以外の領域とを、例えば値1
と値0とで区別している。推定値82はラベル値とも呼ばれ、ニューラルネットワークに
関する後述する説明ではクラスとも呼ばれる。ニューラルネットワーク60は、入力され
た解析用データ80に対し、解析用データ80の中心に位置する画素に対し、細胞核の領
域か否かを示すラベルを生成する。言い替えると、ニューラルネットワーク60は、解析
用データ80を、解析対象画像に含まれる細胞核の領域を示すクラスに分類する。なお、
各画素の色濃度値データ81は、解析用データ80の各画素のR、G、B各色の色濃度値
の集合データである。
bの全ての画素を走査するように、ウィンドウW2を1画素単位で移動させながら、解析
用データ80をウィンドウサイズで切り出す。切り出された解析用データ80を、ニュー
ラルネットワーク60に入力する。これにより、解析対象画像における細胞核の領域であ
るか否かを示すデータとして、二値データ83を得る。図3に示す例では、二値データ8
3についてさらに細胞核領域検出処理を行うことにより、細胞核の領域を示す細胞核領域
強調画像84を得る。細胞核領域検出処理は、具体的には、例えば推定値82が値1であ
る画素を検出する処理となり、実際に細胞核の領域を判別する処理となる。細胞核領域強
調画像84は、画像解析処理により得られた細胞核の領域を、解析対象の解析対象画像7
8に重ねて表示した画像である。また、細胞核の領域を判別した後に、細胞核とそれ以外
の領域を識別可能に表示装置に表示させる処理を行ってもよい。例えば、細胞核の領域を
色で塗りつぶす、細胞核の領域とそれ以外の領域との間に線を描画する等の処理を行い、
これらを表示装置に識別可能に表示する。
第1の実施形態では、上述の概要で説明した深層学習方法および画像解析方法を実施す
るシステムの構成について、具体的に説明する。
図4を参照すると、第1の実施形態に係る画像解析システムは、深層学習装置100A
と、画像解析装置200Aとを備える。ベンダ側装置100は深層学習装置100Aとし
て動作し、ユーザ側装置200は画像解析装置200Aとして動作する。深層学習装置1
00Aは、ニューラルネットワーク50に訓練データを使って学習させ、訓練データによ
って訓練された深層学習アルゴリズム60をユーザに提供する。学習済みのニューラルネ
ットワーク60から構成される深層学習アルゴリズムは、記録媒体98またはネットワー
ク99を通じて、深層学習装置100Aから画像解析装置200Aに提供される。画像解
析装置200Aは、学習済みのニューラルネットワーク60から構成される深層学習アル
ゴリズムを用いて解析対象の画像の解析を行う。
チャートに基づいて、深層学習処理を行う。画像解析装置200Aは、例えば汎用コンピ
ュータで構成されており、後述するフローチャートに基づいて、画像解析処理を行う。記
録媒体98は、例えばDVD-ROMやUSBメモリ等の、コンピュータ読み取り可能で
あって非一時的な有形の記録媒体である。
子301と、蛍光顕微鏡302とを備え、ステージ309上にセットされた学習用の標本
308の、明視野画像および蛍光画像を撮像する。学習用の標本308は、上述の染色が
施されている。深層学習装置100Aは、撮像装置300によって撮像された第1の訓練
用画像70および第2の訓練用画像71を取得する。
子401と、蛍光顕微鏡402とを備え、ステージ409上にセットされた解析対象の標
本408の、明視野画像を撮像する。解析対象の標本408は、上述の通り予め染色され
ている。画像解析装置200Aは、撮像装置400によって撮像された解析対象画像78
を取得する。
バーチャルスライドスキャナ等を用いることができる。撮像装置400は、標本を撮像す
る機能を有する限り、光学顕微鏡であっても良い。
図5を参照すると、ベンダ側装置100(100A,100B)は、処理部10(10
A,10B)と、入力部16と、出力部17とを備える。
、データ処理の作業領域に使用するメモリ12と、後述するプログラムおよび処理データ
を記録する記録部13と、各部の間でデータを伝送するバス14と、外部機器とのデータ
の入出力を行うインタフェース部15と、GPU(Graphics Processing Unit)19とを
備えている。入力部16および出力部17は、処理部10に接続されている。例示的には
、入力部16はキーボードまたはマウス等の入力装置であり、出力部17は液晶ディスプ
レイ等の表示装置である。GPU19は、CPU11が行う演算処理(例えば、並列演算
処理)を補助するアクセラレータとして機能する。すなわち以下の説明においてCPU1
1が行う処理とは、CPU11がGPU19をアクセラレータとして用いて行う処理も含
むことを意味する。
係るプログラムおよび学習前のニューラルネットワーク50を、例えば実行形式で記録部
13に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより
変換されて生成される形式である。処理部10は、記録部13に記録したプログラムおよ
び学習前のニューラルネットワーク50を使用して処理を行う。
はメモリ12に格納されたプログラムおよびニューラルネットワーク50に基づいて、C
PU11が行う処理を意味する。CPU11はメモリ12を作業領域として必要なデータ
(処理途中の中間データ等)を一時記憶し、記録部13に演算結果等の長期保存するデー
タを適宜記録する。
20(20A,20B,20C)と、入力部26と、出力部27とを備える。
、データ処理の作業領域に使用するメモリ22と、後述するプログラムおよび処理データ
を記録する記録部23と、各部の間でデータを伝送するバス24と、外部機器とのデータ
の入出力を行うインタフェース部25と、GPU(Graphics Processing Unit)29とを
備えている。入力部26および出力部27は、処理部20に接続されている。例示的には
、入力部26はキーボードまたはマウス等の入力装置であり、出力部27は液晶ディスプ
レイ等の表示装置である。GPU29は、CPU21が行う演算処理(例えば、並列演算
処理)を補助するアクセラレータとして機能する。すなわち以下の説明においてCPU2
1が行う処理とは、CPU21がGPU29をアクセラレータとして用いて行う処理も含
むことを意味する。
に係るプログラムおよび学習済みのニューラルネットワーク構造の深層学習アルゴリズム
60を、例えば実行形式で記録部23に予め記録している。実行形式は、例えばプログラ
ミング言語からコンパイラにより変換されて生成される形式である。処理部20は、記録
部23に記録したプログラムおよび深層学習アルゴリズム60を使用して処理を行う。
はメモリ22に格納されたプログラムおよび深層学習アルゴリズム60に基づいて、実際
には処理部20のCPU21が行う処理を意味する。CPU21はメモリ22を作業領域
として必要なデータ(処理途中の中間データ等)を一時記憶し、記録部23に演算結果等
の長期保存するデータを適宜記録する。
・深層学習処理
図7を参照すると、第1の実施形態に係る深層学習装置100Aの処理部10Aは、訓
練データ生成部101と、訓練データ入力部102と、アルゴリズム更新部103とを備
える。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを
、処理部10Aの記録部13またはメモリ12にインストールし、このプログラムをCP
U11が実行することにより実現される。ウィンドウサイズデータベース104と、アル
ゴリズムデータベース105とは、処理部10Aの記録部13またはメモリ12に記録さ
れる。
によって予め撮像され、処理部10Aの記録部13またはメモリ12に予め記憶されてい
ることとする。ニューラルネットワーク50は、例えば解析対象の標本が由来する組織試
料の種別(例えば組織名)または細胞を含む試料の種類と対応付けられて、アルゴリズム
データベース105に予め格納されている。
ロックを用いて説明すると、ステップS11からS13、S18およびS19の処理は、
訓練データ生成部101が行う。ステップS14の処理は、訓練データ入力部102が行
う。ステップS15からS17の処理は、アルゴリズム更新部103が行う。
画像)と第2の訓練用画像(第2の訓練用画像71)のペアに対する深層学習処理を説明
する。
G、B各色の色濃度符号化図72r,72g,72bを生成する。色濃度符号化図72r
,72g,72bは、第1の訓練用画像70の各画素のR、G、B各色の色濃度値を段階
的に表すことにより作成する。本実施形態では、色濃度値を値0から値7の8段階として
各R、G、B階調画像について色濃度符号化図72r,72g,72bを作成する。色濃
度値の割り当ては、例えば最も低い明るさを色濃度値0とし、明るさの程度が高くなるに
従い徐々に高い値を割り当ててゆき、最も高い明るさを色濃度値7とする。
の階調を二値化して真値像73を生成する。真値像73(二値化画像73)は、ニューラ
ルネットワーク50に正解として学習させる訓練データを生成させるために使用する。二
値化の処理は、例えば、画像内の各画素の階調を、所定のしきい値と比較することにより
行う。
A側のオペレータからの、学習用の組織の種別の入力を受け付ける。処理部10Aは、入
力された組織の種別に基づき、ウィンドウサイズデータベース104を参照して、ウィン
ドウサイズを設定し、アルゴリズムデータベース105を参照して、学習に用いるニュー
ラルネットワーク50を設定する。胃の組織標本を解析対象とする本実施形態では、ウィ
ンドウサイズは例えば113×113画素とする。この画素サイズは、例えば40倍で撮
像された画像におけるサイズである。例示的には2つから9つ程度の複数の細胞のうち、
少なくとも1つの細胞の細胞核領域の全体形状が、ウィンドウ内に含まれることをサポー
トするサイズである。ウィンドウサイズは、1回の入力時にニューラルネットワーク50
に入力する訓練データの単位であり、ウィンドウサイズの訓練データ75の画素数と画像
に含まれる色の原色の数との積が、入力層50aのノード数に対応している。ウィンドウ
サイズは組織試料の種別または細胞を含む試料の種別と対応付けられて、ウィンドウサイ
ズデータベース104内に予め記録されている。
よび真値像73から、ウィンドウサイズの訓練データ75を生成する。具体的には、上述
の「深層学習方法の概要」において、図2(a)ないし(c)を参照して説明したように
、色濃度符号化図72r,72g,72bおよび真値像73を組み合わせた訓練データ7
4から、ウィンドウW1によって、ウィンドウサイズの訓練データ75を作成する。
75を用いて、ニューラルネットワーク50を学習させる。ニューラルネットワーク50
の学習結果は、ウィンドウサイズの訓練データ75を用いてニューラルネットワーク50
を学習させる度に蓄積される。
確率的勾配降下法を用いるため、ステップS16において、処理部10Aは、予め定めら
れた所定の試行回数分の学習結果が蓄積されているか否かを判断する。学習結果が所定の
試行回数分蓄積されている場合、処理部10AはステップS17の処理を行い、学習結果
が所定の試行回数分蓄積されていない場合、処理部10AはステップS18の処理を行う
。
0Aは、ステップS15において蓄積しておいた学習結果を用いて、ニューラルネットワ
ーク50の結合重みwを更新する。実施形態に係る画像解析方法では、確率的勾配降下法
を用いるため、所定の試行回数分の学習結果が蓄積した段階で、ニューラルネットワーク
50の結合重みwを更新する。結合重みwを更新する処理は、具体的には、後述の(式1
1)および(式12)に示される、勾配降下法による計算を実施する処理である。
かを判断する。入力画像は、訓練データ74であり、訓練データ74内の規定数の画素に
ついて、ステップS14からステップS17の一連の処理がなされている場合は、深層学
習処理を終了する。ニューラルネットワークの学習は、必ずしも入力画像内の全ての画素
に対して行う必要は無く、処理部10Aは、入力画像内の一部の画素、すなわち規定数の
画素に対して処理をし学習を行うことができる。規定数の画素は、入力画像内の全ての画
素であってもよい。
9において、図2(c)に示すように、訓練データ74内において、ウィンドウの中心位
置を1画素単位で移動させる。その後、処理部10Aは、移動後の新たなウィンドウ位置
において、ステップS14からステップS17の一連の処理を行う。すなわち、処理部1
0Aは、ステップS14において、移動後の新たなウィンドウ位置において訓練データ7
4をウィンドウサイズで切り出す。引き続き、処理部10Aは、ステップS15において
、新たに切り出したウィンドウサイズの訓練データ75を用いて、ニューラルネットワー
ク50を学習させる。ステップS16において、所定の試行回数分の学習結果が蓄積され
ている場合は、処理部10Aは、ステップS17において、ニューラルネットワーク50
の結合重みwを更新する。このようなウィンドウサイズ毎のニューラルネットワーク50
の学習を、訓練データ74内の規定数の画素に対して行う。
理を、異なる入力画像の複数のペアに対して繰り返し行うことにより、ニューラルネット
ワーク50の学習の程度を向上させる。これにより、図3に示すニューラルネットワーク
構造の深層学習アルゴリズム60を得る。
図9(a)に示すように、第1の実施形態では、深層学習タイプのニューラルネットワ
ークを用いる。深層学習タイプのニューラルネットワークは、図9に示すニューラルネッ
トワーク50のように、入力層50aと、出力層50bと、入力層50aおよび出力層5
0bの間の中間層50cとを備え、中間層50cが複数の層で構成されている。中間層5
0cを構成する層の数は、例えば5層以上とすることができる。
て結合されている。これにより、情報が入力側の層50aから出力側の層50bに、図中
矢印Dに示す一方向のみに伝播する。本実施形態では、入力層50aのノード数は、入力
される画像の画素数すなわち図2(c)に示すウィンドウW1の画素数と各画素に含まれ
る色の原色の数との積に対応している。入力層50aに画像の画素データ(色濃度値)を
入力することができるので、ユーザは入力画像から特徴量を別途算出することなく、入力
画像を入力層50aに入力することができる。
図9(b)は、各ノードにおける演算を示す模式図である。各ノード89では、複数の
入力を受け取り、1つの出力(z)を計算する。図9(b)に示す例の場合、ノード89
は4つの入力を受け取る。ノード89が受け取る総入力(u)は、以下の(式1)で表さ
れる。
値である。ノードの出力(z)は、(式1)で表される総入力(u)に対する所定の関数
fの出力となり、以下の(式2)で表される。関数fは活性化関数と呼ばれる。
、(式1)で表される総入力(u)に対して、(式2)で表される結果(z)を出力する
ノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力となる
。図9(c)に示す例では、図中左側の層のノード89aの出力が、図中右側の層のノー
ド89bの入力となる。右側の層の各ノード89bは、それぞれ、左側の層のノード89
aからの出力を受け取る。左側の層の各ノード89aと右側の層の各ノード89bとの間
の各結合には、異なる重みが掛けられる。左側の層の複数のノード89aのそれぞれの出
力をx1~x4とすると、右側の層の3つのノード89bのそれぞれに対する入力は、以
下の(式3-1)~(式3-3)で表される。
ニューラルネットワークを用いて表現される関数をy(x:w)とおくと、関数y(x
:w)は、ニューラルネットワークのパラメータwを変化させると変化する。入力xに対
してニューラルネットワークがより好適なパラメータwを選択するように、関数y(x:
w)を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワーク
を用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力xに
対する望ましい出力をdとすると、入出力の組は、{(x1,d1),(x2,d2),
・・・,(xn,dn)}と与えられる。(x,d)で表される各組の集合を、訓練デー
タと呼ぶ。具体的には、図2(b)に示す、R、G、B各色の単一色画像における画素毎
の色濃度値と真値像のラベルとの組、の集合が、図2(a)に示す訓練データである。
、入力xnを与えたときのニューラルネットワークの出力y(xn:w)が、出力dnに
なるべく近づくように重みwを調整することを意味する。誤差関数(error function)と
は、ニューラルネットワークを用いて表現される関数と訓練データとの近さ
る画像解析方法において用いる誤差関数E(w)は、以下の(式6)で表される。(式6
)は交差エントロピー(cross entropy)と呼ばれる。
いて用いるニューラルネットワーク50の出力層50bでは、すなわちニューラルネット
ワークの最終層では、入力xを内容に応じて有限個のクラスに分類するための活性化関数
を用いる。活性化関数はソフトマックス関数(softmax function)と呼ばれ、以下の(式
7)で表される。なお、出力層50bには、クラス数kと同数のノードが並べられている
とする。出力層Lの各ノードk(k=1,・・・K)の総入力uは、前層L-1の出力か
ら、uk (L)で与えられるとする。これにより、出力層のk番目のノードの出力は以下
の(式7)で表される。
和は常に1となる。
k (L))は、与えられた入力xがクラスCKに属する確率を表す。以下の(式8)を参
照されたい。入力xは、(式8)で表される確率が最大になるクラスに分類される。
ラスの事後確率(posterior probability)のモデルとみなし、そのような確率モデルの
下で、訓練データに対する重みwの尤度(likelihood)を評価し、尤度を最大化するよう
な重みwを選択する。
のみ1とし、出力がそれ以外の場合は0になるとする。目標出力をdn=[dn1,・・
・,dnK]というベクトル形式で表すと、例えば入力xnの正解クラスがC3である場
合、目標出力dn3のみが1となり、それ以外の目標出力は0となる。このように符号化
すると、事後分布(posterior)は以下の(式9)で表される。
パラメータwについて最小化することを意味する。実施形態に係る画像解析方法では、誤
差関数E(w)は(式6)で表される。
極小点を求めることと同じ意味である。パラメータwはノード間の結合の重みである。重
みwの極小点は、任意の初期値を出発点として、パラメータwを繰り返し更新する反復計
算によって求められる。このような計算の一例には、勾配降下法(gradient descent met
hod)がある。
せる処理を何度も繰り返す。現在の重みをw(t)とし、移動後の重みをw(t+1)と
すると、勾配降下法による演算は、以下の(式12)で表される。値tは、パラメータw
を移動させた回数を意味する。
)で表される演算を繰り返すことにより、値tの増加に伴って誤差関数E(w(t))が
減少し、パラメータwは極小点に到達する。
施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに
対して行う勾配降下法は、確率的勾配降下法(stochastic gradient descent)と呼ばれ
る。実施形態に係る画像解析方法では、確率的勾配降下法を用いる。
図10を参照すると、第1の実施形態に係る画像解析装置200Aの処理部20Aは、
解析用データ生成部201と、解析用データ入力部202と、解析部203と、細胞核領
域検出部204とを備える。これらの機能ブロックは、本発明に係るコンピュータに画像
解析処理を実行させるプログラムを、処理部20Aの記録部23またはメモリ22にイン
ストールし、このプログラムをCPU21が実行することにより実現される。ウィンドウ
サイズデータベース104と、アルゴリズムデータベース105とは、記録媒体98また
はネットワーク99を通じて深層学習装置100Aから提供され、処理部20Aの記録部
23またはメモリ22に記録される。
20Aの記録部23またはメモリ22に予め記録されていることとする。学習済みの結合
重みwを含む深層学習アルゴリズム60は、解析対象の組織の標本が由来する組織試料の
種別(例えば組織名)または細胞を含む試料の種類と対応付けられてアルゴリズムデータ
ベース105に格納されており、コンピュータに画像解析処理を実行させるプログラムの
一部であるプログラムモジュールとして機能する。すなわち、深層学習アルゴリズム60
は、CPUおよびメモリを備えるコンピュータにて用いられ、解析対象の組織において細
胞核の領域であるか否かを示すデータを出力するという、使用目的に応じた特有の情報の
演算または加工を実行するよう、コンピュータを機能させる。具体的には、処理部20A
のCPU21は、記録部23またはメモリ22に記録された深層学習アルゴリズム60に
規定されているアルゴリズムに従って、学習済みの結合重みwに基づくニューラルネット
ワーク60の演算を行う。処理部20AのCPU21は、入力層60aに入力された、解
析対象の組織を撮像した解析対象画像78に対して演算を行い、出力層60bから、解析
対象の組織において細胞核の領域であるか否かを示すデータである二値画像83を出力す
る。
う。図10に示す各機能ブロックを用いて説明すると、ステップS21およびS22の処
理は、解析用データ生成部201が行う。ステップS23,S24,S26およびS27
の処理は、解析用データ入力部202が行う。ステップS25およびS28の処理は、解
析部203が行う。ステップS29の処理は、細胞核領域検出部204が行う。
B各色の色濃度符号化図79r,79g,79bを生成する。色濃度符号化図79r,7
9g,79bの生成方法は、図8に示す深層学習処理時におけるステップS11での生成
方法と同様である。
件として、画像解析装置200A側のユーザからの、組織の種別の入力を受け付ける。処
理部20Aは、入力された組織の種別に基づき、ウィンドウサイズデータベース104お
よびアルゴリズムデータベース105を参照して、解析に用いるウィンドウサイズを設定
し、解析に用いる深層学習アルゴリズム60を取得する。ウィンドウサイズは、1回の入
力時にニューラルネットワーク60に入力する解析用データの単位であり、ウィンドウサ
イズの解析用データ80の画素数と画像に含まれる色の原色の数との積が、入力層60a
のノード数に対応している。ウィンドウサイズは組織の種別と対応付けられて、ウィンド
ウサイズデータベース104内に予め記録されている。ウィンドウサイズは、図3に示す
ウィンドウW2のように、例えば3×3画素である。深層学習アルゴリズム60も、組織
試料の種別または細胞を含む試料の種別と対応付けられて、図10に示すアルゴリズムデ
ータベース105内に予め記録されている。
g,79bから、ウィンドウサイズの解析用データ80を生成する。
アルゴリズム60に入力する。ウィンドウの初期位置は、深層学習処理時におけるステッ
プS15と同様に、例えばウィンドウ内の3×3画素の中心に位置する画素が、解析対象
画像の左上角に対応する位置である。処理部20Aは、ウィンドウサイズの解析用データ
80に含まれる、3×3画素×3原色の合計27個の色濃度値のデータ81を入力層60
aに入力すると、深層学習アルゴリズム60は、出力層60bに判別結果82を出力する
。
力される判別結果82を記録する。判別結果82は、解析対象である、色濃度符号化図7
9r,79g,79bの中心に位置する画素の推定値(二値)である。例えば推定値が値
1の場合は細胞核の領域を示し、推定値が値0の場合はそれ以外の領域を示す。
理したか否かを判断する。入力画像は、図3に示す色濃度符号化図79r,79g,79
bであり、色濃度符号化図79r,79g,79b内の全ての画素について、図11に示
すステップS23からステップS25の一連の処理がなされている場合は、ステップS2
8の処理を行う。
において、深層学習処理時におけるステップS19と同様に、図3に示す色濃度符号化図
79r,79g,79b内において、ウィンドウW2の中心位置を1画素単位で移動させ
る。その後、処理部20Aは、移動後の新たなウィンドウW2の位置において、ステップ
S23からステップS25の一連の処理を行う。処理部20Aは、ステップS25におい
て、移動後の新たなウィンドウ位置に対応する、判別結果82を記録する。このようなウ
ィンドウサイズ毎の判別結果82の記録を、解析対象画像内の全ての画素に対して行うこ
とにより、解析結果の二値画像83が得られる。解析結果の二値画像83の画像サイズは
、解析対象画像の画像サイズと同じである。ここで、二値画像83には、推定値の値1お
よび値0が各画素に付された数値データであってもよく、推定値の値1および値0に代え
て、例えば値1および値0のそれぞれに対応付けた表示色で示した画像であっても良い。
27に出力する。
像83についてさらに、細胞核の領域の細胞核領域検出処理を行う。二値画像83におい
て、細胞核の領域とそれ以外の領域とは、二値で区別して表されている。したがって、二
値画像83において、画素の推定値が1から0に変化する画素または0から1に変化する
画素の位置を検出することにより、細胞核の領域を判別することができる。また、別の態
様として細胞核の領域とそれ以外の領域との境界、すなわち細胞核の領域を検出すること
ができる。
78に重ねることにより、細胞核領域強調画像84を作成する。処理部20Aは、作成し
た細胞核領域強調画像84を出力部27に出力し、画像解析処理を終了する。
析装置200Aに入力することにより、解析結果として、二値画像83を取得することが
できる。二値画像83は、解析対象の標本における細胞核の領域とそれ以外の領域とを表
しており、ユーザは、解析対象の標本において、細胞核の領域を判別することが可能とな
る。
を取得することができる。細胞核領域強調画像84は、例えば、解析対象の解析対象画像
78に、細胞核の領域を色で塗りつぶすことにより生成される。また、別の態様では、細
胞核の領域とそれ以外の領域との境界線を重ねることにより生成されている。これにより
、ユーザは、解析対象の組織において、細胞核の領域を一目で把握することが可能となる
。
の状態を把握させる一助となる。
以下、第1の実施形態に係る画像解析システムと相違する点について、第2の実施形態
に係る画像解析システムを説明する。
図12を参照すると、第2の実施形態に係る画像解析システムは、ユーザ側装置200
を備え、ユーザ側装置200が、統合型の画像解析装置200Bとして動作する。画像解
析装置200Bは、例えば汎用コンピュータで構成されており、第1の実施形態において
説明した深層学習処理および画像解析処理の両方の処理を行う。つまり、第2の実施形態
に係る画像解析システムは、ユーザ側で深層学習および画像解析を行う、スタンドアロン
型のシステムである。第2の実施形態に係る画像解析システムは、ユーザ側に設置された
統合型の画像解析装置200Bが、第1の実施形態に係る深層学習装置100Aおよび画
像解析装置200Aの両方の機能を担う点において、第1の実施形態に係る画像解析シス
テムと異なる。
習処理時には、学習用の組織の第1の訓練用画像70および第2の訓練用画像71を取得
し、画像解析処理時には、解析対象の組織の解析対象画像78を取得する。
画像解析装置200Bのハードウェア構成は、図6に示すユーザ側装置200のハード
ウェア構成と同様である。
図13を参照すると、第2の実施形態に係る画像解析装置200Bの処理部20Bは、
訓練データ生成部101と、訓練データ入力部102と、アルゴリズム更新部103と、
解析用データ生成部201と、解析用データ入力部202と、解析部203と、細胞核検
出部204とを備える。これらの機能ブロックは、コンピュータに深層学習処理および画
像解析処理を実行させるプログラムを、処理部20Bの記録部23またはメモリ22にイ
ンストールし、このプログラムをCPU21が実行することにより実現される。ウィンド
ウサイズデータベース104と、アルゴリズムデータベース105とは、処理部20Bの
記録部23またはメモリ22に記録され、どちらも深層学習時および画像解析処理時に共
通して使用される。学習済みのニューラルネットワーク60は、組織の種別または細胞を
含む試料の種別と対応付けられて、アルゴリズムデータベース105に予め格納されてお
り、深層学習処理により結合重みwが更新されて、深層学習アルゴリズム60として、ア
ルゴリズムデータベース105に格納される。なお、学習用の第1の訓練用画像である第
1の訓練用画像70および第2の訓練用画像71は、撮像装置400によって予め撮像さ
れ、処理部20Bの記録部23またはメモリ22に予め記載されていることとする。解析
対象の標本の解析対象画像78も、撮像装置400によって予め撮像され、処理部20B
の記録部23またはメモリ22に予め記録されていることとする。
、画像解析処理時には、図11に示す処理を行う。図13に示す各機能ブロックを用いて
説明すると、深層学習処理時には、ステップS11からS13、S18およびS19の処
理は、訓練データ生成部101が行う。ステップS14の処理は、訓練データ入力部10
2が行う。ステップS15からS17の処理は、アルゴリズム更新部103が行う。画像
解析処理時には、ステップS21およびS22の処理は、解析用データ生成部201が行
う。ステップS23,S24,S26およびS27の処理は、解析用データ入力部202
が行う。ステップS25およびS28の処理は、解析部203が行う。ステップS29の
処理は、細胞核領域検出部204が行う。
処理の手順は、第1の実施形態に係る深層学習装置100Aおよび画像解析装置200A
がそれぞれ行う手順と同様である。なお、第2の実施形態に係る画像解析装置200Bは
、次の点において第1の実施形態に係る深層学習装置100Aおよび画像解析装置200
Aと異なる。
像解析装置200Bのユーザからの、学習用の組織の種別の入力を受け付ける。処理部2
0Bは、入力された組織の種別に基づき、ウィンドウサイズデータベース104を参照し
て、ウィンドウサイズを設定し、アルゴリズムデータベース105を参照して、学習に用
いるニューラルネットワーク50を設定する。
入力することにより、解析結果として、二値画像83を取得することができる。さらに、
画像解析装置200Bのユーザは、解析結果として、細胞核領域強調画像84を取得する
ことができる。
の組織を、学習用の組織として用いることができる。これは、ニューラルネットワーク5
0の学習がベンダ側任せではなく、ユーザ自身がニューラルネットワーク50の学習の程
度を向上できることを意味する。
以下、第2の実施形態に係る画像解析システムと相違する点について、第3の実施形態
に係る画像解析システムを説明する。
図14を参照すると、第3の実施形態に係る画像解析システムは、ベンダ側装置100
と、ユーザ側装置200とを備える。ベンダ側装置100は統合型の画像解析装置100
Bとして動作し、ユーザ側装置200は端末装置200Cとして動作する。画像解析装置
100Bは、例えば汎用コンピュータで構成されており、第1の実施形態において説明し
た深層学習処理および画像解析処理の両方の処理を行う、クラウドサーバ側の装置である
。端末装置200Cは、例えば汎用コンピュータで構成されており、ネットワーク99を
通じて、解析対象の画像を画像解析装置100Bに送信し、ネットワーク99を通じて、
解析結果の画像を画像解析装置100Bから受信する、ユーザ側の端末装置である。
置100Bが、第1の実施形態に係る深層学習装置100Aおよび画像解析装置200A
の両方の機能を担う点において、第2の実施形態に係る画像解析システムと同様である。
一方、第3の実施形態に係る画像解析システムは、端末装置200Cを備え、解析対象の
画像の入力インタフェースと、解析結果の画像の出力インタフェースとをユーザ側の端末
装置200Cに提供する点において、第2の実施形態に係る画像解析システムと異なる。
つまり、第3の実施形態に係る画像解析システムは、深層学習処理および画像解析処理を
行うベンダ側が、解析対象の画像および解析結果の画像の入出力インタフェースをユーザ
側に提供する、クラウドサービス型のシステムである。
像される、学習用の組織の第1の訓練用画像70および第2の訓練用画像71を取得する
。
れる、解析対象の組織の解析対象画像78を取得する。
画像解析装置100Bのハードウェア構成は、図5に示すベンダ側装置100のハード
ウェア構成と同様である。端末装置200Cのハードウェア構成は、図6に示すユーザ側
装置200のハードウェア構成と同様である。
図15を参照すると、第3の実施形態に係る画像解析装置100Bの処理部10Bは、
訓練データ生成部101と、訓練データ入力部102と、アルゴリズム更新部103と、
解析用データ生成部201と、解析用データ入力部202と、解析部203と、細胞核領
域検出部204とを備える。これらの機能ブロックは、コンピュータに深層学習処理およ
び画像解析処理を実行させるプログラムを、処理部10Bの記録部13またはメモリ12
にインストールし、このプログラムをCPU11が実行することにより実現される。ウィ
ンドウサイズデータベース104と、アルゴリズムデータベース105とは、処理部10
Bの記録部13またはメモリ12に記録され、どちらも深層学習時および画像解析処理時
に共通して使用される。ニューラルネットワーク50は、組織の種別と対応付けられて、
アルゴリズムデータベース105に予め格納されており、深層学習処理により結合重みw
が更新されて、深層学習アルゴリズム60として、アルゴリズムデータベース105に格
納される。
によって予め撮像され、処理部10Bの記録部13またはメモリ12に予め記載されてい
ることとする。解析対象の組織の解析対象画像78も、撮像装置400によって予め撮像
され、端末装置200Cの処理部20Cの記録部23またはメモリ22に予め記録されて
いることとする。
、画像解析処理時には、図11に示す処理を行う。図15に示す各機能ブロックを用いて
説明すると、深層学習処理時には、ステップS11からS13、S18およびS19の処
理は、訓練データ生成部101が行う。ステップS14の処理は、訓練データ入力部10
2が行う。ステップS15からS17の処理は、アルゴリズム更新部103が行う。画像
解析処理時には、ステップS21およびS22の処理は、解析用データ生成部201が行
う。ステップS23,S24,S26およびS27の処理は、解析用データ入力部202
が行う。ステップS25およびS28の処理は、解析部203が行う。ステップS29の
処理は、細胞核領域検出部204が行う。
処理の手順は、第1の実施形態に係る深層学習装置100Aおよび画像解析装置200A
がそれぞれ行う手順と同様である。なお、第3の実施形態に係る画像解析装置100Bは
、次の4つの点において第1の実施形態に係る深層学習装置100Aおよび画像解析装置
200Aと異なる。
組織の解析対象画像78を、ユーザ側の端末装置200Cから受信し、受信した解析対象
画像78からR、G、B各色の色濃度符号化図79r,79g,79bを生成する。色濃
度符号化図79r,79g,79bの生成方法は、図8に示す深層学習処理時におけるス
テップS11での生成方法と同様である。
00Cの入力部26を通じて、解析条件として、端末装置200Cのユーザからの、組織
の種別の入力を受け付ける。処理部10Bは、入力された組織の種別に基づき、ウィンド
ウサイズデータベース104およびアルゴリズムデータベース105を参照して、解析に
用いるウィンドウサイズを設定し、解析に用いる深層学習アルゴリズム60を取得する。
を、ユーザ側の端末装置200Cに送信する。ユーザ側の端末装置200Cでは、処理部
20Cが、受信した解析結果の二値画像83を出力部27に出力する。
き、解析結果の二値画像83についてさらに、細胞核の領域の検出処理を行う。処理部1
0Bは、得られた細胞核の領域を、解析対象の解析対象画像78に重ねることにより、細
胞核領域強調画像84を作成する。処理部10Bは、作成した細胞核領域強調画像84を
、ユーザ側の端末装置200Cに送信する。ユーザ側の端末装置200Cでは、処理部2
0Cが、受信した細胞核領域強調画像84を出力部27に出力し、画像解析処理を終了す
る。
置100Bに送信することにより、解析結果として、二値画像83を取得することができ
る。さらに、端末装置200Cのユーザは、解析結果として、細胞核領域強調画像84を
取得することができる。
ータベース104およびアルゴリズムデータベース105を深層学習装置100Aから取
得することなく、画像解析処理の結果を享受することができる。これにより、解析対象の
組織を解析するサービスとして、細胞核の領域を判別するサービスを、クラウドサービス
として提供することができる。
しているが、遠隔地の医療機関や、都市部であってもクリニック等の比較的小規模な医療
機関には在籍していないケースが殆どである。画像解析装置100Bおよび端末装置20
0Cにて提供されるクラウドサービスは、このような遠隔地または比較的小規模な医療機
関における組織診断や細胞診断の手助けとなる。
以上、本発明を概要および特定の実施形態によって説明したが、本発明は上記した概要
および各実施形態に限定されるものではない。
対象とする標本はこれに限定されず、前述の組織試料の標本または細胞を含む試料の標本
を用いることができる。
10Bは、ウィンドウサイズデータベース104を参照して、ウィンドウサイズの画素数
を設定しているが、オペレータまたはユーザがウィンドウサイズを直接設定してもよい。
この場合、ウィンドウサイズデータベース104は不要となる。
10Bは、入力された組織の種別に基づいて、ウィンドウサイズの画素数を設定している
が、組織の種別の入力に代えて、組織のサイズを入力してもよい。処理部10A,20B
,10Bは、入力された組織のサイズに基づいて、ウィンドウサイズデータベース104
を参照して、ウィンドウサイズの画素数を設定すればよい。ステップS22においてもス
テップS13と同様に、組織の種別の入力に代えて、組織のサイズを入力してもよい。処
理部20A,20B,10Bは、入力された組織のサイズに基づいて、ウィンドウサイズ
データベース104およびアルゴリズムデータベース105を参照して、ウィンドウサイ
ズの画素数を設定し、ニューラルネットワーク60を取得すればよい。
例えば入力のユーザインタフェースをプルダウンメニューとして、ユーザが入力しようと
するサイズに対応する、所定の数値範囲をユーザに選択させて入力してもよい。
に加えて、組織の第1の訓練用画像70、解析対象画像78および第2の訓練用画像71
を撮像した際の撮像倍率を入力してもよい。撮像倍率を入力する態様については、倍率を
数値として直接入力してもよいし、例えば入力のユーザインタフェースをプルダウンメニ
ューとして、ユーザが入力しようとする倍率に対応する、所定の数値範囲をユーザに選択
させて入力してもよい。
明の便宜のためにウィンドウサイズを3×3画素と設定しているが、ウィンドウサイズの
画素数はこれに限定されない。ウィンドウサイズは、例えば組織試料の種別、細胞を含む
試料の種別に応じて設定してもよい。この場合、ウィンドウサイズの画素数と画像に含ま
れる色の原色の数との積が、ニューラルネットワーク50,60の入力層50a,60a
のノード数に対応していればよい。
数を取得し、さらに、取得したウィンドウサイズの画素数を、入力された撮像倍率に基づ
いて補正してもよい。
10Bは、深層学習アルゴリズム60を、組織の種別と一対一に対応付けて、アルゴリズ
ムデータベース105に記録している。これに代えて、ステップS17において、処理部
10A,20B,10Bは、1つの深層学習アルゴリズム60に、複数の組織の種別を対
応付けて、アルゴリズムデータベース105に記録してもよい。
色の組み合わせで規定されているが、色相の数は3つに限定されない。色相の数は、赤(
R),緑(G),青(B)に黄(Y)を加えた4原色としても良いし、赤(R),緑(G
),青(B)の3原色からいずれか1つの色相を減らした2原色としてもよい。あるいは
、赤(R),緑(G),青(B)の3原色のいずれか1つ(例えば緑(G))のみの1原
色としてもよい。例えば公知の顕微鏡またはバーチャルスライドスキャナ等を用いて取得
される明視野画像70および解析対象画像78も、赤(R),緑(G),青(B)の3原
色のカラー画像に限定されず、2原色のカラー画像であってもよく、1以上の原色を含む
画像であればよい。
10Bは、色濃度符号化図72r,72g,72bを各原色の3階調の単一色画像として
生成しているが、色濃度符号化図72r,72g,72bの原色の階調は、3階調に制限
されない。色濃度符号化図72r,72g,72bの階調は、2階調の画像であってもよ
く、1階調以上の画像であればよい。同様に、ステップS21において、処理部20A,
20B,10Bは、色濃度符号化図79r,79g,79b各原色ごとの単一色画像とし
て生成しているが、色濃度符号化図を作成する際の原色は3階調に制限されない。色濃度
符号化図を作成する際の原色は、2階調の画像であってもよく、1階調以上の画像であれ
ばよい。例示的に、色濃度符号化図72r,72g,72b,79r,79g,79bの
階調を、色濃度値が値0から値255の256段階(8階調)とすることができる。
10Bは、入力された第1の訓練用画像70からR、G、B各色の色濃度符号化図72r
,72g,72bを生成しているが、入力される第1の訓練用画像70は予め階調化され
ていてもよい。すなわち、処理部10A,20B,10Bは、R、G、B各色の色濃度符
号化図72r,72g,72bを、例えばバーチャルスライドスキャナ等から直接取得し
てもよい。同様に、ステップS21において、処理部20A,20B,10Bは、入力さ
れた解析対象画像78からR、G、B各色の色濃度符号化図79r,79g,79bを生
成しているが、入力される解析対象画像78は予め階調化されていてもよい。すなわち、
処理部20A,20B,10Bは、R、G、B各色の色濃度符号化図79r,79g,7
9bを、例えばバーチャルスライドスキャナ等から直接取得してもよい。
号化図72,79を生成する際のカラースペースにはRGBを用いているが、カラースペ
ースはRGBに制限されない。RGB以外にも、YUV、CMY、およびCIE L*a
*b*等の種々のカラースペースを用いることができる。
各画素について濃度値が赤(R),緑(G),青(B)の順番で格納されているが、濃度
値を格納および取り扱う順番はこれに限定されない。例えば濃度値は、青(B),緑(G
),赤(R)の順番で格納されていてもよく、訓練データ74における濃度値の並び順と
、解析用データ80における濃度値の並び順とが同じであればよい。
10Bは、入力された第2の訓練用画像71の各画素の階調を二値化して真値像73を生
成しているが、予め二値化された真値像73を取得してもよい。
ているが、処理部10A,10Bは一体の装置である必要はなく、CPU11、メモリ1
2、記録部13、GPU19等が別所に配置され、これらがネットワークで接続されてい
てもよい。処理部10A,10Bと、入力部16と、出力部17とについても、一ヶ所に
配置される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可
能に接続されていてもよい。処理部20A,20B,20Cについても処理部10A,1
0Bと同様である。
、アルゴリズム更新部103、解析用データ生成部201、解析用データ入力部202、
解析部203および細胞核領域検出部204の各機能ブロックは、単一のCPU11また
は単一のCPU21において実行されているが、これら各機能ブロックは単一のCPUに
おいて実行される必要は必ずしもなく、複数のCPUで分散して実行されてもよい。また
、これら各機能ブロックは、複数のGPUで分散して実行されてもよいし、複数のCPU
と複数のGPUとで分散して実行されてもよい。
行うためのプログラムを記録部13,23に予め記録している。これに代えて、プログラ
ムは、例えばDVD-ROMやUSBメモリ等の、コンピュータ読み取り可能であって非
一時的な有形の記録媒体98から処理部10B,20Bにインストールしてもよい。また
は、処理部10B,20Bをネットワーク99と接続し、ネットワーク99を介して例え
ば外部のサーバ(図示せず)からプログラムをダウンロードしてインストールしてもよい
。
力装置であり、出力部17,27は液晶ディスプレイ等の表示装置として実現されている
。これに代えて、入力部16、26と出力部17、27とを一体化してタッチパネル式の
表示装置として実現してもよい。または、出力部17,27をプリンター等で構成し、解
析結果の二値画像83または細胞核の細胞核領域強調画像84を印刷して出力してもよい
。
像解析装置100Bと直接接続されているが、撮像装置300は、ネットワーク99を介
して深層学習装置100Aまたは画像解析装置100Bと接続されていてもよい。撮像装
置400についても同様に、撮像装置400は、画像解析装置200Aまたは画像解析装
置200Bと直接接続されているが、撮像装置400は、ネットワーク99を介して画像
解析装置200Aまたは画像解析装置200Bと接続されていてもよい。
以下に本発明の実施例を示し、本発明の特徴をより明確にする。
解析処理を行った。学習および解析の対象とする組織は、胃癌組織とした。解析処理は、
2つの異なる胃癌組織標本を対象として行った。
HE染色した胃癌組織の明視野画像およびDAPI染色した胃癌組織の蛍光画像のホー
ルスライドイメージ(WSI)を、バーチャルスライドスキャナを用いてカラー撮像した
。撮像倍率は40倍であった。その後、明視野画像をもとにR、G、B各色の色濃度値を
階調化して、R、G、B各色の色濃度符号化図を作成した。また、DAPI染色した蛍光
画像をもとに、予め設定していた閾値を用いて色濃度値を細胞核の領域とそれ以外の領域
とに二値化して、二値化画像を作成した。撮像により得られた明視野画像および蛍光画像
を、図16の(a)および(b)にそれぞれ示し、蛍光画像から作成した二値化画像を図
16の(c)に示す。
た訓練データを113×113画素のウィンドウサイズに分割し、分割したウィンドウサ
イズの訓練データを入力層として、ニューラルネットワークを学習させた。ウィンドウサ
イズとして採用した113×113画素は、例示的には2つから9つ程度の複数の細胞の
うち、少なくとも1つの細胞の細胞核領域の全体形状が、ウィンドウ内に含まれることを
サポートするサイズであった。
訓練データと同様に、HE染色した胃癌組織の明視野画像のホールスライドイメージを
、バーチャルスライドスキャナを用いてカラー撮像した。撮像倍率は40倍であった。そ
の後、撮像した明視野画像をもとにR、G、B各色の色濃度符号化図を作成し、作成した
R、G、B各色の色濃度符号化図を組み合わせて解析対象画像を作成した。
解析対象画像の各画素を中心に、113×113画素のウィンドウサイズの解析用デー
タを作成し、作成したウィンドウサイズの解析用データを、学習済みのニューラルネット
ワークに入力した。ニューラルネットワークから出力される解析結果をもとに、細胞核の
領域とそれ以外の領域とに分類し、細胞核の領域の輪郭を白色で囲んだ。解析結果を図1
7および図18に示す。
をHE染色して撮像した明視野画像であり、図17の(b)は、解析処理により得られた
細胞核の領域の輪郭を、(a)の明視野画像に重ねて表示した画像である。図17の(b
)において白色で囲まれた領域が、細胞核の領域である。
をHE染色して撮像した明視野画像であり、図18の(b)は、解析処理により得られた
細胞核の領域の輪郭を、(a)の明視野画像に重ねて表示した画像である。図18の(b
)において白色で囲まれた領域が、細胞核の領域である。
、細胞核の領域か否かを判定することができた。細胞核の領域判定の正答率は、85%以
上であった。
について、学習済みのニューラルネットワークを用いて、上述の実施例1と同様の解析処
理を行った。細胞の捺印は、胃癌部と、非胃癌部とを対象として行った。解析結果を図1
9および図20に示す。
を染色して撮像した明視野画像であり、図19の(b)は、解析処理により得られた細胞
核の領域の輪郭を、(a)の明視野画像に重ねて表示した画像である。図19の(b)に
おいて白色で囲まれた領域が、細胞核の領域である。
標本を染色して撮像した明視野画像であり、図20の(b)は、解析処理により得られた
細胞核の領域の輪郭を、(a)の明視野画像に重ねて表示した画像である。図20の(b
)において白色で囲まれた領域が、細胞核の領域である。
意の位置において、細胞核の領域か否かを判定することができた。
20(20A,20B,20C) 処理部
11,21 CPU
12,22 メモリ
13,23 記録部
14,24 バス
15,25 インタフェース部
16,26 入力部
17,27 出力部
19,29 GPU
50 ニューラルネットワーク(深層学習アルゴリズム)
50a 入力層
50b 出力層
50c 中間層
60 学習済みのニューラルネットワーク(学習済みの深層学習アルゴリズム)
60a 入力層
60b 出力層
60c 中間層
70 学習用の明視野画像(第1の訓練用画像)
71 学習用の蛍光画像(第2の訓練用画像)
72r,72g,72b 学習用の明視野画像のR、G、B各色の単一色画像におけ
る色濃度符号化図(第1の訓練データ)
73 学習用の真値像(二値化画像、第2の訓練データ)
74 訓練データ
74a 明視野画像の階調化された色濃度値
74b 真値像の二値データ
75 ウィンドウサイズの訓練データ
76 色濃度値
77 真値像の二値データ
78 解析対象の明視野画像
79r,79g,79b 解析対象の明視野画像のR、G、B各色の単一画像におけ
る色濃度符号化図
80 解析用データ
81 色濃度値
82 判別結果(画素の推定値)
83 解析結果の二値画像
84 細胞核領域強調画像
89(89a,89b) ノード
98 記録媒体
99 ネットワーク
100 ベンダ側装置
100A 深層学習装置
100B 統合型の画像解析装置
101 訓練データ生成部
102 訓練データ入力部
103 アルゴリズム更新部
104 ウィンドウサイズデータベース
105 アルゴリズムデータベース
200 ユーザ側装置
200A 画像解析装置
200B 統合型の画像解析装置
200C 端末装置
201 解析用データ生成部
202 解析用データ入力部
203 解析部
204 細胞核領域検出部
300,400 撮像装置
301,401 撮像素子
302,402 蛍光顕微鏡
308,408 試料組織
309,409 ステージ
W1 ウィンドウ
W2 ウィンドウ
Claims (23)
- ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織または細胞の画像を解析する、コンピュータが実行する画像解析方法であって、
解析対象の組織または細胞を含む解析対象画像から解析用データを生成し、
前記解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析対象画像における細胞核の領域を示すデータを生成する、
ことを含み、
前記深層学習アルゴリズムの訓練に用いられる訓練データが、
個体から採取された組織試料の標本または個体から採取された細胞を含む試料の標本を明視野下で撮像した明視野画像、および
前記標本に対応する、または同一の標本に蛍光核染色を施して調製された標本を蛍光観察下で撮像した細胞核の蛍光画像、
に基づいて生成されている、画像解析方法。 - 前記解析対象画像が、組織診断用標本の画像であり、前記解析対象画像が1つの原色からなる色相を含むか、2以上の原色を組み合わせた色相を含む、
請求項1の画像解析方法。 - 前記解析対象画像が、細胞診断用標本の画像であり、前記解析対象画像が1つの原色からなる色相を含むか、2以上の原色を組み合わせた色相を含む、
請求項1の画像解析方法。 - 前記細胞核の領域を示すデータが、細胞核の領域とそれ以外の領域とを区別して提示するためのデータである、
請求項1乃至3のいずれか1項の画像解析方法。 - 前記細胞核の領域を示すデータが、細胞核の領域とそれ以外の領域との境界を示すデータである、
請求項1乃至3のいずれか1項の画像解析方法。 - 前記深層学習アルゴリズムは、前記解析対象画像内の任意の位置が細胞核の領域か否かを判定する
請求項1乃至5のいずれか1項の画像解析方法。 - 1つの解析対象画像について所定画素数の領域毎に、複数の前記解析用データを生成する
請求項1乃至6のいずれか1項の画像解析方法。 - 前記解析用データは、所定の画素を中心として周辺の画素を含む前記所定画素数の領域毎に生成され、
前記深層学習アルゴリズムは、入力された前記解析用データに対し前記所定画素に対し細胞核の領域か否かを示すラベルを生成する
請求項7の画像解析方法。 - 前記ニューラルネットワークの入力層のノード数が、前記解析用データの前記所定画素数と前記組み合わせた原色の数との積に対応している、
請求項7または8の画像解析方法。 - 前記解析対象画像は、標本を顕微鏡の明視野下で撮像した画像である
請求項1乃至9のいずれか1項の画像解析方法。 - 前記訓練データが、前記明視野画像および前記蛍光画像から抽出された、細胞核の領域を示すラベル値を含む
請求項1乃至10のいずれか1項の画像解析方法。 - 前記訓練データが、前記ラベル値を前記明視野画像の画素毎に含む
請求項11の画像解析方法。 - 前記訓練データが、前記明視野画像における所定画素数の領域毎に生成されている
請求項1乃至12のいずれか1項の画像解析方法。 - 前記深層学習アルゴリズムが、前記解析用データを、前記解析対象画像に含まれる細胞核の領域を示すクラスに分類する
請求項1乃至13のいずれか1項の画像解析方法。 - 前記ニューラルネットワークの出力層がソフトマックス関数を活性化関数とするノードである
請求項1乃至14のいずれか1項の画像解析方法。 - 前記深層学習アルゴリズムは、前記解析用データが入力される度に、前記解析対象画像に含まれる細胞核の領域であるか否かを示すデータを単位画素毎に生成する、
請求項1乃至15のいずれか1項の画像解析方法。 - 前記深層学習アルゴリズムが、前記組織試料の種類または細胞を含む試料の種類に応じて生成されている
請求項1乃至16のいずれか1項の画像解析方法。 - さらに、前記組織試料の種類または細胞を含む試料の種類に応じて複数の前記深層学習アルゴリズムの中から選択された、前記試料の種類に対応する前記深層学習アルゴリズムを用いて、前記解析用データを処理する
請求項17の画像解析方法。 - ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織または細胞の画像を解析する画像解析装置であって、
解析対象の組織または細胞を含む解析対象画像から解析用データを生成し、
前記解析用データを、前記深層学習アルゴリズムに入力し、
前記深層学習アルゴリズムによって、前記解析対象画像における細胞核の領域を示すデータを生成する処理部、
を備え、
前記深層学習アルゴリズムの訓練に用いられる訓練データが、
個体から採取された組織試料の標本または個体から採取された細胞を含む試料の標本を明視野下で撮像した明視野画像、および
前記標本に対応する、または同一の標本に蛍光核染色を施して調製された標本を蛍光観察下で撮像した細胞核の蛍光画像、
に基づいて生成されている、画像解析装置。 - ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織または細胞の画像を解析するコンピュータプログラムであって、
コンピュータに、
解析対象の組織または細胞を含む解析対象画像から解析用データを生成する処理と、
前記解析用データを、前記深層学習アルゴリズムに入力する処理と、
前記深層学習アルゴリズムによって、前記解析対象画像における細胞核の領域を示すデータを生成する処理と、
を実行させ、
前記深層学習アルゴリズムの訓練に用いられる訓練データが、
個体から採取された組織試料の標本または個体から採取された細胞を含む試料の標本を明視野下で撮像した明視野画像、および
前記標本に対応する、または同一の標本に蛍光核染色を施して調製された標本を蛍光観察下で撮像した細胞核の蛍光画像、
に基づいて生成されている、プログラム。 - 組織または細胞を明視野下で撮像した第1の訓練用画像に対応する第1の訓練データを取得する第1の取得ステップと、
前記第1の訓練用画像における細胞核に蛍光核染色を施して調製された標本を蛍光観察下で撮像した第2の訓練用画像に対応する第2の訓練データを取得する第2の取得ステップと、
前記第1の訓練データと、前記第2の訓練データとの関係を使ってニューラルネットワークを訓練する訓練ステップと、
を含む訓練済み深層学習アルゴリズムの製造方法。 - 前記第1の訓練データをニューラルネットワークの入力層とし、前記第2の訓練データをニューラルネットワークの出力層とする、
請求項21の訓練済み深層学習アルゴリズムの製造方法。 - 前記第1の取得ステップの前に、第1の訓練用画像から前記第1の訓練データを生成するステップをさらに含み、
前記第2の取得ステップの前に、第2の訓練用画像から前記第2の訓練データを生成するステップをさらに含む、
請求項21または22の訓練済み深層学習アルゴリズムの製造方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022141451A JP2022180419A (ja) | 2017-11-17 | 2022-09-06 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017222178A JP7198577B2 (ja) | 2017-11-17 | 2017-11-17 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
JP2022141451A JP2022180419A (ja) | 2017-11-17 | 2022-09-06 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017222178A Division JP7198577B2 (ja) | 2017-11-17 | 2017-11-17 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022180419A true JP2022180419A (ja) | 2022-12-06 |
Family
ID=64331746
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017222178A Active JP7198577B2 (ja) | 2017-11-17 | 2017-11-17 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
JP2022141451A Pending JP2022180419A (ja) | 2017-11-17 | 2022-09-06 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017222178A Active JP7198577B2 (ja) | 2017-11-17 | 2017-11-17 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
Country Status (4)
Country | Link |
---|---|
US (3) | US11074692B2 (ja) |
EP (1) | EP3486836B1 (ja) |
JP (2) | JP7198577B2 (ja) |
CN (2) | CN109871735B (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7198577B2 (ja) * | 2017-11-17 | 2023-01-04 | シスメックス株式会社 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
US11621058B2 (en) | 2018-02-08 | 2023-04-04 | Ohio State Innovation Foundation | Synthetic IHC-stained digital sides generated using artificial neural networks |
CN115684569A (zh) * | 2018-02-15 | 2023-02-03 | 国立大学法人新潟大学 | 超突变型癌的判别系统、程序及方法 |
JP7137935B2 (ja) * | 2018-02-27 | 2022-09-15 | シスメックス株式会社 | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム |
EP3608701A1 (de) * | 2018-08-09 | 2020-02-12 | Olympus Soft Imaging Solutions GmbH | Verfahren zur bereitstellung wenigstens einer auswertemethode für proben |
JP6934118B2 (ja) * | 2018-12-19 | 2021-09-15 | 株式会社日立国際電気 | 画像処理システム、画像処理方法および画像処理プログラム |
CA3136490A1 (en) | 2019-04-11 | 2020-10-15 | Agilent Technologies, Inc. | Deep learning based training of instance segmentation via regression layers |
KR102091832B1 (ko) * | 2019-08-05 | 2020-03-20 | 주식회사 에프앤디파트너스 | 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치 |
WO2021041338A1 (en) | 2019-08-23 | 2021-03-04 | Memorial Sloan Kettering Cancer Center | Identifying regions of interest from whole slide images |
EP4027131A4 (en) * | 2019-09-02 | 2023-10-04 | H.U. Group Research Institute G.K. | GRID REGION ESTIMATION PROGRAM, GRID REGION ESTIMATION DEVICE, AND LEARNING MODEL GENERATION METHOD |
KR102449534B1 (ko) * | 2019-09-18 | 2022-09-30 | 김광수 | 지능형 세포 관리 시스템 |
JP2021064115A (ja) * | 2019-10-11 | 2021-04-22 | 株式会社島津製作所 | 細胞画像解析方法及び細胞解析装置 |
JP2021083431A (ja) * | 2019-11-29 | 2021-06-03 | シスメックス株式会社 | 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム |
JP7475848B2 (ja) * | 2019-11-29 | 2024-04-30 | シスメックス株式会社 | 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム、並びに訓練された人工知能アルゴリズムの生成方法、生成装置、及び生成プログラム |
CN111178229B (zh) * | 2019-12-26 | 2023-04-28 | 南京航空航天大学 | 一种基于深度学习的静脉显像方法和装置 |
CN111325220B (zh) * | 2020-02-17 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 图像生成方法、装置、设备及存储介质 |
CN115699085A (zh) * | 2020-04-21 | 2023-02-03 | 株式会社岛津制作所 | 细胞图像解析装置 |
CN111739010B (zh) * | 2020-06-23 | 2022-06-24 | 珠海圣美生物诊断技术有限公司 | 一种检测循环异常细胞的方法及装置 |
CN114463246A (zh) * | 2020-11-06 | 2022-05-10 | 广达电脑股份有限公司 | 圈选系统及圈选方法 |
CN112613505A (zh) * | 2020-12-18 | 2021-04-06 | 安徽丹姆斯生物科技有限公司 | 一种基于深度学习的细胞微核识别、定位和计数方法 |
CN112750493B (zh) * | 2020-12-22 | 2024-05-03 | 深思考人工智能机器人科技(北京)有限公司 | 基于巴氏染色方式的dna倍体定量分析方法及系统 |
CN113487572A (zh) * | 2021-07-07 | 2021-10-08 | 中国人民解放军总医院第一医学中心 | 基于同源多窗技术的医学图像深度学习方法和装置 |
CN114463249B (zh) * | 2021-11-24 | 2024-04-05 | 杭州医派智能科技有限公司 | 一种基于深度学习的用于评估肾小球周围组织纤维化的辅助方法、计算机设备 |
CN116012838B (zh) * | 2022-12-30 | 2023-11-07 | 创芯国际生物科技(广州)有限公司 | 基于人工智能的类器官活性识别方法及系统 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0211068D0 (en) * | 2002-05-14 | 2002-06-26 | Amersham Biosciences Uk Ltd | Method for assessing biofilms |
WO2008079745A2 (en) * | 2006-12-19 | 2008-07-03 | Cytyc Corporation | Systems and methods for processing an image of a biological specimen |
JP5321145B2 (ja) | 2009-03-04 | 2013-10-23 | 日本電気株式会社 | 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体 |
JP5295906B2 (ja) * | 2009-08-03 | 2013-09-18 | 花王株式会社 | 毛髪特性データの取得方法 |
WO2012091056A1 (ja) * | 2010-12-28 | 2012-07-05 | エスシーワールド株式会社 | 血液中の標的細胞の検査方法、標的細胞検索装置、及びバイオチップ |
US20140220598A1 (en) * | 2011-09-09 | 2014-08-07 | Tohoku University | Biological substance detection method |
CN103020585B (zh) * | 2012-11-06 | 2015-08-26 | 华南师范大学 | 一种免疫组织阳性细胞和阴性细胞识别方法 |
AU2015261891A1 (en) * | 2014-05-23 | 2016-10-13 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
US10839510B2 (en) * | 2015-08-19 | 2020-11-17 | Colorado Seminary, Which Owns And Operates The University Of Denver | Methods and systems for human tissue analysis using shearlet transforms |
WO2017189758A1 (en) * | 2016-04-26 | 2017-11-02 | Ascend Hit Llc | System and methods for medical image analysis and reporting |
CN109690554B (zh) * | 2016-07-21 | 2023-12-05 | 西门子保健有限责任公司 | 用于基于人工智能的医学图像分割的方法和系统 |
CN106570505B (zh) * | 2016-11-01 | 2020-08-21 | 北京昆仑医云科技有限公司 | 对组织病理图像进行分析的方法和系统 |
US11132529B2 (en) * | 2016-11-16 | 2021-09-28 | Ventana Medical Systems, Inc. | Convolutional neural networks for locating objects of interest in images of biological samples |
US10573003B2 (en) * | 2017-02-13 | 2020-02-25 | Amit Sethi | Systems and methods for computational pathology using points-of-interest |
WO2018152248A1 (en) * | 2017-02-14 | 2018-08-23 | Dignity Health | Systems, methods, and media for selectively presenting images captured by confocal laser endomicroscopy |
CN107256558B (zh) * | 2017-05-18 | 2019-12-17 | 深思考人工智能机器人科技(北京)有限公司 | 一种无监督式的宫颈细胞图像自动分割方法及系统 |
CN107679490B (zh) * | 2017-09-29 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 用于检测图像质量的方法和装置 |
JP7076698B2 (ja) * | 2017-11-17 | 2022-05-30 | 国立研究開発法人国立がん研究センター | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム |
JP7198577B2 (ja) * | 2017-11-17 | 2023-01-04 | シスメックス株式会社 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
JP6983704B2 (ja) * | 2018-03-19 | 2021-12-17 | 株式会社ミツトヨ | 計測用x線ctの測定計画生成方法及び装置 |
-
2017
- 2017-11-17 JP JP2017222178A patent/JP7198577B2/ja active Active
-
2018
- 2018-11-15 EP EP18206451.9A patent/EP3486836B1/en active Active
- 2018-11-16 US US16/193,422 patent/US11074692B2/en active Active
- 2018-11-16 CN CN201811362790.2A patent/CN109871735B/zh active Active
- 2018-11-16 CN CN202410217329.7A patent/CN117975453A/zh active Pending
-
2021
- 2021-06-21 US US17/352,488 patent/US11842556B2/en active Active
-
2022
- 2022-09-06 JP JP2022141451A patent/JP2022180419A/ja active Pending
-
2023
- 2023-09-07 US US18/462,530 patent/US20230419696A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2019095853A (ja) | 2019-06-20 |
CN117975453A (zh) | 2024-05-03 |
EP3486836B1 (en) | 2024-01-10 |
JP7198577B2 (ja) | 2023-01-04 |
US11842556B2 (en) | 2023-12-12 |
CN109871735A (zh) | 2019-06-11 |
US11074692B2 (en) | 2021-07-27 |
US20230419696A1 (en) | 2023-12-28 |
CN109871735B (zh) | 2024-03-15 |
EP3486836A1 (en) | 2019-05-22 |
US20210312627A1 (en) | 2021-10-07 |
US20190156481A1 (en) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7198577B2 (ja) | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 | |
JP7076698B2 (ja) | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム | |
JP7458519B2 (ja) | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム | |
EP3531339B1 (en) | Image analysis method, image analysis apparatus and learned deep layer learning algorithm manufacturing method | |
CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
US10650221B2 (en) | Systems and methods for comprehensive multi-assay tissue analysis | |
JP6517788B2 (ja) | 適応的病理組織画像分解のためのシステム及び方法 | |
CN108288506A (zh) | 一种基于人工智能技术的癌症病理辅助诊断方法 | |
CN113574534A (zh) | 使用基于距离的相似性标签的机器学习 | |
WO2017221592A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2012041333A1 (en) | Automated imaging, detection and grading of objects in cytological samples | |
CN112132166A (zh) | 一种数字细胞病理图像智能分析方法、系统及装置 | |
EP3719739B1 (en) | Image coloring device, image coloring method, image learning device, image learning method, program, and image coloring system | |
CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
CN110796661A (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
CN111656393A (zh) | 组织学图像分析 | |
JP4985480B2 (ja) | がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム | |
CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
CN113158996A (zh) | 一种基于扫描电子显微镜图像和人工智能的硅藻两步识别和分类方法 | |
CN116504400A (zh) | 肾功能预测方法、装置、设备、介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230913 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240319 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240328 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |