JP2019204313A - 生物組織画像処理システム及び機械学習方法 - Google Patents
生物組織画像処理システム及び機械学習方法 Download PDFInfo
- Publication number
- JP2019204313A JP2019204313A JP2018099387A JP2018099387A JP2019204313A JP 2019204313 A JP2019204313 A JP 2019204313A JP 2018099387 A JP2018099387 A JP 2018099387A JP 2018099387 A JP2018099387 A JP 2018099387A JP 2019204313 A JP2019204313 A JP 2019204313A
- Authority
- JP
- Japan
- Prior art keywords
- biological tissue
- image
- estimator
- candidate
- observed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title claims description 92
- 238000000034 method Methods 0.000 claims abstract description 141
- 230000008569 process Effects 0.000 claims abstract description 99
- 238000011156 evaluation Methods 0.000 claims description 83
- 230000006870 function Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000000758 substrate Substances 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000010365 information processing Effects 0.000 claims description 5
- 210000000170 cell membrane Anatomy 0.000 abstract description 4
- 210000001519 tissue Anatomy 0.000 description 61
- 239000012528 membrane Substances 0.000 description 48
- 238000002372 labelling Methods 0.000 description 24
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 15
- 238000001878 scanning electron micrograph Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 10
- 210000004027 cell Anatomy 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 6
- 238000000386 microscopy Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000010894 electron beam technology Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000003470 mitochondria Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000003463 organelle Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- ABUBSBSOTTXVPV-UHFFFAOYSA-H [U+6].CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O Chemical compound [U+6].CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O ABUBSBSOTTXVPV-UHFFFAOYSA-H 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- HOQPTLCRWVZIQZ-UHFFFAOYSA-H bis[[2-(5-hydroxy-4,7-dioxo-1,3,2$l^{2}-dioxaplumbepan-5-yl)acetyl]oxy]lead Chemical compound [Pb+2].[Pb+2].[Pb+2].[O-]C(=O)CC(O)(CC([O-])=O)C([O-])=O.[O-]C(=O)CC(O)(CC([O-])=O)C([O-])=O HOQPTLCRWVZIQZ-UHFFFAOYSA-H 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000002288 golgi apparatus Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010884 ion-beam technique Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 229910000489 osmium tetroxide Inorganic materials 0.000 description 1
- 239000012285 osmium tetroxide Substances 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
- G06F18/41—Interactive pattern learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/20—Means for supporting or positioning the objects or the material; Means for adjusting diaphragms or lenses associated with the support
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/22—Optical or photographic arrangements associated with the tube
- H01J37/222—Image processing arrangements associated with the tube
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
- H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
- G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/20—Positioning, supporting, modifying or maintaining the physical state of objects being observed or treated
- H01J2237/202—Movement
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/22—Treatment of data
- H01J2237/221—Image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biodiversity & Conservation Biology (AREA)
- Immunology (AREA)
- Medicinal Chemistry (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Food Science & Technology (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
実施形態に係る生物組織処理システムは、機械学習型の推定器、決定部、及び、制御部を含む。推定器は、顕微鏡による生物組織の観察により得られた画像に対して生物組織に含まれる注目要素を推定する処理を適用し、推定結果を得るものである。制御部は、推定器の機械学習過程において、生物組織における現観察エリアが観察対象となるように顕微鏡の動作を制御するものである。決定部は、推定器の機械学習過程において、現観察エリアを決定するものであり、詳しくは、生物組織における既観察エリア集合に基づいて現観察エリアを探索的に決定するものである。
図1には、実施形態に係る生物組織画像処理システムが示されている。図示された生物組織画像処理システム10は、生物組織について、三次元構造の解析やイメージングを行うためのシステムである。この生物組織画像処理システムを利用して、例えば、人体又は動物の脳内の神経細胞を三次元的に表現した画像が生成される。生物中の任意の組織、器官、その他が解析対象又はイメージング対象になり得る。
Claims (10)
- 顕微鏡による生物組織の観察により得られた画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器と、
前記推定器の機械学習過程において、前記生物組織における現観察エリアを決定する決定部と、
前記推定器の機械学習過程において、前記現観察エリアが観察対象となるように前記顕微鏡の動作を制御する制御部と、
を含み、
前記決定部は、前記生物組織における複数の既観察エリアからなる既観察エリア集合に基づいて、前記現観察エリアを探索的に決定する、
ことを特徴とする生物組織画像処理システム。 - 請求項1記載の生物組織画像処理システムにおいて、
前記決定部は、
前記既観察エリア集合に基づいて、複数の候補エリアについて複数の評価値を演算する評価値演算部と、
前記複数の評価値に基づいて、前記複数の候補エリアの中から特定の候補エリアを前記現観察エリアとして選択する選択部と、
を含む、ことを特徴とする生物組織画像処理システム。 - 請求項2記載の生物組織画像処理システムにおいて、
前記評価値演算部は、
前記候補エリアごとに、当該候補エリアと前記複数の既観察エリアとの間で複数の類似度を演算する類似度演算器と、
前記候補エリアごとに、前記複数の類似度に基づいて前記評価値を演算する評価値演算器と、
を含む、ことを特徴とする生物組織画像処理システム。 - 請求項3記載の生物組織画像処理システムにおいて、
前記推定器に入力される前記画像は、前記生物組織の高倍率観察により得られた画像であり、
前記生物組織の低倍率観察により1又は複数の参照画像からなる参照画像群が取得され、
前記類似度演算器は、前記参照画像群における前記候補エリアに対応する候補部分と、前記参照画像群における前記複数の既観察エリアに対応する複数の既観察部分と、に基づいて前記複数の類似度を演算する、
ことを特徴とする生物組織画像処理システム。 - 請求項4記載の生物組織画像処理システムにおいて、
前記類似度演算器は、
前記候補部分に対してアップサンプリングを適用する第1アップサンプリング処理器と、
前記複数の既観察部分に対してアップサンプリングを適用する第2アップサンプリング処理器と、
前記アップサンプリング後の候補部分に対して前記推定器が有する少なくとも1つの畳み込みフィルタを適用する第1フィルタ処理器と、
前記アップサンプリング後の複数の既観察部分に対して前記推定器が有する少なくとも1つの畳み込みフィルタを適用する第2フィルタ処理器と、
前記アップサンプリング及び前記少なくとも1つの畳み込みフィルタが適用された候補部分と、前記アップサンプリング及び前記少なくとも1つの畳み込みフィルタが適用された複数の既観察部分と、に基づいて、前記複数の類似度を演算する演算器と、
を含む、ことを特徴とする生物組織画像処理システム。 - 請求項4記載の生物組織画像処理システムにおいて、
前記類似度演算器は、
前記候補部分に対してアップサンプリングを適用するアップサンプリング処理器と、
前記アップサンプリング後の候補部分に対して前記推定器が有する少なくとも1つの畳み込みフィルタを適用する第1フィルタ処理器と、
前記複数の既観察部分に対応する複数の高倍率画像に対して前記推定器が有する少なくとも1つの畳み込みフィルタを適用する第2フィルタ処理器と、
前記アップサンプリング及び前記少なくとも1つの畳み込みフィルタが適用された候補部分と、前記少なくとも1つの畳み込みフィルタが適用された複数の高倍率画像と、に基づいて、前記複数の類似度を演算する演算器と、
を含む、ことを特徴とする生物組織画像処理システム。 - 請求項4乃至6のいずれかに記載の生物組織画像処理システムにおいて、
前記複数の参照画像は、前記生物組織における複数の深さに対応した複数の生物組織切片の低倍率観察により得られたものである、
ことを特徴とする生物組織画像処理システム。 - 請求項7記載の生物組織画像処理システムにおいて、
前記顕微鏡は、観察用光軸に対して前記複数の生物組織切片を載せた基板を相対的に動かす移動機構を備え、
前記制御部は、前記現観察エリアが高倍率観察されるように前記移動機構を制御する、
ことを特徴とする生物組織画像処理システム。 - 顕微鏡による生物組織の高倍率観察により得られた画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む生物画像処理システムにおいて、前記推定器を学習させるための機械学習方法であって、
前記顕微鏡による前記生物組織の低倍率観察により1又は複数の参照画像からなる参照画像群を取得する工程と、
前記参照画像群における候補部分ごとに、当該候補部分と前記参照画像群における複数の既観察部分との間で評価値を演算し、前記参照画像群における複数の候補部分について演算された複数の評価値に基づいて特定の候補部分を選択する工程と、
前記特定の候補部分に対応する前記生物組織中の現観察エリアが前記顕微鏡により高倍率観察されるように前記顕微鏡の動作を制御する工程と、
前記現観察エリアの高倍率観察により得られた画像を学習用画像として前記推定器に入力する工程と、
を含む、ことを特徴とする機械学習方法。 - 顕微鏡による生物組織の高倍率観察により得られた画像に対して前記生物組織に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む情報処理装置において実行され、前記推定器を学習させるためのプログラムであって、
前記顕微鏡による前記生物組織の低倍率観察により1又は複数の参照画像からなる参照画像群を取得する機能と、
前記参照画像群における候補部分ごとに、当該候補部分と前記参照画像群における複数の既観察部分との間で評価値を演算し、前記参照画像群における複数の候補部分について演算された複数の評価値に基づいて特定の候補部分を選択する機能と、
前記特定の候補部分に対応する前記生物組織中の現観察エリアが前記顕微鏡により高倍率観察されるように前記顕微鏡の動作を制御する機能と、
前記現観察エリアの高倍率観察により得られた画像を学習用画像として前記推定器に入力する機能と、
を含む、ことを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018099387A JP7181001B2 (ja) | 2018-05-24 | 2018-05-24 | 生物組織画像処理システム及び機械学習方法 |
PCT/JP2019/019740 WO2019225505A1 (ja) | 2018-05-24 | 2019-05-17 | 生物組織画像処理システム及び機械学習方法 |
EP19806542.7A EP3805744A4 (en) | 2018-05-24 | 2019-05-17 | Biological tissue image processing system, and machine learning method |
US17/101,267 US11854201B2 (en) | 2018-05-24 | 2020-11-23 | Biological tissue image processing system, and machine learning method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018099387A JP7181001B2 (ja) | 2018-05-24 | 2018-05-24 | 生物組織画像処理システム及び機械学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019204313A true JP2019204313A (ja) | 2019-11-28 |
JP7181001B2 JP7181001B2 (ja) | 2022-11-30 |
Family
ID=68616764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018099387A Active JP7181001B2 (ja) | 2018-05-24 | 2018-05-24 | 生物組織画像処理システム及び機械学習方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11854201B2 (ja) |
EP (1) | EP3805744A4 (ja) |
JP (1) | JP7181001B2 (ja) |
WO (1) | WO2019225505A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022102748A1 (ja) * | 2020-11-12 | 2022-05-19 | 株式会社GramEye | 顕微鏡検査支援装置、顕微鏡検査支援方法、自動染色装置、自動染色物質推定システム、プログラム、及び記録媒体 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3608701A1 (de) * | 2018-08-09 | 2020-02-12 | Olympus Soft Imaging Solutions GmbH | Verfahren zur bereitstellung wenigstens einer auswertemethode für proben |
TWI808321B (zh) * | 2020-05-06 | 2023-07-11 | 圓展科技股份有限公司 | 應用於畫面顯示的物件透明度改變方法及實物投影機 |
US20230099947A1 (en) * | 2021-09-30 | 2023-03-30 | Fei Company | Data acquisition in charged particle microscopy |
EP4231310A1 (en) * | 2022-02-16 | 2023-08-23 | Leica Instruments (Singapore) Pte Ltd | Systems and methods for training and application of machine learning algorithms for microscope images |
CN116046810B (zh) * | 2023-04-03 | 2023-06-23 | 云南通衢工程检测有限公司 | 基于rpc盖板破坏荷载的无损检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100183217A1 (en) * | 2007-04-24 | 2010-07-22 | Seung H Sebastian | Method and apparatus for image processing |
JP2012037861A (ja) * | 2010-07-12 | 2012-02-23 | Sony Corp | 顕微鏡制御装置、画像表示装置、画像管理サーバ、合焦位置情報生成方法、画像表示方法、画像管理方法及び顕微鏡画像管理システム |
JP2016067287A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 細胞撮像装置および方法 |
JP2017027138A (ja) * | 2015-07-16 | 2017-02-02 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および画像処理用のプログラム |
JP2018072240A (ja) * | 2016-11-01 | 2018-05-10 | 株式会社日立ハイテクノロジーズ | 画像診断支援装置及びシステム、画像診断支援方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10049450B2 (en) * | 2015-12-03 | 2018-08-14 | Case Western Reserve University | High-throughput adaptive sampling for whole-slide histopathology image analysis |
WO2018155898A1 (en) * | 2017-02-21 | 2018-08-30 | Koh Young Technology Inc | Method and apparatus for processing histological image captured by medical imaging device |
TWI699816B (zh) * | 2017-12-26 | 2020-07-21 | 雲象科技股份有限公司 | 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體 |
BR112020019896A2 (pt) * | 2018-03-30 | 2021-01-05 | The Regents Of The University Of California | Método e sistema para coloração digital de imagens de fluorescência sem etiquetas usando aprendizagem profunda |
US11222415B2 (en) * | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
US10943346B2 (en) * | 2018-05-21 | 2021-03-09 | Corista, LLC | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning |
-
2018
- 2018-05-24 JP JP2018099387A patent/JP7181001B2/ja active Active
-
2019
- 2019-05-17 WO PCT/JP2019/019740 patent/WO2019225505A1/ja unknown
- 2019-05-17 EP EP19806542.7A patent/EP3805744A4/en active Pending
-
2020
- 2020-11-23 US US17/101,267 patent/US11854201B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100183217A1 (en) * | 2007-04-24 | 2010-07-22 | Seung H Sebastian | Method and apparatus for image processing |
JP2012037861A (ja) * | 2010-07-12 | 2012-02-23 | Sony Corp | 顕微鏡制御装置、画像表示装置、画像管理サーバ、合焦位置情報生成方法、画像表示方法、画像管理方法及び顕微鏡画像管理システム |
JP2016067287A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 細胞撮像装置および方法 |
JP2017027138A (ja) * | 2015-07-16 | 2017-02-02 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および画像処理用のプログラム |
JP2018072240A (ja) * | 2016-11-01 | 2018-05-10 | 株式会社日立ハイテクノロジーズ | 画像診断支援装置及びシステム、画像診断支援方法 |
Non-Patent Citations (2)
Title |
---|
LIGONG HAN ET AL.: "Learning Generative Models of Tissure Organization with Supervised GANs", 2018 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION, JPN6019026844, 12 March 2018 (2018-03-12), pages 682 - 690, ISSN: 0004909076 * |
内橋堅志 他: "敵対的生成モデルを用いた電子顕微鏡画像からの神経細胞膜セグメンテーション", 第31回人工知能学会全国大会論文集, vol. 4K1-4in2, JPN6019026842, 2017, pages 1 - 4, ISSN: 0004765810 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022102748A1 (ja) * | 2020-11-12 | 2022-05-19 | 株式会社GramEye | 顕微鏡検査支援装置、顕微鏡検査支援方法、自動染色装置、自動染色物質推定システム、プログラム、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP7181001B2 (ja) | 2022-11-30 |
EP3805744A1 (en) | 2021-04-14 |
WO2019225505A1 (ja) | 2019-11-28 |
US11854201B2 (en) | 2023-12-26 |
EP3805744A4 (en) | 2022-06-29 |
US20210073992A1 (en) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019225505A1 (ja) | 生物組織画像処理システム及び機械学習方法 | |
Klumpe et al. | A modular platform for automated cryo-FIB workflows | |
CN111007661B (zh) | 一种基于深度学习的显微图像自动聚焦方法及装置 | |
CN103649992B (zh) | 用于自动调节数字病理图像的焦平面的方法 | |
CN107680107B (zh) | 一种基于多图谱的扩散张量磁共振图像的自动分割方法 | |
JP7419007B2 (ja) | 画像セグメント化を使用した物体追跡 | |
CN110736747B (zh) | 一种细胞液基涂片镜下定位的方法及系统 | |
US20220222822A1 (en) | Microscopy System and Method for Evaluating Image Processing Results | |
Waggoner et al. | 3D materials image segmentation by 2D propagation: A graph-cut approach considering homomorphism | |
CN113744195B (zh) | 一种基于深度学习的hRPE细胞微管自动检测方法 | |
Fortun et al. | Reconstruction from multiple particles for 3D isotropic resolution in fluorescence microscopy | |
US8837795B2 (en) | Microscopy of several samples using optical microscopy and particle beam microscopy | |
Rangan et al. | Deep reconstructing generative networks for visualizing dynamic biomolecules inside cells | |
JP7181000B2 (ja) | 生物組織画像処理装置及び方法 | |
JP7181003B2 (ja) | 生物組織画像処理装置及び方法 | |
JP7181002B2 (ja) | 生物組織画像処理システム及び機械学習方法 | |
On et al. | 3D Reconstruction of Phase Contrast Images Using Focus Measures | |
Chen et al. | Retention of features on a mapped drosophila brain surface using a bezier-tube-based surface model averaging technique | |
US20230245360A1 (en) | Microscopy System and Method for Editing Overview Images | |
WO2022113366A1 (ja) | 学習済みモデルを生成する方法、画像処理方法、画像変換装置、プログラム | |
Rojas et al. | Improved segmentation of meristem cells by an automated optimisation algorithm | |
EP3531428A1 (en) | Method for use in tissue engineering | |
JP2022023322A (ja) | 荷電粒子線装置および帯電評価方法 | |
CN115249287A (zh) | 一种应用于糖尿病足的足部模型构建方法 | |
CN117953158A (zh) | 一种图像处理方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7181001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |