JP2021508127A - 自律顕微鏡システムの制御方法、顕微鏡システム、および、コンピュータ可読記憶媒体 - Google Patents

自律顕微鏡システムの制御方法、顕微鏡システム、および、コンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP2021508127A
JP2021508127A JP2020536747A JP2020536747A JP2021508127A JP 2021508127 A JP2021508127 A JP 2021508127A JP 2020536747 A JP2020536747 A JP 2020536747A JP 2020536747 A JP2020536747 A JP 2020536747A JP 2021508127 A JP2021508127 A JP 2021508127A
Authority
JP
Japan
Prior art keywords
neural network
autonomous
microscope system
controlling
magnification image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020536747A
Other languages
English (en)
Other versions
JP7277886B2 (ja
Inventor
肇元 叶
肇元 叶
Original Assignee
云象科技股▲ふん▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 云象科技股▲ふん▼有限公司 filed Critical 云象科技股▲ふん▼有限公司
Publication of JP2021508127A publication Critical patent/JP2021508127A/ja
Application granted granted Critical
Publication of JP7277886B2 publication Critical patent/JP7277886B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、自律顕微鏡システム、顕微鏡システム、および、コンピュータ可読記憶媒体を制御する方法を提供する。強化学習スキームにおいて訓練されたニューラルネットワークの利点を活用して、この方法は、顕微鏡システムにより実行される生体サンプルの分析プロセスを自動化し、その結果として、診断効率を改善する。【選択図】図１

Description

本開示は、自律顕微鏡システムの分野、特に、自律顕微鏡システムの制御に関する方法、顕微鏡システム、および、コンピュータ可読記憶媒体を開示する。
生体試料の分析は、疾患の診断において重要な役割を果たす。例えば、血液サンプル、目標組織サンプルのスライス、組織液のサンプルなどが分析され、サンプルに疾患関連の特徴があるかを確認する。生物学的サンプルの分析における効率を改善するために、自律顕微鏡システムが当技術分野において使用され始めており、手動操作の時間を短縮している。具体的には、この種の自律顕微鏡システムの殆どは、検査者が分析に適した視野を見つけるのに有益なように、オートフォーカスの機能を提供できる。
しかしながら、疾患の検出が普及し複雑になっているので、大量の画像が分析される必要があるとき、手動で画像を検出および分析することは、検出のエラーおよび障害のパーセンテージを増加させるかもしれない。オートフォーカスの機能を提供する従来の自律顕微鏡システムは、もはや、当技術分野における要求に応えていない。従って、適切な視野、能動分析および自己学習を見つけることができる自律顕微鏡システムが当該技術分野では必要とされている。
本開示の目的は、自律顕微鏡システムを制御する方法およびコンピュータ可読記憶媒体を提供することであって、この方法は生体試料の分析効率を改善できる。
本開示の他の目的は、手動操作により引き起こされるエラーおよび障害を防止できる自律顕微鏡システムを提供することである。
上述した目的を達成するために、本開示は、自律顕微鏡システムを制御する方法であって、装置で低倍率画像を得るステップと、前記低倍率画像を第１のニューラルネットワークに入力して関心領域を選択するステップであって、前記第１のニューラルネットワークは強化学習スキームにおいて訓練される、ステップと、前記関心領域を拡大して高倍率画像を生成するステップと、前記高倍率画像を第２のニューラルネットワークに入力して前記高倍率画像が目標特徴を備えるかを分析し、前記目標特徴に関する統計結果を生成するステップと、前記統計結果に従ってフィードバック信号を生成すると共に、前記フィードバック信号を前記第１のニューラルネットワークに送って、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練するステップと、を備える方法を提供する。
好適には、前記第１のニューラルネットワークは、第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである。
好適には、前記低倍率画像を前記第１のニューラルネットワークに入力して前記関心領域を選択するステップは、前記低倍率画像を複数の領域に分割することをさらに備える。
好適には、前記第１のニューラルネットワークは、前記第１の畳み込みニューラルネットワークであり、前記複数の領域は、前記第１の畳み込みニューラルネットワークに入力されて確率分布モデルを生成し、前記確率分布モデルは、前記複数の領域のうちのいずれか１つが関心領域である確率を表す。
好適には、前記第１のニューラルネットワークが、前記複数の領域のうちのいずれか１つが前記関心領域であることを見いだすとき、正のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する。
好適には、前記第１のニューラルネットワークが前記複数の領域のうちのいずれか１つを前記関心領域として選択するとき、特定の期間ごとに負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する。
好適には、前記第１のニューラルネットワークは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、模倣学習アルゴリズムまたはこれらの組み合わせをさらに備える。
好適には、方法は、前記統計結果が全体目的を満たすかを判断することを備える。好適には、前記統計結果が前記全体目的を満たさないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する。
好適には、前記高倍率画像が前記目標特徴を備えないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する。
好適には、前記第２のニューラルネットワークは、第２の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである。
好適には、前記第２のニューラルネットワークは、インスタンスセグメンテーションモデル、セマンティックセグメンテーションモデルまたは画像分類モデルであるように構成され、前記高倍率画像が前記目標特徴を備えるかを分析する。
本開示はさらに、前記自律顕微鏡システムを制御する方法を実行するプロセッサを備えることにより特徴づけられる顕微鏡システムを提供する。
本開示はまたさらに、プログラムがコンピュータにロードされたとき、前記コンピュータが前記自律顕微鏡システムを制御する方法を実行する、プログラムが記憶されたコンピュータ可読記憶媒体を提供する。
本開示は、以下の図面および記載を参照することにより、さらに理解されうる。以下の図面を参照して、非限定的で非網羅的な例が説明されるであろう。図面のなかの要素は、必ずしも実際のサイズで描かれていない。構造と原理の説明に重点が置かれている。
本開示の特定の実施形態にかかる自律顕微鏡システムを制御する方法のフローチャートである。
本開示の実施形態にかかる顕微鏡システムのブロック図である。
本開示は、自律顕微鏡システムを制御する方法、顕微鏡システム、および、コンピュータ可読記憶媒体に関する。本開示の特徴は、手動操作を減らすと共に、自律的な学習および生体試料の分析を可能にすることである。
本開示で開示される用語「装置」は、光学顕微鏡、特に、自律顕微鏡システムを指す。実現可能な実施形態において、自律顕微鏡システムは光学ユニットを備え、光学ユニットは異なる倍率の対物レンズの複数のセット（例えば、５ｘ、１０ｘ、２０ｘ、４０ｘおよび１００ｘ）を含む。
顕微鏡を操作する従来の方法は、低倍率の対物レンズを用いて視野のなかの関心領域を見つけ、そして、さらなる詳細な観察のために高倍率の対物レンズに切り替えることである。従って、本開示で開示される用語「高倍率画像」が、比較的高い倍率の対物レンズを用いて得られる画像を指すのに対して、本開示において開示される用語「低倍率画像」は、比較的低倍率の対物レンズを用いて得られる画像を指す。特定の実施形態において、低倍率画像は、５ｘまたは１０ｘの対物レンズを用いて得られた画像を指す。特定の実施形態では、高倍率画像は、２０ｘ、４０ｘ、１００ｘまたはより高倍率の対物レンズを用いて得られた画像を指す。実現可能な実施形態において、低倍率画像は、高倍率画像に対して定義される。つまり、低倍率画像の拡大倍率は、高倍率画像の拡大倍率より低い。
本開示で開示される用語「目標特徴」は、分析目標に関連する特徴を指す。特定の実施形態において、目標特徴は、特定のタイプの細胞、例えば骨髄細胞または癌細胞である。好ましい実施形態において、目標特徴は、特定の疾患またはその症状に関連する特徴を指す。
本開示で開示される用語「関心領域」は、装置において分析中の生体試料の視野の領域を指し、この領域は分析目標に関連すると判断される。関心領域を判断する要素は、画像品質（例えば、焦点品質および／または生体試料の染色品質）、目標特徴の存在および分布、または、これらの組み合わせを含むが、これらに限定されない。上記の焦点品質は、例えば、高速フーリエ変換後の画像の特徴間隔の平均強度を計算し、または、ガウス値のラプラシアン（ＬｏＧ）を計算するといったさまざまな方法で判断されうる。実現可能な実施形態において、関心領域は、良好な画像品質および目標特徴を有する画像フレームと考えられうる。
本開示で開示される用語「全体目的」は、分析目的に基づいて判断される。例えば、骨髄塗抹標本の実施形態において、分析目的は、塗抹標本のなかの骨髄細胞のカテゴリ分布を計算することである。従って、これは、定量的な全体目的に設定されうる。例えば、全体目的は、うまく分類されうる骨髄細胞の計数値が５００に達することである。リンパ節スライスの一実施形態では、分析目的は、スライスされた組織に癌細胞が存在するかを識別することである。従って、それは、定性的な全体目的に設定されうる。例えば、スライスにおいて識別されたがん細胞がある場合、全体目的が達成される。
以下、添付図面を参照して、実施形態が詳細に記載されるであろう。添付図面において、同じおよび／または対応する要素は同じ参照番号で示される。
図１は、本開示の一実施形態にかかる自律顕微鏡システムを制御する方法のフローチャートである。これらのステップは図において連続して示されているが、他の実施形態においては、ステップのいくつかが、交換されうること、または、同時に、実行されうることが当業者に理解されるべきである。
ステップＳ１０２において、装置で低倍率画像が得られる。低倍率画像は、自律顕微鏡システムの光学要素により撮影された生体サンプルの画像である。一実施形態において、生体試料は骨髄塗抹標本である。骨髄塗抹標本の実施形態のための分析目的は、サンプルのなかの骨髄細胞のカテゴリ分布を検出することである。従って、目標特徴は骨髄細胞であり、全体目的は、５００個の骨髄細胞をうまく分類することに設定されうる。他の一実施形態において、生体試料はリンパ節スライスである。リンパ節スライスの実施形態のための分析目的は、リンパ節に癌細胞があるかを検出することである。従って、目標特徴はがん細胞であり、全体目的は、がん細胞が存在するかである。
ステップＳ１０４において、低倍率画像が第１のニューラルネットワークに入力されて、関心領域を選択する。最初のニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、または、完全に接続されたニューラルネットワーク（多層パーセプトロンとしても知られる）であり得る。この実施形態において、第１のニューラルネットワークは、強化学習スキームにおいて訓練された第１の畳み込みニューラルネットワークである。従って、第１のニューラルネットワークは２つの部分：第１のたたみ込みニューラルネットワークと、強化学習アルゴリズムと、を備えると考えられ得る。この実施形態において、最初に、低倍率画像は複数の領域に分割され、各領域は関心領域の候補である。これに基づいて、複数の領域が第１の畳み込みニューラルネットワークに入力され、第１の畳み込みニューラルネットワークは、強化学習スキームにおいて訓練されて、確率分布モデルを出力する。確率分布モデルは、複数の領域のうちのいずれか１つを関心領域として選択する確率を表す。
強化学習アルゴリズムは、訓練データから潜在的なルールを自動的に発見し、好適には、フィードバック機構を介して第１のニューラルネットワークを訓練する。例えば、第１のニューラルネットワークが良好な焦点品質を有する画像または目標特徴を有する画像を得るとき、正のフィードバック信号が生成される。このようにして、強化学習スキームにより、第１のニューラルネットワークの機能が最適化される。さらに、第１のニューラルネットワークが複数の領域のうちのいずれか１つを関心領域として選択するとき、特定の期間ごとに負のフィードバック信号が生成され、第１のニューラルネットワークに送られる。このようにして、強化学習スキームは、第１のニューラルネットワークに、関心領域を見つけることに時間をかけすぎることは促されないことを理解させうる。
実現可能な実施形態において、第１のニューラルネットワークは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、模倣学習アルゴリズム、またはこれらの組み合わせを備える。教師あり学習アルゴリズムを例にとると、事前に収集された骨髄塗抹標本の画像が訓練データとして使用される。訓練データから抽出されたデータの特徴は、システムがターゲットを認識することを助け、そして、第１のニューラルネットワークは、サンプルそれぞれに対応する答を通知される。例えば、骨髄塗抹標本の実施形態では、骨髄細胞の過度に疎な分布は処理効率を低下させるが、骨髄細胞の過度に密な分布は、後続の識別に好適でない。従って、好適には、関心領域は、良好な画像品質および適切な密度の骨髄細胞を有するべきである。適切な領域には、人間の専門家により、「１」とラベル付けされ、通常のサンプルには「０」とラベル付けされる。これに基づき、訓練データの量が蓄積されると、第１のニューラルネットワークは、目標特徴を備える領域（関心領域）を識別することを学習できる。その後、新しい画像データが入力されるとき、第１のニューラルネットワークは、画像の複数の領域のうちのいずれか１つが関心領域に属する確率を識別できる。
ステップＳ１０６において、関心領域が得られた後、領域が拡大されて高倍率画像を得る。この実施形態において、第１のニューラルネットワークが関心領域を識別した後、自律顕微鏡システムが、関心領域を顕微鏡の視野の中心に自動的に移動させ、関心領域のさらなる詳細が示されうるように、高倍率の対物レンズで、関心領域の高倍率を得る。
ステップＳ１０８において、高倍率画像が第２のニューラルネットワークに入力されて、高倍率画像が目標特徴を備えるかを分析し、目標特徴に関連する統計結果を生成する。第２のニューラルネットワークは、畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークでありうる。この実施形態では、第２のニューラルネットワークは、インスタンスセグメンテーションモデル、セマンティックセグメンテーションモデルまたは画像分類モデルである第２の畳み込みニューラルネットワークを含む。この種のモデルは、画像のなかの個々のオブジェクトとその輪郭およびカテゴリを識別できるので、高倍率画像が目標特徴を備えるかを分析するために使用される。
ステップＳ１１０において、骨髄塗抹標本の実施形態において、第２のニューラルネットワークは、関心領域の高倍率画像のなかの骨髄細胞を識別し、骨髄細胞を計数し、統計結果を生成するように構成される。第２のニューラルネットワークが高倍率画像のなかの骨髄細胞の存在を識別し、計数する場合、この関心領域が備える画像フレームは所望の画像フレームとして定義され、統計結果が保存される。一方、第２のニューラルネットワークが高倍率画像のなかの骨髄細胞の存在を識別しない場合、この関心領域が備える画像フレームは望ましくない画像フレームとして定義され、方法はステップＳ１１４に進み、強化学習スキームにおいて第１のニューラルネットワークを訓練するように、第１のニューラルネットワークへのフィードバック信号を生成する。
好適な実施態様において、統計結果に従ってフィードバック信号が生成され、フィードバック信号は第１のニューラルネットワークに送られて、強化学習スキームにおいて第１ニューラルネットワークを訓練する。例えば、骨髄塗抹標本の実施形態では、全体目的は、高倍率画像が５００個の骨髄細胞を含むことである。高倍率画像において５００個、または５００個超の骨髄細胞が計数されると、第１のニューラルネットワークは肯定的な報酬を得る。一方、選択した関心領域を拡大して得られた高倍率画像に骨髄細胞が５００個未満しかない場合、第１のニューラルネットワークは、より低い報酬を得る。より具体的には、実現可能な具体化された実施態様において、強化学習アルゴリズムにおいて用いられる報酬関数の形式はｆ（ｎ）＝ｍｉｎ（ｎ／５００,１）でありえ、ここで、ｎは高倍率画像に含まれる骨髄細胞の数である。これから、報酬は、画像のなかの骨髄細胞の数により判断される。報酬の最大値は1であり、これは、高倍率画像において少なくとも５００個の骨髄細胞があることを意味する。報酬の最小は０であり、これは、高倍率画像に骨髄細胞がないことを意味する。報酬を最大化することにより（これは、少なくとも５００個の骨髄細胞を含む領域を選択することと同等である）、第１のニューラルネットワークは全体目的を達成するために学習するように訓練される。
リンパ節スライスの実施形態において、第２のニューラルネットワークは、関心領域の高倍率画像において卵胞構造および癌細胞を識別するように構成される。第２のニューラルネットワークが高倍率画像のなかの卵胞構造の存在を識別する場合、この関心領域を含む画像フレームが所望の画像フレームとして定義され、統計結果が保存される。一方、第２のニューラルネットワークが高倍率画像における卵胞構造の存在を識別しない場合、この関心領域を含む画像フレームは望ましくない画像フレームとして定義され、方法はステップＳ１１４に進み、強化学習スキームにおいて第１のニューラルネットワークを訓練するように、第１のニューラルネットワークへのフィードバック信号を生成する。
ステップＳ１１２において、統計結果が全体目的を満たしているかが判断され、全体目的は分析目的に依存する。統計結果が全体目的を満たすとき、方法はステップＳ１１６に進む。骨髄塗抹標本の実施形態において、関心領域それぞれの高倍率画像から計数された骨髄細胞の数の累積値が、全体目的（例えば、５００個の骨髄細胞）に達したとき、方法はステップＳ１１６に進んで、統計結果を出力する。リンパ節スライスの実施形態において、高倍率画像に癌細胞が存在することが見いだされたとき、全体目的が達成され、方法はステップＳ１１６に進み、統計結果を出力する。一方、統計結果が全体目的を満たさないとき、方法はステップＳ１１４に進み、そこでは、フィードバック信号が用いられて、第１のニューラルネットワークに、どのように全体目的を達成するかを学習させる。
図２は、本開示の実施形態にかかる顕微鏡システムのブロック図である。この実施形態において、顕微鏡システムは、光学ユニット２０２、ステージ２０４、電子制御ユニット２０６、記憶ユニット２０８およびプロセッサ２１０を備える自律顕微鏡システム２００である。
光学ユニット２０２は、対物レンズ、リレー光学系、三眼鏡筒およびデジタルカメラで構成される。対物レンズは、生体サンプルの画像を拡大するために用いられる。特定の例において、光学ユニットは、電動前輪に取り付けられた異なる倍率の複数の対物レンズ（例えば、５ｘ、１０ｘ、２０ｘ、４０ｘおよび１００ｘ）を備える。拡大された画像はリレー光学系を通過し、三眼鏡筒に達する。三眼鏡筒は、入射光を３本のビームに分割する。３本のビームのうちの２本は人間の目のために用いられ、他の１本はデジタルカメラのために用いられる。デジタルカメラが用いられて、サンプルの画像を得る。
ステージ２０４は、その上に生物学的サンプルの顕微鏡スライドを配置するために使用される。ステージ２０４は、ｘ、ｙ、およびｚ方向に移動可能である。xおよびy方向に沿って移動すると、生体サンプルが観察される視野が変えられ、z方向に沿って移動すると、生体サンプルに焦点が合わせられる。
電子制御ユニット２０６は、プロセッサ２１０の出力に従って、ステージ２０４の移動または光学ユニット２０２の動作（例えば、電動前輪を回転させて異なる倍率の対物レンズに切り替える）を制御するために用いられる。記憶ユニット２０８は、光学ユニット２０２より得られた画像および１つ以上のアルゴリズムおよび／または予め決められた規則を記憶するために用いられる。１つ以上のアルゴリズムおよび予め決められた規則が用いられ得て、プロセッサ２１０に、図１に記載されたような自律顕微鏡システムを制御する方法を実行させる。図１に記載された自律顕微鏡システムを制御する方法をうまく実行するために、記憶ユニット２０８は、第１のニューラルネットワークおよび第２のニューラルネットワーク（図示されず）をさらに記憶する。
プロセッサ２１０は、１つ以上のアルゴリズムおよび予め決められた規則に基づいて自動化ステップを実行するように配置される。例えば、画像処理の手順は、画像を得ること、画像の内容を分析すること、および／または、分析に基づいて関連する統計結果を生成することを含んでよい。プロセッサ２１０を介して、１つ以上のアルゴリズムおよび予め決められた規則は、診断のための画像を識別すること、および、得ることにおいて、自律顕微鏡システムを支援しうる。例えば、本開示で言及される強化学習アルゴリズムは、最適化アクションを決定するために配置されうる。最高のフィードバックを得ることについて、アルゴリズムは、最適な焦点面を得るために、ステージを移動したり、対物レンズを変更したりする戦略を開発できる。
特定の実施形態では、プロセッサ２１０は、電子制御ユニット２０６を介して光学ユニット２０２の動作を制御して、低倍率の対物レンズを利用して生体試料の低倍率画像を撮影し得る。光学ユニット２０２により生成された低倍率画像が受信された後、プロセッサ２１０は、低倍率画像を第１のニューラルネットワークに入力して、関心領域を選択する。関心領域が発見されると、プロセッサ２１０は電子制御ユニット２０６を介してステージ２０４を制御して、関心領域を視野の中心に移動させ、高倍率対物レンズを介して関心領域を拡大することにより高倍率画像を得る。この高倍率画像は、分析中の生体サンプルのより詳細を示す。
そして、プロセッサ２１０は、高倍率画像を第２のニューラルネットワークに入力して、高倍率画像が目標特徴を含むかを分析し、目標特徴に関連する統計結果を生成する。最後に、プロセッサ２１０は、統計結果に従ってフィードバック信号を生成し、フィードバック信号を第１のニューラルネットワークに送って、第１のニューラルネットワークに、どのように全体目的を達成するかを学習させる。
さらに、本開示の他の態様において、図１に記載された自律顕微鏡システムを制御する上述の方法の異なる態様は、ソフトウェアで具体化されてよく、通常は、コンピュータ可読記憶媒体上で運ばれ具体化される実行可能プログラムコードおよび／または関連データの形式の製品の概念として解釈されてよい。コンピュータ可読記憶媒体は、いつでもソフトウェアを記憶可能なさまざまな半導体メモリ、磁気テープ記憶装置、ハードディスクおよび他の類似の装置といった、任意のまたはすべてのタイプのメモリ、コンピュータまたはプロセッサなどに用いられる任意またはすべての他の記憶装置、または、これらの関連するモジュールを備える。
プログラムのすべてまたは一部は、インターネットなどのネットワークまたは他のさまざまな通信ネットワークを介していつでも通信されてよい。このような通信は、例えば、１つの装置から、コンピュータ環境のハードウェアプラットフォーム、コンピュータ環境を実装する他のシステム、または、分散型機械学習技術に関する同様の機能の他のシステムへといったように、あるコンピュータまたはプロセッサから他のコンピュータまたはプロセッサにプログラムがロードされることを可能にしてよい。従って、光波、電波および電磁波を含む、ソフトウェアがロードされた他のタイプの媒体が、有線および光固定ネットワークおよびさまざまなエアリンクを介して、異なるローカル装置の間の物理インターフェースを横断して用いられうる。有線または無線ネットワーク、光ファイバネットワーク、または、他の同様なネットワークといった、上記電波を運ぶ物理的要素もまた、プログラムがロードされた媒体と考えられてよい。本開示で用いられる「コンピュータ可読記憶媒体」などの用語は、有形の記憶媒体に限定されない限り、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
さらに、コンピュータ可読記憶媒体の一般的な形式は、以下のとおり、磁気ディスク、フロッピーディスク、ハードディスク、磁気テープ、その他の任意の磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤまたはＤＶＤ−ＲＯＭ、その他の任意の光学媒体、パンチテープ、パンチ穴を備えたその他の任意の物理記憶媒体、ＲＡＭ、ＰＲＯＭおよびＥＰＲＯＭ、フラッシュＥＰＲＯＭ、その他のメモリチップまたはカートリッジ、データまたは命令を運ぶ搬送波、この搬送波を伝送するケーブルまたはネットワーク、またはコンピュータが読み取るプログラムコードおよび／またはデータを記憶しているその他の任意の媒体である。
当業者は、本教示が、さまざまな変形および／または拡張を受け入れることを認識するであろう。例えば、上記のさまざまなシステムコンポーネントの実施は、ハードウェア装置で実施できるが、ソフトウェアソリューションのみ、または、既存のサーバへのインストールにおいて実施されてもよい。さらに、本開示に開示される自律顕微鏡システムを制御する方法は、ファームウェア、ファームウェア／ソフトウェアの組み合わせ、ファームウェア／ハードウェアの組み合わせ、または、ハードウェア／ファームウェア／ソフトウェアの組み合わせとして実施されてよい。
（付記）
（付記１）
自律顕微鏡システムを制御する方法であって、
装置で低倍率画像を得るステップと、
前記低倍率画像を第１のニューラルネットワークに入力して関心領域を選択するステップであって、前記第１のニューラルネットワークは強化学習スキームにおいて訓練される、ステップと、
前記関心領域を拡大して高倍率画像を生成するステップと、
前記高倍率画像を第２のニューラルネットワークに入力して前記高倍率画像が目標特徴を備えるかを分析し、前記目標特徴に関する統計結果を生成するステップと、
前記統計結果に従ってフィードバック信号を生成すると共に、前記フィードバック信号を前記第１のニューラルネットワークに送って、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練するステップと、
を備える方法。
（付記２）
前記第１のニューラルネットワークは、第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである、
付記１に記載の自律顕微鏡システムを制御する方法。
（付記３）
前記低倍率画像を前記第１のニューラルネットワークに入力して前記関心領域を選択するステップは、前記低倍率画像を複数の領域に分割することをさらに備える、
付記２に記載の自律顕微鏡システムを制御する方法。
（付記４）
前記第１のニューラルネットワークは、前記第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークであり、前記複数の領域は、前記第１のニューラルネットワークに入力されて確率分布モデルを生成し、前記確率分布モデルは、前記複数の領域のうちのいずれか１つが関心領域である確率を表す、
付記３に記載の自律顕微鏡システムを制御する方法。
（付記５）
前記第１のニューラルネットワークが、前記複数の領域のうちのいずれか１つが前記関心領域であることを見いだすとき、正のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
付記３に記載の自律顕微鏡システムを制御する方法。
（付記６）
前記第１のニューラルネットワークが前記複数の領域のうちのいずれか１つを前記関心領域として選択するとき、特定の期間ごとに負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
付記３に記載の自律顕微鏡システムを制御する方法。
（付記７）
前記第１のニューラルネットワークは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、模倣学習アルゴリズムまたはこれらの組み合わせによりさらに訓練される、
付記１に記載の自律顕微鏡システムを制御する方法。
（付記８）
前記統計結果が全体目的を満たすかを判断すること
をさらに備える付記１に記載の自律顕微鏡システムを制御する方法。
（付記９）
前記統計結果が前記全体目的を満たさないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
付記８に記載の自律顕微鏡システムを制御する方法。
（付記１０）
前記高倍率画像が前記目標特徴を備えないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
付記１に記載の自律顕微鏡システムを制御する方法。
（付記１１）
前記第２のニューラルネットワークは、第２の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである、
付記１に記載の自律顕微鏡システムを制御する方法。
（付記１２）
前記第２のニューラルネットワークは、インスタンスセグメンテーションモデル、セマンティックセグメンテーションモデルまたは画像分類モデルであるように構成され、前記高倍率画像が前記目標特徴を備えるかを分析する、
付記１に記載の自律顕微鏡システムを制御する方法。
（付記１３）
付記１〜１０のいずれか１つに記載の自律顕微鏡システムを制御する方法を実行するプロセッサを備えること
により特徴づけられる顕微鏡システム。
（付記１４）
光学ユニット、ステージ、電子制御ユニット、記憶ユニットまたはこれらの組み合わせ、
をさらに備える付記１３に記載の顕微鏡システム。
（付記１５）
プログラムがコンピュータにロードされたとき、前記コンピュータが、付記１〜１２のいずれか１つに記載の自律顕微鏡システムを制御する方法を実行できる、
プログラムが記憶されたコンピュータ可読記憶媒体。

Claims (15)

  1. 自律顕微鏡システムを制御する方法であって、
    装置で低倍率画像を得るステップと、
    前記低倍率画像を第１のニューラルネットワークに入力して関心領域を選択するステップであって、前記第１のニューラルネットワークは強化学習スキームにおいて訓練される、ステップと、
    前記関心領域を拡大して高倍率画像を生成するステップと、
    前記高倍率画像を第２のニューラルネットワークに入力して前記高倍率画像が目標特徴を備えるかを分析し、前記目標特徴に関する統計結果を生成するステップと、
    前記統計結果に従ってフィードバック信号を生成すると共に、前記フィードバック信号を前記第１のニューラルネットワークに送って、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練するステップと、
    を備える方法。
  2. 前記第１のニューラルネットワークは、第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである、
    請求項１に記載の自律顕微鏡システムを制御する方法。
  3. 前記低倍率画像を前記第１のニューラルネットワークに入力して前記関心領域を選択するステップは、前記低倍率画像を複数の領域に分割することをさらに備える、
    請求項２に記載の自律顕微鏡システムを制御する方法。
  4. 前記第１のニューラルネットワークは、前記第１の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークであり、前記複数の領域は、前記第１のニューラルネットワークに入力されて確率分布モデルを生成し、前記確率分布モデルは、前記複数の領域のうちのいずれか１つが関心領域である確率を表す、
    請求項３に記載の自律顕微鏡システムを制御する方法。
  5. 前記第１のニューラルネットワークが、前記複数の領域のうちのいずれか１つが前記関心領域であることを見いだすとき、正のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
    請求項３に記載の自律顕微鏡システムを制御する方法。
  6. 前記第１のニューラルネットワークが前記複数の領域のうちのいずれか１つを前記関心領域として選択するとき、特定の期間ごとに負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
    請求項３に記載の自律顕微鏡システムを制御する方法。
  7. 前記第１のニューラルネットワークは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、模倣学習アルゴリズムまたはこれらの組み合わせによりさらに訓練される、
    請求項１に記載の自律顕微鏡システムを制御する方法。
  8. 前記統計結果が全体目的を満たすかを判断すること
    をさらに備える請求項１に記載の自律顕微鏡システムを制御する方法。
  9. 前記統計結果が前記全体目的を満たさないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
    請求項８に記載の自律顕微鏡システムを制御する方法。
  10. 前記高倍率画像が前記目標特徴を備えないとき、負のフィードバック信号が生成されると共に、前記第１のニューラルネットワークに送られて、前記強化学習スキームにおいて前記第１のニューラルネットワークを訓練する、
    請求項１に記載の自律顕微鏡システムを制御する方法。
  11. 前記第２のニューラルネットワークは、第２の畳み込みニューラルネットワークまたは完全に接続されたニューラルネットワークである、
    請求項１に記載の自律顕微鏡システムを制御する方法。
  12. 前記第２のニューラルネットワークは、インスタンスセグメンテーションモデル、セマンティックセグメンテーションモデルまたは画像分類モデルであるように構成され、前記高倍率画像が前記目標特徴を備えるかを分析する、
    請求項１に記載の自律顕微鏡システムを制御する方法。
  13. 請求項１〜１０のいずれか１項に記載の自律顕微鏡システムを制御する方法を実行するプロセッサを備えること
    により特徴づけられる顕微鏡システム。
  14. 光学ユニット、ステージ、電子制御ユニット、記憶ユニットまたはこれらの組み合わせ、
    をさらに備える請求項１３に記載の顕微鏡システム。
  15. プログラムがコンピュータにロードされたとき、前記コンピュータが、請求項１〜１２のいずれか１項に記載の自律顕微鏡システムを制御する方法を実行できる、
    プログラムが記憶されたコンピュータ可読記憶媒体。
JP2020536747A 2017-12-26 2018-12-25 自律顕微鏡システムの制御方法、顕微鏡システム、および、コンピュータ可読記憶媒体 Active JP7277886B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762610491P 2017-12-26 2017-12-26
US62/610,491 2017-12-26
PCT/CN2018/123401 WO2019128971A1 (zh) 2017-12-26 2018-12-25 自动化显微镜系统的控制方法、显微镜系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2021508127A true JP2021508127A (ja) 2021-02-25
JP7277886B2 JP7277886B2 (ja) 2023-05-19

Family

ID=67063178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020536747A Active JP7277886B2 (ja) 2017-12-26 2018-12-25 自律顕微鏡システムの制御方法、顕微鏡システム、および、コンピュータ可読記憶媒体

Country Status (5)

Country Link
US (1) US11287634B2 (ja)
EP (1) EP3734515A4 (ja)
JP (1) JP7277886B2 (ja)
TW (1) TWI699816B (ja)
WO (1) WO2019128971A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694331B2 (en) 2019-01-22 2023-07-04 Applied Materials, Inc. Capture and storage of magnified images

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776834B (zh) * 2018-05-07 2021-08-06 上海商汤智能科技有限公司 系统增强学习方法和装置、电子设备、计算机存储介质
JP7181001B2 (ja) * 2018-05-24 2022-11-30 日本電子株式会社 生物組織画像処理システム及び機械学習方法
US11614511B2 (en) * 2020-09-17 2023-03-28 Infineon Technologies Ag Radar interference mitigation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133859A (ja) * 1996-04-27 2007-05-31 3D Histech Kft 生体組織の試料および体液の試料の自動顕微鏡支援検査方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965725B1 (en) * 1988-04-08 1996-05-07 Neuromedical Systems Inc Neural network based automated cytological specimen classification system and method
TW200538734A (en) * 2004-03-12 2005-12-01 Aureon Biosciences Corp Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
EP1789923A1 (en) * 2004-08-11 2007-05-30 Aureon Laboratories, Inc. Systems and methods for automated diagnosis and grading of tissue images
JP4288323B1 (ja) * 2008-09-13 2009-07-01 独立行政法人科学技術振興機構 顕微鏡装置及びそれを用いた蛍光観察方法
WO2014093838A2 (en) * 2012-12-14 2014-06-19 The J. David Gladstone Institutes Automated robotic microscopy systems
DK2997353T3 (da) * 2013-05-15 2023-01-16 The Administrators Of The Tulane Educational Fund Mikroskopi af en vævsprøve under anvendelse af struktureret belysning
WO2015069824A2 (en) * 2013-11-06 2015-05-14 Lehigh University Diagnostic system and method for biological tissue analysis
CN104846054A (zh) * 2015-05-22 2015-08-19 电子科技大学 一种基于形态学特征的白带中霉菌的自动检测方法
US9971966B2 (en) * 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
EP3552389A4 (en) * 2016-11-11 2021-07-28 University of South Florida AUTOMATED STEREOLOGY FOR DETERMINING FABRIC CHARACTERISTICS
US10345218B2 (en) * 2016-12-06 2019-07-09 Abbott Laboratories Automated slide assessments and tracking in digital microscopy
DE102017111718A1 (de) * 2017-05-30 2018-12-06 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes
CN107369160B (zh) * 2017-06-28 2020-04-03 苏州比格威医疗科技有限公司 一种oct图像中脉络膜新生血管分割算法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133859A (ja) * 1996-04-27 2007-05-31 3D Histech Kft 生体組織の試料および体液の試料の自動顕微鏡支援検査方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694331B2 (en) 2019-01-22 2023-07-04 Applied Materials, Inc. Capture and storage of magnified images

Also Published As

Publication number Publication date
EP3734515A4 (en) 2021-10-13
TWI699816B (zh) 2020-07-21
US20200326526A1 (en) 2020-10-15
JP7277886B2 (ja) 2023-05-19
EP3734515A1 (en) 2020-11-04
TW201929026A (zh) 2019-07-16
US11287634B2 (en) 2022-03-29
WO2019128971A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
JP7277886B2 (ja) 自律顕微鏡システムの制御方法、顕微鏡システム、および、コンピュータ可読記憶媒体
JP6981533B2 (ja) 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
JP2022513494A (ja) 病理標本の自動撮像および分析のための計算顕微鏡ベースシステムおよび方法
Ligabue et al. Evaluation of the classification accuracy of the kidney biopsy direct immunofluorescence through convolutional neural networks
JP2020057391A (ja) 画像セグメント化を使用した物体追跡
CN112861958A (zh) 对肾脏病免疫荧光图片进行识别分类的方法及装置
CN115937078A (zh) 对用于细胞计数或用于测定细胞融合的机器学习算法的训练
Albayrak Classification of analyzable metaphase images using transfer learning and fine tuning
Liu et al. Automatic identification of fungi under complex microscopic fecal images
Freitas-Andrade et al. Unbiased analysis of mouse brain endothelial networks from two-or three-dimensional fluorescence images
Imbrosci et al. Automated detection and localization of synaptic vesicles in electron microscopy images
Wijesinghe et al. Experimentally unsupervised deconvolution for light-sheet microscopy with propagation-invariant beams
Narmatha et al. Ovarian cysts classification using novel deep reinforcement learning with Harris Hawks Optimization method
US20230288354A1 (en) Deep reinforcement learning-enabled cryo-em data collection
US20140192178A1 (en) Method and system for tracking motion of microscopic objects within a three-dimensional volume
CN111462005A (zh) 处理显微图像的方法、装置、计算机设备及存储介质
Jiang et al. Focus prediction of medical microscopic images based on lightweight densely connected with squeeze-and-excitation network
van Eekelen et al. Multi-class semantic cell segmentation and classification of aplasia in bone marrow histology images
US20230055377A1 (en) Automated training of a machine-learned algorithm on the basis of the monitoring of a microscopy measurement
Dave A Multiple Input Multiple Output Framework for the Automatic OpticalFractionator-Based Cell Counting in Z-Stacks Using Deep Learning
CN111684279A (zh) 一种细胞分析方法、细胞分析装置及存储介质
EP4202523A1 (en) System, method and computer program for a surgical microscope system and corresponding surgical microscope system
US20230259003A1 (en) Apparatus and method for an imaging device
Tran et al. Advancing Embryo Selection: A Comparative Study of State-of-the-Art Deep Learning Models for IVF Embryo Quality Assessment
WO2024083692A1 (en) Toxicity prediction of compounds in cellular structures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230426

R150 Certificate of patent or registration of utility model

Ref document number: 7277886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150