JP2021517255A - 顕微鏡による生物学的物質の同定方法 - Google Patents

顕微鏡による生物学的物質の同定方法 Download PDF

Info

Publication number
JP2021517255A
JP2021517255A JP2020570598A JP2020570598A JP2021517255A JP 2021517255 A JP2021517255 A JP 2021517255A JP 2020570598 A JP2020570598 A JP 2020570598A JP 2020570598 A JP2020570598 A JP 2020570598A JP 2021517255 A JP2021517255 A JP 2021517255A
Authority
JP
Japan
Prior art keywords
image
computer
target biological
biological substance
implemented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020570598A
Other languages
English (en)
Inventor
カミング,アリスター
ラム,ルアン
マッカーシー,クリストファー
ダン,ミッシェル
ギャビン,ルーク
カッタン,サマル
ターン,アントニー
Original Assignee
ヴァーディクト ホールディングス プロプライエタリー リミテッド
ヴァーディクト ホールディングス プロプライエタリー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2018900739A external-priority patent/AU2018900739A0/en
Application filed by ヴァーディクト ホールディングス プロプライエタリー リミテッド, ヴァーディクト ホールディングス プロプライエタリー リミテッド filed Critical ヴァーディクト ホールディングス プロプライエタリー リミテッド
Publication of JP2021517255A publication Critical patent/JP2021517255A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B35/00ICT specially adapted for in silico combinatorial libraries of nucleic acids, proteins or peptides
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Library & Information Science (AREA)
  • Biotechnology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本発明は、概して、コンピュータに基づく画像認識の分野に関する。より詳細には、本発明は、通常顕微鏡的分析の対象である細胞、細胞質構造、寄生虫、寄生虫卵等の生物起源の個別の物体を同定し、場合によっては定量化する方法及びシステムに関する。本発明は、試料中の標的生物学的物質の同定のためにコンピュータを訓練する方法の形態で実施することができる。本方法は、複数の訓練画像にアクセスする工程を含み得、当該訓練画像は、標的生物学的物質及び場合によっては非標的生物学的物質を含む1又はそれ以上の試料の光学顕微鏡検査により得られる。当該訓練画像は、ヒト又はコンピュータにより切り取られ、当該切取画像を生成し、その画像は各々、主として標的生物学的物質を示す。その後、ヒトが、各同定可能な切取画像で標的生物学的物質を同定し、同定標識を、各同定可能な切取画像に関連付ける。その後、コンピュータに実装された特徴抽出方法を、各同定された切取画像に適用した。次いで、コンピュータに実装された学習方法を各同定された切取画像に適用して、生物学的物質の抽出された特徴を標的生物学的物質に関連付ける。

Description

本発明は、概して、コンピュータに基づく画像認識の分野に関する。より詳細には、本発明は、通常顕微鏡的分析の対象である細胞、細胞質構造、寄生虫、寄生虫卵等の生物起源の個別の物体を同定し、場合によっては定量化する方法及びシステムに関する。
様々な理由で、様々な種類の生体物質が光学顕微鏡で分析される。顕微鏡の当該用途の一つは、医学的、獣医学的及び植物の疾病の診断である。例えば、顕微鏡を用いて、正常細胞集団中の癌性細胞等の宿主細胞中の特定のタイプの他の宿主細胞を同定することができる。別の例は、試料中の生物学的又は非生物学的物質中の他の感染性微生物の同定である。さらなる例は、糞便試料中の寄生虫卵種の同定及び定量である。診断上の理由はともあれ、ヒト、動物、及び植物の物質も研究活動の過程において顕微鏡で分析される。
顕微鏡検査はまた、生物学的物質の同定、列挙に工業的に用いられる。細菌及び酵母は多くの工業プロセスで用いられ、初期培養物及びプロセス試料は品質保証及び品質管理の目的で綿密な分析が必要である。
試料中の生物学的物質を正確に同定するのは時として困難である。それは、細胞断片、組織片、土壌等の非標的物質が存在するためである。標的以外の材料が存在すると、標的材料が不明瞭になり、少なくとも、標的材料の可能性の特定が不確実になる等の混乱が生じうる。当該問題は、顕微鏡技師が人為的に関与する場合に生じるが、コンピュータに実装された画像認識方法を標的物質の同定に用いる場合により重要である。近年、画像認識は確実に精度が向上しているが、試料中に非標的材料が存在すると、アルゴリズム出力を不正確にする交絡因子となり得る。
従って、許容可能な精度を得るには、多くの画像認識方法は、標的材料を精製するか、又は他の方法で処理して画像化をすることが必要である。遠心分離及び濾過等の方法は、実質的な標的物質の単離に用いられ得るが、当該方法では、材料及び労働コストが増加する。
精製手順がラボ技術に不慣れな人が現場で行う場合、錯誤の可能性が高い。精製手順において、標的物質の部分又は全部が不注意に失われ、過誤により計数が少なくなり、又は偽陰性の結果に至る可能性がある。試料を診断研究室に物理的に搬送する必要がない遠隔診断システムの使用の高まりを考慮すると、試料の調製は消費者が行う場合が多くなる。
本発明の一態様は、コンピュータに実装された画像認識手段による生物学的物質の高信頼性の検出及び同定を可能にする方法、システム及び装置の提供である。生物学的物質の検出及び同定の従来技術の方法、システム及び装置に対する代替物を提供することは、さらなる態様である。
文書、行為、材料、装置、物品等の議論は、本発明の文脈を提供することのみを目的とし、本明細書に援用される。当該事項のいずれか又は全てが、本出願の優先日前に存在していた、先行技術基準の部分を形成し、又は本発明の関連分野の技術常識であったことを示唆又は示すものではない。
〔発明の概要〕
第1態様では、必ずしも最も広い態様ではないが、本発明は、試料中の標的生物学的物質を同定するコンピュータに実装された学習方法を訓練する方法を提供し、当該方法は、以下の工程:
複数の訓練画像にアクセスする工程であって、前記訓練画像は、標的生物学的物質及び場合によっては非標的生物学的物質を含む1又はそれ以上の試料の光学顕微鏡検査により得られ、
1又はそれ以上の前記訓練画像を人為的及び/又はコンピュータ手段により切り取り、1又はそれ以上の切取画像を生成する工程であって、前記1又はそれ以上の切取画像の各々は、主として前記標的生物学的物質を示し、
同定可能な、前記1又はそれ以上の切取画像の各々において、前記標的生物学的物質を人為的に同定する工程、
同定可能な、前記1又はそれ以上の切取画像の各々に、同定標識を関連付ける工程、
コンピュータに実装された特徴抽出方法を、各標識された切取画像に適用する工程、
コンピュータに実装された学習方法を、各標識された切取画像に適用する工程、を含む方法であって、ここで、
前記コンピュータに実装された学習方法は、生物学的物質の1又はそれ以上の抽出された特徴を標的生物学的物質と関連付けるように構成される。
第1態様の一実施形態では、1又はそれ以上の前記訓練画像の切取工程が、前記標的生物学的物質を前記顕微鏡の視野の背景及び/又は非標的物質(存在する場合)から区別し、かつ、前記画像が主として又は実質的に標的生物学的物質のみを含むように、前記標的生物学的物質を切り取る工程を含む。
第1態様の一実施形態では、前記標的生物学的物質を前記非標的物質から区別する工程が、少なくとも部分的に、コンピュータ手段により実施される。
第1態様の一実施形態では、前記標的生物学的物質を前記非標的物質から区別する工程が、少なくとも部分的に、コンピュータ手段により実施される。
第1態様の一実施形態では、前記人為的支援コンピュータ手段は、以下の:
訓練画像を一連の枠に分割する工程、
前記一連の枠各々に標的生物学的物質の不存在又は存在を人為的手段により同定する工程、
前記一連の枠の各々にコンピュータに実装された特徴抽出方法を適用する工程、
前記一連の枠の各々にコンピュータ実装された学習方法を適用する工程、を含み、ここで、
前記コンピュータに実装された学習方法は、1又はそれ以上の抽出された特徴を、枠中の標的生物学的物質の存在又は不存在と関連付けるように構成される。
第1態様の一実施形態では、前記関連付けは、前記人為的支援コンピュータ手段で用いられなかった複数の枠における標的生物学的物質の存在又は不存在の同定に用いられ、前記標的生物学的物質が、前記画像が主として又は実質的に標的生物学的物質のみを含むように、前記標的生物学的物質の周囲で切り取られて存在する。
第1態様の一実施形態では、前記切取画像及び/又はそこから抽出された特徴の各々が、その個別の同定標識に関連付けられたデータベースに格納される。
第1態様の一実施形態では、前記標的生物学的物質は、個別の物体である。
第1態様の一実施形態では、前記個別の物体は、細胞オルガネラ、細胞、単細胞生物、多細胞生物の解剖学的部分、多細胞生物、又は生殖構造である。
本発明の第2態様では、第1態様のいずれかの実施形態の方法により作成された複数の切取画像を含み、各切取画像は、その同定標識に関連付けられる、データベースが提供される。
本発明の第3態様では、訓練画像から抽出され、第1態様のいずれかの実施形態の方法により生成された特徴の1又は1セットを含み、前記1又は1セットの特徴は、生物学的物質同定情報に関連付けられる、データベースが提供される。
本発明の第4態様では、試料中の標的生物学的物質を同定する方法であって、以下の:
顕微鏡で得られた試料の試験画像にアクセスする工程、
前記試験画像における潜在的な標的生物学的物質の位置を同定するように構成されたコンピュータに実装された位置検出方法を前記試験画像に適用する工程、
コンピュータに実装された特徴抽出方法を、前記同定された位置に適用して、1又は1セットの抽出特徴を提供する工程、
前記1又は1セットの抽出特徴をデータベースに格納された1又は1セットとマッチングさせる工程であって、前記データベースは、生物学的物質同定情報に関連付けられた1又は1セット特徴を備える、方法が提供される。
第4態様の一実施形態では、前記コンピュータに実装された位置検出方法は、前記試験画像を分析する一連の領域に分割する工程を含む。
第4態様の一実施形態では、前記領域は互いに重複する。
第4態様の一実施形態で前記コンピュータに実装された位置検出方法は、前記標的生物学的物質のアウトラインの検討を含む。
第4態様の一実施形態では、前記アウトラインの寸法が測定又は推定される。
第4態様の一実施形態では、前記コンピュータに実装された位置検出方法は、前記標的生物学的物質の形状に近似するテンプレートの使用を含む。
第4態様の一態様では、前記標的生物学的物質が、個別の物体である。
第4態様の一実施形態では、前記個別の物体が、細胞オルガネラ、細胞、単細胞生物、多細胞生物の解剖学的部分、多細胞生物、又は生殖構造である。
第4態様の一実施形態では、前記コンピュータに実装された位置検出方法により同定される2又はそれ以上の個別の物体を計測するコンピュータに実装された方法を備える。
第4態様の一実施態様では、前記試験画像に、第1一般的分類工程後の1又はそれ以上の特定分類工程を含む、カスケード分類又は階層分類方法を適用する工程を含む。
第5態様では、本発明は、試料中の標的生物学的物質を同定するシステムであって、以下の:
試料の画像を捕捉し、前記画像を電子画像ファイルとして出力するように構成された顕微鏡、
前記顕微鏡とデータ通信するプロセッサ対応装置を含む、システムであって、前記プロセッサ対応装置は以下の:
(i)請求項12〜21のいずれか一項に記載の方法の部分又は全部を実施するか又は
(ii)請求項12〜21のいずれか一項に記載の方法の部分又は全部を実行するように構成された遠隔プロセッサに、前記電子画像ファイル又は電子画像ファイルから抽出された特徴を送信するように構成される、システムを提供する。
第5態様の一実施形態では、第4態様のいずれかの実施形態の方法の部分又は全部を実行するように構成された遠隔プロセッサ対応装置を備え、前記遠隔プロセッサ対応装置は、前記顕微鏡とデータ通信する前記プロセッサ対応装置とデータ通信する。
第5態様の一実施形態では、前記顕微鏡とデータ通信する前記プロセッサ対応装置は、移動装置である。
本発明の第6態様では、第4態様のいずれかの実施形態の方法を実行するように構成されたプロセッサ対応装置、又はプロセッサ対応装置のネットワークが提供される。
寄生虫卵について動物由来の臨床試料の分析に用いられる本発明の好ましい実施形態の概略図である。第1モジュールは熟練者により教示される訓練モジュールであり、機械学習システムが顕微鏡画像中の寄生虫卵の位置を同定した後、画像から潜在的な卵を切り取る。一度、卵の位置同定が訓練されると、複数のさらなる卵の位置が自動的に同定され、同定位置の卵が切り取られる。切取画像は、各切取枠内の卵種を同定する訓練用の機械学習モデルの入力に用いられる。第2モジュールは、寄生虫寄生の検査が必要な臨床試料で実行される。当該モジュールは、第1モジュールの訓練を利用して、最初に顕微鏡視野の卵の位置を同定した後、卵の同定位置で卵を画像から切り取る。次いで、第1モジュールの卵種の訓練を参照し、切取画像を同定する。同定卵はさらに列挙されうる。 図1の第1モジュール内のデータフローの概略図である。 図1の第2モジュール内のデータフローの概略図である。 潜在的な卵の位置決めに好ましいスライディングウインドウに基づく方法を示す、臨床試料の光学顕微鏡視野を示す。潜在的な卵がグリッド領域番号18に示される。残存物が顕微鏡視野全体に散在することを示す。当該実施形態では、ウインドウは他と重複する。たとえば、ウインドウ番号1(太字の輪郭線)は、ウインドウ番号2、6、7と重複する。 潜在的な卵の位置決めに好ましいアウトラインに基づく方法を示す、臨床試料の光学顕微鏡視野を示す。当該方法では、各卵の重心と配向を特定する。矢印は卵のアウトラインを示す。 臨床試料の光学顕微鏡視野、及び潜在的な卵の位置決めに好ましいテンプレートに基づく方法のテンプレートを示す図である。当該技術は、各卵の重心と配向をうまく同定する。 汎用分類器のみを用いてヘモンカス卵の偽陰性率の分析後の好ましい寄生虫卵分類プロセスの概略図である。図では、HCはヘモンカス、Trichはトリコストロンギュラスを表す。 好ましい完全な寄生虫卵分類プロセスの概略図である。図では、HCはヘモンカス、Trichはトリコストロンギュラス、Nemは線虫を表す。
〔好ましい実施形態〕
本記載の検討後、本発明が様々な代替実施形態及び代替用途における実施態様は当業者に明らかであろう。本発明の様々な実施形態が本明細書に記載されるが、当該実施形態は限定されるものではなく、一例として例示されることが理解される。すなわち、様々な代替実施形態の当該説明は、本発明の範囲又は広さを制限すると解釈されるべきでない。さらに、利点又は他の態様の記載は、特定の例示的実施形態に適用され、必ずしも特許請求の範囲が含む全ての実施形態に適用されるわけではない。
本明細書の説明及び請求項において、用語「含む」等の用語又はその変形は、他の添加剤、成分、整数又は工程を除外することを意図しない。
本明細書中の語句「一実施形態」は、実施形態に関連して記載された特定の特徴、構造又は特性が本発明の少なくとも一実施形態に含まれることを意味し、従って、本明細書中の様々な箇所の語句「一実施形態では」が、必ずしもすべて同じ実施形態を参照するわけではないが、そうである場合もある。
本発明は、一態様では、標的生物学的物質の存在又は不存在の同定に少なくとも部分的に機械学習技術が用いられ、いくつかの場合、一般クラスの生物学的物質の変異体間で同定され得るという発見に基づく。さらに、顕微鏡視野内において標的生物学的物質の位置を自動的又は半自動的に検出しうる訓練方法は、専門従事者による標識の同定及び適用のための生物学的物質の切取画像を迅速に生成することで、機械訓練を容易にする。生物学的物質を位置決めする当該手段は、試験中の試料にも適用され、同定アルゴリズム(学習フェーズで確立された)は、試験試料の顕微鏡視野図からの各切取画像に適用され得る。
本明細書に記載された開示及び研究の多くは動物寄生性卵種の同定に関するが、同様に原理は、顕微鏡で観察可能な他の生物学的物質にも有効であり、これには、全寄生虫(原生動物、蠕虫、及び外部寄生生物など)、宿主細胞(血液細胞、組織細胞、及び配偶子を含む)、細菌、真菌、酵母、カビ、マイコプラズマ等があげられるが、これらに限定されない。そこで、用語「卵」が本明細書で用いられる場合、用語「構造」、「細胞」、「細胞小器官」、「生物」、「解剖学的部分」又は「生殖構造」が置換されうることが理解されるべきである。
出願人は、顕微鏡専門従事者でなくても様々な種の寄生虫卵の同定が可能な機械学習技術を応用した。より詳細には、本発明では、機械系、特に機械学習系の技術が用いられ、試験試料中の卵の顕微鏡画像から特徴を抽出し、さらに、データセットによる監視訓練に基づいて卵種を同定する。卵種を正確に同定できると、当該宿主動物に提供される治療法に有益である。
要すれば、当該検出方法は、まず、拡大された位置の電子画像において寄生虫の卵を位置決めした後、位置する各卵の形態学的特徴を抽出する。当該抽出特徴は、ある種の寄生虫卵の特徴であり、場合によっては、異種の卵の高精度な同定に用いうることが見いだされた。本方法は、さらに、動物に対する寄生負荷の推定に、同定されたいかなる卵をも計数する手段を含むことができる。
一の態様では、本発明は、試料中の標的生物学的物質を同定するコンピュータに実装された学習方法を訓練する方法を提供し、当該方法は、以下の工程:
複数の訓練画像にアクセスする工程であって、前記訓練画像は、標的生物学的物質及び場合によっては非標的生物学的物質を含む1又はそれ以上の試料の光学顕微鏡検査により得られ、
1又はそれ以上の前記訓練画像を人為的及び/又はコンピュータ手段により切り取り、1又はそれ以上の切取画像を生成する工程であって、前記1又はそれ以上の切取画像の各々は、主として前記標的生物学的物質を示し、
同定可能な、前記1又はそれ以上の切取画像の各々において、前記標的生物学的物質を人為的に同定する工程、
同定可能な、前記1又はそれ以上の切取画像の各々に、同定標識を関連付ける工程、
コンピュータに実装された特徴抽出方法を、各標識された切取画像に適用する工程、
コンピュータに実装された学習方法を、各標識された切取画像に適用する工程、を含む方法であって、ここで、
前記コンピュータに実装された学習方法は、生物学的物質の1又はそれ以上の抽出された特徴を標的生物学的物質と関連付けるように構成される。
本明細書中で用いられる場合、用語「抽出された特徴」及びその変形は、いかなる生物学的物質の同定、1の生物学的物質の他の生物学的物質からの同定、又は標的生物学的物質の非標的生物学的物質からの同定で有用であり得る電子画像ファイルから抽出され得るいかなる特徴をも意味することを意図する。
特徴抽出の中心は、データの大集合の記載に要する資源の削減である。複雑なデータ解析を行う場合、主な問題の1つは、関連する変数の数に起因する。多数の変数を用いる分析では、一般に、大量のメモリ及び処理能力を要し、また、分類アルゴリズムを訓練試料に過剰適合させ、新しい試料をほとんど一般化しえない。
特徴抽出は、当該問題を回避するため、データを十分な精度で記載しつつ、変数の組み合わせを構築する方法の一般用語である。
特徴抽出は、通常、第1測定データのセットから始まり、有益かつ簡素であることを意図した派生値(特徴)を構築し、その後の学習及び一般化工程を容易にし、場合によっては、より良い人為的解釈を導く。特徴抽出は次元縮小に関係する。
そこで、アルゴリズムへの入力データが処理されるには大きすぎる場合や冗長であると疑われる場合(例えば、画素として提示される画像の反復性)、特徴の集合(特徴ベクトル)は軽減されて変換され得る。初期特徴のサブセットの決定を特徴選択という。選択された特徴は、入力データ由来の関連情報を含むことが期待され、それにより、所望のタスクは、完全な初期データの代わりに、この縮小表現を用いて実行され得る。
用語「切取(切り取り)」及びその変形は、画像領域を周囲の画像領域から実質的に分離することを意図する。切り取り動作は、画像領域の別の画像ファイルへの抽出、又は画像領域の別のファイルへのコピーを含み得る。いずれの場合も、画像領域の周囲の画像は除去される。あるいは、切り取られた画像領域は周囲の画像と共に残るが、周囲の画像は、特徴抽出等のその後の分析では無視される。
一実施形態では、物体の幾何学的モデルの生成に依存する幾何学的アプローチを用いて、画像から特徴が抽出される。当該アプローチは、視点及び照明変化による外観の変化を説明することができる。三次元物体の幾何学的記述から、投影された形状を二次元画像で予測することができ、それにより、エッジ又は境界情報を用いる認識が容易になる。有用な方法は、視点変化に対して不変である幾何学的プリミティブ(線及び円など)の抽出に依存することがある。当業者が考慮しる問題は、照明、視点及び閉塞における限定された変化でのみ、当該プリミティブの抽出が確実となる点である。
他の抽出アプローチは、異なる視点を横断する一般的な物体を認識し、照明変動のモデル化に有用な外観に基づく技術に依存する。半径方向基底関数を備えるニューラルネットワーク、動的リンクアーキテクチャ、フィッシャー線形同定器、サポートベクトルマシン、スパースネットワーク、及びブースティングアルゴリズム等の同定分類器を、二次元画像から三次元物体の認識に適用した。
従って、特徴系アルゴリズムの使用は、スケール、照明及びアフィン変換による変化が不変である所望のポイントを同定する別のアプローチである。当該アプローチは、スケール及び照明の変化に起因して非感受性である特徴を抽出することができ、従って、顕微鏡の光及び拡大における変化が期待され得る本発明の文脈において利用され得る。
当該方法の一実施態様では、特徴抽出は、潜在的な同定関連特徴を電子画像ファイルから抽出することを含む。当該方法の一実施形態では、同定関連特徴はベクトルである。
本方法の一実施形態では、ベクトル各々は、高次元領域内の点である。当該方法の一実施形態では、ベクターの数値は、少なくとも256、512、1024、2048又は4096である。
当該方法の一実施態様では、画像ファイルから潜在的な同定関連特徴を抽出する工程は、スケール不変特徴変換アルゴリズム、又はその機能的同等物、又は高速化されたロバスト特徴アルゴリズム、又はその機能的同等物を用いることを含む。
ここで図1を参照し、(i)コンピュータを訓練画像内に卵を含む枠を切り取る訓練(「モジュール1」)及び(ii)切り取られた卵の分類に極めて好ましいスキーム(「モジュール2」)を示す。
本発明の本例示的形態では、訓練方法(モジュール1)は、訓練画像を入力して利用する学習プロセスであり、コンピュータビジョン技術、機械学習技術、及び人為的監視学習アルゴリズムを適用して、訓練画像から卵を切り取る(これらは監視者が確認する)。当該切取枠は、その後、卵種を同定する機械学習モデルの訓練に用いられる。訓練方法のさらなる詳細を、以下に提供する。
本発明の本例示的形態では、寄生虫卵種分類及び計数プロセス、並びに検出結果データベース(モジュール2)は、寄生虫卵種を同定する寄生虫卵画像及び機械学習モデルを入力として受領する。潜在的な卵は、寄生虫の卵像から同定され、特徴(好ましくは同定関連特徴)の抽出に適用される深層畳み込みニューラルネットワークと、参照データベースを参照した卵種決定に用いられる特徴とから同定される。その後、検出結果はデータベースに格納され、そこで卵種の集計が行われる。
データベースは、本明細書に記載の機能を実行しうるいかなるタイプであってよい。一般に、データベースはリレーショナルタイプであり、カスタムコード化データベース、又はAdvantage Database Server、Altibase、Apache Derby、Cubrid、Datacom、Drizzle、Empress Embedded Database、FileMaker、Firebird、HSQLDB、H2、Informix Dynamic Server、Integres、LucidDB、MAriaDB、MaxDB、Microsoft Access、FoxPro、Microsoft SQL Server、MonetDB/SQL、mSQL、Nexusdb、Omnis Studio、Openk Virtioso、Oracle、Rdb、Peoplesoft、Pervasive PSQL、Polyhedra DBMS、Postgres SQL、埋込型RDM、RDMサーバ、SAP、ScimoreDB、smallSQL、SQLAnywhere、SQLBase、SQLite、Unibata及びXeround Cloud Database等の市販のデータベースであってよい。
次は、寄生虫卵を同定する機械学習方法のさらなる説明であるが、相当量の訓練データ(すなわち、複数の卵画像)が好ましく用いられる。用いる訓練データの量の範囲内で、当該方法が対象とする寄生虫卵と、糞便試料中に存在する花粉や残屑等の他の画像内容とを確実に区別することができるように、確実に十分に多様な画像が用いる配慮をするべきである。コンピュータのタージ材料を非標的材料から区別することが教示されないことを考えると、高度に精製された材料の画像を用いた訓練はほとんど役に立たない。
訓練データは、通常、画像−標識対を含み、ここで、既知種の卵を含む画像枠は、顕微鏡で捕捉された画像から切り取られ、専門従事者に決定されるよう、既知種に従って標識付けされる。画像は、通常、糞便試料中に存在する種々の非標的物体、画像ノイズ、及び他の合成物を含み得るので、切取プロセスは好ましい工程である。次いで、当該画像−標識対を用いて、機械学習訓練技術を用いて卵分類法を訓練する。
切取プロセスは、専門従事者により手動で実行され得るが、より高度のハイスループットは、訓練方法により切取された枠を得る半自動プロセスの実施、及び次いで、寄生虫卵を非標的の画像内容(破片、花粉、及び画像ノイズ等)から自動的に区別する機械学習モデルの適用により得られ得る。
切取画像を得る例示的な方法は図2に示され、第1工程が以下のように特定される。訓練画像のセットから、(図1のモジュール1への入力である)寄生虫卵が同定され、画像のサブセットの無作為選択が行われ(卵同定用訓練画像及び試験画像)、卵枠をノイズ枠から区別する監視学習が適用される。選択画像各々は、監視者である人間(一般には顕微鏡の専門従事者)が、寄生虫卵又はノイズを含む枠を手動で同定し、切り取る。各枠に対して、予備訓練された深層畳み込みニューラルネットワークを適用して形態学的特徴を抽出した。ネットワークは、1000の異なる物体カテゴリの分類が予め訓練されている。このネットワークの2〜最終層を取り出し、卵分類器により訓練画像用の重要な特徴の集合を効果的に表す。上記のように、訓練試料は、試験画像の予想されるノイズ条件を十分に網羅すべきである。抽出特徴は、卵をノイズから区別する機械学習モデルの訓練に用いられる。
図2に示す例示的な切取画像取得方法を参照すると、第2工程は以下のように特定される。残りの卵画像について、寄生虫の卵枠切取プロセスは、まず、各画像から潜在的な卵枠を同定して、切り取る。その後、各潜在的卵枠を深層畳み込みニューラルネットワークに送出して、対応する特徴を抽出する。次に、卵をノイズから区別する機械学習モデルを用いて、対応する枠に寄生虫卵が含まれているか否かを判定する。
図2に示す切取画像を獲得する例示的な方法を参照すると、第3工程は以下のように特定される。切取結果はデータ格納器に伝送されて、対応する卵の種類(卵属又は種等)及びその元の寄生虫画像等の切取枠に関する情報が連結された連想として格納される。次に、データ記憶装置内の切取枠は、対応する属又は種により手動でグループ編成される。また、この段階で専門の監視従事者が手作業による確認を行い、データベースに格納される情報の妥当性を確実にすることもある。
図2に示す例示的な切取画像取得方法を参照すると、第4工程は以下のように特定される。次に、切取画像を卵種同定用監視学習プロセスへの入力として用いて卵種同定用監視学習プロセスを訓練する。
上記4段階方法の結果は、卵型分類用訓練データとして用いられる、切取卵枠の迅速な調製である。
好ましくは、第1、第2、第3及び第4工程は、その順序で実行される。
次は、図3を参照して、モジュール2の寄生虫卵同定法のさらなる説明を行う。
図3に示された寄生虫卵同定の例示的な方法を参照すると、第1工程は、以下のように特定される。入力画像が与えられた場合、潜在的な卵の位置は、潜在的な卵位置検出プロセスを用いて検出される。このプロセスは、以下に詳解するように、スライディングウインドウベース、アウトラインベース、又はテンプレートマッチングベースのいずれかの技術の使用を含む。
図3に示された寄生虫卵同定の例示的な方法を参照すると、第2工程は、以下のように特定される。潜在的な卵の位置が与えられた場合、対応する枠が入力画像から切り取られ、枠の対応する特徴が特徴抽出プロセスを用いて抽出される。特徴抽出は、ニューラルネットワーク、より好ましくは畳み込みニューラルネットワーク、さらに好ましくは深層畳み込みニューラルネットワークを用いて実行される。
入力から出力への情報の流れが厳密に一方向である限り、畳み込みニューラルネットワークはフィードフォワードネットワークである。人工ニューラルネットワークに関しては、脳の視覚皮質等の生物学的ネットワークをモデル化した。畳み込みニューラルネットワークアーキテクチャは一般に、畳み込み層とプーリング(サブサンプリング)層から構成され、それらはモジュールにグループ化される。標準的なフィードフォワードニューラルネットワークにおけるように、1又はそれ以上の完全に接続された層のいずれかが、当該モジュールに従う。モジュールは、通常、深層畳み込みニューラルネットワークの形成のために積層される。当該ネットワークは複数の計算層から構成され、入力画像は当該層を通して順次処理される。各層は、コンボルーション、プーリング等の異なる計算演算を含み、標識付き画像を用いた訓練を通して、当該物体の分類に関連する特徴を抽出することを学習し、各層における結果は、画像特徴の数値表現を含むベクトルである。多層の特徴抽出により、より複雑で抽象的な特徴(形態学的及び非形態学的の両方)の推論が可能になる。完全接続最終層はクラス標識を出力する。これは、共通の基本アーキテクチャであるにもかかわらず、バリエーションが考えられ、それにより卵分類精度が改善される。
特徴抽出プロセスは、当業者により適当とみなされ、その多くが公知で利用可能である畳み込みニューラルネットワークの使用を通して、いかなる適当な方法も実行され得る。当該ニューラルネットワークは、1000の対象カテゴリ(動物、乗り物、食器具、家具等の一般的に遭遇する物体を含む)にわたって1000以上の画像を含む非常に大きなデータセットで予め訓練され、試験されている。例示的深層畳み込みニューラルネットワークは、AlexNet(8層、最初の5層は畳み込み層、続いて完全接続層)、VGG−16、及びInceptionV3を含む。当業者であれば、本発明の文脈において使用が見出される当該ニューラルネットワーク及び他のものに精通しているであろう。
畳み込みニューラルネットワークのすべての層を利用する必要はない。本方法は、畳み込みニューラルネットワークの第2層から最終層での結果を利用することができる。この層は4096の数値を含む特徴ベクトルを提供し、各々は入力画像の特定の特徴を表す。画像の特徴ベクトル表現を提供するこのニューラルネットワークを用いて、対象の卵を認識するようにサポートベクトルマシンを訓練して、潜在的な寄生虫卵の最終的な分類を行うことができる。ニューラルネットワークにより抽出される特定の特徴は、元の画像の抽象化であり、人間の検査のために容易に視覚化される特徴を必ずしも表現しないことは、当業者により理解されるであろう。抽象化は、画像を横断する画像コンポーネント間の関係を連結する畳み込み処理の多くの層の結果であり、複数のスケールで行われる。
図3に示された寄生虫卵同定の例示的な方法を参照すると、第3工程は以下のように特定される。卵分類・計数プロセスは、抽出された特徴及び予め訓練された機械学習モデルを利用して、モジュール1から卵の種を同定し、寄生虫の卵の存在を同定し、卵の種類を決定する。
図3に示された寄生虫卵の同定の例示的な方法を参照すると、第4工程は以下のように特定される。分類と計測の結果と関連情報は、検出結果データベースに格納される。
好ましくは、第1、第2、第3及び第4工程は、その順序で実行される。
潜在的な卵位置同定方法に関し、その一例示的形態では、潜在的な卵枠が画像において同定される。枠のサイズは、予想される卵サイズに従って予め決定され得る。枠は、枠中心が、予想される寄生虫卵の中心又は中央領域と実質的に一致するようにさらに構成され得る。
モジュール1に関しては、潜在的な卵の枠が特定された後、入力画像から切り取られ、その後、その枠が実際の寄生虫の卵を含むかどうかを決定する機械学習モデルの入力として用いられる。第2部では、潜在的な卵枠を切り取って、適用目的に応じて必要な種の卵を同定できる。本方法のいくつかの適用では、以前の分析で種が同定されており、主要な考察事項が寄生レベルである場合、同定工程は不要である。この場合、卵を簡単に計測しうる。しかし、通常、この方法は、寄生虫種を同定するさらなる工程を含む。
本方法のいくつかの実施形態では、卵枠は、スライディングウインドウベースの方法、アウトラインベースの方法、又はテンプレートマッチングベースの方法等の方法により決定される。当該枠同定方法各々に対する入力画像は、寄生虫卵を潜在的に含む画像であり、出力は(少なくとも、卵が実際に位置する状況で)入力画像から切り取られた1又は1セットの潜在的な卵枠である。
例示的なスライディングウインドウベースの方法に関して、第1工程は、以下のように特定される。入力画像全体をスライドするには、固定寸法(幅及び高さ)のウインドウが用いられる。
例示的なスライディングウインドウベースの方法に関して、第2工程は、以下のように特定される。入力画像上のウインドウの各位置で、現在のウインドウに対応する画像枠が切り取られる。
好ましくは、第1及び第2工程は、その順序で実施される。
スライディングウインドウベースの方法の1又はそれ以上のパラメータを最適化すると、結果を改善することができる。ウインドウサイズは、最適化され得る第1パラメータであり、単独で、又はいかなる第2及び/又は第3パラメータと組み合わせて最適化され得る。ウインドウの大きさは、予想される寄生虫卵の大きさに応じて選択することができる。様々な深層学習ネットワークに用いられる入力画像サイズが個々に変化することを考慮すると、枠は、通常、予備訓練された深層畳み込みニューラルネットワークへの入力の前に、サイズ変更される。ウインドウサイズの選択は、卵検出の結果に何らかの影響を与える可能性がある。目安として、ウインドウの大きさは、通常、予想される最大の卵の種類を合理的にカバーするのに十分な大きさであるが、枠のサイズ変更時に、卵の外観の詳細(特に、小さな卵の種の場合)が失われるほど大きくしてはならない。
重複比は、最適化され得る第2パラメータであり、単独で、又は第1及び/又は第3パラメータと組み合わせて最適化され得る。スライディングウインドウのストライド長がウインドウの幅/高さより短い場合、隣接するウインドウは互いに重複する。重複するウインドウは、単一のウインドウ中に部分的にしか存在しない卵の位置を改善する可能性があり、そのため、対応する枠から抽出された卵の特徴は不完全である。寄生虫の卵種の大きさに応じて、重複比を最適化することで、寄生虫卵がどのウインドウにも完全には存在しない可能性を低下しうる。
マージしきい値は、最適化され得る第3パラメータであり、単独で、又は第1及び/又は第2パラメータと組み合わせて最適化され得る。寄生虫の卵が(部分的又は完全に)2つ以上の隣接する重複するウインドウに存在する場合、合流閾値を実装して卵の重複計数を避けることができる。卵は、隣接する複数のウインドウ間の重複領域がマージしきい値を超える場合、隣接する複数のウインドウに存在しても、計測は一回のみである。形式的には、以下の:

マージしきい値<=重複領域/(個々の領域の合計)

ように記載することができる。
図4を参照すると、重複比が50%である例示的なスライディングウインドウベースの方法が示され、これは、隣接するウインドウが個々の面積の50%まで重複し得ることを意味する。
次に、画像位置における卵の位置決めの例示的なアウトライン系方法に関し、用いられるアウトラインは、卵のエッジ又はアウトラインに関連し得る。
例示的なアウトラインに基づく方法を参照すると、第1工程は以下のように特定される。入力画像では、画像内のすべての潜在的な卵のアウトライン線が同定される。
例示的なアウトラインベースの方法に関して、第2工程は、以下のように特定される。各アウトラインに対して、その重心が計算される。当該重心に基づいて、所定の幅及び高さを備える枠が構成される。枠の中心は、卵の重心と一致するように配置される。
例示的なアウトラインベースの方法に関して、第3工程は、以下のように特定される。構築した各枠は、潜在的な卵枠とみなされる。
好ましくは、第1、第2、及び第3工程は、その順序で実行される。
アウトラインベースの方法の1又はそれ以上のパラメータを最適化して、結果を改善することができるかもしれない。
アウトラインサイズは、最適化され得る第1パラメータであり、単独で、又は第2、第3又は第4パラメータのうちの1又はそれ以上と組み合わせて最適化され得る。
入力画像は、デジタルノイズアーチファクトを含んでもよく、及び/又は寄生虫卵又は他の標的生物学的物質を模倣又は不明瞭にし得る花粉等の破片を含んでもよい。画像内で検出された全てのアウトラインを処理には時間がかかる場合があり、従って、フィルタリング工程を実行して、処理を促進しうる。フィルタリング工程は、それらのサイズに基づいて、さらなる処理のためのアウトラインを選択する。サイズ閾値(最大値と最小値を含む)は、寄生虫の卵種の通常サイズに基づいて決定される。
所定の枠サイズは、最適化され得る第2パラメータであり、単独で、又は第1、第3、第4、及び第5パラメータのいずれか1又はそれ以上と組み合わせて最適化され得る。入力画像からのアウトラインが与えられると、その中心がアウトラインの中心である枠が構築され、切り取られる。枠サイズを最適化するプロセスは、スライディングウインドウベースの方法におけるウインドウサイズの場合と同様であり、仕様のこの時点でその方法を参照する。
マージしきい値は、最適化され得る第3パラメータであり、単独で、又は第1、第2、第4及び第5パラメータのうちの1又はそれ以上と組み合わせて最適化され得る。入力画像からのアウトラインが与えられると、アウトラインの中心である中心を有する枠が構築され、切り取られる。枠サイズを最適化するプロセスは、スライディングウインドウベース技術におけるウインドウサイズを最適化するプロセスと同様である。
ヒストグラム等化及び画像鮮鋭化は、最適化され得る第4及び第5パラメータであり、単独で、又は第1、第2、第3パラメータのうちの1又はそれ以上と組み合わせて最適化され得る。さらに、第1、第2、第3パラメータのうちの任意の1又はそれ以上は、第4パラメータ又は第5パラメータのいずれかを用いて独立して最適化されてもよい。第1、第2、及び第3パラメータとは別に、第4パラメータは、第5パラメータと組み合わせても組み合わせなくてもよい。
用いるハードウェアによっては、入力画像のコントラストが低くなったり、ぼやけたり、その他の点で妥協する場合がある。低コントラスト及び/又はぼやけた画像上のアウトラインの検出により精度が低下し、卵の同定及び計数プロセスに影響を及ぼす可能性がある。アウトライン検出を適用する前に、ヒストグラム等化及び/又は非シャープマスキング法を用いて、コントラストを増加させ、画像を鮮明にすることで、アウトライン検出プロセスを強化することができる。
図5は、入力画像にアウトライン検出を適用した場合の例示的な結果を示す。卵形の寄生虫である卵は、図の中央に明瞭に示されており、コンピュータでアウトラインが描かれている。デブリの項目についても概説したが,分析用コンピュータにより非標的材料と判断した。
卵位置用の通常のテンプレートに基づく方法を参照すると、第1工程は以下のように特定される。入力画像が与えられた場合、画像内のすべてのアウトラインが計算される。
卵位置用の通常テンプレートに基づく方法を参照すると、第2工程は以下のように特定される。アウトライン線各々について、アウトライン線が網羅する領域の値が残りとは異なる値であるバイナリ画像が構築される。次いで、距離変換がバイナリ画像各々に適用される。距離変換は、各画素における値を最も近いゼロ値から各々の距離に変化させることにより画像を修正する。
卵位置用の通常のテンプレートに基づく方法を参照すると、第3工程は以下のように特定される。距離変換も適用したテンプレートを構築した。
卵位置用の通常のテンプレートに基づく方法を参照すると、第4工程は以下のように特定される。変換された画像の各々について、テンプレートは、スライディングウインドウベースの技術に従ってスライドスルーされる。画像上のテンプレートの各位置において、一致メトリックが、一致レベルに対応して計算される。各位置でのマッチングレベルは、以下の:
Figure 2021517255
(式中、Tはテンプレート画像
w、hは各々、鋳型の幅と高さであり、
Iは入力画像、
R(x,y)は入力画像Iの座標(x,y)における一致レベル
x,yは、入力画像Iの位置に対するx座標及びy座標を示し、
x’,y’は、テンプレートT内の位置のx座標及びy座標を示し、
x’’,y’’は、テンプレートTの位置に対するX座標及びY座標を示す。)ように計算される。
卵位置のための典型的なテンプレートに基づく方法を参照すると、第5工程は以下のように特定される。しきい値メカニズムを用いて整合形状のアウトラインを見つけた。このアウトラインを用いて、潜在的な寄生虫の卵の位置、方向、推定長さ/幅を決定した。
卵位置用の通常のテンプレートに基づく方法を参照すると、第6工程は以下のように特定される。同定されたアウトラインのそれぞれについて、潜在的な卵枠が、さらなる処理のために切り取られる。
テンプレートベースの方法の1又はそれ以上のパラメータを最適化すると結果を改善することができるかもしれない。
テンプレートの形状及び/又はサイズは、最適化され得る第1パラメータであり、単独で、又は第2パラメータ及び/又は第3パラメータと組み合わせて最適化され得る。寄生虫の卵は大きさや形が大きく異なる場合、鋳型の形や大きさの選択が、同定精度に影響を与える。好ましくは、その形状は、標的寄生虫の卵種と類似する。しかし、卵形は楕円形、長方形、殻状など様々であるため、特定の形状に焦点を合わせるのではなく、概ね円形の形状を採用し、大部分の物体を近似させた。テンプレートサイズは、通常、卵サイズに近似するように選択される。
アウトラインサイズは、最適化され得る第2パラメータであり、単独で、又は第1及び/又は第3パラメータと組み合わせて最適化され得る。画像内で検出された全てのアウトラインの処理には、時間がかかることがある;処理を高速化するには、アウトラインサイズに基づいたフィルタリング工程を、好ましくは、上記アウトライン(輪郭)ベースの方法に関して実行することができる。
潜在的な卵面積は、最適化され得る第3パラメータであり、単独で、又は第1及び/又は第2パラメータと組み合わせて最適化され得る。卵の位置がわかり、その長さ/幅が推定されると、さらに分析するために卵を含む領域を切り取る。作付面積は、卵種の通常の大きさの調査により推定されるので、特定の閾値に従ってあらかじめ特定されることがある。
臨床試料入力画像にテンプレートマッチングベースの方法を適用した結果を示す図6を参照する。
スライディングウインドウベース、アウトラインベース、又はテンプレートマッチングベースの技法の使用の決定は、入力画像の性質を考慮して行われ得る:アウトラインベースの方法は、一般に、最速だが、ノイズに敏感であり得る。ノイズレベルが高い場合、スライディングウインドウベースの方法は、概して、アウトラインベースの方法よりも好ましい。
入力画像が卵のクラスタを含む場合、特に、卵が何らかの方法で互いに接触又は接続する状況では、スライディングウインドウベース及びアウトラインベースの方法はともに、一般に、あまり好ましくない。この場合、テンプレートマッチングに基づく方法は、一般に、より有用である。
卵の同定プロセスは、以下のようにさらに最適化され得る。入力画像にはデジタルノイズが含まれる可能性があり、さらに、光学顕微鏡下では、異なる卵種の外観が互いに非常に類似する可能性があるため、単一分類器を適用するだけでは、ノイズに対する卵種の同定の許容可能な精度の達成には十分ではない可能性がある。カスケード多重分類器を用いて分類精度を改善してよい。
本発明の文脈において、カスケードプロセスは、2又はそれ以上の分類方法を含み、さらに、前工程の結果に応じて2又はそれ以上の方法から選択する方法を選択する少なくとも1の決定ポイントを含むプロセスとして特定され得る。この最適化の動的アプローチは、各種の分類誤差の分析に基づく。
図7及び図8を参照する。カスケード処理(階層的処理とも考えられる)は、汎用分類器を現在の入力画像のセットに適用して開始される。汎用分類器は、少なくともある程度、非卵物体を含む全ての期待される種を潜在的に区別するように構成された分類器である。一般的に分類器は、一部の卵種を誤同定する可能性があるため、与えられた種に対して偽陰性の結果を出力する可能性がある。
一般分類器の各寄生虫卵種の分類誤差は、プロセスの分類体系の次にどの工程を実行すべきかの決定に影響する。各種について、その種が誤同定される速度を分析する。当該率は、他種に対する卵種の偽陰性率と考えられる。(式(1)に示すように)別の寄生虫卵の偽陰性率は、前者が前者の偽陰性の総数のうち、後者と誤って同定された症例数の比率と特定される。
Figure 2021517255
上記式における用語「誤認」は、「エラー」に相当するものと解される。
以下は、ヘモンカス、モニエツイア、線虫、オステルタギア及びトリコストロンギュラスの5つの代表的な寄生虫卵種の分類に関連して、一連の方法の工程を特定する。
第1工程では、汎用分類器が適用される。一般的な分類器は、この段階のように出発点として用いられるが、いかなる卵属についても偽陰性率に関する情報はない。
汎用分類器により同定された寄生虫の卵種の各々に対する第2段階として、その偽陰性率を他の属に関して計算した。例えば、一般的分類法を適用した後のヘモンカス卵を同定するアウトカムの試料を以下の表1に示す。
Figure 2021517255
表1は、ヘモンカス卵の他の型の卵に対する偽陰性率を示す。真のヘモンカス卵の総数は65である;当該65の卵のうち、13の卵はトリコストロンギュラスと誤同定され、偽陰性率は20%に相当する。
上の表は、ヘモンカス卵の20%がトリコストロンギュラスと誤同定されたことを示す。
第2段階では、寄生虫である卵種各々について、偽陰性率が最も高い卵種を選択する。最高偽陰性率が許容しきい値より低い場合、現在の卵属をスキップする。それ以外の場合は、以下の手順:
(i)新しい分類器を訓練して、偽陰性率が最高の卵タイプと現在の卵タイプを区別し、
(ii)いかなる分類器を新しく訓練された分類器に接続する分岐を作成する、による。当該分岐は、(1)その出力の1つとして、最高偽陰性率のタイプを備え、(2)最高偽陰性率のタイプの出力はいかなる分類器に関連付ける分岐を備えない。
例えば、表1に示すように、ヘモンカス卵はトリコストロンギュラス卵トリコストロンギュラス卵に対して最も高い偽陰性率を示す。許容閾値が10%であると仮定して、本方法を用いて、ヘモンカス対トリコストロンギュラス分類器(HC/Trich分類器)を訓練する必要がある。一旦、分類器が訓練されると、それは、一般分類器として一般分類器に接続され、(1)その出力の1つとしてトリコストロンギュラスタイプを有し、(2)トリコストロンギュラスタイプの出力を他のいかなる分類器にも関連付ける分岐を有しない。この方法の概略図を図7に示す。
第3方法工程では、全ての入力画像を、再度、一般分類器から開始して、現在のシステムに供給し、分類結果の新セットを得る。
第2及び第3方法は、全ての卵種の偽陰性率が、許容しうる閾値を下回るか、又はそれ以上の有意な改善が達成されなくなるまで、工程を繰り返す。
データベースの参照による標的生物学的物質の同定に関し、参照データベースは、ある生物学的物質(卵)の標識(既知の卵属等の)を、試験生物学的物質(未知の属の試験卵等の)に対してマッチさせうる比較器と関連付けて含むことが理解されるであろう。当該比較器は、既知の卵及び試験卵から抽出された1セットの画像特徴であってよい。当該アプローチの代替法は、既知の卵の標識付けされた切取画像のライブラリの格納であり、ライブラリ内の各画像に対して試験卵の画像を比較して、最も近い一致を同定する。
特徴系の方法は、試験対象を基準画像にマッチングしようと試みる際に用いられ得る。
実現可能な一致を探索する際、解釈ツリーが利用され得る。当該実施形態では、ルートノードは、空のセットを表し、他のノードは、親ノード内の一致の結合と、1つの追加の一致とである。「ワイルドカード」は、非一致の特徴に対して用いられてよい。一致セットが実行不可能な場合、ノードはカットされる。
また物体と参照画像との比較には、参照画像の集合と物体の集合との対応を仮定し、それを用いて物体座標枠からライブラリ画像枠への投影の仮説を立てるという一般的なアプローチ(「逆投影」という)に基づき、物体をレンダリングする「仮説」を用いる。次に、レンダリングを対照と比較する工程に従い、もし両者が十分に似ていれば、仮説を受け入れる。
ポーズ一貫性法は、物体と基準画像との比較で用いられ得る。この方法は、物体が基準画像に位置合わせされるため、位置合わせの形成にも基づく。少数の一致が物体の位置をもたらし、他の一致は一貫していなければならない。原理は、画像特徴の大グループと物体特徴の大きなグループの間で一致が仮定され、欠落パラメータが回復され、物体の残りの部分をレンダリングすることができる。仮説は少数の一致を用いて生成される。他のモデル特徴は、画像に逆投影され、追加の対応が検証される。この方法では、離散物体ポーズを達成するために必要な最小数の対応を用いる。
システム又は方法の一実施形態では、ポーズクラスタリング法が、物体画像と参照画像の比較に用いられる。この方法の原理は、各物体が(おおよそ)同じポーズを持つ多くの正しい対応の集合を導出することである。ポーズに関する投票は、各物体のポーズ空間を表すアキュムレータアレイを用いて実行される。各物体に対して、ポーズ空間を表すアキュムレータアレイが設定され、アキュムレータアレイ内の各要素は、ポーズ空間内の「バケット」に対応する。次に、枠グループ内の各画像が取得され、それと各物体上の各枠グループとの間の対応に関する仮説が形成される。当該対応の各々について、ポーズパラメータが決定され、現在の物体のアキュムレータアレイにおいてポーズ値でエントリが作成される。いずれかの物体のアキュムレータ配列に多数のボートがある場合、これは、そのポーズにおけるその物体の存在の証拠として解釈することができる。検証方法を用いて証拠を確認することができる。
不変法は、参照画像に対する物体の比較に用いられ得る。この方法は、カメラ変換に対して不変である幾何学的特性の存在に依存し、従って、特定の状況にのみ適用可能である。
幾何学的ハッシュ法を用いることができる。この方法は、幾何学的不変量に依存するアルゴリズムを用いて、物体仮説に投票する。ポーズクラスタリング法に類似するが、ポーズに投票するのでなく、幾何に投票するという点が異なる。
スケール不変特徴変換(SIFT)法は、試験物体と基準画像の比較に用いることができる。この方法により、物体のキーポイントは、まず参照画像から抽出され、データベースに格納される。物体と画像を、特徴ごとに個別に比較し、それらの特徴ベクトルのEuclid距離に基づいて、候補整合特徴を見つける。
物体のSIFTキーポイントは、データベースの参照画像から抽出され、データベースに格納される。マッチングの完全なセットから、新しい画像の物体とその位置、スケール、方向に一致するキーポイントのサブセットが同定され、良好なマッチングがフィルタリングされる。整合クラスタの決定は、一般化Hough変換の効率的なハッシュテーブル実装を用いて迅速に実行される。物体及びそのポーズに一致する3つ以上の特徴の各クラスタは、その後、さらなる詳細なモデル検証を受け、その後、外れ値が破棄される。最後に、フィットの精度と疑似照合の可能性の数を所与として、特徴の特定のセットが物体の存在を示す確率を計算する。これらすべての試験を通過する物体一致は、高い信頼性を備える真正物として同定できる。本方法及びシステムへのSIFT方法の組み込みのさらなる詳細は、好ましい実施形態を参照して本明細書に見出される。
いかなる特徴に基づく方法(SIFTを含む)について、推定上の比較関連特徴(ベクトルなど)が、試験画像ファイル及び参照画像ファイルから抽出される。ベクトルは、高次元ドメイン内の点であってよい。
システム又は方法の一実施形態では、スピードアップロバスト機能(SURF)方法が、試験画像及び基準画像の比較に用いられる。この方法はHessian blob検出器の決定子に対する整数近似を使用し、これは積分画像(3整数演算)で迅速に計算できる。特徴に対して、それは関心ポイントの周りのHaarウェーブレット応答の合計を使用する。再度、これらは積分画像により計算することができる。
一実施形態では、ベクトル要素の数は、構成可能であり、最小数、好ましくは、少なくとも約2、4、8、16、32、64、128、256、512、1024、2048又は4096に設定される。ベクトルの値の範囲は、通常1と1の間で正規化される。
2つ以上の比較方法を用いて精度を改善することができることが理解されよう。例えば、SIFT法とSURF法を組み合わせて用いることができる。
本明細書に開示されている方法のいずれも、AndroidTM、iOSTM、WindowsTM、Linux(登録商標)TM等のプロセッサ対応装置の過去、現在、又は将来のオペレーティングシステム上で実行可能なアプリケーションソフトウェアにより実行することができる。いかなるソフトウェアも、多数の装置を横切って、又は「サービスとしてのソフトウェア」フォーマット、又は「サービスとしてのプラットフォーム」フォーマットで配布することができ、それにより参加者は、ソフトウェアと係合するいくつかのコンピュータベースの手段のみが必要であることが理解されるであろう。現場で試験画像を得ることができるため(例えば、スマートフォンやタブレットなど)、オペレーティングシステムに対応したモバイル機器が望ましい。当該装置は、容易に取り扱われ、インターネットに接続可能であり、バッテリ電源が供給される。
入力画像として用いられる顕微鏡写真は、例えば、拡大レンズ及び他のハードウェアをスマートフォンの組み込みカメラに取り付けて、移動装置自体から得ることができる。当該配置は、標準的で安価な顕微鏡の接眼レンズ及び対物レンズを使用することができ、対物レンズを変更することにより倍率及び解像度を調整することができる。例えば、0.85NA60XAchromatTM対物レンズ及び20X幅の顕微鏡接眼レンズを実装して、約180μmの直径の視野、約28Xのカメラ面上の有効倍率、及び約1.2μmの空間分解能を提供しうる。システム点広がり関数の半値幅の全幅に基づいて、この構成により、約1.2μmの分解能が提供され得る。
あるいは、必要な拡大率(例えば、少なくとも約2X、5X、10X、20X、30X、40X、50X、100X、又は200X)及び拡大画像の電子的捕捉が可能な別個の顕微鏡が提供される。CMOSセンサ等の画像捕捉コンポーネントを用いることができ、その出力は画像フォーマット(例えば、JPG、GIF又はTIFF)に記憶され、RAMモジュールにボード上で格納される。通常の安価な光学顕微鏡は、接眼レンズをデジタル接眼レンズで置換して修正することができる。デジタルアイピースは、人間の目に見えるように画像を捕捉し、有線又は無線プロトコルを介して、プロセッサが使用可能な装置(スマートフォン又はタブレットなど)に出力する。このようにして、ユーザは、照明条件(光源及びダイヤフラムなど)を調整し、対物レンズを焦点合わせすることで試料の鮮明な画像を提供することができる。いったん許容可能な画像が得られれば、分析のためのデジタル画像を提供するように、デジタルアイピースを光路内で置換することができる。
デジタル化可能な顕微鏡を用いると、明視野、暗視野、位相コントラスト、及び油浸顕微鏡法等の技術を容易に用いうる。
驚くべきことに、基本的な光学を有する顕微鏡でさえ、機械学習及び同定のために十分な品質の画像を提供することができることが見出された。
本発明の文脈において、さらに進歩した顕微鏡及び高度な顕微鏡観察が有用と考えられる。例えば、顕微鏡の透過照明された試料の深度走査能、及びソフトウェア手段により構築される拡大された構造の三次元表示を考慮すると、三次元顕微鏡法は、本発明の文脈において可能である。別の例として、蛍光顕微鏡法は、蛍光タグを励起することができるタグ付きプローブ(例えば抗体)及び光源(例えばUV)を用いる必要がある。
標本のデジタル画像は、ワイヤード手段(USB、ライティングTMcableなど)又はワイヤード手段(BluetoothTM、AntTMなど)によりモバイル装置に通信される。その後、携帯電話システム(4Gなど)を介してクラウドサーバに画像を送信してもよい。
多くのアプリケーションでは、試験画像はフィールドで撮影され、インターネットを介してクラウドサーバに通信され、クラウドサーバは必要ないかなる特徴抽出をも実行する。クラウドサーバはまた、参照標識付き画像のライブラリ又は標識付き抽出特徴のライブラリを含み、さらに、必要ないかなる特徴/特徴比較又は画像/画像比較を実行するように構成されてよい。
本発明の例示的な適用は、画像が遠隔位置(すなわち、微生物学的診断検査室等の確立された試料分析のいかなる手段から離れた位置)で撮影される場合、通常の事象の経過において、診断結果を得るのに何らかの困難及び遅延を経験するであろう。例えば、寄生虫寄生が疑われる動物を飼育する農業従事者は、糞便試料を採取し、デジタル化された顕微鏡を用いて、糞便試料の拡大画像を捕捉し、次いで、スマートフォンを用いて、画像を分析し、試料中の寄生虫卵の属及び場合により種を同定するように構成されたクラウドサーバに画像をアップロードすることができる。必要な機械分析(数秒かそれ以下の時間でよい)の後、寄生種の同定がクラウドサーバから農業従事者のスマートフォンに伝えられる。クラウドサーバは、さらに(アルゴリズム手段により)構成されて、検出された寄生虫を殺傷又は阻害することができる治療剤及び投与レジームを同定し、それにより、農業従事者が直ちに動物の治療を開始することができるようにしてもよい。
当該診断は、コンピュータで実行され、人間が介入しなくてよいため、有資格の診断医にかかれない場合でも、いかなる時、夜、又は日中、又は休日の期間中にも提供され得る。さらに、診断ラボの専門サービス料が回避され得ることが認識される。
他の箇所で強調されるように、本明細書に開示されている訓練及び同定方法は、多くの文脈において有用である。さらなる例として、血球は、互いから分化され、価値ある情報を迅速に提供するように列挙され得る。赤血球の種類(大きさの違い:正常、小球、大球、楕円形大球、低色素性大球;ヘモグロビンの分布の違い:低色素血症、多染症;形の違い:標的細胞、球状細胞、卵形細胞、口内赤血球、鎌状赤血球、burr細胞;封入体を示す細胞:Pappenheimer小体、Cabot輪、斑点、Howell−Joly;凝集構造;及び連晶構造)は互いに区別される。白血球も分化することがある:好中球、好酸球、好塩基球、大リンパ球、小リンパ球、単球である。
別の適用可能性として、本発明の訓練及び同定方法を用いて、精子の計数及び頭部、頸部及び尾部の欠損を含む精子の形態を評価することを含む精液分析を自動化することができる。
試料の調製は、当該作業が現場で、またしばしばラボ方法の訓練を受けていない職員により行われることを考慮すると、可能な限り簡略化されることが好ましい。試料は、例えば、液体希釈剤を添加し、混合した後、「ウェットマウント」アプローチでガラススライド上に置くことにより簡単に調製することができる。
糞便試料は、スライドガラス上に塗抹し、乾燥させた後、カルボールフスキン/マラカイトグリーン等の単純な卵染色プロトコルを加える。
一方、種々の染色及び照明条件を用いて、細胞又は組織内又は周囲の構造を強調することができる。一般に、訓練画像及び試験画像は、実質的に同じ条件下で準備され、照明される。
尿及び血液等の生物学的液体中に見出される細胞外小体もまた、本方法により同定され得る。様々な結晶、本体及び底質が生物学的液体中に見出され得、その多くは本質的に不連続であり、機械学習システムにより学習され、次いで試験試料に適用され得る独特のサイズ及び形態を備える。
生物学的物質の構造又は生体分子は、特定の染色又はタグ付け技術により強調されうるため、捕獲された画像上でより明白であり得る。例えば、タンパク質に優先的に結合する染色を用いることができる。あるいは、より特異的なタグを用いて、特定の核酸、タンパク質又は糖タンパク質モチーフに結合させてよい。タグは、画像捕捉手段により検出可能な蛍光分子等のレポーターを含んでよい。
本発明の同定アルゴリズムは、同定プロセスを支援し得る補助的な情報を受信するように補強され得る。例えば、アルゴリズムが病原体を同定するように構成さる場合、アルゴリズムは、患者の病歴、存在する状態又は他の感染、地理的位置、年齢、民族性、種、品種、又は同定の精度を高めるために用いられ得る他の情報等の情報を受け入れ得る。当該情報は、アルゴリズムにより用いられてもよく、そうでなければ、同定結果が曖昧となりうる。精度の向上は、例えば、アルゴリズムが2つの潜在的病原体を同定したが、患者の地理的な位置により、病原体がもう一方よりも1つ優先的に存在する可能性がはるかに高くなる場合に生じる可能性がある。また、モニエツイア卵がしばしば線虫と共分布するなど、いかなる同時感染もさらなる情報を提供することがある。
組織全体の切片もまた、本方法に従って分析され得、切片内の細胞型は、学習過程の後で同定可能である。当該用途では、細胞は、通常、互いに密接に接触しており、従って、各細胞の周囲での切取は、一般に、十分に離れた個別の物体が含まれる状況よりも正確である。
当業者には理解されるように、本明細書に記載されるコンピュータ実施の訓練及び同定方法及びシステムは、コンピュータソフトウェア、プログラムコード、及び/又は命令をプロセッサ上で実行する1又はそれ以上のプロセッサを介して、部分的に又は全体的に展開され得る。プロセッサは、サーバ、クライアント、ネットワークインフラストラクチャ、モバイルコンピューティングプラットフォーム、静止コンピューティングプラットフォーム、又は他のコンピューティングプラットフォームの一部であってよい。プロセッサは、プログラム命令、コード、バイナリ命令等を実行することができるいかなる種類の計算又は処理装置であってよい。プロセッサは、信号プロセッサ、デジタルプロセッサ、埋め込みプロセッサ、マイクロプロセッサ、又はコプロセッサ(数学コプロセッサ、グラフィックコプロセッサ、通信コプロセッサ等)等のいかなる変形であってよく、その上に記憶されたプログラムコード又はプログラム命令の実行を直接的又は間接的に促進してもよい。さらに、プロセッサは、複数のプログラム、スレッド、及びコードの実行を可能にすることができる。
スレッドは、プロセッサの性能を向上させ、アプリケーションの同時動作を容易にするために、同時に実行されてよい。実施形態として、本明細書に記載の方法、プログラムコード、プログラム命令などは、1又はそれ以上のスレッドで実施することができる。スレッドは、それらに関連付けられた優先度を割り当てられた他のスレッドを生成することができ、プロセッサは、優先度に基づいて、又はプログラムコードに提供された命令に基づいて他のいかなる順序に基づいて当該スレッドを実行することができる。プロセッサは、本明細書及び他の箇所に記載される、方法、コード、命令及びプログラムを記憶するメモリを含んでもよい。
いかなるプロセッサ、又は移動通信装置もしくはサーバも、本明細書及び他の箇所に記載される、方法、コード、及び命令を記憶することができるインタフェースを介して記憶媒体にアクセスすることができる。方法、プログラム、コード、プログラム命令、又は演算又は処理装置により実行可能な他のタイプの命令を記憶するためにプロセッサに関連付けられた記憶媒体は、CD−ROM、DVD、メモリ、ハードディスク、フラッシュ・ドライブ、RAM、ROM、キャッシュ等のうちの1又はそれ以上を含むことができるが、これらに限定されない。
プロセッサは、マルチプロセッサの速度及び性能を向上させることができる1又はそれ以上のコアを含んでもよい。いくつかの実施形態では、プロセッサは、デュアルコアプロセッサ、クワッドコアプロセッサ、他のチップレベルのマルチプロセッサなどであって、2つ以上の独立したコア(ダイと呼ばれる)を組み合わせることができる。
本明細書に記載される方法及びシステムは、サーバ、クライアント、ファイアウォール、ゲートウェイ、ハブ、ルータ、又は他の当該コンピュータ及び/又はネットワークハードウェア上でソフトウェアを実行する1又はそれ以上のハードウェアコンポーネントを介して、部分的に又は全体的に配備され得る。ソフトウェアプログラムは、ファイルサーバ、プリントサーバ、ドメインサーバ、インターネットサーバ、イントラネットサーバ、及びセカンダリサーバ、ホストサーバ、分散サーバ等の他のバリアントを含むことができるサーバと関連付けることができる。サーバは、メモリ、プロセッサ、コンピュータ可読媒体、記憶媒体、ポート(物理的及び仮想的)、通信装置、及び有線又は無線媒体を介して他のサーバ、クライアント、コンピュータ、及び装置にアクセス可能なインタフェース等のうちの1又はそれ以上を含んでよい。本明細書及び他の箇所に記載される方法、プログラム又はコードは、サーバにより実行されてよい。さらに、このアプリケーションに記載されているメソッドの実行に必要な他の装置は、サーバに関連するインフラストラクチャの一部とみなされる可能性がある。
サーバは、限定されないが、クライアント、他のサーバ、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバ等を含む他の装置へのインタフェースを提供することができる。さらに、この結合及び/又は接続は、ネットワークを横切るプログラムの遠隔実行を容易にできる。当該装置のいくつか又は全てのネットワーキングは、本発明の範囲から逸脱することなく、一つ又は複数の位置でのプログラム又は方法の並列処理を容易にすることができる。加えて、インタフェースを介してサーバに接続された装置のいずれかは、方法、プログラム、コード及び/又は命令を記憶することができる少なくとも1つの記憶媒体を含んでもよい。中央リポジトリは、異なる装置上で実行されるプログラム命令を提供することができる。この実装では、遠隔リポジトリは、プログラムコード、命令、及びプログラムのための記憶媒体として機能することができる。
ソフトウェアプログラムは、ファイルクライアント、プリントクライアント、ドメインクライアント、インターネットクライアント、イントラネットクライアント、及びセカンダリクライアント、ホストクライアント、分散クライアント等の他のバリエーションを含むクライアントに関連付けることができる。クライアントは、メモリ、プロセッサ、コンピュータ可読媒体、記憶媒体、ポート(物理的及び仮想的)、通信装置、及び有線又は無線媒体を介して他のクライアント、サーバ、コンピュータ、及び装置にアクセスすることができるインタフェース等のうちの1又はそれ以上を含んでよい。本明細書及び他の箇所に記載される方法、プログラム又はコードは、クライアントにより実行されてもよい。さらに、このアプリケーションに記載されているメソッドの実行に必要な他の装置は、クライアントに関連するインフラストラクチャの一部とみなされる可能性がある。
クライアントは、限定されるものではないが、サーバ、他のクライアント、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバ等を含む他の装置へのインタフェースを提供することができる。さらに、この結合及び/又は接続は、ネットワークを横切るプログラムの遠隔実行を容易にすることができる。当該装置のいくつか又は全てのネットワーキングは、本発明の範囲から逸脱することなく、一つ又は複数の位置でのプログラム又は方法の並列処理を容易にすることができる。加えて、インタフェースを介してクライアントに接続された装置のいずれかは、方法、プログラム、アプリケーション、コード及び/又は命令を記憶することができる少なくとも1つの記憶媒体を含んでもよい。中央リポジトリは、異なる装置上で実行されるプログラム命令を提供することができる。この実装では、遠隔リポジトリは、プログラムコード、命令、及びプログラムのための記憶媒体として機能することができる。
本明細書に記載される方法及びシステムは、ネットワークインフラストラクチャを通して部分的に又は全体的に展開され得る。ネットワークインフラストラクチャは、コンピューティング装置、サーバ、ルータ、ハブ、ファイアウォール、クライアント、パーソナルコンピュータ、通信装置、ルーティング装置、及び当技術分野で公知の他の能動及び受動装置、モジュール、及び/又はコンポーネント等の要素を含むことができる。ネットワークインフラストラクチャに関連するコンピューティング及び/又は非コンピューティング装置は、他の構成要素とは別に、フラッシュメモリ、バッファ、スタック、RAM、ROM等の記憶媒体を含むことができる。本明細書に記載されるプロセス、方法、プログラムコード、命令、及び他の箇所は、1又はそれ以上のネットワークインフラストラクチャ要素により実行されてよい。
本明細書に記載される方法、プログラムコード、計算、アルゴリズム、及び命令は、複数のセルを有するセルラネットワーク上に実装されてよい。セルラネットワークは、周波数分割多元接続ネットワーク又は符号分割多元接続ネットワークのいずれであってよい。セルラネットワークは、モバイル装置、セルサイト、基地局、中継器、アンテナ、タワー等を含んでよい。セルラネットワークは、GSM、GPRS、3G、4G、EVDO、メッシュ、又は他のネットワークタイプであってよい。
本明細書に記載される方法、プログラムコード、計算、アルゴリズム、及び命令は、モバイル装置上又はモバイル装置を介して実装されてもよい。モバイル装置は、ナビゲーション装置、携帯電話、携帯電話、モバイルパーソナルデジタルアシスタント、ラップトップ、パームトップ、ネットブック、ポケットベル、電子ブックリーダー、音楽プレーヤー等を含むことができる。当該装置は、他の構成要素とは別に、フラッシュメモリ、バッファ、RAM、ROM、及び1又はそれ以上のコンピューティング装置等の記憶媒体を含むことができる。モバイル装置に関連する計算装置は、その上に記憶されたプログラムコード、方法、及び命令を実行することを可能にすることができる。
あるいは、モバイル装置は、他の装置と協働して命令を実行するように構成されてもよい。モバイル装置は、サーバとインタフェースし、プログラムコードを実行するように構成された基地局と通信することができる。モバイル装置は、ピアツーピアネットワーク、メッシュネットワーク、又は他の通信ネットワーク上で通信することができる。プログラムコードは、サーバに関連付けられた記憶媒体上に記憶され、サーバ内に埋め込まれた計算装置により実行される。基地局は、計算装置及び記憶媒体を含むことができる。記憶装置は、基地局に関連付けられた計算装置により実行されるプログラムコード及び命令を記憶することができる。
コンピュータソフトウェア、プログラムコード、及び/又は命令は、コンピュータ読取可能媒体に記憶及び/又はアクセスすることができ、この媒体には、一定の時間、計算に用いられるデジタルデータを保持するコンピュータコンポーネント、装置、及び記録媒体;ランダムアクセスメモリとして知られる半導体記憶装置;光ディスク、ハードディスク、テープ、ドラム、カード、及び他のタイプ等の磁気記憶装置の形態等のより永久的な記憶装置のための大容量記憶装置;プロセッサレジスタ、キャッシュメモリ、揮発性メモリ、不揮発性メモリ;CD、DVD等の光記憶装置;フラッシュメモリ、フロッピーディスク、磁気テープ、紙テープ、パンチカード、スタンドアロンRAMディスク等の取り外し可能な媒体が含まれる。リムーバブル大容量記憶装置、オフライン記憶装置、その他のコンピュータメモリ、例えば、ダイナミックメモリ、スタティックメモリ、リード/ライト記憶装置、ムーバブル記憶装置、リードオンリー、ランダムアクセス、シーケンシャルアクセス、位置アドレス可能、ファイルアドレス可能、コンテンツアドレス可能、ネットワーク接続記憶装置、記憶域ネットワーク、バーコード、磁気インク等である。
本明細書に記載される方法及びシステムは、物理的及び/又は無形のアイテムをある状態から別の状態に変換することができる。本明細書に記載される方法及びシステムはまた、物理的及び/又は無形のアイテムを表すデータをある状態から別の状態に変換することもできる。
図全体にわたるフローチャート及びブロック図を含む、本明細書に記載及び図示される要素は、要素間の論理的境界を意味する。しかしながら、ソフトウェア又はハードウェアのエンジニアリング手法によれば、図示した要素及びその機能は、モノリシックソフトウェア構造として、独立したソフトウェアモジュールとして、又は外部ルーチン、コード、サービス等を使用するモジュールとして記憶されたプログラム命令を実行することができるプロセッサを備えるコンピュータ実行可能媒体を介して、コンピュータ上に実装することができ、当該実装はすべて、本開示の範囲内にある。
さらに、いかなるフローチャート又はブロック・ダイアグラム又はいかなる他の論理コンポーネントに示されるエレメントは、プログラム命令を実行することができるマシンに実装されてよい。従って、上記図面及び説明は開示されたシステムの機能的側面を記載するが、当該機能的側面を実施するソフトウェアの特定の配置は、明示的に述べられているか、又は文脈から明確でない限り、当該説明から推論されるべきではない。同様に、上記様々な工程を変形させることができ、工程の順序を本明細書に開示した技術の特定の用途に適合させることができることが理解されるであろう。当該バリエーション及び修正はすべて、本開示の範囲内に入るように意図されている。このように、種々の工程に対する順序の図示及び/又は説明は、特定のアプリケーションにより要求されない限り、又は文脈から明示的に記載されないか又は他の方法で明確でない限り、それらの工程に対する実行の順序が特定でなければならないと理解されるべきではない。
上記の方法及び/又はプロセス、及びそれらの工程は、ハードウェア、ソフトウェア、又は特定の用途に適したハードウェア及びソフトウェアのいかなる組み合わせで実現することができる。ハードウェアは、汎用コンピュータ及び/又は専用計算装置又は特定の計算装置、又は特定の計算装置の特定の態様又は構成要素を含んでもよい。当該プロセスは、内部及び/又は外部メモリと共に、1又はそれ以上のマイクロプロセッサ、マイクロコントローラ、埋め込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ、又は他のプログラマブル装置で実現することができる。当該プロセスは、また、特定用途向け集積回路、プログラマブルゲートアレイ、プログラマブルアレイ論理、又は電子信号を処理するように構成することができる任意の他の装置又は装置の組み合わせにおいて実施されてもよい。さらに、1又はそれ以上のプロセスが、コンピュータ読取可能媒体上で実行可能なコンピュータ実行可能コードとして実現されてもよいことが理解されよう。
アプリケーションソフトウェアは、C等の構造化されたプログラミング言語、C++等の物体指向プログラミング言語、又は上記装置の1つで動作するように記憶、コンパイル、又は解釈され得るいかなる他のハイレベル又はローレベルプログラミング言語(アセンブリ言語、ハードウェア記述言語、及びデータベースプログラミング言語及び技術を含む)、並びにプロセッサ、プロセッサアーキテクチャ、又は異なるハードウェア及びソフトウェアの組み合わせの異種の組み合わせ、又はプログラム命令を実行することができるいかなる他のマシンを用いて作成され得る。
したがって、一態様では、上記各方法及びそれらの組み合わせは、1又はそれ以上の計算装置上で実行する場合、それらの工程を実行するコンピュータ実行可能コードに具体化することができる。別の態様では、当該方法は、その工程を実行するシステムで具体化することができ、多数の方法で装置全体に分散させることができ、又は機能の全てを専用のスタンドアロン装置又は他のハードウェアに統合することができる。別の態様では、上記プロセスに関連する工程を実行する手段は、上記ハードウェア及び/又はソフトウェアのいずれかを含んでもよい。全ての当該順列及び組み合わせは、本開示の範囲内に含まれることが意図される。
本発明は、1又はそれ以上のコンピュータ上で実行可能なプログラム命令セットで実施することができる。当該命令セットは、以下の命令タイプのいずれか1又はそれ以上を含むことができる:
データ処理及びメモリ操作は、レジスタを固定定数値に設定する命令、又はメモリロケーションからレジスタへデータをコピーする命令、又はその逆の命令(機械命令はしばしば移動というが、この用語は誤解を招きうる)、レジスタの内容、計算の結果を格納する命令、又は格納されたデータを検索して後で計算を実行する命令、又はハードウェア装置からデータを読み書きする命令を含み得る。
算術演算及び論理演算は、2つのレジスタの値を加算、減算、乗算、又は除算する命令を含み得、結果をレジスタに配置し、1又はそれ以上の条件コードをステータスレジスタに設定し、ビットごとの演算を実行し、例えば、レジスタのペア内の対応するビットの結合及び除算を行い、レジスタ内の各ビットの否定を行い、又はレジスタ内の2つの値を比較する(例えば、1つが小さいかどうか、又は等しいかどうかを見るために)。
制御フロー演算は、プログラム内の別の場所に分岐してそこで命令を実行する命令を含み、特定の条件が保持されている場合には別の場所に条件付きで分岐し、別の場所に間接的に分岐し、又は別のコードブロックを呼び出し、一方、次の命令の場所を復帰ポイントとして保存する。
コプロセッサ命令。これは、コプロセッサとの間でデータをロード/格納する命令、又はCPUレジスタと交換する命令、又はコプロセッサ操作を実行する命令を含み得る。
本システムのコンピュータのプロセッサは、命令セット内に「複雑な」命令を含むことができる。単一の「複雑な」命令は、他のコンピュータ上で多くの命令を要しうることを行う。当該命令は、複数の工程をとる命令、複数の機能ユニットを制御する命令、又は所与のプロセッサにより実行される単純な命令の大部分よりも大きなスケールで現れる命令により代表される。いくつかの「複雑な」命令の例は、スタック上の多数のレジスタを一度に保存する命令、メモリの大きなブロックを移動する命令、複雑な整数及び浮動小数点演算命令(サイン、コサイン、平方根など)、SIMD命令、多数の値に対して並列に演算を実行する単一の命令、原子試験及び集合命令、又は他の読取り/修正/書込み原子命令を実行する命令、及びレジスタではなくメモリからのオペランドでALU演算を実行する命令を含む。
命令は、その部分に従って特定することができる。より伝統的なアーキテクチャによれば、命令は、レジスタへのメモリの内容の追加、及びレジスタ、メモリ位置、又はリテラルデータを指定することができるゼロ以上のオペランド指定子等の、実行すべきオペレーションを指定するオペコードを含む。オペランド指定子はそれらの意味を決定するアドレスモードを持つかもしれないし、固定フィールドにあるかもしれない。多くのマイクロコードアーキテクチャを含む非常に長い命令ワード(VLIW)アーキテクチャでは、複数の同時オペコード及びオペランドが単一の命令で指定される。
いくつかのタイプの命令セットは、オペランドのみのオペコードフィールドを持たない(TTA(Transport Triggered Architectures)又はForth仮想マシンなど)。他の“0−operand”命令集合は、NOSCを含むいくつかのスタックマシンのように、いかなるオペランド指定フィールドも欠く。
条件付き命令には、しばしば述語フィールドがあり、特定の条件をエンコードして、演算を実行せずに実行させる。例えば、条件付き分岐命令が実行され、もし条件が真ならば、分岐され、実行はプログラムの別の部分に進み、実行されず、もし条件が偽ならば、分岐されず、実行は逐次的に継続される。また、いくつかの命令セットには、条件付き移動があり、その結果、移動が実行され、条件が真であれば、標的位置に格納されたデータが実行されず、条件が偽であれば、標的位置が変更されない。同様に、IBM z/Architectureには条件付きストアがある。いくつかの命令セットは、すべての命令に述語フィールドを含む。これは、分岐予測という。
プログラムを構成する命令は、その内部の数値形式(機械コード)を用いて指定されることはまれであり、それらはアセンブリ言語を用いて指定されるか、又はより通常、コンパイラによりプログラミング言語から生成されることがある。
機械による寄生虫の同定
本発明による寄生虫卵同定アルゴリズムを含むコンピュータを用いて、寄生虫卵を同定した。ヘモンカス、モニエツイア、線虫、オステルタギア、トリコストロンギュラスの各65の画像をコンピュータで分析した。精度及びリコールの結果を以下の表2に示す:
Figure 2021517255
アルゴリズムの性能は、より多くの訓練画像及び/又はより多様な訓練画像を用いた訓練により改善され得ることが企図される。
同定プロセスにおける切取適合法とテンプレート法の比較
ヘモンカス(HC)、モニエツイア(Mon)、線虫(Nem)、オステルタギア(Oster)及びトリコストロンギュラス(Trich)各々について、切取適合(CopFit)対テンプレート(Templete)検出アルゴリズムの性能を評価した。結果を以下の表3に示す:
Figure 2021517255
切取法は一般に優れていることに留意されたい。
個々の卵クラスタ対卵クラスタの同定における切取密着度及びテンプレートに基づく方法の比較
ヘモンカス(HC)、モニエツイア(Mon)、線虫(Nem)、オステルタギア(Oster)、及びトリコストロンギュラス(Trich)各々について、卵の接触又非接触について、切取適合対テンプレートに基づく方法を用いた検出アルゴリズムの性能を評価した。結果を以下の表4に示す:
Figure 2021517255
一般に、個々の卵を考慮する場合、切取適合法がテンプレート法より優れており、卵が接触する場合にはその逆が観察されることに留意されたい。
本発明は、図示及び詳細に説明された好ましい実施形態に関連して開示されているが、その上の種々の修正及び改良は、当業者には容易に明らかになるであろう。
したがって、本発明の精神及び範囲は、前述の実施例により限定されるものではなく、法律により許容される最も広い意味で理解されるべきである。

Claims (25)

  1. 試料中の標的生物学的物質を同定するコンピュータに実装された学習方法を訓練する方法であって、以下の工程:
    複数の訓練画像にアクセスする工程であって、前記訓練画像は、標的生物学的物質及び場合によっては非標的生物学的物質を含む1又はそれ以上の試料の光学顕微鏡検査により得られ、
    1又はそれ以上の前記訓練画像を人為的及び/又はコンピュータ手段により切り取り、1又はそれ以上の切取画像を生成する工程であって、前記1又はそれ以上の切取画像の各々は、主として前記標的生物学的物質を示し、
    同定可能な、前記1又はそれ以上の切取画像の各々において、前記標的生物学的物質を人為的に同定する工程、
    同定可能な、前記1又はそれ以上の切取画像の各々に、同定標識を関連付ける工程、
    コンピュータに実装された特徴抽出方法を、各標識された切取画像に適用する工程、
    コンピュータに実装された学習方法を、各標識された切取画像に適用する工程、を含む方法であって、ここで、
    前記コンピュータに実装された学習方法は、生物学的物質の1又はそれ以上の抽出された特徴を標的生物学的物質と関連付けるように構成される、方法。
  2. 1又はそれ以上の前記訓練画像を切り取る工程が、前記標的生物学的物質を前記顕微鏡の視野の背景及び/又は非標的物質(存在する場合)から区別し、かつ、前記画像が主として又は実質的に標的生物学的物質のみを含むように、前記標的生物学的物質を切り取る工程を含む、請求項1に記載の方法。
  3. 前記標的生物学的物質を前記非標的物質から区別する工程が、少なくとも部分的に、コンピュータ手段により実施される、請求項2に記載の方法。
  4. 前記標的生物学的物質を前記非標的物質から区別する工程が、人為的支援コンピュータ手段による、請求項3に記載の方法。
  5. 前記人為的支援コンピュータ手段は、以下の:
    訓練画像を一連の枠に分割する工程、
    前記一連の枠各々に標的生物学的物質の不存在又は存在を人為的手段により同定すること、
    前記一連の枠の各々にコンピュータに実装された特徴抽出方法を適用すること、
    前記一連の枠の各々にコンピュータ実装された学習方法を適用すること、を含み、ここで、
    前記コンピュータに実装された学習方法は、1又はそれ以上の抽出された特徴を、枠中の標的生物学的物質の存在又は不存在と関連付けるように構成される、請求項4に記載の方法。
  6. 前記関連付けは、前記人為的支援コンピュータ手段で用いられなかった複数の枠における標的生物学的物質の存在又は不存在の同定に用いられ、前記標的生物学的物質が、前記画像が主として又は実質的に標的生物学的物質のみを含むように、前記標的生物学的物質の周囲で切り取られて存在する、請求項5に記載の方法。
  7. 前記切取画像及び/又はそこから抽出された特徴の各々が、その個別の同定標識に関連付けられたデータベースに格納される、請求項1〜6のいずれか一項に記載の方法。
  8. 前記標的生物学的物質は、個別の物体である、請求項1〜7のいずれか一項に記載の方法。
  9. 前記個別の物体が、細胞オルガネラ、細胞、単細胞生物、多細胞生物の解剖学的部分、多細胞生物、又は生殖構造である、請求項8に記載の方法。
  10. 請求項1〜9のいずれか一項に記載の方法により作成された複数の切取画像を含み、各切取画像は、その同定標識に関連付けられる、データベース。
  11. 訓練画像から抽出され、請求項1〜9のいずれか一項に記載の方法により生成された特徴の1又は1セットを含み、前記1又は1セットの特徴は、生物学的物質同定情報に関連付けられる、データベース。
  12. 試料中の標的生物学的物質を同定する方法であって、以下の:
    顕微鏡で得られた試料の試験画像にアクセスする工程、
    前記試験画像における潜在的な標的生物学的物質の位置を同定するように構成されたコンピュータに実装された位置検出方法を前記試験画像に適用する工程、
    コンピュータに実装された特徴抽出方法を、前記同定された位置に適用して、1又は1セットの抽出特徴を提供する工程、
    前記1又は1セットの抽出特徴をデータベースに格納された1又は1セットとマッチングさせる工程であって、前記データベースは、生物学的物質同定情報に関連付けられた1又は1セット特徴を備える、
    を含む、方法。
  13. 前記コンピュータに実装された位置検出方法は、前記試験画像を分析する一連の領域に分割する工程を含む、請求項12に記載の方法。
  14. 前記領域は互いに重複する、請求項13に記載の方法。
  15. 前記コンピュータに実装された位置検出方法は、前記標的生物学的物質のアウトラインの検討を含む、請求項12に記載の方法。
  16. 前記アウトラインの寸法が測定又は推定される、請求項15に記載の方法。
  17. 前記コンピュータに実装された位置検出方法は、前記標的生物学的物質の形状に近似するテンプレートの使用を含む、請求項12に記載の方法。
  18. 前記標的生物学的物質が、個別の物体である、請求項12〜17のいずれか一項に記載の方法。
  19. 前記個別の物体が、細胞オルガネラ、細胞、単細胞生物、多細胞生物の解剖学的部分、多細胞生物、又は生殖構造である、請求項18に記載の方法。
  20. 前記コンピュータに実装された位置検出方法により同定される2又はそれ以上の個別の物体を計測するコンピュータに実装された方法を備える、請求項18又は19に記載の方法。
  21. 前記試験画像に、第1一般的分類工程後の1又はそれ以上の特定分類工程を含む、カスケード分類又は階層分類方法を適用する工程を含む、請求項12〜20のいずれか一項に記載の方法。
  22. 試料中の標的生物学的物質を同定するシステムであって、以下の:
    試料の画像を捕捉し、前記画像を電子画像ファイルとして出力するように構成された顕微鏡、
    前記顕微鏡とデータ通信するプロセッサ対応装置を含む、システムであって、前記プロセッサ対応装置は以下の:
    (i)請求項12〜21のいずれか一項に記載の方法の部分又は全部を実施するか又は
    (ii)請求項12〜21のいずれか一項に記載の方法の部分又は全部を実行するように構成された遠隔プロセッサに、前記電子画像ファイル又は電子画像ファイルから抽出された特徴を送信するように構成される、
    システム。
  23. 請求項12〜21のいずれか一項に記載の方法の部分又は全部を実行するように構成された遠隔プロセッサ対応装置を備え、前記遠隔プロセッサ対応装置は、前記顕微鏡とデータ通信する前記プロセッサ対応装置とデータ通信する、請求項22に記載のシステム。
  24. 前記顕微鏡とデータ通信する前記プロセッサ対応装置は、移動装置である、請求項23に記載のシステム。
  25. 請求項12〜21のいずれか一項に記載の方法を実行するように構成されたプロセッサ対応装置、又はプロセッサ対応装置のネットワーク。
JP2020570598A 2018-03-07 2019-03-05 顕微鏡による生物学的物質の同定方法 Pending JP2021517255A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2018900739 2018-03-07
AU2018900739A AU2018900739A0 (en) 2018-03-07 Methods for identifying biological material by microscopy
PCT/AU2019/050184 WO2019169432A1 (en) 2018-03-07 2019-03-05 Methods for identifying biological material by microscopy

Publications (1)

Publication Number Publication Date
JP2021517255A true JP2021517255A (ja) 2021-07-15

Family

ID=67845857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570598A Pending JP2021517255A (ja) 2018-03-07 2019-03-05 顕微鏡による生物学的物質の同定方法

Country Status (7)

Country Link
US (1) US11798662B2 (ja)
EP (1) EP3762934A4 (ja)
JP (1) JP2021517255A (ja)
KR (1) KR20200141044A (ja)
CN (1) CN112204674A (ja)
AU (1) AU2019230448A1 (ja)
WO (1) WO2019169432A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11302034B2 (en) * 2020-07-09 2022-04-12 Tensorflight, Inc. Automated property inspections
CN113055595B (zh) * 2021-03-15 2023-01-24 成都数之联科技股份有限公司 工业相机控制方法、卷材缺陷识别方法及系统
KR20230126264A (ko) * 2022-02-21 2023-08-30 가톨릭대학교 산학협력단 오가노이드 선별 장치 및 방법
CN114359539B (zh) 2022-03-17 2022-06-21 广东省农业科学院农业质量标准与监测技术研究所 一种生鱼片中寄生虫高光谱图像智能识别方法
CN114419399B (zh) * 2022-03-22 2022-10-21 杭州利珀科技有限公司 机器视觉深度学习样本自动生成方法、计算机及存储介质
KR102487595B1 (ko) 2022-04-22 2023-01-12 라크(주) 의료영상 데이터의 영역 추출 방법
CN114913522A (zh) * 2022-04-22 2022-08-16 南通欧瑞佳木业有限公司 利用显微成像的木材树种分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050262031A1 (en) * 2003-07-21 2005-11-24 Olivier Saidi Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US20080082468A1 (en) * 2004-11-11 2008-04-03 The Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
JP2009512037A (ja) * 2005-10-14 2009-03-19 ユニセンス・ファーティリテック・アクティーゼルスカブ 細胞集団における変化の決定
WO2016160491A1 (en) * 2015-03-27 2016-10-06 Siemens Aktiengesellschaft Method and system for automated brain tumor diagnosis using image classification
WO2017061155A1 (ja) * 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
WO2017201540A1 (en) * 2016-05-20 2017-11-23 Techcyte, Inc. Machine learning classification of particles or substances in digital microscopy images

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3207690B2 (ja) * 1994-10-27 2001-09-10 シャープ株式会社 画像処理装置
JP2000276598A (ja) * 1999-03-26 2000-10-06 Omron Corp 画像認識方法
WO2015065697A1 (en) * 2013-10-28 2015-05-07 Molecular Devices, Llc Method and system for classifying and identifying individual cells in a microscopy image
CA2944829C (en) 2014-05-23 2022-10-25 Ting Chen Systems and methods for detection of biological structures and/or patterns in images
WO2015195642A1 (en) * 2014-06-16 2015-12-23 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
CN104484667B (zh) * 2014-12-30 2018-02-23 华中科技大学 一种基于亮度特征和轮廓完整性的轮廓提取方法
CN105469087B (zh) * 2015-07-13 2017-04-19 百度在线网络技术(北京)有限公司 识别服饰图片的方法、服饰图片的标注方法及装置
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
US10467754B1 (en) * 2017-02-15 2019-11-05 Google Llc Phenotype analysis of cellular image data using a deep metric network
CN107423745A (zh) * 2017-03-27 2017-12-01 浙江工业大学 一种基于神经网络的鱼类活性分类方法
CN107527028B (zh) * 2017-08-18 2020-03-24 深圳乐普智能医疗器械有限公司 目标细胞识别方法、装置及终端
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN111602136A (zh) * 2018-01-11 2020-08-28 谷歌有限责任公司 使用载玻片重新染色创建组织病理学基准真值掩膜的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050262031A1 (en) * 2003-07-21 2005-11-24 Olivier Saidi Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US20080082468A1 (en) * 2004-11-11 2008-04-03 The Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
JP2009512037A (ja) * 2005-10-14 2009-03-19 ユニセンス・ファーティリテック・アクティーゼルスカブ 細胞集団における変化の決定
WO2016160491A1 (en) * 2015-03-27 2016-10-06 Siemens Aktiengesellschaft Method and system for automated brain tumor diagnosis using image classification
WO2017061155A1 (ja) * 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
WO2017201540A1 (en) * 2016-05-20 2017-11-23 Techcyte, Inc. Machine learning classification of particles or substances in digital microscopy images

Also Published As

Publication number Publication date
CN112204674A (zh) 2021-01-08
EP3762934A1 (en) 2021-01-13
EP3762934A4 (en) 2022-04-06
US20210248419A1 (en) 2021-08-12
AU2019230448A1 (en) 2020-10-15
KR20200141044A (ko) 2020-12-17
WO2019169432A1 (en) 2019-09-12
US11798662B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
US11798662B2 (en) Methods for identifying biological material by microscopy
US11756318B2 (en) Convolutional neural networks for locating objects of interest in images of biological samples
Caicedo et al. Evaluation of deep learning strategies for nucleus segmentation in fluorescence images
Loddo et al. Recent advances of malaria parasites detection systems based on mathematical morphology
Maqsood et al. Deep malaria parasite detection in thin blood smear microscopic images
Babaie et al. Classification and retrieval of digital pathology scans: A new dataset
Poostchi et al. Malaria parasite detection and cell counting for human and mouse using thin blood smear microscopy
JP7422235B2 (ja) 腫瘍検出および分析を支援するための非腫瘍セグメンテーション
Hipp et al. Spatially invariant vector quantization: a pattern matching algorithm for multiple classes of image subject matter including pathology
Ginley et al. Unsupervised labeling of glomerular boundaries using Gabor filters and statistical testing in renal histology
Zhang et al. Urine sediment recognition method based on multi-view deep residual learning in microscopic image
Davidson et al. Automated detection and staging of malaria parasites from cytological smears using convolutional neural networks
US20230066976A1 (en) Systematic characterization of objects in a biological sample
EP4196889A1 (en) Machine learning models for cell localization and classification learned using repel coding
EP4367675A1 (en) Stain-free detection of embryo polarization using deep learning
Bergler et al. FIN-PRINT a fully-automated multi-stage deep-learning-based framework for the individual recognition of killer whales
Scheurer et al. Semantic segmentation of histopathological slides for the classification of cutaneous lymphoma and eczema
Wu et al. A preliminary study of sperm identification in microdissection testicular sperm extraction samples with deep convolutional neural networks
Yildirim et al. Classification of flower species using CNN models, Subspace Discriminant, and NCA
Elvana et al. Lymphatic filariasis detection using image analysis
Khan et al. Volumetric segmentation of cell cycle markers in confocal images
Krishnadas et al. S., SK; Prabhu, S. Classification of Malaria Using Object Detection Models. Informatics 2022, 9, 76
Ali et al. ArtSeg: rapid artifact segmentation and removal in brightfield cell microscopy images
Yogish Naik et al. Analysis Of Microscopic Medical Images: A Case Study On Malaria
Dewangan et al. A Systematic Review on Cotton Plant Disease Detection & Classification Using Machine & Deep Learning Approach

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107