JP2021076575A - ３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置 - Google Patents

３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置 Download PDF

Info

Publication number
JP2021076575A
JP2021076575A JP2020049395A JP2020049395A JP2021076575A JP 2021076575 A JP2021076575 A JP 2021076575A JP 2020049395 A JP2020049395 A JP 2020049395A JP 2020049395 A JP2020049395 A JP 2020049395A JP 2021076575 A JP2021076575 A JP 2021076575A
Authority
JP
Japan
Prior art keywords
image
refractive index
dimensional
cell
molecular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020049395A
Other languages
English (en)
Other versions
JP7122769B2 (ja
Inventor
ヨングン パク
Young-Geun Park
ヨングン パク
ウェソン パク
Weisun Park
ウェソン パク
ヨンジュ チョ
Yonju Cho
ヨンジュ チョ
ヒョンソク ミン
Hyunseok Min
ヒョンソク ミン
ヒョンジュ チョ
Hyungjoo Cho
ヒョンジュ チョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Tomocube Inc
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Tomocube Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST, Tomocube Inc filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of JP2021076575A publication Critical patent/JP2021076575A/ja
Application granted granted Critical
Publication of JP7122769B2 publication Critical patent/JP7122769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Organic Chemistry (AREA)
  • Biophysics (AREA)
  • Computer Graphics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Biotechnology (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Quality & Reliability (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

【課題】３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置を提供する。
【解決手段】一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成装置は、観察しようとする細胞に対して３次元屈折率映像を測定する３次元屈折率細胞映像測定部、および前記３次元屈折率映像の測定値をディープラーニングアルゴリズムに入力して細胞の３次元染色分子細胞映像を出力する３次元屈折率と染色分子映像転換部を含んで構成されてよい。
【選択図】図１

Description

以下の実施形態は、ラベルフリー方式の３次元分子像生成方法および装置に関し、より詳細には、３次元折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置に関する。
現在は、顕微鏡を利用して細胞／組職から特定の物質／構造を観察したり測定したりするためには、分子を浮遊させたり、分子物質で標識した組職や細胞から発散する分子を利用する分子顕微鏡で観察および測定する方式が一般的に用いられている。
これにより、染色過程において時間と費用がかかる上に、染色過程による細胞の変形が不可避となり、染色過程および試料の状態を基盤とするには、画像の質が一定しないなどの根本的な問題があった。
また、染色分子過程を経た試料から染色分子を取り除くことは至難の業であり、長時間をかけて追跡観察したり再観察したりすることも困難である。このような問題により、新たな分野における細胞／組職の観察において、分子顕微鏡を適用するのには制限があった。
Ｋｉｍ，Ｋ．，ｅｔ ａｌ．（２０１６）．"Ｏｐｔｉｃａｌ ｄｉｆｆｒａｃｔｉｏｎ ｔｏｍｏｇｒａｐｈｙ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｔｈｅ ｓｔｕｄｙ ｏｆ ｃｅｌｌ ｐａｔｈｏｐｈｙｓｉｏｌｏｇｙ．"ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０３．００５９２． ＬｅｅＫ．，ｅｔ ａｌ．（２０１３）．"Ｑｕａｎｔｉｔａｔｉｖｅ ｐｈａｓｅ ｉｍａｇｉｎｇ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｔｈｅ ｓｔｕｄｙ ｏｆ ｃｅｌｌ ｐａｔｈｏｐｈｙｓｉｏｌｏｇｙ：ｆｒｏｍ ｐｒｉｎｃｉｐｌｅｓ ｔｏ ａｐｐｌｉｃａｔｉｏｎｓ．"ｅｎｓｏｒｓ １３（４）：４１７０−４１９１． Ｗｏｌｆ，Ｅ．（１９６９）．"Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｔｒｕｃｔｕｒｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｓｅｍｉ−ｔｒａｎｓｐａｒｅｎｔ ｏｂｊｅｃｔｓ ｆｒｏｍ ｈｏｌｏｇｒａｐｈｉｃ ｄａｔａ．"Ｏｐｔｉｃｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ １（４）：１５３−１５６．
実施形態は、３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置に関し、より具体的には、染色や標識などの過程を踏まず、細胞の３次元屈折率映像とディープラーニングアルゴリズムを活用して分子顕微鏡映像を高速で生成する技術を提供する。
実施形態は、染色や標識を行わずに細胞の形態学的特徴を３次元屈折率（ｒｅｆｒａｃｔｉｖｅ ｉｎｄｅｘ）顕微鏡で測定し、これに基づいて細胞の物理化学的特徴を観察するための標識分子映像を予測するためにディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）アルゴリズムを適用して３次元分子顕微鏡映像を生成する、３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置を提供する。
一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成装置は、観察しようとする細胞に対して３次元屈折率映像を測定する３次元屈折率細胞映像測定部、および３次元屈折率映像の測定値をディープラーニングアルゴリズムに入力して細胞の３次元染色分子細胞映像を出力する３次元屈折率と染色分子映像転換部を含んで構成されてよい。
３次元屈折率細胞映像測定部は、観察しようとする細胞がスライド上に置かれているか塗布された形態で３次元屈折率映像を撮影してよい。
３次元屈折率細胞映像測定部は、一度に撮影することのできる領域よりも細胞の観察領域が大きい場合、一度に撮影可能な３次元屈折率映像を撮影する３次元映像パッチ撮影部、および一度に撮影した３次元屈折率映像を結合して３次元屈折率スライドイメージを生成する映像パッチ結合部を含んで構成されてよい。
３次元屈折率と染色分子映像転換部は、細胞の３次元屈折率映像パッチを生成する３次元パッチ抽出部、ディープラーニングアルゴリズムに基づいて３次元屈折率映像パッチを３次元標識分子映像パッチに変換する３次元屈折率と染色分子パッチ転換部、および変換された３次元標識分子映像パッチを１つの映像として併合する分子パッチ結合部を含んでよい。
３次元パッチ抽出部は、映像の外郭領域値の消失を防ぐためにパディング過程を実行する映像パディング部、パディング過程を経た、パディングされた映像から細胞領域を抽出する細胞領域抽出部、およびパディングされた映像の細胞領域からパッチをサンプリングして細胞の３次元屈折率映像パッチを生成する３次元屈折率パッチサンプリング部を含んでよい。
３次元屈折率と染色分子パッチ転換部は、細胞それぞれの３次元屈折率映像パッチを、３次元屈折率情報に基づいて学習された畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を活用して３次元標識分子映像パッチに変換してよい。
分子パッチ結合部は、重複する領域に対して再構成された映像の連続性を保障するために、パッチの中心からの距離による線形または非線形加重値を掛けて加え、パディング領域の除去後、最終的には１つの標識分子に対する細胞の３次元染色分子細胞映像を生成してよい。
３次元屈折率と染色分子映像転換部は、各標識分子から予め設定された数以上のサンプルを測定した後、ディープラーニングアルゴリズムに基づいて３次元屈折率と染色分子映像転換モデルを構築する３次元屈折率と染色分子映像転換モデル生成部を含み、３次元屈折率と染色分子映像転換モデルにより、特定の標識分子が確保された細胞に対応する３次元屈折率映像を測定して細胞の３次元染色分子細胞映像を生成してよい。
他の実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法は、観察しようとする細胞に対して３次元屈折率映像を測定する段階、および３次元屈折率映像の測定値をディープラーニングアルゴリズムに入力して細胞の３次元染色分子細胞映像を出力する段階を含んでよい。
細胞の３次元染色分子細胞映像を出力する段階は、各標識分子から予め設定された数以上のサンプルを測定した後、ディープラーニングアルゴリズムに基づいて３次元屈折率と染色分子映像転換モデルを構築する段階を含み、３次元屈折率と染色分子映像転換モデルにより、特定の標識分子が確保された細胞に対応する３次元屈折率映像を測定して細胞の３次元染色分子細胞映像を生成してよい。
実施形態によると、染色や標識を行わずに細胞の形態学的特徴を３次元屈折率顕微鏡で測定し、これに基づいて細胞の物理化学的特徴を観察するための標識分子映像を予測するためにディープラーニングアルゴリズムを適用して３次元分子顕微鏡映像を生成する、３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置を提供することができる。
一実施形態における、３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成装置を説明するためのブロック図である。 一実施形態における、入射光回転方式を利用して細胞の３次元屈折率を測定する方法を説明するための図面である。 一実施形態における、細胞回転方式を利用して細胞の３次元屈折率を測定する方法を説明するための図である。 一実施形態における、３次元屈折率細胞映像測定部を説明するための図である。 一実施形態における、３次元屈折率と染色分子映像転換部を説明するための図である。 一実施形態における、３次元パッチ抽出部を説明するための図である。 一実施形態による、パディング過程を説明するための図である。 一実施形態における、パッチサンプリング過程を説明するための図である。 一実施形態における、ディープラーニングアルゴリズムに基づく３次元屈折率と染色分子パッチ転換部を説明するための図である。 一実施形態における、各標識情報に合った変換モデルを導き出す方式を説明するための図である。 一実施形態における、複数の標識分子情報を一度に導き出す方式を説明するための図である。 一実施形態における、ディープラーニング基盤モデルを説明するための図である。 一実施形態における、３次元屈折率映像パッチを説明するための図である。 一実施形態における、変換された映像パッチの例を示した図である。 一実施形態における、３次元標識分子映像パッチの併合を説明するための図である。 一実施形態における、パディング領域の除去を説明するための図である。 一実施形態における、３次元屈折率と染色分子映像転換モデルを説明するための図である。 一実施形態における、３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法を説明するためのフローチャートである。
以下、添付の図面を参照しながら、実施形態について説明する。しかし、記載された実施形態は多くの他の形態に変形されてもよく、本発明の範囲が以下で説明される実施形態によって限定されることはない。多様な実施形態は、当業者に本発明をより詳細に説明するために提供されるものである。図面で説明される要素の形状および大きさなどは、より明確な説明のために誇張されることがある。
顕微鏡を利用した試料の分析において、試料内の特定の物質／構造を観察および測定するために、従来には主に分子顕微鏡が使用された。このような分子顕微鏡は、分子を自然に浮遊させたり、分子物質で標識した組職や細胞が発散する分子を利用して微細構造や物理化学的特徴を観察する装置である。これは、分子物質による標識過程が必須となるが、この標識過程が生きている細胞に影響を与えることにより細胞の特性を正確に観察できないという限界を抱えている。例えば、細胞の小器官（ｓｕｂｃｅｌｌｕｌａｒ ｏｒｇａｎｅｌｌｅｓ）の１種であるアクチン（ａｃｔｉｎ）を観察するために染色などの標識を行えば、その構造が変化するという研究結果が発表された。このように、細胞本然の構造と情報を観察するためには、標識を行わずに観察がなされなければならない。
以下の実施形態は、このような分子物質を利用した染色や標識などの過程なく、細胞の３次元屈折率測定とディープラーニングアルゴリズムを活用して分子顕微鏡映像を高速で生成する方法を提供する。すなわち、実施形態は、染色や標識を行わずに細胞の形態学的特徴と物理的特徴を３次元屈折率（ｒｅｆｒａｃｔｉｖｅ ｉｎｄｅｘ）顕微鏡で測定し、これに基づいて細胞の物理化学的特徴を観察するための標識分子を予測するためにディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）アルゴリズムを適用して３次元分子顕微鏡映像を生成するものである。ここで、分子像（ｍｏｌｅｃｕｌａｒ ｉｍａｇｉｎｇ）は、有機染料（ｏｒｇａｎｉｃ ｄｙｅ、Ｈ＆Ｅ ｓｔａｉｎｉｎｇ、Ｗｒｉｇｈｔｓｔａｉｎｉｎｇ）、免疫染色（ｉｍｍｕｎｏｌｏｇｉｃａｌ ｓｔａｉｎｉｎｇ）、蛍光分子染色（ｆｌｕｏｒｅｓｃｅｎｃｅ ｍｏｌｅｃｕｌｅ ｓｔａｉｎｉｎｇ）、蛍光タンパク質発現（ｆｌｕｏｒｅｓｃｅｎｃｅ ｐｒｏｔｅｉｎ ｅｘｐｒｅｓｓｉｏｎ）などを含んでよい。
細胞内の３次元屈折率分布は、細胞内の小器官の構成および形態と密接な関連がある。また、屈折率値自体は、細胞内の重要な構成成分であるタンパク質の濃度と比例する。したがって、細胞の３次元屈折率情報を測定するということは、細胞と細胞内の小器官の形態的な特性（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）だけでなく、生化学的な特性（ｂｉｏｃｈｅｍｉｃａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）情報も反映する。したがって、３次元屈折率分布を利用すれば、特定の小器官を観察するための標識分子に関する特徴を抽出できるようになる。このような特徴に基づいて３次元標識分子映像を再構成して提供するのである。
上述した目的を念頭に置いて事例を研究した結果、細胞の３次元屈折率を測定し、この測定値を入力とする変換アルゴリズムとしてディープラーニングアルゴリズムを適用することにより、正確な標識分子映像を迅速かつ簡単に生成することができた。
図１は、一実施形態における、３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成装置を説明するためのブロック図である。
図１を参照すると、一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成装置１００は、観察しようとする観察試料を入力として受け、この細胞の３次元標識分子映像を出力として提供する。
一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成装置１００は、３次元屈折率細胞映像測定部１１０および３次元屈折率と染色分子映像転換部１２０を含んで構成される。
３次元屈折率細胞映像測定部１１０は、観察しようとする細胞１０１の３次元屈折率映像を測定する。例えば、３次元屈折率細胞映像測定部１１０は、観察しようとする細胞１０１がスライドの上に置かれているか塗布された形態で３次元屈折率映像を撮影する。
３次元屈折率細胞映像測定部１１０は、一度に撮影することのできる領域よりも細胞１０１の観察領域が大きい場合、一度に撮影可能な３次元屈折率映像を撮影した後、撮影した３次元屈折率映像を結合することにより、３次元屈折率スライドイメージを生成する。
３次元屈折率細胞映像測定部１１０は、光源、干渉計、および測定部を含んで構成される。
光源は、細胞に光を入射させる。例えば、光源としてはレーザ（ｌａｓｅｒ）が利用され、光源は、測定しようとする細胞１０１などのサンプルにレーザビームを照射する。ここで、細胞１０１は、測定しようとする対象を示す。光源としては、単一波長レーザが使用される。また、光源は、複数の波長レーザを利用して各波長で３次元屈折率を測定することにより、より多くの情報を細胞の区分に活用することも可能である。
干渉計は、光源からの光が細胞１０１に入射した後、細胞で回折した透過光を測定して多数の２次元ホログラムを取得する。ここで、干渉計は、光の干渉現象を利用した測定器であって、同じ光源から出た光を２つ以上に分けて進行経路に差が生じるようにした後、再び光が交わったときに起こる干渉現象を観察する器具である。
測定部は、干渉計が取得した多数の２次元ホログラムを利用して細胞１０１の３次元屈折率分布を測定する。例えば、測定部としては、映像を撮影する撮影装置であるカメラが利用される。
このような３次元屈折率細胞映像測定部１１０は、光学回折断層撮影法および光学投影断層撮影法のうちの少なくともいずれか１つの光学測定を活用して細胞の３次元屈折率分布を測定する。３次元屈折率細胞映像測定部１１０は、細胞１０１に入射する光の角度を回転させ、干渉計で測定された多数の２次元ホログラムを利用して細胞の３次元屈折率分布を測定する。また、３次元屈折率細胞映像測定部１１０は、細胞１０１を直接回転させ、干渉計で測定された多数の２次元ホログラムを利用して細胞の３次元屈折率分布を測定する。
この後、３次元屈折率と染色分子映像転換部１２０は、３次元屈折率映像の測定値をディープラーニングアルゴリズムに入力して細胞１０１の３次元染色分子細胞映像１０３を出力する。
３次元屈折率と染色分子映像転換部１２０は、細胞１０１の３次元屈折率映像パッチ１０２ａを生成し、ディープラーニングアルゴリズムに基づいて３次元屈折率映像パッチ１０２ａを３次元染色分子映像パッチ１０３ａに変換した後、変換された３次元染色分子映像パッチ１０３ａを１つの映像として併合する。このとき、３次元屈折率と染色分子映像転換部１２０は、各細胞１０１の３次元屈折率映像パッチ１０２ａを３次元屈折率情報に基づいて学習された畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を活用して３次元染色分子映像パッチ１０３ａに変換する。
ここで、３次元屈折率と染色分子映像転換部１２０は、３次元屈折率と染色分子映像転換モデル生成部１２４を含む。３次元屈折率と染色分子映像転換モデル生成部１２４は、各標識分子から予め設定された数以上のサンプルを測定した後、ディープラーニングアルゴリズムに基づいて３次元屈折率と染色分子映像転換モデル１２２ａを構築する。これにより、３次元屈折率と染色分子映像転換部１２０は、３次元屈折率と染色分子映像転換モデル１２２ａに基づき、特定の標識分子が確保された細胞に対応する３次元屈折率映像を測定して細胞１０１の３次元染色分子細胞映像１０３を生成することが可能となる。
以下、観察対象の試料である細胞の３次元屈折率映像の測定方法について説明する。ここで、３次元屈折率映像の測定とは、細胞内の構成及び形態と密接な関連がある３次元屈折率分布を３次元屈折率顕微鏡で測定することである。ここで、３次元屈折率映像は、３次元屈折率トモグラフィ（３Ｄ Ｒｅｆｒａｃｔｉｖｅ Ｉｎｄｅｘ Ｔｏｍｏｇｒａｐｈｙ）で表される。
図２ａは、一実施形態における、入射光回転方式を利用して細胞の３次元屈折率を測定する方法を説明するための図であり、図２ｂは、一実施形態における、細胞回転方式を利用して細胞の３次元屈折率を測定する方法を説明するための図である。
図２ａおよび図２ｂを参照すると、可能である多様な測定光学の実現が示されている。すべての物体は屈折率分布を有している。屈折率とは、光がその物質を通過するときに速度がどのくらい減速するかを記述する、物質自体の固有の光学的物理量である。細胞２０１の３次元屈折率を測定するためには、光学回折断層撮影法（ｏｐｔｉｃａｌ ｄｉｆｆｒａｃｔｉｏｎ ｔｏｍｏｇｒａｐｈｙ）または光学投影断層撮影法（ｏｐｔｉｃａｌ ｐｒｏｊｅｃｔｉｏｎ ｔｏｍｏｇｒａｐｈｙ、ｔｏｍｏｇｒａｐｈｉｃ ｐｈａｓｅ ｍｉｃｒｏｓｃｏｐｙ、３Ｄ ｄｉｇｉｔａｌ ｈｏｌｏｇｒａｐｈｉｃ ｍｉｃｒｏｓｃｏｐｙ）が利用されてもよい（非特許文献１、２）。
図２ａに示すように、光学回折断層撮影法と光学投影断層撮影法は、同じ光学実現を利用してもよい（非特許文献３）。コヒーレント光源（ｃｏｈｅｒｅｎｔ ｌｉｇｈｔ ｓｏｕｒｃｅ）２１０から出た光を細胞２０１に入射させ、細胞２０１で回折した透過光のホログラムを干渉計２２０で測定する。このとき、細胞２０１に入射する角度を回転（スキャン）させながら測定された多数の２次元ホログラムを利用して細胞２０１の３次元屈折率分布を測定２４０する。ここで、回折断層撮影法と投影断層撮影法の差は、試片における光の回折の有無を考慮する復元アルゴリズム２３０にある。
図２ｂを参照すると、図２ａで説明した、入射光回転方式を利用して細胞２０１の３次元屈折率分布を測定する方法によって入射光を回転させる代わりに、細胞２０１を直接回転させて３次元屈折率分布を測定２４０することも可能である。
ここで、細胞２０１を測定する方式は、試験管内（ｉｎ ｖｉｔｒｏ）のスライドガラス（ｓｌｉｄｅ ｇｌａｓｓ）上に細胞２０１が低い濃度で置かれた形態、試験管内（ｉｎ ｖｉｔｒｏ）のスライドガラス（ｓｌｉｄｅ ｇｌａｓｓ）上に細胞２０１が高い濃度で単一または複数の層で置かれた形態、生体組職スライドを５〜５０μｍの厚さに切断した組職スライド形態、および試験管内（ｉｎ ｖｉｔｒｏ）のハイスループットスクリーニング（ｈｉｇｈ−ｔｈｒｏｕｇｈｐｕｔ ｓｃｒｅｅｎｉｎｇ）のためにマイクロ流体力学（ｍｉｃｒｏｆｌｕｉｄｉｃ ｃｈａｎｎｅｌ）をもつ形態で行われてよい。
図３は、一実施形態における、３次元屈折率細胞映像測定部を説明するための図である。
３次元屈折率映像撮影は、観察しようとする細胞がスライドの上に置かれているか塗布された形態で撮影される。図３に示すように、一度に撮影することのできる領域よりも観察領域が大きい場合、一度に撮影した３次元映像を結合して３次元屈折率スライドイメージを生成する。
より具体的に、３次元屈折率細胞映像測定部１１０は、３次元映像パッチ撮影部１１１および映像パッチ結合部１１２を含んで構成されてよい。
３次元映像パッチ撮影部１１１は、一度に撮影することのできる領域よりも細胞の観察領域が大きい場合、一度に撮影可能な３次元屈折率映像を撮影する。つまり、３次元映像パッチ撮影部１１１は、観察領域を一度に撮影することが可能な複数の領域に分けて３次元屈折率映像を撮影する。
また、映像パッチ結合部１１２は、一度に撮影した３次元屈折率映像を結合して３次元屈折率スライドイメージを生成する。つまり、映像パッチ結合部１１２は、複数の領域に分けて撮影された３次元屈折率映像を１つの映像として併合して、３次元屈折率スライドイメージを生成する。
図４は、一実施形態における、３次元屈折率と染色分子映像転換部１２０を説明するための図である。
図４に示すように、効率的な変換過程のために３次元変換の効率と変換計算環境を考慮しながら３次元屈折率映像パッチを生成し、パッチ単位で染色分子パッチに転換した後、併合する過程を経てもよい。ここで、３次元屈折率細胞映像１０２は、上述した方法を利用して生成された観察領域全体の３次元屈折率細胞映像である。
より具体的に、３次元屈折率と染色分子映像転換部１２０は、３次元パッチ抽出部１２１、３次元屈折率と染色分子パッチ転換部１２２、および分子パッチ結合部１２３を含んでよい。３次元パッチ抽出部１２１は、細胞の３次元屈折率映像パッチを生成してもよく、３次元屈折率と染色分子パッチ転換部１２２は、ディープラーニングアルゴリズムに基づいて３次元屈折率映像パッチを３次元染色分子映像パッチ１０３ａに変換する。さらに、分子パッチ結合部１２３は、変換された３次元染色分子映像パッチ１０３ａを１つの映像として併合する。
ここで、３次元屈折率と染色分子映像転換部１２０は、３次元屈折率映像の測定値をディープラーニングアルゴリズムに入力して細胞の３次元染色分子細胞映像１０３を出力する。
図５は、一実施形態における、３次元パッチ抽出部を説明するための図である。
図５を参照すると、実施形態は、３次元屈折率映像をパッチ単位で染色分子映像に変換してもよい。上述したように、変換過程は、ディープラーニングアルゴリズムに基づいてよく、特に、畳み込みニューラルネットワーク（ＣＮＮ）アルゴリズムを使用する。
このとき、映像の外郭領域で安定的な結果を導き出したり、結合過程で発生する外郭領域値の消失を防いだりするために、抽出前にパディング過程を経た後に細胞領域に対してパッチサンプリングを行ってよい。
より具体的に、３次元パッチ抽出部１２１は、映像パディング部１２１ａ、細胞領域抽出部１２１ｂ、および３次元屈折率パッチサンプリング部１２１ｃを含んでよい。
映像パディング部１２１ａは、映像の外郭領域値の消失を防ぐためにパディング過程を実行する。畳み込みニューラルネットワークのゼロパディング効果により、映像の外角部に対する予測信頼度が減少する。さらに、パッチに適用されるカーネルがスプライン関数であるため、映像の外角部の値は減殺される。このような２つの現象を防ぐために、映像全体に対してパディングを実行する。図６は、一実施形態における、パディング過程を説明するための図である。図６（ａ）は、パディングを実行する前の映像であり、図６（ｂ）は、パディングを実行した後の映像である。図６（ｂ）に示すように、映像全体に対し、外郭だけに対して使用されるパッチの大きさに比例して内部映像の連続性を保障する方式によってパディングを行ってもよい。このとき、以降に実行されるパッチサンプリング過程のパッチの大きさの半分だけをパディングしてもよい。
細胞領域抽出部１２１ｂは、パディング過程を経た、パディングされた映像から細胞領域を抽出する。
３次元屈折率パッチサンプリング部１２１ｃは、パディングされた映像の細胞領域からパッチをサンプリングして、細胞の３次元屈折率映像パッチを生成する。図７は、一実施形態における、パッチサンプリング過程を説明するための図である。図７（ａ）は、パディングされた映像であり、図７（ｂ）は、パディングされた映像から生成されたパッチである。ＣＰＵメモリの限界により、映像全体を畳み込みニューラルネットワークによって学習させるには無理がある。このため、図７（ｂ）に示すように、パディングされた映像から生成されたパッチをサンプリングする。このとき、パッチサンプリングの間隔は、効果的なゼロパディング効果の除去およびアンサンブル効果を図るためにパッチの大きさの半分とする。
図８は、一実施形態における、ディープラーニングアルゴリズムに基づく３次元屈折率と染色分子パッチ転換部を説明するための図である。
図８を参照すると、上述した方法を利用して細胞の屈折率映像を測定し、観察する細胞の３次元屈折率映像パッチを生成する。このとき、各パッチは、学習されたディープラーニングモデルに基づいて標識分子映像に変換されてよい。
より具体的に、３次元屈折率と染色分子パッチ転換部１２２は、各細胞の３次元屈折率映像パッチを、３次元屈折率情報に基づいて学習された畳み込みニューラルネットワーク（ＣＮＮ）を活用して３次元染色分子映像パッチ１０３ａに変換する。このとき、ディープラーニングアルゴリズムに入力される情報は、各細胞の３次元屈折率情報であり、この結果として出る変換値は、入ってきたパッチに対応する標識分子３次元映像情報となる。
図９は、一実施形態における、各標識情報に合った変換モデルを導き出す方式を説明するための図である。また、図１０は、一実施形態における、複数の標識分子情報を一度に導き出す方式を説明するための図である。
特に、変換モデルは、標識分子情報が１つ以上であるとき、図９に示すように、各標識情報に合った変換モデルを導き出す方式と、図１０に示すように、１つのディープラーニングモデルによって複数の標識分子情報を一度に導き出す方式の両方を支援することが可能となる。
図１１は、一実施形態における、ディープラーニング基盤のモデルを説明するための図であり、図１２は、一実施形態における、３次元屈折率映像パッチを説明するための図である。
図１１を参照すると、３次元屈折率と染色分子映像転換モデル１２２ａは、測定された３次元屈折率情報に基づいてディープラーニングアルゴリズムを活用する。このとき、ニューラルネットワークアルゴリズム、すなわち、ディープラーニングアルゴリズムに入力される情報は、各３次元屈折率映像パッチであり、この結果として出る情報は、予測される３次元染色分子パッチ情報である。安定的な予測性能を維持するために、１つ以上のディープラーニングアルゴリズム基盤の３次元屈折率と染色分子映像転換モデル１２２ａを学習し、この結果を確率基盤融合部で統計的に融合して３次元染色分子パッチおよび３次元染色分子パッチの不正確度を確認する。
図１２に示すように、本実施形態で使用されたモデルは、変換値だけに基づくものではなく、複数のモデルから出る値に基づいてデータの不足およびモデル性能の不足から招く不正確度をともに示すことにより、より正確な変換値を示すことが可能となる。
図１３は、一実施形態における、変換された映像パッチの例を示した図である。図１３（ａ）は、３次元屈折率細胞映像パッチであり、図１３（ｂ）は、３次元染色分子細胞映像パッチである。
図１３を参照すると、上述した過程によって変換された映像パッチの例が示されており、より具体的には、３次元屈折率映像パッチから３次元染色分子映像パッチ１０３ａに変換される映像の例が示されている。
図１４は、一実施形態における、３次元染色分子映像パッチの併合を説明するための図である。図１４（ａ）は、３次元染色分子映像パッチ（１０３ａ）を示す図であり、図１４（ｂ）は、再構成された３次元染色分子細胞映像である。
図１４（ｂ）に示すように、分子パッチ結合部１２３は、変換された３次元染色分子映像パッチ１０３ａを１つの映像として併合する。このとき、重複する領域に対しては、再構成された映像の連続性を保障するために、パッチの中心からの距離による線形／非線形加重値を掛けて加えるようになる。
図１５は、一実施形態における、パディング領域の除去を説明するための図である。図１５（ａ）は、再構成された３次元染色分子細胞映像であり、図１５（ｂ）は、最終的な３次元染色分子映像である。
図１５（ｂ）に示すように、パディングされた領域を除去する。これにより、最終的には１つの標識分子に対する３次元映像が形成されてよい。
言い換えれば、分子パッチ結合部１２３は、重複する領域に対して再構成された映像の連続性を保障するために、パッチの中心からの距離による線形または非線形加重値を掛けて加え、パディング領域の除去後、最終的には１つの標識分子に対する細胞の３次元染色分子細胞映像１０３を生成する。
図１６は、一実施形態における、３次元屈折率と染色分子映像転換モデルを説明するための図である。
図１６を参照すると、特定の標識分子が既に確保されている細胞に対応する３次元屈折率映像を測定する。このとき、各標識分子から複数（＞５０）のサンプルを測定した後、ディープラーニングアルゴリズムに基づいて変換モデルを構築する。
言い換えれば、３次元屈折率と染色分子映像転換モデル生成部１２４は、評価データセットおよび学習データセットを利用して各標識分子から予め設定された数以上のサンプルを測定した後、ディープラーニングアルゴリズムに基づいて３次元屈折率と染色分子映像転換モデル１２２ａを構築する。
これにより、３次元屈折率と染色分子映像転換部１２０は、３次元屈折率と染色分子映像転換モデル１２２ａによって特定の標識分子が確保された細胞に対応する３次元屈折率映像を測定して細胞の３次元染色分子細胞映像１０３を生成することが可能となる。
図１７は、一実施形態における、３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法を説明するためのフローチャートである。
図１７を参照すると、一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法は、観察しようとする細胞に対して３次元屈折率映像を測定する段階１１０、および３次元屈折率映像の測定値をディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）アルゴリズムに入力して細胞の３次元染色分子細胞映像を出力する段階１２０を含んでよい。
また、段階１２０で、細胞の３次元染色分子細胞映像を出力する前に、各標識分子から予め設定された数以上のサンプルを測定した後、ディープラーニングアルゴリズムに基づいて３次元屈折率と染色分子映像転換モデルを構築する段階を含んでよい。
以下、一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法の各段階について説明する。
一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法は、図１〜１６を参照しながら上述した一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成装置１００を利用することで、より具体的に説明される。
段階１１０で、３次元屈折率細胞映像測定部１１０は、観察しようとする細胞に対して３次元屈折率映像を測定する。例えば、３次元屈折率細胞映像測定部１１０は、観察しようとする細胞がスライドの上に置かれているか塗布された形態で３次元屈折率映像を撮影する。
段階１２０で、３次元屈折率と染色分子映像転換部１２０は、３次元屈折率映像の測定値をディープラーニングアルゴリズムに入力して細胞の３次元染色分子細胞映像を出力する。
このような３次元屈折率と染色分子映像転換部１２０は、細胞の３次元屈折率映像パッチを生成し、ディープラーニングアルゴリズムに基づいて３次元屈折率映像パッチを３次元染色分子映像パッチに変換した後、変換された３次元染色分子映像パッチを１つの映像として併合する。
また、細胞の３次元染色分子細胞映像を出力する前に、各標識分子から予め設定された数以上のサンプルを測定した後、ディープラーニングアルゴリズムに基づいて３次元屈折率と染色分子映像転換モデル１２２ａを構築する。これにより、３次元屈折率と染色分子映像転換モデル１２２ａに基づき、特定の標識分子が確保された細胞に対応する３次元屈折率映像を測定して細胞の３次元染色分子細胞映像を生成することが可能となる。
一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法は、上述した一実施形態に係る３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成装置１００の説明と重複するため、繰り返される説明は略する。
以上のように、本発明の実施形態によると、染色や標識などの過程なく、細胞の３次元屈折率測定とディープラーニングアルゴリズムを活用して分子顕微鏡映像を高速で生成する方法を提供することができる。実施形態は、染色および標識を使用せずに細胞の形態学的特徴を抽出するだけでなく、物理／化学的特性を抽出することができ、細胞に影響を及ぼさずに迅速な分析を可能にする。さらに、染色および標識の非一貫性による影響を受けないため、一貫的かつ安定的な分析情報の抽出が可能となる。これにより、従来では観察することのできなかった情報を導き出すことが可能となる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態に基づいて特別に設計されて構成されたものであっても、コンピュータソフトウェアの当業者に公知である使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記録して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードが含まれる。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
１００：３次元分子像生成装置
１１０：３次元屈折率細胞映像測定部
１２０：３次元屈折率と染色分子映像転換部

Claims (10)

  1. ３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成装置であって、
    観察しようとする細胞に対して３次元屈折率映像を測定する３次元屈折率細胞映像測定部、および
    前記３次元屈折率映像の測定値をディープラーニングアルゴリズムに入力して細胞の３次元染色分子細胞映像を出力する３次元屈折率と染色分子映像転換部
    を含む、３次元分子像生成装置。
  2. 前記３次元屈折率細胞映像測定部は、
    観察しようとする前記細胞がスライドの上に置かれているか塗布された形態で前記３次元屈折率映像を撮影する、
    請求項１に記載の３次元分子像生成装置。
  3. 前記３次元屈折率細胞映像測定部は、
    一度に撮影することのできる領域よりも前記細胞の観察領域が大きい場合、一度に撮影可能な３次元屈折率映像を撮影する３次元映像パッチ撮影部、および
    一度に撮影した前記３次元屈折率映像を結合して３次元屈折率スライドイメージを生成する映像パッチ結合部
    を含む、請求項１に記載の３次元分子像生成装置。
  4. 前記３次元屈折率と染色分子映像転換部は、
    前記細胞の３次元屈折率映像パッチを生成する３次元パッチ抽出部、
    前記ディープラーニングアルゴリズムに基づいて前記３次元屈折率映像パッチを３次元標識分子映像パッチに変換する、３次元屈折率と染色分子パッチ転換部、および
    変換された前記３次元標識分子映像パッチを１つの映像として併合する分子パッチ結合部
    を含む、請求項１に記載の３次元分子像生成装置。
  5. 前記３次元パッチ抽出部は、
    映像の外郭領域の値の消失を防ぐためにパディング過程を実行する映像パディング部、
    前記パディング過程を経た、パディングされた映像から細胞領域を抽出する細胞領域抽出部、および
    前記パディングされた映像の細胞領域からパッチをサンプリングして前記細胞の３次元屈折率映像パッチを生成する３次元屈折率パッチサンプリング部
    を含む、請求項４に記載の３次元分子像生成装置。
  6. 前記３次元屈折率と染色分子パッチ転換部は、
    各前記細胞の３次元屈折率映像パッチを、３次元屈折率情報に基づいて学習された畳み込みニューラルネットワークを活用して前記３次元標識分子映像パッチに変換する、
    請求項４に記載の３次元分子像生成装置。
  7. 前記分子パッチ結合部は、
    重複する領域に対して再構成された映像の連続性を保障するために、パッチの中心からの距離による線形または非線形加重値を掛けて加え、パディング領域の除去後、最終的には１つの標識分子に対する前記細胞の３次元染色分子細胞映像を生成する、
    請求項４に記載の３次元分子像生成装置。
  8. 前記３次元屈折率と染色分子映像転換部は、
    各標識分子から予め設定された数以上のサンプルを測定した後、前記ディープラーニングアルゴリズムを活用して前記３次元屈折率と染色分子映像転換モデルを構築する前記３次元屈折率と染色分子映像転換モデル生成部
    を含み、
    前記３次元屈折率と染色分子映像転換モデルに基づき、特定の標識分子が確保された細胞に対応する３次元屈折率映像を測定して前記細胞の３次元染色分子細胞映像を生成する、
    請求項１に記載の３次元分子像生成装置。
  9. ３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法であって、
    観察しようとする細胞に対して３次元屈折率映像を測定する段階、および
    前記３次元屈折率映像の測定値をディープラーニングアルゴリズムに入力して細胞の３次元染色分子細胞映像を出力する段階
    を含む、３次元分子像生成方法。
  10. 前記細胞の３次元染色分子細胞映像を出力する段階は、
    各標識分子から予め設定された数以上のサンプルを測定した後、前記ディープラーニングアルゴリズムを活用して３次元屈折率と染色分子映像転換モデルを構築する段階
    を含み、
    前記３次元屈折率と染色分子映像転換モデルに基づき、特定の標識分子が確保された細胞に対応する３次元屈折率映像を測定して前記細胞の３次元染色分子細胞映像を生成する、
    請求項９に記載の３次元分子像生成方法。
JP2020049395A 2019-11-05 2020-03-19 ３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置 Active JP7122769B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190139992A KR102302333B1 (ko) 2019-11-05 2019-11-05 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치
KR10-2019-0139992 2019-11-05

Publications (2)

Publication Number Publication Date
JP2021076575A true JP2021076575A (ja) 2021-05-20
JP7122769B2 JP7122769B2 (ja) 2022-08-22

Family

ID=69844543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020049395A Active JP7122769B2 (ja) 2019-11-05 2020-03-19 ３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置

Country Status (6)

Country Link
US (1) US11450062B2 (ja)
EP (1) EP3819874A1 (ja)
JP (1) JP7122769B2 (ja)
KR (1) KR102302333B1 (ja)
CN (1) CN112782165B (ja)
WO (1) WO2021091027A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175862A1 (ja) * 2022-03-17 2023-09-21 株式会社エビデント 屈折率分布生成装置、屈折率分布生成方法、屈折率分布生成システム及び記録媒体
WO2023175860A1 (ja) * 2022-03-17 2023-09-21 株式会社エビデント 標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273077B (zh) * 2021-12-09 2023-06-30 首都医科大学附属北京天坛医院 细胞模型构建方法、计算机设备及存储介质
FR3131417B1 (fr) * 2021-12-28 2024-06-28 Commissariat Energie Atomique Correction d'artefacts de reconstructions tomographiques par reseaux de neurones
KR102659201B1 (ko) * 2022-05-30 2024-04-22 주식회사 토모큐브 Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09281405A (ja) * 1996-04-17 1997-10-31 Olympus Optical Co Ltd 顕微鏡システム
JP2002531840A (ja) * 1998-12-01 2002-09-24 イェダ リサーチ アンド デベロップメント カンパニー リミテッド コンピュータを使用した適応画像形成装置及び方法
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのｖｓ画像生成方法、プログラム
JP2013507612A (ja) * 2009-10-12 2013-03-04 ベンタナ メディカル システムズ， インコーポレイテッド 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
JP2017529574A (ja) * 2014-09-22 2017-10-05 ナノライブ・エスエイＮａｎｏｌｉｖｅ ＳＡ 顕微鏡
JP2018206260A (ja) * 2017-06-08 2018-12-27 国立大学法人 筑波大学 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
WO2019013960A1 (en) * 2017-07-11 2019-01-17 Siemens Healthcare Diagnostics Inc. METHODS AND SYSTEMS FOR LEARNING BASED IMAGE EDGE IMPROVEMENT FOR HIGHER SAMPLE TUBE CIRCLES
WO2019032723A1 (en) * 2017-08-09 2019-02-14 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES, AND METHODS FOR GENERATING AN IMAGE HAVING PREDICTIVE MARKING
JP2019045540A (ja) * 2017-08-30 2019-03-22 学校法人 埼玉医科大学 画像処理装置、画像処理方法、画像処理プログラム
WO2019060141A1 (en) * 2017-09-19 2019-03-28 Siemens Healthcare Diagnostics Inc. VIRTUAL COLORING OF CELLS IN DIGITAL HOLOGRAPHIC MICROSCOPY IMAGES USING GENERATIVE ANTAGONIST NETWORKS
JP2020144012A (ja) * 2019-03-06 2020-09-10 学校法人 埼玉医科大学 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522775B2 (en) * 2001-03-28 2003-02-18 Alan C. Nelson Apparatus and method for imaging small objects in a flow stream using optical tomography
CN1231786C (zh) * 2003-06-03 2005-12-14 暨南大学 可产生三维立体图像的光学空间滤波方法
KR101927852B1 (ko) * 2016-06-10 2018-12-13 주식회사 토모큐브 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치
KR101865624B1 (ko) * 2016-06-10 2018-06-11 주식회사 토모큐브 파면 제어기를 이용한 초고속 3차원 굴절률 영상 촬영 및 형광 구조화 조도 현미경 시스템 및 이를 이용한 방법
CN109564617B (zh) * 2016-06-13 2023-09-26 纳诺利弗股份有限公司 表征和成像微观物体的方法
JP2019135939A (ja) * 2018-02-07 2019-08-22 澁谷工業株式会社 細胞カウント方法および細胞カウント装置ならびに細胞培養方法
AU2019240057A1 (en) * 2018-03-20 2020-10-08 Lumacyte, LLC Advanced biophysical and biochemical cellular monitoring and quantification using laser force cytology
CN112106061A (zh) * 2018-03-30 2020-12-18 加利福尼亚大学董事会 使用深度学习对未标记荧光图像进行数字染色的方法和系统
US11392830B2 (en) * 2018-04-13 2022-07-19 The Regents Of The University Of California Devices and methods employing optical-based machine learning using diffractive deep neural networks
KR101977067B1 (ko) * 2018-08-24 2019-05-10 주식회사 뷰노 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치
CN109884018B (zh) * 2019-03-22 2020-09-18 华中科技大学 一种基于神经网络的亚微米级无透镜显微成像方法及系统
CN110378473B (zh) * 2019-07-26 2021-12-21 清华大学 基于深度学习和随机图案的相位层析方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09281405A (ja) * 1996-04-17 1997-10-31 Olympus Optical Co Ltd 顕微鏡システム
JP2002531840A (ja) * 1998-12-01 2002-09-24 イェダ リサーチ アンド デベロップメント カンパニー リミテッド コンピュータを使用した適応画像形成装置及び方法
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのｖｓ画像生成方法、プログラム
JP2013507612A (ja) * 2009-10-12 2013-03-04 ベンタナ メディカル システムズ， インコーポレイテッド 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
JP2017529574A (ja) * 2014-09-22 2017-10-05 ナノライブ・エスエイＮａｎｏｌｉｖｅ ＳＡ 顕微鏡
JP2018206260A (ja) * 2017-06-08 2018-12-27 国立大学法人 筑波大学 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
WO2019013960A1 (en) * 2017-07-11 2019-01-17 Siemens Healthcare Diagnostics Inc. METHODS AND SYSTEMS FOR LEARNING BASED IMAGE EDGE IMPROVEMENT FOR HIGHER SAMPLE TUBE CIRCLES
WO2019032723A1 (en) * 2017-08-09 2019-02-14 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES, AND METHODS FOR GENERATING AN IMAGE HAVING PREDICTIVE MARKING
JP2019045540A (ja) * 2017-08-30 2019-03-22 学校法人 埼玉医科大学 画像処理装置、画像処理方法、画像処理プログラム
WO2019060141A1 (en) * 2017-09-19 2019-03-28 Siemens Healthcare Diagnostics Inc. VIRTUAL COLORING OF CELLS IN DIGITAL HOLOGRAPHIC MICROSCOPY IMAGES USING GENERATIVE ANTAGONIST NETWORKS
JP2020144012A (ja) * 2019-03-06 2020-09-10 学校法人 埼玉医科大学 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175862A1 (ja) * 2022-03-17 2023-09-21 株式会社エビデント 屈折率分布生成装置、屈折率分布生成方法、屈折率分布生成システム及び記録媒体
WO2023175860A1 (ja) * 2022-03-17 2023-09-21 株式会社エビデント 標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体

Also Published As

Publication number Publication date
US20210134054A1 (en) 2021-05-06
CN112782165A (zh) 2021-05-11
KR102302333B1 (ko) 2021-09-16
KR20210054183A (ko) 2021-05-13
CN112782165B (zh) 2024-09-20
US11450062B2 (en) 2022-09-20
WO2021091027A1 (ko) 2021-05-14
EP3819874A1 (en) 2021-05-12
JP7122769B2 (ja) 2022-08-22

Similar Documents

Publication Publication Date Title
JP2021076575A (ja) ３次元屈折率映像とディープラーニングを活用したラベルフリー方式の３次元分子像生成方法および装置
Jo et al. Label-free multiplexed microtomography of endogenous subcellular dynamics using generalizable deep learning
Baek et al. Intensity-based holographic imaging via space-domain Kramers–Kronig relations
Horstmeyer et al. Diffraction tomography with Fourier ptychography
Horstmeyer et al. Standardizing the resolution claims for coherent microscopy
Lee et al. Single-exposure quantitative phase imaging in color-coded LED microscopy
Astratov et al. Roadmap on Label‐Free Super‐Resolution Imaging
Jolivet et al. Regularized reconstruction of absorbing and phase objects from a single in-line hologram, application to fluid mechanics and micro-biology
KR102246439B1 (ko) 기계학습 알고리즘을 활용한 신속한 3차원 단층촬영의 정규화 방법 및 장치
KR20170140473A (ko) 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치
Li et al. Photonic-dispersion neural networks for inverse scattering problems
Krauze et al. 3D scattering microphantom sample to assess quantitative accuracy in tomographic phase microscopy techniques
Chen et al. A complete and computationally efficient numerical model of aplanatic solid immersion lens scanning microscope
Stockton et al. Tomographic single pixel spatial frequency projection imaging
Lin et al. Phase distribution analysis of tissues based on the off-axis digital holographic hybrid reconstruction algorithm
Chang et al. 3D single-shot ptychography with highly tilted illuminations
Strasser et al. Direct measurement of individual optical forces in ensembles of trapped particles
Drobczyński et al. Real-time force measurement in double wavelength optical tweezers
He et al. Full Poincaré polarimetry enabled through physical inference
Běhal et al. Developing a reliable holographic flow cyto-tomography apparatus by optimizing the experimental layout and computational processing
El Mallahi et al. Separation of overlapped particles in digital holographic microscopy
CN102539381B (zh) 基于微离轴显微干涉投影的折射率层析装置
Wen et al. Phase retrieval with dynamic linear combination in multiple intensity measurements
Unger et al. Versatile inversion tool for phaseless optical diffraction tomography
Maire et al. Experimental inversion of optical diffraction tomography data with a nonlinear algorithm in the multiple scattering regime

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220225

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220802

R150 Certificate of patent or registration of utility model

Ref document number: 7122769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150