JP2023125282A - 解析方法および解析装置 - Google Patents

解析方法および解析装置 Download PDF

Info

Publication number
JP2023125282A
JP2023125282A JP2022029284A JP2022029284A JP2023125282A JP 2023125282 A JP2023125282 A JP 2023125282A JP 2022029284 A JP2022029284 A JP 2022029284A JP 2022029284 A JP2022029284 A JP 2022029284A JP 2023125282 A JP2023125282 A JP 2023125282A
Authority
JP
Japan
Prior art keywords
dimensional
analysis
dimensional image
sample
analysis result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022029284A
Other languages
English (en)
Inventor
尚悟 時末
Shogo Tokisue
涼 長谷部
Ryo HASEBE
寛志 荻
Hiroshi Ogi
悟史 岡本
Satoshi Okamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2022029284A priority Critical patent/JP2023125282A/ja
Priority to EP23157709.9A priority patent/EP4235568A1/en
Priority to US18/173,312 priority patent/US20230274441A1/en
Publication of JP2023125282A publication Critical patent/JP2023125282A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Abstract

【課題】二次元撮影または三次元撮影を単独で行う場合よりも、試料の解析結果を精度よく得ることができる解析方法および解析装置を提供する。【解決手段】この解析装置は、二次元撮像部30、三次元撮像部40、および解析部としてのコンピュータ50を備える。二次元撮像部30は、試料を二次元撮影することにより、二次元画像D2を取得する。三次元撮像部40は、試料を三次元撮影することにより、三次元画像D3を取得する。コンピュータ50は、まず、二次元画像D2を解析することにより、二次元解析結果R2を出力する。次に、コンピュータ50は、三次元画像D3を解析することにより、三次元解析結果R3を出力する。このとき、コンピュータ50は、二次元解析結果R2に含まれる指標を利用して、三次元画像D3を解析する。これにより、三次元解析結果R3の精度を向上させることができる。【選択図】図4

Description

本発明は、複数の被観察物が三次元的に分布する試料を解析する解析方法および解析装置に関する。
従来、病理医学や細胞培養において、複数の細胞が三次元的に分布する生体試料を撮影し、得られた画像に基づいて、生体試料を解析することが行われている。生体試料の撮影方法としては、光学顕微鏡による二次元撮影を行う方法や、光干渉断層撮影(Optical Coherence Tomography;OCT)により三次元撮影を行う方法などが、知られている。例えば、特許文献1には、光干渉断層撮影により胚の三次元画像を取得する技術が、記載されている。
特開2019-133429号公報
光学顕微鏡による二次元撮影では、三次元撮影に比べて、高い解像度の画像を取得することができる。ただし、二次元撮影の場合、単一の画像では、生体試料の立体的な構造が把握できない。このため、光学顕微鏡の焦点位置を変化させながら、複数回の撮影を行い、得られた複数枚の二次元画像に基づいて、生体試料の解析が行われる。
一方、光干渉断層撮影等の三次元撮影を行えば、二次元撮影よりも、生体試料の立体的な構造を把握しやすいという利点がある。ただし、三次元撮影の場合、二次元撮影に比べて、得られる画像の解像度が低いことが多く、細部の構造について精度のよい解析結果を得ることが難しい、という問題がある。
本発明は、このような事情に鑑みなされたものであり、二次元撮影または三次元撮影を単独で行う場合よりも、試料の解析結果を精度よく得ることができる解析方法および解析装置を提供することを目的とする。
上記課題を解決するため、本願の第1発明は、複数の被観察物が三次元的に分布する試料を解析する解析方法であって、a)前記試料を二次元撮影することにより、二次元画像を取得する工程と、b)前記試料を三次元撮影することにより、三次元画像を取得する工程と、c)前記二次元画像を解析することにより、二次元解析結果を出力する工程と、d)前記三次元画像を解析することにより、三次元解析結果を出力する工程と、を有し、前記工程d)では、前記二次元解析結果に含まれる指標を利用して、前記三次元画像を解析する。
本願の第2発明は、請求項1に記載の解析方法であって、前記試料は、胚であり、前記被観察物は、前記胚に含まれる細胞であり、前記二次元解析結果は、前記胚に含まれる前記細胞の数である。
本願の第3発明は、第2発明の解析方法であって、前記三次元解析結果は、前記胚に含まれる複数の前記細胞の形状同定結果であり、前記工程d)では、前記工程c)により取得した前記細胞の数に基づいて、前記細胞の形状同定結果を算出する領域の数を決定する。
本願の第4発明は、第2発明または第3発明の解析方法であって、e)前記工程d)の後に、前記三次元解析結果に基づいて、前記胚の状態を表すVeeck分類結果を出力する工程をさらに有する。
本願の第5発明は、複数の被観察物が三次元的に分布する試料を解析する解析方法であって、a)前記試料を二次元撮影することにより、二次元画像を取得する工程と、b)前記試料を三次元撮影することにより、三次元画像を取得する工程と、c)前記二次元画像を解析することにより、二次元解析結果を出力する工程と、d)前記三次元画像を解析することにより、三次元解析結果を出力する工程と、e)前記二次元解析結果および前記三次元解析結果に基づいて、統合解析結果を出力する工程と、を有する。
本願の第6発明は、第5発明の解析方法であって、前記試料は、胚であり、前記二次元解析結果、前記三次元解析結果、および前記統合解析結果は、前記胚の状態を表すVeeck分類結果である。
本願の第7発明は、第1発明から第6発明までのいずれか1発明の解析方法であって、前記工程a)では、焦点位置を変更しつつ、明視野撮影を行うことにより、複数の前記二次元画像を取得し、前記工程c)では、複数の前記二次元画像を解析することにより、前記二次元解析結果を取得する。
本願の第8発明は、第1発明から第7発明までのいずれか1発明の解析方法であって、前記工程b)では、光干渉断層撮影により、前記三次元画像を取得する。
本願の第9発明は、複数の被観察物が三次元的に分布する試料を解析する解析装置であって、前記試料を二次元撮影することにより、二次元画像を取得する二次元撮像部と、前記試料を三次元撮影することにより、三次元画像を取得する三次元撮像部と、前記二次元画像および前記三次元画像に基づいて、試料を解析する解析部と、を備え、解析部は、前記二次元画像を解析することにより、二次元解析結果を出力する二次元解析処理と、前記三次元画像を解析することにより、三次元解析結果を出力する三次元解析処理と、を実行し、前記三次元解析処理では、前記二次元解析結果に含まれる指標を利用して、前記三次元画像を解析する。
本願の第10発明は、複数の被観察物が三次元的に分布する試料を解析する解析装置であって、前記試料を二次元撮影することにより、二次元画像を取得する二次元撮像部と、前記試料を三次元撮影することにより、三次元画像を取得する三次元撮像部と、前記二次元画像および前記三次元画像に基づいて、試料を解析する解析部と、を備え、解析部は、前記二次元画像を解析することにより、二次元解析結果を出力する二次元解析処理と、前記三次元画像を解析することにより、三次元解析結果を出力する三次元解析処理と、前記二次元解析結果および前記三次元解析結果に基づいて、統合解析結果を出力する統合解析処理と、を実行する。
本願の第1発明~第4発明によれば、二次元解析により精度よく得られる指標を利用して、三次元画像を解析できる。これにより、精度のよい三次元解析結果を得ることができる。
特に、本願の第2発明によれば、二次元解析により、三次元解析よりも精度よく取得できる細胞数の情報を、三次元解析に利用する。これにより、精度のよい三次元解析結果を得ることができる。
特に、本願の第3発明によれば、二次元解析により取得した細胞の数に基づいて、細胞の三次元解析結果を精度よく算出できる。
また、本願の第5発明~第8発明によれば、二次元解析と三次元解析の2通りのアプローチにより得られる2つの解析結果を利用して、統合解析結果を出力する。これにより、精度のよい統合解析結果を得ることができる。
特に、本願の第6発明によれば、二次元解析と三次元解析の2通りのアプローチにより得られる2つのVeeck分類結果を統合して、最終的なVeeck分類結果を出力する。これにより、精度のよいVeeck分類結果を得ることができる。
特に、本願の第7発明によれば、複数の二次元画像を解析することにより、精度のよい二次元解析結果を得ることができる。
特に、本願の第8発明によれば、光干渉断層撮影により、三次元画像を精度よく取得できる。
また、本願の第9発明によれば、二次元解析により精度よく得られる指標を利用して、三次元画像を解析できる。これにより、精度のよい三次元解析結果を得ることができる。
また、本願の第10発明によれば、二次元解析と三次元解析の2通りのアプローチにより得られる2つの解析結果を利用して、統合解析結果を出力する。これにより、精度のよい統合解析結果を得ることができる。
解析装置の構成を示した図である。 胚の例を示した図である。 解析装置の制御ブロック図である。 第1実施形態に係る撮影・解析処理を実現するためのコンピュータの機能を、概念的に示したブロック図である。 第1実施形態に係る撮影・解析処理の流れを示したフローチャートである。 第2実施形態に係る撮影・解析処理を実現するためのコンピュータの機能を、概念的に示したブロック図である。 第2実施形態に係る撮影・解析処理の流れを示したフローチャートである。
以下、本発明の実施形態について、図面を参照しつつ説明する。
<1.解析装置の構成>
図1は、本発明の一実施形態に係る解析装置1の構成を示した図である。この解析装置1は、試料容器90内に保持された試料を撮影し、得られた画像に基づいて、試料の状態を解析する装置である。
本実施形態では、解析対象となる試料が、ヒトの胚9である場合について、説明する。図2は、胚9の例を示した図である。胚9は、受精卵が卵割を行うことにより形成される。図2に示すように、胚9は、球面状の透明帯91の中に、被観察物である複数の細胞92が、三次元的に分布したものである。各細胞92は、透明または半透明である。
図1に示すように、解析装置1は、ステージ10、光照射部40、二次元撮像部20、三次元撮像部30、およびコンピュータ50を備える。
ステージ10は、試料容器90を支持する支持台である。試料容器90には、例えば、ウェルプレートが使用される。ウェルプレートは、複数のウェル(凹部)を有する。試料である胚9は、各ウェルの中に、培養液とともに保持される。ただし、試料容器90は、1つの凹部のみを有するディッシュであってもよい。試料容器90の材料には、光を透過する透明な樹脂が使用される。ステージ10は、上下方向に貫通する開口部11を有する。試料容器90は、ステージ10の当該開口部11に嵌め込まれた状態で、水平に支持される。したがって、試料容器90の上面および下面は、ステージ10に覆われることなく露出する。
光照射部40は、ステージ10に支持された試料容器90の上方に配置されている。光照射部40は、LED等の発光素子を有する。二次元撮像部20による撮影を行うときには、光照射部40の発光素子が発光する。これにより、光照射部40から下方の試料容器90へ向けて、光が照射される。
二次元撮像部20は、試料容器90内の胚9を、光学顕微鏡により二次元撮影するユニットである。二次元撮像部20は、ステージ10に支持された試料容器90の下方に配置されている。図1に示すように、二次元撮像部20は、撮像光学系21、カメラ22、および焦点移動機構23を有する。撮像光学系21は、対物レンズ211を含む複数の光学部品を有する。対物レンズ211は、カメラ22の焦点を、試料容器90内の胚9に合わせるためのレンズである。カメラ22は、CCDやCMOS等の撮像素子を有する。
二次元撮影を行うときには、光照射部40から試料容器90へ向けて光を照射しつつ、カメラ22が、試料容器90内の胚9を明視野で撮影する。これにより、胚9の二次元画像を、デジタルデータとして取得する。取得された二次元画像は、カメラ22からコンピュータ50へ入力される。二次元画像は、二次元座標上に配列された複数の画素により構成され、画素毎に輝度値が規定されたデータである。
焦点移動機構23は、カメラ22の焦点位置を変化させる機構である。焦点移動機構23は、モータまたはピエゾ等のアクチュエータにより、対物レンズ211の位置を、光軸に沿って微小移動させる。これにより、カメラ22の焦点位置が、上下方向に微小移動する。二次元撮像部20は、焦点移動機構23により、焦点の位置を変化させながら、胚9を複数回撮影(マルチフォーカス撮影)する。これにより、焦点位置の異なる複数の二次元画像が取得される。
また、二次元撮像部20は、図示を省略した移動機構により、光照射部40とともに、水平方向に移動可能となっている。これにより、二次元撮像部20の視野を、複数のウェルの間で切り替えることができる。
三次元撮像部30は、試料容器90内の胚9を、三次元撮影するユニットである。三次元撮像部30は、ステージ10に支持された試料容器90の下方に配置されている。三次元撮像部30には、胚9の断層画像を撮影することが可能な、光干渉断層撮影(Optical Coherence Tomography;OCT)装置が用いられる。
図1に示すように、三次元撮像部30は、光源31、物体光学系32、参照光学系33、検出部34、および光ファイバカプラ35を有する。光ファイバカプラ35は、第1光ファイバ351~第4光ファイバ354が、接続部355において連結されたものである。光源31、物体光学系32、参照光学系33、および検出部34は、光ファイバカプラ35により構成される光路を介して、互いに接続されている。
光源31は、LED等の発光素子を有する。光源31は、広帯域の波長成分を含む低コヒーレンス光を出射する。胚9の内部まで光を到達させるために、光源31から出射される光は、近赤外線であることが望ましい。光源31は、第1光ファイバ351に接続されている。光源31から出射される光は、第1光ファイバ351へ入射し、接続部355において、第2光ファイバ352へ入射する光と、第3光ファイバ353へ入射する光とに、分岐される。
第2光ファイバ352は、物体光学系32に接続されている。接続部355から第2光ファイバ352へ進む光は、物体光学系32へ入射する。物体光学系32は、コリメータレンズ321および対物レンズ322を含む複数の光学部品を有する。第2光ファイバ352から出射された光は、コリメータレンズ321および対物レンズ322を通って、試料容器90内の胚9へ照射される。このとき、対物レンズ322により、光が胚9へ向けて収束する。そして、胚9において反射した光(以下「観察光」と称する)は、対物レンズ322およびコリメータレンズ321を通って、再び第2光ファイバ352へ入射する。
図1に示すように、物体光学系32は、走査機構323に接続されている。走査機構323は、コンピュータ50からの指令に従って、物体光学系32を、鉛直方向および水平方向に微小移動させる。これにより、胚9に対する光の入射位置を、鉛直方向および水平方向に微小移動させることができる。
また、三次元撮像部30は、図示を省略した移動機構により、水平方向に移動可能となっている。これにより、三次元撮像部30の視野を、複数のウェルの間で切り替えることができる。
第3光ファイバ353は、参照光学系33に接続されている。接続部355から第3光ファイバ353へ進む光は、参照光学系33へ入射する。参照光学系33は、コリメータレンズ331およびミラー332を有する。第3光ファイバ353から出射された光は、コリメータレンズ331を通って、ミラー332へ入射する。そして、ミラー332により反射された光(以下「参照光」と称する)は、コリメータレンズ331を通って、再び第3光ファイバ353へ入射する。
図1に示すように、ミラー332は、進退機構333に接続されている。進退機構333は、コンピュータ50からの指令に従って、ミラー332を、光軸方向に微小移動させる。これにより、参照光の光路長を変化させることができる。
第4光ファイバ354は、検出部34に接続されている。物体光学系32から第2光ファイバ352へ入射した観察光と、参照光学系33から第3光ファイバ353へ入射した参照光とは、接続部355において合流して、第4光ファイバ354へ入射する。そして、第4光ファイバ354から出射された光は、検出部34へ入射する。このとき、観察光と参照光との間で、位相差に起因する干渉が生じる。この干渉光の分光スペクトルは、観察光の反射位置の高さによって異なる。
検出部34は、分光器341および光検出器342を有する。第4光ファイバ354から出射された干渉光は、分光器341において波長成分ごとに分光されて、光検出器342へ入射する。光検出器342は、分光された干渉光を検出し、その検出信号を、コンピュータ50へ出力する。コンピュータ50は、光検出器342から得られる検出信号をフーリエ変換することで、観察光の鉛直方向の光強度分布を求める。また、走査機構323により、物体光学系32を水平方向に移動させつつ、上記の光強度分布の算出を繰り返すことにより、三次元空間の各座標における観察光の光強度分布を求めることができる。その結果、コンピュータ50は、胚9の三次元画像を得ることができる。三次元画像は、三次元座標上に配列された複数の画素により構成され、画素毎に輝度値が規定されたデータである。
コンピュータ50は、解析装置1内の各部を動作制御する制御部としての機能を有する。また、コンピュータ50は、二次元撮像部20から入力される二次元画像および三次元撮像部30から入力される三次元画像に基づいて、胚9の状態を解析する解析部としての機能も有する。
図3は、解析装置1の制御ブロック図である。図3中に概念的に示したように、コンピュータ50は、CPU等のプロセッサ51、RAM等のメモリ52、およびハードディスクドライブ等の記憶部53を有する。記憶部53内には、解析装置1内の各部を動作制御するための制御プログラムP1と、二次元撮像部20から入力される二次元画像D2および三次元撮像部30から入力される三次元画像D3に基づいて、胚9の状態を解析するための解析プログラムP2とが、記憶されている。
また、図3に示すように、コンピュータ50は、上述した光照射部40、カメラ22、焦点移動機構23、光源31、走査機構323、進退機構333、光検出器342、および後述する表示部70と、それぞれ通信可能に接続されている。コンピュータ50は、制御プログラムP1に従って、上記の各部を動作制御する。これにより、試料容器90に保持された胚9の撮影処理が進行する。また、コンピュータ50は、二次元撮像部20から入力される二次元画像および三次元撮像部30から入力される三次元画像を、解析プログラムP2に従って処理することにより、胚9の状態を解析する。
<2.解析処理について>
<2-1.第1実施形態>
続いて、上記の解析装置1における胚9の撮影・解析処理の第1実施形態について、説明する。
図4は、第1実施形態に係る撮影・解析処理を実現するためのコンピュータ50の機能を、概念的に示したブロック図である。図4に示すように、コンピュータ50は、二次元解析部62および三次元解析部63を有する。二次元解析部62および三次元解析部63の各機能は、コンピュータ50のプロセッサ51が、上述した解析プログラムP2に従って動作することにより、実現される。
図5は、第1実施形態に係る撮影・解析処理の流れを示したフローチャートである。解析装置1において胚9を撮影・解析するときには、まず、ステージ10に試料容器90をセットする(ステップS11)。試料容器90内には、培養液とともに胚9が保持されている。
次に、解析装置1は、二次元撮像部20により、胚9の二次元撮影を行う(ステップS12)。これにより、胚9の二次元画像D2を取得する。具体的には、光照射部40から試料容器90へ向けて光を照射しつつ、カメラ22が、試料容器90内の胚9を明視野で撮影する。また、焦点移動機構23により、焦点の位置を変化させながら、上記の撮影を複数回行う。これにより、焦点位置の異なる複数の二次元画像D2が取得される。取得された二次元画像D2は、カメラ22からコンピュータ50へ入力される。
次に、解析装置1は、三次元撮像部30により、胚9の三次元撮影を行う(ステップS13)。本実施形態では、光干渉断層撮影により、胚9の三次元画像D3を取得する。具体的には、光源31から光を出射し、走査機構323により物体光学系32を微少移動させながら、観察光および参照光の干渉光を、波長成分ごとに、光検出器342で検出する。コンピュータ50は、光検出器342から出力される検出信号に基づいて、胚9の各座標位置における光強度分布を算出する。これにより、胚9の三次元画像D3が得られる。
このように、ステップS12とステップS13とで、同一の胚9について、複数の二次元画像D2および三次元画像D3を取得する。
なお、ステップS12の二次元撮影と、ステップS13の三次元撮影の順序は、逆であってもよい。すなわち、三次元撮像部30による胚9の三次元撮影を行った後に、二次元撮像部20による胚9の二次元撮影を行ってもよい。また、ステップS12の二次元撮影と、ステップS13の三次元撮影とを、同時に行ってもよい。胚9の状態は時間の経過とともに変化するため、ステップS12およびステップS13は、同時またはほぼ同時(逐次)に実行されることが望ましい。
次に、コンピュータ50の二次元解析部62が、二次元撮像部20により取得した二次元画像D2に基づいて、胚9の二次元解析を行う(ステップS14)。本実施形態では、二次元解析部62は、二次元画像D2に基づいて、胚9に含まれる細胞92の数をカウントする。三次元撮影に比べて、二次元撮影は、高い解像度で画像を取得することができる。このため、三次元画像D3に比べて、二次元画像D2では、細胞92の輪郭を捉えやすい。したがって、二次元画像D2では、三次元画像D3よりも、細胞92の数を精度よくカウントすることができる。
細胞92の数をカウントする方法としては、例えば、深層学習を利用する方法が考えられる。具体的には、胚9の二次元画像D2を入力変数とし、その胚9に含まれる細胞92の数を出力変数とする学習モデルを、予め機械学習により準備しておく。そして、当該学習モデルに、二次元撮像部20により撮影された二次元画像D2を入力することで、学習モデルから、細胞92の数の推定値を出力することができる。深層学習のアルゴリズムには、例えば、分類ネットワークを使用することができる。
また、細胞92の中央位置にピークをもつ二次元ガウス分布を正解画像として学習し、得られた学習モデルに、二次元撮像部20により撮影された二次元画像D2を入力してもよい。この場合、学習モデルから、各細胞92に対応する二次元ガウス分布をもつ画像が出力される。このため、当該出力画像のピークの数をカウントすることで、細胞92の数を推定することができる。
二次元解析部62は、二次元画像D2の解析により得られた細胞92の数を、二次元解析結果R2として、記憶部53に記憶する。また、二次元解析部62は、当該二次元解析結果R2を、液晶ディスプレイ等の表示部70に表示する。
次に、コンピュータ50の三次元解析部63が、三次元撮像部30により取得した三次元画像D3に基づいて、胚9の三次元解析を行う(ステップS15)。本実施形態では、三次元解析部63は、三次元画像D3に基づいて、胚9に含まれる複数の細胞92の体積を算出する。具体的には、三次元解析部63は、三次元画像D3を、複数の細胞92に相当する細胞領域と、細胞92以外の領域(例えば、フラグメントに相当する領域)とに、分類する。このような領域の分類方法としては、例えば、公知のLocal Thickness法などを利用すればよい。
そして、三次元解析部63は、三次元画像D3に含まれる上記の細胞領域において、各細胞92の境界を特定する。これにより、細胞領域を、細胞92ごとの領域に分割する。このような細胞92の境界を特定するための方法としては、例えば、公知のWatershedアルゴリズムなどを利用すればよい。その後、三次元解析部63は、細胞92ごと分割された複数の領域のそれぞれの体積を算出する。
このとき、二次元解析結果R2である細胞92の数の情報を使用することで、細胞92の境界を、より精度よく特定することができる。例えば、Watershedアルゴリズムでは、三次元画像D3において、各細胞92の位置の指標となるマーカーを指定する。このマーカーの数が、二次元解析結果R2と一致するように、マーカーの指定を行うとよい。そうすれば、マーカーの数を、胚9に含まれる細胞92の数と、精度よく一致させることができる。すなわち、体積を算出する領域の数を、胚9に含まれる細胞92の数と、精度よく一致させることができる。したがって、細胞92の境界を精度よく特定し、胚9に含まれる複数の細胞92の体積を、精度よく出力できる。
三次元解析部63は、三次元画像D3の解析により得られた細胞92の体積を、三次元解析結果R3として、記憶部53に記憶する。また、三次元解析部63は、当該三次元解析結果R3を、液晶ディスプレイ等の表示部70に表示する。
以上のように、この解析装置1では、二次元解析結果R2に含まれる指標を利用して、三次元画像D3を解析する。したがって、三次元解析よりも二次元解析の方が高精度に得られる指標を利用して、三次元画像D3を解析することができる。これにより、精度の良い三次元解析結果R3を得ることができる。
特に、本実施形態では、1つの胚9に対して、マルチフォーカス撮影により、複数の二次元画像D2を取得している。そして、その複数の二次元画像D2に基づいて、二次元解析を行っている。このため、1枚の二次元画像D2に基づいて二次元解析を行う場合よりも精度のよい二次元解析結果R2を得ることができる。
また、本実施形態では、三次元解析よりも二次元解析の方が精度よく取得できる細胞92の数の情報を、三次元解析に利用している。これにより、三次元解析を精度よく行うことができる。特に、三次元解析において細胞92の体積を算出する場合には、細胞92の数の情報が、重要な参考情報となる。したがって、二次元解析により精度よく得られる細胞92の数の情報を利用することにより、細胞92の体積を精度よく算出できる。
<2-2.第2実施形態>
続いて、上記の解析装置1における胚9の撮影・解析処理の第2実施形態について、説明する。
図6は、第2実施形態に係る撮影・解析処理を実現するためのコンピュータ50の機能を、概念的に示したブロック図である。図4に示すように、コンピュータ50は、二次元解析部62、三次元解析部63、および統合解析部64を有する。二次元解析部62、三次元解析部63、および統合解析部64の各機能は、コンピュータ50のプロセッサ51が、上述した解析プログラムP2に従って動作することにより、実現される。
図7は、第2実施形態に係る撮影・解析処理の流れを示したフローチャートである。第2実施形態においても、解析装置1は、まず、ステージ10に試料容器90をセットし(ステップS21)、二次元撮像部20により胚9の二次元撮影を行い(ステップS22)、三次元撮像部30により胚9の三次元撮影を行う(ステップS23)。このステップS21~S23の処理は、上述した第1実施形態のステップS11~S13と同等であるため、重複説明を省略する。
次に、コンピュータ50の二次元解析部62は、二次元撮像部20により取得した二次元画像D2に基づいて、胚9の二次元解析を行う(ステップS24)。本実施形態では、二次元解析部62は、二次元画像D2に基づいて、胚9のVeeck分類を行う。Veeck分類は、分割期の胚9の状態を、グレード1~グレード5の5段階で表すものである。Veeck分類においては、胚9に含まれる細胞92の大きさの均一性と、胚9に含まれるフラグメントの量とに基づいて、胚9の状態が評価される。
ステップS24では、二次元解析部62は、マルチフォーカス撮影により得られた複数の二次元画像D2に基づいて、細胞92の大きさの均一性と、フラグメントの量とを、算出する。そして、算出されたこれらの指標値に基づいて、その胚9のVeeck分類結果を決定し、出力する。なお、ステップS24では、深層学習を用いて、細胞92の大きさの均一性や、フラグメント量の高低・多少をカテゴライズしてもよい。また、二次元解析部62は、細胞92の大きさの均一性や、フラグメントの量などを算出することなく、分類ネットワーク等の深層学習を利用して、複数の二次元画像D2から、直接Veeck分類結果を決定してもよい。
二次元解析部62は、二次元画像D2の解析により得られたVeeck分類結果を、二次元解析結果R2として、記憶部53に記憶する。また、二次元解析部62は、当該二次元解析結果R2を、液晶ディスプレイ等の表示部70に表示する。
次に、コンピュータ50の三次元解析部63は、三次元撮像部30により取得した三次元画像D3に基づいて、胚9の三次元解析を行う(ステップS25)。本実施形態では、三次元解析部63は、三次元画像D3に基づいて、胚9のVeeck分類を行う。具体的には、三次元解析部63は、三次元画像D3に基づいて、細胞92の大きさの均一性と、フラグメントの量とを、算出する。そして、算出されたこれらの指標値に基づいて、その胚9のVeeck分類結果を決定し、出力する。ただし、三次元解析部63は、細胞92の大きさの均一性や、フラグメントの量などを算出することなく、分類ネットワーク等の深層学習を利用して、三次元画像D3から、Veeck分類結果を直接決定してもよい。
三次元解析部63は、三次元画像D3の解析により得られたVeeck分類結果を、三次元解析結果R3として、記憶部53に記憶する。また、三次元解析部63は、当該三次元解析結果R3を、液晶ディスプレイ等の表示部70に表示する。
このように、本実施形態では、ステップS24とステップS25とで、同一の胚9について、2通りのアプローチで、Veeck分類結果を取得する。
なお、ステップS24の二次元解析と、ステップS25の三次元解析の順序は、逆であってもよい。すなわち、三次元解析による胚9のVeeck分類を行った後に、二次元解析による胚9のVeeck分類を行ってもよい。また、ステップS24の二次元解析と、ステップS25の三次元解析とを、同時に行ってもよい。
その後、コンピュータ50の統合解析部64が、二次元解析により得られたVeeck分類結果と、三次元解析により得られたVeeck分類結果とに基づいて、統合解析結果R4としてのVeeck分類結果を出力する(ステップS26)。例えば、統合解析部64は、二次元解析結果R2としてのVeeck分類結果と、三次元解析結果R3としてのVeeck分類結果とが、一致している場合にのみ、そのVeeck分類結果を、統合解析結果R4として出力する。
また、二次元解析結果R2としてのVeeck分類結果と、三次元解析結果R3としてのVeeck分類結果とが、一致していない場合には、両方の結果を出力してもよいし、あるいは、二次元解析結果R2および三次元解析結果R3のどちらを統合解析結果R4とするかを、ユーザに選択させてもよい。また、二次元解析結果R2としてのVeeck分類結果と、三次元解析結果R3としてのVeeck分類結果とが、一致していない場合に、二次元解析結果R2および三次元解析結果R3のどちらかを、統合解析部64が自動的に選択しつつ、結果の信頼性が低い旨の情報を、統合解析結果R4に付加してもよい。
統合解析部64は、ステップS26の統合解析により得られたVeeck分類結果を、統合解析結果R4として、記憶部53に記憶する。また、統合解析部63は、当該統合解析結果R4を、液晶ディスプレイ等の表示部70に表示する。
以上のように、本実施形態では、二次元解析と三次元解析の2通りのアプローチにより得られる2つのVeeck分類結果を利用して、統合解析結果R4としてのVeeck分類結果を出力する。これにより、精度の良いVeeck分類結果を得ることができる。
なお、Veeck分類の指標となる細胞92の大きさ(体積)については、二次元画像D2よりも三次元画像D3の方が、精度よく算出することができる。一方、Veeck分類の他の指標であるフラグメントの量については、三次元画像D3よりも二次元画像D2の方が、精度よく算出することができる。このため、二次元画像D2に基づいて算出されたフラグメント量を二次元解析結果R2とし、三次元画像D3に基づいて算出された細胞92の大きさの均一性を三次元解析結果R3として、それらに基づいて、統合解析部64が、統合解析結果R4としてのVeeck分類結果を出力してもよい。このようにすれば、二次元解析と三次元解析のそれぞれの長所を生かして、精度の良いVeeck分類結果を出力することができる。
<3.変形例>
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
上記の第1実施形態では、ステップS14の二次元解析において、胚9に含まれる細胞92の数を出力していた。しかしながら、二次元解析において、他の指標を出力してもよい。例えば、ステップS14の二次元解析において、胚9に含まれるフラグメントの量、胚9の中における細胞92の位置、胚9の中における細胞92の広がり、Veeck分類結果などを、二次元解析結果R2として出力してもよい。
また、上記の第1実施形態では、ステップS15の三次元解析において、胚9に含まれる細胞92の体積を出力していた。しかしながら、三次元解析において、二次元解析により得られた細胞92の数に基づいて、複数の細胞92の形状を同定し、三次元解析結果R3として、細胞92の形状同定結果を出力してもよい。また、三次元解析において、二次元解析結果R2を利用しつつ、他の指標を出力してもよい。例えば、ステップS15の三次元解析において、胚9に含まれるフラグメントの量や、Veeck分類結果などを出力してもよい。また、上記の第1実施形態において、ステップS15の三次元解析の後に、コンピュータ50が、三次元解析結果に基づいて、Veeck分類結果を出力してもよい。
また、上記の第2実施形態では、ステップS26において、統合解析結果R4として、Veeck分類結果を出力していた。しかしながら、統合解析結果R4として、Veeck分類結果以外の指標を出力してもよい。例えば、統合解析結果R4として、細胞92の体積や、フラグメントの量などを出力してもよい。
また、上記の実施形態では、二次元撮像部20が、明視野において、マルチフォーカス撮影を行うものであった。しかしながら、二次元撮像部20は、他の撮影方法により、二次元画像D2を取得するものであってもよい。
また、上記の実施形態では、三次元撮像部30が、光干渉断層撮影(OCT)を行うものであった。しかしながら、三次元撮像部30は、他の撮影方法により、三次元画像D3を取得するものであってもよい。
また、上記の実施形態では、解析装置1は、二次元解析結果R2、三次元解析結果R3、および統合解析結果R4を、それぞれ、表示部70に出力していた。しかしながら、解析装置1は、二次元解析結果R2、三次元解析結果R3、および統合解析結果R4を、他のコンピュータへ、データ出力するものであってもよい。
また、上記の実施形態では、解析の対象となる試料がヒトの胚9であり、被観察物が胚9に含まれる細胞92である場合について、説明した。しかしながら、本発明における「試料」は、胚9に限らず、複数の被観察物が三次元的に分布するものであればよい。
また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。
1 解析装置
9 胚
10 ステージ
20 二次元撮像部
21 撮像光学系
22 カメラ
23 焦点移動機構
30 三次元撮像部
31 光源
32 物体光学系
33 参照光学系
34 検出部
35 光ファイバカプラ
40 光照射部
50 コンピュータ
62 二次元解析部
63 三次元解析部
64 統合解析部
70 表示部
90 試料容器
91 透明帯
92 細胞
D2 二次元画像
D3 三次元画像
R2 二次元解析結果
R3 三次元解析結果
R4 統合解析結果

Claims (10)

  1. 複数の被観察物が三次元的に分布する試料を解析する解析方法であって、
    a)前記試料を二次元撮影することにより、二次元画像を取得する工程と、
    b)前記試料を三次元撮影することにより、三次元画像を取得する工程と、
    c)前記二次元画像を解析することにより、二次元解析結果を出力する工程と、
    d)前記三次元画像を解析することにより、三次元解析結果を出力する工程と、
    を有し、
    前記工程d)では、前記二次元解析結果に含まれる指標を利用して、前記三次元画像を解析する、解析方法。
  2. 請求項1に記載の解析方法であって、
    前記試料は、胚であり、
    前記被観察物は、前記胚に含まれる細胞であり、
    前記二次元解析結果は、前記胚に含まれる前記細胞の数である、解析方法。
  3. 請求項2に記載の解析方法であって、
    前記三次元解析結果は、前記胚に含まれる複数の前記細胞の形状同定結果であり、
    前記工程d)では、前記工程c)により取得した前記細胞の数に基づいて、前記細胞の形状同定結果を算出する領域の数を決定する、解析方法。
  4. 請求項2または請求項3に記載の解析方法であって、
    e)前記工程d)の後に、前記三次元解析結果に基づいて、前記胚の状態を表すVeeck分類結果を出力する工程
    をさらに有する、解析方法。
  5. 複数の被観察物が三次元的に分布する試料を解析する解析方法であって、
    a)前記試料を二次元撮影することにより、二次元画像を取得する工程と、
    b)前記試料を三次元撮影することにより、三次元画像を取得する工程と、
    c)前記二次元画像を解析することにより、二次元解析結果を出力する工程と、
    d)前記三次元画像を解析することにより、三次元解析結果を出力する工程と、
    e)前記二次元解析結果および前記三次元解析結果に基づいて、統合解析結果を出力する工程と、
    を有する、解析方法。
  6. 請求項5に記載の解析方法であって、
    前記試料は、胚であり、
    前記二次元解析結果、前記三次元解析結果、および前記統合解析結果は、前記胚の状態を表すVeeck分類結果である、解析方法。
  7. 請求項1から請求項6までのいずれか1項に記載の解析方法であって、
    前記工程a)では、焦点位置を変更しつつ、明視野撮影を行うことにより、複数の前記二次元画像を取得し、
    前記工程c)では、複数の前記二次元画像を解析することにより、前記二次元解析結果を取得する、解析方法。
  8. 請求項1から請求項7までのいずれか1項に記載の解析方法であって、
    前記工程b)では、光干渉断層撮影により、前記三次元画像を取得する、解析方法。
  9. 複数の被観察物が三次元的に分布する試料を解析する解析装置であって、
    前記試料を二次元撮影することにより、二次元画像を取得する二次元撮像部と、
    前記試料を三次元撮影することにより、三次元画像を取得する三次元撮像部と、
    前記二次元画像および前記三次元画像に基づいて、試料を解析する解析部と、
    を備え、
    解析部は、
    前記二次元画像を解析することにより、二次元解析結果を出力する二次元解析処理と、
    前記三次元画像を解析することにより、三次元解析結果を出力する三次元解析処理と、
    を実行し、
    前記三次元解析処理では、前記二次元解析結果に含まれる指標を利用して、前記三次元画像を解析する、解析装置。
  10. 複数の被観察物が三次元的に分布する試料を解析する解析装置であって、
    前記試料を二次元撮影することにより、二次元画像を取得する二次元撮像部と、
    前記試料を三次元撮影することにより、三次元画像を取得する三次元撮像部と、
    前記二次元画像および前記三次元画像に基づいて、試料を解析する解析部と、
    を備え、
    解析部は、
    前記二次元画像を解析することにより、二次元解析結果を出力する二次元解析処理と、
    前記三次元画像を解析することにより、三次元解析結果を出力する三次元解析処理と、
    前記二次元解析結果および前記三次元解析結果に基づいて、統合解析結果を出力する統合解析処理と、
    を実行する、解析装置。
JP2022029284A 2022-02-28 2022-02-28 解析方法および解析装置 Pending JP2023125282A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022029284A JP2023125282A (ja) 2022-02-28 2022-02-28 解析方法および解析装置
EP23157709.9A EP4235568A1 (en) 2022-02-28 2023-02-21 Analysis method and analysis apparatus
US18/173,312 US20230274441A1 (en) 2022-02-28 2023-02-23 Analysis method and analysis apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022029284A JP2023125282A (ja) 2022-02-28 2022-02-28 解析方法および解析装置

Publications (1)

Publication Number Publication Date
JP2023125282A true JP2023125282A (ja) 2023-09-07

Family

ID=85321138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022029284A Pending JP2023125282A (ja) 2022-02-28 2022-02-28 解析方法および解析装置

Country Status (3)

Country Link
US (1) US20230274441A1 (ja)
EP (1) EP4235568A1 (ja)
JP (1) JP2023125282A (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6996709B2 (ja) 2018-01-31 2022-01-17 株式会社Screenホールディングス 画像処理方法、画像判定方法、プログラムおよび記録媒体
KR102530717B1 (ko) * 2020-06-19 2023-05-09 가부시키가이샤 스크린 홀딩스 화상 처리 방법, 프로그램 및 기록 매체

Also Published As

Publication number Publication date
US20230274441A1 (en) 2023-08-31
EP4235568A1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
Bian et al. Autofocusing technologies for whole slide imaging and automated microscopy
US10229310B2 (en) High throughput partial wave spectroscopic microscopy and associated systems and methods
KR102411099B1 (ko) 실시간 오토포커스 스캐닝
US20190235224A1 (en) Computational microscopes and methods for generating an image under different illumination conditions
US11482021B2 (en) Adaptive sensing based on depth
KR102530717B1 (ko) 화상 처리 방법, 프로그램 및 기록 매체
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
US20210215923A1 (en) Microscope system
US20210217190A1 (en) Analyzer for three-dimensionally analyzing a medical sample by means of a light field camera
CN103998969A (zh) 用于无标记高对比度细胞成像的定量相位显微镜
Bouchama et al. Fourier ptychographic microscopy image enhancement with bi-modal deep learning
JP6423841B2 (ja) 試料観察装置及び試料観察方法
JP2023125282A (ja) 解析方法および解析装置
JP7382289B2 (ja) 画像処理方法、プログラムおよび記録媒体
JP2021512346A (ja) 衝撃再走査システム
US20220270279A1 (en) Sample imaging via two-pass light-field reconstruction
US20200174242A1 (en) Dual processor image processing
JP7382290B2 (ja) 画像処理方法、プログラムおよび記録媒体
WO2023189236A1 (ja) 撮影方法および撮影装置
JP6754408B2 (ja) 試料観察装置及び試料観察方法
Bouchama et al. FPM image enhancement with bi-modal deep learning
JP2020194190A (ja) 試料観察装置及び試料観察方法
JP2023137302A (ja) 画像標準化方法および観察装置