JP2022143662A - 受精卵の発生ステージ判定方法、プログラム、記録媒体、撮像方法および撮像装置 - Google Patents
受精卵の発生ステージ判定方法、プログラム、記録媒体、撮像方法および撮像装置 Download PDFInfo
- Publication number
- JP2022143662A JP2022143662A JP2021044304A JP2021044304A JP2022143662A JP 2022143662 A JP2022143662 A JP 2022143662A JP 2021044304 A JP2021044304 A JP 2021044304A JP 2021044304 A JP2021044304 A JP 2021044304A JP 2022143662 A JP2022143662 A JP 2022143662A
- Authority
- JP
- Japan
- Prior art keywords
- fertilized egg
- image
- index value
- value representing
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 73
- 210000004340 zona pellucida Anatomy 0.000 claims abstract description 75
- 230000003287 optical effect Effects 0.000 claims abstract description 49
- 235000013601 eggs Nutrition 0.000 claims description 92
- 238000012545 processing Methods 0.000 claims description 62
- 210000002459 blastocyst Anatomy 0.000 claims description 54
- 238000012014 optical coherence tomography Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 17
- 238000011161 development Methods 0.000 claims description 16
- 230000018109 developmental process Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 210000001161 mammalian embryo Anatomy 0.000 description 83
- 210000002257 embryonic structure Anatomy 0.000 description 28
- 230000006870 function Effects 0.000 description 23
- 239000013307 optical fiber Substances 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 210000004027 cell Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 230000012447 hatching Effects 0.000 description 10
- 238000013145 classification model Methods 0.000 description 9
- 238000000879 optical micrograph Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 210000004952 blastocoel Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 210000000472 morula Anatomy 0.000 description 3
- 230000001850 reproductive effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003776 cleavage reaction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000013020 embryo development Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000001963 growth medium Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000002609 medium Substances 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 230000007017 scission Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 102000003886 Glycoproteins Human genes 0.000 description 1
- 108090000288 Glycoproteins Proteins 0.000 description 1
- 241000950638 Symphysodon discus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 210000001900 endoderm Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- HOQADATXFBOEGG-UHFFFAOYSA-N isofenphos Chemical compound CCOP(=S)(NC(C)C)OC1=CC=CC=C1C(=O)OC(C)C HOQADATXFBOEGG-UHFFFAOYSA-N 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
【課題】受精卵を光学顕微鏡撮像して得られる画像データを用いて、当該受精卵の発生ステージを客観的にかつ精度よく判定する。
【解決手段】本発明に係る受精卵の発生ステージ判定方法は、受精卵を光学顕微鏡撮像した画像に対応する画像データを取得する工程と、画像データに基づき画像中の受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求める工程と、画像データに基づき、画像中の受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求める工程と、一致度を表す指標値および厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、受精卵の発生ステージを判定する工程とを備える。
【選択図】図6
【解決手段】本発明に係る受精卵の発生ステージ判定方法は、受精卵を光学顕微鏡撮像した画像に対応する画像データを取得する工程と、画像データに基づき画像中の受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求める工程と、画像データに基づき、画像中の受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求める工程と、一致度を表す指標値および厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、受精卵の発生ステージを判定する工程とを備える。
【選択図】図6
Description
この発明は、受精卵を撮像して得られる画像データを用いて、当該受精卵の発生ステージを判定する技術に関するものである。
例えば不妊治療を目的とした生殖補助医療においては、体外で受精させ一定期間培養した胚(受精卵)を体内に戻すことが行われる。しかしながら、その(生殖補助医療における)妊娠成功率は必ずしも高くなく、患者の精神的および経済的な負担も大きい。この問題を解決するために、培養される胚の状態を的確に判断する方法が模索されている。
従来、胚培養が良好に進行しているか否かの評価については、例えば顕微鏡観察により医師や胚培養士が目視で行うことが一般的である。その判断指標として例えばVeeck分類やGardner分類などが広く用いられているが、これらは胚の形態学的特徴に対するおおよその判断基準を示したものにすぎず、最終的な評価は評価者の主観的判断に依存しているのが現状である。このため、客観的かつ定量的な評価を可能とするための技術が求められる。
このような要求に応えるべく、本願出願人は先に特許文献1、2を開示した。これらの特許文献には、光干渉断層撮像(光コヒーレンストモグラフィ、Optical Coherence Tomography;OCT)等の非侵襲の断層撮像技術により撮像した胚(受精卵)の三次元像から、栄養外胚葉と内細胞塊とを識別し分割する方法が記載されている。
受精卵の状態、特にその変化を観察する上では、一定の時間間隔をおいて繰り返し撮像を行う必要がある。しかしながら、例えば光学顕微鏡撮像に比べて、OCT撮像には長い撮像時間を要する。そのため、特に複数の受精卵を並行して観察する場合には、それらの全てをOCT撮像しようとすると撮像間隔が長くなってしまうという問題がある。このことから、常に全ての受精卵を順番にOCT撮像することは困難であり、特に経過観察を要する受精卵を選択して優先的に撮像するのが現実的である。ここで優先的に撮像されるべき受精卵とは、例えば発生ステージが変化する過渡期にある受精卵である。
受精卵の発生ステージを判定する手段としては、受精卵の構成要素である栄養外胚葉、内細胞塊、透明帯等を画像解析により定量化し評価する方法が考えられる。しかしながら、現時点ではOCT画像の輝度情報からステージ判定を精度よく行う方法は確立されていない。また、上記したようにOCT撮像に時間を要するため、多数の受精卵をそれぞれステージ判定することが求められるような用途には適しているとは言えない。
これらの問題を解決するために、より短時間で撮像が可能な、例えば光学顕微鏡撮像により定期的に撮像された画像から、受精卵がどの発生ステージにあるかを客観的に、かつ精度よく判定する方法の確立が望まれる。
この発明は上記課題に鑑みなされたものであり、受精卵を光学顕微鏡撮像して得られる画像データを用いて、当該受精卵の発生ステージを客観的にかつ精度よく判定することのできる技術を提供することを目的とする。
この発明の一の態様は、上記目的を達成するため、受精卵を光学顕微鏡撮像した画像に対応する画像データを取得する工程と、前記画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求める工程と、前記画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求める工程と、前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する工程とを備える、受精卵の発生ステージ判定方法である。
このように構成された発明では、受精卵の発生ステージのうち胚盤胞期以降において、まず透明帯が薄くなってゆき(拡張胚盤胞期)、その後に内部の細胞が透明帯から突出してくる(ハッチング)現象に着目して、光学顕微鏡画像から受精卵の発生ステージ判定を行う。具体的には、画像から抽出される透明帯に対応する領域の厚さの指標値と、受精卵の外形が円にどの程度近いかを表す指標値との組み合わせにより発生ステージの判定を行う。詳しくは後述するが、このように各発生ステージにおける受精卵の形態的特徴に鑑み定量化した指標値を用いて自動的に判定を行うことで、客観的かつ精度のよい判定が可能となった。
また、この発明の他の態様は、上記方法の各工程をコンピューターに実行させるためのプログラム、およびそれを記録したコンピューター読み取り可能な記録媒体である。上記方法はコンピューター装置により実行するのに好適なものであり、プログラムとして実現することで、既存のハードウェア資源を用いて判定を行うことが可能となる。
また、この発明の他の一の態様は、上記した受精卵の発生ステージ判定方法により、前記受精卵の発生ステージを判定する工程と、該判定の結果に応じて前記受精卵を光干渉断層撮像する工程とを備える撮像方法である。
また、この発明の他の一の態様は、受精卵を光学顕微鏡撮像し二次元画像データを取得する二次元画像取得部と、前記受精卵を光干渉断層撮像し三次元画像データを取得する三次元画像取得部と、前記二次元画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求めるとともに、前記二次元画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求め、前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する画像処理部とを備え、前記画像処理部による判定の結果に応じて、前記三次元画像取得部により前記受精卵の光干渉断層撮像を行う撮像装置である。
このように構成された発明では、光学顕微鏡画像から受精卵の発生ステージが判定され、その結果に応じて光干渉断層撮像、すなわちOCT撮像が実行される。このように、短時間で撮像が可能な光学顕微鏡撮像で得られた画像から受精卵のステージ判定を行い、その結果から、受精卵の詳細な三次元像を取得可能なOCT撮像を必要なタイミングで実行することで、受精卵の状態変化を効率的に観察することが可能となる。
上記のように、本発明によれば、短時間で撮像可能な光学顕微鏡撮像により取得された画像を用い、かつ受精卵の発生ステージにおいて特徴的な形状を踏まえた定量化を行うことで、受精卵の発生ステージを客観的にかつ精度よく判定することが可能である。またその判定結果を用いることで、OCT撮像を行うべきタイミングを的確に把握することが可能となる。
図1は本発明の実行主体として好適な画像処理装置の構成例を示す図である。この画像処理装置1は、液体中に担持された試料、例えば培養液中で培養された胚(受精卵)を断層撮像し、得られた断層画像を画像処理して、試料の一の断面の構造を示す断面画像を作成する。また、複数の断面画像から試料の立体像を作成する。以下の各図における方向を統一的に示すために、図1に示すようにXYZ直交座標軸を設定する。ここでXY平面が水平面を表す。また、Z軸が鉛直軸を表し、より詳しくは(-Z)方向が鉛直下向き方向を表している。
画像処理装置1は保持部10を備えている。保持部10は、撮像対象物となる試料Sを収容する試料容器11を水平姿勢に保持する。試料容器11は例えば板状部材の上面に液体を担持可能な窪部が形成された、ディッシュと称される平底で浅皿形状の容器である。試料容器11には培養液などの培地Mが注入されており、その内部に試料Sとしての受精卵が担持される。
この例では単一の窪部を有する試料容器11に複数の試料Sが担持されているが、これに限定されない。例えば試料容器11は、ウェルと呼ばれる窪部が1つのプレート状部材に複数配置されたウェルプレートであってもよい。この場合、複数の試料Sを1つずつ、複数のウェルにそれぞれ担持させることができる。また例えば、それぞれが試料Sを担持する複数のディッシュが、水平方向に並んだ状態で保持部10に保持され、撮像に供される態様であってもよい。
保持部10に保持された試料容器11の下方に、撮像部20が配置される。撮像部20には、被撮像物の断層画像を非接触、非破壊(非侵襲)で撮像することが可能な光干渉断層撮像(Optical Coherence Tomography;OCT)装置が用いられる。詳しくは後述するが、OCT装置である撮像部20は、被撮像物への照明光を発生する光源21と、光ファイバカプラ22と、物体光学系23と、参照光学系24と、分光器25と、光検出器26とを備えている。
撮像部20はさらに、光学顕微鏡撮像を行うための顕微鏡撮像ユニット28を備えている。より具体的には、顕微鏡撮像ユニット28は、撮像光学系281と、撮像素子282とを備えている。撮像光学系281は、焦点が試料容器11内の試料Sに合わせられる対物レンズを含む。また撮像素子282としては、例えばCCD撮像素子、CMOSセンサー等を用いることができる。顕微鏡撮像ユニット28としては、明視野撮像または位相差撮像が可能なものが好適である。物体光学系23と顕微鏡撮像ユニット28とは、水平方向に移動可能な支持部材(図示省略)により支持されており、水平方向における位置を変更可能となっている。
画像処理装置1はさらに、装置の動作を制御する制御ユニット30と、撮像部20の可動部を駆動する駆動部40とを備えている。制御ユニット30は、CPU(Central Processing Unit)31、A/Dコンバータ32、信号処理部33、撮像制御部34、インターフェース(IF)部35、画像メモリ36およびメモリ37を備えている。
CPU31は、所定の制御プログラムを実行することで装置全体の動作を司り、CPU31が実行する制御プログラムや処理中に生成したデータはメモリ37に保存される。A/Dコンバータ32は、撮像部20の光検出器26および撮像素子282から受光光量に応じて出力される信号をデジタルデータに変換する。信号処理部33は、A/Dコンバータ32から出力されるデジタルデータに基づき後述する信号処理を行って、被撮像物の画像を作成する。こうして作成された画像データは、画像メモリ36により適宜記憶保存される。
撮像制御部34は、撮像部20の各部を制御して撮像処理を実行させる。具体的には、撮像制御部34は、OCT撮像用の物体光学系23と光学顕微鏡撮像用の顕微鏡撮像ユニット28とを選択的に、撮像試料Sを撮像視野に収める所定の撮像位置に位置決めする。物体光学系23が撮像位置に位置決めされると、撮像制御部34は、撮像部20に後述するOCT撮像処理を実行させて、試料Sの立体構造を表す三次元画像データを取得させる。一方、顕微鏡撮像ユニット28を撮像位置に位置決めしたときには、撮像制御部34は、撮像光学系281により撮像素子282の受光面に結像される試料Sの平面像を表す二次元画像データを、顕微鏡撮像ユニット28に取得させる。
インターフェース部35は画像処理装置1と外部との通信を担う。具体的には、インターフェース部35は、外部機器と通信を行うための通信機能と、ユーザからの操作入力を受け付け、また各種の情報をユーザに報知するためのユーザインターフェース機能とを有する。この目的のために、インターフェース部35には、装置の機能選択や動作条件設定などに関する操作入力を受け付け可能な例えばキーボード、マウス、タッチパネルなどの入力デバイス351と、信号処理部33により作成された断層画像や3D復元部34により作成された立体像など各種の処理結果を表示する例えば液晶ディスプレイからなる表示部352とが接続されている。
撮像部20では、例えば発光ダイオードまたはスーパールミネッセントダイオード(SLD)などの発光素子を有する光源21から、広帯域の波長成分を含む低コヒーレンス光ビームが出射される。細胞等の試料を撮像する目的においては、入射光を試料の内部まで到達させるために、例えば近赤外線が用いられることが好ましい。
光源21は光ファイバカプラ22を構成する光ファイバの1つである光ファイバ221に接続されており、光源21から出射される低コヒーレンス光は、光ファイバカプラ22により2つの光ファイバ222,224への光に分岐される。光ファイバ222は物体系光路を構成する。より具体的には、光ファイバ222の端部から出射される光は物体光学系23に入射する。
物体光学系23は、コリメータレンズ231と対物レンズ232とを備えている。光ファイバ222の端部から出射される光はコリメータレンズ231を介して対物レンズ232に入射する。対物レンズ232は、光源21からの光(観察光)を試料に収束させる機能と、試料から出射される反射光を集光して光ファイバカプラ22に向かわせる機能とを有する。図では単一の対物レンズ232が記載されているが、複数の光学素子が組み合わされていてもよい。被撮像物からの反射光は対物レンズ232、コリメータレンズ231を介し信号光として光ファイバ222に入射する。対物レンズ232の光軸は試料容器11の底面に直交しており、この例では光軸方向は鉛直軸方向と一致している。
CPU31が撮像制御部34に制御指令を与え、これに応じて撮像制御部34は撮像部20に所定方向への移動を行わせる。より具体的には、撮像制御部34は、撮像部20を水平方向(XY方向)および鉛直方向(Z方向)に移動させる。撮像部20の水平方向の移動により、撮像範囲が水平方向に変化する。また、撮像部20の鉛直方向の移動により、対物レンズ232の光軸方向における焦点位置が、被撮像物である試料Sに対して変化する。
光源21から光ファイバカプラ22に入射した光の一部は光ファイバ224を介して参照光学系24に入射する。参照光学系24は、コリメータレンズ241および参照ミラー243を備えており、これらが光ファイバ224とともに参照系光路を構成する。具体的には、光ファイバ224の端部から出射される光がコリメータレンズ241を介して参照ミラー243に入射する。参照ミラー243により反射された光は参照光として光ファイバ224に入射する。
参照ミラー243は、撮像制御部34からの制御指令によって作動する進退部材(図示省略)により支持されて、Y方向に進退移動可能である。参照ミラー243がY方向、つまりコリメータレンズ241に対し接近および離間方向に移動することで、参照ミラー243により反射される参照光の光路長が調整される。
試料の表面もしくは内部の反射面で反射された反射光(信号光)と、参照ミラー243で反射された参照光とは光ファイバカプラ22で混合され光ファイバ226を介して光検出器26に入射する。このとき、信号光と参照光との間で位相差に起因する干渉が生じるが、干渉光の分光スペクトルは反射面の深さにより異なる。つまり、干渉光の分光スペクトルは被撮像物の深さ方向の情報を有している。したがって、干渉光を波長ごとに分光して光量を検出し、検出された干渉信号をフーリエ変換することにより、被撮像物の深さ方向における反射光強度分布を求めることができる。このような原理に基づくOCT撮像技術は、フーリエドメイン(Fourier Domain)OCT(FD-OCT)と称される。
この実施形態の撮像部20は、光ファイバ226から光検出器26に至る干渉光の光路上に分光器25が設けられている。分光器25としては、例えばプリズムを利用したもの、回折格子を利用したもの等を用いることができる。干渉光は分光器25により波長成分ごとに分光されて光検出器26に受光される。
光検出器26が検出した干渉光に応じて光検出器26から出力される干渉信号をフーリエ変換することで、試料のうち、照明光の入射位置における深さ方向、つまりZ方向の反射光強度分布が求められる。試料容器11に入射する光ビームをX方向に走査することで、XZ平面と平行な平面における反射光強度分布が求められ、その結果から当該平面を断面とする試料の断層画像を作成することができる。その原理は周知であるため、詳細な説明は省略する。
また、Y方向におけるビーム入射位置を多段階に変更しながら、その都度断層画像の撮像を行うことで、試料をXZ平面と平行な断面で断層撮像した多数の断層画像を得ることができる。Y方向の走査ピッチを小さくすれば、試料の立体構造を把握するのに十分な分解能の画像データを得ることができる。これらの断層画像データから、試料の立体像に対応する三次元画像データ(いわゆるボクセルデータ)を作成することができる。
このように、この画像処理装置1は、試料容器11に培地Mとともに担持された試料Sの画像を取得する機能を有する。画像としては、光学顕微鏡撮像により得られる二次元画像データと、OCT撮像により得られる断層画像データおよびそれに基づく三次元画像データとを取得可能である。
以下、上記のように構成された画像処理装置1を用いて実行可能な画像処理の一態様について説明する。この画像処理は、本発明に係る受精卵の発生ステージ判定方法および撮像方法の一実施形態に該当するものである。この実施形態における画像処理は、試料Sとして胚盤胞期前後の受精卵(以下、単に「胚」という)の三次元像を必要なタイミングで取得するための処理である。
例えばGardner分類として知られているように、胚の発生過程はいくつかの発生ステージに分類されており、特に1つのステージから次のステージに移行した直後の胚の観察および評価において三次元像が有用である。OCT撮像は、評価対象である胚の三次元像を得られることから、胚を種々の方向から多面的に観察して評価を行うのに適しているが、撮像に比較的長い時間(例えば数分)を要する。このため、複数の胚を順に撮像して評価する場合には1つの胚に対する撮像間隔が長くなってしまい、必要なタイミングで三次元像を取得することができなくなるという問題が生じ得る。
そこで、この実施形態では、より短時間で画像を取得可能な顕微鏡撮像ユニット28により胚を一定の時間間隔でタイムラプス撮像し、得られた画像に基づきCPU31が胚の発生ステージ判定を行う。その結果から必要と判断された胚につき、撮像部20がOCT撮像を行う。
一連の処理は、制御ユニット30、より具体的にはCPU31が予め準備された制御プログラムを実行して、装置各部に所定の動作を行わせることにより実行される。制御プログラムについては、当該制御プログラムを非一時的に記録した適宜の記録媒体から読み込むことによって、あるいは電気通信回線を介して受信することによって、制御ユニット30に実装することが可能である。
図2は本実施形態において試料となる胚の構造を模式的に示す図である。既に知られているように、卵子が受精すると卵割が開始され、桑実胚と呼ばれる状態を経て胚盤胞が形成される。図2(a)は桑実胚期の胚E1を模式的に示している。この状態の胚E1は、卵割により生成された多数の細胞Cの塊が、糖タンパク質を主体とする略均一な厚みを有する膜である透明帯ZPに包まれた構造を有している。
図2(b)は初期胚盤胞期の胚E2を模式的に示している。初期胚盤胞期においては、胚E2は内部に胞胚腔Bと呼ばれる空洞が形成される。より具体的には、卵割の進んだ細胞Cが胚の表面(透明帯ZPの内側)に層状に並んで栄養外胚葉Tを形成し、栄養外胚葉Tで囲まれる内部空間が胞胚腔Bを形成する。
栄養外胚葉Tは、位置により様々な厚みを有し、透明帯ZPの内側表面全体に貼り付くように分布しているが、さらに成長すると、図2(c)に示す胚E3のように、栄養外胚葉Tは概ね1層の細胞Cからなる薄い層となり、また多数の細胞が一部に密集した内細胞塊Iが形成される(胚盤胞期)。成長が進むにつれて胞胚腔Bが拡張して胚E3は大きくなる一方、透明帯ZPは薄くなってゆく(拡張胚盤胞期)。
そして、図2(d)に示す胚E4のように、透明帯ZPから内部の細胞の脱出(ハッチング)が始まり(脱出胚盤胞期)、最終的には全ての細胞が脱出して子宮に着床することで妊娠が成立する。生殖補助医療においては、外部刺激によって人為的にハッチングを誘発するアシストハッチングも行われる。
本実施形態の画像処理では、拡張胚盤胞期を中心として概ね初期胚盤胞期から脱出胚盤胞期までの発生ステージを、光学顕微鏡画像から自動的に判定する。まず、その原理について説明し、次いで具体的な処理内容について説明する。なお、以下の説明において、「拡張胚盤胞期以前」は、拡張胚盤胞期よりも前の発生ステージ(例えば桑実胚期、初期胚盤胞期)を総称する概念であり、拡張胚盤胞期を含まないものとする。また、「拡張胚盤胞期以降」は、拡張胚盤胞期よりも後の発生ステージ(例えば脱出胚盤胞期、孵化後胚盤胞期)を総称する概念であり、拡張胚盤胞期を含まないものとする。また、以下では「発生ステージ」を単に「ステージ」と略称することがある。
光学顕微鏡撮像により得られる明視野画像または位相差画像においては、その輝度およびテクスチャの違いから透明帯を他の構造体と区別することは比較的容易である。そして、良好に培養された胚では、透明帯は概ね均一な厚みを有している。拡張胚盤胞期よりも前の段階、すなわち発生の初期段階から初期胚盤胞期においては、透明帯ZPの厚さに大きな変化はないが、拡張胚盤胞期では透明帯ZPが薄くなってくる。このことから、拡張胚盤胞期とそれ以前のステージとは、画像に現れた透明帯の厚さを指標として識別することができると期待される。
一方、拡張胚盤胞期とそれ以降のステージとの識別においては、透明帯ZPの厚さは有効な指標とならない。この識別には、胚の外形形状を指標として用いることが考えられる。発生の初期段階から拡張胚盤胞期までは、胚の外形はほぼ球形であり、画像においてはほぼ円形となる。これに対しハッチングが始まって以降では、胚の外形が球形から大きく外れてくる。このことから、画像において胚の外形が円にどの程度近いかを指標として、張胚盤胞期とそれ以降のステージとを識別することができると期待される。
以上より、本願発明者は、透明帯ZPの厚さを表す指標値と、胚の外形、より具体的には円に対する一致度を表す指標値とを組み合わせることにより、胚が拡張胚盤胞期以前、拡張胚盤胞期、拡張胚盤胞期以降のどの発生ステージにあるかを自動的に判定するとの技術思想を着想した。その準備段階として、熟練した胚培養士により発生ステージが判定された胚の画像を多数収集し、それらの画像から求められる上記指標値と判定結果との間にどのような相関性があるかを調査した。その結果を以下に示す。
図3は胚の透明帯厚さの分布を示す図である。透明帯ZPの厚さについては、1つの胚につき複数箇所で計測し、それらの計測値の中央値または平均値を、当該胚の透明帯の厚さを代表的に示す指標値とした。透明帯ZPの厚さには、胚により3μm程度から20μm以上まで大きな個体差がある。しかしながら、図3に示すように、拡張胚盤胞期では透明帯ZPは比較的厚く、それ以前ではより薄い範囲に分布するという顕著な傾向がみられる。その境界は、概ね13μm程度である。したがってこの値を閾値T1として透明帯ZPの厚さを評価することで、拡張胚盤胞期とそれ以前とを識別することが可能である。
図4は胚のアスペクト比の分布を示す図である。画像における胚の形状と円との一致度を表す指標値としては種々のものが考えられるが、ここでは胚の外接矩形、すなわち胚の周縁に外接する矩形のうち面積が最小となるものを特定し、その短辺と長辺との比であるアスペクト比により表した。胚が円形であれば外接矩形は正方形となり、アスペクト比は1である。そうでない場合にはアスペクト比は1より小さくなり、胚の形状が円から乖離するほどアスペクト比は小さくなる。したがって、このようにして定義されるアスペクト比により、胚の形状と円との一致度を表すことができる。
画像オブジェクトの外接矩形を特定するための演算は、一般的な画像処理ソフトウェアに標準的な機能として実装されているものである。このため、その結果を用いたアスペクト比を胚の形状の指標値とすることは、処理を容易にするものである。これ以外に、例えば胚の輪郭について求めた円形度を指標値としても同様の結果が得られると予想される。
図4に示されるように、拡張胚盤胞期およびそれ以前のステージでは、アスペクト比は概ね1に近い値であり、しかも両ステージの間で有意な違いが見られない。一方、拡張胚盤胞期以降の胚では、分布の中心はよりアスペクト比の低い領域に広がっている。
図5は2つの指標値を組み合わせた場合の胚の分布を示す図である。より具体的には、図5は2つの指標値(透明帯厚さ、アスペクト比)をそれぞれ横軸、縦軸とした二次元座標平面において、各胚が占める位置をこれらの指標値によってプロットした散布図である。また、2つの指標値をそれぞれ特徴量とみなしたときの二次元特徴量空間における分布を表す図であるとも言える。
この図から、丸印で示される拡張胚盤胞期以前の胚は図中の右上に、三角形で示される拡張胚盤胞期の胚は図中の左上に、また四角形で示される拡張胚盤胞期以降の胚は図中の下部に、それぞれ集中していることがわかる。このような分布傾向から、図5に点線で示される閾値A1,T1,T2を用いて座標平面を6つの領域(1)~(6)に分割することができる。散布図から実験的に求められた閾値A1の値は、約0.88である。また、閾値T1、T2の値は、それぞれ約13μm、2μmである。
これらの領域のうち、領域(3)は、透明帯が閾値T1より厚く、またアスペクト比が1に近く胚の外形も概ね円形であることから、拡張杯盤期以前の発生ステージに対応していると考えられる。また領域(2)については、胚の外形は概ね円形であるが透明帯ZPが閾値T1より薄いことから、拡張胚盤胞期に対応すると考えられる。
また、領域(5)については、透明帯が薄く、またアスペクト比が閾値A1より小さく胚の外形が円から乖離していることから、拡張胚盤胞期以降のステージに対応していると考えられる。孵化後の胚盤胞にあっては、球形(画像においては円形)の外形形状を持ちながら検出される透明帯ZPの厚さが実質的にゼロとなるものも存在する。透明帯ZPが極めて薄い、すなわち閾値T2よりも小さい領域(1)、(4)は、このような状態に対応するものと考えることができる。
領域(6)では、透明帯ZPの厚さについては閾値T1よりも大きく、この点では拡張胚盤胞期以前の状態であるが、アスペクト比が小さく胚の外形は円形から大きく乖離している。この状態はアシストハッチングが施された胚に対応していると考えられる。アシストハッチングは、例えばレーザー光を用いて透明帯の一部を切断し受精卵の孵化を促進する処置である。領域(6)は、透明帯が十分に薄くなる前に透明帯が切断されたことによりハッチングが開始され、外形の崩れが生じた状態に対応していると考えることができる。
このように、透明帯ZPの厚さに対応する指標値と、外形形状を表す指標値との組み合わせによって胚の状態を定量化し、それぞれの評価値に設けた閾値に基づき判定を行うことにより、評価対象の胚がどの発生ステージにあるかを客観的かつ自動的に判定することが可能である。閾値については、十分に訓練された専門家(具体的には、胚培養士)による判定結果に基づいて定めることにより、専門家による判定と遜色のない判定結果を得ることが可能となる。
ここでは、単純な閾値によって特徴量空間を複数の領域に分割し、各領域にそれぞれ発生ステージを対応付けることにより、2つの指標値から胚がどの発生ステージにあるかを判定するための判定基準を作成する方法について説明した。この他にも、例えば公知のクラス分類技術を用いて判定基準を作成することも可能である。すなわち、各発生ステージにある胚は、二次元特徴量空間において発生ステージごとのクラスタを形成していると考えることができる。そこで、適宜の学習アルゴリズムを用いて各発生ステージが二次元特徴量空間において占めるクラスタの境界を特定しておけば、評価対象の胚について求めた特徴量から当該胚がどのクラスタに属するかによってステージ判定を行うことが可能となる。
以上、本実施形態における胚の発生ステージ判定の原理について説明した。続いて、上記原理に基づくステージ判定を組み込んだ、本実施形態の画像処理の具体的な処理内容について説明する。ここでは、判定基準として図5に示す閾値を用いた方法を採用するものとする。
図6は本実施形態における画像処理を示すフローチャートである。前記したように、この処理は、CPU31が予め用意された制御プログラムを実行し装置各部に所定の動作を行わせて、試料Sを定期的に撮像することにより実現される。評価対象となる胚が収容された試料容器11がインキュベータから取り出されて保持部10にセットされると(ステップS101)、当該胚を撮像対象物として、顕微鏡撮像ユニット28による光学顕微鏡撮像が実行される。
ステップS102ないしS105の処理では、胚を光学顕微鏡撮像することで胚の二次元画像データを取得し、画像データに基づき透明帯の厚さを算出する。具体的には、顕微鏡撮像ユニット28が評価対象の胚を撮像視野に収めることのできる撮像位置に位置決めされ、焦点位置が深さ方向(Z方向)に多段階に変更設定されるとともにその都度撮像が行われる。これにより、焦点深さを互いに異ならせた複数の画像セット、いわゆるZスタック画像が取得される(ステップS102)。
これらの画像の各々から、透明帯ZPに対応する領域が抽出される(ステップS103)。そして、複数の画像のうち、透明帯ZPに最もよく合焦した1枚が選出され(ステップS104)、選出された画像に基づき、透明帯ZPの厚さが算出される(ステップS105)。これらの処理、すなわち透明帯ZPに対応する領域を抽出する処理(ステップS103)、最も合焦した画像を選出する処理(ステップS104)および透明帯ZPの厚さを算出する処理(ステップS105)の詳細については後述する。ここまでの処理により、評価対象の胚Eにおける透明帯ZPの厚さが既知となっている。こうして求められた透明帯ZPの厚さを、第1の指標値とする。
また、透明帯ZPに最も合焦した画像、つまり胚の輪郭が最も鮮明である画像から、1つの胚の全体に対応する全体領域が抽出される(ステップS106)。全体領域の抽出は、透明帯ZPの抽出と同様の画像処理により実行可能である。こうして抽出された全体領域から胚のアスペクト比が算出される(ステップS107)。具体的には、全体領域の抽出結果に基づき画像を二値化する。そして、長辺、短辺および回転角度が変更可能な矩形を全体領域にフィッティングし、全体領域の周縁に外接する矩形(外接矩形)のうち面積が最小のものを探索する。この外接矩形の長辺に対する短辺の比をアスペクト比とし、これを第2の指標値とする。
こうして求められた2つの指標値を所定の判定基準に適用することにより、胚の発生ステージが判定される(ステップS108)。具体的には、透明帯厚さおよびアスペクト比の2つの指標値と、上記原理に基づき予め求められているそれぞれの指標値に対する閾値とを比較し、評価対象の胚が上記(1)~(6)のどの領域に位置しているかにより、当該胚の発生ステージが判定される。
続いて、当該胚の発生ステージ判定結果が、先の撮像による判定結果と比較される(ステップS109)。先の撮像から発生ステージが変化したと判断すると(ステップS109においてYES)、当該胚が撮像部20によりOCT撮像される。こうすることで、胚の発生ステージが変化するごとに当該胚の三次元像が取得される。一方、発生ステージに変化がない場合には(ステップS109においてNO)、OCT撮像はスキップされる。こうすることで必要のないOCT撮像は省かれるため、他の胚についての撮像が遅延することが防止される。
胚の撮像は一定の周期で定期的に実行される。すなわち、撮像が終了すると試料容器11はインキュベータに戻され、次の撮像タイミングが到来すると再び取り出されて、ステップS101からの処理が繰り返される。保持部10が培養環境内に置かれるなど画像処理装置1とインキュベータとが一体化されている場合には、ステップS101を省略することが可能であり、次の撮像タイミングが到来するまで装置は待機状態となる。これにより、胚のタイムラプス観察が可能となる。
このように、比較的短時間で撮像が可能な光学顕微鏡撮像による画像に基づき発生ステージを判定しつつ、必要なタイミングでOCT撮像を行うことで、この実施形態では、比較的短い周期でのタイムラプス観察を可能にしつつ、必要と判断されたときにOCT撮像を実行することで、胚の評価に必要な三次元像についても確実に取得することが可能となっている。
次に、上記処理の各工程(ステップS103~S105、S106)を実行するための各要素技術について順に分説する。なお、ステップS102のZスタック画像を取得するための処理は周知であるため、説明を省略する。
ステップS103では、胚を光学顕微鏡撮像して得られた二次元画像データから、透明帯ZPに対応する領域が抽出される。この処理は適宜の画像処理技術を用いて実行することが可能である。例えば、画像内から特定の特徴を有する領域を抽出するパターン認識技術を適用することができる。具体的には、予め取得された透明帯の画像を教師画像とする教師付き学習により分類モデルを構築し、これを用いて評価対象の胚の光学顕微鏡画像を領域分割することにより、画像から透明帯ZPに対応する領域を抽出することができる。
この実施形態では、領域分割処理の一例として公知のセマンティックセグメンテーション法を用いる。セマンティックセグメンテーション法は、ディープラーニングアルゴリズムにより予め構築された分類モデルを用いて、画像内の各画素にラベル付けを行う技術である。本実施形態では、次のようにしてこの方法を利用することができる。
まず、透明帯が良好な画像品質で撮像された胚の光学顕微鏡画像を用意し、当該画像中の透明帯に対応する領域の各画素に、その旨を表すラベル付けを行う。そして、元の顕微鏡画像を入力データ、ラベル画像を正解データとしてディープラーニングを実行することで、分類モデルが構築される。こうして予め構築された分類モデルに未知の画像を入力データとして与えることで、当該画像のうち透明帯に対応する領域にその旨のラベルが付された出力画像を得ることができる。このような領域を出力画像から抽出することで、結果的に透明帯を抽出することが可能である。
図7は分類モデルを構築するための具体的手法の一例を示すフローチャートである。この処理は、画像を表示する機能およびユーザからの操作入力を受け付ける機能を有する各種のコンピューター装置により実行可能である。例えば画像処理装置1、あるいはパーソナルコンピューター等の汎用コンピューター装置によって実行することが可能である。
最初に、透明帯に合焦した(ピントが合った)状態で予め撮像された、胚の光学顕微鏡画像を表示する(ステップS201)。画像処理装置1では、表示部352に当該画像を表示させることができる。こうして表示された画像に対し、ピントの合った透明帯に相当する領域を指定するためのユーザからの教示入力を受け付ける(ステップS202)。この場合のユーザは、胚の画像に対する十分な知見を有する熟練者であることが望ましい。また、画像処理装置1が用いられる場合、入力デバイス351を介して教示入力を受け付けることができる。
透明帯として指定された領域にはその旨を示すラベルが付与される(ステップS203)。こうしてラベル付けされた画像を正解データとし、元の画像を入力データとしてディープラーニングを実行することで、画像から透明帯を抽出するための分類モデルが構築される(ステップS204)。必要に応じ、透明帯以外のラベルが用いられてもよい。
この分類モデルは、透明帯にピントの合った画像を入力画像として構築されたものである。そのため、これを未知のテスト画像に適用してセマンティックセグメンテーション法を実行すると、テスト画像から透明帯としての特徴を強く有する領域が抽出されることになる。こうして透明帯が抽出されると、その厚さを求めることが可能となる。厚さを精度よく求めるためには、画像内のできるだけ広い領域で、透明帯に合焦していることが望ましい。すなわち、透明帯の厚さの算出は、セマンティックセグメンテーション法で抽出される領域の面積ができるだけ広い画像に基づき行われることが望ましいと言える。なお面積については画素数によって表すことが可能である。
一方、評価対象の胚は立体的構造を有しているため、焦点深さを適宜に定めて撮像した画像では、透明帯ZPへの合焦状態が必ずしも良好でない場合があり得る。そこで、深さ方向(Z方向)に焦点位置を異ならせて取得されたZスタック画像から、透明帯ZPに相当するものとして抽出される領域の面積が最も大きい1つの画像を選出し、この画像を透明帯ZPの厚さ算出に用いる。
ステップS104では、Zスタック画像から透明帯ZPに最も合焦した画像が選出される。この実施形態におけるセマンティックセグメンテーション法では、画像からピントが合った透明帯の領域が抽出されるから、この領域の面積が最大である画像が、透明帯ZPに最も合焦した画像である蓋然性が高いと言える。そのような条件に該当する画像を選出すればよい。
ただし、例えば撮像時の振動等に起因して、画像にブレが生じ、結果として透明帯の見かけ上の面積が実際より大きく画像に現れる場合があり得る。そうすると、透明帯に相当するとして抽出される面積は見かけ上大きくなり、この位置が合焦位置と誤判定されるおそれがある。
抽出された領域の周縁部を挟む画素の間の輝度差を用いることで、この問題の解消を図ることが可能である。すなわち、よく合焦した画像では、透明帯に対応する領域とその周囲領域との境界が明りょうであり、したがってそれらの領域の輝度の間にも明確なコントラストがあると考えられる。一方、合焦していない画像では、これらの領域間の境界が明確でなく、したがってコントラストも鮮明でない。
このことから、単に抽出された領域の面積(画素数)の大小だけで評価するのに代えて、当該領域のエッジ部分における輝度変化の大きさ、すなわちシャープネスも反映させた評価値を導入することで、上記のような誤判定を低減することができると考えられる。このようなエッジ変化量を定量化する方法としては種々のものがあり、それらを適宜選択して適用可能である。
この実施形態ではその一例として、抽出された領域の面積に、エッジ部分における輝度変化の大きさを反映した係数を乗じた値を評価値とする。この係数としては、例えばエッジを挟んだ画素間における輝度の差を二乗した値を用いることができる。より具体的には、抽出された領域のうちエッジに隣接する全ての画素の輝度の平均値と、当該エッジの外側でエッジに隣接する全ての画素の起動の平均値との差を求め、それを二乗することで上記係数が求められる。
このようにすると、画像におけるズレの影響による抽出面積の増大が合焦位置の誤判定の原因となるリスクを低減させることができる。なお、ここでは係数を正の値とするために輝度差を二乗しているが、これに代えて輝度差の絶対値を係数として用いてもよい。
図8は透明帯に合焦した画像を選出するための処理を示すフローチャートであり、この処理内容は、図6のステップS104に相当するものである。Zスタック画像を構成する各画像に対しては、ステップS103において透明帯に相当する領域が抽出されている。こうして抽出された領域の面積を求めるため、当該領域に属する画素の数を画像ごとに計数する(ステップS301)。そして、抽出された領域のエッジの内外においてそれぞれ隣接する画素の平均輝度を求め、その差を算出する(ステップS302)。これらの値に基づき、各画像の合焦度合いを示す評価値を算出する(ステップS303)。具体的には、抽出領域の画素数に、エッジ内外での輝度差の二乗で表される係数を乗じることで、評価値を算出する。こうして求められる評価値が最大の画像が、透明帯に最も合焦した画像として選出される。
次に、Zスタック画像から選出された1つの光学顕微鏡画像から透明帯ZPの厚さを算出する、ステップS105の処理内容について説明する。選出された画像については、ステップS103において透明帯ZPに相当する領域の抽出が行われる。良好に培養された胚においては、概ね一定の幅を有する円環状の領域が、透明帯ZPに相当する領域として抽出されていると考えられる。透明帯ZPに合焦した画像では、この円環の幅、つまり円環の内側のエッジと外側のエッジとの距離が、透明帯ZPの厚さに対応している。
円環の幅を求める方法としては種々のものが考えられるが、簡便なものとしては、OpenCV(Open Source Computer Vision)ライブラリに装備されているDistance
Transform関数を利用した方法がある。円環の内側エッジ上の1つの画素を注目画素としてDistance Transform関数を適用することで、当該画素から最も近い、円環の外側エッジ上の画素までの距離を特定することができる。この距離が当該位置における円環の幅、つまり透明帯Zの厚さを表す。これとは逆に、円環の外側エッジ上の画素を注目画素とし、これから内側エッジまでの最短距離を求めても等価である。こうして円環上の各位置で求められる幅の平均値または中央値を、透明帯ZPの厚さを代表的に表す指標値とすることができる。
Transform関数を利用した方法がある。円環の内側エッジ上の1つの画素を注目画素としてDistance Transform関数を適用することで、当該画素から最も近い、円環の外側エッジ上の画素までの距離を特定することができる。この距離が当該位置における円環の幅、つまり透明帯Zの厚さを表す。これとは逆に、円環の外側エッジ上の画素を注目画素とし、これから内側エッジまでの最短距離を求めても等価である。こうして円環上の各位置で求められる幅の平均値または中央値を、透明帯ZPの厚さを代表的に表す指標値とすることができる。
以上、ステップS103~S105の詳細な処理内容について説明した。一方、胚の全体領域を抽出するステップS106についても、基本的は透明帯ZPを抽出する処理と同様にすることができる。具体的には、図7のステップS202において、「透明帯に相当する領域」について教示入力を受けるのに代えて、「細胞の周縁に相当する領域」について教示入力が受け付けられるようにすればよい。この場合の教師用画像としては、拡張胚盤胞期以降の胚の画像も含まれていることが望ましい。
こうして教示された画像を正解データとしてディープラーニングを行うことにより構築される分類モデルは、入力画像からセマンティックセグメンテーション法により細胞の全体に対応する領域を抽出する機能を有したものとなる。これ以外の処理については、透明帯の抽出処理と同様にすることができる。こうして得られた学習モデルを用いることで、画像から全体領域を抽出するステップS106の処理を実行することが可能となる。
次に、上記実施形態の画像処理の変形例について説明する。図3に示したように、拡張胚盤胞期以前のステージにある胚では透明帯厚さのばらつきが比較的大きい。これは、受精卵の大きさが発生当初から異なるなどの個体ばらつきに起因するものと考えられる。このため、透明帯厚さに対して設定される閾値については、収集される画像によってばらつきが生じるおそれがある。
この点に鑑み、以下に示す変形例では、透明帯の厚さそのものを指標値とするのに代えて、発生の初期段階からの透明帯厚さの変化量を指標値として用いることで、個体差に起因するばらつきの抑制が図られている。
図9は画像処理の変形例を示すフローチャートである。この変形例では、ステップS101の前にステップS121が、またステップS105の後にステップS122がそれぞれ追加されている。この点を除く処理内容は図6のものと同一であるため、同一内容の処理ステップには同一符号を付して説明を省略することとする。
最初に、基準画像が撮像され、基準画像内の胚における透明帯ZPの厚さが算出される(ステップS121)。基準画像は、上記した発生の初期段階にある胚の画像であり、拡張胚盤胞期以前のステージにあることが予めわかっている胚を光学顕微鏡撮像することにより得られる。このような胚を試料Sとして用い、ステップS101~S105と同様の処理を実行することで、基準画像における透明帯厚さを求めることができる。
ステップS122では、成長が進んだ胚について求められた透明帯厚さについて、基準画像における透明帯厚さとの差または比が「厚さ変化量」として求められる。この厚さ変化量は、初期段階と比べて透明帯の厚さがどの程度変化したかを表す。これを指標値の1つとして、上記画像処理と同様にアスペクト比との組み合わせでステージ判定を行うことができる。
図10は胚の透明帯の厚さ変化量の分布を示す図である。図3と比較すると、特に拡張胚盤胞期以前における値のばらつきが抑えられていることがわかる。このことから、厚さ変化量を第1の指標値とし、胚の外形形状に関する第2の指標値とを組み合わせてステージ判定を行うことで、判定精度がより向上することが期待される。
以上説明したように、上記実施形態の画像処理装置1は、本発明の「撮像装置」の一実施形態に該当するものである。この実施形態において、撮像部20のうち、顕微鏡撮像ユニット28が本発明の「二次元画像取得部」として機能する一方、その他の部分が本発明の「三次元画像取得部」として機能している。また、制御ユニット30、特にCPU31および信号処理部33が、本発明の「画像処理部」として機能している。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態における画像処理には、ステージ判定の結果に基づきOCT撮像を行うか否かを判断し、必要な場合にはOCT撮像を行う工程までが含まれている。しかしながら、本発明に係る受精卵の発生ステージ判定方法の構成要素は、光学顕微鏡画像を取得して胚の発生ステージを判定するまでの工程であり、判定結果の利用態様は上記のようなOCT撮像の要否判断に限られず任意である。したがって、OCT撮像機能を持たない光学顕微鏡を用いて本発明のステージ判定方法を実行することも可能である。
また例えば、上記実施形態の画像処理装置1は、試料SをOCT撮像および光学顕微鏡撮像する機能、ならびに撮像データから出力画像を作成し出力する機能を有するものである。しかしながら、本発明の発生ステージ判定方法は、自身は撮像機能を持たず、撮像機能を有する他の装置での撮像により得られた撮像データを取得したコンピューター装置によって実行することも可能である。これを可能とするために、図6の各処理ステップのうちステップS101以外をコンピューター装置に実行させるためのソフトウェアプログラムとして、本発明が実施されてもよい。
このようなプログラムの配布は、例えばインターネット等の電気通信回線を介してダウンロードする形式によって行うことが可能であり、また当該プログラムを非一時的に記録したコンピューター読み取り可能な記録媒体を配布することによっても可能である。また、光学顕微鏡撮像機能とOCT撮像機能とを有する既存の撮像装置にインターフェースを介してこのプログラムを読み込ませることで、当該装置により本発明を実施することも可能となる。
また、上記実施形態は、発生ステージの判定結果から発生ステージの変化があった胚についてOCT撮像を実行するように構成されている。すなわち、OCT撮像の要否判断基準は、発生ステージの変化があったか否かである。しかしながら、ステージ判定の結果からOCT撮像の要否を判断する基準はこれに限定されるものではない。
以上、具体的な実施形態を例示して説明してきたように、本発明に係る発生ステージ判定方法において、判定基準は例えば、複数の受精卵の画像から求められた一致度および厚さそれぞれを表す指標値と、複数の受精卵それぞれの発生ステージを示す情報とに基づき定めることが可能である。どの発生ステージにあるかを表す情報が利用できる胚の画像が複数あれば、それらの画像から求められる指標値と当該胚の発生ステージとの相関性を特定することが可能であり、その結果を未知の胚のステージ判定における判定基準として利用することが可能となる。
また例えば、判定基準は、一致度を表す指標値と厚さを表す指標値とをそれぞれ特徴量とする二次元特徴量空間をこれらの指標値の値に応じて複数の領域に区分し、各領域と発生ステージとを対応付けることによって定めることが可能である。より具体的には、一致度を表す指標値と厚さを表す指標値とのそれぞれに閾値を設定し、前記二次元特徴量空間を前記閾値により複数の領域に区分する方法、あるいは、複数の受精卵の画像が二次元特徴量空間において形成される発生ステージごとのクラスタの境界により、二次元特徴量空間を複数の領域に区分する方法が適用可能である。
また例えば、判定基準は、一致度を表す指標値と、事前に撮像された基準画像に対する厚さの変化を表す指標値とをそれぞれ特徴量とする二次元特徴量空間をこれらの指標値の値に応じて複数の領域に区分し、各領域と発生ステージとを対応付けたものとすることもできる。受精卵の個体差により、同じ発生ステージにある胚の間でも透明帯の厚さにばらつきが生じることがあり得る。したがって、透明帯の厚さをそのまま指標値に用いた場合、判定結果にばらつきが生じるおそれがある。例えば各胚における透明帯の厚さの経時的な変化量を指標値に用いれば、このような個体差に起因するばらつきを抑制することが可能となる。
これらの方法において、一致度を表す指標値は、例えば画像中の受精卵の外接矩形の長辺と短辺との比として表すことが可能である。画像オブジェクトの外接矩形を探索する演算機能は、一般的な画像処理ソフトウェアに標準的に装備されているものである。これを利用することで、胚の判定基準となる指標値の1つを容易に導出することが可能となる。
本発明に係る発生ステージ判定方法は、受精卵の発生ステージが、拡張胚盤胞期以前、拡張胚盤胞期、および拡張胚盤胞期以降のいずれであるかを判定する目的に利用することができる。上記した本願発明者の知見によれば、透明帯の厚さに関する指標値と胚全体の外形に関する指標値とを組み合わせることで、これらの各発生ステージを効果的に識別することが可能である。
例えば厚さを表す指標値が当該指標値に対し設定された閾値より大きいとき、受精卵の発生ステージは拡張胚盤胞期以前であると判定することができる。また、厚さを表す指標値が当該指標値に対し設定された閾値より小さく、かつ、一致度を表す指標値が当該指標値に対し設定された閾値より大きいときには、受精卵の発生ステージが拡張胚盤胞期であると判定することができる。
また、本発明に係る発生ステージ判定方法においては、透明帯に対応する領域の抽出は、光学顕微鏡撮像された透明帯の画像を教師画像として予め機械学習された分類アルゴリズムを用いて行われてもよい。このような構成によれば、適宜の分類アルゴリズムを用いることで、光学顕微鏡撮像画像から透明帯の形態的特徴を強く有する領域を高い精度で抽出することが可能である。
例えば、分類アルゴリズムとして、セマンティックセグメンテーション法を用いることができる。この方法によれば、画像をその特徴に応じて画素単位で分割することが可能である。このため、顕微鏡画像から透明帯の領域を精度よく抽出し、その厚さを適正に評価することができる。
また例えば、受精卵の光学顕微鏡撮像は焦点深さを異ならせて複数回実行され、それらの画像のうち、透明帯に対応する領域の面積が最大のものから、透明帯の平均厚さが求められてもよい。広い範囲で透明帯が抽出される画像は、透明帯に最も合焦した、つまり透明帯が明りょうな状態で撮像された画像である蓋然性が高い。このような画像を用いることで、透明帯の厚さを精度よく求めることが可能である。
この発明は、培養された胚の状態を評価する作業を支援する目的に適用することが可能であり、例えば生殖補助医療において、胚を定期的に観察して必要なタイミングで胚の三次元像を撮像する目的に好適である。
1 画像処理装置
10 保持部
11 試料容器
20 撮像部(三次元画像取得部)
28 顕微鏡撮像ユニット(二次元画像取得部)
30 制御部(画像処理部)
S 試料
10 保持部
11 試料容器
20 撮像部(三次元画像取得部)
28 顕微鏡撮像ユニット(二次元画像取得部)
30 制御部(画像処理部)
S 試料
Claims (18)
- 受精卵を光学顕微鏡撮像した画像に対応する画像データを取得する工程と、
前記画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求める工程と、
前記画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求める工程と、
前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する工程と
を備える、受精卵の発生ステージ判定方法。 - 前記判定基準は、複数の受精卵の画像から求められた前記一致度および前記厚さそれぞれを表す指標値と、前記複数の受精卵それぞれの発生ステージを示す情報とに基づき定められる請求項1に記載の受精卵の発生ステージ判定方法。
- 前記判定基準は、前記一致度を表す指標値と前記厚さを表す指標値とをそれぞれ特徴量とする二次元特徴量空間をこれらの指標値の値に応じて複数の領域に区分し、各領域と発生ステージとを対応付けたものである請求項2に記載の受精卵の発生ステージ判定方法。
- 前記一致度を表す指標値と前記厚さを表す指標値とのそれぞれに閾値を設定し、前記二次元特徴量空間を前記閾値により複数の領域に区分する請求項3に記載の受精卵の発生ステージ判定方法。
- 前記複数の受精卵の画像が前記二次元特徴量空間において形成される発生ステージごとのクラスタの境界により、前記二次元特徴量空間を複数の領域に区分する請求項3に記載の受精卵の発生ステージ判定方法。
- 前記判定基準は、前記一致度を表す指標値と、事前に撮像された基準画像に対する前記厚さの変化を表す指標値とをそれぞれ特徴量とする二次元特徴量空間をこれらの指標値の値に応じて複数の領域に区分し、各領域と発生ステージとを対応付けたものである請求項2に記載の受精卵の発生ステージ判定方法。
- 前記一致度を表す指標値は、前記画像中の前記受精卵の外接矩形の長辺と短辺との比として表される請求項1ないし6のいずれかに記載の受精卵の発生ステージ判定方法。
- 前記厚さを表す指標値は、前記透明帯に対応する領域の厚さの経時的な変化量に対応する値である請求項1ないし7のいずれかに記載の受精卵の発生ステージ判定方法。
- 前記受精卵の発生ステージが、拡張胚盤胞期以前、拡張胚盤胞期、および拡張胚盤胞期以降のいずれであるかを判定する請求項1ないし8のいずれかに記載の受精卵の発生ステージ判定方法。
- 前記厚さを表す指標値が当該指標値に対し設定された閾値より大きいとき、前記受精卵の発生ステージが拡張胚盤胞期以前であると判定する請求項9に記載の受精卵の発生ステージ判定方法。
- 前記厚さを表す指標値が当該指標値に対し設定された閾値より小さく、かつ、前記一致度を表す指標値が当該指標値に対し設定された閾値より大きいとき、前記受精卵の発生ステージが拡張胚盤胞期であると判定する請求項9または10に記載の受精卵の発生ステージ判定方法。
- 前記透明帯に対応する領域の抽出は、光学顕微鏡撮像された前記透明帯の画像を教師画像として予め機械学習された分類アルゴリズムを用いて行う請求項1ないし11のいずれかに記載の受精卵の発生ステージ判定方法。
- 前記分類アルゴリズムとしてセマンティックセグメンテーション法を用いる請求項12に記載の受精卵の発生ステージ判定方法。
- 前記受精卵の光学顕微鏡撮像は焦点深さを異ならせて複数回実行され、それらの画像のうち、前記透明帯に対応する領域の面積が最大のものから、前記透明帯の厚さが求められる請求項12または13に記載の受精卵の発生ステージ判定方法。
- 請求項1ないし14のいずれかに記載の受精卵の発生ステージ判定方法により、前記受精卵の発生ステージを判定する工程と、
判定の結果に応じて前記受精卵を光干渉断層撮像する工程と
を備える撮像方法。 - 受精卵を光学顕微鏡撮像した画像に対応する画像データを取得する工程と、
前記画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求める工程と、
前記画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求める工程と、
前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する工程と
を、コンピューターに実行させるためのプログラム。 - 請求項16に記載のプログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体。
- 受精卵を光学顕微鏡撮像し二次元画像データを取得する二次元画像取得部と、
前記受精卵を光干渉断層撮像し三次元画像データを取得する三次元画像取得部と、
前記二次元画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求めるとともに、前記二次元画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求め、前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する画像処理部と
を備え、
前記画像処理部による判定の結果に応じて、前記三次元画像取得部により前記受精卵の光干渉断層撮像を行う撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044304A JP2022143662A (ja) | 2021-03-18 | 2021-03-18 | 受精卵の発生ステージ判定方法、プログラム、記録媒体、撮像方法および撮像装置 |
EP22151901.0A EP4060623A1 (en) | 2021-03-18 | 2022-01-18 | Fertilized egg development stage determination method, program, recording medium, imaging method and imaging apparatus |
US17/581,200 US20220301155A1 (en) | 2021-03-18 | 2022-01-21 | Fertilized egg development stage determination method, recording medium, imaging method and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044304A JP2022143662A (ja) | 2021-03-18 | 2021-03-18 | 受精卵の発生ステージ判定方法、プログラム、記録媒体、撮像方法および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022143662A true JP2022143662A (ja) | 2022-10-03 |
Family
ID=79730623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021044304A Pending JP2022143662A (ja) | 2021-03-18 | 2021-03-18 | 受精卵の発生ステージ判定方法、プログラム、記録媒体、撮像方法および撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220301155A1 (ja) |
EP (1) | EP4060623A1 (ja) |
JP (1) | JP2022143662A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116883996B (zh) * | 2023-09-01 | 2023-12-08 | 武汉互创联合科技有限公司 | 基于旋转等变网络的胚胎发育阶段预测与质量评估系统 |
CN116869489A (zh) * | 2023-09-06 | 2023-10-13 | 武汉互创联合科技有限公司 | 基于形态学特征分析的胚胎发育阶段预测系统及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5418324B2 (ja) * | 2010-03-16 | 2014-02-19 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 |
JP7024231B2 (ja) * | 2017-07-10 | 2022-02-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム及び観察システム |
JP6867629B2 (ja) | 2018-01-31 | 2021-04-28 | 株式会社Screenホールディングス | 画像処理方法、プログラムおよび記録媒体 |
JP6996709B2 (ja) | 2018-01-31 | 2022-01-17 | 株式会社Screenホールディングス | 画像処理方法、画像判定方法、プログラムおよび記録媒体 |
-
2021
- 2021-03-18 JP JP2021044304A patent/JP2022143662A/ja active Pending
-
2022
- 2022-01-18 EP EP22151901.0A patent/EP4060623A1/en active Pending
- 2022-01-21 US US17/581,200 patent/US20220301155A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220301155A1 (en) | 2022-09-22 |
EP4060623A1 (en) | 2022-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3748580B1 (en) | Image processing method, program and recording medium | |
EP2703494B1 (en) | Cell analysis method, cell analysis device, and cell analysis program | |
US8693000B2 (en) | Quantitative phase microscopy for label-free high-contrast cell imaging | |
KR102580984B1 (ko) | 화상 처리 방법, 프로그램 및 기록 매체 | |
JP6867629B2 (ja) | 画像処理方法、プログラムおよび記録媒体 | |
US20220301155A1 (en) | Fertilized egg development stage determination method, recording medium, imaging method and imaging apparatus | |
JPWO2017150194A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20230063443A1 (en) | Image processing method and recording medium | |
JP7382289B2 (ja) | 画像処理方法、プログラムおよび記録媒体 | |
JP2023035517A (ja) | 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体 | |
JP2023066991A (ja) | 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体 | |
JP2022143660A (ja) | 画像処理方法、プログラムおよび記録媒体、ならびに画像処理装置 | |
Lee et al. | Long-term three-dimensional high-resolution imaging of live unlabeled small intestinal organoids using low-coherence holotomography | |
JP7382290B2 (ja) | 画像処理方法、プログラムおよび記録媒体 | |
US20230274441A1 (en) | Analysis method and analysis apparatus | |
Canver et al. | Quantification of multicellular organization, junction integrity, and substrate features in collective cell migration | |
US20230061181A1 (en) | Image processing method, fertilized egg evaluation method and recording medium | |
Lin et al. | Light-sheet microscopy for quantitative ovarian folliculometry | |
Bredfeldt | Collagen Alignment Imaging and Analysis for Breast Cancer Classification | |
Sierra et al. | Acquiring 3-D information about thick objects from differential interference contrast images using texture extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |