CN116783279A - 胚胎培养装置以及对保持于培养环境的处置卵进行显示的方法 - Google Patents
胚胎培养装置以及对保持于培养环境的处置卵进行显示的方法 Download PDFInfo
- Publication number
- CN116783279A CN116783279A CN202180090952.5A CN202180090952A CN116783279A CN 116783279 A CN116783279 A CN 116783279A CN 202180090952 A CN202180090952 A CN 202180090952A CN 116783279 A CN116783279 A CN 116783279A
- Authority
- CN
- China
- Prior art keywords
- image
- egg
- treated
- culture
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013601 eggs Nutrition 0.000 title claims abstract description 281
- 210000001161 mammalian embryo Anatomy 0.000 title claims description 126
- 238000000034 method Methods 0.000 title claims description 103
- 238000011282 treatment Methods 0.000 claims abstract description 51
- 238000003860 storage Methods 0.000 claims abstract description 31
- 238000010801 machine learning Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 30
- 238000003776 cleavage reaction Methods 0.000 claims description 27
- 230000007017 scission Effects 0.000 claims description 27
- 230000009027 insemination Effects 0.000 claims description 21
- 210000002459 blastocyst Anatomy 0.000 claims description 8
- 230000008569 process Effects 0.000 description 84
- 230000004720 fertilization Effects 0.000 description 48
- 239000007789 gas Substances 0.000 description 34
- 230000005856 abnormality Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 16
- 210000004027 cell Anatomy 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000012258 culturing Methods 0.000 description 10
- 238000011534 incubation Methods 0.000 description 9
- 239000001963 growth medium Substances 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 5
- 230000002411 adverse Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 229910002092 carbon dioxide Inorganic materials 0.000 description 3
- 239000001569 carbon dioxide Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000005138 cryopreservation Methods 0.000 description 3
- 238000000338 in vitro Methods 0.000 description 3
- 208000000509 infertility Diseases 0.000 description 3
- 230000036512 infertility Effects 0.000 description 3
- 231100000535 infertility Toxicity 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 238000007789 sealing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 102000002322 Egg Proteins Human genes 0.000 description 2
- 108010000912 Egg Proteins Proteins 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002480 mineral oil Substances 0.000 description 2
- 235000010446 mineral oil Nutrition 0.000 description 2
- 229910052757 nitrogen Inorganic materials 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000004681 ovum Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010027336 Menstruation delayed Diseases 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012136 culture method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910001873 dinitrogen Inorganic materials 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002257 embryonic structure Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M21/00—Bioreactors or fermenters specially adapted for specific uses
- C12M21/06—Bioreactors or fermenters specially adapted for specific uses for in vitro fertilization
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M23/00—Constructional details, e.g. recesses, hinges
- C12M23/02—Form or structure of the vessel
- C12M23/12—Well or multiwell plates
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M23/00—Constructional details, e.g. recesses, hinges
- C12M23/34—Internal compartments or partitions
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M29/00—Means for introduction, extraction or recirculation of materials, e.g. pumps
- C12M29/06—Nozzles; Sprayers; Spargers; Diffusers
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/34—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of gas
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/48—Automatic or computerized control
Abstract
将收容于凹部的处置卵保持于培养环境,并通过在固定的位置准备的拍摄部对凹部连续或断续地拍摄包含收容于该凹部的处置卵在内的图像。使用预先通过监督式机器学习生成的学习完毕模型,关于拍摄到的包含处置卵在内的卵图像,进行与处置卵的生长有关的判断,且将卵图像存储于存储部。根据判断的结果,从存储部读出满足预先设定的条件的卵图像,并将其显示于显示部。
Description
技术领域
本公开涉及培养胚胎的技术。
背景技术
对不孕治疗的社会需求提高,各种对在显微镜下等实施了授精处置的处置卵进行培养的装置被提出或销售。近年来,在这种培养装置内设置照相机而对培养中的处置卵进行拍摄,并根据需要将拍摄到的图像显示于外部的显示器的装置也在普及(例如参照日本特开2012-39929号公报)。在这种胚胎培养装置中,将处置卵放入稳定地对其进行保持的托盘(也称为培养皿)中,按照每个托盘以规定的时间间隔将其输送至照相机的视野内并对其进行拍摄。胚胎培养员通过观察该图像能够判断可否受精,因此无需仅为了观察处置卵而将其取出至培养装置的外部。
另一方面,随着不孕治疗的高涨,存在想要在1个胚胎培养装置内培养多个处置卵这一需求,在胚胎培养装置内,进行多个处置卵的收纳。这样,在对实施了授精处置的处置卵进行培养时,产生以下问题。
培养的处置卵的状态根据每个处置卵而不同。即使是在相同时期进行了授精处理的处置卵,到受精为止的时间或之后的卵裂的进展也不同。因此,若培养的处置卵的数量增加,则对其状况准确地进行判断而提供给受精卵的冷冻保存或胚胎移植等的作业极其繁琐。因此,对处置卵进行培养的人(主要是胚胎培养员)必须在短时间内判断处置卵的状况。
在观察对处置卵进行拍摄而得到的图像来判断其状况的情况下,若存在多个图像,则无法简单地判断希望使用哪个图像来判断处置卵的状况。如果想要可靠地把握处置卵的状况,则拍摄的时间间隔越短越好,还希望连续地作为所谓的动画来进行拍摄。但是,如果拍摄的时间间隔短,则必须检查的图像的张数增加。其结果是,存在观察图像来进行的判断的精度降低、或判断花费时间而无法进行对其他处置卵的判断、或延迟的担忧。
发明内容
本公开是为了解决上述课题的至少一部分而完成的,能够作为以下方式或应用例来实现。
(1)针对本公开的各种实施方式,以下进行说明。第1方式是作为将授精处置结束的处置卵保持于培养环境的胚胎培养装置的方式。该胚胎培养装置具备:培养部,上述培养部对可收容处置卵的多个凹部进行收容,并将该凹部保持于上述培养环境;拍摄部,上述拍摄部不使上述凹部相对地移动地对包含收容于上述凹部的上述处置卵在内的图像连续或断续地进行拍摄;存储部,上述存储部将上述拍摄到的包含上述处置卵在内的图像即卵图像按照上述处置卵的每一个进行存储;判断部,上述判断部对每个上述处置卵的卵图像,应用预先通过监督式机器学习生成的学习完毕模型,进行与上述处置卵的生长有关的判断;以及显示部,上述显示部根据上述判断的结果,从上述存储部读出被判断为满足预先设定的条件的处置卵的卵图像,并对其进行显示。根据该胚胎培养装置,由于能够使用不使收容于凹部来培养的处置卵相对于拍摄部相对地移动地拍摄到的图像,进行与其生长有关的判断,所以能够减少对培养中的处置卵不利的环境的变动,而且能够准确地把握培养中的处置卵的状况来采取必要的应对措施。
(2)第2方式是作为对保持于培养环境的授精处置结束的处置卵进行显示的方法的方式。在该方法中,对可收容处置卵的多个凹部进行收容,并将其保持于上述培养环境,在相对于上述凹部的规定位置准备拍摄部,通过上述拍摄部对包含收容于上述凹部的上述处置卵在内的图像,连续或断续地进行拍摄,将上述拍摄到的包含上述处置卵在内的图像即卵图像按照上述处置卵的每一个存储于存储部,对上述处置卵的卵图像,应用预先通过监督式机器学习生成的学习完毕模型,进行与上述处置卵的生长有关的判断,根据上述判断的结果,从上述存储部读出被判断为满足预先设定的条件的处置卵的卵图像,并将其显示于显示部。这样的话,能够使用通过在规定位置准备的拍摄部对收容于凹部来培养的处置卵进行拍摄而得到的图像,来显示进行了与其生长有关的判断的图像,因此能够减少对培养中的处置卵不利的环境的变动,而且能够准确地把握培养中的处置卵的状况来进行所需的显示。
本公开不仅作为这样的胚胎培养装置或对放置于培养环境的处置卵进行显示的方法,也能够通过其他方式来实施。例如,也能够作为胚胎培养方法、胚胎培养装置的拍摄装置、胚胎培养装置的制造方法、收容于胚胎培养装置的处置卵的观察方法、或者处置卵的受精判定装置及其方法来实施。
附图说明
图1是作为第1实施方式的胚胎培养装置的俯视图。
图2是表示胚胎培养装置的一部分的立体图。
图3是对培养室之一进行例示的俯视图。
图4是表示包含延时部的胚胎培养装置的电气结构的说明图。
图5是表示收容处置卵的托盘的一例的俯视图。
图6是说明延时部与托盘的凹陷部的关系的说明图。
图7A是表示延时部的内部结构的说明图。
图7B是表示照相机模块的结构的说明图。
图8是表示培养单元控制例行程序的流程图。
图9是表示显示器模块在正常时和异常时的显示例的说明图。
图10是表示学习完毕模型生成处理例行程序的流程图。
图11A是对标记为未确认到前核的卵的图像进行例示的说明图。
图11B是对标记为确认到1个前核的卵的图像进行例示的说明图。
图11C是对标记为确认到2个前核的卵的图像进行例示的说明图。
图11D是对标记为确认到3个前核的卵的图像进行例示的说明图。
图12A是对标记为未开始授精处理后的卵裂的状态的胚胎的图像进行例示的说明图。
图12B是对标记为在授精处理后的卵裂中直接转变为分裂球数为2个的状态的胚胎的图像进行例示的说明图。
图12C是对标记为在授精处理后的卵裂中直接转变为分裂球数为3个的状态的胚胎的图像进行例示的说明图。
图12D是对标记为在授精处理后的卵裂中转变为无序(chaotic)的状态的胚胎的图像进行例示的说明图。
图13是表示通过机器学习生成使用了神经网络的学习完毕模型的样子的说明图。
图14A是表示延时控制处理例行程序的流程图。
图14B是表示延时控制处理中的判断处理例行程序的一例的流程图。
图15是表示凹陷部内的处置卵的拍摄与修正的一例的说明图。
图16是表示在通过照相机单元进行拍摄时对对焦的位置进行调整的原理的示意图。
图17是具备收容处置卵的微型凹陷部的培养皿的说明图。
图18是表示将照相机单元设置于培养室的侧面时的结构例的示意图。
图19是表示从侧面观察托盘时的凹陷部与收容于凹陷部的处置卵的关系的说明图。
具体实施方式
A.第1实施方式:
A1.硬件结构:
对第1实施方式进行说明。图1是胚胎培养装置(也称为培养箱)10的俯视图,图2是表示胚胎培养装置10的一部分的立体图。该胚胎培养装置10是用于将进行了体外受精的处置的卵子(以下称为处置卵)在规定的培养环境下即在恒温、恒湿下培养一定期间的装置。由于处置卵不一定成为受精卵,所以在胚胎培养装置10中培养规定期间。此外,如果体外受精的处置也存在在显微镜下进行的显微授精的情况,则可能也存在使卵子和精子在规定的容器内一起进行的通常的体外受精的情况。培养的处置卵的受精方法不受限。
如图1所示,该胚胎培养装置10具备12个培养单元11~22。培养单元的数量不受限。针对各培养单元11~22的结构和作用,如后所述。该培养单元11~22在平坦的壳体主体9的前后设置有2列,在宽度方向每列各设置有6个。分别对应地在各培养单元11~22设置有开关SW11~SW22。通过对这些开关SW11~22进行操作,对应的培养单元11~22的延时部50通过未图示的驱动机构来开闭。当然,培养单元11~22也可以是手动开闭的构造。
图2表示在培养单元12中延时部50打开的状态。延时部50由照相机模块51和显示器模块52构成。照相机模块51和显示器模块52以相同尺寸形成为一体。在照相机模块51设置有4个照相机单元CA1~CA4。针对它们的构造和作用,如后所述。在各培养单元11~22中,分别准备有培养室R11~R22(参照图3),各培养室R11~22各自的延时部50对于对应的培养室R11~R22而言,也作为盖发挥作用。在延时部50的照相机模块51侧外周设置有硅胶的密封部,若延时部50关闭,则培养室R11~R22内通过该密封部保持在规定气压以下的气密状态。
从外部的储气瓶向胚胎培养装置10供给二氧化碳气体(CO2)和氮气(N2)。这些气体被供给,气体端口31、32设置于胚胎培养装置10的背面。另外,在胚胎培养装置10的背面,也设置有供过滤器34安装的过滤器口35、36。该过滤器34用于除去通过未图示的内置泵吸入的外部空气中的灰尘等异物。在胚胎培养装置10内,将从气体端口31、32输入的二氧化碳气体CO2、氮气N2以及经由过滤器34输入的空气以规定的比例混合而生成混合气体。混合气体中的各气体的比例由未图示的传感器测定,始终被保持为相同比例。
图3是表示培养室R11~R22之一的俯视图。如图所示,培养室R11~R22设置有对收纳有处置卵的托盘(也称为培养皿)进行载置的凹陷的托盘收容部40。托盘91的形状如图5所示。托盘收容部40成为与托盘91的形状匹配的形状。在本实施方式中,托盘收容部40呈长方形的凹陷的1个部位向外侧扩张的形状(扩张部42),托盘91也同样呈1个部位向外侧突出的形状(突出部92)。因此,托盘收容部40形成为无论取前后以及左右中的哪一方都不相对于中心线线对称的形状。因此,在将托盘91载置于托盘收容部40时,不会弄错载置的方向。当然,错误载置的防止也可以通过其他方法例如电气检测等来进行,托盘收容部40、托盘91的形状也可以为在左右及/或前后线对称。另外,也可以在托盘91设置标记,不依赖于载置方向等,根据拍摄到的图像来确定托盘91的配置(朝向等)或直接确定处置卵。
在培养室R11~22的底面设置有供给口43和排气口44。供给口43是用于将混合气体供给至培养室R11~R22的开口。另外,排气口44是用于使混合气体回流的开口。如已叙述的那样,若延时部50关闭,则培养室R11~R22成为大致气密,因此内部的气体环境被保持为恒定,但为了使培养室R11~R22内的温度分布一样,混合气体从供给口43供给,从排气口44排气。此外,混合气体的一部分也稍微从与延时部50的密封部泄漏。这样的话,防止了外部空气从与延时部50的密封部侵入。
在培养室R11~R22各自的侧壁及底面设置有板式加热器H11~H22。加热器H11~H22也可以仅设置于侧壁,或仅设置于底面。或者,也可以将独立的加热器设置于培养室R11~R22。并且,也可以为还设置于盖侧。通过板式加热器H11~H22,将培养室R11~R22内保持为恒定的温度。此外,虽然省略说明,但在培养室R11~R22设置有未图示的温度传感器、气体浓度传感器,并且设置有湿度传感器等,从而能够对培养室R11~R22内的温度、气体浓度、湿度进行检测。通过反馈来自这些传感器的信号,结果将培养室R11~R22内保持为恒温恒湿,且将其气体浓度也保持为恒定。此外,也可以通过将从供给口43供给的混合气体的温度、湿度、气体浓度等保持为恒定,来代替对培养室R11~R22内的温度等进行检测,从而将培养室R11~R22内的环境保持为恒定。
接下来,对延时部50进行说明。图4是表示包含延时部50的胚胎培养装置10的电气结构的说明图。如图所示,在胚胎培养装置10设置有控制部60。控制部60除公知的CPU61、ROM62、RAM63之外,还具备用于进行与存储卡65的数据的交换的存储器接口64、与外部的设备交换信号的通用I/O接口66、交换用于对培养室R11~R22内的环境进行控制的信号的培养室接口67、与延时部50之间进行串行通信的SIO68等。在存储卡65中记录有各培养室R11~R22的温度等与环境有关的信息。
通用I/O接口66与设置于胚胎培养装置10的开关SW11~SW22、进行延时部50的开闭的驱动装置71、产生警告音的警告装置72、对混合气体进行调整的混合气体调整装置73等连接。混合气体调整装置73包括对供给至气体端口31、32的二氧化碳气体或氮气等的压力进行调整的压力调整阀、用于经由过滤器34吸入大气的泵、向培养室R11~R22送入混合气体的泵等。在培养室接口67连接有设置于各培养室R11~R22的板式加热器H11~H22、对混合气体的供给量进行控制的控制阀V11~V22等。控制阀V11~V22设置于从供给混合气体的混合气体供给配管84至培养室R11~R22的配管。
已经说明了在延时部50的照相机模块51设置有4个照相机单元CA1~CA4的情况。如图5、图6所示,这些照相机单元CA1~CA4对托盘91的被设置的凹部即凹陷部95进行拍摄。在托盘91中,如图所示,凹陷部95以每4个集中并集中于4个部位的形态配置。照相机单元CA1~CA4对应于各个集中处而设置。图5所示的区域U1~U4表示照相机单元CA1~CA4各自的拍摄区域。即,各照相机单元CA1~CA4能够一次性对包含4个凹陷部95在内的区域进行拍摄。照相机单元CA1~CA4的透镜的周围设置有引导来自LED的光的光导。照相机单元CA1~CA4在拍摄时朝向托盘91照射来自光导的光。
各照相机单元CA1~CA4也可以一次性对更多的凹陷部95进行拍摄。例如,也可以将各照相机单元CA1设置于16个凹陷部95的中心,一次性通过1个照相机单元CA1对4个区域U1~U4进行拍摄。或者,也可以设为,仅设置照相机单元CA1和照相机单元CA4,各照相机单元CA1对区域U1和U2进行拍摄,照相机单元CA4对区域U3和U4进行拍摄。并且,4个照相机单元CA1~CA4也可以对分别邻接的区域U1~U4重复进行拍摄。这样的话,如后所述,即使在1个照相机单元发生故障而无法拍摄的情况下,通过利用其他照相机单元的影像,也能够取得全部区域U1~U4的凹陷部95的图像。
在图6中示意性地示出拍摄的样子。凹陷部95设置于托盘91的底部,在1个凹陷部95基本上放置有1个处置卵25,其通过矿物油93覆盖。各照相机单元CA1~CA4从托盘91的上方对包含4个凹陷部95在内的区域U1~U4进行拍摄。在拍摄到的图像内,包含处置卵25的图像。照相机单元CA1~CA4能够以几十μm的精度对拍摄时的焦点位置进行调整。针对照相机单元CA1~CA4对处置卵25进行拍摄的样子,之后进行说明。
接下来,对延时部50的内部结构进行说明。图7A是表示延时部50的内部结构的说明图。如图所示,延时部50除已叙述的照相机模块51以及显示器模块52之外,还具备公知的CPU53、ROM54、RAM55、数字信号处理器(DSP)56、SIO57、存储器接口58、照相机接口81、显示接口82等。DSP56是能够高速地对数字信号进行处理的处理器,具备能够遍及多层对适于机器学习的加权运算处理进行处理的结构。DSP56能够高速地对使用了学习完毕模型101的图像的判别进行处理。学习完毕模型101是预先由监督式机器学习专用的计算机生成的模型,内置于延时部50中,能够经由DSP56来利用。如后所述,DSP56具备能够遍及多层对适于机器学习的加权运算处理进行处理的结构是因为存在对学习完毕模型101进行再学习的情况。
在存储器接口58能够装配存储卡59。如后所述,在该存储卡59中记录有通过照相机模块51拍摄到的图像。显示接口82与显示器模块52连接,进行显示于显示器模块52的图像信号的输出、或来自设置于显示器模块52的触摸面板的信号的输入等。照相机接口81与照相机模块51连接,进行对照相机模块51的各照相机单元CA1~CA4的焦点位置进行控制的信号的交换、或接收各照相机单元CA1~CA4拍摄到的图像的信号这样的处理,并且进行向在拍摄时被点亮的LED的信号输出。此外,存储器接口58等“接口”在图中简记为“I/F”。
使用图7B对照相机模块51中的照明进行说明。如图所示,在照相机模块51附设有LED模块83。在LED模块83中,与各照相机单元CA1~CA4对应地设置有使用了照明用LED的发光元件LE1~LE4。发光元件LE1~LE4分别根据来自照相机接口81的信号进行点亮或熄灭。在默认情况下,发光元件LE1~LE4熄灭。此外,发光元件LE1~LE4也可以是除发光二极管(LED)以外的发光元件例如有机EL等。另外,也可以将始终点亮的氙气灯等设置于延时部50的外部,通过光纤等将其光带入延时部50内部,并通过光开关等接通或断开向照相机模块51的导光。
各发光元件LE1~LE4的发光面朝向照相机模块51侧,形成于照相机模块51的导光路LG1~LG4的端面与该发光面相接。导光路LG1~LG4是所谓的光导,与光纤相同,由芯和包层构成,从端面入射的光不会泄漏到外部,被引导至圆环状的终端。分别在导光路LG1~LG4被引导的各发光元件LE1~LE4的光从圆环状的终端在各照相机单元CA1~CA4的拍摄方向上即向图6中的凹陷部95方向射出。针对各发光元件LE1~LE4的发光,选择了不会给予处置卵25影响的波长。此外,照射凹陷部95的光的频率也优选为容易看到在处置卵25的受精时出现的前核即在前核和除前核以外的部位光的吸收或反射的程度存在较大不同的频率。
A2.胚胎培养装置中的处理的概要:
以以上说明了的第1实施方式的硬件结构为前提,胚胎培养装置10进行以下的处理。在本实施方式中,胚胎培养装置10的控制部60负责整体的控制,延时部50的CPU53负责处置卵25的拍摄或显示。首先,根据图8对整体的处理进行说明。图8是表示培养单元控制例行程序的流程图。该处理由控制部60执行。
若对胚胎培养装置10接入电源,则以规定的时间间隔反复执行图8所示的培养单元控制例行程序。若开始该处理例行程序,则首先决定进行针对哪个培养单元的处理(步骤S200)。实际上,通过将确定成为处理对象的培养单元11~22的变量n在数值11~22之间依次递增,来确定成为处理对象的培养单元。此外,若变量n被依次递增而到达值22,则在下一次的递增中,变量n被设定为值11。即,各培养单元11~22以在12次中各出现1次的比例成为处理对象。若在步骤S200中决定成为处理的对象的培养单元的编号n,则接下来进行与该培养单元n有关的标志Fn的值是否为1的判断(步骤S205)。在胚胎培养装置10的电源已接入时,标志Fn的值被重置为0。
因此,在开始使用各培养单元11~22之前,标志Fn的值被判断为不是值1,接下来进行使用前显示(步骤S210)。使用前显示是指经由SIO68向成为处理对象的培养单元n的延时部50发送信号而显示该培养单元n处于使用前的处理。将显示的一例在图9的栏(A)中示出。因此,在使用前的培养单元的延时部50的显示器模块52中,将“在开始使用时,请点击『开始』”这样的说明文字全部显示,在触摸屏上显示“开始”按钮76。
接下来,对画面的“开始”按钮76是否被点击进行判断(步骤S225),如果“开始”按钮76被点击,则接下来进行盖是否被开闭的判断(步骤S230)。盖即延时部50的开闭在与要使用的各培养单元n对应的开关SWn被操作时进行。对开关SWn进行操作,打开要使用的培养单元n的延时部50,将在凹陷部95收纳有处置卵25的托盘91配置于培养室Rn,再次对开关SWn进行操作,关闭延时部50。由此,判断为进行了盖的开闭。
在进行了盖的开闭的情况下,判断为在培养室Rn配置有托盘91,并在执行了开始处理(步骤S240)的基础上,将标志Fn的值设定为1(步骤S255),之后跳至“下一步”而暂时结束本处理例行程序。这里,开始处理(步骤S240)是指在使培养室Rn内的温度或气体浓度等成为所希望的状态的基础上对延时部50指示延时处理的开始的处理。另外,标志Fn的值为1表示培养室Rn处于使用中。若执行开始处理,则使显示器模块52显示培养室内的信息。将其一例在图9的栏(B)中示出。在该例中,显示为“开始培养和延时处理”,且在其下方显示当前的培养室Rn的信息。具体而言,显示拍摄的开始时间、经过时间、拍摄的时间间隔等与拍摄有关的信息、培养室内的环境即温度、湿度的信息、以及气体浓度等信息。温度、气体浓度由未图示的传感器来检测。除这种信息之外,也可以显示确定处置卵的患者的信息例如病历号等。
这样,若开始培养并且标志Fn的值被设定为1,则接下来启动本处理例行程序,在通过步骤S200确定了培养室Rn的时机,步骤S205中的判断成为“是”,处理转变为步骤S260。在步骤S260中,对延时部50指示继续延时处理。针对延时部50执行的延时处理,使用图14之后详细进行说明,但简单而言,是将培养室内的托盘91的各凹陷部95多个集中进行拍摄,并将图像按照凹陷部95的每一个进行分割并保存,单独地对凹陷部95内的各处置卵25的受精的可能性进行判断,将所需图像显示于显示器模块52的处理。
在对延时部50指示继续这样的延时处理之后,进行是否受理了使用结束的指示的判断(步骤S265)。使用结束的指示通过胚胎培养员对显示器模块52的触摸面板进行操作而得到。如果没有使用结束的指示,则保持原样跳至“下一步”而暂时结束本处理例行程序。如果有使用结束的指示,则对是否进行了盖的开闭进行判断(步骤S270),在确认到进行了开闭之后,执行结束处理(步骤S280)。结束处理是结束培养室Rn内的温度控制等的处理。之后,将标志Fn的值设定为0(步骤S295),暂时结束本处理例行程序。
A3.学习完毕模型的生成处理:
如已叙述那样,本实施方式的延时部50具备学习完毕模型101,并经由DSP56进行图像识别。该学习完毕模型101预先通过其他计算机生成。对该生成处理简单地进行说明。图10是表示生成学习完毕模型101的处理的位置的流程图。该处理通过未图示的其他学习用计算机来进行。该学习用计算机能够处理进行监督式学习(supervised learning)的多层神经网络。
若开始该处理,则学习用计算机首先取得教师图像(步骤S100)。教师图像是指附有图像和表示该图像是什么样的内容的标签的图像。在图11A~图11D以及图12A~图12D中示出这样的图像的一例的图11A对赋予有标签A的图像进行例示,该标签A表示是未确认到前核的卵,图11B对赋予有标签B的图像进行例示,该标签B表示是确认到1个前核的卵,图11C对赋予有标签C的图像进行例示,该标签C表示是确认到2个前核的卵,图11D对赋予有标签D的图像进行例示,该标签D表示是确认到3个前核的卵。另外,图12A对赋予有标签E的图像进行例示,该标签E表示是未开始授精处理后的卵裂的状态的胚胎,图12B对赋予有标签F的图像进行例示,该标签F表示是在授精处理后的卵裂中直接转变为分裂球数为2个的状态的胚胎,图12C对赋予有标签G的图像进行例示,该标签G表示是在授精处理后的卵裂中转变为分裂球数为3个的状态的胚胎,图12D对赋予有标签H的图像进行例示,该标签H表示是在授精处理后的卵裂中转变为无序(chaotic)的状态的胚胎。虽然省略了图示,但也可以包含标记为表示是卵裂数为4~8个的胚胎的图像、或标记为表示是形成有胚泡的胚胎的图像。在步骤S100中,取得多张例如几百到几千张这样的带标签的图像。
接下来,使用该图像进行机器学习(步骤S110)。机器学习如图13所例示那样使用多层神经网络来进行。在该图中,长方体L1~Ln-1表示基于CNN的n-1层的各层。白圈表示神经网络的节点。在本实施方式中,虽然使用了CNN(Convolutional Neural Network:卷积神经网络),但也可以利用其他类型的神经网络,例如胶囊网络型或向量神经网络型等。
在第1层L1中,设置有输入在步骤S100中取得的教师图像的图像数据的多个节点。在本实施方式中,将规定的分辨率的图像的各像素的灰度值设为向作为输入层的第1层L1的各节点的输入数据,并从最终输出层Ln-1输出被赋予给该图像的标签作为最终输出数据。虽然被输入的图像可以是在1个处置卵被处置之后经过规定的时间的时刻拍摄到的1个图像,但关于相同的处置卵,也可以为将隔开任意的时间的2个图像作为组而输入的图像,对其进行学习。另外,还可以使用3个以上的图像。在本实施方式中,也可以单独学习各图像。
被输入的图像的各像素的灰度值被归一化为0以上1以下的值。在本实施方式中,将单色图像的灰度值作为输入值,但也可以使用RGB形式的彩色图像的各色灰度值的数据。在使用彩色图像的情况下,针对RGB的各色设置训练用的神经网络,从各神经网络各自的最终层输出针对RGB的各色的中间输出数据,将上述3个最终层合并作为整体的最终输出层Ln-1即可。
第1层L1的各节点的输出被施加规定的加权,而与下一层即第2层的节点连接。这在第2层L2及以后至第n-2层为止相同。最终输出层Ln-1的结果因该各层间的各节点间的加权而不同。通过反复进行修正各节点间的加权以使该结果接近预先准备的教师数据(标签)的作业,最终完成学习,生成学习完毕模型101。加权的修正例如通过求出损失函数来进行是简便的。具体而言,通过损失函数来评价所输出的最终输出层Ln-1的各节点(这里,匹配标签的种类为A~H)的值。如果教师数据例如是针对图11A的数据,则将节点A的值为1、其他的节点B~H的值为0的状态设为目标状态,通过损失函数来确定与实际的输出的差(学习误差)。在此基础上,修正各节点间的加权。对所取得的全部图像反复进行如下作业,即,在修正后,通过损失函数再次求出学习误差,并求出与先求出的学习误差的差分(微分值),来判断学习误差是否通过加权而减少,进而修正加权。此外,如果标签的种类增加,则最终输出层的节点也增加即可。
作为求出学习误差的损失函数,已知有以下几个函数。也可以采用任意的损失函数。作为一例,有交叉熵误差。损失函数针对教师数据中所包含的数据的全部或一部分来计算。通过与教师数据的差异的平均或总和来表现1次学习中的损失函数。若能够得到1次学习中的学习误差,则通过公知的最优化算法来修正各层间的加权。作为最优化算法,例如有随机梯度下降法等。
若对教师数据的全部以预定的次数进行了加权的修正,则判定训练模型的泛化是否完成(步骤S120)。在泛化中,取得针对教师数据的训练模型的输入与输出的差异的程度,如果差异的程度小于预定的阈值,则判定为泛化已完成。反复进行机器学习处理(步骤S110),直至判断为泛化完成。因此,反复进行修正加权的处理,直至泛化完成,并且反复进行使用了误差函数的学习误差的运算以及加权的修正。
最终输出层Ln-1的各节点对应于成为识别对象的图像的标签。在给予作为教师数据的图像时的最终输出层Ln-1的各节点的输出值被归一化为总和成为值1。即,虽然当某个图像已被输入时,与图像的性质对应的值被输出至最终输出层Ln-1的各节点,但如果适当地进行学习,则与该图像的标签对应的节点的输出值成为最大值。因此,如果学习进行到理想的水平,则在给予了各教师数据的情况下,最终输出层Ln-1的1个节点的输出为值1,其他为值0,能够识别图像的标签。然而,就像在人的判断中可能存在误判定那样,无论多么反复地进行学习,多层神经网络的各节点的值通常都取大于0且小于1的范围的值。因此,将最终输出层Ln-1的各节点中的其输出值为最大值的节点作为判定结果,即作为表示图像是与该节点对应的标签的结果来处理。是否适当地进行学习依赖于神经网络的构造以及能够准备多高质量的教师数据。在本实施方式中,使用几百张图像进行了学习,但仍优选使用更多的图像。
这样,若判断为学习完成,并且泛化完成,则接下来进行保存学习完毕模型101的处理(步骤S130)。学习完毕模型101通过专用的计算机生成,暂时保存于该学习处理用的计算机内,但之后转移设置于胚胎培养装置10内的延时部50。在延时部50中,如图7A所示,可经由DSP56进行参照地存储。此外,在本实施方式中,学习完毕模型101内置于延时部50,但也可以可经由通信线路进行参照地放置于云上。或者,也可以保存于图4所示的控制部60内。在保存有学习完毕模型101之后,跳至“结束”来结束学习完毕模型生成处理例行程序。若输入处理卵的图像,则所生成的学习完毕模型101通过学习了各层的加权的多层神经网络,能够输出图像与哪个标签对应,即图像中所映现的处置卵是否有前核、前核的数量有几个、卵裂成几个、是否形成有胚泡等。
在对单一的图像进行判断的情况下,关于处置卵的生长,判断处于哪个阶段,并输出所准备的输出层Lout的各节点中的与处置卵的生长阶段对应的节点的值最高的那种状态。因此,在图13所示的最终输出层Lout中,如果使预定的阈值以上的值的节点的输出为值1,使小于阈值的节点的输出为值0,则能够输出对处置卵处于哪个阶段进行判断而得到的结果。当然,也可以直接输出各节点的值。在进行不是逐张地判定图像而是将在不同的时机拍摄到的多个图像作为组来进行判断的那种学习的情况下,只要以构成组的图像的数量准备图13所示的多层神经网络并进一步组合多个神经网络的输出的方式进行学习即可。在该情况下,标签也只要根据是前核成为0→2→0的正常受精卵、还是前核成为0→2→3的异常受精卵这样的经时变化来制作即可。
接下来,根据图14A及图14B对延时处理进行说明。图14A是表示延时控制处理例行程序的流程图。该处理是若在图8的步骤S240中指示延时处理的处理的开始则在延时部50中以规定的时间间隔被反复执行直至进行步骤S280中的结束处理的处理。另外,图14B是详细表示延时控制处理中的判断处理(步骤S400)的流程图。之后详述判断处理。
若开始图14A所示的延时控制处理,则首先判断从上次进行处置卵的图像的拍摄是否经过了规定时间(步骤S300)。这里,规定时间相当于在图9的栏(B)中所示的拍摄间隔。当然,也可以不是在图9的栏(B)中例示出的10分钟,而是更短时间或是更长时间。如果从上次进行拍摄经过了规定时间(步骤S300:“是”),则进行拍摄处理(步骤S310)。拍摄对多个凹陷部95集中进行,即各照相机单元CA1~CA4对分别存在于区域U1~U4的4个凹陷部95集中进行拍摄。拍摄到的图像与拍摄时刻的数据一起保存于存储卡59。
在拍摄处理(步骤S310)中,通过同时或依次驱动存在于1个延时部50的照相机模块51的4个照相机单元CA1~CA4来进行。如图5所示,通过使各照相机单元CA1~CA4动作,对收容于托盘91的16个凹陷部95的处置卵25的状态进行拍摄。该样子如图15所示。照相机单元CA1~CA4各自对区域U1~U4进行拍摄,但在本实施方式中,其中,包含4个凹陷部95。
各照相机单元CA1~CA4的拍摄从托盘91的上方进行。此时,照相机单元CA1~CA4一边使焦点位置移动一边对1个凹陷部95附近拍摄5张图像。该样子如图16所示。在图16中,示意性地将透镜L1、L2描绘在照相机单元CA1之外,但实际上,透镜L1、L2内置于照相机单元CA1。通过使透镜L1、L2的至少任一方沿光轴在前后移动,照相机单元CA1的焦点位置能够相对于中央位置GL0变化至位于远离照相机单元CA1的一侧的位置GL+1、更远的位置GL+2、位于接近照相机单元CA1的一侧的位置GL-1、更近的位置GL-2。如果是人的卵子,则处置卵25的大小为100~150μm左右,因此各位置间的差异被设定为大致20~25μm。在该情况下,照相机单元CA1~CA4的透镜结构为焦点深度较浅的结构,在各焦点位置的拍摄的范围对焦为25~30μm。每1个这样的照相机单元CA1~CA4拍摄5张图像。拍摄多张焦点位置不同的图像是因为,不知道在进行受精的判断时成为线索的前核等的存在位置在处置卵25中是否存在于大致为球体的处置卵25的哪个位置。此外,也可以不进行这样的焦点位置的变更,而通过焦点深度较深的透镜结构来拍摄单一的图像。
在拍摄处理之后,进行将拍摄到的图像以凹陷部95为单位进行分割的处理(步骤S330)。这里,在照相机单元CA1~CA4分别拍摄的区域U1~U4中,分别存在4个凹陷部95,因此拍摄到的图像被分割为4个。接下来,对分割后的图像进行对其进行修正的处理(步骤S340)。修正是为了去除图像的失真或污垢而进行的。为了一次性对多个凹陷部95进行拍摄,无法使全部凹陷部95存在于照相机单元CA1~CA4的光轴的正下方。因此,在拍摄各凹陷部95而得到的图像中,会产生失真。在彩色图像的情况下,也存在产生由像差引起的模糊或着色的情况。
因此,在图像修正(步骤S340)中,对这样的失真或污垢等进行修正。图15是表示修正的一例的说明图。若分割并取出区域U1的1个各凹陷部95,则由于不在光轴正下方,所以形成为正圆的各凹陷部95的轮廓变形,不会成为正圆。当然,在处置卵25的拍摄图像中,也产生相同的变形。如图示虚线所示,若对失真的图像进行修正,则各凹陷部95的轮廓大致成为正圆。处置卵25的形状也被同样修正,成为本来的形状。这样的修正不仅是为了修整形状的失真,还为了消除由色差等引起的着色或由透镜的污垢等引起的重影等而进行。
在图像修正之后,只要能够进行修正,接下来就进行将图像保存于存储卡59的处理(步骤S350)。此时,以分割出的图像为单位进行保存。当然,也可以通过文件名等在分割出的各图像上附有用于判别由照相机单元CA1~CA4的哪一个进行了拍摄的签条等来进行链接。另外,在保存时,可以仅保存修正后的图像,也可以与修正前的图像一起进行保存,或与修正前的图像分开进行保存。保存不限于存储卡59,例如也可以保存于云上的服务器。保存目的地不限于存储卡,也可以是硬盘或SSD等其他存储介质。
CPU53对以上说明了的一系列处理进行监视,即,对从照相机单元CA1~CA4对区域U1~U4的拍摄开始至在分割、修正的基础上进行保存的处理为止是否产生任何异常(步骤Serr)进行监视。在中断处理中,随时判断异常的发生。
若在从拍摄至保存为止(步骤S310~S350)的期间检测出发生任何异常(步骤Serr),则进行将异常的内容显示于显示器模块52的异常显示处理(步骤S320)。此时,显示器模块52作为对异常进行提示的提示部发挥功能。作为异常显示的内容,可能是如下内容等。
□灯点亮异常
□照相机动作不良
□修正处理异常
□图像分割或保存异常
如果产生这些异常,则相应的地方被标记显示。如果重复产生异常,则多个项目被标记。
在异常中,“灯点亮异常”是指已叙述的LED模块83的各发光元件LE1~LE4未点亮的情况或光由于导光路LG1~LG4的异常而未到达的情况等凹陷部95未被正常照明的情况。在这种情况下,拍摄到的图像变暗,图像的平均亮度没有进入预定的范围,因此能够判别。照相机动作不良是照相机单元CA1~CA4不动作的情况下的拍摄用的CCD或CMOS的受光模块不动作的情况等。当然,在具备光学式的对焦装置或快门的情况下,也包含这些器件的动作不良。就受光模块而言,例如在读出用的时钟未正常输入的情况下等,能够判断为照相机动作不良。此外,在本实施方式中,在照相机单元CA1中,设置有使从发光元件LE1~LE4射出并经由导光路LG1~LG4对凹陷部95进行照明的照明光均匀的扩散板,照明由于该扩散板的安装方向或表背的安装错误等而不均匀的情况等也包含在灯点亮异常中。
修正处理异常是指无法正常地进行去除拍摄到的图像的失真或污垢的修正的情况。例如,虽然失真通过预先输入距离光轴的差距等作为参数,并使用该参数进行形状的修正等来除去,但在凹陷部95的形状距离正圆差距较大的情况下等,修正结果判断为无法正常地进行修正处理。另外,去除污垢的处理通常通过除去画面上的1个或2个点左右的孤立的点来进行,但在这样的孤立的点的数量为规定个数以上的情况下等,判断为修正的处理无法正常进行。
在图像分割或保存异常中,分割异常是指在对拍摄多个凹陷部95而得到的图像进行分割的情况下该分割处理未正常结束的情况、或者照相机单元CA1等的拍摄的中心偏离而由于进行了分割而导致各凹陷部95未收纳于各个分割图像中的情况等。分割图像的保存异常是指在将分割出的图像的文件保存于存储卡59等时因存储卡59的容量不足或故障等而无法正常保存的情况等。
在结束以上的处理(步骤S330~S350)之后,尤其是如果没有异常,则执行对处置卵的状态进行判断的判断处理(步骤S400)。在判断处理(步骤S400)中,读出保存于存储卡59的图像,使用学习完毕模型101,根据读出的图像对处置卵的状态进行判断。该判断处理的详细情况如图14B所示。
若开始判断处理,则首先对是否是可进行受精或卵裂的判断的时机进行判断(步骤S410)。受精的判断是指对在进行了受精的处置的处置卵25中是否产生了受精进行判断。受精通常在受精的处置之后,早的话8小时左右,平均22小时左右,即使在晚的期间,经过36小时也会成立。实施了受精的处置的处置卵25在处置后迅速收容于托盘91的凹陷部95,并被放入培养单元11~22,因此若从延时部50的拍摄开始起经过6小时左右,则步骤S410中的判断成为“是”,即能够进行受精判断。当然,也可以进一步缩短该时间,在托盘91收容于培养室R11~R22之后不久,能够进行受精判断。在该情况下,无需步骤S410的判断。
若判断为能够进行判断,则接下来进行判断处理(步骤S415)。该处理是读出按照各凹陷部95的每一个分割并保存于存储卡59的处置卵25的图像,并对图像中所映现的处置卵处于何种状态进行判断的处理。如在图11A~图11D及图12A~图12D中例示出那样,处置卵能够取得直至受精的多种状态以及直至胚泡形成的多种状态。如已经说明的那样,在这些状态中,也包括未必能说是正常受精的状态或不能说是正常的卵裂的进展的状态。由于学习完毕模型101对表示正常的受精或卵裂的进展的状态的图像、和不能说是正常的状态的图像都学习完毕,所以DSP56能够进行使用学习完毕模型101对所取得的图像中所映现的处置卵处于哪种状态进行判断的判断处理(步骤S415)。此时,在本实施方式中,所取得的图像是指最新拍摄到的图像。这是因为在本实施方式中通过单独的图像进行监督式机器学习。因此,在进行使用了新的图像的判断时,也同样使用1张图像进行判断。
与此相对,关于相同的处置卵,也可以使用处置之后不久拍摄到的多张图像即延时图像来进行判断。或者,也可以使用隔开任意时间间隔拍摄到的2张图像的组合来进行判断。此外,学习中的任意时间间隔与判断中的任意时间间隔可以相同,也可以不同。例如,学习时的图像是每隔5分钟拍摄到的图像,判断时的图像也可以是每隔10分钟拍摄到的图像。这是因为在处置卵的内部进行的受精或卵裂这样的现象相对于时间轴存在偏差,因此拍摄的时间间隔一致没有特别意义。
通过利用图7A所示的DSP56的高速处理功能,能够实时地实现这种基于图像的判断的处理。在执行基于图像的判断处理(步骤S415)之后,进行针对判断结果决定这之后的处理的处理(步骤S420)。判断结果大致分为以下3个。
·无法判断
·判断为确认到2个前核
·判断为处于其他状态
无法判断是指图13所示的最终输出层Lout的输出均未超过阈值(例如值0.5),处置卵处于哪一阶段均无法判断的情况。这样的结果也有可能在处置卵中产生未学习的某些异常时生成,但除此以外,例如如果是前核出现之前的处置卵的图像或未达到4细胞期的胚胎的图像,则也可能生成。在该情况下,不特别地进行任何处理,跳至“下一步”而暂时结束本判断处理例行程序。此外,在该阶段中,也可以将一次性拍摄到的图像显示于显示器模块52,让胚胎培养人判断。另外,也可以在步骤S420的判断结果中设置是否属于学习完毕的不良胚胎等这样的选项,在判断为成为判断处理的对象的图像属于预先学习了的不良胚胎的情况下,显示该情况,受理中止培养等指示。
另一方面,如果使用了学习完毕模型101的判断结果是在处置卵中确认到2个前核这样的结果,则接着进行对针对该处置卵的过去的图像的判断结果进行读出的处理(步骤S425)。由于各处置卵的图像以处置卵为单位与判断结果一起被保存,所以容易读出过去的图像及其判断结果。在读出过去的图像及其判断结果之后,判断是否为正常受精。在判断为受精正常的情况下,在显示器模块52进行正常判断时显示(步骤S441)。另一方面,在无法判断为受精正常的情况下,进行非正常判断时显示(步骤S443)。
受精是否正常的判断能够通过确认图像中的前核的数量的变化来进行。在正常受精的卵中,通常在受精后22小时以内出现2个前核。在本实施方式中,在判断处理中,通过对在不同时间取得的2张图像进行解析来判断处置卵是否已受精。即,在检测出前核的数量为2个的图像时,读出过去的图像并进行对照,在前核数从0个直接变化为2个这种情况下,判断为是正常受精。所谓“直接”,是指不经由前核为1个这种状态。另一方面,即使是检测出前核的数量为2个的图像的情况,在读出过去的图像并进行对照而前核数不是从0个直接变化为2个的情况下,例如,在根据最初的图像判断为前核2个的情况下,或在前核数0→1→2地进行了变化的情况下等,也判断为不是正常受精。当然,该判断也可以通过其他方法来进行。例如,在学习完毕模型101被学习成处理按时间序列保存的多张图像的情况下,也可以给予多张图像,直接使用学习完毕模型101来判断是否为正常受精。
在图9的栏(C)、栏(D)中示出根据步骤S430中的判断的显示的一例。在该例中,在显示器模块52显示有对受精进行判断而得到的处置卵25的最新的图像、该处置卵进入第几号的凹陷部95的编号显示77a、表示判断结果的消息77b、和指示今后的处置的各种显示78。在图9的栏(C)中,对使用学习完毕模型101判断为“正常受精”的情况进行例示。在该情况下,作为消息77b,显示有“判断为正常受精”这样的消息。另外,作为各种显示78,显示有用于择一地指示是承认该判断还是判断错误的单选按钮、和在错误判断的情况下指定是否进行学习完毕模型101的再学习的复选框。并且,在画面上,作为对该处置卵的今后的处置,显示有指示培养结束的“培养结束”按钮79a、和指示培养继续的“培养继续”按钮79b。
另一方面,受精的判断(步骤S430)为不是正常的受精这样的判断时的显示(步骤S443)如图9的栏(D)所示那样,作为消息77b,显示有“判断为不是正常的受精”这样的消息。另外,作为各种显示78,显示有用于择一地指示是承认该判断还是判断错误的单选按钮、和在错误判断的情况下指定是否进行学习完毕模型101的再学习的复选框。并且,在画面上,作为对该处置卵的今后的处置,显示有指示培养结束的“培养结束”按钮79a、和指示培养继续的“培养继续”按钮79b。在这些例子中,显示有进行了判断的最新的图像,但在与以前的图像比较而进行了判断的情况下,也可以一并显示成为判断的对象的多张图像。在该情况下,可以在显示器模块52排列显示,例如也可以通过点击鼠标按钮来逐张地切换来显示。另外,如果在判断中存在特意作为特别的特征来识别的部分,则也可以将该部分放大来显示。
在步骤S420的判断中,判断为使用学习完毕模型101判定出的图像是2个前核以外的图像的情况下,进行判断对象图像显示(步骤S445)。该判断对象图像显示是在所判定的图像是2个前核以外的确定的图像例如3个前核的图像、卵裂开始的2细胞期的图像、4细胞期的图像、或被视为形成有胚泡的图像时,通过学习完毕模型101而某一节点的输出成为阈值以上的情况下,与图9的栏(C)或(D)相同地,对该处置卵的图像、该图像的凹陷部的编号、和作为之后的处置的指示而受理是培养结束还是培养继续的按钮进行显示的处理。
在判断为成为判断处理的对象的图像是卵裂的图像例如2细胞期、4细胞期、8细胞期等的图像的情况下,也可以读出这以前的图像来判断是否正常地进行了卵裂。例如,也可以在正常受精(胚胎)→2细胞期→4细胞期地进行了进展的情况下,判断为是良好胚胎,在这样的阶段期间出现3细胞期等的情况下,判断为不是良好胚胎,并显示该判断的结果。此外,在该实施方式中,除受精判定以外,不进行再学习,但也可以显示受理进行再学习的指示的按钮,根据指示进行再学习。针对再学习,之后叙述。
在进行了上述各显示处理(步骤S441、S443、S445)中的任一个之后,进行胚胎培养员的判定和受理基于该判定的输入的处理(步骤S450)。该处理是看到显示器模块52的显示的胚胎培养员进行判定并受理基于该判定的输入的处理。例如,在前核为2个并且装置判断为正常的受精的情况下,胚胎培养员可以接受该判断的结果而判定为结束或继续培养。在该情况下,通过按下按钮79a或79b将胚胎培养员的判定的指示作为输入来受理。或者,对于前核为2个且被判断为正常受精的图像,胚胎培养员有时将其判定为不是前核为2个的图像。在该情况下,否定装置的判断,将进行再学习这样的胚胎培养员的指示作为输入来受理。
关于卵裂,如果根据患者的状态预先决定在哪个细胞期进行胚胎移植,则胚胎培养员判定为在该时机例如2细胞期、4细胞期或胚泡形成期结束培养。在该情况下,将胚胎培养员的指示作为输入来受理。如果不是胚胎移植的时机,则将继续培养的指示作为输入来受理。
经由这样的胚胎培养员的判定和基于该判定的指示,接下来对是否需要“再学习”进行判断(步骤S460)。对于使用了学习完毕模型101的判断,在胚胎培养员认为该判断错误而将各种显示78的“要再学习”的复选框选上的情况下,进行再学习的处理(步骤S470)。所谓再学习,是对进行了一次性的学习,将需要进行再学习的图像作为新的图像追加,而对学习完毕模型101的层间的加权进行修正或追加的处理。这样的处理可以通过再次重新进行使用图10说明了的学习完毕模型的生成处理来实现,也可以利用通过向已经生成的学习完毕模型101附加新的层来进行再学习的转移学习的方法来实现。另外,也可以采用其他再学习方法。此外,再学习也可以使用DSP56在延时部50的内部进行,但也可以在除延时部50以外的胚胎培养装置10的专用电路中进行。或者,也可以利用通信线路来利用网络上的学习专用的计算机,经由通信线路来接收其结果。
在进行了与是否需要再学习有关的判断(步骤S460)和需要时的再学习(步骤S470)之后,接下来对是否需要取出托盘91进行判断(步骤S480)。在来自胚胎培养员的输入为“培养结束”的情况下,判断为取出托盘(步骤S460:“是”),进行取出托盘91的处理(步骤S490),在来自胚胎培养员的输入为“培养继续”的情况下,直接进行继续培养的处理(步骤S495)。继续培养的处理是继续进行将培养室Rn内的环境维持为适于培养的状态的处理的处理。在这些处理结束后,跳至“下一步”,结束本处理例行程序。
以上说明了的第1实施方式的胚胎培养装置在12个培养室R11~R22的每1个设置有延时部50,并以规定的时间间隔对分别收容于托盘91的多个凹陷部95的处置卵25进行拍摄,使用该图像,应用预先通过监督式机器学习生成的学习完毕模型,进行与处置卵的生长有关的判断,这里,特别地进行是否进行了正常的受精的判断,并根据判断的结果,从存储部读出被判断为满足预先设定的条件的处置卵的卵图像,并对其进行显示。因此,能够使用不使收容于凹陷部95来培养的处置卵25相对于设置于显示器模块52的照相机单元相对地移动而拍摄到的图像,进行是否进行了正常的受精或者是哪个细胞期的胚胎之类的判断,因此能够减少对培养中的处置卵不利的环境的变动。而且,能够准确地把握培养中的处置卵的状况来采取必要的应对措施。这里,能够准确地进行培养的结束和与此相伴的受精卵冷冻保存或胚胎移植之类的处置。或者,也能够进行培养继续的判断,而进一步实现处置卵的生长。
在本实施方式中,使照相机单元CA1~CA4一一对多个凹陷部进行拍摄,并将图像分割为每个凹陷部95的图像进行保存。因此,能够减少拍摄的次数,能够缩短拍摄的时间间隔。并且,由于对分割出的图像的每个进行修正,所以能够基于修正后的图像进行受精或卵裂的判断,能够更正确地进行受精或卵裂的判断。另外,由于保存针对每个凹陷部95分割出的图像,所以能够仅读出成为目标的凹陷部95的图像。因此,能够降低将其他凹陷部95的处置卵25错误地作为受精判断的对象等的可能性。
在上述实施方式中,在照相机单元CA1~CA2对凹陷部95的拍摄(图14,步骤S310)或之后的图像的分割(步骤S330)、图像的修正(步骤S340)、图像的保存(步骤S350)中的任一个中发生异常的情况下,对该异常进行检测,并将其显示于显示器模块52。因此,在凹陷部95的图像的获取中发生任何异常的情况下,能够立即知道该异常。因此,容易避免长时间得不到凹陷部95内的处置卵25的图像而无法判断受精或难以判断受精之类的情况。获知异常的使用者能够采取修理胚胎培养装置10、或者替换照相机单元、或者更换延时部50本身、或者将托盘91移换至其他培养室R11~R22等应对措施,来继续进行处置卵25的拍摄、分割、修正、保存。
在上述实施方式中,无需为了进一步对处置卵25进行拍摄而移动托盘91或拍摄装置(照相机等)。因此,不仅能够使胚胎培养装置10小型化,而且由于不具有可动部,所以能够提高胚胎培养装置10的可靠性。另外,也不会产生伴随托盘或照相机的输送的振动、噪声等。并且,能够缩短对处置卵25进行拍摄的时间间隔。在移动托盘91进行拍摄的系统中,例如,若在托盘的移动和拍摄上花费m分钟,则在对12个托盘91全部进行移动、拍摄时,需要花费12×m分钟。即,时间间隔不能短于该时间12·m分钟。与此相对,在本实施方式的胚胎培养装置10中,拍摄的时间间隔多少能够缩短到照相机单元CA1~CA4的拍摄间隔。当然,也可以连续地进行拍摄。
并且,根据本实施方式,针对收容于1个培养室R11~R22的1个托盘91,准备有1个延时部50,在该延时部50设置有显示器模块52,在此处显示收容于该培养室R11~R22的托盘91的处置卵25的图像。因此,还具有如下优点,即,显示于显示器模块52的图像与对开关SWn进行操作而打开了延时部50时的托盘91成为一一对应的关系,图像与处置卵的关系极为明确。
并且,在本实施方式中,由于以延时部50为单位来实施延时控制处理,所以能够以培养单元11~22的延时部50为单位单独地设定延时的处理,例如拍摄的时间间隔或显示的图像的形态等。例如,如果存在特别担心授精处置后的经过的处置卵,则也容易采取如下应对措施,诸如缩短拍摄的时间间隔,或者在对受精或卵裂的状态进行判断时要求胚胎培养员的判断。
另外,本实施方式的延时部50分别具备存储卡59,将以规定的时间间隔拍摄到的图像按照凹陷部95的每一个分割并记录。因此,不会将对在该培养室Rn中培养的处置卵进行判断而得到的图像,误作为其他处置卵的图像。如果需要,则能够以存储卡为单位对拍摄到的图像进行管理、保管、废弃等,处理简便。
在图10所示的处理中,为了便于说明,用1个流程图示出以规定的时间间隔进行的拍摄处理和与处置卵的生长有关的判断处理,但双方也可以通过不同的处理例行程序非同步地进行。
对将拍摄和判断作为一系列处理来进行时的显示时间进行研究。在载置于1个培养室Rn内的托盘91设置有2×2×4个(共计16个)凹陷部95,能够收容最多16个处置卵。1个延时部50能够使用4台照相机单元CA1~CA4对上述16个凹陷部95同时进行拍摄。因此,考虑一边将收容于这16个凹陷部95的处置卵依次显示于显示器模块52一边进行上述判断和该判断的结果的显示的情况。若拍摄间隔为10分钟,则每1个凹陷部95能够进行约50秒的显示。因此,胚胎培养员能够看到该显示而知道收容有成为判断对象的处置卵的凹陷部95的编号。另外,也可以对培养的结束进行判断。此外,拍摄的时间间隔也可以延长。如果一次性拍摄的凹陷部的数量少,则也可以缩短时间间隔。这里,拍摄的凹陷部的数量可以是实际上配置有处置卵的凹陷部的数量,也可以是凹陷部的最大数量。
由于授精处置很少同时进行,所以即使在本实施方式的胚胎培养装置10中存在12个培养单元11~22,作为胚胎培养装置10整体,也当然不会同时在12个培养单元中显示处置卵。因此,如果仅将对受精或卵裂进行了判断的处置卵显示于显示器模块52,则即使存在12台培养单元11~22,胚胎培养员也能够看到依次显示的该图像,而进行受精或卵裂的确认、托盘91的取出、之后的处置等应对措施。
B.其他实施方式:
在以上说明了的实施方式中,延时控制处理由延时部50单独来执行,与此相对,也可以通过控制部60也包含延时控制处理地实施整体的处理。另外,也可以构成为从将处置卵25收容于托盘91的凹陷部95的时候起至将受精了的受精卵送出至下一处置的时候为止全自动地进行的装置。
在上述实施方式中,以1个延时部50为单位准备了4个照相机单元CA1~CA4,但每个延时部50的照相机单元的台数是任意的。照相机单元拍摄的凹陷部95的数量即一次性拍摄的处置卵的数量可以是1个,也可以是2个以上的任意个数。另外,托盘91中的凹陷部的配置也是任意的。例如,也可以如p×q个那样排列成阵列状(p、q是任意1个为2以上的正整数)。图17是表示具备5×5个合计25个收容处置卵的微型凹陷部195的培养皿191的说明图。在图中,在上层示出培养皿191,但该培养皿191在处置卵收容于微型凹陷部195的状态下收容于培养室R11的收容部位。为了容易进行操作,培养皿191呈直径35mm左右的圆筒形形状,在外周设置有高度10mm左右的外周壁194。并且,在内侧,以包围微型凹陷部195的方式设置有2mm左右的圆形的分隔壁192。该分隔壁192的内侧由培养液充满。处置卵收容于被培养液充满的微型凹陷部195内。
这样的话,在培养皿191的操作时,胚胎培养员容易把持,而且只要在由分隔壁192分隔出的微小的区域中充满培养液即可,因此不会浪费使用培养液。另外,收容处置卵的25个微型凹陷部195收纳于几毫米见方内,因此能够利用1个照相机单元容易地进行拍摄。如果拍摄区域窄,则能够提高每1个处置卵的图像的分辨率,能够提高受精等的判断的精度。
图17所示的培养皿191在外周壁194的外侧的一处形成有凹部197。该凹部197用于在将圆形的培养皿191收容于培养室R11时设置于保持培养皿191的保持框180的突起12的嵌合并将培养皿191定位于规定的位置。保持框180被制作成能够收容培养皿191的半周量左右的形状,培养皿191被稳定地保持于培养室R11内的预定位置。此外,培养皿191不限于圆形,也可以为矩形或椭圆形、梯形等其他形状。另外,分隔壁192不限于圆形,也可以为四边形等其他形状。另外,也可以不设置分隔壁192,而是将培养皿191整体用培养液充满。
除此之外,微型凹陷部195也可以排列成其他排列,例如排列成环状。只要能够得到所需的分辨率,也可以一次性对几个处置卵进行拍摄。可以根据凹陷部95或微型凹陷部195的配置来变更修正或图像分割的内容或方法。另外,也可以设置数量比托盘的数量少的多台照相机单元,使其在延时部50内移动,而通过照相机单元来分担多个托盘的拍摄。
在上述实施方式中,在1个培养室Rn配置有1个托盘91,但也可以在1个培养室Rn配置2个以上的托盘。在该情况下,可以使1个延时部50与多个托盘相对应,也可以使1个延时部50与1个托盘相对应。
在上述实施方式中,延时部50以及照相机模块51兼作盖而配置于培养室Rn的上部,但培养室Rn的盖也可以与照相机模块51分开设置。另外,照相机模块51也可以配置于培养室Rn的底面或侧面。在配置于底面的情况下,用透明的玻璃等材质形成培养室Rn的底面,在底面之下配置照相机单元CA1等,对托盘91的凹陷部95内的处置卵进行拍摄即可。通常,由于处置卵在凹陷部95之中沉到最下部,所以如果从地面的下方进行拍摄,则容易将照相机单元的焦点与处置卵对准。在该情况下,也可以仅将显示器模块52作为盖而配置于培养室Rn的上部,显示器模块52也可以设置于其它场所。
照相机模块51也可以设置于培养室Rn的侧面。在该情况下,托盘的凹陷部配置成1条直线。在图18中示出将照相机模块51设置于侧面时的托盘91A、91B与培养室Rn的关系。如图所示,在托盘91A、91B中,凹陷部95分别配置于8条直线上。针对在托盘91A上配置为1列的8个凹陷部95内的处置卵25,通过设置于培养室Rn的左侧面的照相机模块51A的2个照相机单元CA1、CA3各自拍摄4个。在培养室Rn的右侧面设置有照相机模块51A的剩余2个照相机单元CA2、CA4,针对托盘91B的8个处置卵,各自拍摄4个。在图19中示意性地示出从照相机单元CA1一侧观察该托盘91A的状态。在托盘91A的底面设置有凹陷部95,处置卵25收容于此处。因此,处置卵25相对于照相机单元CA1~CA4的位置关系是稳定的,能够容易拍摄其图像。
在该例中,由于能够缩小配置于1个培养室Rn的托盘91A、91B的宽度,所以能够在1个胚胎培养装置10配置多个培养室Rn以及托盘91A、91B。若缩窄宽度,则托盘91A、91B与照相机单元接近配置,但如果使用广角的透镜,则即使与托盘91A、91B接近,也能够鲜明地拍摄其图像。在使用了广角透镜的情况下,越趋向周边,图像的失真越大,因此需要与此对应地越趋向周边越大地进行图像的修正。此外,针对照相机模块51,也可以代替左右的侧面,或与左右的侧面一起,在前后的侧面设置照相机单元。当然,也可以设置于左右、前后的1个侧面。或者,也可以在上表面、底面都设置,从多个方位对处置卵进行拍摄。从多个方向拍摄到的图像也可以出于如下目的来使用,即,在从1个方向拍摄到的图像中,产生某种不良情况例如由照相机的故障等引起的不获取拍摄图像等的情况下,使用从其他方位拍摄到的图像来进行判断。另外,在判断时,也可以使用从多个方位拍摄到的图像,用于提高判断的精度。
在上述实施方式中,在对1个处置卵进行拍摄时,使对焦的位置错开而对多张图像进行了拍摄,但也可以不特别错开对焦的位置,针对1个处置卵,以规定的时间间隔仅拍摄1张图像。此外,拍摄不限于可见光,也可以包含至近红外、远红外或紫外光等的区域为止来进行。或者,也可以设置仅在可见光内的规定的波长范围透过的过滤器,仅利用在过滤器透过的光来进行拍摄。
在上述实施方式中,在对凹陷部95进行照明的情况下,从照相机单元CA1~CA4一侧进行了照明,但不限于该结构,也可以从侧方或下方进行照明。在实施方式中,作为光源的发光元件LE1~LE4设置于远离照相机单元CA1~CA4的场所即LED模块83,通过导光路LG1~LG4将光引导至照相机单元CA1~CA4的附近,但也可以在照相机单元CA1~CA4的附近设置发光元件。或者,相反地,也可以不将光源设置于延时部50,而是设置于胚胎培养装置10的任意场所,通过光纤等引导至延时部50。
在上述实施方式中,作为显示部的显示器模块52以延时部50为单位设置,但显示器模块52也可以与延时部50分开设置。也可以相对于多个延时部50设置1个显示部。因此,可以在胚胎培养装置10设置单个显示部,也可以设置多个与多个延时部50对应的显示部。另外,在该情况下,也可以整合成较大的液晶面板等形态。或者,也可以利用无线LAN或有线LAN显示于其他计算机等的显示器。并且,也可以将应用放入胚胎培养员使用的移动电话等便携式设备上,并在其上显示。这样的话,即使胚胎培养员不在放置有胚胎培养装置10的房间,也能够实时地确认处置卵的状况。或者,也可以由提供了处置卵的接受了不孕治疗等的患者自己确认处置卵的状况。并且,这样的话,多个胚胎培养员或者胚胎培养员与患者等两个以上的人能够同时确认处置卵的状况。因此,不会漏掉受精的时机等与处置卵的生长有关的变化或其判断。
在上述实施方式中,能够对以培养室Rn为单位设置的延时部50的每个设定拍摄的时机(开始时刻或时间间隔),但也可以将拍摄开始限于每个整点等规定的时机。并且,时间间隔等也可以在多个延时部50中通用。另外,拍摄开始的指示等为对显示于显示器模块52的按钮进行点击,但也可以与其他指示一起通过声音识别等来指示。当然,也可以准备专用的指示用板,对配置于指示用板的开关或硬件按钮等进行操作。
在上述实施方式中,延时部50兼作培养室Rn的盖,通过未图示的铰链安装于培养室Rn的边缘,如图2所示那样进行旋转,而对培养室Rn进行开闭,并且能够进行托盘91的装卸。当然,延时部50也可以通过除旋转移动以外的方法安装于培养室Rn。例如,也可以简单地在培养室Rn的上表面载置延时部50。或者,也可以上下地进行平行移动。也可以为左右或前后地进行滑动的结构。
在上述实施方式中,延时部50最初被设计为胚胎培养装置10的一部分并被安装,但也可以与已经销售、设置的胚胎培养装置的培养室的盖进行更换。这样的话,能够容易地将现有的胚胎培养装置改造成延时类型的胚胎培养装置。
在上述实施方式中,对是否进行了正常的受精和卵裂的进展状况进行了判断,但也可以仅对任意一方进行判断。另外,除此以外,也可以还进行是否是从培养部取出处置卵的时机的判断、是否更换培养部的凹陷部中的浸渍有处置卵的培养液的判断等。关于是否是从培养部取出处置卵的时机的判断,只要在生成学习完毕模型101时对达到预定的阶段的处置卵准备从培养部取出的处置卵的图像这样的标签进行学习即可。关于是否更换培养部的凹陷部中的浸渍有处置卵的培养液的判断,只要附加凹陷部的图像中的与处置卵一起被拍摄的培养液的图像变脏等条件来进行学习即可。对于培养液的图像的污垢而言,能够根据培养液的图像的亮度的降低或与微量物质对应的噪声成分的多少等容易进行学习。
也可以为,在作出取出处置卵这样的判断或更换培养液这样的判断的情况下,能够对也作为盖发挥功能的照相机模块51和显示器模块52进行开闭。所谓能够进行开闭,可以为如果按下开关SW11~SW22则盖立即打开,也可以为若作出判断则通过促动器自动地打开盖。前者通常假定为即使在培养中误接触W11~SW22盖也不打开的情况。
以上,对本公开的各种实施方式进行了说明,但本公开不限定于这些实施方式,当然,在不脱离本公开的主旨的范围内,能够通过各种方式来实施。例如,也可以制作培养室Rn与延时部50成对的最小单元,能够将其在左右方向及/或前后方向连结,而将任意数量的培养室与延时部组合来构成胚胎培养装置。在本公开的胚胎培养装置中,拍摄部与保持于培养部的托盘的一个个对应地设置,因此通过这样的连结,容易增设培养部。
C.其他方式:
(1)在本公开中,作为胚胎培养装置,包含实施。该胚胎培养装置具备:培养部,该培养部对可收容处置卵的多个凹部进行收容,并将其保持于上述培养环境;拍摄部,该拍摄部不使上述凹部相对地移动地对包含收容于上述凹部的上述处置卵在内的图像连续或断续地进行拍摄;存储部,该存储部将上述拍摄到的包含上述处置卵在内的图像即卵图像按照上述处置卵的每一个进行存储;判断部,该判断部对每个上述处置卵的卵图像,应用预先通过监督式机器学习生成的学习完毕模型,进行与上述处置卵的生长有关的判断;以及显示部,该显示部根据上述判断的结果,从上述存储部读出被判断为满足预先设定的条件的处置卵的卵图像,并对其进行显示。根据该胚胎培养装置,能够使用不使收容于凹部来培养的处置卵相对于拍摄部相对地移动而拍摄到的图像,进行与其生长有关的判断,因此能够减少对培养中的处置卵不利的环境的变动,而且能够准确地把握培养中的处置卵的状况来采取必要的应对措施。
这样的胚胎培养装置可以相对于凹部设置1个拍摄部,也可以相对于多个凹部设置1个拍摄部。或者,可以相对于具备多个凹部的托盘设置1个拍摄部,也可以相对于具备1个或多个凹部的多个托盘设置1个拍摄部。总之,只要能够不使凹部相对于拍摄部相对地移动地进行拍摄即可。此外,也可以通过多个拍摄部对1个凹部重复进行拍摄,而成为覆盖拍摄错误等的结构,或通过多个拍摄部从不同的角度对1个凹部进行拍摄,而提高与生长有关的判断的精度。另外,拍摄可以断续地进行,也可以连续地进行。所谓断续,是指以规定的时间间隔进行拍摄这一意思。时间间隔不需要是相同的时间间隔,也可以为以比估计处置卵的变化将迅速发生的时期中的没有变化的期间更短的间隔进行拍摄。另外,所谓连续,是指作为动画进行拍摄这一意思。也可以以规定的时间间隔断续地进行连续的拍摄。
(2)在这种结构中,可以为,上述判断部对存储于上述存储部之前的卵图像或从上述存储部读出的卵图像进行上述判断。如果对存储之前的图像进行判断,则不会产生因在存储于存储部或读出时可能产生的不良情况而无法进行判断这样的情况。另外,判断不会延迟存储所需的时间。另一方面,如果读出所存储的图像进行判断,则在判断中产生任何不良情况的情况下,能够读出并进行多次判断。
(3)在这种结构中,可以为,上述培养部能够收容具备上述多个凹部的托盘,或者能够收容具备上述凹部的多个托盘,上述拍摄部对上述多个凹部集中进行拍摄,进一步具备修正部,该修正部将对上述多个凹部集中进行拍摄而得到的拍摄图像,按照上述凹部的每一个进行分割,并根据上述分割出的图像对存在于上述凹部的处置卵的图像进行修正而使其成为上述卵图像。这样的话,通过按照托盘的每一个设置的拍摄部,能够对可收容处置卵的多个凹部一次性进行拍摄,之后,能够将其以凹部为单位进行分割,并对分割出的图像分别进行修正。因此,由于一次性对多个凹部进行拍摄,且对收容于各凹部的处置卵的图像进行修正,所以能够更准确地进行与生长有关的判断。
(4)在这种结构中,可以为,上述修正是与上述多个凹部相对于上述拍摄部的位置关系对应的修正、或者与上述拍摄部进行上述拍摄时的至少包含亮度的不同在内的拍摄条件对应的修正。这样的话,能够对因与拍摄部的位置关系而在凹部的图像中产生的失真像差等进行修正。另外,能够进行与根据每个托盘而不同的拍摄条件例如照明的亮度的不同等对应的修正,来提高与生长有关的判断的精度。
(5)在这种结构中,上述学习完毕模型对上述处置卵的与生长有关的判断可以为(A)上述处置卵是否已受精的判断、(B)处置卵的卵裂是否正常的判断、(C)在处置卵是否形成有胚泡的判断、(D)是否是从上述培养部取出上述处置卵的时机的判断、(E)是否更换上述培养部的上述凹部中的浸渍有上述处置卵的培养液的判断中的至少1个判断。这样的话,能够通过机器学习来进行各种判断,进行培养的人能够更准确地进行培养或随后的各种处理,例如受精卵冷冻保存或胚胎移植这样的处理的时机。
(6)在这种结构中,上述显示部可以具备受理部,该受理部在上述显示部显示有上述判断的结果和用于该判断的上述卵图像的基础上,受理胚胎培养人对上述判断的结果进行的是否适当的判定。这样的话,通过并非委托给使用了通过机器学习生成的学习完毕模型的判断,而是进一步加上进行胚胎培养的人例如胚胎培养员的经验,能够提高与处置卵的生长有关的判断的精度。此外,针对全部判断,无需受理胚胎培养人的是否适当的判断,例如,也可以针对(A)上述处置卵是否已受精的判断、(B)处置卵的卵裂是否正常的判断、(C)在处置卵是否形成有胚泡的判断中的至少1个判断,接到胚胎培养人对判断进行的是否适当的判定。
(7)在这种结构中,可以为,具备再学习部,在上述受理部受理的上述胚胎培养人的是否适当的判定为否定显示于上述显示部的判断结果的判定的情况下,该再学习部对上述学习完毕模型进行再学习并更新。这样的话,能够和胚胎培养装置的使用一起对学习完毕模型进行更新,来进一步提高该判断的精度。
(8)在这种结构中,可以为,上述判断是上述(D)、(E)中的任一判断,在上述显示部显示有上述判断的结果和用于该判断的上述卵图像的基础上,能够对设置于上述培养部的盖进行开闭。这样的话,能够为了处置卵的取出或培养液的更换迅速地实施作业,而不必一一进行能够对盖进行开闭的其它处理。
(9)本公开包含作为对保持于培养环境的授精处置结束的处置卵进行显示的方法的实施。在该方法中,对可收容处置卵的多个凹部进行收容,并将其保持于上述培养环境,在相对于上述凹部的规定的位置准备拍摄部,通过上述拍摄部对包含收容于上述凹部的上述处置卵在内的图像连续或断续地进行拍摄,将上述拍摄到的包含上述处置卵在内的图像即卵图像以上述处置卵为单位存储于存储部,对上述处置卵的卵图像,应用预先通过监督式机器学习生成的学习完毕模型,进行上述处置卵的与生长有关的判断,根据上述判断的结果,从上述存储部读出被判断为满足预先设定的条件的处置卵的卵图像,并将其显示于显示部。这样的话,由于能够使用通过在规定的位置准备的拍摄部对收容于凹部来培养的处置卵进行拍摄而得到的图像,来显示进行了与其生长有关的判断的图像,所以能够减少对培养中的处置卵不利的环境的变动,而且能够准确地把握培养中的处置卵的状况来进行所需的显示。
本公开不限于上述实施方式,在不脱离其主旨的范围,能够通过各种结构来实现。例如,针对在发明的概要一栏中记载的与各方式中的技术特征对应的实施方式中的技术特征,为了解决上述课题的一部分或全部,或者为了实现上述效果的一部分或全部,能够适当地进行替换或组合。另外,如果该技术特征在本说明书中没有作为必要技术特征进行说明,则能够适当地删除。例如,在上述实施方式中通过硬件实现的结构的一部分能够通过软件来实现。
产业上的可应用性
本公开的胚胎培养装置以及对保持于培养环境的授精处置结束的处置卵进行显示的方法能够作为对授精处置完毕的处置卵进行培养并对其状况进行判断的装置来利用。
附图标记说明:
CA1…照相机单元;H11~H22…板式加热器;L1、L2…透镜;LE1~LE4…发光元件;LG1~LG4…导光路;R11~R22…培养室;SW11~SW22…开关;9…壳体主体;10、10A…胚胎培养装置;11~22…培养单元;25…处置卵;31…气体端口;34…过滤器;35、36…过滤器口;40…托盘收容部;42…扩张部;43…供给口;44…排气口;50…延时部;51、51A…照相机模块;52…显示器模块;53…CPU;54…ROM;55…RAM;58…存储器接口;59…存储卡;60、60A…控制部;61…CPU;62…ROM;63…RAM;64…存储器接口;65…存储卡;66…通用I/O接口;67…培养室接口;71…驱动装置;72…警告装置;73…混合气体调整装置;76…“开始”按钮;77a、77b…消息;78…各种显示;79a…培养结束按钮;79b…培养继续按钮;81…照相机接口;82…显示接口;83…LED模块;84…混合气体供给配管;91、91A、91B…托盘;92…突出部;93…矿物油;95…凹陷部。
Claims (9)
1.一种胚胎培养装置,将授精处置结束的处置卵保持于培养环境,其中,
所述胚胎培养装置具备:
培养部,所述培养部对可收容处置卵的多个凹部进行收容,并将该凹部保持于所述培养环境;
拍摄部,所述拍摄部不使所述凹部相对地移动地对包含收容于所述凹部的所述处置卵在内的图像连续或断续地进行拍摄;
存储部,所述存储部将所述拍摄到的包含所述处置卵在内的图像即卵图像按照所述处置卵的每一个进行存储;
判断部,所述判断部针对每个所述处置卵的卵图像,应用预先通过监督式机器学习生成的学习完毕模型,进行与所述处置卵的生长有关的判断;以及
显示部,所述显示部根据所述判断的结果,从所述存储部读出被判断为满足预先设定的条件的处置卵的卵图像,并对其进行显示。
2.根据权利要求1所述的胚胎培养装置,其中,
所述判断部对存储于所述存储部之前的卵图像或从所述存储部读出的卵图像进行所述判断。
3.根据权利要求1或2所述的胚胎培养装置,其中,
所述培养部能够收容具备所述多个凹部的托盘,或者能够收容具备所述凹部的多个托盘,
所述拍摄部对所述多个凹部集中进行拍摄,
还具备修正部,所述修正部将对所述多个凹部集中进行拍摄而得到的拍摄图像按照所述凹部的每一个进行分割,并从所述分割出的图像中对存在于所述凹部的处置卵的图像进行修正而使其成为所述卵图像。
4.根据权利要求3所述的胚胎培养装置,其中,
所述修正是与所述多个凹部的相对于所述拍摄部的位置关系对应的修正、或者与由所述拍摄部进行的所述拍摄时的至少包含亮度的不同在内的拍摄条件对应的修正。
5.根据权利要求1~4中任一项所述的胚胎培养装置,其中,
由所述学习完毕模型进行的与所述处置卵的生长有关的判断是如下判断中的至少一个:
(A)所述处置卵是否已受精的判断、
(B)所述处置卵的卵裂是否正常的判断、
(C)在所述处置卵是否形成有胚泡的判断、
(D)是否是从所述培养部取出所述处置卵的时机的判断、
(E)是否更换在所述培养部的所述凹部中浸渍有所述处置卵的培养液的判断。
6.根据权利要求1~5中任一项所述的胚胎培养装置,其中,
对于所述判断而言,所述显示部具备受理部,所述受理部在所述显示部显示有所述判断的结果和用于该判断的所述卵图像的基础上,受理胚胎培养人对所述判断的结果进行的是否适当的判定。
7.根据权利要求5所述的胚胎培养装置,其中,
所述判断是所述(D)、(E)中的任一判断,
在所述显示部显示有所述判断的结果和用于该判断的所述卵图像的基础上,能够使设置于所述培养部的盖进行开闭。
8.根据权利要求6所述的胚胎培养装置,其中,
所述胚胎培养装置具备再学习部,
在所述受理部所受理的所述胚胎培养人的是否适当的判定为否定显示于所述显示部的判断结果的判定的情况下,所述再学习部对所述学习完毕模型进行再学习并更新。
9.一种方法,是对保持于培养环境的授精处置结束的处置卵进行显示的方法,其中,
对可收容处置卵的多个凹部进行收容,并将该凹部保持于所述培养环境,
在相对于所述凹部的规定的位置设置拍摄部,
通过所述拍摄部对包含收容于所述凹部的所述处置卵在内的图像连续或断续地进行拍摄,
将所述拍摄到的包含所述处置卵在内的图像即卵图像按照所述处置卵的每一个存储于存储部,
对所述处置卵的卵图像,应用预先通过监督式机器学习生成的学习完毕模型,进行与所述处置卵的生长有关的判断,
根据所述判断的结果,从所述存储部读出被判断为满足预先设定的条件的处置卵的卵图像,并将其显示于显示部。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/001849 WO2022157855A1 (ja) | 2021-01-20 | 2021-01-20 | 胚培養装置および培養環境に保持された処置卵を表示する方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116783279A true CN116783279A (zh) | 2023-09-19 |
Family
ID=78281987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180090952.5A Pending CN116783279A (zh) | 2021-01-20 | 2021-01-20 | 胚胎培养装置以及对保持于培养环境的处置卵进行显示的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240076592A1 (zh) |
EP (1) | EP4282947A1 (zh) |
JP (1) | JP6956302B1 (zh) |
CN (1) | CN116783279A (zh) |
AU (1) | AU2021421885A1 (zh) |
WO (1) | WO2022157855A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2011004568A1 (ja) * | 2009-07-08 | 2012-12-20 | 株式会社ニコン | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 |
JP2012039929A (ja) | 2010-08-19 | 2012-03-01 | Nikon Corp | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 |
JP6561036B2 (ja) * | 2016-12-14 | 2019-08-14 | 憲隆 福永 | 胚培養装置およびその撮像装置 |
CN112119152A (zh) * | 2018-05-25 | 2020-12-22 | 索尼公司 | 控制装置、控制方法和程序 |
JP7192364B2 (ja) * | 2018-09-28 | 2022-12-20 | 大日本印刷株式会社 | コロニー検出装置、コンピュータプログラム及びコロニー検出方法 |
-
2021
- 2021-01-20 EP EP21920969.9A patent/EP4282947A1/en active Pending
- 2021-01-20 CN CN202180090952.5A patent/CN116783279A/zh active Pending
- 2021-01-20 US US18/272,776 patent/US20240076592A1/en active Pending
- 2021-01-20 WO PCT/JP2021/001849 patent/WO2022157855A1/ja active Application Filing
- 2021-01-20 AU AU2021421885A patent/AU2021421885A1/en active Pending
- 2021-01-20 JP JP2021536035A patent/JP6956302B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2022157855A1 (zh) | 2022-07-28 |
US20240076592A1 (en) | 2024-03-07 |
JP6956302B1 (ja) | 2021-11-02 |
EP4282947A1 (en) | 2023-11-29 |
WO2022157855A1 (ja) | 2022-07-28 |
AU2021421885A1 (en) | 2023-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101378204B1 (ko) | 배양물 관찰 시스템 | |
WO2009081832A1 (ja) | タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置 | |
JP6360840B2 (ja) | 培養サンプル発達モニタリングのための装置、方法およびシステム | |
JP6561036B2 (ja) | 胚培養装置およびその撮像装置 | |
JP4953092B2 (ja) | 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 | |
US11236755B2 (en) | Time lapse shooting apparatus and observation method | |
JP5556444B2 (ja) | 顕微鏡、培養観察装置 | |
WO2011004568A1 (ja) | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 | |
CA3056745A1 (en) | Information processing device, information processing method, program, and observation system | |
CN116710547A (zh) | 胚胎培养装置及其拍摄装置 | |
CA3039949A1 (en) | Method and system for picking up and collecting plant matter | |
CN116783279A (zh) | 胚胎培养装置以及对保持于培养环境的处置卵进行显示的方法 | |
WO2017221597A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2012039930A (ja) | 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法 | |
KR101772151B1 (ko) | 타임랩스 세포배양기 | |
KR20220125519A (ko) | 동물세포의 배양 및 분석시스템 | |
TW202117305A (zh) | 驗蛋裝置、驗蛋程式及驗蛋方法 | |
CN113166701A (zh) | 用于细胞培养监测的紧凑型光学成像系统 | |
JP2022152184A (ja) | ディッシュ、ディッシュを用いた胚培養装置および胚の撮像方法 | |
US20240046455A1 (en) | Biological numerical monitoring and feature identification analysis system and method thereof | |
JP6841140B2 (ja) | 画像解析装置、画像解析システム、及び、プログラム | |
JP2019170404A (ja) | 胚培養装置およびその撮像装置 | |
JP2021006066A (ja) | 胚培養装置およびその撮像装置 | |
JP2019141090A (ja) | 胚選抜システム | |
JP2012042327A (ja) | 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |