CN110363218B - 一种胚胎无创评估方法及装置 - Google Patents
一种胚胎无创评估方法及装置 Download PDFInfo
- Publication number
- CN110363218B CN110363218B CN201910491782.6A CN201910491782A CN110363218B CN 110363218 B CN110363218 B CN 110363218B CN 201910491782 A CN201910491782 A CN 201910491782A CN 110363218 B CN110363218 B CN 110363218B
- Authority
- CN
- China
- Prior art keywords
- embryo
- prokaryotic
- chromosome
- development
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001161 mammalian embryo Anatomy 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 45
- 210000000349 chromosome Anatomy 0.000 claims abstract description 53
- 238000011161 development Methods 0.000 claims abstract description 43
- 230000018109 developmental process Effects 0.000 claims abstract description 43
- 230000013020 embryo development Effects 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 230000032692 embryo implantation Effects 0.000 claims abstract description 5
- 238000003776 cleavage reaction Methods 0.000 claims description 38
- 230000007017 scission Effects 0.000 claims description 38
- 238000011176 pooling Methods 0.000 claims description 23
- 241000894006 Bacteria Species 0.000 claims description 20
- 210000002257 embryonic structure Anatomy 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000001086 cytosolic effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 208000036878 aneuploidy Diseases 0.000 claims description 7
- 231100001075 aneuploidy Toxicity 0.000 claims description 7
- 230000009087 cell motility Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000004720 fertilization Effects 0.000 claims description 3
- 238000005206 flow analysis Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- 210000000805 cytoplasm Anatomy 0.000 claims 1
- 238000000338 in vitro Methods 0.000 abstract description 11
- 238000001303 quality assessment method Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 210000001109 blastomere Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000000642 iatrogenic effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003163 gonadal steroid hormone Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B35/00—ICT specially adapted for in silico combinatorial libraries of nucleic acids, proteins or peptides
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Library & Information Science (AREA)
- Biotechnology (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及胚胎质量评估技术领域，公开了一种胚胎无创评估方法及装置，方法包括以下步骤：获取胚胎连续发育的多帧发育图片，根据所述发育图片提取胚胎发育的细节参数；获取胚胎着床前染色体检查的染色体状态参数；针对所述细节参数与所述染色体状态参数进行相关性统计运算，得到所述节参数与所述染色体状态参数的关联模型；根据所述关联模型进行胚胎发育的评估。本发明可以快速进行胚胎质量评估，减少胚胎体外发育时间，避免胚胎评估对胚胎发育造成影响。
Description
技术领域
本发明涉及胚胎质量评估技术领域，具体涉及一种胚胎无创评估方法及装置。
背景技术
现有的胚胎无创评分体系基本采用Istanbul专家共识，即从胚胎体外发育的原核数目、速度、卵裂球均一性、胚胎碎片含量、单个卵裂球的单核或多核情况及其他的胞质形态特性判断胚胎的发育潜能。随着延迟摄像技术培养箱TLS的引入，把胚胎评估带进了“发育动力学”范畴，即发育潜能大的胚胎遵循一定的发育速度，18-20h经历一个分裂周期。因此，目前商业化TLS培养自带评估软件大部分都是基于卵裂速度筛选胚胎。但是由于胚胎本身卵裂周期需要一定时间，因此基于卵裂速度进行胚胎筛选无法在短时间内完成胚胎的评估，一般至少需要48h的时间实现筛选评估。然而，对于胚胎体外培养来说，目前主流观点认为人体内的环境明显优于体外培养环境，且延长体外培养时间可能改变胚胎的表观印记，延长体外培养时间可能损伤一些原本就极具发育潜能但环境敏感性的胚胎，造成不必要的医源性浪费。对胚胎评估来说，越早的发现胚胎发育潜能，越能减少延长体外培养时间对胚胎的不利影响。
发明内容
本发明的目的在于克服上述技术不足，提供一种胚胎无创评估方法及装置，解决现有技术中筛选评估耗时长，对胚胎发育造成影响的技术问题。
为达到上述技术目的，本发明的技术方案提供一种胚胎无创评估方法，包括以下步骤：
获取胚胎连续发育的多帧发育图片，根据所述发育图片提取胚胎发育的细节参数；
获取胚胎着床前染色体检查的染色体状态参数；
针对所述细节参数与所述染色体状态参数进行相关性统计运算，得到所述节参数与所述染色体状态参数的关联模型；
根据所述关联模型进行胚胎发育的评估。
本发明还提供一种胚胎无创评估装置，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述胚胎无创评估方法。
与现有技术相比，本发明的有益效果包括：本发明根据发育图片获取胚胎发育的细节参数，根据染色体检查获取染色体状态参数，建立细节参数与染色体状态参数之间的关联模型，通过在关联模型中输入细节参数获取相应的染色体状态参数，从而实现胚胎发育的评估。由于细节参数可以在胚胎发育早期，因此本发明可以在短时间内实现胚胎评估，减少胚胎体外培养时间，避免体外环境对胚胎发育的影响，减少医源性浪费，最大程度的减少胚胎评估过程对胚胎发育的影响，实现真正的无创评估。
附图说明
图1是本发明提供的胚胎无创评估方法一实施方式的流程图；
图2是本发明提供的原核自动识别模型一实施方式的网络结构图；
图3是本发明采用原核自动识别模型识别原核个数的识别结果图；
图4是本发明利用非极大值抑制消除重复矩形框的原理示意图；
图5是本发明对原核面积进行标准化的原理示意图；
图6是本发明采用原核自动识别模型识别原核个数、长度及面积的识别结果图；
图7是本发明提供的五组断层图像图；
图8是本发明第一次卵裂模式分类的分类结果图；
图9采用发明进行胚胎评估的评估结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明的实施例1提供了胚胎无创评估方法，包括以下步骤：
S1、获取胚胎连续发育的多帧发育图片，根据所述发育图片提取胚胎发育的细节参数；
S2、获取胚胎着床前染色体检查的染色体状态参数；
S3、针对所述细节参数与所述染色体状态参数进行相关性统计运算，得到所述节参数与所述染色体状态参数的关联模型；
S4、根据所述关联模型进行胚胎发育的评估。
本发明实施例借助于时差显微镜所获得的胚胎连续发育图片，根据发育图片获取胚胎发育的细节参数，识别胚胎早期发育的细节特征；借助胚胎着床前染色体检查PGT结果获取染色体状态参数，建立细节参数与染色体状态参数之间的关联模型；通过关联模型进行胚胎发育的评估。由于细节参数可以在胚胎发育早期，即36小时左右进行提取，因此本发明可以在短时间内实现胚胎评估。
本发明实施例提供的胚胎无创评估方法在胚胎发育早期发现了细节参数与染色体状态参数的联系，无需花费过多时间对卵裂速度进行检测，减少了胚胎评估的时间，减少胚胎体外培养时间，避免体外环境对胚胎发育的影响，大幅降低因培养环境及体系导致的医源性胚胎浪费，同时减轻治疗患者的精神及经济压力，实现真正的胚胎无创评估。
优选的，所述细节参数包括合子期原核个数、原核位置以及原核面积,提取所述原核个数、原核位置以及原核面积具体包括：
对所述发育图像进行原核标记，将原核标记后的发育图像作为训练集，对神经卷积网络进行训练，得到原核自动识别模型，根据所述原核自动识别模型运算得到所述原核个数、原核位置以及原核面积。
在胚胎原核识别时，传统的图像处理方法主要通过人为手工的方式提取发育图像中的纹理、边缘等特征信息，结合分类器，例如支持向量机Support Vector Machine、boosting分类器等，实现发育图像中目标的检测、识别与跟踪，发育图像中目标指原核。但仅依靠传统方法难以达到原核检测的高精度、高效率要求。深度学习方法凭借着其自动特征提取的优势，结合当前海量数据的涌现和算法的改善，已被广泛应用于不同领域中。深度学习的广泛应用主要得益于卷积神经网络的强大，它在近几年中大放异彩。
卷积神经网络主要由多个卷积层Convolution layer、池化层pooling layer全连接层fully connected layer组成。它的权重共享网络结构使其更接近生物神经网络，降低了网络模型的复杂度，减少了权重参数的数量。卷积层通过一个卷积核对来自上一层的特征图进行卷积，增强原始信号，并降低噪声，然后通过一个激活函数得到卷积层的特征图。池化层的主要作用是下采样，通过去掉特征图中冗余值，进一步减少参数数量，同时还能保持特征的局部不变性。目前常用方法为最大值池化，实际上就是以过滤器为模板，选取最大值作为采样后的样本值。在卷积神经网络中，卷积层与池化层交替使用，从大尺寸的浅层的特征图逐步向小尺寸的深层的特征图过渡。卷积神经网络通过前向传播进行特征的学习并获得输出，通过反向传播算法对网络的参数进行调整和优化。
本发明实施例则充分利用卷积神经网络的特征，将其用于胚胎评估中，用于检测识别发育图像中原核位置、大小以及面积。具体的，本优选实施例中，时差显微镜每隔一段时间，例如15分钟采集一次发育图像，且每次均采集多种不同焦距的发育图像。我们选取对焦最为清晰的发育图像作为训练样本。为了避免卷积神经网络的过拟合，以一定频率，如每小时一张随机地挑选胚胎中含有原核的发育图像，并随机地选取水平翻转、上下翻转、旋转90度、旋转270度等不同方式对发育图像进行翻转或旋转，以增广发育图像数据集。
与训练新的卷积神经网络不一样，本优选实施例采用预先训练好的网络结构VGG16作为基础网络进行训练。VGG16是从大规模目标识别研究中以完全监督方式训练的卷积神经网络，可以重新用于新的任务中。由于本发明使用的训练集从数量上和多样性上远不如ImageNet2012数据集，而卷积神经网络的性能对训练集的多样性以及数量大小有很强的依赖；因此本优选实施例在众多特征提取网络中，选择使用轻量级的网络结构VGG16作为基础网络来构建原核自动识别模型。
优选的，对所述发育图像进行原核标记具体包括：
在所述发育图像中通过矩形框标注原核的最小外接矩形，并以原核的个数作为所述发育图像的标签。
对每张发育图像进行了标注，标注的方法是原核的最小外接矩形，且以原核的个数作为标签对发育图像进行标注。
优选的，根据所述原核自动识别模型运算得到所述原核个数、原核位置以及原核面积，具体包括：
所述原核自动识别模型包括基础特征提取网络、分类网络以及回归网络；所述基础特征提取网络包括卷积层以及池化层，所述卷积层对所述发育图像进行卷积运算得到特征图，所述池化层对所述特征图进行池化运算得到池化特征图；所述分类网络通过SoftMax分类算法对所述池化特征图进行分类，将最大分类概率值的池化特征图对应的标签作为所述原核个数输出；所述回归网络根据所述池化特征图的特征向量获取目标矩形框，计算所述目标矩形框的位置作为所述原核位置输出，计算所述目标矩形框的大小作为所述原核面积输出。
本优选实施例中，发育图像数据集即Input Image，来自时差显微镜所拍摄的发育图像。使用的原核自动识别模型的网络结构如图2所示，该网络结构主要由前部分的基础特征提取网络和后部分的分类网络以及回归网络组合而成。基础特征提取网络主要由卷积层Convolution layer组成。卷积层Convolution layer的输入是由上一层的特征图与一组权重即过滤器进行卷积计算得到的，然后将所得到的特征图通过非线性单元ReLU输出。接下来，在池化层pooling layer中，每个特征图将通过最大池化算法在邻接区域上进行子采样，产生所谓的池化特征图，完成基础特征的提取。基础特征的提取后，将其分别连接到分类网络Class和回归网络Position。分类网络Class最终将特征向量馈送到SoftMax分类算法，选取最大概率值所对应的标签作为最后的输出结果Classification，该输出结果Classification即原核个数。回归网络Position根据特征向量计算目标所在位置及其大小作为输出结果Regression Result，目标即原核，输出结果Regression Result即原核位置以及原核面积。
具体的，图3示出了采用原核自动识别模型识别原核个数的结果图。从图中可以看出，X中有一个原核，Y中有两个原核，Z中有三个原核。
优选的，获取所述目标矩形框，具体包括：
所述回归网络根据所述池化特征图的特征向量获取同一目标位置处的多个待选矩形框，利用非极大值抑制消除同一目标位置处的重复矩形框，得到所述目标矩形框。
利用非极大值抑制Non-Maximum Suppression,NMS消除同一目标位置处的重复矩形框，保留最佳的矩形框作为目标矩形框。NMS过程：对于回归网络Position得到的待选矩形框集合其对应的置信度，采用如下的计算方式：选择具有最大置信度值即最大分类概率的待选检测框，将其从待选矩形框集合中移除并加入到最终检测结果中。计算待选矩形框集合中剩余待选矩形框与最大置信度值的矩形框的重叠区域面积比，将重叠区域面积比大于设定阈值的矩形框从待选矩形框集合中移除。重复NMS过程，直到待选矩形框集合为空，最终检测结果中的待选矩形框即为目标矩形框。
具体的，如图4所示，为了定位图4中的两个原核，原核自动识别模型找到了大量的待选矩形框，以图中的五个待选矩形框为例，根据分类网络Class的分类概率做排序，假设分类概率值从小到大依次为：A，B，C，D，E，则进行下面步骤
1)从最大分类概率的待选矩形框E开始，分别计算待选矩形框A～D与待选矩形框E的重叠区域面积比，判断重叠区域面积比是否大于设定阈值；
2)假定待选矩形框C与待选矩形框E的重叠区域面积比超过了设定阈值，则舍弃待选矩形框C，将待选矩形框C从待选矩形框集合中移除，并将待选矩形框E加入最终检测结果中；
3)从剩下的待选矩形框A、B、D中，选择分类概率最大的待选矩形框D，分别计算待选矩形框D与待选矩形框A、B的重叠区域面积比，判断重叠区域面积比是否大于设定阈值；
4)假定待选矩形框A、B与待选矩形框E的重叠区域面积比均超过了设定阈值，舍弃待选矩形框A、B，将待选矩形框A、B从待选矩形框集合中移除，并将待选矩形框D加入最终检测结果中。
5)待选矩形框集合为空，待选矩形框E和待选矩形框D为目标矩形框。
得到目标矩形框后，根据目标矩形框计算原核面积，并通过校正算法对重叠胚胎的原核面积进行标准化，得到标准化后的原核面积。标准化的过程如图5所示，重叠胚胎的原核面积为M，校正系数设为ξ，标准化后的原核面积为SM＝M/ξ，图5中百分比数据即校正系数ξ，校正系数为100％的为非重叠胚胎，其原核面积本身就是标准化的原核面积Stadardarea，因此不需要进行标准化，或者说标准化后原核面积不变。校正算法采用现有技术实现即可，例如采用拟合算法，选取指数函数为拟合函数进行拟合，
图6示出了采用原核自动识别模型获取的原核个数PNS图、原核长度Length图以及原核面积Square图。
优选的，所述细节参数包括合子期第一次卵裂模式，提取所述第一次卵裂模式具体包括：
提取胚胎在第一次卵裂过程中的多帧断层图像；
根据多帧所述断层图像进行三维重建得到三维模型；
根据所述三维模型将合子期第一次卵裂分为直接卵裂模式、温和非直接卵裂模式以及剧烈非直接卵裂模式三种类型。
对第一次卵裂过程中的断层图像进行三维重建，然后将第一次卵裂归为三类：直接卵裂，温和非直接卵裂及剧烈非直接卵裂。
优选的，根据多帧所述断层图像进行三维重建得到三维模型，具体包括：
分别提取各所述断层图像中的特征点，得到各所述断层图像的特征点集合，在特征空间中构建各所述断层图像的特征点之间的特征匹配关系；
在多帧所述断层图像中选取两幅初始图像，根据两幅初始图像之间的特征匹配关系估算两幅初始图像的相对姿态，根据相对姿态进行空间三角化得到与所述相对姿态相匹配的三维点云；
根据多组所述特征匹配关系获取多个所述三维点云；
以重投影误差作为目标函数，采用最小二乘法最小化所述目标函数，对所述三维点云进行优化；
根据优化后的三维点云构建三维模型。
具体的，本优选实施例中首先利用特征检测算法从断层图像Ii中提取若干个特征点，记它们构成的集合为Qi。同理，在发育图像Ij中提取的特征点集合为Qj。每个特征点分别具有位置属性x和特征描述符属性f。在特征空间中构建特征点之间的匹配关系，其目的是最小化如下目标：
其中，
和/>
构成一对匹配，M是特征匹配关系的数量。上式可通过在特征空间中搜索最近邻获取。
特征匹配关系获取后选取两幅初始图像，根据它们之间的特征匹配估计他们之间的相对姿态R和平移量t，进而得到三维结构。首先采用RANSAC和八点法计算出图像之间的基础矩阵F。假设相机的内参数矩阵是K，那么可以计算图像之间的本质矩阵为：
E＝KTFK
其中，E的等价形式为E＝SR。可以将S看作是平移量t，那么对本质矩阵进行SVD分解可以得到相对姿态。得到相对姿态后，可以通过空间三角化得到匹配关系对应的三维点云。
假设P＝[X Y Z 1]T是空间中的一个三维点的齐次坐标，(u,v)是特征点的位置，根据透视投影的几何关系可得：
其中，T是投影矩阵。由于一对特征匹配关系可提供2个线性约束，那么最少需要六对特征匹配关系就可以对上式进行求解。
求解出透视投影的集合关系后，进行全局平滑优化，全局平滑优化的目的是进一步优化三维点云的位置和相机的姿态参数，全局平滑优化具体为使得下述目标函数最小：
上式中，NP和NI分别是三维点云的数量和图像的数量，Tj是第j幅图像的投影矩阵，xij表示第i个三维点在第j幅图像上的投影点，上述目标函数为三维模型的重投影误差。最小化上述目标函数可通过非线性最小二乘法实现，可以通过Levenberg-Marquardt算法进行求解。
图7示出了本优选实施例提取的五组断层图像，分别为断层图像1、断层图像2、断层图像3、断层图像4以及断层图像5。图8为进行第一次卵裂模式分类的分类结果图。图8中，第一排位直接卵裂Direct cleavage，第二排和第三排为温和非直接卵裂Indirectcleavage-1Wobbling blastomeres with moderata motion，第四排和第五排为剧烈非直接卵裂Indirect cleavage-2 Position of blastomeres turn aroud with dramaticmotion。
优选的，所述细节参数包括受精卵至合子期胞浆流动数据，提取所述胞浆流动数据具体包括：
采用稠密光流分析法对所述连续发育图像进行处理，得到相邻帧之间细胞运动信息，根据所述细胞运动信息得到所述胞浆流动数据。
为分析细胞运动的剧烈程度，采用了图像处理中的光流法。光流法主要利用时差图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，计算出相邻帧之间细胞运动的变化值，从而判断细胞运动的强度。本优选实施例采用稠密光流分析法，而没有采用稀疏光流方法，这是因为稀疏光流方法需要在分析之前指定图像中的一组点，然后利用金字塔LK光流算法，对运动进行分析，但时差图像中细胞的纹理信息相对较少，该方法难以每帧都检测到相对应的点。
优选的，针对所述细节参数与所述染色体状态参数进行相关性统计运算，得到所述节参数与所述染色体状态参数的关联模型，具体包括：
所述染色体状态参数包括染色体整倍性以及染色体拷贝变异数；以患者资料以及所述细节参数作为自变量，分别以所述染色体整倍性以及染色体拷贝变异数作为应变量，通过统计学LOGISITC回归模型进行相关性统计运算，得到所述关联模型。
将患者资料，包括年龄、基础性激素水平等，细节参数作为自变量，染色体整倍性及染色体拷贝变异数分别作为应变量进行相关性统计运算。具体的，相关性统计运算可采用stata 12.0统计软件实现。
具体的，通过本发明实施例得出的一种关联模型如下：1、合子期原核面积b1>1400的胚胎染色体拷贝变异数正常；2、合子期第一次卵裂模式为直接分裂的胚胎染色体整倍性正常的概率>70％，温和非直接卵裂的胚胎染色体整倍性正常的概率为50-70％，剧烈非直接卵裂的胚胎染色体整倍性正常的概率<40％。受精后胞浆流动数据均值>20000的胚胎染色体整倍性及染色体拷贝变异数正常的概率>60％。根据该关联模型对一组胚胎发育图像进行评估，该评估的发育图像如图9所示，评估结果如下：胚胎为正常受精胚胎，参数1、合子期原核面积b1＝1100；参数2、剧烈非直接卵裂；参数3、受精后4-16小时胞浆流动数据均值为14000，经过概率运算得出：该胚胎染色体非整倍性概率>99％；染色体>40MB片段丢失、重复、增加的概率>99％；建议不予移植。
实施例2
本发明的实施例2提供了胚胎无创评估装置，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现以上任一实施例提供的胚胎无创评估方法。
本发明提供的胚胎无创评估装置，用于实现胚胎无创评估方法，因此，上述胚胎无创评估方法所具备的技术效果，胚胎无创评估装置同样具备，在此不再赘述。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (9)
1.一种胚胎无创评估方法，其特征在于，包括以下步骤：
基于时差显微镜获取胚胎连续发育的多帧发育图片，根据所述发育图片提取胚胎发育的细节参数；所述细节参数包括合子期的原核位置、原核个数、原核面积以及合子期第一次卵裂模式；
获取胚胎着床前染色体检查的染色体状态参数；
针对所述细节参数与所述染色体状态参数进行相关性统计运算，得到所述细节参数与所述染色体状态参数的关联模型；
根据所述关联模型进行胚胎发育的评估；
其中,所述关联模型为：合子期的原核面积大于1400的胚胎染色体拷贝变异数正常；合子期第一次卵裂模式为直接分裂的胚胎染色体整倍性正常的概率大于70%，温和非直接卵裂的胚胎染色体整倍性正常的概率为50-70%，剧烈非直接卵裂的胚胎染色体整倍性正常的概率小于40%；受精后胞浆流动数据均值大于20000的胚胎染色体整倍性及染色体拷贝变异数正常的概率大于60%；
提取所述原核位置以及原核面积具体包括：
对所述发育图片进行原核标记，将原核标记后的发育图片作为训练集，对神经卷积网络进行训练，得到原核自动识别模型，根据所述原核自动识别模型运算得到所述原核位置以及原核面积。
2.根据权利要求1所述的胚胎无创评估方法，其特征在于，对所述发育图片进行原核标记具体包括：
在所述发育图片中通过矩形框标注原核的最小外接矩形，并以原核的个数作为所述发育图片的标签。
3.根据权利要求1所述的胚胎无创评估方法，其特征在于，根据所述原核自动识别模型运算得到所述原核个数、原核位置以及原核面积，具体包括：
所述原核自动识别模型包括基础特征提取网络、分类网络以及回归网络；所述基础特征提取网络包括卷积层以及池化层，所述卷积层对所述发育图片进行卷积运算得到特征图，所述池化层对所述特征图进行池化运算得到池化特征图；所述分类网络通过SoftMax分类算法对所述池化特征图进行分类，将最大分类概率值的池化特征图对应的标签作为所述原核个数输出；所述回归网络根据所述池化特征图的特征向量获取目标矩形框，计算所述目标矩形框的位置作为所述原核位置输出，计算所述目标矩形框的大小作为所述原核面积输出。
4.根据权利要求3所述的胚胎无创评估方法，其特征在于，获取所述目标矩形框，具体包括：
所述回归网络根据所述池化特征图的特征向量获取同一目标位置处的多个待选矩形框，利用非极大值抑制消除同一目标位置处的重复矩形框，得到所述目标矩形框。
5.根据权利要求1所述的胚胎无创评估方法，其特征在于，提取所述第一次卵裂模式具体包括：
提取胚胎在第一次卵裂过程中的多帧断层图像；
根据多帧所述断层图像进行三维重建得到三维模型；
根据所述三维模型将合子期第一次卵裂分为直接卵裂模式、温和非直接卵裂模式以及剧烈非直接卵裂模式三种类型。
6.根据权利要求5所述的胚胎无创评估方法，其特征在于，根据多帧所述断层图像进行三维重建得到三维模型，具体包括：
分别提取各所述断层图像中的特征点，得到各所述断层图像的特征点集合，在特征空间中构建各所述断层图像的特征点之间的特征匹配关系；
在多帧所述断层图像中选取两幅初始图像，根据两幅初始图像之间的特征匹配关系估算两幅初始图像的相对姿态，根据相对姿态进行空间三角化得到与所述相对姿态相匹配的三维点云；
根据多组所述特征匹配关系获取多个所述三维点云；
以重投影误差作为目标函数，采用最小二乘法最小化所述目标函数，对所述三维点云进行优化；
根据优化后的三维点云构建三维模型。
7.根据权利要求1所述的胚胎无创评估方法，其特征在于，所述细节参数包括受精卵至合子期胞浆流动数据，提取所述胞浆流动数据具体包括：
采用稠密光流分析法对所述连续发育图片进行处理，得到相邻帧之间细胞运动信息，根据所述细胞运动信息得到所述胞浆流动数据。
8.根据权利要求1所述的胚胎无创评估方法，其特征在于，针对所述细节参数与所述染色体状态参数进行相关性统计运算，得到所述细节参数与所述染色体状态参数的关联模型，具体包括：
所述染色体状态参数包括染色体整倍性以及染色体拷贝变异数；以患者资料以及所述细节参数作为自变量，分别以所述染色体整倍性以及染色体拷贝变异数作为应变量，通过统计学LOGISITC回归模型进行相关性统计运算，得到所述关联模型。
9.一种胚胎无创评估装置，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-8任一所述的胚胎无创评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910491782.6A CN110363218B (zh) | 2019-06-06 | 2019-06-06 | 一种胚胎无创评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910491782.6A CN110363218B (zh) | 2019-06-06 | 2019-06-06 | 一种胚胎无创评估方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363218A CN110363218A (zh) | 2019-10-22 |
| CN110363218B true CN110363218B (zh) | 2023-07-11 |
Family
ID=68215753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910491782.6A Active CN110363218B (zh) | 2019-06-06 | 2019-06-06 | 一种胚胎无创评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363218B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539308B (zh) * | 2020-04-20 | 2023-05-23 | 浙江大学 | 基于深度学习的胚胎质量综合评价装置 |
| CN112069874B (zh) * | 2020-07-17 | 2022-07-05 | 中山大学 | 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 |
| CN115641335B (zh) * | 2022-12-22 | 2023-03-17 | 武汉互创联合科技有限公司 | 基于时差培养箱的胚胎异常多级联智能综合分析系统 |
| CN115641364B (zh) * | 2022-12-22 | 2023-03-21 | 武汉互创联合科技有限公司 | 基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007166966A (ja) * | 2005-12-21 | 2007-07-05 | Osaka Bioscience Institute | 染色体異常疾患のモデル動物、その作製方法およびそれを用いた治療剤の評価方法 |
| CN103460038A (zh) * | 2011-02-23 | 2013-12-18 | 里兰斯坦福初级大学理事会 | 检测人类胚胎中的非整倍性的方法 |
| CN104004817A (zh) * | 2013-02-22 | 2014-08-27 | 哈佛大学 | 利用极体或胚胎的单细胞基因组测序来选择试管婴儿的胚胎 |
| CN106520940A (zh) * | 2016-11-04 | 2017-03-22 | 深圳华大基因研究院 | 一种染色体非整倍体和拷贝数变异检测方法及其应用 |
| RU2657769C1 (ru) * | 2017-05-31 | 2018-06-15 | Федеральное государственное бюджетное учреждение "Национальный медицинский исследовательский центр акушерства, гинекологии и перинатологии имени академика В.И. Кулакова" Министерства здравоохранения Российской Федерации | Способ прогнозирования наличия хромосомных аномалий в эмбрионах удовлетворительного и плохого качества на основании оценки транскрипционного профиля в кумулюсных клетках в программе экстракорпорального оплодотворения |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009146335A1 (en) * | 2008-05-27 | 2009-12-03 | Gene Security Network, Inc. | Methods for embryo characterization and comparison |
| PT2827150T (pt) * | 2009-08-22 | 2020-12-09 | Univ Leland Stanford Junior | Imagiologia e avaliação de embriões, oócitos e células estaminais |
| GB2524082A (en) * | 2014-03-14 | 2015-09-16 | Unisense Fertilitech As | Methods and apparatus for analysing embryo development |
| JP6765975B2 (ja) * | 2014-07-01 | 2020-10-07 | アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカル | 胚の品質の三次元再構成及び決定のための方法 |
| US10902334B2 (en) * | 2016-01-28 | 2021-01-26 | Gerard Letterie | Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos |
| CN108550133B (zh) * | 2018-03-02 | 2021-05-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
-
2019
- 2019-06-06 CN CN201910491782.6A patent/CN110363218B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007166966A (ja) * | 2005-12-21 | 2007-07-05 | Osaka Bioscience Institute | 染色体異常疾患のモデル動物、その作製方法およびそれを用いた治療剤の評価方法 |
| CN103460038A (zh) * | 2011-02-23 | 2013-12-18 | 里兰斯坦福初级大学理事会 | 检测人类胚胎中的非整倍性的方法 |
| CN104004817A (zh) * | 2013-02-22 | 2014-08-27 | 哈佛大学 | 利用极体或胚胎的单细胞基因组测序来选择试管婴儿的胚胎 |
| CN106520940A (zh) * | 2016-11-04 | 2017-03-22 | 深圳华大基因研究院 | 一种染色体非整倍体和拷贝数变异检测方法及其应用 |
| RU2657769C1 (ru) * | 2017-05-31 | 2018-06-15 | Федеральное государственное бюджетное учреждение "Национальный медицинский исследовательский центр акушерства, гинекологии и перинатологии имени академика В.И. Кулакова" Министерства здравоохранения Российской Федерации | Способ прогнозирования наличия хромосомных аномалий в эмбрионах удовлетворительного и плохого качества на основании оценки транскрипционного профиля в кумулюсных клетках в программе экстракорпорального оплодотворения |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110363218A (zh) | 2019-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363218B (zh) | 一种胚胎无创评估方法及装置 | |
| CN110148120B (zh) | 一种基于cnn与迁移学习的病害智能识别方法及系统 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| US10282589B2 (en) | Method and system for detection and classification of cells using convolutional neural networks | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| US10747999B2 (en) | Methods and systems for pattern characteristic detection | |
| Labao et al. | Cascaded deep network systems with linked ensemble components for underwater fish detection in the wild | |
| CN115272828B (zh) | 一种基于注意力机制的密集目标检测模型训练方法 | |
| CN114842238B (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
| Mei et al. | Recent advances of target tracking applications in aquaculture with emphasis on fish | |
| CN113592896B (zh) | 基于图像处理的鱼类投喂方法、系统、设备及存储介质 | |
| CN111626969B (zh) | 一种基于注意力机制的玉米病害图像处理方法 | |
| CN112883915A (zh) | 一种基于迁移学习的麦穗自动识别方法和系统 | |
| Jenifa et al. | Classification of cotton leaf disease using multi-support vector machine | |
| CN116977960A (zh) | 一种基于实例分割的水稻秧苗行检测方法 | |
| Menon et al. | Plant disease detection using cnn and transfer learning | |
| Sehree et al. | Olive trees cases classification based on deep convolutional neural network from unmanned aerial vehicle imagery | |
| CN116958961A (zh) | 一种基于改进YOLOv8s的轻量级石榴识别方法 | |
| CN116705151A (zh) | 一种空间转录组数据的降维方法及系统 | |
| CN116311234A (zh) | 一种基于深度学习的精液质量评估方法 | |
| Ramachandran et al. | Tiny Criss-Cross Network for segmenting paddy panicles using aerial images | |
| Liu et al. | Study on Pig Body Condition Scoring Based on Deep Learning Model EfficientNet-B0 | |
| CN117315552B (zh) | 一种大规模农作物巡检方法、装置及存储介质 | |
| Osadebey et al. | Plant leaves region segmentation in cluttered and occluded images using perceptual color space and k-means-derived threshold with set theory | |
| TWI709111B (zh) | 快速農作物定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240528 Address after: 400013 No. 64, Jintang street, Yuzhong District, Chongqing Patentee after: Chongqing maternal and Child Health Hospital (Chongqing obstetrics and Gynecology Hospital, Chongqing Institute of genetics and reproduction) Country or region after: China Address before: 430000 No.1 Workshop, 1st floor, building B10, Wuhan hi tech medical equipment Park, 818 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee before: Zhang Xiaodong Country or region before: China |