CN113141778A - 图像特征检测 - Google Patents
图像特征检测 Download PDFInfo
- Publication number
- CN113141778A CN113141778A CN201980076110.7A CN201980076110A CN113141778A CN 113141778 A CN113141778 A CN 113141778A CN 201980076110 A CN201980076110 A CN 201980076110A CN 113141778 A CN113141778 A CN 113141778A
- Authority
- CN
- China
- Prior art keywords
- time
- pixels
- feature
- image
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 175
- 210000001161 mammalian embryo Anatomy 0.000 claims description 44
- 238000002513 implantation Methods 0.000 claims description 32
- 210000002459 blastocyst Anatomy 0.000 claims description 27
- 210000002257 embryonic structure Anatomy 0.000 claims description 24
- 238000011161 development Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000000338 in vitro Methods 0.000 claims description 13
- 239000000523 sample Substances 0.000 claims description 13
- 239000012472 biological sample Substances 0.000 claims description 10
- 241000894006 Bacteria Species 0.000 claims description 9
- 230000008034 disappearance Effects 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000004049 embossing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 108090000623 proteins and genes Proteins 0.000 claims description 4
- 238000005034 decoration Methods 0.000 claims 2
- 210000004027 cell Anatomy 0.000 description 34
- 230000008569 process Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 16
- 230000018109 developmental process Effects 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 15
- 230000022131 cell cycle Effects 0.000 description 14
- 210000001109 blastomere Anatomy 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000000280 densification Methods 0.000 description 9
- 230000004720 fertilization Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 210000004952 blastocoel Anatomy 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000003776 cleavage reaction Methods 0.000 description 5
- 230000013020 embryo development Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000035935 pregnancy Effects 0.000 description 5
- 230000007017 scission Effects 0.000 description 5
- 101100256746 Mus musculus Setdb1 gene Proteins 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000003703 image analysis method Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000004660 morphological change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000004681 ovum Anatomy 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 210000004340 zona pellucida Anatomy 0.000 description 4
- 108010000912 Egg Proteins Proteins 0.000 description 3
- 102000002322 Egg Proteins Human genes 0.000 description 3
- 208000035752 Live birth Diseases 0.000 description 3
- 208000034702 Multiple pregnancies Diseases 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036512 infertility Effects 0.000 description 3
- 208000000509 infertility Diseases 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000011278 mitosis Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 210000000287 oocyte Anatomy 0.000 description 3
- 210000004508 polar body Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 230000035584 blastogenesis Effects 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 238000002788 crimping Methods 0.000 description 2
- 230000001086 cytosolic effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002308 embryonic cell Anatomy 0.000 description 2
- 238000001125 extrusion Methods 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000011081 inoculation Methods 0.000 description 2
- 230000009027 insemination Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 210000000472 morula Anatomy 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000270 postfertilization Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000003744 In vitro fertilisation Methods 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 108010089610 Nuclear Proteins Proteins 0.000 description 1
- 102000007999 Nuclear Proteins Human genes 0.000 description 1
- 208000034790 Twin pregnancy Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 230000029803 blastocyst development Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 210000001771 cumulus cell Anatomy 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011162 downstream development Methods 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000032692 embryo implantation Effects 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000012770 industrial material Substances 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008774 maternal effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000394 mitotic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000000633 nuclear envelope Anatomy 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
- 238000010865 video microscopy Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000012070 whole genome sequencing analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Micro-Organisms Or Cultivation Processes Thereof (AREA)
Abstract
提供了一种方法及相应的设备,用于辨识图像中的特征。所述方法包括为所述图像中的每个像素或像素的群组确定数个特性值,及在一目标区域中的所述数个像素的所述数个特性值的基础上,为所述图像的所述目标区域确定一置信度值。所述数个特性值中的各者与所述特征的一个不同的特性相关。所述置信度值指示所述特征是否由所述图像的所述目标区域所表现。
Description
技术领域
本发明涉及一种用于检测图像特征的方法及系统。在一些示例中,所述系统及方法可以被用于识别一体外胚胎(in-vitro embryo)中的形态学改变或形态动力学参数。然而,所述系统及方法的数个面向是可被广泛应用的。
背景技术
计算机视觉领域涉及到允许一计算机自图像及视频获取详细信息的科技及技术的发展。此领域的一个分支是关于“特征检测”。在特征检测中,图像处理被用于辨识一图像或视频的特定特征(features)或特性(characteristics)。近年来,许多图像处理技术已被发展出来,以辨识在一图像中的特征的存在,或所述特征的特性。
目前,现存的图像分析方法经常运用机器学习演算法及人工神经网络。这些手段仰赖在数个图像的一大型样本上“训练”一系统,所述数个图像中的一些含有正被考虑的特征。通过将所述图像是否含有所述特征的知识提供给所述系统,所述系统将会“学习”如何在未来的“未经学习的”图像中辨识所述特征。在训练阶段中被提供的样本越多,一般地,所述系统在预测所述特征在后续的图像中的存在上就变得越可靠。
在这些机器学习技术被广泛使用的同时,它们受到数个缺点的危害。首先,由于获得可靠结果所需的大数量的样本,所述训练程序可能是耗时的且计算密集(computationally intensive)的。这也要求许多样本在所述系统的首次使用之前是可获得的。在新的研究领域中或在样本不是可轻易取得的领域中,情形未必是如此。
第二,这些方法经常在一特征是隐微的(subtle)或未被清楚界定的情况下,在比如边缘检测的程序中遭遇困难。举例而言,许多当前技术可以容易地辨识并凸显一只狗在一图像中的存在,相同的演算法可能难以挑出蒸气或烟雾的存在或位置,因为特征界线不是被同样清楚地界定的。一机器学习演算法可能能够学会做上述的事务,但这很可能需要不切实际的数量的样本图像以进行训练。
这些问题普遍存在的一应用的一示例是体外受精(IVF)筛检。在此程序中,一经受精胚胎的一图像被在植入前被分析,以确定所述胚胎在植入程序时,及在所述植入程序之后的成功似然率。这是一个不总是可能获得足够大的成功与非成功的胚胎图像的样本以训练一机器学习演算法的领域。此外,在图像中的需要被辨识的数个特征(例如,数个原核(pronuclei)),即使是对于熟练的观察者(亦即,一胚胎学家)而言也经常是几乎不可区辨的,且在外表上可能是高度可变的。这意谓着将一演算法训练至可靠的水准需要更多的样本。
本发明试图提供在图像中的特征检测的一改进的系统及方法。
发明内容
本发明提供了根据随附的权利要求的一方法及系统,用于辨识在一图像中的一特征。
根据本发明的一个面向,提供了一种辨识图像中的特征的方法,所述方法包含步骤:为所述图像中的每个像素或像素的群组确定数个特性值,其中所述数个特性值中的各者与所述特征的一个不同的特性相关;及,在一目标区域中的所述数个像素的所述数个特性值的基础上,为所述图像的所述目标区域确定一置信度值,其中所述置信度值指示所述特征是否由所述图像的所述目标区域所表现。
所述特性值可以与所述像素或像素的群组是否包括各自特性的一概率相关。
确定数个特性值可以包含为所述像素或像素的群组的每个特性确定一对数似然比。
所述对数似然比可以在所述像素或像素的群组及一背景区域的基础上被确定。
所述数个特性值的一个或多个可以与所述像素或像素的群组及所述背景区域之间的对比度的一水平相关。
所述数个特性值所相关的所述数个不同的特性可以对应于下述中的一个或多个:所述特征的一边界区域;所述特征的一高对比度部份;所述特征的一粗糙度;及所述特征的一平滑度。
所述背景区域可以在所述特性值所相关的所述特性的基础上被选择。
一个或多个所述数个特性值可以与所述像素或像素的群组相对于所述背景区域的亮度或暗度相关。
所述背景区域可以受限于所述像素或像素的群组的数个邻近像素。
所述数个邻近像素可以仅位于所述像素或像素的群组的上方或下方。
所述数个特性值中的各者相对于所述特征而言可以是位置特定的。
为所述目标区域确定所述置信度值可以包含步骤:确定像素或像素的群组相对于所述目标区域的一位置;基于所述位置选择适用于每个像素或像素的群组的所述数个特性值;为所述像素或像素的群组使用被选择的所述数个特性值,以确定所述置信度值。
确定所述置信度值可以进一步包含步骤:减去所述目标区域外的所述数个像素的所述数个特性值。
所述方法可以进一步包含步骤:获取数个不同的目标区域的数个置信度值。
所述数个不同的目标区域可以通过位置、尺寸及形状中的一个或多个被区分。
所述目标区域可以具有一形状,所述形状对应于所述特征。
所述目标区域可以是圆形的。
所述图像可以是一样本的一图像。所述方法可以进一步包含:为所述样本的数个不同图像的对应的数个目标区域确定数个置信度值。
所述数个不同的图像可以取自数个不同的焦平面。
所述数个不同的图像可以被时间性地分开。
所述图像可以是一生物学样本的图像。
所述生物学样本可以是一体外胚胎。
所述一个或多个特征可以是数个原核。
根据本揭示的另一个面向,提供了一种设备,可用于执行如本揭示所述的方法。
根据本揭示的另一个面向,提供了一种计算机可读介质,包含数个指令,当所述数个指令由一合适的计算机执行时,使得所述计算机执行如本揭示的方法。
根据本揭示的一个面向,提供了一种用于辨识成功的IVF植入的数个预测因子的系统,所述系统包括:获取数张具时间戳记的图像的一第一序列,数张具时间戳记的图像的所述第一序列追踪被认证为成功植入的一植入前胚胎的发育;获取数张具时间戳记的图像的一第二序列,数张具时间戳记的图像的所述第二序列追踪被认证为非成功植入的一植入前胚胎的发育;将数张具时间戳记的图像的所述第一序列与数张具时间戳记的图像的所述第二序列以计算机方式对齐,使数张具时间戳记的图像的所述第一序列与数张具时间戳记的图像的所述第二序列在发育时间上匹配;及将数张具时间戳记的图像的所述第一及所述第二序列中的每张图像以计算机方式处理,以便识别及追踪数个成功植入的胚胎的数个独特特征,从而辨识成功的IVF植入的数个预测因子。
对齐可以通过辨识数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列中的一特定发育特征,并基于所述发育特征设定一通常发育时间而被实现。
数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列可以是数个视频序列。
数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列可以是数个缩时序列。
所述数个独特特征可以下述为特征:形态、出现时间、消失时间、随时间的形态变化幅度、出现的时间长度、形态改变的时间长度及与一基因标记的关联。
所述图像处理可以通过一深度学习演算法实现及/或通过本揭示的任何方法实现。
所述系统可以进一步包括在处理之前修饰数张具时间戳记的图像的所述第一及所述第二序列中的每张图像。所述修饰可以选自于由色彩偏移、色彩过滤及压印所组成的群组。
本揭示的另一个面向可以提供一种辨识成功的IVF植入的数个预测因子的方法,包含步骤:获取数张具时间戳记的图像的一第一序列,数张具时间戳记的图像的所述第一序列追踪被认证为成功植入的一植入前胚胎的发育;获取数张具时间戳记的图像的一第二序列,数张具时间戳记的图像的所述第二序列追踪被认证为非成功植入的一植入前胚胎的发育;将数张具时间戳记的图像的所述第一序列与数张具时间戳记的图像的所述第二序列以计算机方式对齐,使数张具时间戳记的图像的所述第一序列与数张具时间戳记的图像的所述第二序列在发育时间上匹配;及将数张具时间戳记的图像的所述第一及所述第二序列中的每张图像以计算机方式处理,以便识别及追踪数个成功植入的胚胎的数个独特特征,从而辨识成功的IVF植入的数个预测因子。
对齐可以通过辨识数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列中的一特定发育特征,并基于所述发育特征设定一通常发育时间而被实现。
数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列可以是数个视频序列。数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列可以是数个缩时序列。
所述数个独特特征可以下述为特征:形态、出现时间、消失时间、随时间的形态变化幅度、出现的时间长度、形态改变的时间长度及与一基因标记的关联。
应了解的是,除非互斥,关联于当前揭示中的所述数个面向、示例或实施例中的任一者而被描述的一特征可以被应用于任何其它的面向、示例、实施例或特征。举例而言,被用于确定一图像的数个特征的所述数个图像分析方法的各种面向及特征,可以部分地或以其整体地,被应用在用于辨识成功的IVF植入的预测因子的方法及系统中,且反之亦然。
此外,任何面向、示例或特征的描述可以形成本发明的一实施例的部份或全体,本发明是如由权利要求所界定的。本文中所描述的任何实施例可以是一示例,所述示例体现了由权利要求所界定的本发明,及因此是本发明的一实施例。
附图说明
本发明的数个示例性实施例参照随附的附图而在本文中被描述,在附图中:
图1描述辨识在一图像中的一特征的一方法;
图2描述数个方法步骤,用于为一像素或像素的群组确定数个特性值;
图3描述数个方法步骤,用于为一图像的一目标区域确定一置信度值;
图4描述数个方法步骤,用于使用数个特性值确定一图像的一置信度值;
图5a至5f描绘一样本的数张图像的图形表示的简化示意图,其中数个像素具有各种特性值;
图5a’至5f’对应于图5a至5f,并描绘一样本的所述数张图像的图形表示,其中所述数个像素具有各种特征值;
图6描绘来自本文中所描述的方法的一可能的输出的一简化示意图;
图6’描绘来自本文中所描述的方法的一可能的输出;
图7描绘可以经受本文中描述的方法的体外胚胎的四张图像;
图8是根据本揭示的一系统的一示例的一方块图;及
图9是一流程图,概述本揭示的一预测因子辨识方式的一示例。
具体实施方式
本揭示是关于一图像分析系统或方法,所述图像分析系统或方法可以被应用以确定一特征存在一图像中的一似然率。所述系统及方法可以被用于确定所述特征是否具有期望的或所需的特性,从而允许对图像的对象是否为感兴趣的对象进行评估。
本揭示的所述系统及方法特别适合数个图像,所述数个图像可能具有一个或多个难以由一人类操作者以视觉辨认的特征。所述数个特征可能具有数个特性,所述数个特性个别而言对一对象是非决定性的,但在与其它特性集体地考虑时,可能提供所述特征及或对象在一图像中存在的指示。一特征的所述存在的所述指示可能通过一似然率或概率被提供。
本揭示的所述系统及方法可以在辨识一图像中的静态或动态变化中找到用途。因此,所述方法可以在一单一图像上或在一共同对象的数张不同图像上被执行。所述数张不同图像可以取自相同对象的数个不同面向(例如,数个不同焦平面、视角或放大率)及/或是时间上分隔的数张图像,使一动态面向,比如起始、生长、退化或移动可以被观察到。所述数张时间上分隔的图像可以是数张具时间戳记的图像,由一程序的预先确定的数个阶段所界定。所述数张时间上分隔的图像可以由一缩时图像或缩时录像提供。
所述数个感兴趣的对象可以在本质上是生物性的。因此,所述数张图像可以代表一个或多个生物结构,比如一个或多个细胞,或一生物性过程比如体外受精。其它的应用是可能的,且这样的应用的一些示例在本文中被预期。
一般地,在本揭示的背景下,一图像可以被获取,以作为与一物件的形体相关的资讯的任何视觉代表物。所述图像可以是一照片或其它基于电磁辐射的捕捉的代表物,比如通过一合适的摄像机或其它装置捕捉的一电子图像。所述图像可以获得自一显微镜,比如一光学或电子显微镜。所述图像可以获得自一医学图像系统,比如一超声波、磁共振或计算机断层摄影。所述图像可以是一图画或其它图像,通过不同于直接捕捉一实体物件的形体的手段被获得。此外,应被了解的是“图像”可以指这样的一视觉代表物的全部或部分。即是说,在一图像上被执行的任何方法步骤可以替代地仅在一整体图像的部份上被执行。举例而言,一照片的一较小的部份可以被选为所述方法的对象,因为所述部分是整体照片中感兴趣的特定区域。所述图像可以是一样本的一图像。
所述图像可以由图像数据代表,在所述图像数据中,所述图像以一些电子形式被代表,比如一矩阵、向量或数据库中的一者或多个,所述电子形式可存储于一计算机记忆体中及由一个或多个图像处理技术所处理。在适当处,图像及图像数据等词汇可以在整个本揭示中被可互换地使用。
所述图像(或图像数据)可以包括如本领域中已知的数个像素或像素的群组。像素的一群组可以是彼此直接相邻的数个像素,以定义单个连续形状。像素的所述群组可以包括两个或更多个像素。所述两个或更多个像素可以基于一预定特征或参数的预期的形状来被选择。除非另有陈述,对一像素的任何引用亦可以被视为对像素的群组的引用。
应被了解的是,在一图像中的一特征可以是关于所述图像的感兴趣的任何特定部份或特定的数个部份。举例而言,所述特征可以是一物件、质感、色彩、形状或在所述图像中被绘示的其它事物。在一图像中的一特征可能难以通过人眼或通过一些计算机视觉技术辨识。这可能是因为所述特征缺乏清楚的边界,或因为所述特征具有与所述图像的剩余部份相似的性质,所述剩余部份不是所述特征的部份。所述特征可能具有一边界区域,所述边界区域界定所述特征的最外层界线。
转向图1,图1展示了一种根据本揭示辨识一图像中的一特征的方法。所述方法可以包含:为图像110中的每个像素或像素的群组确定数个特性值。所述数个特性值中的各者可以关联到所述图像中的感兴趣的特征的一不同的特性。所述方法可以进一步包含:在一目标区域120的所述数个像素的所述数个特性值的基础上,为所述图像的所述目标区域120确定一置信度值。所述置信度值可以指示所述特征是否由所述图像的所述目标区域所代表。
如前所述,所述数个特性值中的各者可以关联到所述特征的一不同的特性。所述数个特性可以代表所述特征的各种可见的性质。所述数个特性可以关于所述特征的色彩、对比度、质地、粗糙度、平滑度、亮度、暗度或其它可见的性质。附加地或替代地,所述特性可以关于所述特征的一个或多个尺寸及/或在所述特征中的位置特定的性质。
举例而言,所述特性可以关于所述特征的一边界区域,所述边界区域可以具有一边界区域特有的数个属性(attributes)。
所述数个特性可以由一特性值代表,或与所述特性值相关。所述特性值可以是一数字数值。举例而言,若一特征可通过一特有的黑点被辨识,所述特性值可以包括一个或多个像素与周围的像素的一对比度,以用数个邻近像素之间的一对比的形式确定一特性值。附加地或替代地,所述特性值可以代表具有在一预定范围内的暗度或一些其它参数的像素的一范围。一进一步的特性值可以由所述图像中的暗度(或亮度)的大小或一相对暗度或亮度所提供。因此,所述特性值可以指示一像素或像素的群组在何种程度上包括一特性。所述特性值可以关于所述像素或像素的群组是否包括各自特征的一概率。所述特性值可以具有一大小,所述大小可以关于所述像素作为所述特征中的一像素的特性如何。所述特性值可以关于一特性,所述特性是相对于一不同的像素的一特性。
在一些实施例中,数个较高的特性值可以被选择,以关连到一高似然性,所述高似然性是所述数个较高的特性值代表所述特性,且数个较低的特性值可以被选择,以关连到一低似然性,所述低似然性是所述数个较低的特性值不代表所述特性。
一旦一特性值已对于一像素被确定,在步骤120中,所述图像的一目标区域的一置信度值可以在所述目标区域中的所述数个像素的所述数个特性值的基础上被确定。
所述目标区域可以代表一预定的区域,一特征可能被预期在所述预定的区域中被寻得。举例而言,在所述感兴趣的特征已知具有一特定形状,比如圆形或近于圆形,的情况下,所述目标区域可以被设定为所述形状,及所述形状被调查以确定存在哪个特性。所述数个特性的存在可以通过检视所述数个像素及/或像素的群组中的各者,及使用各者的所述数个特性值以确定所述目标区域的一置信度分数而被确定。
所述图像的所述目标区域可以是所述图像中的数个像素的一子集。所述目标区域可以是数个像素的一子集,所述子集界定一单一,连续的形状。所述目标区域可以是数个像素的一子集,所述子集界定多个离散的形状。所述目标区域可以是所述特征的位置、尺寸、厚度(例如,一壁或膜的厚度)、对称性、形状、色彩、质地、或朝向的一估计。任何数量的目标区域可以在所述图像中被审查。
所述置信度值可以指示所述特征是否由所述图像的所述目标区域所代表。所述置信度值可以关于,或者即是,所述特征由所述图像的所述目标区域所代表的概率。所述置信度值可以具有一大小,所述大小与所述特征由所述图像的所述目标区域所代表的似然性相关。
现在转向图2,用于为一像素或像素的群组确定所述数个特性值的一方法的一示例将被描述。在步骤210中,所述图像的一像素或像素的群组被辨识。所述像素或像素的群组的所述辨识可以随机地被完成,或以一预定的模式,比如以一网格扫描(raster scan)被完成。在所述网格扫描中,每个像素或像素的群组依次逐线(line by line)被选择。替代地或附加地,所述数个像素可以凭借在所述图像中的位置或凭借与所述图像中的另一个特征相关的位置而被选择。举例而言,所述图像可以包括一个或多个标记,所述标记识别所述图像中可能感兴趣的一区域。所述一个或多个标记可以是在所述图像的所述对象中自然发生的,或可以被引入以强调一特定区域。所述一个或多个标记可以,举例而言,包括一边界特征,所述边界特征划分感兴趣的一区域。应被了解的是,不同于网格的其它扫描模式可以被使用。也应被了解的是,是否分析一像素或像素的一群组的选择将通过感兴趣的特征及感兴趣的特性被确定。举例而言,一些特性可自一单一像素被侦测,其它特性可以作为一组像素被更好地侦测。
应自上述被了解的是,如在图2的步骤220中被提供的一特性的选择,可以在所述数个像素的选择之前被执行。也应被了解的是,所述特性的所述选择将在感兴趣的特征的基础上被确定,但对于每个特征,可能有数个特性的一预定的清单,所述数个特性可以依序为每个像素或像素的群组被选择。
在步骤230中,一背景区域可以被选择。所述背景区域可以在感兴趣的特性的基础上被选择。一些特性值可以在距所述像素或像素的群组在一预定距离内的数个像素的基础上被确定。举例而言,为确定是否存在一黑点,可能需要评估所述像素相对于在一预先界定的像素半径内的其它数个像素的所述暗度或对比度。可被理解的是,所述预定的距离或半径可以通过例如横跨所述图像所测得的距离,或一特定数量的像素而被界定。举例而言,所述预定距离可以通过所述特征的尺寸而被确定。所述预定距离可以是所述特征的半径或直径。替代地,所述预定距离可以是所述特征的所述半径或直径的0.5倍、1.5倍、2倍或其它倍数。
在一实施例中,当要被定位的所述特征是跨10个像素时,所述预定距离可以是距离所述特征的边界10个像素。即是说,所述背景区域可以包括在距所述特征的所述边界10个像素之内的所有像素。这在保持邻近所述特征以避免所述图像的不相关的段落的需求,以及在所述背景区域中具有一足够数量的像素以获得有意义的结果的需求之间提供了一个折衷方案。
在其它实施例中,一特性可以与关于所述特征的一界线或其它元素的所述像素的存在相关。在此案例中,所述背景可以对于所述像素的一预定的几何关系被选择,例如,在所述像素的上方、下方、左方或右方。
举例而言,若所述特性关于所述特征的一边界区域,则所述背景区域可以仅包括紧邻于所述所述像素或像素的群组的所述数个像素。特别地,所述背景区域可以限于仅位于所述像素或像素的群组上方或下方的数个邻近像素。若所述特性关于所述像素是否为所述特征的一顶部或底部边界区域,所述背景区域可以此方式被限定。应被了解的是,上、下、左及右等词汇可以任意地及与被分析的所述图像的朝向相关地被使用。
在其它实施例中,若所述特性关于所述特征的一粗糙度或平滑度,则所述背景区域可以包括直接邻接于所述像素或像素的群组的所有邻近像素(亦即,在所述数个邻近像素及所述像素或像素的群组之间没有中介的像素)。替代地,所述背景区域可包括直接或间接地邻近于所述像素或像素的群组的所有邻近像素(亦即,可以有一预定范围的像素被视为是邻近的)。
在又一进一步的实施例中,若所述特性关于所述特征的一高对比度部分,则所述背景区域可以包括所述图像中的多数的或所有的像素,除了在探讨中的所述像素或像素的群组。
与上文一致地,所述背景区域可以被界定为被选择以供审查的所述(数个)像素之外剩余的所述图像的部分或全部。所述背景区域可以包括所有并非被选择的所述像素或像素的群组的,在所述图像中的所述数个像素。所述背景区域可以被限于所述像素或像素的群组的数个邻近像素。所述背景区域可以基于所述被选择的特性(亦即,所述特性值关联的所述特性)而被选择。
在步骤240中,一旦一背景区域已被选择,所述特性值可以在所述像素或像素的群组及所述背景区域的基础上被确定。此确定可以涉及所述像素或像素的群组与所述背景区域的一比较。所述特性值可以关于所述像素与所述背景区域之间的对比度的一水平。所述特性值可以关于所述像素相对于所述背景区域的一亮度或暗度。
返回参考上述的数个示例,在所述特性与一边界区域相关的案例中,特别是当所述特性关于所述像素是否是一顶端或底部边界时,所述像素可以被与所述像素上方或下方的所述数个邻近像素比较。所述像素可以接着被指定一特性值,所述特性值指示所述像素是比所述数个邻近像素更亮或更暗。
在所述特性与粗糙度或平滑度相关的案例中,则所述像素可以被与所述数个邻近像素比较,以确定所述像素的对比度与所述数个邻近像素的对比度如何相似。若所述像素在对比度上相似于所述数个邻近像素,一高特性值可以被指定。若所述像素在对比度上不相似于所述数个邻近像素,一低特性值可以被指定。替代地,所述高特性值及低特性值可以相反地被指定。在将所述像素与所述数个邻近像素比较时,所述数个邻近像素的平均对比度水平可以被采取。
在所述特性与所述特征的一高对比度部分相关时,所述像素可以被与所述背景区域中的所有所述数个像素的对比度的平均水平相比较。这将指示所述像素相较于所述图像的剩余部分是否是一高对比度像素。
如先前所述的,所述数个特性值可以相对于所述特征而言是位置特定的。所述数个特性可以被选择,使得对应的数个特性值相对于所述特征而言是位置特定的。换句话说,一像素可以可以具有一特性值,所述特性值指示所述像素相对于所述特征而言位于何处。举例而言,位于所述特征之外的一像素可以比位于所述特征之内的一像素更亮或更暗或更粗糙或更平滑。位于所述特征之外的一像素可以具有与所述像素的数个邻近像素相关的一对比度水平,所述对比度水平比位于所述特征之内的一像素更大或更小。类似地,此示例可以应用于位于所述特征之外的一像素;在所述特征的边界上的一像素;在距所述特征的一特定距离之内或之外的一像素;在所述特征的中心的一像素;或相对于特征在别处的一像素。以此方式,所述数个特性值可以个别地,或集体地,作为一像素可能相对于所述特征而言位于何处的一指标。
一旦一特性值已对一像素或像素的群组被确定,在步骤250,可被查询的是,是否该像素或像素的群组的所有感兴趣的特性值皆已被确定。若非所有所述数个特性值皆已被确定,则所述程序可以返回步骤220,以选择一进一步的特性并重复如上的程序。
若所有的所述数个特性值皆已被确定,在步骤260,可被查询的是,是否所有像素或像素的群组皆已被辨识。即是说,是否数个特性值已被指定给在所述图像中或在所述图像的所述感兴趣的区域中的所有像素。若有许多未具有被指派的特性值的(数个)像素留存在所述图像中,所述程序可以自步骤210被重复,直到所有像素被考虑。若所有像素皆具有被指派的特性值,所述程序可以移动至步骤120。
现在转向图3,用于为一目标区域确定一置信度值的一示例性方法将被描述。一旦数个特性值已为所有需要的像素被确定,这些特性值可以被用于为一个或多个目标区域确定一置信度值。在此程序的步骤310中,一目标区域被选择。如上文所描述的,所述目标区域可以在所述图像中界定数个像素的一子集。所述目标区域可以包括一边界,所述边界封闭数个像素的所述子集。
所述目标区域可以在一个或多个标准(criteria)的基础上被选择,所述数个标准用于设定所述目标区域。所述一个或多个标准可以取决于由所述特征满足的已知标准。换句话说,所述目标区域可以被选择以代表所述特征的一可能的配置。所述标准例如可以界定所述目标区域的几何形状。这样的一形状标准可以规定所有的目标区域共享相同的形状。所述形状标准可以规定所述相同的形状是何种形状。所述目标区域可以举例而言,是圆形的。举例而言,所述目标形状可以是环形的或椭圆形的或跑道形的(race-trackshaped)。替代地,所述目标区域可以是其它形状。此形状可以在所述特征的已知的形状的基础上被选择。换句话说,所述目标区域可以具有一形状,所述形状对应于所述特征。此外,所述形状标准可以转而规定所述目标区域可以是数个形状中的任何一者。在这样的一情况下,被辨识的所述数个目标区域可以皆具有不同的形状。举例而言,若已知所述特征可以是环形的、方形的或三角形的,则该些数个形状中的各者的一个或多个目标区域可以被选择。
除了形状之外,或者替代形状,所述标准可以基于其它性质。举例而言,所述标准可以与所述目标区域相对于所述图像的位置相关联。所述标准可以依赖于能够放入所述图像中的数个目标区域的数量。这可能或可能不允许所述数个目标区域重叠。所述标准可以关于所述目标区域的位置、尺寸、形状、质地或朝向中的一个或多个。
一旦一目标区域已被选择,所述数个像素相对于所述目标区域的位置可以在步骤320中被确定。此确定可以对所述图像中的所有像素被执行。替代地,此确定可以仅对所述图像中的所述数个像素中的一些被执行。所述数个像素中的一些可以是在所述图像的一感兴趣的区域中。所述数个像素的数个可能的位置可以包括:在所述目标区域之内;在所述目标区域之外、在所述目标区域的所述边界上;在距所述目标区域的一预先确定的距离之内或之外;及/或在所述目标区域的中心。这样的数个位置可以更高的颗粒度(granularity)被特定。举例而言,“在所述目标区域之内”的一像素,可以被确定为在所述目标区域中的一预定区域中。此预定区域可以是上半边或下半边、一预定的四分之一(quadrant)、距所述目标区域的中心的一预定的半径范围,或在所述目标区域中的另一区域。
当考虑一特定像素是否是所述特征的部分时,可能仅有一些特性值是相关的。因此,在所述数个像素的所述位置已被确定后,可以基于所述位置330而选择适用于每个像素的特征值。亦即,若数个特性值基于探讨中的所述特定的像素相对于所述目标区域的所述位置而是相关的,则所述数个特性值可以被选择。举例而言,所述数个特性值可以基于所述像素是在所述目标区域中或在所述目标区域之外而被选择。所述数个特性值可以基于在所述目标区域之内的特定位置,或在所述目标区域之外的特定位置而被选择。在一实施例中,如上文所述,若所述特征包括具有特定的数个特性的一边界,在所述目标区域的所述边界区域中的所述数个像素可以具有数个特性值,所述数个特性值代表被选择以确定所述置信度分数的一边界条件。对所述像素已被确定但不相关于一边界区域的其它数个特性值可以被忽略。替代的这样的数个特性值可以被用于提供或加固所述像素并非一边界像素的一决定。因此,若有一特定像素形成一黑点的一高置信度值,这可以被用以显示所述像素并非一边界像素。
前进至步骤340,为所述数个像素所选择的数个特性值可以被用以确定一置信度值。如上文描述的,所述置信度值可以指示所述被选择的目标区域代表所述特征的似然性或概率。使用所述数个特性值以确定一置信度值的程序在下文中,参考图4而被进一步详述。
既已确定一置信度值,在步骤350中,可被查询的是,是否所有感兴趣的目标区域,例如,用于选择一目标区域的所有标准,皆已被调查。换句话说,被确定的是,至今已被选择的所述(数个)目标区域是否覆盖所述标准的所有排列(permutations)。若它们尚未全被调查,所述方法返回步骤310,一不同的目标区域被选择且所述程序重复。从而,所述方法可以包括获取数个不同的目标区域的数个置信度值。
所述数个不同的目标区域及所述数个不同的目标区域的选择可以对所有排列被执行,但实际上,所述数个目标区域将在标准的数个范围内被调查。举例而言,在一体外胚胎是否可见的一调查中,一原核必须是圆形的且具有给定的尺寸。因此,所述标准可以包括尺寸的一容许范围及容许的形状,所述尺寸的所述容许范围及所述容许的形状是如一已知的范围所界定。附加地或替代地,一原核在一可见的胚胎中的存在可以或者一般地,或关于所述图像的数个特征的一个或多个其它元素,而已知仅在所述图像的一特定区域或数个区域中存在。因此,所述图像的所述数个部分可以被限制于一预定的范围,所述目标区域是自所述数个部分被扫瞄。
与上文一致地,所述数个不同的目标区域可以通过所述标准中的一个或多个而被区分。所述数个不同的目标区域可以,特定地,通过下述的中一个或多个被区分:位置;尺寸;及形状。举例而言,所述目标区域标准可以指定所述数个目标区域必须是:在一特定范围内的一半径中的一圆形,及位于所述图像中的数个不同位置中的一个。在步骤310中,满足这些标准的一第一目标区域将被选择。在步骤350中,将确定目前为止仅有一个目标区域被选择以符合这些标准,及因此这些标准并未全部被满足(亦即,并非所有排列皆被涵盖)。所述程序将返回步骤310,在步骤310中,另一目标区域将被选择。此下一目标区域可以是具有一不同的半径的一圆形及/或所述下一目标区域可以是位于一不同位置的一圆形。一旦所述标准的所有排列已皆被满足,步骤350可以仅回复“是”作为其结果(亦即,在此情况中,对范围内所有半径,在特定的各个及所有位置皆有一目标区域)。替代地,一旦数个排列的一预定的数量被满足,步骤350可以仅回复“是”作为其结果。
若所有目标区域皆已被调查,相关的输出可以选自于已被收集的数据及被回报的输出。所述相关的输出可以,可能地通过一图形使用者界面的手段,被回报至一使用者,或至一计算机或其他数据处理单元。应被了解的是,“所有标准”皆被满足,可以替代地是一预定数量的所述标准,或仅是所述标准中的各者的数个特定排列。
在一些实施例中,在输出结果之前,所述方法可以在相同的图像上被重复。所述方法可以被重复以,举例而言,测试所述结果的可靠度,或被重复以改进所述结果的精确性或置信度。所述方法可以被重复以允许一使用者基于第一次运行的结果而改变、扩张或缩窄所述目标区域标准。
在一些实施例中,所述方法可以在一个或多个不同的图像上被重复。所述第一图像可以是一样本的一图像。所述一个或多个不同的图像可以是相同的样本的数张图像。所述数个不同的图像可以取自数个不同的焦平面及/或数个不同的视角或视点。所述特征可以在所述数个不同的焦平面中的各者的数个改变的角度及/或数个不同的视角或视点中是可见的。通过使用数个不同的焦平面,增加所述方法可以被应用的数个图像的数量,潜在地改进作为结果的置信度值。进一步地,这可以允许达成一高置信度值,即使所述特征于任何一张图像中非可感知的。对于在不同的放大倍率被采取的数个图像,类似的益处可被达成。
所述数张不同的图像可以被时间性地分开。所述数张图像可以捕捉所述特征的任何时间性的发育或变化。所述方法的数个参数(例如,被选择的特性、被确定的特性值、目标区域标准、被选择的目标区域)可以根据所述时间性的分离而对每个不同的图像被改变、移除或添加。换句话说,所述方法的数个参数可以是取决于时间的。举例而言,若已知所述特征的形状可能随时间而改变,被选择的所述数个目标区域的形状可以对于每个被时间性地分开的图像被改变。举例而言,已知对于一第一时间段,所述特征是一圆形,接着在此时间段之后变化为一椭圆形。则所述目标区域可以被选择以满足:在所述第一时间段中是一圆形,及在之后是一椭圆形。数个进一步的感兴趣的参数及缩时图像的使用在下文中被提供。
在结论导致相关输出的回报的数个示例中,这些输出可以是数据。举例而言,所述方法可以回报代表每个目标区域的位置的数据,连同为每个目标区域指示一置信度值的数据。
所述方法可以回报代表每个像素的所述数个特性及/或所述数个特性值的数据。所述数个输出可以被处理以提供所述结果的一图形表示。所述方法可以回报一图形表示,所述图形表示指示所述目标区域相对于所述特征及/或所述图像而言的位置。所述图形表示可以含有与该目标区域相关的所述置信度值的一图形指示。举例而言,所述图形指示可以是所述目标区域的图形表示的色彩或亮度。所述图形表示可以是被称为“热图(heatmap)”的一图表,所述热图提供在一目标区域中的所述数个相关的特性值及/或置信度值的一视觉指示。
在步骤360,提供了一个额外的方法步骤,所述方法步骤是选择具有最高的置信度值的一目标区域。最高意指所述置信度值指示此目标区域最有可能代表所述感兴趣的特征。所述方法可以接着仅回报最有可能代表所述特征的所述目标区域及/或置信度值。替代地,所述额外的方法步骤可以选择一个或多个目标区域,所述一个或多个目标区域具有高于一预定阀值的一置信度值。所述方法可以接着回报高于此预定阀值的所述数个目标区域及/或置信度值。
现在转向图4,数个示例性的方法步骤被描述,所述数个示例性的方法步骤可能取代如展示于图3中的步骤330及340。图4中的所述数个示例性的步骤更详细地展示可以被采取以选择数个特性值及使用所述数个特性值以确定一置信度值的数个步骤。图4可自步骤320继续进行,在步骤320中,所述数个像素的位置被确定。
确定所述置信度值可从而进一步包含:减去在所述目标区域之外的数个像素的数个特性值。因此,在步骤410中,可以查询像素是否位于所述目标区域之内。若辨识出所述数个像素不位于所述目标区域中,所述程序可以前进至步骤420b。在此步骤中,所述数个像素的所述数个特性值可以自所述置信度值被减去。
从所述置信度值中减去所述数个像素的所述数个特性值可针对位在所述目标区域之外的任何位置的所有像素。替代地,从所述置信度值中减去所述数个特性值可以仅针对位于所述目标区域之外经过选择的一些像素。例如,这可能涉及仅减去与邻接所述目标区域的数个像素相关联的所述数个特性值。应被了解的是,“邻接”可以意指所述数个像素是紧邻所述目标区域,或可以意指所述数个像素是在距所述目标区域一预定距离之内。
在一像素已被指定负值的一特性值的情况下,将被了解的是,将此特性值自所述置信度值减去,有加上该特性值的绝对量值的效果。
若替代地,被辨识出所述数个像素是位于所述目标区域之内,所述方法前进至步骤420a。在此步骤中,在所述目标区域中的所述数个像素的所述位置可以被确定。所述位置可以辨识所述像素相对于所述目标区域的数个特征的约略位置。举例而言,所述像素可以被确定为是位于:所述目标区域之中;在所述目标区域的所述边界上;在所述目标区域的所述边界的一特定位置(例如,上边界、下边界、左边界、右边界)处;在所述目标区域的一特定的半边或四分之一或其它分割中;在所述目标区域的中心处;及/或在距所述目标区域的所述中心一特定距离之内。
一旦在所述目标区域中的所述像素的所述位置已被确定,所述方法前进至步骤430,在步骤430中,数个特性值基于在所述目标区域之内的位置被选择。如上文所提及的,可能的情况是,基于在所述目标区域之内的所述像素的所述位置,仅有一个或一些特性值是相关的。
举例而言,若所述像素是在所述目标区域的一上边界上,考虑所述像素相对于直接位在此边界像素的上方及下方的数个邻近像素的对比度(亦即,以检视是否有一显着的对比度改变,所述显着的对比度改变可能指示一边界的存在)可能是相关的。在此示例中,一特性值可以被选择,所述特性值代表此性质。考虑相对于直接位在边界像素的两侧的邻近像素的对比度(亦即,检视所述对比度是否大致相同,大致相同可能指示所述边界沿此方向延续)也是感兴趣的。另一方面,对于一边界像素而言,举例而言,指示一对比度相较于在该区域内的平均对比度的一特性值可能不是所感兴趣的,因为所述特性值可能不指示所述像素是否代表一边界。因此,在此示例中,此特性值可以不为此像素被选择。若所述像素位于别处而非所述边界,则一类似的选择特性值的过程将被应用,但不同的数值可能被选择。前进至步骤440,此像素的所述数个被选择的特性值被加到所述置信度值。一旦所述累加被完成,在步骤450中,可被调查的是,是否所有的像素皆已被辨识。若并非所有的像素皆已被辨识,所述程序可以重复,以继续自所述置信度值加上/减去所述数个像素的所述数个特性值。一旦所有的像素已被辨识,所述程序前进至步骤350,如关于图3而被绘示及描述的。
将选定的数个特性值添加至所述置信度值或自所述置信度值减去的此过程导致一置信度值的计算,所述计算可能指示所述目标区域是否代表所述特征。特别地,所述数个特性值可以具有一量值,所述量值与所述像素有多可能代表所述特征中的一像素相关联,及因此,当这些特性值以此方式被结合时,作为结果的置信度值可以具有一量值,所述量值与所述目标有多可能代表整体特征相关联。
满足上述条件的数值的一类型的一示例是一对数似然比。一个或多个所述数个特性值,及/或所述数个置信度值,可以是一对数似然比。判定所述数个特性值可能包含确定对所述像素的,所述特性的一对数似然比。所述确定是为在其中一概率被提供的数个特征。所述概率是所述像素或像素的群组代表一特性对上代表所述背景区域的概率。
一对数似然比是一检定统计量,计算自一第一假设H0的似然性及一第二假设H1的似然性。所述对数似然比LLR接着通过下述被给出:
所述对数似然比是被界定为仅至一常数。也就是说,在上述计算的一些版本中,自然对数可以被乘以一常数。举例而言,所述自然对数可以被乘以-2。采取其当前的形势,自所述等式可以明显看出的是,所述对数似然比将是:当所述第一假设最为可能时,在量值上是较大的且是正值;当所述第一及第二假设可能性相似时,在量值上是较小的;且当所述第二假说最为可能时,在量值上是较大的且是负值。以此方式,所述对数似然比可以被视为所述第一假说被满足的似然性,或概率,的代表。
当考虑特性值时,所述第一假说可以是探讨中的所述像素属于所述特征,及所述第二假说可以是探讨中的所述像素不属于所述特征。所述数个似然性H0及H1因此分别是基于被考虑的所述特性,所述像素属于或不属于所述特征的似然性。在应用上,这些似然性可以基于一特征的数个已知的特性而事先被确定。即是说,可以得知特定特性对所述特征是典型的。因此,有可能基于所述像素是否类似地分享了这些特定特性,而将所述数个似然性指定至所述像素。
在另一示例中,考虑在已知,比如,所述特征是平滑的时,所述像素的平滑度特性。“平滑度”意谓着所述像素与所述像素的数个邻近像素如何类似。若一像素在举例而言,对比度、色彩及/或亮度上,与在所述被选定的背景区域中被提供的数个邻近像素相似,则所述像素可以被视为平滑的。若所述像素在这些方面并非相似的,则所述像素可以被视为粗糙的。若探讨中的所述像素是平滑的,所述像素将被指定一高H0值,及一低H-1值(既然单单基于平滑度而言,所述像素更可能属于所述特征而非不属于所述特征)。所述对数似然比因此将是大的且是正数,指示单是基于此特性,所述像素可能属于所述特征。
在相同的示例中,若被探讨的所述像素是粗糙的,所述像素将被指定一低H0值及一高H1值(因为,在此案例中,单是基于平滑度,所述像素更可能不属于所述特征)。所述对数似然比将因此是大的且是负数,指示单是基于此特性,所述像素不太可能属于所述特征。
再次地,在相同的示例中,若探讨中的所述像素既非特别粗糙,也非特别平滑,所述像素将对H0及H1被指定量值类似的数值(既然单基于平滑度,所述像素属于或不属于所述特征的似然性相似)。所述对数似然比将因此是低量值的,及潜在地是负数或正数,指示单是基于此特性,所述像素既非特别可能,也非特别不可能属于所述特征。
在一些实施例中,所述数个似然性可以基于一特定的像素在所述目标区域之内或所述目标区域之外的频率或盛行率(prevalence)。举例而言,若所述像素具有一相关的特性,所述相关的特性在所述目标区域之内是常见的及在所述目标区域之外是不常见的,则H0:H1的比率对该像素将是高的。在另一示例中,若所述特性在内部比在外部是比如更常见1000倍,则LLR=ln 1000。若所述特性在外部比在内部是比如更常见1000倍,则此频率或盛行率可以通过横跨数张样本图像数算不同的数值的像素而被计算。
当构成所述数个特性值的所述数个对数似然比如上文所述地被加总到彼此及自彼此被减去,所述数个对数似然比导致形成所述置信度值的一对数似然比。基于上述的示例计算,这意谓着若所述目标区域对所述特征是非常具代表性的,则所述置信度值将是大的且是正值,若所述目标区域微弱地代表所述特征,则所述置信度值是小的,且若所述目标区域对所述特征是非常不具代表性的,则所述置信度值是大的且是负值。
在上文中考虑的第一个案例中(其中所述像素是平滑的,是所述特征特有的,及因此被指定一个大的,正值的对数似然比),若所述特性值被加到所述置信度值(因为所述像素是在所述目标区域之内),则所述置信度值将增加。这指示,基于此像素及特性值的贡献,所述目标区域更可能代表所述特征。替代地,若所述特性值是自所述置信度值被减去(因为所述像素不是在所述目标区域之内),则所述置信度值将减少。这指示,基于此像素及特性值的贡献,所述目标区域较不可能代表所述特征。以此方式,若为所述特征所特有的一像素被预测为在所述特征中,则为所述特征所特有的所述像素增加所述置信度,及若为所述特征所特有的所述像素被预测为在所述特征之外,则所述为所述特征所特有的所述像素减少所述置信度。
在上文考虑的第二案例中(其中所述像素是粗糙的,非所述特征所特有,及因此被指派一个大的,负值的对数似然比),若所述特性值被加到所述置信度值(因为所述像素是在所述目标区域之内),则所述置信度值将减少。这指示,基于此像素及特性值的贡献,所述目标区域更不可能代表所述特征。替代地,若所述特性值是自所述置信度值被减去(因为所述像素不是在所述目标区域之内),则所述置信度值将增加。这指示,基于此像素及特性值的贡献,所述目标区域更可能代表所述特征。以此方式,若非所述特征所特有的一像素被预测为在所述特征中,则非所述特征所特有的所述像素减少所述置信度,及若非所述特征所特有的所述像素被预测为在所述特征之外,则所述非所述特征所特有的所述像素增加所述置信度。
在上文考虑的第三案例中(其中所述像素既非特别粗糙也非特别平滑,非特别地为所述特征所特有也非特别地非所述特征所特有,及因此被指派一个低量值的对数似然比),无论所述特性值是被添加或减去,所述置信度值改变微少。以此方式,可能或可能非所述特征所特有的一像素并不大幅冲击所述置信度值。
本方法的一示例性图形绘示被展示在图5、图5’、图6及图6’中。图5a至5f及图6代表展示在图5a’至5f’及图6’中的图形绘示的简化示意图。应被了解的是,对图5a至5f中的特征的任何引用适用于被标上撇号(primed)的附图的数个特征,及反之亦然。为了简短起见,对应的描述不为每一组而被重复。从图5a至5f开始,这些附图绘示方法步骤110的数个示例(及其相应的于图2至图4中的被详述的对应步骤)。在图5a至5f的各者中,一图像被分为数个像素或像素的群组,及每个像素(或像素的群组)基于对应的特性被指定一特性值。所述数个特性值所关联的所述数个不同的特性可以对应于下述中的一个或多个:所述特征的一边界区域;所述特征的一亮度;所述特征的一暗度;所述特征的一高对比度部分;所述特征的一粗糙度及所述特征的一平滑度。可能与这样的数个特性相关联的数个特性值的数个示例在下文中参考图5a至5f而被描述。
所述数个像素中的一些被与视觉标示510至560叠合。在所展示的示例中,此特性值的量值对应于这些像素的所述视觉标示510至560的亮度。在每张附图中被考虑的所述数个特性值如下述:
图5a:平滑度(亦即,与数个邻近像素的相似度),较亮的视觉标示510=较平滑的像素;
图5b:与区域平均相比的亮度,较亮的视觉标示520=较亮的像素;
图5c:与区域平均相比的暗度,较亮的视觉标示530=较暗的像素;
图5d:与上方及下方的像素相比的亮度,较亮的视觉标示540=较亮的像素;
图5e:与上方及下方的像素相比的暗度,较亮的视觉标示550=较暗的像素;
图5f:相较于区域平均特别暗或特别亮的点,较亮的视觉标示560=显着比区域平均亮/暗的像素。
图5a至5f提供这些数值如何可以一图像形式,在此案例中,作为一热点图,被呈现的一示例。通过如本文中所描述地结合这些特性值(从而结合所述数个热点图),可以获得一进一步的置信度值热点图。若如上文中所详述地,这些置信度值被用于选择一个或多个代表所述特征的目标区域,则可能获得如展示在图6中的一表现。
在本揭示的一些示例中,所述图像是一生物学样本的一图像。举例而言,所述生物学样本可以是一胚胎。举例而言,当所述方法是在IVF筛检之前被使用时,所述生物学样本可以是一胚胎。所述胚胎可以是一体外胚胎。替代地,所述生物学样本可以是一单细胞。举例而言,所述生物学样本可以是一未受精的卵子(ovum)或一精细胞(sperm cell)。所述生物学样本可以是上述中任何的一个或多个。如在上文的方法中被描述的所述一个或多个特征可以是数个原核。
图6描绘如本文中所描述的方法的一可能的输出。通过应用上述的方法,有可能基于因具有最高的数个置信度值而被选择,或因具有高于一预定阀值的数个置信度值而被选择的所述一个或多个目标区域,获得对所述特征的位置的一个或多个预测。在此示例中,两个目标区域610及620被辨识。所述数个目标区域610及620被强调,以视觉地描绘所述图像中的所述特征的位置、尺寸及形状。目标区域610比目标区域620有一更高的置信度值,及因此是比目标区域620更亮。以此方式,可能向终端使用者绘示所述数个特征的可能的位置,及提供所述数个预测与实际的特征有多可能吻合的一视觉代表物。
对一般技术人员而言明显的是,上述方法可能在许多不同的应用中被使用。这样的应用的数个示例包括:在制造中,用于寻找工业材料中的瑕疵;在自动车中,用于追踪物件的位置及移动,以避免碰撞;在保全及监视中,用于侦测不欢迎的入侵者;在天气监测中,用于侦测特定的天气模式;在休闲摄影中,用于侦测在一照片中的感兴趣的物件;在自然观察中,用于辨识动物或植物类型;及在感兴趣的数个特征有一可变的及含混的特质的任何其它应用中。
如先前所提及的,此方法的一应用的一示例是在IVF筛检中的一应用。IVF的程序涉及在动物的身体外以精子使一卵子受精,以形成一植入前胚胎。此胚胎接着被植入一代孕宿主(host surrogate)中,以允许所述胚胎的孕育。然而,所述IVF程序具有一低下的成功率且许多植入并不导致直至活产的完整孕育。导致一临床妊娠的一IVF胚胎通常被视为是一成功的胚胎。所述临床妊娠是通过于6周时的超声波及/或活产而被界定。不导致这些结果的一胚胎因此被视为是不成功的。
由于IVF治疗昂贵的,且经常是令人受创的影响,IVF筛检技术被发展以在植入前预测一胚胎可能是成功的或不成功的。这样的技术通常需要一高素质的且有经验的胚胎学家检视所述胚胎的图像并辨识数个特征,所述数个特征是所述胚胎的成功似然性的预测因子。
这些技术遭遇的一主要的困难是,这些特征的辨识可能是非常有挑战性的。出现在所述数张图像中的所述数个特征在外表上经常是非常隐微的或多变的,且甚至对于一名熟练的胚胎学家而言也经常是几乎不可察觉的。因此,胚胎学家在可开始评估胚胎的存活性之前经常面临的一困难是辨识图像中的特征。
图7例示了可能需要在IVF筛检前被辨识的一特征的一示例。图7绘示一胚胎710的四张不同的图像,所述胚胎710含有两个模糊的灰色圆圈,称为原核720。所述原核720是所述卵子710的,在所述受精过程中出现的细胞核。它们经常在胚胎发育的一早期阶段出现,且它们具有数个独特的特性。举例而言,所述数个原核720经常是大致呈圆形的,且它们经常在其中含有核仁。所述核仁经常在视觉上呈现为数个小点,所述数个小点可能相较于它们的周围环境是特别暗或特别亮。由于原核720的实际特性及由于布局与照光的人为因素,原核720的外表及它们的特征经常是含混的且在图像之间大有不同。这可以在图7的数张图像中被清楚见到。所述数个原核720在一些图像中可能不如在其它图像中容易区辨。
为了克服这样的挑战,有可能将本文中所描述的方法应用至一植入前的胚胎的数张图像,以在胚胎学家的检验之前辨识所述数个原核的位置、尺寸及形状。
如上文所述,在一些示例中,上文中描述的方法背后的大致概念可以是使用一似然率测试,在所述似然率测试中,一感兴趣的潜在特征可以被与一图像(或所述图像的一部分)的其余部分比较,且一决定在所述潜在特征中的数个像素的基础上被作成。这可以提供一分数,例如,一特性值,所述分数可以被用以将一潜在特征与一图像中的其它潜在特征相比较。亦即,可能有多个区域,各自在某种程度上被认证为一感兴趣的特征,且仅当在数个特性的基础上确定哪个潜在特征具有最高的似然性或概率是所述特征,才可能确定何者是实际的感兴趣的特征。
一似然率测试的使用是有用的,因为所述似然率测试允许对给定的特征采取一相对的看法。举一简单的特征,比如一黑点为例,这可以通过使用衍生自应用特定性的数据的一些标准,将所有像素非为“黑”及“非黑”,并寻找充满黑色像素的一点而被找到。然而,对于复杂的特征而言,如通过多个因素,包括被成像并调查的所述对象的本质,而被确定的,在属于所述特征的像素的数值与不属于所述特征的像素的数值之间可能没有清楚的分隔。亦即,被认证为一感兴趣的特征之物在图像数据的许多不同像素中可能有一系列的可能特性值。然而,每个像素具有基于视觉外观的,属于所述特征或不属于所述特征的一概率,且本文中揭示的方法可以量化此概率。此概率可以接着被用于作出决定。
在本文中描述的方法中,每个像素或像素的群组可以收到一个或多个分数。每个分数可以是一对数似然比,所述对数似然比代表下述的对数:该像素的外观在所述特征中有多常见,除以该像素的外观在所述特征之外有多常见。因此,对所述特征是“非常特有”的一像素收到一非常高的分数,且对所述特征仅是“微弱地特有”的像素收到一较低的分数。是所述背景所特有而非所述特征所特有的一像素收到一负值分数。
一像素能以此方式被分类的特性越多,本方法越能够准确地辨识一感兴趣的特征可能是何物。因此,应了解的是,被分析的特性的选择可能随着数个新的特性被发现而随时间调适,且本方法可以被渐进性地更新。
本方法可以包括为一图像的每个像素确定一集体分数,例如,一置信度分数。这可能导致一视觉“热点图”,所述热点图可以被用于提供一色彩地图的一视觉化,所述色彩地图指示每个像素与一特征如何相关。
一组像素的所述数个分数的一总和(若每个分数是一似然率的对数,所述总和可以是所述数个似然率的产物的对数)因此可以是该组像素有多可能属于所述特征而非属于所述背景的一代表。
被用于实施本发明的装置可以包括一成像器,以获得要被评估的物件的图像,及包括一个或多个计算装置。所述数个计算装置可以包括一个或多个处理器及/或记忆体。
所述图像可以直接自所述成像器获取,或可以自一存储装置被召回,所述存储装置可以是所述计算装置的一记忆单元或其它。因此,所述图像可以被存储为一电子档案或一系列的档案,所述档案可以被存储在一存储介质上,比如一固定的或可移除的磁盘。所述图像可以包括与所述图像关联的元数据(metadata)及/或协助本揭示的方法的表现的数个标注(annotations)或标记。所述计算机可以运行用于处理所述图像的软件,以执行上文所描述的方法。所述软件可以被存储在一载体上,比如一可移除磁盘或一固态记忆体,或经过一网络被下载,比如一局域网路(local area network,LAN)、广域网路(wide-areanetwork,WAN)、一内联网(intranet)或互联网。
本揭示的数个实施例可以做为可编程码被应用,用于由所述计算机系统执行。
所述计算机系统可以包括一个或多个处理器,所述数个处理器可以是任何类型的处理器,包括但不限于一特殊目的的或一一般目的的数字信号处理器。处理器可以被连接至一通信基础结构(举例而言,一公共汽车或网路)。计算机系统可以亦包括一主记忆体,优选地包括随机存取记忆体(RAM),及可以亦包括一次要记忆体。所述次要记忆体可以包括举例而言,一硬盘驱动器及/或一可移除存储驱动器,代表一软盘驱动器(floppy diskdrive)、一磁带驱动器,一光盘驱动器等。一可移除存储驱动器可以一周知的方式自一可移除存储单元读取及/或写入至可移除存储单元。所述可移除存储单元可以包括可由可移除存储驱动器读取或可写入至可移除存储装置的一软盘、磁带,光盘等当中的一个或多个。如将被理解的,所述可移除存储单元可以包括一计算机可读存储介质,在所述计算机可读存储介质中存储有计算机软件及/或数据。
在替代的应用中,所述次要记忆体可以包括其它类似的装置,用于允许数个计算机程式或其它指令被载入计算机系统中。这样的数个装置可以包括,举例而言,一可移除存储单元及一界面。这样的装置的数个示例可以包括一可移除记忆芯片(比如一EPROM或PROM,或快闪记忆体)及关联的插口,及允许软件及数据被自可移除存储单元转移至计算机系统的其它可移除存储单元及界面。替代地,所述程式可以使用所述计算机系统的所述处理器被执行及/或所述数据使用所述计算机系统的所述处理器自所述可移除存储单元被存取。
所述计算机系统可以亦包括一通信界面。通信界面可以允许软件及数据在计算机系统与数个外部装置之间被转移。通信界面的数个示例可以包括一调制解调器(modem)、一网络界面(比如一以太网卡)、一通信埠、一个人计算机存储卡国际协会(PCMCIA)插口及卡,等。经由通信界面被转移的软件及数据是以信号的形式,所述信号可以是电子的、电磁的、光学的或是其它可以由一通信界面接收的信号。
数个计算机程式(也称为计算机控制逻辑)可以被存储在主记忆体及/或次要记忆体中。数个计算机程式也可以经由通信界面被接收。这样的数个计算机程式,当被执行时,使所述计算系统应用如本中所讨论的本发明。因此,这样的数个计算机程式代表计算机系统的控制器。当本发明使用软件被应用,所述软件可以被存储在一计算机程式产品中及使用可移除存储驱动器、硬盘驱动器或通信界面被载入计算机系统中,以提供一些示例。
在数个替代的实施例中,本揭示的方法及系统可以作为在硬件、软件或韧体或上述的任何组合中的控制逻辑而被应用。
如上文所提及的,本揭示可以在多个不同的情况中被使用,在所述数个情况中,图像分析无法由一人类操作者或最先进的计算机视觉或机器学习演算法达成。本方法可能找到一合适的应用的一领域是辨识成功的IVF植入的预测因子。因此,本发明的数个实施例可以与一系统关联,所述系统能够比较成功植入的及非成功植入的数个胚胎的图像及视频,从而辨识数个成功植入的胚胎所独有的具时间戳记的特征。这样的数个特征也可以被与EMR资料(例如,数个基因标记等)相关联。
体外受精(IVF)自1978年起已成功地被用于治疗不孕问题。虽然研究持续进行,体外受精依然是一复杂的程序,使用最好的可得资源依然仅有20%的成功率。
IVF是对患者而言心理上具创伤性的一昂贵程序,且因此,在治疗前辨识IVF不太可能对其成功的接受者,或最适合植入的胚胎,可以减少与一IVF关联的花费及这样的一程序对患者造成的不适。
IVF的一主要问题是多胎妊娠及相关的增加的胎儿及母体并发症。为了限制此问题,诊所减少了转移的胚胎数量,并且,作为结果,高阶多胎妊娠(high order multiplepregnancy)的比率在一些区域显着减少。为了进一步减少双胞胎比率,选择性单胚胎转移(eSET)受到广泛提倡。相较于转移两个或更多个胚胎,这可能导致减少的妊娠率。增加与eSET相关联的妊娠率在IVF实验室的决策过程中扮演一主要的角色。
因此,一IVF程序的所述胚胎选择对植入成功是关键的。
选择一般而言是经由在数个胚胎的发育循环各处筛检所述数个胚胎而被执行。更晚近地,缩时视频显微术允许数张显微图像的延长的缩时捕捉,所述数张显微图像可以被存储以供之后分析。然而,被存储的图像数据典型地是被人工地分析,及因此,对植入成功的任何预测仰赖于检视被捕捉的图像的技师的技术及经验。
因此,用于在植入之前认证胚胎的一自动化的方式是需要的,且将是高度有利的。
除非另外定义,在本文中使用的所有技术及/或科学术语与本发明所属领域中的一般技术人员所通常理解者具有相同的意义。虽然与本文中所描述者类似或等同的方法及材料可以被用于本发明的实施或测试中,适宜的方法及/或材料在下文中被描述。在冲突的情况下,本专利说明书,包括定义,将占有主导地位。此外,所述材料、方法及示例仅是例示性的及并不意在是限制性的。
本揭示的方法及系统的实施可以涉及手动地、自动地或以其结合的一方式执行或完成数个选定的作业。此外,根据本发明的所述方法及系统的数个优选实施例的实际仪器配置(instrumentation)及设备,数个被选定的步骤可以通过硬件或通过软件或在任何韧体的操作系统上被实施或通过其结合被实施。举例而言,作为硬件,本发明的选定的步骤可以作为一芯片或一回路被实施。作为软件,本发明的数个被选定的步骤可以作为数个软件指令被实施。所述数个软件指令通过一计算机使用任何适宜的操作系统被执行。在任何情况中,本发明的方法的数个选定的步骤及本发明的系统可以被描述为通过一数据处理器,比如用于执行数个指令的一计算平台被执行。
本揭示可以提供一系统,所述系统可以被用于辨识成功的IVF植入的数个预测因子。特定地,本揭示可以被使用以处理及比较成功及非成功植入的数个胚胎的图像/视频,从而辨识成功的或非成功的植入的预测因子。
在IVF程序中的胚胎选择对植入成功而言是一关键的步骤。虽然在发育中的胚胎的图像捕捉上已有进步,被捕捉的图像的分析依然是由一技师执行,且因此,一程序的成功依赖于所述技师的技术及经验。这是最好的IVF诊所典型地有较高的成功率的原因之一。
当将本揭示付诸实践时,应用设计了一自动系统,所述自动系统用于自数个图像(例如,缩时视频的数个图像)辨识成功的IVF植入的预测因子。所述数个图像是捕捉自数个成功及非成功植入的胚胎。
因此,根据本揭示的一个面向,提供了一种系统,用于辨识成功的IVF植入的预测因子。
如本文中所使用地,成功植入意指一IVF胚胎的一植入,所述植入导致一临床妊娠,所述临床妊娠是通过于6周时的超声波及/或活产被界定。因此非成功的或不成功的植入意指并未导致着床的一IVF胚胎的植入。
图8例示在本文中被称为系统10的一系统的一实施例。系统10可以与一资料存储装置12(例如,经由云13或有线连接)通信,所述资料存储装置12存储自一图像捕捉装置14取回的,数个经认证的胚胎的数个图像序列。应被了解的是,对一图像序列或数个图像序列的一引用将包括对一组的或数个这样的图像序列的引用。换句话说,被施加至一图像序列的任何方法步骤可以被施加至一组图像序列。
系统10包括一计算平台16,所述计算平台16配置以获取及可选地存储一第一序列的具时间戳记的图像及一第二序列的具时间戳记的图像,所述第一序列的具时间戳记的图像追踪已被认证为成功植入的一植入前胚胎的发育,所述第二序列的具时间戳记的图像追踪已被认证为非成功植入的一植入前胚胎的发育。
所述数个具时间戳记的图像可以衍生自一视频捕捉,一缩时视频补捉,或各种时间间隔的一静止捕捉。举例而言,所述数个图像可以是衍生自被存储的图像资料,所述图像资料包括获得自10至100个或更多个胚胎的缩时/视频/静止图像,所述胚胎或者经受eSET接着被成功地被植入在子宫中,或经受导致临床双胞胎妊娠的双胚胎转移。所述图像资料也包括获得自10至100个或更多个胚胎的缩时/视频/静止图像,所述胚胎全部经受eSET或双胚胎转移,但并未造成胚胎着床。
所述数个图像可以人工或自动地(通过将胚胎与患者EMR资料关联起来)被标注为成功或不成功。每个图像的所述时间戳记将涉及一图像被记录的确切时间,且被报告为受精后的小时数。
在任何情况下,所述数个具时间戳记的图像可以代表胚胎发育中约150小时的一时间段(自受精至受精后6天的时间),自0小时直到约150小时,及可以1秒至20分钟的间隔被分隔开。
下述代表发育中的数个典型的时间点,所述数个典型的时间点可以被包括在由本发明所应用的,具时间戳记的图像的序列中。
t0:在传统lVF中授精发生的时间。对于ICSI/IMSI,当缩时监视系统及实践允许,精子注射的时间可以对于每个卵母细胞被记录,但如或不然,t0是对于患者的卵母细胞群(cohort of oocytes),注射的开始及结束的中间时间点。此时间点可以被用作一开始时间。
tPB2:第二极体(PB2)被挤出的时间。极体的挤出是在第一格被标注,在所述第一格中PB2显得完全自所述卵膜分离。在常规IVF授精中,所述第二极体的所述挤出可以视所述卵母细胞在井(well)中的位置而被遮蔽,或被卵丘细胞遮蔽。
tPN:受精状态被确认的时间。建议在原核的消逝(tPNf)之前立即标注受精,由此与tZ(原核评分的时间)相一致,因没有进一步的观察上的动态改变被预期发生。个别原核的外表可以被进一步标注为tPNna(“n”指出现顺序“a”的个别原核):例如,第一、第二、第三等原核成为可见的起始时间tPN1a、tPN2a、tPN3a等。
tPNf:两个(或最后的)PN消失的时间。此标注是在所述胚胎依然处于1细胞阶段但原核不再可见的第一格被作成。原核消逝可以根据个别原核被进一步纪录,如tPN1f、tPN2f等,以表示所述第一、第二或额外的原核消逝的时间(亦即,类似于所述数个原核的出现的标注)。
tZ:缩时PN评定的时间。PN是动态的结构;所述PN移动且它们的形态可在tPNa及tPNf之间改变(Azzarello等人,2012年)。最近有报告称原核在细胞质中的移动及核膜的消逝可能指示后续的囊胚发育潜能,及因此是提供胚胎的发育潜能的一早期指标的一新参数(Wirka等人,2013年)。原核外观及位置的改变可能与核仁前体(nucleolar precursorbodies,NPBs)在原核中的移动相一致,允许区别的PN评分被推导出来。若有需要,缩时使用者群组推荐在所述原核消失(亦即,tPNf)之前的最后一格标注PN评分,因为原核形态上的改变已被完成。
t2:第一细胞割裂(cell cleavage)或有丝分裂的时间。t2是两个卵裂球(blastomeres)完全被个别的细胞膜分离的第一格。
t3:第一次观察到三个分离的细胞。所述三细胞期标志着第二轮割裂的起始。
tn:第一次观察到这些数量的分离的细胞(直到卵裂球的致密化阻止个别细胞的视觉辨识)。
tSC:致密化的证据被呈现的第一格;任何(两个)细胞开始致密化被观察到的初始格。
tMf/p:这标志了致密化过程的结束;当可观察的致密化结束时。桑葚胚可以完全或部分致密化,其中f完全且p是部分;所述桑葚胚具有被排除的材料。致密化的程度及时间据报与囊胚形成及质量相关联(Ivec等人,生育力及不育(fertility and sterility),96卷6期,第1473至1478页,e2,2011年12月,2011年)。
囊胚形成的动态发育阶段无法轻易使用现存的统计评级方案被评分(Gardner及Schoolcraft,生育力及不育,72卷4期,第604至609页,1999年10月),举例而言,囊胚腔构成所述胚胎(早期囊胚)少于一半的体积的时间可能无法自囊胚腔大于或等于所述胚胎(囊胚)的一半的体积时确定地被区分开来。因此,所述缩时使用者群体推荐应用一新的评分系统以描述囊胚的发育阶段,而在固定的时间点,推荐的是,在数个固定的时间点,内部细胞团块(y)及滋养外胚层(trophectoderm)(z)的形态与为动态发育阶段被描述的时间格中的所述数个统计参数相一致地被评分。此群体确认道,卵裂球活检可能改变胚胎发育及囊胚扩张的动力学,从而混淆与未经活检的胚胎的形态动力学比较(Kirkegaard等人,人类生殖,28卷10期,第2643至2651页,2013年10月1日)。然而,在早期卵裂阶段,对透明带(zonapellucida)进行促进性激光漂白(facilitative laser breaching)以促进滋养外胚层疝出(herniation)以供活检,据报相较于未经漂白的控制组,对到完整囊胚阶段的下游发育没有影响(Campbell等人,人类生殖,28卷10期,第2643至2651页,2013年10月1日)。
tSB=囊胚化的起始/开始。一空腔形成的起始被观察到的第一格。
tByz=完整囊胚。透明带开始变薄之前的最后一格。
tEyz=扩张的起始。透明带开始变薄的第一格。
tHNyz=疝出。(数个)细胞自所述透明带的突出被观察到的第一格。这标志了扩张期的结束及孵化过程的开始。
tHDyz=孵化的囊胚。所述胚胎作为一个整体自透明带脱离的第一格。
与早期植入前期间的动力学相关的数个事件的期间:
VP是所述原核可见的时间段。其被计算为VP(可见的PN)=tPNf–tPNa。若原核被个别地标注,每个原核的所述时间段可以被计算(例如,tPN1f–tPN1a)。
细胞周期是数个事件的一循序的序列,在所述数个事件中,一细胞复制其内容物接着分裂为两个。细胞周期期间是使用缩时标注被计算,所述缩时标注或者是根据一单一细胞分裂或者作为一轮有丝分裂。卵裂球的数量通过所述一轮有丝分裂变为两倍。对于第一细胞周期,当发育以单一细胞开始,这些时间是相同的。然而,第二细胞周期以两个细胞开始,所述两个细胞皆依序分裂,分别形成两个子细胞。因此有两个个别的卵裂细胞周期但只有一单一胚胎细胞周期,造成自两个细胞至四个细胞的加倍。
所述胚胎细胞周期(ECC)造成自两个细胞至四个细胞,及自四个至八个细胞的加倍。卵裂球“a”的细胞周期是被计算为t3-t2,且被记录为cc2a,且对于卵裂球b,细胞周期被计算为t4-t2,且被记录为cc2b。所述胚胎由此自两个细胞达到四个细胞的所述细胞周期(ECC2)也被计算(t4-t2)。因此,最后的分裂的卵裂球分裂所用的时间(自t2至t4)等于所述ECC的期间;所有个别的卵裂球在此时间范围内分裂。相同的情况适用于第三细胞周期。胚胎的第三周期(ECC3)的期间是所述胚胎自四个细胞发育至八个细胞所需的时间,且包括四个卵裂球/细胞循环a、b、c及d。cc3a是t5-t4;cc3b是t6-t4;cc3c是t7-t4且cc3d是t8-t4。ECC3是t8-t4。
早期胚胎发育跟随如上文所提及的一等比数列分裂模式{1个细胞、2个细胞、4个细胞、8个细胞…},及因此同步性可以被测量为子细胞分裂为两个新细胞,达到等比数列中的下一步所花费的时间。
s2=在所述第二细胞周期中的两个卵裂球分裂的同步性,被计算为t4-t3。
s3=在所述第三细胞周期中的四个卵裂球分裂的同步性,被计算为t8-t5。
每个细胞质裂的期间也可以自一分裂沟(cleavage furrow)被观察到的第一格及细胞质裂完成的时间点被计算(与事件的速度及图像捕捉能力相关)。
致密化的期间(dcom)是自致密化的起始至终止的时间段。对于完整的致密化,(dcom)=tMf–tSC。对于部分致密化,(dcom)=tMp–tSC。
囊胚化的期间(dB)是自囊胚化的起始至完整囊胚形成的时间段(tB-tSB)。
囊胚扩张的期间(dexp)是自扩张的起始至疝出的时间段(tHN-tE)。
囊胚皱缩/重新扩张的期间(dcol/dre-exp),事件的起始及结束分别被界定为tBCi(n)及tBCend(n),而“n”对应于后续的事件(举例而言,tBCi=后续跟随着tBCend1=所述囊胚腔的第一次皱缩的,囊胚腔的第一次扩张)。扩张-收缩循环的每个阶段的期间可以被计算;皱缩的起始是根据第一格被标注的,在所述第一格中,所述囊胚腔体积相较于前一格上的所述体积(直径)可见地减少。在重新扩张的起始之前的最后一格(tBCend)标志着所述皱缩事件的结束。中间的期间是“皱缩期间(dcol)”及是tBCend(n)-tBCi(n)。重新扩张的起始是根据第一格被标注,在所述第一格中所述囊胚腔体积相对较于前一格上的所述体积(直径)可见地增加。重新扩张的期间(dre-exp)是tre-expend(n)-tre-expi(n)。
疝出的期间(dHN)是自疝出至孵化的时间段(tHN-tHD)。
除了所述具时间戳记的图像数据外,本系统也可以自电子医疗纪录(EMR)收集关于患者特性的数据。这样的数据可以包括所述患者的所有医疗史,包括血液检查、放射检查、给药及医学诊断。
本系统的所述计算平台可以包括用于修改/转换获得的图像的软件。这样的修改/转换可以包括色彩过滤/偏移,色彩反转、图像缩放、压印、锐化、边缘增强等。
所述计算平台进一步包括一软件应用,所述软件应用用于处理所述第一及第二序列的具时间戳记的图像中的各者,以辨识及追踪数个被成功植入的胚胎的数个独特特征。这样的数个特征可以接着被标记为成功或非成功的植入的数个预测因子,并由本系统存储,以供与未验证的胚胎的经分析图像比较。
如在上文中所提及的,本揭示使用用于在植入之前认证数个胚胎的方式,所述方式是通过分析一单一患者的数张图像的一时间序列而被人工地执行。因此,所述人工方式并未比较不同胚胎的图像序列,这样的一比较也没有需要或优势。
既然本揭示直接并排比较数张图像的两个或更多个序列,以辨识导致成功的或非成功的植入的胚胎的数个独特的具时间戳记的特征,这些图像序列的时间线必须被对齐,以确保所述时间戳记,一特征的一关键变数,被正确地对齐。
因此,本揭示的计算平台可以亦包括一软件应用,用于将所述第一序列的具时间戳记的图像与所述第二序列的具时间戳记的图像对齐,而使所述第一序列的具时间戳记的图像与所述第二序列的具时间戳记的图像在发育时间上吻合。
这样的对齐可以使用数个方式中的一者被执行。举例而言,所述计算平台可以辨识在每个图像序列中的一特征,所述特征代表一已知的时间点(见下方的表1至3)。此特征可以接着被用以重设所有图像序列的一时间线(例如,时间0)。
本系统可以分析每个序列的图像(成功的,非成功的)以辨识所述数个图像之间的差异。这样的差异可以是代表数个已知的发育标记的数个图像特征或是未知,但可以在两个图像序列之间被比较的特征(例如,膜的厚度)。对于各种特征而言,所述系统也将进一步分析所述数张图像以得到一出现时间(特征第一次出现的时间点)、消失时间、随着时间的(特征中的)形态变化的大小、出现的时间长度、形态变化的时间长度。一些特征也将被连结到一基因标记(自患者EMR得知,或者若经受植入前基因检测,自所述胚胎的全基因组定序得知),以在特征与基因标记(例如,已知的突变/删除/插入)之间建立一先前未知的关联。
可通过本系统查询及标注的特征的清单在下方的表1至3中,连同它们的已知时间戳记被提供。
表1:形态动力学变数及提出的定义的汇总
表2:人类着床前胚胎发育的动态监视的经计算变数的汇总
表3:额外的动力学标注的汇总
既然本揭示应用演算法以比较(静止的或视频捕捉的)图像,所述演算法可以侦测到将不为受过训练的一技师所侦测到的数个特征。举例而言,可由本系统轻易辨识出的,一特征的形态学改变的一程度(例如,囊泡的尺寸或一膜的厚度的变化)或初始出现可以是如此微小或隐微,以至一技师无法侦测所述特征或所述特征的初始出现时间。
数个图像的分析可以通过一深度学习演算法进行,所述深度学习演算法是ANN(人工神经网络)的一延伸版本。
用于分析的两个主要方式可以由本发明所使用以实施模型。
在一第一方式中,数个不同的CNN(卷积神经网络)模型可以被使用在如下所述的一流水线程序(pipeline process)中:
(i)一CNN模型可以被用于图像分割及每个存在的特征的实体分割(instancesegmentation);
(ii)一RNN模型可以应用来自所述CNN模型的输出,以分类每张图像(视频格)的相关状态(亦即st);
每个不同的状态将具有其自身的CNN,所述CNN将负责评级所述状态的性质,这也可以数种方式被实施:
(a)RNN模型预测所述评级;
(b)对每一格的评级分类,及对所有格的一经计算的平均评级;
(iii)一DNN(深度神经网络)可以接着处理所述数个状态评级、时间及来自所述患者的医疗档案(EMR)的资料,以评估胚胎移植的机会。
第二方式可以使用一个或多个监督学习模型:
(i)使用ConvNet的逐格分类;
(ii)在一网络中使用一经时间分配的ConvNet及将所述数个特征传递至一RNN;
(iii)使用一3D卷积网络;
(iv)以一ConvNet自每格提取数个特征,及将所述序列传递至一分离的RNN;
(v)以一ConvNet自每格提取数个特征,及将所述序列传递至一分离的MLP。
在一示例中,与图1至7中的任何一张图连结地被描述的上述图像分析方法的使用可以被实施,以确定上文描述的各种形态动力学参数。因此,举例而言,在图1中被提供的所述图像分析方法,可以被用以辨识在一第一缩时图像中的所述体外胚胎的一个或多个特有的特征及在一第二缩时图像中的同样的一个或多个特有的特征。所述特征可以关于在上述的表1至表3中被指出的数个参数当中的任何参数。举例而言,所述数个特征可以包括下述中的一个或多个:一极体、一原核、数个卵裂球、一囊胚、透明带等。一旦被辨识,各种参数可以自所述数个特征被测量或确定,比如所述特征的位置、尺寸、形状、一壁或膜的厚度、色彩、质地或朝向。进一步地,所述数个特征的动态行为可以被确定。这样的数个特征可以包括动作、速度、生长、退化、疝出、起始及有丝分裂事件。在这样作时,可能使用所述图像分析以准确地侦测及测量如上文所描述的数个参考形态动力学参数。
虽然一些在上文中被辨识的形态动力学参数可能在本领域中是已知的,先前未被揭示的是如何使用所述数个形态动力学参数以成功地预测一体外胚胎的存活率。在提供根据本揭示的方法及系统时,申请人已提供了一种准确辨识数个特征的可靠方法,使所述数个形态动力学参数可以被更加密切地监视。
本揭示的方法可以包括使用上文指出的所述数个形态动力学参数的仅一次组合。本方法可以使用所述数个参数的仅两个或仅三个。替代地,本方法可以使用在三及三十个不同的形态动力学参数之间的任何数量的参数。
在一示例中,感兴趣的数个特征可以被限制于所述数个原核。特别地,在一示例中,所述数个原核的半径、消逝及移动可以是在存活率的一决定中被使用的仅有的数个参数。
所述半径可以是所述数个原核的平均半径。所述平均半径可以测量自使用本揭示的方法被辨识的所述数个原核,特别地,是那些被判定为具有最高的似然性是原核的所述数个原核。
所述数个原核中的各者的平均半径可以被与彼此比较,且关于接近平均半径(closenss average radii)的一决定被作成。这可以提供所述胚胎的存活率的一第一指示性因子,所述第一指示性因子单独而言可能不是确定性的,但当与一个或多个其它参数集体地考虑时,可以提供一有意义的指示。
如上文所述的,可以与所述平均半径一起被使用的另一参数是所述数个原核的消逝之间的时间间隔。因此,使用本揭示的方法,两个原核的消逝事件可以被准确地评估及更精准地监控。如此,确定所述两个原核的所述消逝相较起来如何也可以被更准确地评估。
一进一步的参数可能关于所述平均移动,所述平均移动可以由所述特征的准确辨识所促进,所述特征的准确辨识是由上文描述的图像分析技术所提供。
图9是一流程图,列出本发明的方法,自图像序列取回,经过存储、准备、结构化数据的添加、分析、演算路径且直到可以作为预测因子的数个特征的辨识。所述流程图代表在本系统的整体架构中的每个模组中的数据流。
在本揭示的背景下,可以理解的是所述图像序列取回可以涉及所述样本及所述特征的所述数个图像的取回。所述图像序列可以是时间上分离的图像及/或数个不同焦平面的图像。这些图像可以接着被存储(例如,存储在EMR及/或视频存储中)。这些图像可以接着被准备以供如本文中所描述的任何方法的使用。这可能涉及本领域中已知的任何常规的图像处理技术。替代地,所述数个图像的准备可以涉及如本文中所描述的图像处理方法的使用。被结构化的数据可以接着被添加。所述数据可以被递送至数个分析及演算法路径,所述数个分析及演算法路径可以包含任何本文中所描述的方法的使用。如上文所描述的,数个特征可以为了作为预测因子使用而被辨识。来自所述程序的一最终输出可以被转送给一网路API(应用程序接口)及可选地,转送至一终端使用者装置,比如一行动装置及/或计算机。
可预期的是,在此专利的生命中,许多相关的图像捕捉方式将被发展出来,且图像一词的范围意在先验地包括所有这样的新科技的产物。如本文中所使用地,“约”一词意指10%。
应被了解的是,为了清楚起见而在分离的实施例的背景下被描述的本发明的特定特征,也可以在一单一实施例中结合地被提供。相反地,为了简洁起见而在一单一实施例的背景下被描述的本发明的各种特征,也可以分离地或以任何适宜的次组合被提供。
应被了解的是,如每个如本文中所描述的方法步骤可以与每个其它方法步骤组合地或分离地被使用,且这些方法步骤的排序可以被改变而不脱离如被主张权利的本发明的范围。
虽然本发明已连同其特定实施例而被描述,明显的是,对于本技艺的一般技术人员而言,许多替代、修改及变化将是明显的。因此,本发明是意在涵括落在随附的权利要求的精神及广范围内的所有这样的替代、修改及变化。在本说明书中被提及的所有出版物、专利及专利申请通过引用以其整体被并入本说明书中,其程度如同每个个别的出版物、专利或专利申请被特定地及个别地指示通过引用被并入本文中。此外,在此申请中对任何参考资料的引用或辨识不应被视为承认这样的参考资料可以作为本发明的先前技术。
Claims (43)
1.一种辨识图像中的特征的方法,其特征在于:所述方法包含步骤:
为所述图像中的每个像素或像素的群组确定数个特性值,其中所述数个特性值中的各者与所述特征的一个不同的特性相关;及
在一目标区域中的所述数个像素的所述数个特性值的基础上,为所述图像的所述目标区域确定一置信度值,其中所述置信度值指示所述特征是否由所述图像的所述目标区域所表现。
2.如权利要求1所述的方法,其特征在于:所述特性值与所述像素或像素的群组是否包括各自特性的一概率相关。
3.如权利要求1或2所述的方法,其特征在于:确定数个特性值包含为所述像素或像素的群组的每个特性确定一对数似然比。
4.如权利要求3所述的方法,其特征在于:所述对数似然比是在所述像素或像素的群组及一背景区域的基础上被确定。
5.如权利要求4所述的方法,其特征在于:所述数个特性值的一个或多个与所述像素或像素的群组及所述背景区域之间的对比度的一水平相关。
6.如前述任一项权利要求所述的方法,其特征在于:所述数个特性值所相关的所述数个不同的特性对应于下述中的一个或多个:所述特征的一边界区域;所述特征的一高对比度部份;所述特征的一粗糙度;及所述特征的一平滑度。
7.如权利要求4至6中任一项所述的方法,其特征在于:所述背景区域是在所述特性值所相关的所述特性的基础上被选择。
8.如权利要求4至7中任一项所述的方法,其特征在于:一个或多个所述数个特性值与所述像素或像素的群组相对于所述背景区域的亮度或暗度相关。
9.如权利要求4至8中任一项所述的方法,其特征在于:所述背景区域受限于所述像素或像素的群组的数个邻近像素。
10.如权利要求9所述的方法,其特征在于:所述数个邻近像素仅位于所述像素或像素的群组的上方或下方。
11.如前述任一项权利要求所述的方法,其特征在于:所述数个特性值中的各者相对于所述特征而言是位置特定的。
12.如权利要求11所述的方法,其特征在于:为所述目标区域确定所述置信度值包含步骤:
确定像素或像素的群组相对于所述目标区域的一位置;
基于所述位置选择适用于每个像素或像素的群组的所述数个特性值;
为所述像素或像素的群组使用被选择的所述数个特性值,以确定所述置信度值。
13.如权利要求12所述的方法,其特征在于:其中所述确定所述置信度值进一步包含步骤:减去所述目标区域外的所述数个像素的所述数个特性值。
14.如前述任一项权利要求所述的方法,其特征在于:进一步包含步骤:
获取数个不同的目标区域的数个置信度值。
15.如权利要求14所述的方法,其特征在于:所述数个不同的目标区域是通过位置、尺寸及形状中的一个或多个被区分。
16.如前述任一项权利要求所述的方法,其特征在于:所述目标区域具有一形状,所述形状对应于所述特征。
17.如权利要求16所述的方法,其特征在于:所述目标区域是圆形的。
18.如前述任一项权利要求所述的方法,其特征在于:所述图像是一样本的一图像,所述方法进一步包含:为所述样本的数个不同图像的对应的数个目标区域确定数个置信度值。
19.如权利要求18所述的方法,其特征在于:所述数个不同的图像取自数个不同的焦平面。
20.如权利要求18或19所述的方法,其特征在于:所述数个不同的图像被时间性地分开。
21.如前述任一权利要求所述的方法,其特征在于:所述图像是一生物学样本的图像。
22.如权利要求21所述的方法,其特征在于:所述生物学样本是一体外胚胎。
23.如前述任一项权利要求所述的方法,其特征在于:所述一个或多个特征是数个原核。
24.一种设备,其特征在于:可用于执行如前述任一项权利要求所述的方法。
25.一种计算机可读介质,其特征在于:包含数个指令,当所述数个指令由一合适的计算机执行时,使得所述计算机执行如权利要求1至23中任一项的方法。
26.一种用于辨识成功的IVF植入的数个预测因子的系统,其特征在于:所述系统是配置以:
(a)获取数张具时间戳记的图像的一第一序列,数张具时间戳记的图像的所述第一序列追踪被认证为成功植入的一植入前胚胎的发育;
(b)获取数张具时间戳记的图像的一第二序列,数张具时间戳记的图像的所述第二序列追踪被认证为非成功植入的一植入前胚胎的发育;
(c)将数张具时间戳记的图像的所述第一序列与数张具时间戳记的图像的所述第二序列以计算机方式对齐,使数张具时间戳记的图像的所述第一序列与数张具时间戳记的图像的所述第二序列在发育时间上匹配;及
(d)将数张具时间戳记的图像的所述第一及所述第二序列中的每张图像以计算机方式处理,以便识别及追踪数个成功植入的胚胎的数个独特特征,从而辨识成功的IVF植入的数个预测因子。
27.如权利要求26所述的系统,其特征在于:(c)是通过辨识数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列中的一特定发育特征,并基于所述发育特征设定一通常发育时间而被实现。
28.如权利要求26或27所述的系统,其特征在于:数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列是数个视频序列。
29.如权利要求26至28中任一项所述的系统,其特征在于:数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列是数个缩时序列。
30.如权利要求26至29中任一项所述的系统,其特征在于:所述数个独特特征以下述为特征:形态、出现时间、消失时间、随时间的形态变化幅度、出现的时间长度、形态改变的时间长度及与一基因标记的关联。
31.如权利要求26至30中任一项所述的系统,其特征在于:(d)是通过一深度学习演算法实现。
32.如权利要求26至31中任一项所述的系统,其特征在于:所述系统是进一步被配置以在(d)之前修饰数张具时间戳记的图像的所述第一及所述第二序列中的每张图像。
33.如权利要求32所述的系统,其特征在于:所述修饰选自于由色彩偏移、色彩过滤及压印所组成的群组。
34.如权利要求26至33中任一项所述的系统,其特征在于:所述数个特征的辨识及追踪包括所述系统被配置以:
为所述图像中的每个像素或像素的群组确定数个特性值,其中所述数个特性值中的各者与所述特征的一不同特性相关;及
在一目标区域中的所述数个像素的所述数个特性值的基础上,为所述图像的所述目标区域确定一置信度值,其中所述置信度值指示所述特征是否由所述图像的所述目标区域所表现。
35.一种辨识成功的IVF植入的数个预测因子的方法,其特征在于:包含步骤:
(a)获取数张具时间戳记的图像的一第一序列,数张具时间戳记的图像的所述第一序列追踪被认证为成功植入的一植入前胚胎的发育;
(b)获取数张具时间戳记的图像的一第二序列,数张具时间戳记的图像的所述第二序列追踪被认证为非成功植入的一植入前胚胎的发育;
(c)将数张具时间戳记的图像的所述第一序列与数张具时间戳记的图像的所述第二序列以计算机方式对齐,使数张具时间戳记的图像的所述第一序列与数张具时间戳记的图像的所述第二序列在发育时间上匹配;及
(d)将数张具时间戳记的图像的所述第一及所述第二序列中的每张图像以计算机方式处理,以便识别及追踪数个成功植入的胚胎的数个独特特征,从而辨识成功的IVF植入的数个预测因子。
36.如权利要求35所述的方法,其特征在于:(c)是通过辨识数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列中的一特定发育特征,并基于所述发育特征设定一通常发育时间而被实现。
37.如权利要求35或36所述的方法,其特征在于:数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列是数个视频序列。
38.如权利要求35至37中任一项所述的方法,其特征在于:数张具时间戳记的图像的所述第一序列及数张具时间戳记的图像的所述第二序列是数个缩时序列。
39.如权利要求35至38中任一项所述的方法,其特征在于:所述数个独特特征以下述为特征:形态、出现时间、消失时间、随时间的形态变化幅度、出现的时间长度、形态改变的时间长度及与一基因标记的关联。
40.如权利要求35至39中任一项所述的方法,其特征在于:(d)是通过一深度学习演算法实现。
41.如权利要求35至40中任一项所述的方法,其特征在于:所述方法进一步包含:在(d)之前修饰数张具时间戳记的图像的所述第一及所述第二序列中的每张图像。
42.如权利要求35至41所述的方法,其特征在于:所述修饰选自于由色彩偏移、色彩过滤及压印所组成的群组。
43.如权利要求35至42中任一项所述的方法,其特征在于:所述数个特征的辨识及追踪包含:
为所述图像中的每个像素或像素的群组确定数个特性值,其中所述数个特性值中的各者与所述特征的一不同特性相关;及
在一目标区域中的所述数个像素的所述数个特性值的基础上,为所述图像的所述目标区域确定一置信度值,其中所述置信度值指示所述特征是否由所述图像的所述目标区域所表现。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862733663P | 2018-09-20 | 2018-09-20 | |
US62/733,663 | 2018-09-20 | ||
PCT/IB2019/057982 WO2020058931A1 (en) | 2018-09-20 | 2019-09-20 | Image feature detection |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113141778A true CN113141778A (zh) | 2021-07-20 |
Family
ID=68084906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980076110.7A Pending CN113141778A (zh) | 2018-09-20 | 2019-09-20 | 图像特征检测 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11954926B2 (zh) |
EP (1) | EP3853763A1 (zh) |
JP (1) | JP2022502684A (zh) |
KR (1) | KR20210078488A (zh) |
CN (1) | CN113141778A (zh) |
WO (1) | WO2020058931A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210078488A (ko) | 2018-09-20 | 2021-06-28 | 에이아이브이에프 엘티디 | 이미지 특징 감지 |
WO2021148962A1 (en) * | 2020-01-21 | 2021-07-29 | Fairtility Ltd. | Methods and systems for determining optimal decision time related to embryonic implantation |
US11756210B2 (en) | 2020-03-12 | 2023-09-12 | Adobe Inc. | Video inpainting via machine-learning models with motion constraints |
EP4209932A4 (en) * | 2020-09-03 | 2023-09-13 | NEC Corporation | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND COMPUTER PROGRAM |
JP2024501095A (ja) * | 2020-09-08 | 2024-01-11 | エーアイブイエフ リミテッド | 非言語的音声を介して生物学的プロセスを表現するためのシステム及び方法 |
US20230326014A1 (en) | 2020-09-11 | 2023-10-12 | The Brigham And Women's Hospital, Inc | Automated aneuploidy screening using arbitrated ensembles |
US11823357B2 (en) * | 2021-03-09 | 2023-11-21 | Adobe Inc. | Corrective lighting for video inpainting |
WO2023151578A1 (en) * | 2022-02-10 | 2023-08-17 | Merck Patent Gmbh | Embryo selection process |
CN118506115A (zh) * | 2024-07-22 | 2024-08-16 | 武汉互创联合科技有限公司 | 基于最佳圆弧融合的多焦距胚胎图像原核检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101331500A (zh) * | 2005-10-14 | 2008-12-24 | 尤尼森斯繁殖技术公司 | 细胞群的变化的测定 |
US20150268227A1 (en) * | 2014-03-20 | 2015-09-24 | Auxogyn, Inc. | Quantitative measurement of human blastocyst and morula morphology developmental kinetics |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003270687B2 (en) * | 2002-09-13 | 2008-05-08 | Life Technologies Corporation | Interactive and automated tissue image analysis with global training database and variable-abstraction processing in cytological specimen classification and laser capture microdissection applications |
EP2430454B1 (en) | 2009-08-22 | 2013-01-23 | The Board Of Trustees Of The University Of the Leland Stanford Junior University | Imaging and evaluating embryos, oocytes, and stem cells |
US8593457B2 (en) * | 2010-05-27 | 2013-11-26 | National Tsing Hua University | Method of three-dimensional image data processing |
EP2866820A1 (en) * | 2012-06-27 | 2015-05-06 | Yeda Research and Development Co. Ltd. | Peptides derived from hiv gp41 for treating t-cell mediated pathologies |
WO2014134550A1 (en) | 2013-02-28 | 2014-09-04 | Auxogyn, Inc. | Apparatus, method, and system for image-based human embryo cell classification |
BR112017007282A2 (pt) * | 2014-10-10 | 2018-06-19 | Invitae Corp | métodos, sistemas e processos de montagem de novo de leituras de sequenciamento |
US10902334B2 (en) * | 2016-01-28 | 2021-01-26 | Gerard Letterie | Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos |
KR20210078488A (ko) * | 2018-09-20 | 2021-06-28 | 에이아이브이에프 엘티디 | 이미지 특징 감지 |
-
2019
- 2019-09-20 KR KR1020217011535A patent/KR20210078488A/ko unknown
- 2019-09-20 JP JP2021541325A patent/JP2022502684A/ja active Pending
- 2019-09-20 EP EP19779605.5A patent/EP3853763A1/en active Pending
- 2019-09-20 US US17/278,421 patent/US11954926B2/en active Active
- 2019-09-20 CN CN201980076110.7A patent/CN113141778A/zh active Pending
- 2019-09-20 WO PCT/IB2019/057982 patent/WO2020058931A1/en unknown
-
2024
- 2024-02-29 US US18/591,320 patent/US20240249540A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101331500A (zh) * | 2005-10-14 | 2008-12-24 | 尤尼森斯繁殖技术公司 | 细胞群的变化的测定 |
US20150268227A1 (en) * | 2014-03-20 | 2015-09-24 | Auxogyn, Inc. | Quantitative measurement of human blastocyst and morula morphology developmental kinetics |
Non-Patent Citations (2)
Title |
---|
AISHA KHAN等: "Deep Convolutional Neural Networks for Human Embryonic Cell Counting", INTERNATIONAL CONFERENCE ON FINANCIAL CRYPTOGRAPHY AND DATAA SECURITY, 18 September 2016 (2016-09-18), pages 1 * |
SUJATA N PATIL等: "Deep Learning Techniques for Automatic Classification and Analysis of Human in Vitro Fertilized (IVF) embryos", JOURNAL OF EMERGING TECHNOLOGIES AND INNOVATIVE RESEARCH, vol. 5, no. 2, 28 February 2018 (2018-02-28), pages 101 * |
Also Published As
Publication number | Publication date |
---|---|
JP2022502684A (ja) | 2022-01-11 |
US11954926B2 (en) | 2024-04-09 |
WO2020058931A1 (en) | 2020-03-26 |
EP3853763A1 (en) | 2021-07-28 |
KR20210078488A (ko) | 2021-06-28 |
US20240249540A1 (en) | 2024-07-25 |
US20210390697A1 (en) | 2021-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113141778A (zh) | 图像特征检测 | |
US11942220B2 (en) | Methods and apparatus for assessing embryo development | |
AU2018384082B2 (en) | Systems and methods for estimating embryo viability | |
JP2022087297A (ja) | 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム | |
WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
US20220392062A1 (en) | Method based on image conditioning and preprocessing for human embryo classification | |
CN117836820A (zh) | 用于人ivf衍生胚胎的结果评价的系统和方法 | |
WO2021148962A1 (en) | Methods and systems for determining optimal decision time related to embryonic implantation | |
AU2024200572A1 (en) | Automated evaluation of quality assurance metrics for assisted reproduction procedures | |
Silva-Rodríguez et al. | Predicting the success of blastocyst implantation from morphokinetic parameters estimated through CNNs and sum of absolute differences | |
US10748288B2 (en) | Methods and systems for determining quality of an oocyte | |
TW201913565A (zh) | 胚胎影像評價方法及系統 | |
Sharma et al. | Deep learning methods to forecasting human embryo development in time-lapse videos | |
AU2019101174A4 (en) | Systems and methods for estimating embryo viability | |
RU2810125C1 (ru) | Автоматизированная оценка показателей обеспечения качества для процедур вспомогательной репродукции | |
Subramanian et al. | Web based Mitosis Detection on Breast Cancer Whole Slide Images using Faster R-CNN and YOLOv5 | |
RU2800079C2 (ru) | Системы и способы оценки жизнеспособности эмбрионов | |
Harun | Medical Image Segmentation for Embryo Image Analysis | |
JP2024513659A (ja) | 人工知能を使用して胚生存能力を評価するためのシステムおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |