CN112862743A - 利用高光谱数据分析的人工智能的细胞检测方法及其系统 - Google Patents
利用高光谱数据分析的人工智能的细胞检测方法及其系统 Download PDFInfo
- Publication number
- CN112862743A CN112862743A CN202010498111.5A CN202010498111A CN112862743A CN 112862743 A CN112862743 A CN 112862743A CN 202010498111 A CN202010498111 A CN 202010498111A CN 112862743 A CN112862743 A CN 112862743A
- Authority
- CN
- China
- Prior art keywords
- cell
- hyperspectral
- cells
- time point
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000007405 data analysis Methods 0.000 title claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 38
- 239000000126 substance Substances 0.000 claims abstract description 18
- 238000011161 development Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 210000004027 cell Anatomy 0.000 claims description 255
- 210000002257 embryonic structure Anatomy 0.000 claims description 24
- 238000013473 artificial intelligence Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000002834 transmittance Methods 0.000 claims description 9
- 210000004602 germ cell Anatomy 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 210000002459 blastocyst Anatomy 0.000 claims description 3
- 210000001161 mammalian embryo Anatomy 0.000 description 40
- 208000000509 infertility Diseases 0.000 description 12
- 230000036512 infertility Effects 0.000 description 12
- 231100000535 infertility Toxicity 0.000 description 12
- 230000018109 developmental process Effects 0.000 description 9
- 238000007689 inspection Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000035935 pregnancy Effects 0.000 description 4
- 238000002513 implantation Methods 0.000 description 3
- 238000000338 in vitro Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 229920002477 rna polymer Polymers 0.000 description 3
- 102000002322 Egg Proteins Human genes 0.000 description 2
- 108010000912 Egg Proteins Proteins 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 2
- 230000032823 cell division Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000004720 fertilization Effects 0.000 description 2
- 239000008103 glucose Substances 0.000 description 2
- 230000002414 glycolytic effect Effects 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 208000021267 infertility disease Diseases 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000004681 ovum Anatomy 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 230000032692 embryo implantation Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000034659 glycolysis Effects 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000009027 insemination Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000016087 ovulation Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种利用高光谱数据分析的人工智能的细胞检测方法及其系统，所述方法包含取得多个细胞；在第一时间点以及第二时间点之间，取样该些细胞的N张图像；依据该些细胞的N张图像，进行图像校正程序，以产生N张标准化细胞高光谱图像；决定每一个细胞在发育期间，内部至少一种化学成分发生改变时对应的观测区域；在第一时间点以及第二时间点之间，分析N张标准化细胞高光谱图像，以产生观测区域对应的关键标准化细胞高光谱图像差异特征数值；将关键标准化细胞高光谱图像差异特征数值及/或N张标准化细胞高光谱图像输入至类神经网络，以检测细胞品质。
Description
技术领域
本发明描述一种利用高光谱数据分析技术的人工智能的细胞检测方法及其系统，尤指一种具有检测细胞品质以及识别细胞功能的人工智能的细胞检测方法及其系统。
背景技术
随着科技日新月异，适逢生育年龄的妇女常会因为工作压力、饮食习惯、文明病、排卵功能异常、贺尔蒙失调或是一些慢性病而导致不孕。在现今，不孕症是高自费的疗程，在中国以及国际市场需求巨大，且其需求每年是高度成长。许多妇女会选择体外人工受孕(In Vitro Fertilization，IVF)来治疗不孕症的问题。体外人工受孕是将卵子与精子取出，在人为操作下进行体外受精，并培养成胚胎，再将胚胎植回母体内。然而，现有的不孕症疗程的成功率仅三成。不孕症的疗程的重点在于胚胎的选择。然而，现有选择胚胎的方法主要还是由胚胎医师利用胚胎照片或是延时影片的数据，以主观方式判断胚胎的优劣。以目前的技术而论，由于缺乏一种系统化以及自动化的方式判断胚胎的良劣，故在不孕症疗程中，由医师主观地选择植入胚胎，其植入成功率仍低，故也是目前不孕症疗程的瓶颈。
换句话说，在目前的不孕症疗程下，医生仅能以主观的方式观察胚胎在分裂时的情况。例如，医生会以主观的方式，依据胚胎在发育中的细胞数目、细胞分裂的均匀程度以及分裂时的碎片程度，将胚胎由优到劣区分为多个等级。例如，均匀地分裂为双数细胞的胚胎较优，而产生不完整的单数细胞分裂以及碎片越多的胚胎，生长潜力较差。然而，如前述提及，由于目前判断胚胎的优劣主要还是依据医生的经验，以主观的判断方式来选择较佳胚胎。因此，目前技术治疗不孕症的成功率很难提升，且容易受到不同医生的主观见解而影响成功率(例如误判)。
发明内容
本发明一实施例提出一种利用高光谱数据分析技术的人工智能的细胞检测方法。利用高光谱数据分析技术的人工智能的细胞检测方法包含取得多个细胞，在第一时间点以及第二时间点之间，取样该些细胞的N张图像，依据该些细胞的N张图像，进行图像校正程序，以产生N张标准化细胞高光谱图像，决定每一个细胞在发育期间，内部至少一种化学成分发生改变时对应的观测区域，在第一时间点以及第二时间点之间，分析N张标准化细胞高光谱图像，以产生观测区域对应的关键标准化细胞高光谱图像差异特征数值，将每一个细胞的观测区域对应的关键标准化细胞高光谱图像差异特征数值及/或N张标准化细胞高光谱图像输入至类神经网络，以训练类神经网络，以及利用类神经网络，以人工智能的程序建立细胞品质检测模型，以检测细胞品质及/或识别细胞。第一时间点在第二时间点之前，且N为大于2的正整数。
本发明另一实施例提出一种利用高光谱数据分析技术的人工智能的细胞检测系统。利用高光谱数据分析技术的人工智能的细胞检测系统包含载具、透镜模块、高光谱仪、处理器以及存储器。载具具有容置槽，用以放置多个细胞。透镜模块面对载具，用以放大该些细胞的细节。高光谱仪面对透镜模块，用以透过透镜模块取得该些细胞的图像。处理器耦接于透镜模块及高光谱仪，用以调整透镜模块的放大倍率以及处理该些细胞的图像。存储器耦接于处理器，用以储存训练数据以及图像处理的分析数据。载具的容置槽放置该些细胞后，处理器控制高光谱仪，透过透镜模块在第一时间点以及第二时间点之间，取样该些细胞的N张图像。处理器依据该些细胞的N张图像，进行图像校正程序，以产生N张标准化细胞高光谱图像，决定每一个细胞在发育期间，内部至少一种化学成分发生改变时对应的观测区域，并在第一时间点以及第二时间点之间，分析N张标准化细胞高光谱图像，以产生观测区域对应的关键标准化细胞高光谱图像差异特征数值。处理器包含类神经网络，每一个细胞的观测区域对应的关键标准化细胞高光谱图像差异特征数值及/或N张标准化细胞高光谱图像用以训练类神经网络。处理器利用类神经网络，以人工智能的程序建立细胞品质检测模型，以检测细胞品质及/或识别细胞。第一时间点在第二时间点之前，且N为大于2的正整数。
附图说明
图1为本发明的利用高光谱数据分析技术的人工智能的细胞检测系统的实施例的方块图。
图2为图1的利用高光谱数据分析技术的人工智能的细胞检测系统执行细胞检测方法的流程图。
图3为图1的利用高光谱数据分析技术的人工智能的细胞检测系统中，加入额外步骤以增强细胞检测的精确度的示意图。
图4为图1的利用高光谱数据分析技术的人工智能的细胞检测系统中，具有类神经网络的处理器的输入数据以及输出数据的示意图。
附图标记：
100：利用高光谱数据分析技术的人工智能的细胞检测系统
10：载具
11：透镜模块
12：高光谱仪
13：处理器
14：存储器
S201至S207：步骤
S301至S302：步骤
D1：关键标准化细胞高光谱图像差异特征数值
D2：N张标准化细胞高光谱图像
D3：波长标准化细胞应向边缘特征数据
D4：细胞品质输出数据
具体实施方式
图1为本发明的利用高光谱数据分析技术的人工智能的细胞检测系统100的实施例的方块图。为了简化描述，利用高光谱数据分析技术的人工智能的细胞检测系统100后文称为“细胞检测系统100”。细胞检测系统100包含载具10、透镜模块11、高光谱仪12、处理器13以及存储器14。载具10具有容置槽，用以放置多个细胞。举例而言，载具10可为培养皿，其内部的容置槽可包含一些培养液。多个细胞可在培养液中发育。多个细胞可为多个生殖细胞、多个胚胎或是任何欲观察且可分裂的多个细胞。透镜模块11面对载具10，用以放大该些细胞的细节。透镜模块11可为任何具有光学或是数字变焦能力的透镜模块，例如显微镜模块。高光谱仪12面对透镜模块11，用以透过透镜模块11取得该些细胞的图像。因此，在细胞检测系统100中，高光谱仪12所采集的该些细胞的图像可为(A)高光谱仪图像中的任意一个波长对应的细胞图像，(B)高光谱图像各波长的细胞图像所合成的灰阶细胞图像。任何合理的图像格式都属于本发明所揭露的范畴。处理器13耦接于透镜模块11及高光谱仪12，用以调整透镜模块11的放大倍率以及处理该些细胞的图像。处理器13可为中央处理器、微处理器、或是任何的可编程处理单元。处理器13具有类神经网络，例如深度神经网络(DeepNeural Networks，DNN)，可以执行机器学习以及深度学习的功能。因此，处理器13的类神经网络可以被训练，可视为人工智能的处理核心。存储器14耦接于处理器13，用以储存训练数据以及图像处理的分析数据。
在细胞检测系统100中，在载具10的容置槽放置该些细胞后，处理器13可控制高光谱仪12，透过透镜模块11在第一时间点以及第二时间点之间，取样该些细胞的N张图像。接着，处理器13可以决定每一个细胞在发育期间，内部至少一种化学成分发生改变时对应的观测区域，并在第一时间点以及第二时间点之间，分析N张标准化细胞高光谱图像，以产生观测区域对应的关键标准化细胞高光谱图像差异特征数值。如前述提及，处理器13包含可训练的类神经网络。因此，每一个细胞的观测区域对应的关键标准化细胞高光谱图像差异特征数值及/或N张标准化细胞高光谱图像可用以训练类神经网络。在类神经网络训练完成后，处理器13可以利用类神经网络，以人工智能的程序建立细胞品质检测模型，以检测细胞品质及/或识别细胞。在细胞检测系统100中，第一时间点在第二时间点之前，且N为大于2的正整数。换句话说，细胞检测系统100可以用两个不同时间点之间的时间序列的细胞图像信息来训练类神经网络。在类神经网络训练完成后，细胞检测系统100即具备人工智能的细胞检测功能，具有自动化地检测细胞品质及/或识别细胞的能力。细胞检测系统100如何训练类神经网络以执行人工智能的细胞检测功能的细节，将描述于后文。
图2为利用高光谱数据分析技术的人工智能的细胞检测系统100执行细胞检测方法的流程图。细胞检测方法可包含步骤S201至步骤S207。任何合理的步骤变或是技术更动都属于本发明所揭露的范畴。步骤S201至步骤S207的内容描述于下：
步骤S201：取得多个细胞；
步骤S202：在第一时间点以及第二时间点之间，取样该些细胞的N张图像；
步骤S203：依据该些细胞的N张图像，进行图像校正程序，以产生N张标准化细胞高光谱图像；
步骤S204：决定每一个细胞在发育期间，内部至少一种化学成分发生改变时对应的观测区域；
步骤S205：在第一时间点以及第二时间点之间，分析N张标准化细胞高光谱图像，以产生观测区域对应的关键标准化细胞高光谱图像差异特征数值；
步骤S206：将每一个细胞的观测区域对应的关键标准化细胞高光谱图像差异特征数值及/或N张标准化细胞高光谱图像输入至类神经网络，以训练类神经网络；
步骤S207：利用类神经网络，以人工智能的程序建立细胞品质检测模型，以检测细胞品质及/或识别细胞。
为了描述简化，后文的“细胞”仅以“胚胎”为实施例进行说明，然而本发明并不限于此，细胞的定义可为生殖细胞、神经细胞、组织细胞、动植物细胞或是任何需要研究及观察的细胞。在步骤S201中，研究人员或是医疗人员可先取得多个胚胎。在步骤S202中，处理器13可以控制高光谱仪12，在第一时间点以及第二时间点之间，取样该些细胞的N张图像。举例而言，高光谱仪12可在一段时间内(第一时间点以及第二时间点之间)，以录影的方式(如30fps或是60fps)取得多张帧(Frames)构成的图像集合。或是，高光谱仪12可在一段时间内(第一时间点以及第二时间点之间)，周期性地对多个胚胎拍照，以取得该些胚胎的N张图像。并且，第一时间点以及第二时间点可为该些胚胎于培养液中发育且分裂的观察周期中的任两时间点。举例而言，第一时间点以及第二时间点可以分别选为第一天以及第五天，以观察该些胚胎发育以及分裂的状况。换句话说，高光谱仪12可以在第0个小时到第120小时之内对该些胚胎连续地拍照，以取得N张图像。在步骤S203中，处理器13可以依据该些细胞的N张图像，进行图像校正程序，以产生N张标准化细胞高光谱图像。N张图像可为N张的高光谱图像。处理器13可以依据N张高光谱图像及/或环境光参数，取得亮场(Bright Field)信息及暗场(Dark Field)信息。接着，处理器13可以依据亮场信息及暗场信息，产生光穿透率百分比数值，并依据光亮场信息及/或暗场信息与穿透率百分比数值，校正N张高光谱图像，以产生N张标准化细胞高光谱图像。举例而言，由于高光谱仪12每次取样(拍摄)该些胚胎时的环境光不同，因此高光谱图像需要标准化(Normalized)以进行一致性的图像处理。例如，在时间点T1时，高光谱仪12附近的光能量为100单位(如nits)。高光谱仪12所产生的标准化细胞高光谱图像中，亮场的光能量为200单位。因此，针对亮场而言，亮场的光能量(200单位)可能有100单位是环境光所贡献的，故光线穿透率百分比数值可视为50％。例如，在时间点T2时，高光谱仪12附近的光能量为200单位(如nits)。高光谱仪12所产生的标准化细胞高光谱图像中，亮场的光能量为400单位。因此，针对亮场而言，亮场的光能量(400单位)可能有200单位是环境光贡献的，故光线穿透率百分比数值可视为50％。因此，高光谱仪12在时间点T1以及在时间点T2所产生的两张高光谱图像具有相同的光线穿透率百分比数值(亮场)。类似地，若是高光谱仪12在时间点T1以及在时间点T2所产生的两张高光谱图像具有不同的光线穿透率百分比数值(暗场)，则处理器13需要将暗场的图像进行校正，如增加暗场亮度以使两张图像不会发生高反差的情况。换句话说，高光谱仪在取样过程中、环境光、光强值、亮场以及暗场信息均有差异，故细胞检测系统100要执行标准化的程序，以使标准化后的图像数据具有一致性。并且，经过标准化的高光谱数据，可带有穿透率的信息(可用百分比表示)。若是穿透率经过标准化的处理，则图像亮度即具有一致性。在细胞检测系统100中，任何让N张高光谱图像的标准化的方法或是技术都属于本发明所揭露的范畴。
并且，应当理解的是，高光谱仪12取得该些细胞的N张高光谱图像，包含高光谱仪12在第一时间点以及第二时间点之间，于至少一个特定波长下，取得该些细胞的N张高光谱图像。一般而言，在可见光的物体图像中，可以看到物体的轮廓、颜色、偏光特性。然而，当不同物质具有相同的可见光特性(颜色、形状、偏光特性等等)时，肉眼将难以察觉。然而，物质的特性会显示在其光谱特性上，因此，高光谱仪12可以针对高光谱信号做定量的分析，以进一步解析物质的差异性。高光谱仪12所支援的光谱波段数目可为数百个，且光谱解析度可为纳米等级。因此，高光谱仪12取得该些细胞的N张高光谱图像，可以包含不同波长下的高光谱图像。光谱波段数目越多，高光谱图像的数量将越大(N越大)，图像分析能力也会越好。在步骤S204中，处理器13决定每一个细胞在发育期间，内部至少一种化学成分发生改变时对应的观测区域。如前述提及，高光谱图像可以分析物质的差异性，例如胚胎的新陈代谢物质(特征细胞)或是各种化学成分。例如，在特征细胞中，有均匀代谢的判断可根据葡萄糖(Glucose)、放射性同位素(Radioisotope)、自发萤光(Auto-fluorescence)、3H2O以及14CO2的特性而决定。例如，在健康胚胎中，有较高的核糖核酸(RNA)、蛋白含量(ProteinContent)以及糖解依赖(Glycolytic Dependence)。换句话说，当高光谱仪12产生的高光谱图像中，某个胚胎的核糖核酸、蛋白含量以及糖解依赖的比例符合健康胚胎的比例，则某个胚胎在此时间点可被视为健康胚胎。如前述提及，胚胎在发育期间会产生数次分裂，每次分裂后，胚胎内某个部份的化学成分比例就会发生改变。因此，在步骤S204中，处理器13的定义的观测区域可为该些胚胎中，每一个胚胎的囊胚(Blastocyst)区域或该些胚胎的至少一种化学成分发生改变时，差异性最大的区域。
接着，在步骤S205中，处理器13可以在第一时间点以及第二时间点之间，分析N张标准化细胞高光谱图像，以产生观测区域对应的关键标准化细胞高光谱图像差异特征数值。在细胞检测系统100中，关键标准化细胞高光谱图像差异特征数值可包含各波长下标准化光谱之间的比例关系、标准化光谱的波峰及/或波谷数值、该波峰及/或波谷对应的波长数据、以及该些波长数据间的相关性。广义地说，N张标准化细胞高光谱图像中的任何可量化的特征，可以被处理器13进行量化处理，而变为二比特的数字数值。并且，由于处理器13包含类神经网络，因此，在步骤S206中，每一个细胞的观测区域对应的关键标准化细胞高光谱图像差异特征数值及/或N张标准化细胞高光谱图像可以输入至类神经网络，以训练类神经网络。在类神经网络被训练完成后，依据步骤S207，处理器13可以用人工智能的程序，建立细胞品质检测模型，以检测细胞品质及/或识别细胞。在细胞检测系统100中，类神经网络具有建立深度学习模型的训练数据搜集的能力。例如，类神经网络可以搜集胚胎由第一天至第五天内，各阶段原始的图像数据、最后阶段(或是发育期间的任何时间点)的高光谱技术采集的高光谱数据、将高光谱数据分析后的图像特征数据、以及时间序列数据(N张图像)以执行深度学习的训练。并且，类神经网络还可以依据胚胎着床成功或是着床失败的结果(着床率)修正细胞品质检测模型。任何用以训练类神经网络以进行人工智能的细胞检测功能的方式都属于本发明所揭露的范畴。换句话说，细胞检测系统100利用人工智能检测胚胎品质及/或识别胚胎可包含两个阶段。第一阶段为训练阶段。第二阶段为人工智能的检测阶段。在类神经网络训练完成后，处理器13可以利用已经训练完成的类神经网络的细胞品质检测模型，判断胚胎品质以及识别胚胎。因此，本发明的细胞检测系统100可以避免医疗人员或是研究人员以主观的方式来判断胚胎的优劣，因此针对不孕症的疗程，其受孕成功率能够大幅度地提升。
图3为利用高光谱数据分析技术的人工智能的细胞检测系统100中，加入额外步骤以增强细胞检测的精确度的示意图。为了进一步加强判断胚胎品质以及识别胚胎的精确度，细胞检测系统100还可以引入型态学的检测技术来强化类神经网络的细胞检测能力，如下所示。
步骤S201：取得多个细胞；
步骤S301：在第一时间点以及第二时间点之间，依据N张标准化细胞高光谱图像，采集至少一个波长的标准化细胞图像；
步骤S302：利用型态学的边缘检测技术，依据至少一个波长的标准化细胞图像，取得每一个时间点及每一个波长下的波长标准化细胞图像边缘特征数据，并将波长标准化细胞图像的边缘特征数据输入至类神经网络，以训练类神经网络。
类似地，为了描述简化，后文的“细胞”仅以“胚胎”为实施例进行说明，然而本发明并不限于此，细胞的定义可为生殖细胞、神经细胞、组织细胞、动植物细胞或是任何需要研究及观察的细胞。为了进一步加强判断胚胎品质以及识别胚胎的精确度，细胞检测系统100在前述步骤S201取得多个细胞(胚胎)后，依据步骤S301，处理器13可以在第一时间点以及第二时间点之间，依据N张标准化细胞高光谱图像，采集至少一个波长的标准化细胞图像。如前述提及，高光谱仪12所支援的光谱波段数目可为数百个，因此处理器13在校正高光谱仪12产生的图像的亮场/暗场参数后(标准化)，可以取得每一个波长下的标准化细胞图像。接着，依据步骤S302，处理器13可以利用型态学的边缘检测技术，依据至少一个波长的标准化细胞图像，取得每一个时间点及每一个波长下的波长标准化细胞图像的边缘特征数据，并将波长标准化细胞图像的边缘特征数据输入至类神经网络，以训练类神经网络。在此，边缘特征数据可为胚胎整体或是某一个特定部分(例如囊胚)的轮廓，其数据格式可用多个坐标的方式表示。例如在二维平面上，单一胚胎的轮廓可为封闭型的线段，可用(X1,Y1)至(XM,YM)表示，M为正整数且M越大解析度越高。对比于图2所述的步骤S201至步骤S207的细胞检测方法，细胞检测系统100可以引入额外的步骤S301至步骤S302，以获取更多的信息(如波长标准化细胞图像的边缘特征数据)来训练类神经网络。因此，类神经网络的训练会更加优化，从而增加了人工智能检测细胞品质的精确度。
图4为利用高光谱数据分析技术的人工智能的细胞检测系统100中，具有类神经网络的处理器13的输入数据以及输出数据的示意图。如前述提及，高光谱仪12可以在两个不同的时间点对多个胚胎拍照，以产生N张图像。N张图像可以经过图像校正程序，而转换为N张标准化细胞高光谱图像D2。并且，藉由分析时间序列下的N张标准化细胞高光谱图像，可以决定观测区域，并进一步产生关键标准化细胞高光谱图像差异特征数值D1。关键标准化细胞高光谱图像差异特征数值D1以及标准化细胞高光谱图像D2可用于训练处理器13内的类神经网络。当类神经网络训练完成后，处理器13即可利用人工智能的程序判断胚胎品质及/或识别胚胎。处理器13可输出细胞品质输出数据D4。应当理解的是，N张图像中的每一张图像可为二维图像或三维图像。若N张图像中的每一张图像为二维图像时，输入至类神经网络的数据格式可为K个维度。举例而言，在时间点T、高光谱仪的特定波长λ下，二维坐标(x,y)的像素S1的光信号可以表示为S1(λ,T,x,y)。像素S1的光信号S1(λ,T,x,y)为四个维度的信号格式(K＝4)。同理，在时间点T、高光谱仪的特定波长λ下，三维坐标(x,y,z)的像素S2的光信号可以表示为S2(λ,T,x,y,z)。像素S2的光信号S2(λ,T,x,y,z)为五个维度的信号格式(K＝5)。K为大于2的正整数。因此可预期地，当细胞检测系统100的数据格式为较高的维度时，运算复杂度将变高。当细胞检测系统100的数据格式为较低的维度时，运算复杂度将变低。
并且，如前述提及，处理器13的类神经网络，可以利用波长标准化细胞图像的边缘特征数据D3进行训练后，类神经网络可以利用人工智能的程序优化细胞品质检测模型。因此，如图4所示，处理器内的类神经网络可以接收关键标准化细胞高光谱图像差异特征数值D1、标准化细胞高光谱图像D2、波长标准化细胞图像的边缘特征数据D3。并且，当处理器内的类神经网络训练完成后，处理器即可利用人工智能的程序对不孕症妇女的取卵/胚胎进行遴选，以输出细胞品质输出数据D4。细胞品质输出数据D4可为任何形式的数据格式，如输出胚胎优劣的分级数据、输出至少一个胚胎的优劣排序百分率、或是输出至少一个胚胎的细胞品质。细胞品质可为细胞的详细化学成分数值含量多寡、遗传基因优劣，也可以为细胞于特定时间内的发育状态的优劣，或是细胞是否发生病变而定。若为生殖细胞也可为怀孕与否、新生儿健康以及性别而定。
综上所述，本发明描述一种利用高光谱数据分析技术的人工智能的细胞检测方法及其系统。细胞检测系统的应用族群可为不孕症的妇女。医疗人员可先依据大量细胞数据，建立人工智能的细胞品质检测模型后，即可对不孕症的妇女进行疗程。并且，人工智能的类神经网络可以接收各波长下的高光谱数据及型态学相关的各种参数，例如关键标准化细胞高光谱图像差异特征数值、标准化细胞高光谱图像、波长标准化细胞图像的边缘特征数据。因此，类神经网络的使用可以避免医疗人员或是研究人员以主观的方式来判断胚胎的优劣。不孕症的妇女可以先进行多个胚胎培养，细胞检测系统利用人工智能的细胞品质间检测模型决定最佳胚胎后，再以人工的方式植入母体子宫，以增加受孕的成功率。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (10)
1.一种利用高光谱数据分析技术的人工智能的细胞检测方法，其特征在于，包含：
取得多个细胞；
在一第一时间点以及一第二时间点之间，取样该些细胞的N张图像；
依据该些细胞的N张图像，进行一图像校正程序，以产生N张标准化细胞高光谱图像；
决定每一个细胞在一发育期间，内部至少一种化学成分发生改变时对应的一观测区域；
在该第一时间点以及该第二时间点之间，分析该N张标准化细胞高光谱图像，以产生该观测区域对应的一关键标准化细胞高光谱图像差异特征数值；
将该每一个细胞的该观测区域对应的该关键标准化细胞高光谱图像差异特征数值及/或该N张标准化细胞高光谱图像输入至一类神经网络，以训练该类神经网络；及
利用该类神经网络，以一人工智能的程序建立一细胞品质检测模型，以检测细胞品质及/或识别细胞；
其中该第一时间点在该第二时间点之前，且N为大于2的正整数。
2.如权利要求1所述的方法，其特征在于，该些细胞为多个生殖细胞，且该第一时间点以及该第二时间点为该些生殖细胞于培养液中发育且分裂的一观察周期中的任两时间点。
3.如权利要求1所述的方法，其特征在于，该些细胞为多个胚胎，且该观测区域为该些胚胎中每一个胚胎的一囊胚区域或该些胚胎的该至少一种化学成分发生改变时，差异性最大的一区域。
4.如权利要求1所述的方法，其特征在于，依据该些细胞的该N张图像，进行该图像校正程序，以产生N张标准化细胞高光谱图像，为一高光谱仪取得该些细胞的该N张高光谱图像后，进行该图像校正程序，以产生N张标准化细胞高光谱图像。
5.如权利要求4所述的方法，其特征在于，该高光谱仪取得该些细胞的该N张高光谱图像后，进行该图像校正程序，以产生该N张标准化细胞高光谱图像包含：
依据该N张高光谱图像及/或一环境光参数，取得一亮场信息及一暗场信息；
依据该亮场信息及该暗场信息，产生一光穿透率百分比数值；
依据该光穿透率百分比数值，校正该N张高光谱图像，以产生该N张标准化细胞高光谱图像。
6.如权利要求4所述的方法，其特征在于，该高光谱仪取得该些细胞的该N张高光谱图像，包含该高光谱仪在该第一时间点以及该第二时间点之间，于至少一个特定波长下，取得该些细胞的该N张高光谱图像。
7.如权利要求1所述的方法，其特征在于，该关键标准化细胞高光谱图像差异特征数值包含各波长下标准化光谱之间的一比例关系、标准化光谱的一波峰及/或一波谷数值、该波峰及/或波谷对应的一波长数据，以及多个波长数据之间的相关性。
8.如权利要求1所述的方法，其特征在于，还包含：
在该第一时间点以及该第二时间点之间，依据该N张标准化细胞高光谱图像，采集至少一个波长的一标准化细胞图像；及
利用一型态学的一边缘检测技术，依据该至少一个波长的该标准化细胞图像，取得每一时间点及每一波长下的波长标准化细胞图像的边缘特征数据，并将该波长标准化细胞图像的边缘特征数据输入至该类神经网络，以训练该类神经网络。
9.如权利要求8所述的方法，其特征在于，该类神经网络利用该波长标准化细胞图像的边缘特征数据进行训练后，该类神经网络利用该人工智能的程序优化该细胞品质检测模型。
10.一种利用高光谱数据分析技术的人工智能的细胞检测系统，其特征在于，包含：
一载具，具有一容置槽，用以放置多个细胞；
一透镜模块，面对该载具，用以放大该些细胞的细节；
一高光谱仪，面对该透镜模块，用以透过该透镜模块取得该些细胞的图像；
一处理器，耦接于该透镜模块及该高光谱仪，用以调整该透镜模块的一放大倍率以及处理该些细胞的该图像；及
一存储器，耦接于该处理器，用以储存训练数据以及图像处理的分析数据；
其中该载具的该容置槽放置该些细胞后，处理器控制该高光谱仪，透过该透镜模块在一第一时间点以及一第二时间点之间，取样该些细胞的N张图像，该处理器依据该些细胞的N张图像，进行一图像校正程序，以产生N张标准化细胞高光谱图像，决定每一个细胞在一发育期间，内部至少一种化学成分发生改变时对应的一观测区域，并在该第一时间点以及该第二时间点之间，分析该N张标准化细胞高光谱图像，以产生该观测区域对应的一关键标准化细胞高光谱图像差异特征数值，且该处理器包含一类神经网络，该每一个细胞的该观测区域对应的该关键标准化细胞高光谱图像差异特征数值及/或该N张标准化细胞高光谱图像用以训练该类神经网络，该处理器利用该类神经网络，以一人工智能的程序建立一细胞品质检测模型，以检测细胞品质及/或识别细胞，该第一时间点在该第二时间点之前，且N为大于2的正整数。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962941612P | 2019-11-27 | 2019-11-27 | |
| US62/941,612 | 2019-11-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112862743A true CN112862743A (zh) | 2021-05-28 |
Family
ID=75996128
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010493873.6A Pending CN112862742A (zh) | 2019-11-27 | 2020-06-03 | 利用光动力学技术的人工智能的细胞检测方法及其系统 |
| CN202010498111.5A Pending CN112862743A (zh) | 2019-11-27 | 2020-06-04 | 利用高光谱数据分析的人工智能的细胞检测方法及其系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010493873.6A Pending CN112862742A (zh) | 2019-11-27 | 2020-06-03 | 利用光动力学技术的人工智能的细胞检测方法及其系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (2) | CN112862742A (zh) |
| TW (2) | TWI754945B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060039593A1 (en) * | 2004-05-13 | 2006-02-23 | Paul Sammak | Methods and systems for imaging cells |
| US20090171591A1 (en) * | 2007-12-28 | 2009-07-02 | Weyerhaeuser Company | Methods for classification of somatic embryos comprising hyperspectral line imaging |
| CN102803952A (zh) * | 2009-06-25 | 2012-11-28 | 耶路撒冷希伯来大学伊萨姆研发有限公司 | 卵能育性和性别的高光谱识别 |
| CN106226247A (zh) * | 2016-07-15 | 2016-12-14 | 暨南大学 | 一种基于高光谱显微成像技术的细胞检测方法 |
| CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
| CN108885682A (zh) * | 2016-02-26 | 2018-11-23 | 谷歌有限责任公司 | 使用神经网络处理细胞图像 |
| CN109883966A (zh) * | 2019-02-26 | 2019-06-14 | 江苏大学 | 一种基于多光谱图像技术检测中华绒螯蟹熟化程度的方法 |
| TWI664582B (zh) * | 2018-11-28 | 2019-07-01 | 靜宜大學 | 細胞檢測方法、裝置與系統 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7369696B2 (en) * | 2003-04-02 | 2008-05-06 | Ge Healthcare Uk Limited | Classification of cells into subpopulations using cell classifying data |
| CN1563947A (zh) * | 2004-03-18 | 2005-01-12 | 中国科学院上海技术物理研究所 | 显微高光谱成像系统 |
| CN101331500B (zh) * | 2005-10-14 | 2015-04-29 | 尤尼森斯繁殖技术公司 | 细胞群的变化的测定 |
| CN101903532A (zh) * | 2008-03-24 | 2010-12-01 | 株式会社尼康 | 细胞观察的图像解析方法、图像处理程序和图像处理装置 |
| JP2009229274A (ja) * | 2008-03-24 | 2009-10-08 | Nikon Corp | 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置 |
| WO2013004239A1 (en) * | 2011-07-02 | 2013-01-10 | Unisense Fertilitech A/S | Adaptive embryo selection criteria optimized through iterative customization and collaboration |
| BR112013032938B1 (pt) * | 2011-09-16 | 2021-06-29 | Ave Science & Technology Co., Ltd | Dispositivo e métodos para realizar análise morfológica para eritrócitos |
| EP2890781B1 (en) * | 2012-08-30 | 2020-09-23 | Unisense Fertilitech A/S | Automatic surveillance of in vitro incubating embryos |
| WO2016061586A1 (en) * | 2014-10-17 | 2016-04-21 | Cireca Theranostics, Llc | Methods and systems for classifying biological samples, including optimization of analyses and use of correlation |
| WO2018102748A1 (en) * | 2016-12-01 | 2018-06-07 | Berkeley Lights, Inc. | Automated detection and repositioning of micro-objects in microfluidic devices |
| CN106815566B (zh) * | 2016-12-29 | 2021-04-16 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
| JP2020523030A (ja) * | 2017-06-16 | 2020-08-06 | ジーイー・ヘルスケア・バイオサイエンス・アクチボラグ | バイオリアクタにおいてのプロセスのアウトカムを予測するための、および、そのプロセスのモデリングのための方法 |
| CN108550133B (zh) * | 2018-03-02 | 2021-05-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
| CN110136775A (zh) * | 2019-05-08 | 2019-08-16 | 赵壮志 | 一种细胞分裂及抗干扰检测系统及方法 |
| CN110390676A (zh) * | 2019-07-26 | 2019-10-29 | 腾讯科技（深圳）有限公司 | 显微镜下医学染色图像的细胞检测方法、智能显微镜系统 |
-
2020
- 2020-05-28 TW TW109117822A patent/TWI754945B/zh active
- 2020-05-28 TW TW109117840A patent/TWI781408B/zh active
- 2020-06-03 CN CN202010493873.6A patent/CN112862742A/zh active Pending
- 2020-06-04 CN CN202010498111.5A patent/CN112862743A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060039593A1 (en) * | 2004-05-13 | 2006-02-23 | Paul Sammak | Methods and systems for imaging cells |
| US20090171591A1 (en) * | 2007-12-28 | 2009-07-02 | Weyerhaeuser Company | Methods for classification of somatic embryos comprising hyperspectral line imaging |
| CN102803952A (zh) * | 2009-06-25 | 2012-11-28 | 耶路撒冷希伯来大学伊萨姆研发有限公司 | 卵能育性和性别的高光谱识别 |
| CN108885682A (zh) * | 2016-02-26 | 2018-11-23 | 谷歌有限责任公司 | 使用神经网络处理细胞图像 |
| CN106226247A (zh) * | 2016-07-15 | 2016-12-14 | 暨南大学 | 一种基于高光谱显微成像技术的细胞检测方法 |
| CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
| TWI664582B (zh) * | 2018-11-28 | 2019-07-01 | 靜宜大學 | 細胞檢測方法、裝置與系統 |
| CN109883966A (zh) * | 2019-02-26 | 2019-06-14 | 江苏大学 | 一种基于多光谱图像技术检测中华绒螯蟹熟化程度的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI781408B (zh) | 2022-10-21 |
| TWI754945B (zh) | 2022-02-11 |
| TW202121241A (zh) | 2021-06-01 |
| TW202120906A (zh) | 2021-06-01 |
| CN112862742A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8320655B2 (en) | Process and system for analyzing the expression of biomarkers in cells | |
| CN109564680A (zh) | 信息处理设备、信息处理方法和程序 | |
| AU2018384082A1 (en) | Systems and methods for estimating embryo viability | |
| CN110763678A (zh) | 一种病理切片判读方法及系统 | |
| EP3904937A1 (en) | Microscope system | |
| AU2017220648A1 (en) | Microscope assembly | |
| CN110495888B (zh) | 一种基于中医舌、面图像的标准色卡及其应用 | |
| US20220383986A1 (en) | Complex System for Contextual Spectrum Mask Generation Based on Quantitative Imaging | |
| US20040014165A1 (en) | System and automated and remote histological analysis and new drug assessment | |
| JP7156361B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
| CN114660040A (zh) | 微生物单细胞种类鉴定方法、装置、介质及设备 | |
| WO2018193612A1 (ja) | 相関算出装置、相関算出方法及び相関算出プログラム | |
| CN112862743A (zh) | 利用高光谱数据分析的人工智能的细胞检测方法及其系统 | |
| CN203894149U (zh) | 超微、荧光精子形态多功能检测分析系统 | |
| CN115629072A (zh) | 一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置 | |
| US9123120B2 (en) | Progressive decision for cellular process selection | |
| US20210174147A1 (en) | Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium | |
| US20210256692A1 (en) | Complex system for contextual mask generation based on quantitative imaging | |
| US20170161468A1 (en) | Cell information acquisition apparatus, cell information acquisition method, and cell information acquisition program | |
| Tran et al. | Classifying protein crystallization trial images using subordinate color channel | |
| JP2022547900A (ja) | 生殖補助手順に用いられる品質保証の評価指標の自動評価 | |
| Fjeldstad et al. | An artificial intelligence tool predicts blastocyst development from static images of fresh mature oocytes | |
| WO2022259648A1 (ja) | 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム | |
| RU2810125C1 (ru) | Автоматизированная оценка показателей обеспечения качества для процедур вспомогательной репродукции | |
| AU2019101174A4 (en) | Systems and methods for estimating embryo viability |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240228 Address after: Hsinchu City, Taiwan China Guangfu Road two No. 101 Applicant after: Wang Weizhong Country or region after: Taiwan, China Address before: Taichung City, Taiwan, China Applicant before: PROVIDENCE University Country or region before: Taiwan, China Applicant before: Wang Weizhong |
|
| TA01 | Transfer of patent application right |