CN111612027A - 细胞分类方法、系统与医疗分析平台 - Google Patents

细胞分类方法、系统与医疗分析平台 Download PDF

Info

Publication number
CN111612027A
CN111612027A CN201910510908.XA CN201910510908A CN111612027A CN 111612027 A CN111612027 A CN 111612027A CN 201910510908 A CN201910510908 A CN 201910510908A CN 111612027 A CN111612027 A CN 111612027A
Authority
CN
China
Prior art keywords
cell
data
image data
analysis platform
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910510908.XA
Other languages
English (en)
Inventor
刘家宏
曾韦霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peizhi Biomedical Technology Co ltd
Original Assignee
Peizhi Biomedical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peizhi Biomedical Technology Co ltd filed Critical Peizhi Biomedical Technology Co ltd
Publication of CN111612027A publication Critical patent/CN111612027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种细胞分类的方法,一种系统与一种医疗分析平台。本方法包含:通过一医疗分析平台进行影像训练调校操作,使得医疗分析平台包含深度学习模型以进行细胞影像分类;取得一细胞所对应的细胞影像数据;将细胞影像数据输入医疗分析平台中的深度学习模型;通过医疗分析平台处理对应细胞影像数据的多个细胞团影像以取得多个特征数据;以及组合特征数据以产生对应于所述特征数据的分类数据以供判断细胞的类别。本公开的细胞分类方法通过大量数据训练神经网络来产生细胞的分类结果,并一并考虑细胞影像数据中的细胞影像彼此的关联性,从而提升细胞品质判别的准确度。

Description

细胞分类方法、系统与医疗分析平台
技术领域
本公开关于一种分类方法与系统,特别涉及一种细胞分类方法与系统。
背景技术
人工生殖技术不断发展。经由体外授精培养胚胎后再植回子宫的辅助人工生殖技术,提供不孕症夫妻一个生育的选择。因此,胚胎品质是胚胎能否在子宫内成功着床的一个关键因素。现有多由医师或胚胎师依肉眼判别胚胎品质。然而,不同医师或胚胎师对同一胚胎影像的判断结果,可能因个人学识、经历而不同。因此,如何提升对胚胎品质判断的准确性及判断效率是一重要课题。
发明内容
本公开内容的一些实施例涉及一细胞分类方法,其特征在于,该方法包含:通过一医疗分析平台进行一影像训练调校操作,使得该医疗分析平台包含至少一深度学习模型以进行细胞影像分类;取得一细胞所对应的至少一细胞影像数据;将该至少一细胞影像数据输入该医疗分析平台中该至少一深度学习模型;通过该医疗分析平台处理对应该至少一细胞影像数据的多个细胞团影像,以取得多个特征数据;以及组合所述特征数据,以产生对应于所述特征数据的一分类数据以供判断该细胞的类别。
于一些实施例中,该细胞分类方法取得该细胞所对应的该至少一细胞影像数据的步骤包含:通过调整一影像取得装置的拍摄焦距,由深至浅取得该细胞在纵向对应不同焦平面的多个细胞影像数据,以形成多个深度序列细胞影像,其中所述深度序列细胞影像是分别输入该医疗分析平台中该至少一深度学习模型进行处理。
于一些实施例中,该细胞分类方法取得该细胞所对应的该至少一细胞影像数据的步骤包含:依序取得该细胞所对应的在不同时间点的多个细胞影像数据,以形成多个时间序列细胞影像,其中所述时间序列细胞影像是分别输入该医疗分析平台中该至少一深度学习模型进行处理。
于一些实施例中,该细胞分类方法通过该医疗分析平台处理对应该至少一细胞影像数据的所述细胞团影像的步骤包含:通过该医疗分析平台中的该至少一深度学习模型处理对应该至少一细胞影像数据的所述细胞团影像,其中该至少一深度学习模型包含一卷积神经网络模型、利用该卷积神经网络模型获取对应该细胞影像的所述细胞团的多个特征值、以及根据所述特征值产生对应于所述细胞团的多个第一特征分类数据,其中该医疗分析平台用以根据所述第一特征分类数据组合所述特征数据。
于一些实施例中,该细胞分类方法还包含依序将所述第一特征分类数据输入该医疗分析平台中至少一深度学习模型,其中该至少一深度学习模型还包含一递归神经网络模型、通过该递归神经网络模型产生对应于所述细胞团的多个第二特征分类数据,其中该医疗分析平台更用以根据所述第二特征分类数据组合所述特征数据。
本公开内容的另一些实施例涉及一细胞分类系统,其特征在于,该系统包含一终端机和一医疗分析平台。终端机用以取得一细胞所对应的至少一细胞影像数据。医疗分析平台与该终端机连结,用以对自该终端机接收的该细胞所对应的该至少一细胞影像数据进行分类,并回传相应于该细胞的一分类数据至该终端机。其中该医疗分析平台包含一处理器。处理器用以处理该至少一细胞影像数据的多个细胞团影像,以取得多个特征数据,并用以组合所述特征数据,以产生对应于所述特征数据的一分类数据以供判断该细胞的类别。
于一些实施例中,该细胞分类系统其中该处理器更用以分别对所述细胞团影像执行基于类神经网络的至少一第一特征辨识操作,以产生多个第一特征数据供该处理器组合所述第一特征数据。
于一些实施例中,该细胞分类系统其中该处理器更用以对多个待训练细胞影像数据与对应于所述待训练细胞影像数据的多个特征数据进行训练。当由该处理器对多个验证细胞影像数据进行处理所产生的多个特征数据与对应于所述验证细胞影像数据的验证特征数据不同时,该处理器的参数被调整。
于一些实施例中,该细胞分类系统其中当一影像取得装置依序取得在不同时间点或不同切片深度该至少一细胞影像数据的多个细胞团影像时,该处理器更用以分别对所述细胞团影像执行基于类神经网络的至少一第二特征辨识操作,以产生多个第二特征数据供该处理器组合所述特征数据。
于一些实施例中,该细胞分类系统其中该终端机包含一影像取得装置以及一输入/输出装置。影像取得装置用以取得该至少一细胞影像数据。输入/输出装置,连接于该影像取得装置及一通信装置,用以自该影像取得装置接收该至少一细胞影像数据,并在接收相应于该至少一细胞影像数据的该分类数据后,该输入/输出装置用以通过该通信装置回传一反馈数据至该医疗分析平台,其中当该反馈数据与该分类数据不符时,该处理器以该反馈数据与该至少一细胞影像数据再次进行训练。
本公开内容的另一些实施例涉及一个医疗分析平台,其特征在于,该医疗分析平台包含一服务器以及一处理器。服务器用以接收相应于一细胞的至少一细胞影像数据。处理器与该服务器连接,用以根据至少一深度学习模型对该细胞的该至少一细胞影像数据产生对应该细胞的一分类数据,其中该至少一深度学习模型是基于多个训练用细胞影像数据及其分类信息训练而产生,和/或是利用自至少一终端机接收相应至少一细胞的至少一细胞影像数据及所反馈分类数据训练而产生。
附图说明
为让本公开的上述和其他目的、特征、优点与实施例能更明显易懂,附图的说明如下:
图1是依据本公开内容的一实施例的一种细胞分类方法的流程图;
图2是依据本公开内容的一实施例的一种统计分类数据的示意图;
图3是说明依据本公开内容的另一实施例的一细胞影像数据分类的示意图;以及
图4是说明依据本公开内容的一实施例的一种细胞分类系统的示意图。
其中,附图标记说明如下:
100:细胞分类方法
S110、S120、S130、S140、S150、S160、S170、S180:步骤
400:细胞分类系统
410:终端机
412:影像取得装置
414:输入/输出装置
416:通信装置
420:网络
430:医疗分析平台
432:服务器
434:处理器
具体实施方式
以下将以附图及详细说明阐述本公开的精神,任何所属技术领域中技术人员在了解本公开的较佳实施例后,当可由本公开所教示的技术,加以改变及修饰,其并不脱离本公开的精神与范围。
应当理解,在本文的描述和其后的所有权利要求中,当一个元件被称为被“连接”或“耦合”到另一个元件时,它可以被直接连接或耦合到另一个元件,或者可能存在插入元件。相比之下,当一个元件被称为“直接连接”或“直接耦合”到另一个元件时,则不存在插入元件。此外,“电连接”或“连接”还可以指两个或多个元件之间的相互操作或相互作用。
应当理解,在本文的描述和其后的所有权利要求中,虽然“第一”、“第二”、...等词汇可以使用来描述不同元件,但是这些元件不应该被这些术语所限制。这些词汇只限于用来区分单一元件与另一个元件。例如,一第一元件也可被称为一第二元件,类似地,一第二元件也可被称为一第一元件,而不脱离实施例的范围。
应当理解,在本文的描述和其后的所有权利要求中,在本文中所使用的用词“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,即意指“包含但不限于”。
应当理解,在本文的描述和其后的所有权利要求中,所使用的“及/或”包含相关列举项目中一或多个项目的任意一个以及其所有组合。
应当理解,在本文的描述和其后的所有权利要求中,除非另有定义,使用的所有术语(包括技术和科学术语)与本公开所属领域技术人员所理解的具有相同含义。进一步可以明了,除非这里明确地说明,这些术语,例如在常用字典中所定义的术语,应该被解释为具有与其在相关领域背景下的含义相一致的含义,而不应被理想化地或过于正式地解释。
权利要求中的任一元件如果没有明确说明“装置用于”实施一特定功能,或是“步骤用于”实施一特定功能,不应当被解释为手段功能用语。
请参照图1。图1是依据本公开内容的一实施例的一种细胞分类方法100的流程图。如图1所示,细胞分类方法100首先执行步骤S110。在步骤S110中,搜集用作训练影像的细胞影像及其相应的分类数据。在本公开的一些实施例中,上述搜集的步骤可使用显微镜或是其他可以拍照的装置,搜集已发展至囊胚期(Blastocyst stage)的胚胎细胞影像数据,接着由医疗专业人士,例如妇产科医生、胚胎师等,标注每张细胞影像数据中的囊胚细胞的品质的分类数据。
具体而言,判断囊胚细胞的品质需分别、独立观察三类特征。第一类为囊胚腔(Blastocoel)的饱满程度与透明带(Zone pellucida)状态,依据囊胚腔的扩张程度可分为1至6个等级。其中等级1代表囊胚腔体积小于胚胎总体积的50%,而等级6代表孵出的囊胚已全部从透明带中溢出,是最成熟的囊胚型态。第二类为内细胞团(Inner Cell Mass,ICM)的数量与排列情形,可分为A、B、C等级。其中等级A代表细胞数量多且紧密连结,品质最佳,而等级C代表细胞数量少。第三类为滋养层细胞(Trophectoderm cell,TE)的数量与排列情形,可分为A、B、C等级。其中等级A代表由非常多细胞紧密连结构成,品质最佳,而等级C代表由很少且大细胞构成。因此,在一些实施例中,每张囊胚的细胞影像数据都会有3个特征分类,例如“5AA”便是代表扩张程度为5、内细胞团等级A及滋养层细胞等级A的状态。由于内细胞团为发育形成胎儿的主要构造,而滋养层细胞则是发育成胎盘的主要构造。因此,细胞品质的好坏兹关胎儿的发育状况。同时,品质越好的囊胚代表越好的着床率,也降低流产与子宫外孕的几率。
接着,在步骤S120中,对在S110中所取得用作训练的影像进行预处理,以供后续的分析与训练用。在本公开的一些实施例中,在原始影像的比例被保留情况下,将影像转成264像素乘以198像素的图档,之后可利用直方图均衡化,借此平均影像的亮度,同时亦加强局部区域的对比。
另一方面,在步骤S130中,建构预训练的神经网络模型。在一些实施例中,上述建构的步骤首先取用ImageNet图像识别竞赛(ImageNet Large Scale Visual RecognitionChallenge,ILSVRC)中预训练好的神经网络中的卷积层(convolutional layer)及其权重,作为模型的基底。例如,神经网络可以是采用Imagenet数据库进行预训练的残差神经网络模型ResNet50(Residual Neural Network)。接着,在本公开的一些实施例中,针对判别囊胚品质的需要,在前述的模型基底上连接新的神经网络层,例如一全连接层(FullConnected layers,FC),而形成神经网络分类器以进行囊胚品质分类。此外,一或多个机器学习软件库如Keras及TensorFlow等,可以用于实施神经网络分类器。应当注意的是,本公开的实施方式在此方面不受限制。神经网络分类器不限于单一的神经网络,而可以是任何其他合适类型的分类器,或是彼此的组合。例如,神经网络分类器可以是一卷积神经网络(Convolutional Neural Network,CNN)与一递归神经网络(Recurrent Neural network,RNN)的组合。
接着,将经预处理的细胞影像数据输入预训练好的神经网络模型中,并执行步骤S140,进行一影像训练调校操作,以产生基于神经网络的一深度学习模型。在一些实施例中,上述训练调校的操作先将经预处理的细胞影像数据连同其相应的分类数据分为训练集、验证集和测试集。再将属训练集中的细胞影像数据输入卷积神经网络模型中。通过卷积层和池化层(pooling layer)交替处理输入影像,找出特征图或特征值,并利用至少一全连接层处理特征图,以产生对应于该细胞影像数据的预测分类。在一些实施例中,由于输出的预测分类与由医疗专业人士标注的相应的实际分类数据有误差,因此定义损失函数和优化器,利用反向传播算法(backpropagation)计算预测分类与实际分类数据之间的误差,并将误差反向传播至神经网络的输入层,不断递代前述过程而训练模型,直到找出最优的参数与模型结构组合。最后,使用所有细胞影像数据及分类数据,结合前述的最优参数及模型结构训练并输出最终模型。
需注意的是,以本公开的一些实施例为例,在步骤S140中,通过连接不同的神经网络层(如分别针对囊胚细胞的囊胚腔与透明带、内细胞团及滋养层细胞)可产生不同的深度学习模型。具体来说,一细胞影像数据可分别输入三个连接不同全连接层以进行神经网络分类器的深度学习模型中,并进行训练及优化的过程,至终输出三个最终模型。应当理解的是,本公开所述的实施例仅为着易于理解,然而本公开的实施方式并不以此为限。
接着,在步骤S150中,通过一医疗分析平台提供细胞品质判别服务。在本公开的一些实施例中,此医疗分析平台包含步骤S140中所述的至少一深度学习模型以进行细胞影像分类。此外,此医疗分析平台亦可根据步骤S140进行对一或多个深度学习模型的影像训练调校操作。
在步骤S150后,该平台可通过接收细胞影像并将影像输入平台内的深度学习模型中,借此进行细胞品质判别的操作,亦即如本公开的一些实施例所述进行细胞影像分类的操作。
上述的细胞影像可通过不同的方式取得,亦即可依据实际后续分析需要,在不同时间、以不同方式或参数操作影像取得装置而得到单张或多张细胞影像。在一些实施例中,影像取得装置可以是一相机、一显微镜、一CCD摄影机或是任何具有相同功能的装置。在本公开的一些实施例中,可通过调整一显微镜的拍摄焦距,由深至浅取得囊胚细胞在纵向对应不同焦平面的多个细胞影像数据,以形成多个深度序列细胞影像。调整显微镜的方式可以是以程序自动控制显微镜拍摄焦距或是人工手动调整并拍摄的方式。例如,焦距每减少10微米,即拍摄一张细胞影像,并存储在一存储装置中。在一特定焦段范围内调整显微镜焦距后,将在此特定焦段拍摄的照片组成为按照焦距长短排列的一组深度序列细胞影像,并一起输入至医疗分析平台的深度学习模型中进行处理。
在另一些实施例中,也可以程序控制影像取得装置或人工记录时间的方式,依序取得囊胚细胞所对应的在不同时间点的多个细胞影像数据,以形成多个时间序列细胞影像。例如,每10分钟即拍摄一张囊胚细胞影像,并存储在一存储装置中。经过一特定时段后,将这特定时段内的照片组成为按照拍摄时间顺序的一组时间序列细胞影像,并一起输入至医疗分析平台的深度学习模型中进行处理。
上述的细胞影像数据可存储于一硬盘、一存储器、一数据库、一云端数据存储平台或任何存储装置中,并于适当时间被读取出来进行分析或处理。
接着,在步骤S160中,输入欲判别的细胞影像数据至医疗分析平台中。具体的说,将单张或序列的细胞影像数据输入至医疗分析平台内至少一个深度学习模型中。在本公开的一些实施例中,为提供囊胚细胞的分类数据,分别需要囊胚腔扩张程度、内细胞团及滋养细胞层的特征分类数据。因此,需要将该至少一囊胚细胞影像数据分别输入对应囊胚腔扩张程度、内细胞团及滋养细胞层的深度学习模型中。应当理解的是,本公开所述的实施例仅为着易于理解,然而本公开的实施方式并不以此为限。
进一步,在步骤S170中,医疗分析平台将依据所输入的细胞影像数据,进行细胞品质判别操作。在一些实施例中,通过医疗分析平台处理对应该至少一输入欲判别的细胞影像数据的多个细胞团影像,以取得多个特征数据。具体而言,是通过医疗分析平台中的至少一深度学习模型处理该至少一输入欲判别的细胞影像数据的多个细胞团影像。
在一些实施例中,该至少一深度学习模型包含一卷积神经网络模型,因此上述操作可利用该卷积神经网络模型获取欲判别的细胞影像中上述细胞团的多个特征值。举例而言,在一些实施例中,将一张欲判别的囊胚细胞影像数据分别输入至对应于囊胚腔扩张程度、内细胞团及滋养层细胞的三个深度学习模型的卷积神经网络的输入层中。接着,利用所述卷积神经网络的至少一卷积层获取细胞影像的特征值。这些特征值可以是形状、亮度或质地等。最后,经过卷积神经网络至少一隐藏层的处理将这些特征值连接至全连接层(神经网络分类器)而产生对应的第一特征分类数据。例如,这张囊胚细胞影像经过对应囊胚腔扩张程度、内细胞团及滋养层细胞三个深度学习的模型产生出相应的三个第一特征分类数据可以是“4”、“A”、“B”等等。
接着,医疗分析平台组合这些第一特征分类数据以产生对应此细胞的分类数据。如上述的一实施例,医疗分析平台组合所述彼此独立的第一特征分类数据(“4”、“A”、“B”等)形成“4AB”,作为根据此张细胞影像数据生成的分类数据。
之后,在步骤S180中,将对应于此细胞的分类数据输出,作为细胞品质判别的结果。在一些实施例中,医疗分析平台可将判别结果传输至通过网络与平台连结的装置中,使得使用此装置的操作人员可利用此判别结果进行后续判断,例如:具有此细胞品质的囊胚细胞是否合适植入母体。
在一些实施例中,医疗分析平台可根据步骤S150提供一细胞的多张细胞影像数据的细胞品质判别服务。请参照图2。图2是依据本公开内容的一实施例的一种统计分类数据的示意图。如图2所示,将同一细胞的多个细胞影像1~细胞影像n相应的输入至卷积神经网络CNN1~CNNn中而产生分类数据1~分类数据n。接着,统计各种分类数据出现的次数,并以次数最多的一分类数据作为对此一细胞品质的最终判别结果。例如,在本公开的一些实施例中,共输入某一囊胚细胞的30张细胞影像数据至医疗分析平台中,在经过神经网络分类器后得到对应于30张细胞影像数据的30个分类数据,其中为“4AB”的分类数据出现15次,为“4AA”的分类数据出现5次而为“4BB”的分类数据出现5次。则医疗分析平台输出出现次数最多的分类数据“4AB”作为此细胞的类别。应当理解的是,本公开所述的实施例仅为着易于理解,然而本公开的实施方式并不以此为限。
在另一些实施例中,细胞分类方法100可以更进一步处理深度序列细胞影像和/或时间序列细胞影像。请参照图3。图3是说明依据本公开内容的另一实施例的一细胞影像数据分类的示意图。以处理时间序列细胞影像为例,执行步骤S160,将此时间序列细胞影像数据输入至如步骤S130至S160中还包含递归神经网络模型的医疗分析平台,其中结合卷积神经网络与递归神经网络的模型包含n个层级网络。如图3所示,由虚线框起来的部分表示一个层级网络,在时间序列细胞影像中的每一张细胞影像被逐一按顺序输入至相应的一个层级网络。
接续上述,于步骤S170中,在一些实施例,在每一个层级网络中,皆利用卷积神经网络模型的至少一卷积层获取细胞影像中细胞团的特征值,其中特征值可以是一特征向量或矩阵。在一些实施例中,这些特征向量可以是第一特征分类数据,与细胞影像数据在空间变化的图形特征有关,之后,将第一特征分类数据输入至递归神经网络以获取与因时间变化而产生的图形特征有关的第二特征分类数据。同时,该第二特征分类数据也会被输入至下一层级与最后一个层级的递归神经网络。通过前述的操作可使描述此细胞的第二特征分类数据在神经网络中被传递下去,且代表单一层级网络所分析出的结果不单由该层级网络的卷积神经网络产生,亦会受前面几个层级网络分析结果的影响。至终,最后一层级网络中的递归神经网络可根据最后一层级网络中卷积神经网络提供的特征向量,及前面各层级递归神经网络提供的第二特征分类数据,产生对此细胞的分类数据。
举例而言,请再参照图3。以每10分钟对一细胞拍摄一张细胞影像的频率,在2日内依序搜集288张细胞影像作为细胞影像数据。接着,将此细胞影像数据输入至医疗分析平台进行分析操作。在上述的分析操作中,288张细胞影像分别依照取得的时间顺序,被输入对应的288个层级网络中,接着通过层级网络中的卷积神经网络取得每一张图片的特征向量,例如一1x2048的矩阵,作第一特征分类数据。之后,将这些第一特征分类数据输入至层级网络中的递归神经网络以产生第二特征分类数据,其中每一个层级网络所产生的第二特征分类都会被输入至下一层及第288层级网络,至终再由第288层级网络根据其内卷积神经网络提供的第一特征分类数据(特征向量)及前面287个层级网络提供的第二特征分类数据,产生对应此细胞的分类数据。
在一些实施例中,通过将每一层级网络获取的第二特征分类数据输入至下一层级及最后一层级递归神经网络的方式,医疗分析平台的深度学习模型考量依不同时间或不同深度形成序列的一囊胚细胞影像的特征,可提高对此细胞品质判别的准确度。
应当注意的是,如前面所述的基于卷积神经网络与递归神经网络所结合的深度学习模型,其训练及产生方式与步骤S140中举例的基于卷积神经网络所产生的深度学习模型相似,故在此不再赘述。
请参照图4。图4是为说明依据本公开内容的一实施例的一种细胞分类系统400的示意图。在一些实施例中,图1所示的细胞分类方法100可通过细胞分类系统400实现。但实现本公开提供的细胞分类方法并不以此为限。
如图4所示,细胞分类系统400包含一终端机410、一网络420和一医疗分析平台430。终端机410与医疗分析平台430通过网络420连接彼此。终端机410用以取得一细胞所对应的至少一细胞影像数据。在本公开的一些实施例中,细胞影像数据可以包含一囊胚细胞。通过网络420,终端机410传送细胞影像数据至医疗分析平台430进行分析。医疗分析平台430与终端机410连结,用以对自终端机410接收的该细胞所对应的该至少一细胞影像数据进行分类,并回传相应于该细胞的一分类数据至该终端机410。
如图4所示,终端机410可包含一影像取得装置412、一输入/输出装置414及一通信装置416。影像取得装置412耦接至输入/输出装置414及通信装置416。输入/输出装置414耦接至通信装置416。在一些实施例中,终端机410可用个人电脑、平板电脑、移动装置或任何具相同功能的装置实现。
医疗分析平台430可包含一服务器432及一处理器434。服务器432与处理器434耦接。在一些实施例中,服务器432可以是指具有相关通信、存储数据或处理数据等功能的物理处理器,在此不设限。处理器434可以集成电路如微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digital signal processor)、特殊应用集成电路(application specific integrated circuit,ASIC)、逻辑电路或其他类似元件或上述元件的组合实施。
请一并参照图1和图4。以下将根据本公开的一实施例说明通过细胞分类系统400实现细胞分类方法100。
在执行步骤S110后,医疗分析平台430可根据步骤S120至步骤S140,由处理器434根据至少一深度学习模型,进行后续步骤S150中提供后续细胞品质判断的操作。
根据步骤S120,处理器434用以通过对所搜集的细胞影像数据进行预处理,例如直方图均衡化,使得所述细胞影像数据具有相同的图形大小及利于后续分析的对比度等。之后,依照步骤S130,处理器434中建构一预训练的神经网络模型。实施方式如前面所述,在此不再赘述。
接着,根据步骤S140,处理器434用以对多个待训练细胞影像数据与对应于所述待训练细胞影像数据的多个特征数据进行训练。在一些实施例中,所述特征数据可以是涉及囊胚细胞品质的分类数据,如前述的分类数据“5AA”。此外,在进行如步骤S140中的训练调校操作时,在本公开的一些实施例中,所有搜集到的细胞影像数据及相应的分类数据可随机地被分配成训练集和验证集。处理器434利用训练集中的数据对预训练模型进行训练并产生深度学习模型。之后,处理器434再将验证集中的数据输入至深度学习模型,以产生对相应于验证集中细胞影像数据的特征数据。当由处理器434对验证细胞影像数据进行处理所产生的特征数据与对应于验证细胞影像数据的验证特征数据不同时,处理器434中深度学习模型的参数和/或模型结构将会被调整,以改进深度学习模型判别细胞品质的准确度。
接着,根据步骤S150,已具备深度学习模型而可提供细胞品质判别服务的医疗分析平台430通过网络420与终端机410连结。在一些实施例中,终端机410可以是医院或人工生殖中心建置的电脑或影像处理系统等,但本公开不以此为限。
终端机410中的影像取得装置412用以取得该至少一细胞影像数据。在一些实施例中,影像取得装置412拍摄一细胞的细胞影像数据,其中细胞影像数据可以是单张影像,亦可以是影像取得装置412依序取得在不同时间点或不同切片深度的序列影像。之后,影像取得装置412根据步骤S160,通过通信装置416经网络420,将所取得的细胞影像数据传送至医疗分析平台430进行分析。
接着,医疗分析平台430中的服务器432用以接收自通信装置416传输的细胞影像数据,并根据步骤S170,输入细胞影像数据至处理器434进行细胞品质判别。
在一些实施例中,处理器434更用以处理该至少一细胞影像数据的多个细胞团影像,以取得多个特征数据,并用以组合所述特征数据,以产生对应于所述特征数据的一分类数据以供判断该细胞的类别。在本公开的一些实施例中,如前面所述,多个细胞团影像可以是指囊胚细胞的囊胚腔及透明带、内细胞团和滋养层细胞。
具体而言,处理器434更用以分别对细胞团影像执行基于类神经网络的一第一特征辨识操作,以产生第一特征数据供处理器434组合特征数据。在一些实施例中,类神经网络可以是一卷积神经网络或任何具从影像中获取图形的特征值或特征向量的神经网络模型。如本公开的一实施例,处理器434通过对一囊胚细胞的细胞影像数据执行第一特征辨识操作。值得注意的是,此第一特征辨识操作分别对应囊胚细胞的扩张程度、内细胞团和滋养层细胞,并产生相应的第一特征数据作特征数据,分别如“4”、“A”、“B”等。最后,处理器434经组合特征数据“4”、“A”及“B”形成“4AB”作为根据此张囊胚细胞影像数据生成的分类数据。其他实施方式如步骤S170所述,在此不再赘述。
在另一实施例中,当一影像取得装置412依序取得在不同时间点或不同切片深度的细胞影像数据,该处理器434更用以分别对细胞影像数据中的细胞团影像执行基于类神经网络的第二特征辨识操作,以产生第二特征数据供处理器434组合所述特征数据。类神经网络模型在此不设限。具体而言,请参照图3。以依据不同切片深度拍摄而取得的细胞影像数据为例。在本公开的一些实施例中,处理器434按切片深度由深至浅,将囊胚细胞影像数据输入至另包含一递归神经网络的深度学习模型中。首先处理器434通过卷积神经网络进行第一特征辨识操作,取得细胞影像数据中每一张影像图形的特征向量作为第一特征数据。接着,通过将第一特征数据输入分别输入至相应的递归神经网络进行第二特征辨识操作,从而分析出对应的第二特征数据作为特征数据。最后,处理器434组合分别对应扩张程度、内细胞团及滋养层细胞的特征数据以产生此囊胚细胞的分类数据。
医疗分析平台430完成对细胞品质的判别服务后,根据步骤S180,处理器434通过服务器432经网络420,将通过影像取得装置412取得细胞影像数据的细胞所对应的分类数据传输至终端机410。终端机410通过通信装置416接收后显示在输入/输出装置414上,以供相关专业人士根据此分类数据判断下一步动作。
在一些实施例中,输入/输出装置414在接收并显示相应于细胞影像数据的分类数据给相关专业人士后,专业人士可根据自身学识、经验输入对于此细胞影像数据的判断作为反馈数据。在一些实施例中,输入/输出装置414更用以通过通信装置416回传反馈数据至医疗分析平台430。当反馈数据与医疗分析平台430提供的分类数据不符时,处理器434以反馈数据与至少一细胞影像数据再次进行训练,以修正或更新进行细胞品质判别操作的深度学习模型。此外,在一些实施例中,通过服务器432医疗分析平台430可提供细胞品质判别的服务给多个不同终端机410以对至少一细胞的至少一细胞影像数据进行判别,亦可利用自这些不同的终端机410接收相应的所反馈分类数据对深度学习模型进行训练。
经由上述各种实施例的操作,可以实现一个细胞分类的方法,以产生由至少一深度学习模型对一细胞分析的结果的分类数据,并且在处理过程中,可以大量数据为基准训练神经网络来产生此分析结果。另由于细胞影像数据中的细胞影像彼此的关联性也一并被考虑,因此,亦可改善细胞品质判别的准确度。此外,通过前述的细胞分类系统,远端的使用者可通过网络使用细胞品质判别的服务并同时提供反馈。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的精神和范围内,当可作各种的变动与润饰,因此本发明的保护范围当视后附的权利要求所界定者为准。

Claims (11)

1.一种细胞分类方法,其特征在于,包含:
通过一医疗分析平台进行一影像训练调校操作,使得该医疗分析平台包含至少一深度学习模型以进行细胞影像分类;
取得一细胞所对应的至少一细胞影像数据;
将该至少一细胞影像数据输入该医疗分析平台中该至少一深度学习模型;
通过该医疗分析平台处理对应该至少一细胞影像数据的多个细胞团影像,以取得多个特征数据;以及
组合所述特征数据,以产生对应于所述特征数据的一分类数据以供判断该细胞的类别。
2.如权利要求1所述的细胞分类方法,其中,取得该细胞所对应的该至少一细胞影像数据的步骤包含:
通过调整一影像取得装置的拍摄焦距,由深至浅取得该细胞在纵向对应不同焦平面的多个细胞影像数据,以形成多个深度序列细胞影像;
其中,所述深度序列细胞影像是分别输入该医疗分析平台中该至少一深度学习模型进行处理。
3.如权利要求1所述的细胞分类方法,其中,取得该细胞所对应的该至少一细胞影像数据的步骤包含:
依序取得该细胞所对应的在不同时间点的多个细胞影像数据,以形成多个时间序列细胞影像;
其中,所述时间序列细胞影像是分别输入该医疗分析平台中该至少一深度学习模型进行处理。
4.如权利要求1所述的细胞分类方法,其中,通过该医疗分析平台处理对应该至少一细胞影像数据的所述细胞团影像的步骤包含:
通过该医疗分析平台中的该至少一深度学习模型处理对应该至少一细胞影像数据的所述细胞团影像,其中该至少一深度学习模型包含一卷积神经网络模型;
利用该卷积神经网络模型获取对应该细胞影像的所述细胞团的多个特征值;以及
根据所述特征值产生对应于所述细胞团的多个第一特征分类数据;
其中,该医疗分析平台用以根据所述第一特征分类数据组合所述特征数据。
5.如权利要求4所述的细胞分类方法,还包含:
依序将所述第一特征分类数据输入该医疗分析平台中至少一深度学习模型,其中该至少一深度学习模型还包含一递归神经网络模型;
通过该递归神经网络模型产生对应于所述细胞团的多个第二特征分类数据,
其中,该医疗分析平台更用以根据所述第二特征分类数据组合所述特征数据。
6.一种细胞分类系统,其特征在于,包含:
一终端机,用以取得一细胞所对应的至少一细胞影像数据;以及
一医疗分析平台,与该终端机连结,用以对自该终端机接收的该细胞所对应的该至少一细胞影像数据进行分类,并回传相应于该细胞的一分类数据至该终端机,其中该医疗分析平台包含:
一处理器,用以处理该至少一细胞影像数据的多个细胞团影像,以取得多个特征数据,并用以组合所述特征数据,以产生对应于所述特征数据的一分类数据以供判断该细胞的类别。
7.如权利要求6所述的细胞分类系统,其中,该处理器更用以分别对所述细胞团影像执行基于类神经网络的至少一第一特征辨识操作,以产生多个第一特征数据供该处理器组合所述第一特征数据。
8.如权利要求7所述的细胞分类系统,其中,该处理器更用以对多个待训练细胞影像数据与对应于所述待训练细胞影像数据的多个特征数据进行训练;
当由该处理器对多个验证细胞影像数据进行处理所产生的多个特征数据与对应于所述验证细胞影像数据的验证特征数据不同时,该处理器的参数被调整。
9.如权利要求6所述的细胞分类系统,其中,当一影像取得装置依序取得在不同时间点或不同切片深度该至少一细胞影像数据的多个细胞团影像时,该处理器更用以分别对所述细胞团影像执行基于类神经网络的至少一第二特征辨识操作,以产生多个第二特征数据供该处理器组合所述特征数据。
10.如权利要求6所述的细胞分类系统,其中,该终端机包含:
一影像取得装置,用以取得该至少一细胞影像数据;以及
一输入/输出装置,连接于该影像取得装置及一通信装置,用以自该影像取得装置接收该至少一细胞影像数据,并在接收相应于该至少一细胞影像数据的该分类数据后,该输入/输出装置用以通过该通信装置回传一反馈数据至该医疗分析平台;
其中,当该反馈数据与该分类数据不符时,该处理器以该反馈数据与该至少一细胞影像数据再次进行训练。
11.一个医疗分析平台,其特征在于,包含:
一服务器,用以接收相应于一细胞的至少一细胞影像数据;以及
一处理器,与该服务器连接,用以根据至少一深度学习模型对该细胞的该至少一细胞影像数据产生对应该细胞的一分类数据;
其中,该至少一深度学习模型是基于多个训练用细胞影像数据及其分类信息训练而产生,和/或是利用自至少一终端机接收相应至少一细胞的至少一细胞影像数据及所反馈分类数据训练而产生。
CN201910510908.XA 2019-02-26 2019-06-13 细胞分类方法、系统与医疗分析平台 Pending CN111612027A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108106571 2019-02-26
TW108106571A TW202032574A (zh) 2019-02-26 2019-02-26 細胞分類方法、系統與醫療分析平台

Publications (1)

Publication Number Publication Date
CN111612027A true CN111612027A (zh) 2020-09-01

Family

ID=72205229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910510908.XA Pending CN111612027A (zh) 2019-02-26 2019-06-13 细胞分类方法、系统与医疗分析平台

Country Status (2)

Country Link
CN (1) CN111612027A (zh)
TW (1) TW202032574A (zh)

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101490529A (zh) * 2006-07-19 2009-07-22 海莫库公司 测量设备、方法和计算机程序
CA2787124A1 (en) * 2010-01-12 2011-07-21 Bio-Rad Laboratories, Inc. Cell characterization using multiple focus planes
CN103649992A (zh) * 2011-07-13 2014-03-19 皇家飞利浦有限公司 用于自动调节数字病理图像的焦平面的方法
US20150087240A1 (en) * 2013-09-26 2015-03-26 Cellogy, Inc. Method and system for characterizing cell populations
CN106250707A (zh) * 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法
CN106934799A (zh) * 2017-02-24 2017-07-07 安翰光电技术(武汉)有限公司 胶囊内窥镜图像辅助阅片系统及方法
WO2017151757A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation
CN107392895A (zh) * 2017-07-14 2017-11-24 深圳市唯特视科技有限公司 一种基于卷积循环网络的3d血管结构提取方法
CN107423756A (zh) * 2017-07-05 2017-12-01 武汉科恩斯医疗科技有限公司 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
US20170357879A1 (en) * 2017-08-01 2017-12-14 Retina-Ai Llc Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
CN107622485A (zh) * 2017-08-15 2018-01-23 中国科学院深圳先进技术研究院 一种融合深度张量神经网络的医学影像数据分析方法和系统
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
CN107784324A (zh) * 2017-10-17 2018-03-09 杭州电子科技大学 基于深度残差网络的白血细胞多分类识别方法
CN107886127A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种基于卷积神经网络的组织病理学图像分类方法
CN108364032A (zh) * 2018-03-27 2018-08-03 哈尔滨理工大学 一种基于卷积神经网络的宫颈癌细胞图片识别算法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法
CN108603876A (zh) * 2015-12-30 2018-09-28 维森盖特有限公司 用于自动检测和监测发育异常和施用化学预防的系统和方法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
WO2018213709A1 (en) * 2017-05-19 2018-11-22 Thrive Bioscience, Inc. Systems and methods for counting cells
CN109065110A (zh) * 2018-07-11 2018-12-21 哈尔滨工业大学 一种基于深度学习方法的自动生成医学影像诊断报告的方法
CN109117890A (zh) * 2018-08-24 2019-01-01 腾讯科技(深圳)有限公司 一种图像分类方法、装置和存储介质
CN109190567A (zh) * 2018-09-10 2019-01-11 哈尔滨理工大学 基于深度卷积神经网络的异常宫颈细胞自动检测方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101490529A (zh) * 2006-07-19 2009-07-22 海莫库公司 测量设备、方法和计算机程序
CA2787124A1 (en) * 2010-01-12 2011-07-21 Bio-Rad Laboratories, Inc. Cell characterization using multiple focus planes
CN103649992A (zh) * 2011-07-13 2014-03-19 皇家飞利浦有限公司 用于自动调节数字病理图像的焦平面的方法
US20150087240A1 (en) * 2013-09-26 2015-03-26 Cellogy, Inc. Method and system for characterizing cell populations
CN108603876A (zh) * 2015-12-30 2018-09-28 维森盖特有限公司 用于自动检测和监测发育异常和施用化学预防的系统和方法
WO2017151757A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation
CN106250707A (zh) * 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
CN106934799A (zh) * 2017-02-24 2017-07-07 安翰光电技术(武汉)有限公司 胶囊内窥镜图像辅助阅片系统及方法
WO2018213709A1 (en) * 2017-05-19 2018-11-22 Thrive Bioscience, Inc. Systems and methods for counting cells
CN107423756A (zh) * 2017-07-05 2017-12-01 武汉科恩斯医疗科技有限公司 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
CN107392895A (zh) * 2017-07-14 2017-11-24 深圳市唯特视科技有限公司 一种基于卷积循环网络的3d血管结构提取方法
US20170357879A1 (en) * 2017-08-01 2017-12-14 Retina-Ai Llc Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
CN107622485A (zh) * 2017-08-15 2018-01-23 中国科学院深圳先进技术研究院 一种融合深度张量神经网络的医学影像数据分析方法和系统
CN107784324A (zh) * 2017-10-17 2018-03-09 杭州电子科技大学 基于深度残差网络的白血细胞多分类识别方法
CN107886127A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种基于卷积神经网络的组织病理学图像分类方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法
CN108364032A (zh) * 2018-03-27 2018-08-03 哈尔滨理工大学 一种基于卷积神经网络的宫颈癌细胞图片识别算法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
CN109065110A (zh) * 2018-07-11 2018-12-21 哈尔滨工业大学 一种基于深度学习方法的自动生成医学影像诊断报告的方法
CN109117890A (zh) * 2018-08-24 2019-01-01 腾讯科技(深圳)有限公司 一种图像分类方法、装置和存储介质
CN109190567A (zh) * 2018-09-10 2019-01-11 哈尔滨理工大学 基于深度卷积神经网络的异常宫颈细胞自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王春宇;徐珊珊;郭茂祖;车凯;刘晓燕;: "基于Convolutional-LSTM的蛋白质亚细胞定位研究" *
窦瑞欣;: "深度学习算法在医学影像学中的应用及研究进展" *

Also Published As

Publication number Publication date
TW202032574A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
CN111292764B (zh) 辨识系统及辨识方法
CN110362677B (zh) 文本数据类别的识别方法及装置、存储介质、计算机设备
CN109671063B (zh) 一种基于深度网络特征间重要性的图像质量评估方法
CN104850860A (zh) 细胞图像识别方法及细胞图像识别装置
CN110852369B (zh) 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法
WO2022116440A1 (zh) 模型训练方法、装置和设备
WO2019169594A1 (en) Methods and apparatus to generate three-dimensional (3d) model for 3d scene reconstruction
CN112347910B (zh) 一种基于多模态深度学习的信号指纹识别方法
CN110781912A (zh) 一种基于通道扩张倒置卷积神经网络的图像分类方法
CN112215268A (zh) 一种灾害天气卫星云图分类方法和装置
CN115601751A (zh) 一种基于领域泛化的眼底图像语义分割方法
Schmidt et al. Universal models for the exponential distribution
CN113486202A (zh) 小样本图像分类的方法
CN111612027A (zh) 细胞分类方法、系统与医疗分析平台
CN109934352B (zh) 智能模型的自动进化方法
CN115987730A (zh) 基于树状感知融合卷积网络的信号调制识别方法
CN116258923A (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
CN112907541B (zh) 一种手掌图像质量评估模型构建方法及装置
CN114519520A (zh) 模型评估方法、装置及存储介质
KR20230080144A (ko) 전이 학습의 미세 조정 기술을 사용한 조직 병리학 이미지의 다중 클래스 분류 방법 및 시스템
CN116050557A (zh) 电力负荷预测方法、装置、计算机设备和介质
CN113762042A (zh) 视频识别方法、装置、设备以及存储介质
CN113128278A (zh) 一种图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200901