CN110310253A - 数字切片分类方法和装置 - Google Patents

数字切片分类方法和装置 Download PDF

Info

Publication number
CN110310253A
CN110310253A CN201910385533.9A CN201910385533A CN110310253A CN 110310253 A CN110310253 A CN 110310253A CN 201910385533 A CN201910385533 A CN 201910385533A CN 110310253 A CN110310253 A CN 110310253A
Authority
CN
China
Prior art keywords
whole audience
feature
target area
target
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910385533.9A
Other languages
English (en)
Other versions
CN110310253B (zh
Inventor
谢园普
陈平君
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Di Ying Jia Technology Co Ltd
Original Assignee
Hangzhou Di Ying Jia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Di Ying Jia Technology Co Ltd filed Critical Hangzhou Di Ying Jia Technology Co Ltd
Priority to CN201910385533.9A priority Critical patent/CN110310253B/zh
Publication of CN110310253A publication Critical patent/CN110310253A/zh
Application granted granted Critical
Publication of CN110310253B publication Critical patent/CN110310253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

本发明公开了一种数字切片分类方法和装置。其中，该方法包括：获取数字切片的全场图；基于预先训练的细胞检测模型，检测全场图中包含的至少一个目标细胞；定位全场图中包含目标细胞的目标区域，其中，目标区域中包含一个或多个目标细胞；基于注意力机制的特征融合模型，根据全场图中目标区域的特征，确定全场图的特征；基于预先训练的全场图分类模型，根据全场图的特征确定数字切片的类型。本发明实现了基于全场图对数字切片进行分类的技术效果。

Description

数字切片分类方法和装置
技术领域
本发明涉及数字化病理领域，具体而言，涉及一种数字切片分类方法和装置。
背景技术
传统病理切片的研究是由病理医师在显微镜下根据自身经验进行诊断的，其完全依赖病理医师的个人经验，由于人工效率有限，难免会出现因疲劳而导致误诊或漏诊的情形。
数字切片的出现，对病理研究具有十分重要的意义。通过对数字切片中的细胞进行分割，利用人工设计的特征来对分割得到的细胞进行分类，可以确定数字切片中存在癌变的细胞。但是，现有对数字切片的研究，只能够进行细胞级别的分类，无法实现全场图级别的诊断。
针对上述现有对数字切片的研究，只能够进行细胞级别的分类，无法实现全场图级别的诊断的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数字切片分类方法和装置，以至少解决现有对数字切片的研究，只能够进行细胞级别的分类，无法实现全场图级别的诊断的技术问题。
根据本发明实施例的一个方面，提供了一种数字切片分类方法，包括：获取数字切片的全场图；基于预先训练的细胞检测模型，检测全场图中包含的至少一个目标细胞；定位全场图中包含目标细胞的目标区域，其中，目标区域中包含一个或多个目标细胞；基于注意力机制的特征融合模型，根据全场图中目标区域的特征，确定全场图的特征；基于预先训练的全场图分类模型，根据全场图的特征确定数字切片的类型。
根据本发明实施例的另一方面，还提供了一种数字切片分类装置，包括：全场图获取模块，用于获取数字切片的全场图；细胞检测模块，用于基于预先训练的细胞检测模型，检测全场图中包含的至少一个目标细胞；目标区域定位模块，用于定位全场图中包含目标细胞的目标区域，其中，目标区域中包含一个或多个目标细胞；特征融合模块，用于基于注意力机制的特征融合模型，根据全场图中目标区域的特征，确定全场图的特征；全场图特征分类模块，用于基于预先训练的全场图分类模型，根据全场图的特征确定数字切片的类型。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述任意一项的数字切片分类方法。
根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的数字切片分类方法。
在本发明实施例中，在获取到数字切片的全场图后，基于预先训练的细胞检测模型对数字切片全场图中的目标细胞进行检测，进而确定全场图中包含目标细胞的一个或多个目标区域，基于注意力机制的特征融合模型，根据全场图中一个或多个目标区域的特征，确定全场图的特征，最后基于预先训练的全场图分类模型，确定数字切片属于阳性或阴性，达到了基于全场图对数字切片进行分类的技术效果，进而解决了现有对数字切片的研究，只能够进行细胞级别的分类，无法实现全场图级别的诊断的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例提供的一种数字切片分类方法流程图；
图2是根据本发明实施例提供的一种宫颈抹片检查方法流程图；
图3是根据本发明实施例体用的一种对全场图进行网格划分的示意图；以及
图4是根据本发明实施例的一种数字切片分类装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种数字切片分类方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例提供的一种数字切片分类方法流程图，如图1所示，该方法包括如下步骤：
S101，获取数字切片的全场图。
需要说明的是，上述数字切片的全场图可以是任意一种病理切片的数字图像，包括但不限于宫颈抹片的数字图像。
宫颈抹片(TCT)检查是采用液基薄层细胞检测系统检测宫颈细胞，并进行TBS(TheBethesda System)细胞学描述性诊断的一种宫颈癌细胞学检查技术，与传统的宫颈刮片巴氏染色涂片检查相比在制片技术上有重大突破，该方法镜下细胞分布均匀，图像清晰，明显提高了标本的满意度及宫颈异常细胞的检出率，同时还能及时发现癌前病变；微生物感染如霉菌、滴虫、衣原体以及HPV病毒等。
S102，基于预先训练的细胞检测模型，检测全场图中包含的至少一个目标细胞。
具体地，上述细胞检测模型可以是采用任意一种人工智能算法，利用大量的细胞图片通过机器学习得到的模型，该细胞检测模型的输入数据为包含细胞的图像，输出数据为图像中包含的细胞。可选地，根据检测的细胞类型不同，可以利用不同的训练样本进行训练。
作为一种可选的实施例，当上述数字切片为宫颈抹片的数字图像的情况下，上述待检测的目标细胞可以为鳞状上皮细胞，则上述细胞检测模型可以是根据大量鳞状上皮细胞图像训练得到的模型。本发明实施例中训练得到的细胞检测模型可以是一个U-Net神经网络模型。在通过S101获取到宫颈抹片的数字图像(全场图)后，通过S102定位鳞状上皮细胞的位置。
S103，定位全场图中包含目标细胞的目标区域，其中，目标区域中包含一个或多个目标细胞。
具体地，在上述S103可以通过如下步骤来实现：将全场图划分为多个网格区域；从多个网格区域中筛选出包含目标细胞的至少一个网格区域；统计每个网格区域内目标细胞的数量和位置，计算每个网格区域内目标细胞的平均位置；将每个网格区域的中心位置移动到每个网格区域内目标细胞的平均位置，得到全场图中的至少一个目标区域，其中，每个目标区域内包含一个或多个目标细胞，且每个目标区域的中心位置位于每个目标区域内所有目标细胞的平均位置。
作为一种可选的实施方式，在将全场图划分为多个网格区域的时候，可以按照预设步长，将全场图划分成多个尺寸相同且有重叠的正方形网格区域，其中，正方形网格区域的边长大于预设步长。
S104，基于注意力机制的特征融合模型，根据全场图中目标区域的特征，确定全场图的特征。
具体地，在上述S104之前，本发明实施例提供的数字切片分类方法还包括如下步骤：基于预先训练的样本模型，确定每个目标区域为预设样本类型的概率，其中，样本模型是根据预设样本类型的样本图片训练得到的，样本图片的尺寸与目标区域的尺寸相同；选取概率最大的N个目标区域的特征作为全场图的特征池。
进一步地，在得到全场图的特征池后，可以通过如下步骤确定全场图的特征：计算全场图的特征池中N个特征向量的均值；根据N个特征向量的均值和每个特征向量，通过如下公式确定全场图的特征：
其中，
其中，
其中，z为数字切片图像的特征，fi为第i个目标区域的特征；αi为fi的权重；为N个目标区域的特征向量的均值；Fi为第i个目标区域的特征与N个目标区域的特征向量的均值拼接得到的特征；和为特征融合模型的模型参数，L和M为两个超参数，L＝128，M＝1。
S105，基于预先训练的全场图分类模型，根据全场图的特征确定数字切片的类型。
作为一种可选的实施例，当上述数字切片为宫颈抹片的数字图像，且待检测的目标细胞为鳞状上皮细胞的情况下，最终根据宫颈抹片全场图确定的数字切片类型可以为阳性或阴性。
作为一种可选的实施方式，本发明实施例采用的全场图分类模型可以为基于五层全连接的多层感知机(MLP，Multilayer Perceptron)。在确定全场图的特征z后，将全场图的特征z输入到多层感知机用于最后的全场图分类。可选地，该多层感知机为五层全连接网络，每一层网络的节点数目分别为2048-256-128-128-2。其中2048为输入的全场图融合特征的维度，2为网络输出的维度。本发明实施例在网络的最后一层使用softmax激活函数将模型输出变成阳性和阴性的概率分布(全场图分类结果，也即数字切片的诊断结果)。
需要说明的是，本发明实施例中的特征融合模型和全场图分类模型可以通过如下的交叉熵损失函数来进行优化：
Oi＝φ(Xi,Θ)；
其中，为全场图分类模型的输出；为训练数据的标签；φ为映射函数；Θ＝{W,V,Wmlp}表示全场图分类模型的参数集合；Wmlp为多层感知机的参数；为训练数据；N为训练数据的个数。
由上可知，本发明实施例，在获取到宫颈抹片的全场图后，基于预先训练的细胞检测模型对宫颈抹片全场图中的鳞状上皮细胞进行检测，进而确定宫颈抹片全场图中包含鳞状上皮细胞的一个或多个局部区域，基于注意力机制的特征融合模型，根据宫颈抹片全场图中一个或多个包含鳞状上皮细胞的局部区域的特征，确定宫颈抹片全场图的特征，最后基于预先训练的全场图分类模型，确定宫颈抹片属于阳性或阴性，达到了对宫颈抹片实现全场图级别的诊断的技术效果，进而解决了现有对数字切片的研究，只能够进行细胞级别的分类，无法实现全场图级别的诊断的技术问题。
下面以宫颈抹片TCT检查为例来具体说明本发明实施例。图2是根据本发明实施例提供的一种宫颈抹片检查方法流程图，如图2所示，包括如下步骤：
S201，鳞状上皮细胞检测。该步骤主要用于定位宫颈抹片全场图中鳞状上皮细胞的位置。训练数据包括训练图像样本，以及对应的细胞中心标注。在训练的过程中，每张训练图像中的细胞中心坐标值会被转换成与输入图像具有同样空间大小的邻近度的图像。邻近度图像定义了每一个像素与其最近的细胞中心的邻近程度。假设训练图像I对应的邻近度图像为M可以通过如下公式得到：
其中，d(i,j)代表像素(i,j)和最近的一个细胞中心的距离，τ是一个可以标量，通常设置为1，r是一个标量，通常定义为细胞的平均半径。根据该定义，可以发现在邻近度图像里，细胞中心有比周围的区域有更高的值。
给定一定数量的训练图像及对应的邻近度图像使用均方误差作为损失函数，本发明实施例训练一个U-Net神经网络模型。在测试阶段，每个输入图片会被训练好的全卷积网络转换成一个对应的邻近度图像，然后细胞中心可以通过确定局部最大值的位置得到。
S202，局部区域(即可能包含鳞状上皮细胞的局部区域)定位。为了实现对鳞状上皮细胞类别的准确分类，不能简单依靠单个细胞，而是要考虑到细胞周围的细胞簇等。
具体地，确定宫颈抹片全场图中包含鳞状上皮细胞的目标区域包括如下步骤：
(1)对每一张全场图，以预设步长(例如，500个像素)，将全场图划分成多个具有重叠的正方形格子(例如，640×640个像素)，则重叠区域为140个像素，如图3所示。
(2)利用S201得到的细胞中心检测结果，统计每个格子里出现的细胞个数及其位置。
(3)将未包含细胞的格子滤掉。
(4)对于包含细胞中心的格子，计算该格子内部所有细胞的中心坐标的平均值(m,n)。将该格子的中心移动到坐标(m,n)。
S203，局部区域分类及特征提取。
首先收集大量病理医生标注的TCT病变细胞，然后在病变细胞周围切出大量的640x640小图片作为阳性样本。在阴性切片里随机切出大量同样大小的小图片作为阴性训练样本。以此训练数据训练一个改进过的卷积分类模型。本发明实施例采用已经在自然图像集上训练好的inception v3模型，以此模型为基础，将原始inceptionv3的最后一层去掉，并加上输出为2的分类层。然后在收集的TCT细胞数据集上对修改过的inception v3模型进行训练。本发明实施例将训练好的模型成为TCTinception。
对S202中得到的每一个格子，本发明实施例基于训练好的TCTinception模型对每一个格子进行分类并获取该格子的阳性概率，并收集倒数第二层的全局平均池化层的长度为2048向量f输出作为该格子的特征。
S204，根据S203收集到的阳性概率以及特征描述f，对所有的格子按照阳性概率从大到小的顺序进行排序，并选取概率最高的前N个格子的特征作为该全场图的特征池。该特征池中的特征会根据步骤5中的机制进行融合并得到一个全场图的特征。
S205，基于注意力机制的特征融合模型确定全场图的特征。通过该步骤可以得到全场图X对应的融合特征z。
(1)对图像X，假设得到的N个长度为M的特征描述为{f1,f2,…,fN}，则N个特征向量的均值为
(2)将得到的均值向量g与每一个单独的特征fi拼接得到Fi＝[g；fi]。
(3)根据Fi，计算出全场图的融合特征其中αi是一个0-1之间的标量，代表fi的权重。
(4)通过下面的公式计算得到αi：
S206，基于全场图分类模型对全场图进行分类。
根据本发明实施例，还提供了一种用于实现图1所示的数字切片分类方法的装置实施例，图4是根据本发明实施例的一种数字切片分类装置示意图，如图4所示，该装置包括：全场图获取模块41、细胞检测模块42、目标区域定位模块43、特征融合模块44和全场图特征分类模块45。
其中，全场图获取模块41，用于获取数字切片的全场图；
细胞检测模块42，用于基于预先训练的细胞检测模型，检测全场图中包含的至少一个目标细胞；
目标区域定位模块43，用于定位全场图中包含目标细胞的目标区域，其中，目标区域中包含一个或多个目标细胞；
特征融合模块44，用于基于注意力机制的特征融合模型，根据全场图中目标区域的特征，确定全场图的特征；
全场图特征分类模块45，用于基于预先训练的全场图分类模型，根据全场图的特征确定数字切片的类型。
此处需要说明的是，上述全场图获取模块41、细胞检测模块42、目标区域定位模块43、特征融合模块44和全场图特征分类模块45对应于方法实施例中的步骤S101至S105，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
由上可知，在本发明上述实施例中，通过全场图获取模块41获取宫颈抹片的全场图，通过细胞检测模块42基于预先训练的细胞检测模型对宫颈抹片全场图中的鳞状上皮细胞进行检测，进而通过目标区域定位模块43确定宫颈抹片全场图中包含鳞状上皮细胞的一个或多个局部区域，通过特征融合模块44基于注意力机制的特征融合模型，根据宫颈抹片全场图中一个或多个包含鳞状上皮细胞的局部区域的特征，确定宫颈抹片全场图的特征，最后通过全场图特征分类模块45基于预先训练的全场图分类模型，确定宫颈抹片属于阳性或阴性，达到了对宫颈抹片实现全场图级别的诊断的技术效果，进而解决了现有对数字切片的研究，只能够进行细胞级别的分类，无法实现全场图级别的诊断的技术问题。
在一种可选的实施例中，上述目标区域定位模块43还用于将全场图划分为多个网格区域；从多个网格区域中筛选出包含目标细胞的至少一个网格区域；统计每个网格区域内目标细胞的数量和位置，计算每个网格区域内目标细胞的平均位置；将每个网格区域的中心位置移动到每个网格区域内目标细胞的平均位置，得到全场图中的至少一个目标区域，其中，每个目标区域内包含一个或多个目标细胞，且每个目标区域的中心位置位于每个目标区域内所有目标细胞的平均位置。
可选地，上述目标区域定位模块43还用于按照预设步长，将全场图划分成多个尺寸相同且有重叠的正方形网格区域，其中，正方形网格区域的边长大于预设步长。
在一种可选的实施例中，上述装置还可以包括：全场图特征池获取模块，用于基于预先训练的样本模型，确定每个目标区域为预设样本类型的概率，其中，样本模型是根据预设样本类型的样本图片训练得到的，样本图片的尺寸与目标区域的尺寸相同；选取概率最大的N个目标区域的特征作为全场图的特征池。
基于上述实施例，作为一种可选的实施方式，上述特征融合模块44还用于计算全场图的特征池中N个特征向量的均值；根据N个特征向量的均值和每个特征向量，通过如下公式确定全场图的特征：
其中，
其中，
其中，z为数字切片图像的特征，fi为第i个目标区域的特征；αi为fi的权重；为N个目标区域的特征向量的均值；Fi为第i个目标区域的特征与N个目标区域的特征向量的均值拼接得到的特征；和为特征融合模型的模型参数，L和M为两个超参数，L＝128，M＝1。
基于上述任意一种可选的装置实施例，作为一种可选的实施方式，上述数字切片的全场图为宫颈抹片的数字图像，目标细胞为鳞状上皮细胞，数字切片的类型为阳性或阴性。
根据本发明实施例，还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述方法实施例中任意一项的可选的或优选的数字切片分类方法。
根据本发明实施例，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述方法实施例中任意一项的可选的或优选的数字切片分类方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数字切片分类方法，其特征在于，包括：
获取数字切片的全场图；
基于预先训练的细胞检测模型，检测所述全场图中包含的至少一个目标细胞；
定位所述全场图中包含目标细胞的目标区域，其中，所述目标区域中包含一个或多个目标细胞；
基于注意力机制的特征融合模型，根据所述全场图中目标区域的特征，确定所述全场图的特征；
基于预先训练的全场图分类模型，根据所述全场图的特征确定所述数字切片的类型。
2.根据权利要求1所述的方法，其特征在于，定位所述全场图中包含目标细胞的目标区域，包括：
将所述全场图划分为多个网格区域；
从所述多个网格区域中筛选出包含目标细胞的至少一个网格区域；
统计每个网格区域内目标细胞的数量和位置，计算每个网格区域内目标细胞的平均位置；
将每个网格区域的中心位置移动到每个网格区域内目标细胞的平均位置，得到所述全场图中的至少一个目标区域，其中，每个目标区域内包含一个或多个目标细胞，且每个目标区域的中心位置位于每个目标区域内所有目标细胞的平均位置。
3.根据权利要求2所述的方法，其特征在于，将所述全场图划分为多个网格区域，包括：
按照预设步长，将所述全场图划分成多个尺寸相同且有重叠的正方形网格区域，其中，所述正方形网格区域的边长大于所述预设步长。
4.根据权利要求2所述的方法，其特征在于，在基于注意力机制的特征融合模型，根据所述全场图中目标区域的特征，确定所述全场图的特征之前，所述方法还包括：
基于预先训练的样本模型，确定每个目标区域为预设样本类型的概率，其中，所述样本模型是根据所述预设样本类型的样本图片训练得到的，所述样本图片的尺寸与目标区域的尺寸相同；
选取概率最大的N个目标区域的特征作为所述全场图的特征池。
5.根据权利要求4所述的方法，其特征在于，基于注意力机制的特征融合模型，根据所述全场图中目标区域的特征，确定所述全场图的特征，包括：
计算所述全场图的特征池中N个特征向量的均值；
根据所述N个特征向量的均值和每个特征向量，通过如下公式确定所述全场图的特征：
其中，
其中，
其中，z为数字切片图像的特征，fi为第i个目标区域的特征；αi为fi的权重；为N个目标区域的特征向量的均值；Fi为第i个目标区域的特征与N个目标区域的特征向量的均值拼接得到的特征；和为特征融合模型的模型参数，L和M为两个超参数，L＝128，M＝1。
6.根据权利要求5所述的方法，其特征在于，所述细胞检测模型为U-Net神经网络模型。
7.根据权利要求6所述的方法，其特征在于，所述全场图分类模型为基于五层全连接的多层感知机。
8.根据权利要求7所述的方法，其特征在于，通过如下交叉熵损失函数优化所述特征融合模型和所述全场图分类模型：
Oi＝φ(Xi,Θ)；
其中，为全场图分类模型的输出；为训练数据的标签；φ为映射函数；Θ＝{W,V,Wmlp}表示全场图分类模型的参数集合；Wmlp为多层感知机的参数；为训练数据；N为训练数据的个数。
9.根据权利要求1至8任一所述的方法，其特征在于，所述数字切片的全场图为宫颈抹片的数字图像，所述目标细胞为鳞状上皮细胞，所述数字切片的类型为阳性或阴性。
10.一种数字切片分类装置，其特征在于，包括：
全场图获取模块，用于获取数字切片的全场图；
细胞检测模块，用于基于预先训练的细胞检测模型，检测所述全场图中包含的至少一个目标细胞；
目标区域定位模块，用于定位所述全场图中包含目标细胞的目标区域，其中，所述目标区域中包含一个或多个目标细胞；
特征融合模块，用于基于注意力机制的特征融合模型，根据所述全场图中目标区域的特征，确定所述全场图的特征；
全场图特征分类模块，用于基于预先训练的全场图分类模型，根据所述全场图的特征确定所述数字切片的类型。
CN201910385533.9A 2019-05-09 2019-05-09 数字切片分类方法和装置 Active CN110310253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910385533.9A CN110310253B (zh) 2019-05-09 2019-05-09 数字切片分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910385533.9A CN110310253B (zh) 2019-05-09 2019-05-09 数字切片分类方法和装置

Publications (2)

Publication Number Publication Date
CN110310253A true CN110310253A (zh) 2019-10-08
CN110310253B CN110310253B (zh) 2021-10-12

Family

ID=68074633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910385533.9A Active CN110310253B (zh) 2019-05-09 2019-05-09 数字切片分类方法和装置

Country Status (1)

Country Link
CN (1) CN110310253B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275717A (zh) * 2020-01-17 2020-06-12 杭州迪英加科技有限公司 不同染色切片的对比展示方法、电子设备及可读介质
CN111882521A (zh) * 2020-06-21 2020-11-03 浙江大学山东工业技术研究院 一种细胞涂片的图像处理方法
CN112215117A (zh) * 2020-09-30 2021-01-12 北京博雅智康科技有限公司 一种基于宫颈细胞学图像的异常细胞识别方法及系统
WO2021159778A1 (zh) * 2020-02-14 2021-08-19 腾讯科技（深圳）有限公司 图像处理方法、装置、智能显微镜、可读存储介质和设备
CN114037702A (zh) * 2022-01-10 2022-02-11 湖南品信生物工程有限公司 一种切片级宫颈癌筛查与分类的方法及装置
CN115082743A (zh) * 2022-08-16 2022-09-20 之江实验室 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN117649660A (zh) * 2024-01-29 2024-03-05 武汉互创联合科技有限公司 基于全局信息融合的细胞分裂均衡度评估方法及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法
CN108665506A (zh) * 2018-05-10 2018-10-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及服务器
CN109493346A (zh) * 2018-10-31 2019-03-19 浙江大学 一种基于多损失的胃癌病理切片图像分割方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法
CN108665506A (zh) * 2018-05-10 2018-10-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及服务器
CN109493346A (zh) * 2018-10-31 2019-03-19 浙江大学 一种基于多损失的胃癌病理切片图像分割方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GART,: ""神经网络中注意力机制概述"", 《博客园》 *
楚林海: ""常见注意力机制原理介绍与对比"", 《CSDN》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275717A (zh) * 2020-01-17 2020-06-12 杭州迪英加科技有限公司 不同染色切片的对比展示方法、电子设备及可读介质
CN111275717B (zh) * 2020-01-17 2023-04-11 杭州迪英加科技有限公司 不同染色切片的对比展示方法、电子设备及可读介质
WO2021159778A1 (zh) * 2020-02-14 2021-08-19 腾讯科技（深圳）有限公司 图像处理方法、装置、智能显微镜、可读存储介质和设备
CN111882521A (zh) * 2020-06-21 2020-11-03 浙江大学山东工业技术研究院 一种细胞涂片的图像处理方法
CN112215117A (zh) * 2020-09-30 2021-01-12 北京博雅智康科技有限公司 一种基于宫颈细胞学图像的异常细胞识别方法及系统
CN114037702A (zh) * 2022-01-10 2022-02-11 湖南品信生物工程有限公司 一种切片级宫颈癌筛查与分类的方法及装置
CN114037702B (zh) * 2022-01-10 2022-05-17 湖南品信生物工程有限公司 一种切片级宫颈癌筛查与分类的方法及装置
CN115082743A (zh) * 2022-08-16 2022-09-20 之江实验室 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN115082743B (zh) * 2022-08-16 2022-12-06 之江实验室 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN117649660A (zh) * 2024-01-29 2024-03-05 武汉互创联合科技有限公司 基于全局信息融合的细胞分裂均衡度评估方法及终端
CN117649660B (zh) * 2024-01-29 2024-04-19 武汉互创联合科技有限公司 基于全局信息融合的细胞分裂均衡度评估方法及终端

Also Published As

Publication number Publication date
CN110310253B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN110310253A (zh) 数字切片分类方法和装置
Gao et al. Diagnosis of diabetic retinopathy using deep neural networks
Roth et al. A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations
Kowal et al. Computer-aided diagnosis of breast cancer based on fine needle biopsy microscopic images
Hyeon et al. Diagnosing cervical cell images using pre-trained convolutional neural network as feature extractor
CN109886179A (zh) 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN104881683B (zh) 基于组合分类器的白内障眼底图像分类方法及分类装置
CN106780460A (zh) 一种用于胸部ct影像的肺结节自动检测系统
Alzubaidi et al. Robust application of new deep learning tools: an experimental study in medical imaging
CN113011485A (zh) 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
CN112561863B (zh) 一种基于改进ResNet的医学图像多分类识别系统
CN110348435A (zh) 一种基于裁剪区域候选网络的目标检测方法及系统
CN112767389A (zh) 基于fcos算法的胃镜图片病灶识别方法及装置
Simon et al. Shallow cnn with lstm layer for tuberculosis detection in microscopic images
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
Aina et al. Classification of cervix types using convolution neural network (cnn)
KR102407248B1 (ko) 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템
Karthikeyan et al. Interpolative leishman-stained transformation invariant deep pattern classification for white blood cells
Arora et al. Deep neural network for transformation zone classification
Alaverdyan et al. Unsupervised feature learning for outlier detection with stacked convolutional autoencoders, siamese networks and wasserstein autoencoders: application to epilepsy detection
CN111724345A (zh) 可自适应调节感受野大小的肺炎图片检定装置与方法
Abd-Alhalem et al. Cervical cancer classification based on a bilinear convolutional neural network approach and random projection
CN110363240A (zh) 一种医学影像分类方法与系统
Guo et al. A novel approach to mass abnormality detection in mammographic images
CN114649092A (zh) 基于半监督学习和多尺度特征融合的辅助诊断方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant