CN114742750A - 异常细胞检测方法、装置、终端设备及可读存储介质 - Google Patents

异常细胞检测方法、装置、终端设备及可读存储介质 Download PDF

Info

Publication number
CN114742750A
CN114742750A CN202210192953.7A CN202210192953A CN114742750A CN 114742750 A CN114742750 A CN 114742750A CN 202210192953 A CN202210192953 A CN 202210192953A CN 114742750 A CN114742750 A CN 114742750A
Authority
CN
China
Prior art keywords
training data
sample image
image
abnormal
abnormal cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210192953.7A
Other languages
English (en)
Inventor
林黄靖
柴志忠
张宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Imsight Medical Technology Co Ltd
Original Assignee
Shenzhen Imsight Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Imsight Medical Technology Co Ltd filed Critical Shenzhen Imsight Medical Technology Co Ltd
Priority to CN202210192953.7A priority Critical patent/CN114742750A/zh
Publication of CN114742750A publication Critical patent/CN114742750A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种异常细胞检测方法及装置，所述方法包括：获取宫颈细胞病理图像；将所述宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定所述宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，所述异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对所述宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类，利用少量标注数据以及大量无标注数据，训练异常细胞检测模型，并采用异常细胞检测模型对宫颈细胞病理图像中的异常细胞或细胞团进行自动定位识别和并给出相应的类别。

Description

异常细胞检测方法、装置、终端设备及可读存储介质
技术领域
本发明涉及计算机技术领域，特别是涉及一种异常细胞检测方法、装置、终端设备及可读存储介质。
背景技术
异常细胞筛查是预防异常细胞发病率的有效途径。根据Bethesda系统(TBS)，最常见的病变可为意义不明确的非典型鳞状细胞(ASC-US)、低级别鳞状上皮内病变(LSIL)、非典型不除外鳞状上皮内高度病变(ASC-H)、高级别鳞状上皮内病变(HSIL)和非典型腺细胞(AGC)，需要经验丰富的细胞学家在显微镜下仔细观察。目前，如何能够自动检测出病理图像上的异常细胞，是继续解决的技术问题。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种异常细胞检测方法、装置、终端设备及可读存储介质。
第一个方面，本发明实施例提供一种异常细胞检测方法，所述方法包括：
获取宫颈细胞病理图像；
将所述宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定所述宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，所述异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对所述宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类。
可选地，所述基于度量学习的半监督算法包括：Faster R-CNN神经网络和特征金字塔网络(FPN)的半监督度量学习框架，所述异常细胞检测模型通过如下方式获得：
获取宫颈细胞病理样本图像；其中，所述宫颈细胞病理样本图像包括有标注的第一样本图像和没有标注的第二样本图像；
分别对所述第一样本图像和第二样本图像进行预处理，得到第一训练数据和第二训练数据；
对所述第一训练数据和所述第二训练数据进行基于代理的建议特征对齐处理，得到所述第一训练数据和所述代理的第一距离和所述第二训练数据和所述代理的第二距离；
根据所述第一样本图像和所述第二样本图像对所述代理进行训练；
在所述第一距离和所述第二距离满足预设条件，确定所述异常细胞检测模型。
可选地，所述分别对所述第一样本图像和第二样本图像进行预处理，得到训练数据，包括：
获取所述第一样本图像和所述第二样本图像的像素参数；
根据所述像素参数分别对所述第一样本图像和所述第二样本图像进行双线性插值法处理，得到归一化的第一样本图像和归一化的第二样本图像；
分别对所述归一化的第一样本图像和归一化的第二样本图像进行图像增强处理，得到所述训练数据。
可选地，所述对所述第一训练数据和所述第二训练数据进行基于代理的建议特征对齐处理，得到所述第一训练数据和所述代理的第一距离和所述第二训练数据和所述代理的第二距离，包括：
采用第一投影头将第一训练数据的特征向量映射到嵌入的度量空间中；
采用第二投影头将第二训练数据的特征向量映射到嵌入的度量空间中；
采用基于代理的度量学习方法，使用语义代理作为类的代表，确定第一训练数据和所述代理的第一距离和所述第二训练数据和所述代理的第二距离。
可选地，所述方法还包括：
对所述度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理。
可选地，所述对所述度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理，包括：
根据图像中的标注，对第一训练数据的特征向量和第二训练数据的特征向量进行平均处理，得到金标准的原型模型；
可选地，所述对所述度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理，包括：
根据第一训练数据的特征向量，计算第一概率模型；
根据所述第二训练数据的特征向量，计算第二概率模型；
根据所述第一训练数据的特征向量，计算金标准原型的第三模型；
分别计算第一概率模型和第三概率模型的第三距离，第一概率模型和第二概率模型的第四距离；
当所述第三距离和所述第四距离小于预设值，则得到所述异常细胞检测模型。
第二个方面，本发明实施例提供一种异常细胞检测装置，所述装置包括：
获取模块，用于获取宫颈细胞病理图像；
定位模块，用于将所述宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定所述宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，所述异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对所述宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类。
可选地，所述装置还包括模型建立模块，所述基于度量学习的半监督算法包括：Faster R-CNN神经网络和特征金字塔网络(FPN)的半监督度量学习框架，所述模型建立模块用于：
获取宫颈细胞病理样本图像；其中，所述宫颈细胞病理样本图像包括有标注的第一样本图像和没有标注的第二样本图像；
分别对所述第一样本图像和第二样本图像进行预处理，得到第一训练数据和第二训练数据；
对所述第一训练数据和所述第二训练数据进行基于代理的建议特征对齐处理，得到所述第一训练数据和所述代理的第一距离和所述第二训练数据和所述代理的第二距离；
根据所述第一样本图像和所述第二样本图像对所述代理进行训练；
在所述第一距离和所述第二距离满足预设条件，确定所述异常细胞检测模型。
可选地，所述模型建立模块还用于：
所述分别对所述第一样本图像和第二样本图像进行预处理，得到训练数据，包括：
获取所述第一样本图像和所述第二样本图像的像素参数；
根据所述像素参数分别对所述第一样本图像和所述第二样本图像进行双线性插值法处理，得到归一化的第一样本图像和归一化的第二样本图像；
分别对所述归一化的第一样本图像和归一化的第二样本图像进行图像增强处理，得到所述训练数据。
可选地，所述模型建立模块用于：
采用第一投影头将第一训练数据的特征向量映射到嵌入的度量空间中；
采用第二投影头将第二训练数据的特征向量映射到嵌入的度量空间中；
采用基于代理的度量学习方法，使用语义代理作为类的代表，确定第一训练数据和所述代理的第一距离和所述第二训练数据和所述代理的第二距离。
可选地，所述模型建立模块用于：
对所述度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理。
可选地，所述模型建立模块用于：
根据图像中的标注，对第一训练数据的特征向量和第二训练数据的特征向量进行平均处理，得到金标准的原型模型。
可选地，所述模型建立模块用于：
根据第一训练数据的特征向量，计算第一概率模型；
根据所述第二训练数据的特征向量，计算第二概率模型；
根据所述第一训练数据的特征向量，计算金标准原型的第三模型；
分别计算第一概率模型和第三概率模型的第三距离，第一概率模型和第二概率模型的第四距离；
当所述第三距离和所述第四距离小于预设值，则得到所述异常细胞检测模型。
第三个方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的异常细胞检测方法。
第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的异常细胞检测方法。
本发明实施例包括以下优点：
本发明实施例提供的异常细胞检测方法、装置、终端设备及可读存储介质，通过获取宫颈细胞病理图像；将所述宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定所述宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，所述异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对所述宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类，利用少量标注数据以及大量无标注数据，训练异常细胞检测模型，并采用异常细胞检测模型对宫颈细胞病理图像中的异常细胞或细胞团进行自动定位识别和并给出相应的类别。
附图说明
图1是本发明的一种异常细胞检测方法实施例的步骤流程图；
图2是本发明的模型训练的步骤流程图；
图3是本发明的一种异常细胞检测装置实施例的结构框图；
图4是本发明的一种终端设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明一实施例提供一种异常细胞检测方法，用于对宫颈细胞病理图像中的异常细胞进行检测。本实施例的执行主体为异常细胞检测装置，设置在终端设备上。
参照图1，示出了本发明的一种异常细胞检测方法实施例的步骤流程图，该方法具体可以包括如下步骤：
S101、获取宫颈细胞病理图像；
具体的，终端设备获取宫颈细胞病理图像，可以是医生输入的宫颈细胞病理图像，也可以是从其他服务器上获取的。
S102、将宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类。
具体地，在终端设备上预先训练好异常细胞检测模型，该异常细胞检测模型用于对宫颈细胞病理图像中的异常细胞进行检测，并确定异常细胞的类型，其中，异常细胞检测模型为基于深度卷积神经网络的检测模型Faster R-CNN模型，并提出了一种基于度量学习的半监督算法，在采用少量标注数据的情况下，利用大量未标注的数据训练得到的，可以提升模型的性能和鲁棒性。
当终端设备获取到宫颈细胞病理图像后，将宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，从而输出该宫颈细胞病理图像中的异常细胞，并确定异常细胞的种类。本发明实施例中根据宫颈细胞病理图像中异常细胞或细胞团的定位及分类，辅助医生诊断，减轻医生工作负担，同时，在训练异常细胞检测模型时，只利用少量标注数据和大量无标注数据便可达到较好的性能，大大减轻医生的标注负担；利用深度学习和有限的标注数据用数值方法获得模型，不需要人工设计特征。构建的数据集包含不同制片方式及扫描成像参数的数字图像使得本发明对制片方式和成像参数具有更强的通用性和鲁棒性。
本发明实施例提供的异常细胞检测方法，通过获取宫颈细胞病理图像；将宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类，利用少量标注数据以及大量无标注数据，训练异常细胞检测模型，并采用异常细胞检测模型对宫颈细胞病理图像中的异常细胞或细胞团进行自动定位识别和并给出相应的类别。
本发明又一实施例对上述实施例提供的异常细胞检测方法做进一步补充说明。
如图2所示，可选地，基于度量学习的半监督算法包括：Faster R-CNN神经网络和特征金字塔网络(FPN)的半监督度量学习框架，异常细胞检测模型通过如下方式获得：
获取宫颈细胞病理样本图像；其中，宫颈细胞病理样本图像包括有标注的第一样本图像和没有标注的第二样本图像；
具体地，深度学习是基于大量样本，通过反向传播算法对大量样本进行特征提取和模型参数调整的技术。为了解决宫颈癌细胞的定位及分类问题，本发明实施例构建了一个宫颈癌细胞数字病理图像数据集，里面包含了标注数据即第一样本图像和未标注数据即第二样本图像，其中，标注数据由专业的宫颈细胞学专家进行标注和审核，未标注数据由只在标注数据上训练的全监督模型从阳性WSI中预测得到。假设DL表示已标记的数据集，而DU表示未标记的数据集。通常，DL的大小很小，来自DU的数据可以是很多。半监督宫颈癌细胞检测的目标是通过有效利用DU来提高性能。在此，本发明实施例提供了基于Faster R-CNN和特征金字塔网络(FPN)的半监督度量学习框架。
分别对第一样本图像和第二样本图像进行预处理，得到第一训练数据和第二训练数据；
对第一训练数据和第二训练数据进行基于代理的建议特征对齐处理，得到第一训练数据和代理的第一距离和第二训练数据和代理的第二距离；
根据第一样本图像和第二样本图像对代理进行训练；
在第一距离和第二距离满足预设条件，确定异常细胞检测模型。
可选地，分别对第一样本图像和第二样本图像进行预处理，得到训练数据，包括：
获取第一样本图像和第二样本图像的像素参数；
根据像素参数分别对第一样本图像和第二样本图像进行双线性插值法处理，得到归一化的第一样本图像和归一化的第二样本图像；
分别对归一化的第一样本图像和归一化的第二样本图像进行图像增强处理，得到训练数据。
具体地，终端设备在获取到宫颈细胞病理样本图像，对宫颈细胞病理样本图像记性归一化及预处理，也就是说，由于选取的图像区域均采样于不同的宫颈病理数字图像，而这些数字图像可能由不同的扫描仪扫描成像，因不同扫描仪的硬件属性，软件参数设置的不同，每张图片单像素代表的实际物理尺寸也会有不同，数据归一化的目的在于尽可能保证使数据集中的图像具有相近的物理尺寸。在对模型训练时，需要对输入样本图像进行归一化处理。
通过读取图像的附加信息可以获得该样本图像的微米每像素(micron perpixel，mpp)参数。mpp代表了每个像素对应的病理切片上的实际距离。mpp为1代表每个像素代表的实际横或纵距离为1微米。
通过读取像素参数mpp，可以将样本图像通过双线性插值法进行放大或缩小从而实现数据物理尺度上的归一化。
示例性地，本发明实施例将数据集mpp归一化为0.5，每个样本图像的目标行(列)像素数由以下公式得出：
目标行(列)像素数＝0.5*原行(列)像素数/mpp；
进一步地，需要对归一化处理的样本图像进行图形增强处理，具体地：
将训练集中的样本图像进行随机翻转，镜像等操作，实现对数据集的扩充。通过数据集扩充可以利用有限的训练数据使模型的泛化能力更强。
镜像：对训练数据集(1)及其标注图像同时进行随机的垂直或水平镜像，与训练数据集1汇总形成训练数据集(2)。
翻转：对训练数据集(2)及其标注图像同时进行顺时针翻转，翻转角度为90度、180度或270度，与训练数据集(2)汇总形成训练数据集(3)。训练数据集(3)为训练神经网络所使用的训练数据。
可选地，对第一训练数据和第二训练数据进行基于代理的建议特征对齐处理，得到第一训练数据和代理的第一距离和第二训练数据和代理的第二距离，包括：
采用第一投影头将第一训练数据的特征向量映射到嵌入的度量空间中；
采用第二投影头将第二训练数据的特征向量映射到嵌入的度量空间中；
采用基于代理的度量学习方法，使用语义代理作为类的代表，确定第一训练数据和代理的第一距离和第二训练数据和代理的第二距离。
可选地，该方法还包括：
对度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理。
可选地，对度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理，包括：
根据图像中的标注，对第一训练数据的特征向量和第二训练数据的特征向量进行平均处理，得到金标准的原型模型；
可选地，对度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理，包括：
根据第一训练数据的特征向量，计算第一概率模型；
根据第二训练数据的特征向量，计算第二概率模型；
根据第一训练数据的特征向量，计算金标准原型的第三模型；
分别计算第一概率模型和第三概率模型的第三距离，第一概率模型和第二概率模型的第四距离；
当第三距离和第四距离小于预设值，则得到异常细胞检测模型。
具体地，终端设备在获取到训练数据后，根据该训练数据对Faster R-CNN神经网络和特征金字塔网络(FPN)的半监督度量学习框架进行训练，具体为：
1)基于proxy(代理)的建议特征对齐
本发明实施例提出的半监督检测算法，没有直接对检测模型的检测头(detectionhead)进行训练，而是在学习到的嵌入空间(Embedding space)上对特征进行度量学习，以实现标记数据和未标记数据之间的语义对齐。
具体来说，首先将一个投影头(project head)来将特征映射到一个嵌入的度量空间中；接下来，采用基于代理(proxy)的度量学习方法，使用语义代理作为类的代表，来计算特征和proxy之间的距离。在本发明实施例中，代理被定义为网络参数的一部分，可以在训练阶段进行优化。为了减轻未标记数据带来的负面影响，只使用标记数据中的特征对代理进行更新。
2)基于memory bank(存储体)的prototype(原型)对齐；
伪标签的使用很容易导致模型预测的过拟合，为了实现更平滑的正则化，本发明实施例采用原型对齐来进一步保持标记数据和未标记数据之间的语义一致性。
本发明实施例中涉及到两种类型的原型，第一种是基于Ground Truth(金标准)的原型，该类原型是根据医生的标注得到，做法是将属于某个类别的特征进行平均得到该类的原型；另一种是基于模型预测概率的原型，做法是将属于某个类别的特征以及其属于该类的概率进行加权平均得到该类的原型；得到两种类型的原型后，针对标记数据和未标注数据计算基于概率的原型，记为P1和P2；然后再对标注数据计算基于金标准的原型P3；最后在模型的训练过程中，对P1和P2以及P3计算距离损失，使得P1、P2和P3同类之间的距离越来越近，异类之间的距离越来越远；
但是，小批量中标记图像和未标记图像的前景对象可能存在类别不一致的问题，直接进行原型对齐可能会限制模型的性能。为了解决这个问题，通过存储库(memory bank)来存储基于金标准的原型，记为Pk，然后将小批量中来自标记和未标记数据的基于概率加权的原型P1,P2与存储库中的平均原型Pk进行语义层面上的对齐。
本发明发明实施例中，对模型的训练主要包括以下几个方面：训练，验证及测试数据集的准备与标注；数据归一化及预处理；数据增强及模型训练；具体的训练流程如图2所示。
对于监督学习，本发明实施例通过计算标准的监督损失(分类损失和回归损失)来优化模型。对于无监督学习，在同一个嵌入度量空间中同时对标注数据和未标注数据的特征在类别的层面上进行度量学习和原型对齐，使得同类的特征距离更近，不同类的距离相对更远。本发明可以实现对宫颈细胞病理图像中的癌变细胞或者细胞团进行定位，本发明实施例提供的模型无须人为设计特征，利用少量标注数据和大量未标注数据，对模型进行训练获得较好的定位分类效果，可以在宫颈癌细胞的临床诊断中有一定辅助作用，该方案对于不同制片方式及扫描成像参数有着很高的鲁棒性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供的异常细胞检测方法，通过获取宫颈细胞病理图像；将宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类，利用少量标注数据以及大量无标注数据，训练异常细胞检测模型，并采用异常细胞检测模型对宫颈细胞病理图像中的异常细胞或细胞团进行自动定位识别和并给出相应的类别。
本发明另一实施例提供一种异常细胞检测装置，用于执行上述实施例提供的异常细胞检测方法。
参照图3，示出了本发明的一种异常细胞检测装置实施例的结构框图，该装置具体可以包括如下模块：获取模块301和定位模块302，其中：
获取模块301用于获取宫颈细胞病理图像；
定位模块302用于将宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类。
本发明实施例提供的异常细胞检测装置，通过获取宫颈细胞病理图像；将宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类，利用少量标注数据以及大量无标注数据，训练异常细胞检测模型，并采用异常细胞检测模型对宫颈细胞病理图像中的异常细胞或细胞团进行自动定位识别和并给出相应的类别。
本发明又一实施例对上述实施例提供的异常细胞检测装置做进一步补充说明。
可选地，装置还包括模型建立模块，基于度量学习的半监督算法包括：Faster R-CNN神经网络和特征金字塔网络(FPN)的半监督度量学习框架，模型建立模块用于：
获取宫颈细胞病理样本图像；其中，宫颈细胞病理样本图像包括有标注的第一样本图像和没有标注的第二样本图像；
分别对第一样本图像和第二样本图像进行预处理，得到第一训练数据和第二训练数据；
对第一训练数据和第二训练数据进行基于代理的建议特征对齐处理，得到第一训练数据和代理的第一距离和第二训练数据和代理的第二距离；
根据第一样本图像和第二样本图像对代理进行训练；
在第一距离和第二距离满足预设条件，确定异常细胞检测模型。
可选地，模型建立模块还用于：
分别对第一样本图像和第二样本图像进行预处理，得到训练数据，包括：
获取第一样本图像和第二样本图像的像素参数；
根据像素参数分别对第一样本图像和第二样本图像进行双线性插值法处理，得到归一化的第一样本图像和归一化的第二样本图像；
分别对归一化的第一样本图像和归一化的第二样本图像进行图像增强处理，得到训练数据。
可选地，模型建立模块用于：
采用第一投影头将第一训练数据的特征向量映射到嵌入的度量空间中；
采用第二投影头将第二训练数据的特征向量映射到嵌入的度量空间中；
采用基于代理的度量学习方法，使用语义代理作为类的代表，确定第一训练数据和代理的第一距离和第二训练数据和代理的第二距离。
可选地，模型建立模块用于：
对度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理。
可选地，模型建立模块用于：
根据图像中的标注，对第一训练数据的特征向量和第二训练数据的特征向量进行平均处理，得到金标准的原型模型。
可选地，模型建立模块用于：
根据第一训练数据的特征向量，计算第一概率模型；
根据第二训练数据的特征向量，计算第二概率模型；
根据第一训练数据的特征向量，计算金标准原型的第三模型；
分别计算第一概率模型和第三概率模型的第三距离，第一概率模型和第二概率模型的第四距离；
当第三距离和第四距离小于预设值，则得到异常细胞检测模型。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的异常细胞检测装置，通过获取宫颈细胞病理图像；将宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类，利用少量标注数据以及大量无标注数据，训练异常细胞检测模型，并采用异常细胞检测模型对宫颈细胞病理图像中的异常细胞或细胞团进行自动定位识别和并给出相应的类别。
本发明再一实施例提供一种终端设备，用于执行上述实施例提供的异常细胞检测方法。
图4是本发明的一种终端设备的结构示意图，如图4所示，该终端设备包括：至少一个处理器401和存储器402；
存储器存储计算机程序；至少一个处理器执行存储器存储的计算机程序，以实现上述实施例提供的异常细胞检测方法。
本实施例提供的终端设备，通过获取宫颈细胞病理图像；将宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类，利用少量标注数据以及大量无标注数据，训练异常细胞检测模型，并采用异常细胞检测模型对宫颈细胞病理图像中的异常细胞或细胞团进行自动定位识别和并给出相应的类别。
本申请又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被执行时实现上述任一实施例提供的异常细胞检测方法。
根据本实施例的计算机可读存储介质，通过获取宫颈细胞病理图像；将宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类，利用少量标注数据以及大量无标注数据，训练异常细胞检测模型，并采用异常细胞检测模型对宫颈细胞病理图像中的异常细胞或细胞团进行自动定位识别和并给出相应的类别。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者电子设备中还存在另外的相同要素。
以上对本发明所提供的一种异常细胞检测方法和一种异常细胞检测装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种异常细胞检测方法，其特征在于，所述方法包括：
获取宫颈细胞病理图像；
将所述宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定所述宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，所述异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对所述宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类。
2.根据权利要求1所述的方法，其特征在于，所述基于度量学习的半监督算法包括：Faster R-CNN神经网络和特征金字塔网络(FPN)的半监督度量学习框架，所述异常细胞检测模型通过如下方式获得：
获取宫颈细胞病理样本图像；其中，所述宫颈细胞病理样本图像包括有标注的第一样本图像和没有标注的第二样本图像；
分别对所述第一样本图像和第二样本图像进行预处理，得到第一训练数据和第二训练数据；
对所述第一训练数据和所述第二训练数据进行基于代理的建议特征对齐处理，得到所述第一训练数据和所述代理的第一距离和所述第二训练数据和所述代理的第二距离；
根据所述第一样本图像和所述第二样本图像对所述代理进行训练；
在所述第一距离和所述第二距离满足预设条件，确定所述异常细胞检测模型。
3.根据权利要求2所述的方法，其特征在于，所述分别对所述第一样本图像和第二样本图像进行预处理，得到训练数据，包括：
获取所述第一样本图像和所述第二样本图像的像素参数；
根据所述像素参数分别对所述第一样本图像和所述第二样本图像进行双线性插值法处理，得到归一化的第一样本图像和归一化的第二样本图像；
分别对所述归一化的第一样本图像和归一化的第二样本图像进行图像增强处理，得到所述训练数据。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一训练数据和所述第二训练数据进行基于代理的建议特征对齐处理，得到所述第一训练数据和所述代理的第一距离和所述第二训练数据和所述代理的第二距离，包括：
采用第一投影头将第一训练数据的特征向量映射到嵌入的度量空间中；
采用第二投影头将第二训练数据的特征向量映射到嵌入的度量空间中；
采用基于代理的度量学习方法，使用语义代理作为类的代表，确定第一训练数据和所述代理的第一距离和所述第二训练数据和所述代理的第二距离。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对所述度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理。
6.根据权利要求5所述的方法，其特征在于，所述对所述度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理，包括：
根据图像中的标注，对第一训练数据的特征向量和第二训练数据的特征向量进行平均处理，得到金标准的原型模型。
7.根据权利要求5所述的方法，其特征在于，所述对所述度量空间中的第一训练数据的特征向量和第二训练数据的特征向量进行基于存储体的原型对齐处理，包括：
根据第一训练数据的特征向量，计算第一概率模型；
根据所述第二训练数据的特征向量，计算第二概率模型；
根据所述第一训练数据的特征向量，计算金标准原型的第三模型；
分别计算第一概率模型和第三概率模型的第三距离，第一概率模型和第二概率模型的第四距离；
当所述第三距离和所述第四距离小于预设值，则得到所述异常细胞检测模型。
8.一种异常细胞检测装置，其特征在于，所述装置包括：
获取模块，用于获取宫颈细胞病理图像；
定位模块，用于将所述宫颈细胞病理图像输入到预先训练好的异常细胞检测模型，确定所述宫颈细胞病理图像中的异常细胞的位置和异常细胞的种类；其中，所述异常细胞检测模型至少包括基于度量学习的半监督算法，采用少量标注数据训练得到的，用于对所述宫颈细胞病理图像中的异常细胞进行定位和确定异常细胞的种类。
9.一种终端设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-7中任一项所述的异常细胞检测方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任一项所述的异常细胞检测方法。
CN202210192953.7A 2022-03-01 2022-03-01 异常细胞检测方法、装置、终端设备及可读存储介质 Pending CN114742750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210192953.7A CN114742750A (zh) 2022-03-01 2022-03-01 异常细胞检测方法、装置、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210192953.7A CN114742750A (zh) 2022-03-01 2022-03-01 异常细胞检测方法、装置、终端设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114742750A true CN114742750A (zh) 2022-07-12

Family

ID=82274867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210192953.7A Pending CN114742750A (zh) 2022-03-01 2022-03-01 异常细胞检测方法、装置、终端设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114742750A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482436A (zh) * 2022-09-21 2022-12-16 北京百度网讯科技有限公司 图像筛选模型的训练方法、装置以及图像筛选方法
CN117497064A (zh) * 2023-12-04 2024-02-02 电子科技大学 基于半监督学习的单细胞三维基因组数据分析方法
CN118608547A (zh) * 2024-08-08 2024-09-06 之江实验室 一种基于原型和半监督深度学习的细胞核分割方法和系统
CN118608547B (zh) * 2024-08-08 2024-10-25 之江实验室 一种基于原型和半监督深度学习的细胞核分割方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482436A (zh) * 2022-09-21 2022-12-16 北京百度网讯科技有限公司 图像筛选模型的训练方法、装置以及图像筛选方法
CN115482436B (zh) * 2022-09-21 2023-06-30 北京百度网讯科技有限公司 图像筛选模型的训练方法、装置以及图像筛选方法
CN117497064A (zh) * 2023-12-04 2024-02-02 电子科技大学 基于半监督学习的单细胞三维基因组数据分析方法
CN118608547A (zh) * 2024-08-08 2024-09-06 之江实验室 一种基于原型和半监督深度学习的细胞核分割方法和系统
CN118608547B (zh) * 2024-08-08 2024-10-25 之江实验室 一种基于原型和半监督深度学习的细胞核分割方法和系统

Similar Documents

Publication Publication Date Title
WO2021164228A1 (zh) 一种图像数据的增广策略选取方法及系统
US11914677B2 (en) Image processing method and apparatus, terminal, and storage medium
Cherukuri et al. Deep retinal image segmentation with regularization under geometric priors
CN109102490B (zh) 自动图像注册质量评估
Dong et al. Reinforced auto-zoom net: towards accurate and fast breast cancer segmentation in whole-slide images
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
Huang et al. Lesion-based contrastive learning for diabetic retinopathy grading from fundus images
CN114742750A (zh) 异常细胞检测方法、装置、终端设备及可读存储介质
KR102179090B1 (ko) 신경망을 이용한 의료 진단 방법
JP2023553111A (ja) ペットの放射線医学画像を評価するためのシステム及び方法
CN114240961A (zh) 一种U-Net++细胞分割网络系统、方法、设备及终端
CN111192678A (zh) 病理显微图像诊断、模型训练方法、装置、设备及介质
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
CN115908363B (zh) 肿瘤细胞统计方法、装置、设备和存储介质
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN117746018A (zh) 面向平面扫描图像的用户定制化意图理解方法及系统
CN116883432A (zh) 病灶图像的分割方法、装置、电子设备及可读存储介质
CN116958221A (zh) 细胞数据分析方法、装置、设备及存储介质
CN116823848A (zh) 基于图像融合技术的多模态脑肿瘤分割方法
JP2024503977A (ja) ペットの癌を特定するためのシステム及び方法
CN112330652A (zh) 基于深度学习的染色体识别方法、装置和计算机设备
Mukherjee et al. Neighborhood regularized image superresolution for applications to microscopic imaging
CN116189209B (zh) 医疗文档图像分类方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination