CN111160238A - 显微图像质量分析方法、训练方法、系统、设备及介质 - Google Patents

显微图像质量分析方法、训练方法、系统、设备及介质 Download PDF

Info

Publication number
CN111160238A
CN111160238A CN201911378594.9A CN201911378594A CN111160238A CN 111160238 A CN111160238 A CN 111160238A CN 201911378594 A CN201911378594 A CN 201911378594A CN 111160238 A CN111160238 A CN 111160238A
Authority
CN
China
Prior art keywords
image
quality
quality analysis
training
local images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911378594.9A
Other languages
English (en)
Inventor
叶德贤
房劬
姜辰希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xingmai Information Technology Co ltd
Original Assignee
Shanghai Xingmai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xingmai Information Technology Co ltd filed Critical Shanghai Xingmai Information Technology Co ltd
Priority to CN201911378594.9A priority Critical patent/CN111160238A/zh
Publication of CN111160238A publication Critical patent/CN111160238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种显微图像质量分析方法、训练方法、系统、设备及介质，所述显微图像质量分析方法包括：根据拍摄方向依次拍摄病理显微图像中各区域的局部图像；采用预先训练得到的一个或多个图像质量分析模型对每次输入的至少一个所述局部图像进行质量分析；在满足预设质量异常输出条件时，输出显示异常质量分析结果，并控制停止拍摄病理显微图像中的局部图像。本发明使用卷积神经网络对病理显微图像(全视野数字切片)中存在的各种质量问题进行迭代训练，得到可以识别病理显微图像各种质量问题的图像质量分析模型，通过图像质量分析模型对病理显微图像进行质量识别，有效提高诊断所使用的病理显微图像的质量，提高诊断智能化和精确度。

Description

显微图像质量分析方法、训练方法、系统、设备及介质
技术领域
本发明属于图像处理技术领域，特别是涉及医学病理图像处理技术领域，具体为一种显微图像质量分析方法、训练方法、系统、设备及介质。
背景技术
图像质量评估(Image Quality Assessment，IQA)，IQA从方法上可分为主观评估和客观评估。主观评估就是从人的主观感知来评价图像的质量，首先给出原始参考图像和失真图像，让标注者给失真图像评分，一般采用平均主观得分(Mean Opinion Score，MOS)或平均主观得分差异(Differential Mean Opinion Score，DMOS)表示。客观评估使用数学模型给出量化值，可以使用图像处理技术生成一批失真图像，操作简单，已经成为IQA研究的重点。图像质量评估算法的目标是自动评估与人的主观质量判断相一致的客观图像质量。然而，主观评估费时费力，在实际应用中不可行，并且主观实验受观看距离、显示设备、照明条件、观测者的视觉能力、情绪等诸多因素影响。因此，有必要设计出能够自动精确的预测主观质量的数学模型。
IQA按照原始参考图像提供信息的多少一般分成3类：全参考(Full Reference-IQA，FR-IQA)、半参考(Reduced Reference-IQA，RR-IQA)和无参考(No Reference-IQA，NR-IQA)，无参考也叫盲参考(Blind IQA，BIQA)。FR-IQA同时有原始(无失真、参考)图像和失真图像,难度较低，核心是对比两幅图像的信息量或特征相似度，是研究比较成熟的方向。NR-IQA只有失真图像，难度较高，是近些年的研究热点，也是IQA中最有挑战的问题。RR-IQA只有原始图像的部分信息或从参考图像中提取的部分特征，此类方法介于FR-IQA和NR-IQA之间，且任何FR-IQA和NR-IQA方法经过适当加工都可以转换成RR-IQA方法。进一步，NR-IQA类算法还可以细分成两类，一类研究特定类型的图像质量，比如估计模糊、块效应、噪声的严重程度，另一类估计非特定类型的图像质量，也就是一个通用的失真评估。一般在实际应用中无法提供参考图像，所以NR-IQA最有实用价值，也有着广泛的应用，使用起来也非常方便，同时，由于图像内容的千变万化并且无参考，也使得NR-IQA成为较难的研究对象。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种显微图像质量分析方法、训练方法、系统、设备及介质，用于解决现有技术中难以对显微图像质量进行有效分析判断的问题。
为实现上述目的及其他相关目的，本发明的实施例提供一种显微图像质量分析方法，所述显微图像质量分析方法包括：根据拍摄方向依次拍摄病理显微图像中各区域的局部图像；采用预先训练得到的一个或多个图像质量分析模型对每次输入的至少一个所述局部图像进行质量分析；在满足预设质量异常输出条件时，输出显示异常质量分析结果，并控制停止拍摄病理显微图像中的局部图像。
于本申请的一实施例中，预先训练得到所述图像质量分析模型的一种实现方式包括：获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无质量异常的若干局部图像、具有第一类异常质量标签的若干局部图像、第二类异常质量标签的若干局部图像……第N类异常质量标签的若干局部图像；将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类，并输出分类结果为无质量异常、第一类质量异常、第二类质量异常……第N类质量异常中的一种的图像质量分析模型；其中，N为正整数，且N≥2。
于本申请的一实施例中，预先训练得到所述图像质量分析模型的一种实现方式包括：获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无目标类型异常质量的若干局部图像、具有目标类型异常质量标签的若干局部图像；将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类得到分类结果为是否具有目标类型异常质量图像质量分析模型；所述目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
于本申请的一实施例中，在将获取的所述图像分类训练集输入到卷积神经网络模型中进行迭代训练时，所述卷积神经网络模型根据损失函数计算得到的损失值下降并收敛时，形成的模型即为所述图像质量分析模型；所述损失函数的一种表达形式如下：
Figure BDA0002341669290000021
或者所述损失函数的一种表达形式如下：
Figure BDA0002341669290000022
其中：loss(x,class)表示损失函数，weight表示权重，x表示预测概率，class表示对应的标签类别，j表示所有局部图像的序号。
本发明的实施例还提供一种用于显微图像质量分析的图像质量分析模型训练生成方法，所述图像质量分析模型训练生成方法包括：获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无质量异常的若干局部图像、具有第一类异常质量标签的若干局部图像、第二类异常质量标签的若干局部图像……第N类异常质量标签的若干局部图像；将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类，并输出分类结果为无质量异常、第一类质量异常、第二类质量异常……第N类质量异常中的一种的图像质量分析模型；其中，N为正整数，且N≥2。
本发明的实施例还提供一种用于显微图像质量分析的图像质量分析模型训练生成方法，所述图像质量分析模型训练生成方法包括：获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无目标类型异常质量的若干局部图像、具有目标类型异常质量标签的若干局部图像；将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类得到分类结果为是否具有目标类型异常质量图像质量分析模型；所述目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
本发明的实施例还提供一种显微图像质量分析系统，所述显微图像质量分析系统包括：模型训练模块、图像放大模块、显微图像拍摄模块、图像质量分析模块以及输出模块；所述模型训练模块用于训练生成可对图像进行质量分析的图像质量分析模型；所述图像放大模块对病理图像进行放大形成病理显微图像；所述显微图像拍摄模块根据拍摄方向依次拍摄病理显微图像中各区域的局部图像，并在每次拍摄完所述局部图像后将所述局部图像发送至所述图像质量分析模块；所述图像质量分析模块采用预先训练得到的一个或多个图像质量分析模型对每次输入的至少一个所述局部图像进行质量分析；所述输出控制模块在满足预设质量异常输出条件时，输出显示异常质量分析结果，并控制停止拍摄病理显微图像中的局部图像。
于本申请的一实施例中，所述显微图像拍摄模块包括：图像放置台，用于放置所述病理显微图像；图像拍摄设备，用于拍摄所述图像放置台上的病理显微图像；控制设备，控制所述图像拍摄设备拍摄所述局部图像，并控制所述图像放置台或所述图像拍摄设备移动，以使所述显微图像拍摄模块依次拍摄病理显微图像中各区域的局部图像。
于本申请的一实施例中，所述模型训练模块训练得到所述图像质量分析模型的一种实现方式为：获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无质量异常的若干局部图像、具有第一类异常质量标签的若干局部图像、第二类异常质量标签的若干局部图像……第N类异常质量标签的若干局部图像，并将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类，并输出分类结果为无质量异常、第一类质量异常、第二类质量异常……第N类质量异常中的一种的图像质量分析模型；所述模型训练模块训练得到所述图像质量分析模型的另一种实现方式为：获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无目标类型异常质量的若干局部图像、具有目标类型异常质量标签的若干局部图像；将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类得到分类结果为是否具有目标类型异常质量图像质量分析模型；所述目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的显微图像质量分析方法或实现如上所述的用于显微图像质量分析的图像质量分析模型训练生成方法。
本发明的实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令；所述处理器运行程序指令实现如上所述的显微图像质量分析方法或实现如上所述的用于显微图像质量分析的图像质量分析模型训练生成方法。
如上所述，本发明的显微图像质量分析方法、训练方法、系统、设备及介质，具有以下有益效果：
本发明使用卷积神经网络对病理显微图像(全视野数字切片)包括组织病理图像和细胞病理图像中存在的各种质量问题进行迭代训练，得到可以识别病理显微图像各种质量问题的图像质量分析模型，通过图像质量分析模型对病理显微图像进行质量识别，有效提高诊断所使用的病理显微图像的质量，提高诊断智能化和精确度。
附图说明
图1显示为本发明的显微图像质量分析方法的整体流程示意图。
图2显示为本发明的显微图像质量分析方法中训练得到图像质量分析模型的一种实现方式的流程图。
图3显示为本发明的显微图像质量分析方法中训练得到图像质量分析模型的另一种实现方式的流程图。
图4显示为本发明使用的卷积神经网络模型图。
图5显示为本发明的显微图像质量分析装置的整体原理结构框图。
图6显示为本发明的显微图像质量分析装置的优选原理结构框图。
图7显示为本申请一实施例中的电子终端的结构示意图。
元件标号说明
100 显微图像质量分析系统
110 图像放大模块
120 显微图像拍摄模块
130 图像质量分析模块
140 输出模块
150 模型训练模块
160 图像合成模块
201 输入层
202 卷积层
203 池化层
204 卷积层
205 池化层
206 全连接层
207 输出层
1101 处理器
1102 存储器
S100～S300 步骤
S211～S212 步骤
S311～S312 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本实施例的目的在于提供一种显微图像质量分析方法、训练方法、系统、设备及介质，用于解决现有技术中难以对显微图像质量进行有效分析判断的问题。
本实施例使用卷积神经网络对各种质量问题进行迭代训练得到图像质量分析模型。对于实时扫描的显微图像，使用图像质量分析模型进行判断是否存在质量问题。
以下将详细阐述本实施例的显微图像质量分析方法、训练方法、系统、设备及介质的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的显微图像质量分析方法、训练方法、系统、设备及介质。
实施例1
如图1所示，本实施例提供一种显微图像质量分析方法，所述显微图像质量分析方法包括以下步骤：
步骤S100，根据拍摄方向依次拍摄病理显微图像中各区域的局部图像；
步骤S200，采用预先训练得到的一个或多个图像质量分析模型对每次输入的至少一个所述局部图像进行质量分析；
步骤S300，在满足预设质量异常输出条件时，输出显示异常质量分析结果，并控制停止拍摄病理显微图像中的局部图像。
以下对本实施例显微图像质量分析方法的步骤S100至步骤S300进行详细说明。
步骤S100，根据拍摄方向依次拍摄病理显微图像中各区域的局部图像。
使用数字显微镜对病理细胞玻片进行扫描后，都会得到一张病理超大图，即病理显微图像，也叫全视野数字切片(whole slide images，WSI)。这类图片通常有亿级别的像素数量。由于病理显微图像放大倍数很高，每次只能拍摄一小部分，逐行扫描拍摄。每拍摄一小部分图像即为局部图像。
病理显微图像为但不限于从人体肺部、甲状腺、乳腺等任何人体部位提取的用于病理显微诊断的细胞或组织的样本制作成病理细胞玻片后经数字显微镜扫描后形成。人体细胞或组织样本的获取方法，可以是通过穿刺手术获取，也可以是通过内窥镜获取，或有其他医学手段获取。样本一般制成显微玻片，并放置于在载物台上，在一些情况下，需要对样本玻片进行染色等处理，以便更清楚的分辨细胞。本实施例即对样本玻片的质量进行分析，确定样本玻片是否存在质量异常。其中，所述质量异常包含但不限于失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污等。
于本实施例中，所述依次拍摄病理显微图像中各区域的局部图像时，根据预设步长移动所述病理显微图像或移动图像拍摄设备。
例如，当对病理显微图像沿X方向完成一行的拍摄之后，控制移动图像拍摄设备沿Y方向移动一个步长并继续进行下一行的拍摄。
步骤S200，采用预先训练得到的一个或多个图像质量分析模型对每次输入的至少一个所述局部图像进行质量分析。
训练图像质量分析模型过程就是训练一个神经网络分类器。
具体地，于本实施例中，如图2所示，预先训练得到所述图像质量分析模型的一种实现方式包括：
步骤S211，获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无质量异常的若干局部图像、具有第一类异常质量标签的若干局部图像、第二类异常质量标签的若干局部图像……第N类异常质量标签的若干局部图像；
步骤S212，将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类，并输出分类结果为无质量异常、第一类质量异常、第二类质量异常……第N类质量异常中的一种的图像质量分析模型；其中，N为正整数，且N≥2。
此时得到的图像质量分析模型相当于一个多分类器，训练集中的若干局部图像是带有标注的patch(局部图像)，每个patch(局部图像)被标注为多种质量问题分类中的一种。多种分类包括无质量问题、质量问题1、质量问题2、质量问题3等等。训练后的图像质量分析模型可用于将没有标注的局部图像进行分类，输出结果是多个质量异常类(失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污)中的一种。
于本实施例中，如图3所示，预先训练得到所述图像质量分析模型的另一种实现方式包括：
步骤S311，获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无目标类型异常质量的若干局部图像、具有目标类型异常质量标签的若干局部图像；
步骤S312，将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类得到分类结果为是否具有目标类型异常质量图像质量分析模型；
所述目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
此时得到的图像质量分析模型相当于一个二类器，每一类图像质量分析模型用于评估一种特定的质量问题是否存在。例如：所述目标类型异常质量为气泡时，图像质量分析模型为气泡问题评估模型，用于评估是否有气泡，训练集是具有气泡标签的patch(局部图像)和没有气泡的patch(局部图像)；所述目标类型异常质量为失焦时，图像质量分析模型为失焦问题评估模型，用于评估是否失焦，训练集是具有失焦标签的patch(局部图像)和没有失焦的patch(局部图像)。有多少种质量问题就用多少个模型来分别判断。
具体的，于本实施中，使用卷积神经网络包括但不限于ResNet、DenseNet、CNN、VGG、Inception、WRN、SqueezeNet等，使用已经标注有质量异常分类信息的局部图像作为训练数据输入到卷积神经网络中进行训练。
其中，在一种实施例中，于对各局部图像的质量进行训练的卷积神经网络模型如图4所示，包括：输入层201，卷积层202，池化层203，卷积层204，池化层205，全连接层206，输出层207。输入层201执行图像输入，在这里图像可以看作是由一个个像素点构成的二维数组，每个像素点具有其各自的像素值。卷积层202、204配置为对输入的图像进行特征提取，在卷积神经网络中，可以有一个或多个卷积层。在一个实施例中，卷积层利用一个3×3的卷积核，对于8×8的输入图像，计算得到6×6的特征图。当计算卷积时，输出特征映射的大小比原图小。使用的卷积核越大，得到的特征图就越小。对于n×m大小的卷积核，输入图像的大小将丢失(n-1)×(m-1)。因此，上面的例子如果用5×5的卷积核，那特征图将只有4×4。多数情况下，需要特征图和原图等大，这时就要填充特征图，一般用0填充。假设原图大小为8×8，而核为5×5，那么需要先把原图填充到12×12，添加4个额外的行和列，每侧各2行/列。为了减少计算量提高计算速度，可以为卷积层生成一个池化层，配置为对特征图进行降采样，生成尺寸更小的特征图。全连接层206配置为将池化层205降采样得到的特征映射到样本标记空间。最后通过输出层207输出分类预测结果。
其中，于本实施例中，通过卷积神经网络模型得到的首先是一个预测某一类质量异常概率，然后可以通过一个阈值来得出是否某一类质量异常的预测结果的结论。
于本实施例中，在将获取的所述局部图像输入到卷积神经网络模型中进行迭代训练时，所述卷积神经网络模型根据损失函数计算得到的损失值下降并收敛时，形成的模型即为所述图像质量分析模型。
于本实施例中，所述损失函数的一种表达形式如下：
Figure BDA0002341669290000081
其中：loss(x,class)表示损失函数，x表示预测概率，class表示对应的标签类别，j表示所有局部图像的序号。
此外，于另一实施例中，所述损失函数可以通过一带权重的交叉熵(crossentropy)平衡各质量异常标签的数量。是由于不同质量异常对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。
此时，所述损失函数的一种表达形式如下：
Figure BDA0002341669290000091
其中：loss(x,class)表示损失函数，weight表示权重，x表示预测概率，class表示对应的标签类别，j表示所有局部图像的序号。
在通过训练获得图像质量分析模型之后，将每次拍摄的局部图像输入到图像质量分析模型中进行分析，获取对应的质量分析结果。
步骤S300，在满足预设质量异常输出条件时，输出显示异常质量分析结果，并控制停止拍摄病理显微图像中的局部图像。
预设质量异常输出条件为但不限于质量异常图像的个数达到数量阈值，例如质量有问题的局部图像数量达到50张。当出现预先设定的质量问题时，停止扫描拍摄并提示用户对样本(病理细胞玻片)进行处理。例如，如果连续多幅局部图像存在染色不足的问题，提示用户样本染色不足，需要用户对样本进行染色处理。
所以本实施例的显微图像质量分析方法使用卷积神经网络对病理显微图像(全视野数字切片)包括组织病理图像和细胞病理图像中存在的各种质量问题进行迭代训练，得到可以识别病理显微图像各种质量问题的图像质量分析模型，通过图像质量分析模型对病理显微图像进行质量识别，有效提高诊断所使用的病理显微图像的质量，提高诊断智能化和精确度。
实施例2
如图2所示，本实施例一种用于显微图像质量分析的图像质量分析模型训练生成方法，所述图像质量分析模型训练生成方法包括：
步骤S211，获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无质量异常的若干局部图像、具有第一类异常质量标签的若干局部图像、第二类异常质量标签的若干局部图像……第N类异常质量标签的若干局部图像；
步骤S212，将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类，并输出分类结果为无质量异常、第一类质量异常、第二类质量异常……第N类质量异常中的一种的图像质量分析模型；其中，N为正整数，且N≥2。
此时得到的图像质量分析模型相当于一个多分类器，训练集中的若干局部图像是带有标注的patch(局部图像)，每个patch(局部图像)被标注为多种质量问题分类中的一种。多种分类包括无质量问题、质量问题1、质量问题2、质量问题3等等。训练后的图像质量分析模型可用于将没有标注的局部图像进行分类，输出结果是多个质量异常类(失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污)中的一种。
具体的，于本实施中，使用卷积神经网络包括但不限于ResNet、DenseNet、CNN、VGG、Inception、WRN、SqueezeNet等，使用已经标注有质量异常分类信息的局部图像作为训练数据输入到卷积神经网络中进行训练。
其中，在一种实施例中，于对各局部图像的质量进行训练的卷积神经网络模型如图4所示，包括：输入层201，卷积层202，池化层203，卷积层204，池化层205，全连接层206，输出层207。输入层201执行图像输入，在这里图像可以看作是由一个个像素点构成的二维数组，每个像素点具有其各自的像素值。卷积层202、204配置为对输入的图像进行特征提取，在卷积神经网络中，可以有一个或多个卷积层。在一个实施例中，卷积层利用一个3×3的卷积核，对于8×8的输入图像，计算得到6×6的特征图。当计算卷积时，输出特征映射的大小比原图小。使用的卷积核越大，得到的特征图就越小。对于n×m大小的卷积核，输入图像的大小将丢失(n-1)×(m-1)。因此，上面的例子如果用5×5的卷积核，那特征图将只有4×4。多数情况下，需要特征图和原图等大，这时就要填充特征图，一般用0填充。假设原图大小为8×8，而核为5×5，那么需要先把原图填充到12×12，添加4个额外的行和列，每侧各2行/列。为了减少计算量提高计算速度，可以为卷积层生成一个池化层，配置为对特征图进行降采样，生成尺寸更小的特征图。全连接层206配置为将池化层205降采样得到的特征映射到样本标记空间。最后通过输出层207输出分类预测结果。
其中，于本实施例中，通过卷积神经网络模型得到的首先是一个预测某一类质量异常概率，然后可以通过一个阈值来得出是否某一类质量异常的预测结果的结论。
于本实施例中，在将获取的所述局部图像输入到卷积神经网络模型中进行迭代训练时，所述卷积神经网络模型根据损失函数计算得到的损失值下降并收敛时，形成的模型即为所述图像质量分析模型。
于本实施例中，所述损失函数的一种表达形式如下：
Figure BDA0002341669290000101
其中：loss(x,class)表示损失函数，x表示预测概率，class表示对应的标签类别，j表示所有局部图像的序号。
此外，于另一实施例中，所述损失函数可以通过一带权重的交叉熵(crossentropy)平衡各质量异常标签的数量。是由于不同质量异常对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。
此时，所述损失函数的一种表达形式如下：
Figure BDA0002341669290000111
其中：loss(x,class)表示损失函数，weight表示权重，x表示预测概率，class表示对应的标签类别，j表示所有局部图像的序号。
在通过训练获得图像质量分析模型之后，将每次拍摄的局部图像输入到图像质量分析模型中进行分析，获取对应的质量分析结果。
实施例3
如图3所示，本实施例提供一种用于显微图像质量分析的图像质量分析模型训练生成方法，所述图像质量分析模型训练生成方法包括：
步骤S311，获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无目标类型异常质量的若干局部图像、具有目标类型异常质量标签的若干局部图像；
步骤S312，将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类得到分类结果为是否具有目标类型异常质量图像质量分析模型；
所述目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
此时得到的图像质量分析模型相当于一个二类器，每一类图像质量分析模型用于评估一种特定的质量问题是否存在。例如：所述目标类型异常质量为气泡时，图像质量分析模型为气泡问题评估模型，用于评估是否有气泡，训练集是具有气泡标签的patch(局部图像)和没有气泡的patch(局部图像)；所述目标类型异常质量为失焦时，图像质量分析模型为失焦问题评估模型，用于评估是否失焦，训练集是具有失焦标签的patch(局部图像)和没有失焦的patch(局部图像)。有多少种质量问题就用多少个模型来分别判断。
具体的，于本实施中，使用卷积神经网络包括但不限于ResNet、DenseNet、CNN、VGG、Inception、WRN、SqueezeNet等，使用已经标注有质量异常分类信息的局部图像作为训练数据输入到卷积神经网络中进行训练。
其中，在一种实施例中，于对各局部图像的质量进行训练的卷积神经网络模型如图4所示，包括：输入层201，卷积层202，池化层203，卷积层204，池化层205，全连接层206，输出层207。输入层201执行图像输入，在这里图像可以看作是由一个个像素点构成的二维数组，每个像素点具有其各自的像素值。卷积层202、204配置为对输入的图像进行特征提取，在卷积神经网络中，可以有一个或多个卷积层。在一个实施例中，卷积层利用一个3×3的卷积核，对于8×8的输入图像，计算得到6×6的特征图。当计算卷积时，输出特征映射的大小比原图小。使用的卷积核越大，得到的特征图就越小。对于n×m大小的卷积核，输入图像的大小将丢失(n-1)×(m-1)。因此，上面的例子如果用5×5的卷积核，那特征图将只有4×4。多数情况下，需要特征图和原图等大，这时就要填充特征图，一般用0填充。假设原图大小为8×8，而核为5×5，那么需要先把原图填充到12×12，添加4个额外的行和列，每侧各2行/列。为了减少计算量提高计算速度，可以为卷积层生成一个池化层，配置为对特征图进行降采样，生成尺寸更小的特征图。全连接层206配置为将池化层205降采样得到的特征映射到样本标记空间。最后通过输出层207输出分类预测结果。
其中，于本实施例中，通过卷积神经网络模型得到的首先是一个预测某一类质量异常概率，然后可以通过一个阈值来得出是否某一类质量异常的预测结果的结论。
于本实施例中，在将获取的所述局部图像输入到卷积神经网络模型中进行迭代训练时，所述卷积神经网络模型根据损失函数计算得到的损失值下降并收敛时，形成的模型即为所述图像质量分析模型。
于本申请的一实施例中，所述损失函数的一种表达形式如下：
Figure BDA0002341669290000121
其中：loss(x,class)表示损失函数，x表示预测概率，class表示对应的标签类别，j表示所有局部图像的序号。
此外，于另一实施例中，所述损失函数可以通过一带权重的交叉熵(crossentropy)平衡各质量异常标签的数量。是由于不同质量异常对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。
此时，所述损失函数的一种表达形式如下：
Figure BDA0002341669290000122
其中：loss(x,class)表示损失函数，weight表示权重，x表示预测概率，class表示对应的标签类别，j表示所有局部图像的序号。
在通过训练获得图像质量分析模型之后，将每次拍摄的局部图像输入到图像质量分析模型中进行分析，获取对应的质量分析结果。
实施例4
如图5所示，本实施例提供一种显微图像质量分析系统100，所述显微图像质量分析系统100包括：图像放大模块110、显微图像拍摄模块120、图像质量分析模块130、输出模块140以及模型训练模块150。
于本实施例中，所述图像放大模块110对病理图像进行放大形成病理显微图像。
所述图像放大模块110为数字显微镜，即本实施例使用数字显微镜拍摄病理显微图像：使用显微镜对气管镜活检印片或细针穿刺涂片进行扫描，显微镜放大倍数：物镜可以放大10、20、100倍，目镜可放大10倍，物镜和目镜配合可放大100-1000倍。扫描拍摄过程：肺部细胞样本玻片的大小一般是几厘米，而显微镜一次拍摄的视野非常小，一个完整大图由上百甚至几千个显微图像块组成(与玻片被拍摄的范围大小以及放大倍数有关)，可达上亿个像素。
于本实施例中，所述显微图像拍摄模块120根据拍摄方向依次拍摄病理显微图像中各区域的局部图像，并在每次拍摄完所述局部图像后将所述局部图像发送至所述图像质量分析模块130。
具体地，于本实施例中，所述显微图像拍摄模块120包括：图像放置台，用于放置所述病理显微图像；图像拍摄设备，用于拍摄所述图像放置台上的病理显微图像；控制设备，控制所述图像拍摄设备拍摄所述局部图像，并控制所述图像放置台或所述图像拍摄设备移动，以使所述显微图像拍摄模块120依次拍摄病理显微图像中各区域的局部图像。
于本实施例中，所述图像拍摄设备为摄像头，用于拍摄样本获得局部图像，在一些实施例中，摄像头与显微镜的目镜相连接，用于拍摄显微放大后的局部图像；控制设备用于控制图像放置台与摄像头的相对位置移动，并控制摄像头依次拍摄样本多个位置的局部图像。在一个实施例中，图像放置台是在水平面上沿X、Y两个相互垂直的方向可移动的，图像放置台的移动由驱动装置驱动，举例而言，该驱动装置可以是步进电机。控制设备可以控制图像放置台以步进的方式移动，并控制摄像头在图像放置台每移动到一个位置时进行一次拍摄，图像放置台步进移动的步长小于等于摄像头可拍摄的局部图像的宽度；当对病理显微图像沿X方向完成一行的拍摄之后，控制图像放置台沿Y方向移动一个步长并继续进行下一行的拍摄。
在本案例中，玻片的大小例如：76*26mm(并不是整个玻片都被拍摄进去，玻片被拍摄的范围可调节)，由于样本一般被涂抹在玻片中间部分，玻片被拍摄范围的边缘经常是没有样本的，但实际操作中，该样本边缘的玻片部分仍然会被拍摄进来，以保证样本的拍摄范围是完整的；显微镜的承载玻片的图像放置台在控制设备的控制下移动，以步进的方式，图像拍摄设备对玻片逐行扫描拍摄，每行拍摄10次，总共拍摄10行，共拍摄100次可以完成该样本的全部拍摄。
在扫描过程中相机每一次拍摄都会产生一张局部图像，每产生一个局部图像后，即时将该局部图像传输给用于分析的计算机设备，一个局部图像的图片的大小：1936*1216个像素(在样本经过显微镜放大后，摄像头拍摄时，光学信号转成数字信号每个像素宽度为0.24微米)。图像拍摄设备接拍摄局部图像后，进行归一化、调整大小，送入所述图像质量分析模块130。
于本实施例中，所述图像质量分析模块130采用预先训练得到的一个或多个图像质量分析模型对每次输入的至少一个所述局部图像进行质量分析；所述输出控制模块在满足预设质量异常输出条件时，输出显示异常质量分析结果，并控制停止拍摄病理显微图像中的局部图像。
于本实施例中，所述模型训练模块150用于训练生成可对图像进行质量分析的图像质量分析模型。
具体地，所述模型训练模块150训练得到所述图像质量分析模型的一种实现方式为：
获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无质量异常的若干局部图像、具有第一类异常质量标签的若干局部图像、第二类异常质量标签的若干局部图像……第N类异常质量标签的若干局部图像，并将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类，并输出分类结果为无质量异常、第一类质量异常、第二类质量异常……第N类质量异常中的一种的图像质量分析模型。
此时得到的图像质量分析模型相当于一个多分类器，训练集中的若干局部图像是带有标注的patch(局部图像)，每个patch(局部图像)被标注为多种质量问题分类中的一种。多种分类包括无质量问题、质量问题1、质量问题2、质量问题3等等。训练后的图像质量分析模型可用于将没有标注的局部图像进行分类，输出结果是多个质量异常类(失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污)中的一种。
所述模型训练模块150训练得到所述图像质量分析模型的另一种实现方式为：获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无目标类型异常质量的若干局部图像、具有目标类型异常质量标签的若干局部图像；将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类得到分类结果为是否具有目标类型异常质量图像质量分析模型；所述目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
此时得到的图像质量分析模型相当于一个二类器，每一类图像质量分析模型用于评估一种特定的质量问题是否存在。例如：所述目标类型异常质量为气泡时，图像质量分析模型为气泡问题评估模型，用于评估是否有气泡，训练集是具有气泡标签的patch(局部图像)和没有气泡的patch(局部图像)；所述目标类型异常质量为失焦时，图像质量分析模型为失焦问题评估模型，用于评估是否失焦，训练集是具有失焦标签的patch(局部图像)和没有失焦的patch(局部图像)。有多少种质量问题就用多少个模型来分别判断。
如图6所示，于本实施例中，所述的显微图像质量分析系统100还包括：图像合成模块160，用于将所述显微图像拍摄模块120拍摄的各所述局部图像进行合成处理，形成一完整的病理显微图像。图像合成模块160将同一病理显微图像的各局部图像拼接得到整体显微图像。将整体显微图像处理成为可输出的信号传输给显示装置以显示给用户。
本实施例的显微图像质量分析系统100具体实现的技术特征与实施例1中的显微图像质量分析方法基本相同，实施例间可以通用的技术内容不作重复赘述。
实施例5
如图7所示，本实施例还提供一种电子设备，所述电子设备为但不限于医疗检测设备，图像处理设备等，如图7所示，所述电子设备处理器1101和存储器1102；存储器1102通过系统总线与处理器1101连接并完成相互间的通信，存储器1102用于存储计算机程序，处理器1101用于运行计算机程序，以使所述电子设备执行所述的显微图像质量分析方法。上述已经对所述显微图像质量分析方法进行了详细说明，在此不再赘述。
所述的显微图像质量分析方法可应用于多种类型的电子设备。所述电子设备例如是控制器，具体如ARM(Advanced RISC Machines)控制器、FPGA(Field Programmable GateArray)控制器、SoC(System on Chip)控制器、DSP(Digital Signal Processing)控制器、或者MCU(Micorcontroller Unit)控制器等等。所述电子设备例如也可以是包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述电子设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。
于实际的实现方式中，所述电子设备例如为安装Android操作系统或者iOS操作系统，或者Palm OS、Symbian(塞班)、或者Black Berry(黑莓)OS、Windows Phone等操作系统的电子设备。
在示例性实施例中，所述电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器、摄像头或其他电子元件实现，用于执行上述显微图像质量分析方法。
另需说明的是，上述提到的系统总线可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器1101可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
实施例6
本实施例提供一种计算机可读存储介质，所述存储介质例如为存储器，存储器被配置为存储各种类型的数据以支持在设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，消息，图片等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，高速随机存取存储器，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘等。所述存储器存储有程序指令，所述程序指令被执行时实现如上所述的显微图像质量分析方法。上述已经对所述的显微图像质量分析方法进行了详细说明，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明使用卷积神经网络对病理显微图像(全视野数字切片)包括组织病理图像和细胞病理图像中存在的各种质量问题进行迭代训练，得到可以识别病理显微图像各种质量问题的图像质量分析模型，通过图像质量分析模型对病理显微图像进行质量识别，有效提高诊断所使用的病理显微图像的质量，提高诊断智能化和精确度。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种显微图像质量分析方法，其特征在于：所述显微图像质量分析方法包括：
根据拍摄方向依次拍摄病理显微图像中各区域的局部图像；
采用预先训练得到的一个或多个图像质量分析模型对每次输入的至少一个所述局部图像进行质量分析；
在满足预设质量异常输出条件时，输出显示异常质量分析结果，并控制停止拍摄病理显微图像中的局部图像。
2.根据权利要求1所述的显微图像质量分析方法，其特征在于：预先训练得到所述图像质量分析模型的一种实现方式包括：
获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无质量异常的若干局部图像、具有第一类异常质量标签的若干局部图像、第二类异常质量标签的若干局部图像……第N类异常质量标签的若干局部图像；
将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类，并输出分类结果为无质量异常、第一类质量异常、第二类质量异常……第N类质量异常中的一种的图像质量分析模型；
其中，N为正整数，且N≥2。
3.根据权利要求1所述的显微图像质量分析方法，其特征在于：预先训练得到所述图像质量分析模型的一种实现方式包括：
获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无目标类型异常质量的若干局部图像、具有目标类型异常质量标签的若干局部图像；
将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类得到分类结果为是否具有目标类型异常质量图像质量分析模型；
所述目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
4.根据权利要求2或3所述的显微图像质量分析方法，其特征在于：在将获取的所述图像分类训练集输入到卷积神经网络模型中进行迭代训练时，所述卷积神经网络模型根据损失函数计算得到的损失值下降并收敛时，形成的模型即为所述图像质量分析模型；
所述损失函数的一种表达形式如下：
Figure FDA0002341669280000021
或者所述损失函数的一种表达形式如下：
Figure FDA0002341669280000022
其中：loss(x,class)表示损失函数，weight表示权重，x表示预测概率，class表示对应的标签类别，j表示所有局部图像的序号。
5.一种用于显微图像质量分析的图像质量分析模型训练生成方法，其特征在于：所述图像质量分析模型训练生成方法包括：
获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无质量异常的若干局部图像、具有第一类异常质量标签的若干局部图像、第二类异常质量标签的若干局部图像……第N类异常质量标签的若干局部图像；
将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类，并输出分类结果为无质量异常、第一类质量异常、第二类质量异常……第N类质量异常中的一种的图像质量分析模型；
其中，N为正整数，且N≥2。
6.一种用于显微图像质量分析的图像质量分析模型训练生成方法，其特征在于：所述图像质量分析模型训练生成方法包括：
获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无目标类型异常质量的若干局部图像、具有目标类型异常质量标签的若干局部图像；
将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类得到分类结果为是否具有目标类型异常质量图像质量分析模型；
所述目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
7.一种显微图像质量分析系统，其特征在于：所述显微图像质量分析系统包括：模型训练模块、图像放大模块、显微图像拍摄模块、图像质量分析模块以及输出模块；
所述模型训练模块用于训练生成可对图像进行质量分析的图像质量分析模型；
所述图像放大模块对病理图像进行放大形成病理显微图像；
所述显微图像拍摄模块根据拍摄方向依次拍摄病理显微图像中各区域的局部图像，并在每次拍摄完所述局部图像后将所述局部图像发送至所述图像质量分析模块；
所述图像质量分析模块采用预先训练得到的一个或多个图像质量分析模型对每次输入的至少一个所述局部图像进行质量分析；
所述输出控制模块在满足预设质量异常输出条件时，输出显示异常质量分析结果，并控制停止拍摄病理显微图像中的局部图像。
8.根据权利要求7所述的显微图像质量分析系统，其特征在于：
所述模型训练模块训练得到所述图像质量分析模型的一种实现方式为：
获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无质量异常的若干局部图像、具有第一类异常质量标签的若干局部图像、第二类异常质量标签的若干局部图像……第N类异常质量标签的若干局部图像，并将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类，并输出分类结果为无质量异常、第一类质量异常、第二类质量异常……第N类质量异常中的一种的图像质量分析模型；
所述模型训练模块训练得到所述图像质量分析模型的另一种实现方式为：
获取具有分类标签的图像分类训练集；其中，所述图像分类训练集包括无目标类型异常质量的若干局部图像、具有目标类型异常质量标签的若干局部图像；
将所述图像分类训练集训练输入到卷积神经网络模型中进行迭代训练，得到可对输入的所述局部图像进行分类得到分类结果为是否具有目标类型异常质量图像质量分析模型；
所述目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至权利要求4任一权利要求所述的方法或实现如权利要求5或权利要求6所述的方法。
10.一种电子设备，其特征在于：包括处理器和存储器，所述存储器存储有程序指令；所述处理器运行程序指令实现如权利要求1至权利要求4任一权利要求所述的方法或实现如权利要求5或权利要求6所述的方法。
CN201911378594.9A 2019-12-27 2019-12-27 显微图像质量分析方法、训练方法、系统、设备及介质 Pending CN111160238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911378594.9A CN111160238A (zh) 2019-12-27 2019-12-27 显微图像质量分析方法、训练方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911378594.9A CN111160238A (zh) 2019-12-27 2019-12-27 显微图像质量分析方法、训练方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN111160238A true CN111160238A (zh) 2020-05-15

Family

ID=70558618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911378594.9A Pending CN111160238A (zh) 2019-12-27 2019-12-27 显微图像质量分析方法、训练方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN111160238A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797923A (zh) * 2020-07-03 2020-10-20 北京阅视智能技术有限责任公司 图像分类模型的训练方法、图像分类的方法及装置
CN112102247A (zh) * 2020-08-18 2020-12-18 广州金域医学检验中心有限公司 基于机器学习的病理切片质量评价方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012071448A1 (en) * 2010-11-24 2012-05-31 Omnyx LLC Digital microscopy with focus grading in zones distinguished for comparable image structures
CN108038472A (zh) * 2017-12-27 2018-05-15 杭州智微信息科技有限公司 一种骨髓检查领域软件快速查找异常细胞的交互方法
CN108281183A (zh) * 2018-01-30 2018-07-13 重庆大学 基于卷积神经网络和迁移学习的宫颈涂片图像诊断系统
US20180260610A1 (en) * 2015-09-22 2018-09-13 Imageprovision Technology Pvt. Ltd. Method and system for detection and classification of particles based on processing of microphotographic images
CN109599166A (zh) * 2018-11-28 2019-04-09 武汉大学人民医院（湖北省人民医院） 基于深度学习的睑板腺红外图像辅助识别系统及方法
CN110232719A (zh) * 2019-06-21 2019-09-13 腾讯科技（深圳）有限公司 一种医学图像的分类方法、模型训练方法和服务器
CN110476101A (zh) * 2017-06-13 2019-11-19 谷歌有限责任公司 用于病理学的增强现实显微镜
US10603001B2 (en) * 2015-07-01 2020-03-31 General Electric Company Energy modulated luminescence tomography

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012071448A1 (en) * 2010-11-24 2012-05-31 Omnyx LLC Digital microscopy with focus grading in zones distinguished for comparable image structures
US10603001B2 (en) * 2015-07-01 2020-03-31 General Electric Company Energy modulated luminescence tomography
US20180260610A1 (en) * 2015-09-22 2018-09-13 Imageprovision Technology Pvt. Ltd. Method and system for detection and classification of particles based on processing of microphotographic images
CN110476101A (zh) * 2017-06-13 2019-11-19 谷歌有限责任公司 用于病理学的增强现实显微镜
CN108038472A (zh) * 2017-12-27 2018-05-15 杭州智微信息科技有限公司 一种骨髓检查领域软件快速查找异常细胞的交互方法
CN108281183A (zh) * 2018-01-30 2018-07-13 重庆大学 基于卷积神经网络和迁移学习的宫颈涂片图像诊断系统
CN109599166A (zh) * 2018-11-28 2019-04-09 武汉大学人民医院（湖北省人民医院） 基于深度学习的睑板腺红外图像辅助识别系统及方法
CN110232719A (zh) * 2019-06-21 2019-09-13 腾讯科技（深圳）有限公司 一种医学图像的分类方法、模型训练方法和服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
枯叶蝶KYD: "torch CrossEntropyCriterion", 《HTTPS://BLOG.CSDN.NET/U013548568/ARTICLE/DETAILS/79676091》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797923A (zh) * 2020-07-03 2020-10-20 北京阅视智能技术有限责任公司 图像分类模型的训练方法、图像分类的方法及装置
CN112102247A (zh) * 2020-08-18 2020-12-18 广州金域医学检验中心有限公司 基于机器学习的病理切片质量评价方法及相关设备
CN112102247B (zh) * 2020-08-18 2024-05-14 广州金域医学检验中心有限公司 基于机器学习的病理切片质量评价方法及相关设备

Similar Documents

Publication Publication Date Title
US11927738B2 (en) Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
CN110232719B (zh) 一种医学图像的分类方法、模型训练方法和服务器
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
US9684960B2 (en) Automated histological diagnosis of bacterial infection using image analysis
US10210415B2 (en) Method and system for recognizing information on a card
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111310841B (zh) 医学图像分类方法、装置、设备、计算机设备和存储介质
CN111369523B (zh) 显微图像中细胞堆叠的检测方法、系统、设备及介质
JP2024509411A (ja) 欠陥検出方法、装置及びシステム
CN111192678B (zh) 病理显微图像诊断、模型训练方法、装置、设备及介质
US20200311931A1 (en) Method for analyzing image of biopsy specimen to determine cancerous probability thereof
CN112801967B (zh) 一种精子形态分析方法和装置
CN112464802B (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
CN111583226B (zh) 细胞病理感染评估方法、电子装置及存储介质
CN111160238A (zh) 显微图像质量分析方法、训练方法、系统、设备及介质
US20220164952A1 (en) Capture and Storage of Magnified Images
CN111103433A (zh) 信息处理装置及方法、测定系统及非临时性存储介质
CN113763315A (zh) 玻片图像的信息获取方法、装置、设备及介质
CN111951261A (zh) 离体生物样本检查过程的控制方法、计算机设备和控制系统
CN111369553A (zh) 一种样本玻片扫描和图像处理方法及数字显微镜系统
CN111429440A (zh) 显微病理图像细胞充足检测方法、系统、设备、装置及介质
US20240062563A1 (en) System and method for determining characteristic cells based on image recognition
Jabloncik et al. Detection of Static Objects in an Image Based on Texture Analysis
KR20240032031A (ko) 블러 강건성을 제공하도록 전자 이미지를 처리하는 시스템 및 방법
CN115170538A (zh) 离体样本的显微镜扫描方法、计算机设备和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515

RJ01 Rejection of invention patent application after publication