CN111008953B - 一种数字病理图像质控的方法及装置 - Google Patents

一种数字病理图像质控的方法及装置 Download PDF

Info

Publication number
CN111008953B
CN111008953B CN201911034430.4A CN201911034430A CN111008953B CN 111008953 B CN111008953 B CN 111008953B CN 201911034430 A CN201911034430 A CN 201911034430A CN 111008953 B CN111008953 B CN 111008953B
Authority
CN
China
Prior art keywords
image
processed
quality control
pixel point
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911034430.4A
Other languages
English (en)
Other versions
CN111008953A (zh
Inventor
王佳平
南洋
李风仪
侯晓帅
谢春梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201911034430.4A priority Critical patent/CN111008953B/zh
Publication of CN111008953A publication Critical patent/CN111008953A/zh
Priority to PCT/CN2020/093579 priority patent/WO2021082433A1/zh
Application granted granted Critical
Publication of CN111008953B publication Critical patent/CN111008953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例适用于图像检测中的图像分类，公开了一种数字病理图像质控的方法，包括：根据数字病理图像的图像格式得到该数字病理图像的指定层的待处理图像；将待处理图像输入U‑Net分割模型，得到待处理图像中与每个像素点分别对应的第一异常概率矩阵，第一异常概率矩阵包括多个相关值；根据待处理图像中每个像素点与各个质控标签的相关值，确定待处理图像中每个像素点的第一质控标签；根据待处理图像中每个像素点的第一质控标签，统计待处理图像中N种异常标签对应的像素点数量，对数字病理图像进行分类。本申请还相应的提出了一种数字病理图像质控的装置。采用本申请，可以实现对数字病理图像质控标准的量化统一，提高质控效率。

Description

一种数字病理图像质控的方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种数字病理图像质控的方法及装置。
背景技术
病理质控是病理科由传统的经验管理模式向科学管理模式转变，是确保优质服务、优质医疗、高效低耗的关键环节。通过病理切片进行病理质控也已经成为一种重要的方式，其中，病理切片是病理流程的最终产品，它检验了流程的规范标准化和技术员的制片技能，技术员可以通过病理切片了解病变的发生发展过程，从而对病变做出诊断乃至治疗。可以说，高质量的病理切片是进行正确的病理诊断时至关重要的基础和保证，提高病理切片的质量可以有助于提高诊断效率，确保诊断质量。
目前已有一些质控平台可以满足日常质控中心对下级医院的远程监控，比如可以监控每百张病床病理医师数和每百张病床病理技术人员数等指标，但无法得到下级医院的病理全切片对应的数字病理图像的分析，这些病理切片需要定期派遣专家到下级医院进行抽查。而由于下级医院众多，加上专家人数有限，而且得到病理切片及其对于通过病理切片生成的数字病理图像进行分析非常耗费时间和精力，再加上不同专家对于劣片的判别标准不尽相同，使得病理质控管理缺少统一的标准，增加病理质控管理的难度。
发明内容
基于此，本申请提供了一种数字病理图像质控的方法及装置，以期提高对数字病理图像的质量管理，实现对数字病理图像质控标准的量化及统一。
本申请实施例第一方面提供了一种数字病理图像质控的方法，其特征在于，包括：
根据数字病理图像的图像格式得到所述数字病理图像的指定层的待处理图像；
将所述待处理图像输入U-Net分割模型，得到所述待处理图像中与每个像素点分别对应的第一异常概率矩阵，所述第一异常概率矩阵包括多个相关值，所述多个相关值表征该第一异常概率矩阵对应的像素点分别与各个质控标签的相关度，所述各个质控标签包括非异常标签及N种异常标签，所述U-Net分割模型是基于图像样本训练得到的，所述图像样本中至少包括多个数字病理图像样本及所述数字病理图像样本中每个像素点的质控标签特征，N为正整数；
根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签；
根据所述待处理图像中每个像素点的第一质控标签，统计所述待处理图像中所述N种异常标签对应的像素点数量；
根据所述待处理图像中所述N种异常标签对应的像素点数量对所述数字病理图像进行分类。
其中，所述根据所述待处理图像中每个像素点的第一质控标签，统计所述待处理图像中所述N种异常标签对应的像素点数量，包括：
将所述待处理图像中第一质控标签为所述非异常标签的像素点的灰度值设置为预设背景值，得到第一图像；
将所述第一图像输入异常分类器，得到所述第一图像中与每个像素点分别对应的第二异常概率矩阵，所述第二异常概率矩阵包括多个相关值，所述多个相关值表征该第二异常概率矩阵在所述第一图像中对应的像素点分别与所述各个质控标签的相关度，所述异常分类器是基于第一图像样本及所述数字病理图像样本中每个像素点的质控标签特征训练得到的，所述第一图像样本是所述数字病理图像样本基于各个像素点分别与所述各个质控标签的相关值，将相关值最大为所述非异常标签的像素点的灰度值设置为所述预设背景值后得到的；
根据所述第一图像中每个像素点的第二异常概率矩阵，确定所述第一图像中每个像素点的第二质控标签，所述第二质控标签为所述第一图像中每个像素点的第二异常概率矩阵中相关值最大的质控标签；
根据所述第一图像中每个像素点的第二质控标签，确定所述待处理图像中所述N种异常标签对应的像素点数量。
其中，所述得到所述数字病理图像的指定层的待处理图像之后，还包括：
获取所述待处理图像的图像尺寸，若所述待处理图像的图像尺寸大于预设滑窗尺寸，则通过预设滑窗尺寸将所述待处理图像滑窗分割为多个第二图像，所述第二图像的图像尺寸不大于所述预设滑窗尺寸，所述预设滑窗尺寸为所述U-Net分割模型训练的所述数字病理图像样本的尺寸；
所述将所述待处理图像输入U-Net分割模型，得到所述待处理图像中每个像素点的第一异常概率矩阵，包括：
将所述多个第二图像中任一第二图像输入所述U-Net分割模型，得到所述任一第二图像中每个像素点的第一异常概率矩阵。
其中，所述通过滑窗法将所述待处理图像分割为多个第二图像之后，还包括：
记录所述多个第二图像中每个第二图像的位置信息，所述位置信息为对应第二图像在所述待处理图像中的相对位置；
所述根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签，包括：
根据所述任一第二图像中每个像素点的第一异常概率矩阵，确定所述任一第二图像中每个像素点的第一质控标签；
基于所述多个第二图像中每个第二图像的位置信息及所述任一第二图像中每个像素点的第一质控标签，确定所述待处理图像中每个像素点的第一质控标签。
其中，所述根据所述待处理图像中所述N种异常标签对应的像素点数量对所述数字病理图像进行分类，包括：
根据所述待处理图像中所述N种异常标签中每种异常标签对应的像素点的数量，基于所述异常标签的转移权重，将所述每种异常标签对应的像素点的数量进行加权求和，确定所述数字病理图像的数据转移量，根据所述数据转移量对所述数字病理图像进行分类。
其中，所述根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签，包括：
将所述待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定为所述待处理图像中每个像素点的第一质控标签。
其中，所述将所述待处理图像输入U-Net分割模型，得到所述待处理图像中每个像素点的第一异常概率矩阵，包括：
将所述待处理图像输入所述U-Net分割模型，得到所述待处理图像中每个像素点的第一异常概率矩阵，基于所述待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定异常显示图像；
所述确定异常显示图像，包括：
若与所述待处理图像中像素点的相关值最大的质控标签为所述非异常标签，则将所述异常显示图像中与所述待处理图像中像素点位置相同的像素点的灰度值设置为预设背景值；
若与所述待处理图像中像素点的相关值最大的质控标签为所述N种异常标签中的任一异常标签，则将所述异常显示图像中与所述待处理图像中像素点位置相同的像素点的灰度值设置为预设异常值；
根据设置的异常显示图像中的各个像素点确定所述异常显示图像；
所述方法之后，还包括：
输出所述数字病理图像的分类结果及所述异常显示图像。
本申请实施例第二方面提供了一种数字病理图像质控的装置，包括：
获取模块，用于根据数字病理图像的图像格式得到所述数字病理图像的指定层的待处理图像；
学习模块，用于将所述待处理图像输入U-Net分割模型，得到所述待处理图像中与每个像素点分别对应的第一异常概率矩阵，所述第一异常概率矩阵包括多个相关值，所述多个相关值表征该第一异常概率矩阵对应的像素点分别与各个质控标签的相关度，所述各个质控标签包括非异常标签及N种异常标签，所述U-Net分割模型是基于图像样本训练得到的，所述图像样本中至少包括多个数字病理图像样本及所述数字病理图像样本中每个像素点的质控标签特征，N为正整数；
确定模块，用于根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签；
统计模块，用于根据所述待处理图像中每个像素点的第一质控标签，统计所述待处理图像中所述N种异常标签对应的像素点数量；
分类模块，用于根据所述待处理图像中所述N种异常标签对应的像素点数量对所述数字病理图像进行分类。
其中，所述统计模块包括：
设置单元，用于将所述待处理图像中第一质控标签为所述非异常标签的像素点的灰度值设置为预设背景值，得到第一图像；
学习单元，用于将所述第一图像输入异常分类器，得到所述第一图像中与每个像素点分别对应的第二异常概率矩阵，所述第二异常概率矩阵包括多个相关值，所述多个相关值表征该第二异常概率矩阵在所述第一图像中对应的像素点分别与所述各个质控标签的相关度，所述异常分类器是基于第一图像样本及所述数字病理图像样本中每个像素点的质控标签特征训练得到的，所述第一图像样本是所述数字病理图像样本基于各个像素点分别与所述各个质控标签的相关值，将相关值最大为所述非异常标签的像素点的灰度值设置为所述预设背景值后得到的；
确定单元，用于根据所述第一图像中每个像素点的第二异常概率矩阵，确定所述第一图像中每个像素点的第二质控标签，所述第二质控标签为所述第一图像中每个像素点的第二异常概率矩阵中相关值最大的质控标签；
所述确定单元，还用于根据所述第一图像中每个像素点的第二质控标签，确定所述待处理图像中所述N种异常标签对应的像素点数量。
其中，所述装置还包括：
所述获取模块，还用于获取所述待处理图像的图像尺寸；
滑窗模块，用于若所述待处理图像的图像尺寸大于预设滑窗尺寸，则通过预设滑窗尺寸将所述待处理图像滑窗分割为多个第二图像，所述第二图像的图像尺寸不大于所述预设滑窗尺寸，所述预设滑窗尺寸为所述U-Net分割模型训练的所述数字病理图像样本的尺寸；
所述学习模块，具体用于：
将所述多个第二图像中任一第二图像输入所述U-Net分割模型，得到所述任一第二图像中每个像素点的第一异常概率矩阵。
其中，所述装置还包括：
记录模块，用于记录所述多个第二图像中每个第二图像的位置信息，所述位置信息为对应第二图像在所述待处理图像中的相对位置；
所述确定模块，具体用于：
根据所述任一第二图像中每个像素点的第一异常概率矩阵，确定所述任一第二图像中每个像素点的第一质控标签；
基于所述多个第二图像中每个第二图像的位置信息及所述任一第二图像中每个像素点的第一质控标签，确定所述待处理图像中每个像素点的第一质控标签。
其中，所述分类模块具体用于：
根据所述待处理图像中所述N种异常标签中每种异常标签对应的像素点的数量，基于所述异常标签的转移权重，将所述每种异常标签对应的像素点的数量进行加权求和，确定所述数字病理图像的数据转移量，根据所述数据转移量对所述数字病理图像进行分类。
其中，所述确定模块具体用于：
将所述待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定为所述待处理图像中每个像素点的第一质控标签。
所述学习模块，具体用于：
将所述待处理图像输入所述U-Net分割模型，得到所述待处理图像中每个像素点的第一异常概率矩阵，基于所述待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定异常显示图像；
在所述确定异常显示图像方面，所述学习模块具体用于：
若与所述待处理图像中像素点的相关值最大的质控标签为所述非异常标签，则将所述异常显示图像中与所述待处理图像中像素点位置相同的像素点的灰度值设置为预设背景值；
若与所述待处理图像中像素点的相关值最大的质控标签为所述N种异常标签中的任一异常标签，则将所述异常显示图像中与所述待处理图像中像素点位置相同的像素点的灰度值设置为预设异常值；
根据设置的异常显示图像中的各个像素点确定所述异常显示图像；
所述装置还包括：
输出模块，用于输出所述数字病理图像的分类结果及所述异常显示图像。
本申请实施例第三方面提供了一种电子设备，其特征在于，包括处理器、存储器、输入输出接口；
所述处理器分别与所述存储器和所述输入输出接口相连，其中，所述输入输出接口用于与用户进行数据交互，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如本申请实施例中第一方面所述的数字病理图像质控方法。
实施本申请实施例，将具有如下有益效果：
本申请实施例在根据数字病理图像的图像格式获取该数字病理图像中指定层的待处理图像，将该待处理图像输入U-Net分割模型中，得到待处理图像中每个像素点的第一异常概率矩阵，根据该第一异常概率矩阵中各个质控标签的相关值，确定待处理图像中每个像素点的质控标签，根据待处理图像中每个像素点的质控标签，统计待处理图像中N中异常标签对应的像素点数量，以对数字病理图像进行分类。以实现对数字病理图像质控标准的量化，并通过病理图像管理平台进行统一存储，使得数字病理图像的管理更加统一高效，并得到数字病理图像统一的质控标准，从而提高对数字病理图像的管理及质控效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1是本申请实施例提供的一种数字病理图像质控的方法流程示意图；
图2是本申请实施例提供的一种U-Net分割模型输出示意图；
图3是本申请实施例提供的一种异常分类器输出示意图；
图4是本申请实施例提供的一种数字病理图像质控的装置；
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，是本申请实施例提供的一种数字病理图像质控的方法流程示意图。如图1所示，上述方法包括如下步骤：
步骤S101，根据数字病理图像的图像格式得到数字病理图像的指定层的待处理图像。
具体的，当病理图像管理平台接收到用户上传的数字病理图像后，获取该数字病理图像的图像格式，根据该图像格式确定该提取的指定层的图像层次，得到该数字病理图像的指定层的待处理图像。其中，该病理图像管理平台可以是通过管理员及普通用户等登陆用户账号确定使用用户的权限，例如，管理员可以是医院总部，普通用户可以是该医院总部的下属医院，当下属医院使用扫描仪扫描病理切片得到该病理切片的数字病理图像，将该数字病理图像上传至病理图像管理平台，当该病理图像管理平台接收到该数字病理图像后，获取该数字病理图像的图像格式，根据图像格式得到数字病理图像的指定层的待处理图像。
其中，该数字病理图像存在不同的图像格式，如.svs、.kfb、.ndpi及.GIF等。对于不同的图像格式，所需要提取的图像层次不同，当获取到该数字病理图像的图像格式后，根据该图像格式对应的预设图像层次，提取该数字病理图像中指定层的待处理图像。具体的，通过扫描仪扫描病理切片得到的数字病理图像的图像格式不同，组成该数字病理图像的图层也就不同。其中，数字病理图像由M个图层组成，从第0层开始分辨率逐渐降低，即第0层的分辨率最大，M为正整数，不同图像格式的数字病理图像的M不同。例如，若获取到的是.ndpi格式的数字病理图像，该.ndpi格式的数字病理图像由十个图层组成，从第0层到第9层图层的分辨率降低，此时M为10。假定该.ndpi格式的数字病理图像对应的预设图像层次为4，则提取该数字病理图像第4层的待处理图像，其中，此处的指定层为第4层。其中，可以通过图像处理方法提取数字病理图像指定层的待处理图像，该图像处理方法可以是openslide，或者直接通过分辨率对该数字病理图像进行采样。
步骤S102，将待处理图像输入U-Net分割模型，得到待处理图像中每个像素点的第一异常概率矩阵。
具体的，将待处理图像输入U-Net分割模型，得到待处理图像中与每个像素点分别对应的第一异常概率矩阵，该第一异常概率矩阵包括多个相关值，所述多个相关值表征该第一异常概率矩阵对应的像素点分别与各个质控标签的相关度，该各个质控标签包括非异常标签及N种异常标签，其中，U-Net分割模型是基于图像样本训练得到的，图像样本中至少包括多个数字病理图像样本及每个数字病理图像样本中每个像素点的质控标签特征，N为正整数。举例来说，若该待处理图像中包括20*20个像素点，则将该待处理图像输入U-Net分割模型后，得到400个第一异常概率矩阵，第一个像素点对应的第一异常概率矩阵中包含(N+1)个相关值，(N+1)个相关值为第一个像素点分别与各个质控标签的相关度，其中，待处理图像中每个像素点对应一个第一异常概率矩阵，即在本例中得到20*20个第一异常概率矩阵。
具体的，将待处理图像输入U-Net分割模型，得到待处理图像中每个像素点的第一异常概率矩阵，基于待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定异常显示图像，具体的，若与待处理图像中像素点的相关值最大的质控标签为非异常标签，则将该异常显示图像中与待处理图像中像素点位置相同的像素点的灰度值设置为预设背景值，若与待处理图像中像素点的相关值最大的质控标签为N种异常标签中的任一异常标签，则将该异常显示图像中与待处理图像中像素点位置相同的像素点的灰度值设置为预设异常值，根据设置的异常显示图像中的各个像素点确定异常显示图像。具体来说，是将该待处理图像进行二值化处理，该预设背景值可以为0，预设异常值可以为255，或者预设背景值为255，预设异常值为0。其中，预设背景值及预设异常值的灰度值也可以是分别取0、1或1、0，具体根据U-Net分割模型输出图像的灰度值设置进行预设。
其中，U-Net分割模型为一种全卷积神经网络，是一个端到端的网络，即输入输出均为图像。将待处理图像输入U-Net分割模型，在收缩路径中通过卷积层后采用激活函数对待处理图像进行下采样，提取该待处理图像的特征图，再在扩展路径中进行上采样，并在每次上采样时添加收缩路径中得到的对应特征图，最终实现对待处理图像中每个像素点的第一异常概率矩阵的提取。其中，该U-Net分割模型是u型结构，可以认为上采样时添加的收缩路径中对应特征图为该u型结构中同一层次下采样时得到的。
具体的，假定将图像尺寸为512*512的待处理图像输入到U-Net分割模型，与U-Net分割模型中的各个权重矩阵进行学习，得到该待处理图像中每个像素点对应的第一异常概率矩阵，该第一异常概率矩阵为(N+1)维向量，即包括(N+1)个相关值，可以认为包括512*512个(N+1)维向量，获取每一个(N+1)维向量中相关值最大的质控标签，将相关值最大的质控标签确定为该(N+1)维向量对应的像素点的质控标签，根据该质控标签是非异常标签或N种异常标签中任一种异常标签，对该像素点的灰度值进行二值化，从而实现对待处理图像的二值化处理，得到异常显示图像。举例来说，假定该N种异常标签包括褶皱、折叠、刀痕及气泡，此时N为4，0表示非异常标签，1表示褶皱这一异常标签、2表示折叠这一异常标签、3表示刀痕这一异常标签及4表示气泡这一异常标签，当将待处理图像输入U-Net分割模型后，得到每个像素点的第一异常概率矩阵，该第一异常概率矩阵包括对应像素点分别与各个质控标签的相关值。如对于(0，0)处像素点的第一概率矩阵为[0.8，0.1，0，0.05，0.05]，根据该第一概率矩阵可知(0，0)处的像素点与质控标签0的相关值最大，质控标签0为非异常标签，则将异常显示图像中(0，0)处的像素点的灰度值设置为255，此处是以将非异常标签对应像素点设置为白色，将异常标签对应像素点设置为黑色，其中，黑色灰度值为0，白色灰度值为255，直至确定异常显示图像中每个像素点的灰度值，得到异常显示图像。具体可以参见图2中异常显示图像201，图2是本申请实施例提供的一种U-Net分割模型输出示意图。通过对待处理图像中每个像素点的第一异常概率矩阵进行对比，得到每个像素点的第一异常概率矩阵中相关值最大的质控标签对应第一质控标签图202，对待处理图像进行二值化处理，确定异常显示图像201中每个像素点的灰度值，以得到异常显示图像201。
具体的，在对U-Net分割模型进行训练时，获取多个数字病理图像样本及每个数字病理图像样本中每个像素点的质控标签特征，具体是获取多个数字病理图像样本及多个异常标签图像样本，每个异常标签图像样本为对应数字病理图像样本添加质控标签特征后得到的，即包括对应数字病理图像样本中每个像素点的质控标签特征。将数字病理图像样本输入初始U-Net网络中进行训练，不断更新该初始U-Net网络中的权重矩阵及卷积参数，直至该U-Net网络输出的图像中每个像素点的异常概率矩阵中相关值最大的质控标签，为异常标签图像样本中对应像素点的质控标签特征，从而得到训练后的U-Net分割模型。
步骤S103，根据待处理图像中每个像素点与各个质控标签的相关值，确定待处理图像中每个像素点的第一质控标签。
具体的，将待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定为该待处理图像中每个像素点的第一质控标签。其中，该相关值最大的质控标签是在步骤S102中确定每个像素点为非异常标签或N种异常标签中任一异常标签时确定，在步骤S102中得到异常显示图像中每个像素点的灰度值的同时，确定该像素点的第一质控标签。具体参见图2中第一质控标签图202所示。
步骤S104，根据待处理图像中每个像素点的第一质控标签，统计待处理图像中N种异常标签对应的像素点数量，对数字病理图像进行分类。
具体的，根据待处理图像中每个像素点的第一质控标签，统计该待处理图像中N种异常标签分别对应的像素点数量，对数字病理图像进行分类。具体可以根据该待处理图像中N种异常标签分别对应的像素点数量，基于各种异常标签的转移权重，将每种异常标签对应的像素点的数量进行加权求和，确定该数字病理图像的数据转移量，根据数据转移量对数字病理图像进行分类。其中，该转移权重可以根据异常标签对应的异常对数字病理图像的效果影响程度确定。
其中，可以设定一个病理质控标准，该病理质控标准是经过病理质控专家所统一确定的，可以认为是一个用于对数字病理图像分类的统一标准。其中，该病理质控标准可以预设L类，如L为100时，可以认为该数字病理图像的质控总分为100分，通过对待处理图像中N种异常标签对应的像素点数量，计算得到该待处理图像的数据转移量，通过计算100与数据转移量的差值，确定该待处理图像对应的数字病理图像所属的质控类别；或者，若L为3时，可以认为该数字病理图像包括“优、中、差”三类，根据待处理图像中N种异常标签对应的像素点数量得到该待处理图像的数据转移量，根据该数据转移量确定对应的质控类别，例如，当数据转移量为0～3时对应“优”，当数据转移量为3～10时对应“中”，当数据转移量大于10时对应“差”等，L的值可以根据需求进行设定。其中，可以通过设置不同异常标签对应的不同数据转移量区间，获取到待处理图像中每种异常标签的像素点数量对应的数据转移量区间，以确定该待处理图像的数据转移量，如当异常标签“刀痕”存在像素点0～3时，对应数据转移量0等，将不同异常标签对应的数据转移量进行求和或加权求和或预设求和公式求和得到待处理图像的数据转移量；或者，直接根据不同异常标签的像素点数量进行求和或加权求和得到待处理图像的数据转移量；或者，根据不同异常标签的像素点数量占待处理图像的百分比，确定该待处理图像的数据转移量。
可选的，可以将待处理图像中第一质控标签为非异常标签的像素点的灰度值设置为预设背景值，，第一质控标签为异常标签的像素点的灰度值不变，得到第一图像，将该第一图像输入异常分类器，得到第一图像中与每个像素点分别对应的第二异常概率矩阵，该第二异常概率矩阵包括多个相关值，所述多个相关值表征该第二异常概率矩阵在第一图像中对应的像素点与各个质控标签的相关度，该异常分类器是基于多个第一图像样本及数字病理图像样本中每个像素点的质控标签特征训练得到的，每个第一图像样本是对应数字病理图像样本基于各个像素点分别与各个质控标签的相关值，将相关值最大为非异常标签的像素点的灰度值设置为预设背景值后得到的；根据第一图像中每个像素点的第二异常概率矩阵，确定第一图像中每个像素点的第二质控标签，第二质控标签为第一图像中每个像素点的第二异常概率矩阵中相关值最大的质控标签；根据第一图像中每个像素点的第二质控标签，确定待处理图像中N种异常标签分别对应的像素点数量。
其中，U-Net分割模型与异常分类器均为一种端到端的卷积神经网络，卷积神经网络在进行训练或预测时，本质上在处理某一像素点或像素块时，会结合该像素点或像素块周边的预测环境对该像素点或像素块进行处理，因此，在将待处理图像中非异常标签对应的像素点的灰度值设置为预设背景值后，各种异常标签对应的像素点的灰度值与非异常标签对应的像素点的灰度值差值会较大，使得在出现有单个像素点对应异常标签时，在输入异常分类器进行预测，会由于该单个像素点的灰度值与相邻像素点的灰度值差异较大，而一般情况下不会出现单个像素点异常的情况，从而在预测时，会通过该单个像素点相邻的像素点提供的信息，包括环境场信息及细节信息等，对该单个像素点的异常标签进行过滤。具体的，异常分类器中通过上采样提取该单个像素点的特征信息，通过下采样展现该单个像素点的环境信息，该单个像素点的环境信息是通过相邻像素点的信息所提供的，结合上采样得到的特征信息及下采样得到的环境信息，以确定该单个像素点的灰度值及异常标签是否合理，实现通过相邻像素点对该单个像素点的异常标签的过滤。举例来说，当单个像素点的灰度值不为预设背景值，而该单个像素点相邻的像素点的灰度值均为预设背景值，在预测过程中，得到该单个像素点的异常概率矩阵，该异常概率矩阵包括该单个像素点与各个质控标签的相关值，并根据该单个像素点相邻像素点的像素点信息，包括相邻像素点的灰度值及异常概率矩阵，以得到该单个像素点的环境信息，该环境信息用于指示该单个像素点的相邻像素点均为非异常像素点，通过该环境信息对该单个像素点的异常概率矩阵进行调整，增加该单个像素点与非异常标签的相关值，从而实现对该单个像素点的异常标签的过滤。
其中，在可选的方式中，该异常分类器是在U-Net分割模型训练的基础上进行训练的，具体的是在对U-Net分割模型训练好后，根据该U-Net分割模型的输出结果对数字病理图像样本进行更新得到第一图像样本，根据第一图像样本及数字病理图像样本中每个像素点的质控标签特征对异常分类器进行训练。
可选的，在上述步骤S101至步骤S104的执行过程中，在步骤S101中得到待处理图像后，可以获取该待处理图像的图像尺寸，若该待处理图像的图像尺寸大于预设滑窗尺寸，则通过预设滑窗尺寸将待处理图像滑窗分割为多个第二图像，第二图像的图像尺寸不大于预设滑窗尺寸，预设滑窗尺寸为U-Net分割模型训练的数字病理图像样本的尺寸或者根据需求设置的预设滑窗尺寸；将多个第二图像中任一第二图像输入U-Net分割模型，得到任一第二图像中每个像素点的第一异常概率矩阵。其中，在将待处理图像分割为多个第二图像后，记录多个第二图像中每个第二图像的位置信息，该位置信息为对应第二图像在待处理图像中的相对位置，该相对位置可以为每个第二图像的左上角第一个像素点在待处理图像中的像素位置，或者是不同第二图像间的相对位置，如(0，0)表示对应第二图像在待处理图像中的第一行第一列。在步骤S103中，基于任一第二图像中每个像素点的第一异常概率矩阵，确定任一第二图像中每个像素点的第一质控标签，基于多个第二图像中每个第二图像的位置信息及任一第二图像中每个像素点的第一质控标签，确定待处理图像中每个像素点的第一质控标签。
可选的，在步骤S104之后，可以向用户显示数字病理图像、异常显示图像及数字病理图像对应待处理图像中每个像素点的质控标签，以使用户可以直观的得到该数字病理图像的质量情况。该异常显示图像如图2中201所示，待处理图像中每个像素点的质控标签可以如图2中第一质控标签图202所示。其中，若将待处理图像中第一质控标签为非异常标签的像素点的灰度值设置为预设背景值，得到第一图像，将该第一图像输入异常分类器中进行学习，则会对待处理图像进行二次学习，以尽可能合理的标记出数字病理图像的异常区域，避免对数字病理图像的质控评分太低的情况。例如，在出现图2中异常显示图像201中误标记的两处质控标签为2及质控标签为3的像素点时，可以对误标记的像素点进行过滤，得到如图3中所示过滤后的异常显示图像301及第二质控标签图302，图3是本申请实施例提供的一种异常分类器输出示意图。
本申请实施例在根据数字病理图像的图像格式获取该数字病理图像中指定层的待处理图像，将该待处理图像输入U-Net分割模型中，得到待处理图像中每个像素点的第一异常概率矩阵，根据该第一异常概率矩阵中各个质控标签的相关值，确定待处理图像中每个像素点的质控标签，根据待处理图像中每个像素点的质控标签，统计待处理图像中N中异常标签对应的像素点数量，以对数字病理图像进行分类。以实现对数字病理图像质控标准的量化，并通过病理图像管理平台进行统一存储，使得数字病理图像的管理更加统一高效，并得到数字病理图像统一的质控标准，从而提高对数字病理图像的管理及质控效率。同时，可以通过对待处理图像进行二次异常标签提取，以尽可能合理的标记出异常区域，由于对于异常来说，几乎很难出现一两个像素点异常的情况，通过二次异常标签提取，可以减少误标记的情况出现，提高质控的准确性。同时，对模型训练时是对每一个像素点进行处理，使得模型的输入和输出的图像的图像尺寸相同，以提高图像的精度。
可选的，参见图4，图4是本申请实施例提供的一种数字病理图像质控的装置。如图4所示，该数字病理图像质控的装置可以用于上述图1所对应实施例中的电子设备，具体的该数字病理图像质控的装置40包括获取模块401、学习模块402、确定模块403、统计模块404及分类模块405。
获取模块401，用于根据数字病理图像的图像格式得到所述数字病理图像的指定层的待处理图像；
学习模块402，用于将所述待处理图像输入U-Net分割模型，得到所述待处理图像中与每个像素点分别对应的第一异常概率矩阵，所述第一异常概率矩阵包括多个相关值，所述多个相关值表征该第一异常概率矩阵对应的像素点分别与各个质控标签的相关度，所述各个质控标签包括非异常标签及N种异常标签，所述U-Net分割模型是基于图像样本训练得到的，所述图像样本中至少包括多个数字病理图像样本及所述数字病理图像样本中每个像素点的质控标签特征，N为正整数；
确定模块403，用于根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签；
统计模块404，用于根据所述待处理图像中每个像素点的第一质控标签，统计所述待处理图像中所述N种异常标签对应的像素点数量；
分类模块405，用于根据所述待处理图像中所述N种异常标签对应的像素点数量对所述数字病理图像进行分类。
其中，所述统计模块404包括：
设置单元4041，用于将所述待处理图像中第一质控标签为所述非异常标签的像素点的灰度值设置为预设背景值，得到第一图像；
学习单元4042，用于将所述第一图像输入异常分类器，得到所述第一图像中与每个像素点分别对应的第二异常概率矩阵，所述第二异常概率矩阵包括多个相关值，所述多个相关值表征该第二异常概率矩阵在所述第一图像中对应的像素点分别与所述各个质控标签的相关度，所述异常分类器是基于第一图像样本及所述数字病理图像样本中每个像素点的质控标签特征训练得到的，所述第一图像样本是所述数字病理图像样本基于各个像素点分别与所述各个质控标签的相关值，将相关值最大为所述非异常标签的像素点的灰度值设置为所述预设背景值后得到的；
确定单元4043，用于根据所述第一图像中每个像素点的第二异常概率矩阵，确定所述第一图像中每个像素点的第二质控标签，所述第二质控标签为所述第一图像中每个像素点的第二异常概率矩阵中相关值最大的质控标签；
所述确定单元4043，还用于根据所述第一图像中每个像素点的第二质控标签，确定所述待处理图像中所述N种异常标签对应的像素点数量。
其中，所述装置还包括：
所述获取模块401，还用于获取所述待处理图像的图像尺寸；
滑窗模块406，用于若所述待处理图像的图像尺寸大于预设滑窗尺寸，则通过预设滑窗尺寸将所述待处理图像滑窗分割为多个第二图像，所述第二图像的图像尺寸不大于所述预设滑窗尺寸，所述预设滑窗尺寸为所述U-Net分割模型训练的所述数字病理图像样本的尺寸；
所述学习模块402，具体用于：
将所述多个第二图像中任一第二图像输入所述U-Net分割模型，得到所述任一第二图像中每个像素点的第一异常概率矩阵。
其中，所述装置还包括：
记录模块407，用于记录所述多个第二图像中每个第二图像的位置信息，所述位置信息为对应第二图像在所述待处理图像中的相对位置；
所述确定模块403，具体用于：
根据所述任一第二图像中每个像素点的第一异常概率矩阵，确定所述任一第二图像中每个像素点的第一质控标签；
基于所述多个第二图像中每个第二图像的位置信息及所述任一第二图像中每个像素点的第一质控标签，确定所述待处理图像中每个像素点的第一质控标签。
其中，所述分类模块405具体用于：
根据所述待处理图像中所述N种异常标签中每种异常标签对应的像素点的数量，基于所述异常标签的转移权重，将所述每种异常标签对应的像素点的数量进行加权求和，确定所述数字病理图像的数据转移量，根据所述数据转移量对所述数字病理图像进行分类。
其中，所述确定模块403具体用于：
将所述待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定为所述待处理图像中每个像素点的第一质控标签。
所述学习模块402，具体用于：
将所述待处理图像输入所述U-Net分割模型，得到所述待处理图像中每个像素点的第一异常概率矩阵，基于所述待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定异常显示图像；
在所述确定异常显示图像方面，所述学习模块402具体用于：
若与所述待处理图像中像素点的相关值最大的质控标签为所述非异常标签，则将所述异常显示图像中与所述待处理图像中像素点位置相同的像素点的灰度值设置为预设背景值；
若与所述待处理图像中像素点的相关值最大的质控标签为所述N种异常标签中的任一异常标签，则将所述异常显示图像中与所述待处理图像中像素点位置相同的像素点的灰度值设置为预设异常值；
根据设置的异常显示图像中的各个像素点确定所述异常显示图像；
所述装置还包括：
输出模块408，用于输出所述数字病理图像的分类结果及所述异常显示图像。
具体实现中，上述装置可通过上述各个模块执行上述图1所提供的实现方式中各个步骤所提供的实现方式，实现上述各实施例中所实现的功能，具体可参见上述图1所示的方法实施例中各个步骤提供的相应描述，在此不再赘述。
本申请实施例提供了一种数字病理图像质控的装置，上述装置在根据数字病理图像的图像格式获取该数字病理图像中指定层的待处理图像，将该待处理图像输入U-Net分割模型中，得到待处理图像中每个像素点的第一异常概率矩阵，根据该第一异常概率矩阵中各个质控标签的相关值，确定待处理图像中每个像素点的质控标签，根据待处理图像中每个像素点的质控标签，统计待处理图像中N中异常标签对应的像素点数量，以对数字病理图像进行分类。以实现对数字病理图像质控标准的量化，并通过病理图像管理平台进行统一存储，使得数字病理图像的管理更加统一高效，并得到数字病理图像统一的质控标准，从而提高对数字病理图像的管理及质控效率。
参见图5，图5是本申请实施例提供的电子设备的结构示意图。如图5所示，本实施例中的电子设备可以包括：一个或多个处理器501、存储器502和收发器503。上述处理器501、存储器502和收发器503通过总线504连接。存储器502用于存储计算机程序，该计算机程序包括程序指令，收发器503用于连接终端设备，与上述电子设备进行数据交互；处理器501用于执行存储器502存储的程序指令，执行如下操作：
根据数字病理图像的图像格式得到所述数字病理图像的指定层的待处理图像；
将所述待处理图像输入U-Net分割模型，得到所述待处理图像中每个像素点的第一异常概率矩阵，所述第一异常概率矩阵包括对应像素点分别与各个质控标签的相关值，所述各个质控标签包括非异常标签及N种异常标签，所述U-Net分割模型是基于图像样本训练得到的，所述图像样本中至少包括多个数字病理图像样本及所述数字病理图像样本中每个像素点的质控标签特征，N为正整数；
根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签；
根据所述待处理图像中每个像素点的第一质控标签，统计所述待处理图像中所述N种异常标签对应的像素点数量；
根据所述待处理图像中所述N种异常标签对应的像素点数量对所述数字病理图像进行分类。
在一些可行的实施方式中，上述处理器501可以是中央处理单元(centralprocessing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器502可以包括只读存储器和随机存取存储器，并向处理器501和收发器503提供指令和数据。存储器502的一部分还可以包括非易失性随机存取存储器。例如，存储器502还可以存储设备类型的信息。
具体实现中，上述电子设备可通过其内置的各个功能模块执行如上述图1各个步骤所提供的实现方式，具体可参见上述图1中各个步骤所提供的实现方式，在此不再赘述。
本申请实施例通过提供一种电子设备，包括：处理器、收发器、存储器，通过处理器获取存储器中的计算机指令，执行上述图1中所示方法的各个步骤，根据数字病理图像的图像格式获取该数字病理图像中指定层的待处理图像，将该待处理图像输入U-Net分割模型中，得到待处理图像中每个像素点的第一异常概率矩阵，根据该第一异常概率矩阵中各个质控标签的相关值，确定待处理图像中每个像素点的质控标签，根据待处理图像中每个像素点的质控标签，统计待处理图像中N中异常标签对应的像素点数量，以对数字病理图像进行分类。以实现对数字病理图像质控标准的量化，并通过病理图像管理平台进行统一存储，使得数字病理图像的管理更加统一高效，并得到数字病理图像统一的质控标准，从而提高对数字病理图像的管理及质控效率。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现图1中各个步骤所提供的数字病理图像质控的方法，具体可参见上述图1中各个步骤所提供的实现方式，在此不再赘述。
上述计算机可读存储介质可以是前述任一实施例提供的数字病理图像质控装置或者上述终端设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种数字病理图像质控的方法，其特征在于，包括:
根据数字病理图像的图像格式得到所述数字病理图像的指定层的待处理图像；
将所述待处理图像输入U-Net分割模型，得到所述待处理图像中与每个像素点分别对应的第一异常概率矩阵，所述第一异常概率矩阵包括多个相关值，所述多个相关值表征该第一异常概率矩阵对应的像素点分别与各个质控标签的相关度，所述各个质控标签包括非异常标签及N种异常标签，所述U-Net分割模型是基于图像样本训练得到的，所述图像样本中至少包括多个数字病理图像样本及所述数字病理图像样本中每个像素点的质控标签特征，N为正整数；
根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签；
根据所述待处理图像中每个像素点的第一质控标签，统计所述待处理图像中所述N种异常标签对应的像素点数量；
根据所述待处理图像中所述N种异常标签对应的像素点数量对所述数字病理图像进行分类。
2.如权利要求1所述的方法，其特征在于，所述根据所述待处理图像中每个像素点的第一质控标签，统计所述待处理图像中所述N种异常标签对应的像素点数量，包括：
将所述待处理图像中第一质控标签为所述非异常标签的像素点的灰度值设置为预设背景值，得到第一图像；
将所述第一图像输入异常分类器，得到所述第一图像中与每个像素点的第二异常概率矩阵，所述第二异常概率矩阵包括多个相关值，所述多个相关值表征该第二异常概率矩阵在所述第一图像中对应的像素点分别与所述各个质控标签的相关度，所述异常分类器是基于第一图像样本及所述数字病理图像样本中每个像素点的质控标签特征训练得到的，所述第一图像样本是所述数字病理图像样本基于各个像素点分别与所述各个质控标签的相关值，将相关值最大为所述非异常标签的像素点的灰度值设置为所述预设背景值后得到的；
根据所述第一图像中每个像素点的第二异常概率矩阵，确定所述第一图像中每个像素点的第二质控标签，所述第二质控标签为所述第一图像中每个像素点的第二异常概率矩阵中相关值最大的质控标签；
根据所述第一图像中每个像素点的第二质控标签，确定所述待处理图像中所述N种异常标签对应的像素点数量。
3.如权利要求1所述的方法，其特征在于，所述得到所述数字病理图像的指定层的待处理图像之后，还包括：
获取所述待处理图像的图像尺寸，若所述待处理图像的图像尺寸大于预设滑窗尺寸，则通过预设滑窗尺寸将所述待处理图像滑窗分割为多个第二图像，所述第二图像的图像尺寸不大于所述预设滑窗尺寸，所述预设滑窗尺寸为所述U-Net分割模型训练的所述数字病理图像样本的尺寸；
所述将所述待处理图像输入U-Net分割模型，得到所述待处理图像中每个像素点的第一异常概率矩阵，包括：
将所述多个第二图像中任一第二图像输入所述U-Net分割模型，得到所述任一第二图像中每个像素点的第一异常概率矩阵。
4.如权利要求3所述的方法，其特征在于，所述通过预设滑窗尺寸将所述待处理图像滑窗分割为多个第二图像之后，还包括：
记录所述多个第二图像中每个第二图像的位置信息，所述位置信息为对应第二图像在所述待处理图像中的相对位置；
所述根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签，包括：
根据所述任一第二图像中每个像素点的第一异常概率矩阵，确定所述任一第二图像中每个像素点的第一质控标签；
基于所述多个第二图像中每个第二图像的位置信息及所述任一第二图像中每个像素点的第一质控标签，确定所述待处理图像中每个像素点的第一质控标签。
5.如权利要求1所述的方法，其特征在于，所述根据所述待处理图像中所述N种异常标签对应的像素点数量对所述数字病理图像进行分类，包括：
根据所述待处理图像中所述N种异常标签中每种异常标签对应的像素点的数量，基于所述异常标签的转移权重，将所述每种异常标签对应的像素点的数量进行加权求和，确定所述数字病理图像的数据转移量，根据所述数据转移量对所述数字病理图像进行分类。
6.如权利要求1所述的方法，其特征在于，所述根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签，包括：
将所述待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定为所述待处理图像中每个像素点的第一质控标签。
7.如权利要求1所述的方法，其特征在于，所述将所述待处理图像输入U-Net分割模型，得到所述待处理图像中每个像素点的第一异常概率矩阵，包括：
将所述待处理图像输入所述U-Net分割模型，得到所述待处理图像中每个像素点的第一异常概率矩阵，基于所述待处理图像中每个像素点的第一异常概率矩阵中相关值最大的质控标签，确定异常显示图像；
所述确定异常显示图像，包括：
若与所述待处理图像中像素点的相关值最大的质控标签为所述非异常标签，则将所述异常显示图像中与所述待处理图像中像素点位置相同的像素点的灰度值设置为预设背景值；
若与所述待处理图像中像素点的相关值最大的质控标签为所述N种异常标签中的任一异常标签，则将所述异常显示图像中与所述待处理图像中像素点位置相同的像素点的灰度值设置为预设异常值；
根据设置的异常显示图像中的各个像素点确定所述异常显示图像；
所述方法之后，还包括：
输出所述数字病理图像的分类结果及所述异常显示图像。
8.一种数字病理图像质控的装置，其特征在于，所述装置包括：
获取模块，用于根据数字病理图像的图像格式得到所述数字病理图像的指定层的待处理图像；
学习模块，用于将所述待处理图像输入U-Net分割模型，得到所述待处理图像中与每个像素点分别对应的第一异常概率矩阵，所述第一异常概率矩阵包括多个相关值，所述多个相关值表征该第一异常概率矩阵对应的像素点分别与各个质控标签的相关度，所述各个质控标签包括非异常标签及N种异常标签，所述U-Net分割模型是基于图像样本训练得到的，所述图像样本中至少包括多个数字病理图像样本及所述数字病理图像样本中每个像素点的质控标签特征，N为正整数；
确定模块，用于根据所述待处理图像中每个像素点与所述各个质控标签的相关值，确定所述待处理图像中每个像素点的第一质控标签；
统计模块，用于根据所述待处理图像中每个像素点的第一质控标签，统计所述待处理图像中所述N种异常标签对应的像素点数量；
分类模块，用于根据所述待处理图像中所述N种异常标签对应的像素点数量对所述数字病理图像进行分类。
9.一种电子设备，其特征在于，包括处理器、存储器、输入输出接口；
所述处理器分别与所述存储器和所述输入输出接口相连，其中，所述输入输出接口用于与用户进行数据交互，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-7任一项所述的方法。
CN201911034430.4A 2019-10-29 2019-10-29 一种数字病理图像质控的方法及装置 Active CN111008953B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911034430.4A CN111008953B (zh) 2019-10-29 2019-10-29 一种数字病理图像质控的方法及装置
PCT/CN2020/093579 WO2021082433A1 (zh) 2019-10-29 2020-05-30 一种数字病理图像质控的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911034430.4A CN111008953B (zh) 2019-10-29 2019-10-29 一种数字病理图像质控的方法及装置

Publications (2)

Publication Number Publication Date
CN111008953A CN111008953A (zh) 2020-04-14
CN111008953B true CN111008953B (zh) 2023-10-31

Family

ID=70111669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911034430.4A Active CN111008953B (zh) 2019-10-29 2019-10-29 一种数字病理图像质控的方法及装置

Country Status (2)

Country Link
CN (1) CN111008953B (zh)
WO (1) WO2021082433A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008953B (zh) * 2019-10-29 2023-10-31 平安科技（深圳）有限公司 一种数字病理图像质控的方法及装置
CN111595850B (zh) * 2020-04-27 2022-07-15 平安科技（深圳）有限公司 切片缺陷检测方法、电子装置及可读存储介质
CN113516671B (zh) * 2021-08-06 2022-07-01 重庆邮电大学 一种基于U-net和注意力机制的婴幼儿脑组织图像分割方法
CN113888529A (zh) * 2021-10-26 2022-01-04 济南超级计算技术研究院 基于深度学习的病理切片图像质量评级方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451998A (zh) * 2017-08-08 2017-12-08 北京大恒普信医疗技术有限公司 一种眼底图像质量控制方法
WO2018156133A1 (en) * 2017-02-23 2018-08-30 Google Llc Method and system for assisting pathologist identification of tumor cells in magnified tissue images
CN108629777A (zh) * 2018-04-19 2018-10-09 麦克奥迪（厦门）医疗诊断系统有限公司 一种数字病理全切片图像病变区域自动分割方法
CN109191457A (zh) * 2018-09-21 2019-01-11 中国人民解放军总医院 一种病理图像质量有效性识别方法
CN109785306A (zh) * 2019-01-09 2019-05-21 上海联影医疗科技有限公司 器官勾画方法、装置、计算机设备和存储介质
WO2019108888A1 (en) * 2017-11-30 2019-06-06 The Research Foundation For The State University Of New York SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS
CN110120040A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 切片图像处理方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401256B2 (en) * 2006-11-13 2013-03-19 General Electric Company Systems and methods for an interactive PACS image display test image
US9424504B2 (en) * 2014-09-15 2016-08-23 Paypal, Inc. Combining a QR code and an image
CN108010015A (zh) * 2017-11-07 2018-05-08 深圳市金城保密技术有限公司 一种指静脉影像质量评价方法及其系统
CN108074239B (zh) * 2017-12-30 2021-12-17 中国传媒大学 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN111008953B (zh) * 2019-10-29 2023-10-31 平安科技（深圳）有限公司 一种数字病理图像质控的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156133A1 (en) * 2017-02-23 2018-08-30 Google Llc Method and system for assisting pathologist identification of tumor cells in magnified tissue images
CN107451998A (zh) * 2017-08-08 2017-12-08 北京大恒普信医疗技术有限公司 一种眼底图像质量控制方法
WO2019108888A1 (en) * 2017-11-30 2019-06-06 The Research Foundation For The State University Of New York SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS
CN108629777A (zh) * 2018-04-19 2018-10-09 麦克奥迪（厦门）医疗诊断系统有限公司 一种数字病理全切片图像病变区域自动分割方法
CN109191457A (zh) * 2018-09-21 2019-01-11 中国人民解放军总医院 一种病理图像质量有效性识别方法
CN109785306A (zh) * 2019-01-09 2019-05-21 上海联影医疗科技有限公司 器官勾画方法、装置、计算机设备和存储介质
CN110120040A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 切片图像处理方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于模糊贝叶斯网络的星形细胞瘤分级预测与知识表达;林春漪 等;中国生物医学工程学报;第26卷(第01期);第6-11卷 *

Also Published As

Publication number Publication date
WO2021082433A1 (zh) 2021-05-06
CN111008953A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111008953B (zh) 一种数字病理图像质控的方法及装置
CN109325954B (zh) 图像分割方法、装置及电子设备
US20210295485A1 (en) Inspection device and inspection method
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN109740617A (zh) 一种图像检测方法及装置
CN113159147A (zh) 基于神经网络的图像识别方法、装置、电子设备
CN109961446B (zh) Ct/mr三维图像分割处理方法、装置、设备及介质
CN110837795A (zh) 基于课堂监控视频的教学情况智能监测方法、装置及设备
CN112465060A (zh) 图像中目标物检测方法、装置、电子设备及可读存储介质
CN110738235B (zh) 肺结核判定方法、装置、计算机设备及存储介质
CN110378386B (zh) 基于有监督的无标记异常识别方法、装置及存储介质
CN111652869B (zh) 基于深度学习的板坯空洞识别方法、系统、介质及终端
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN114414935A (zh) 基于大数据的配电网馈线故障区域自动化定位方法和系统
CN113554008B (zh) 静态物体区域内检测方法、装置、电子设备及存储介质
CN115443474A (zh) 学习装置、学习方法及推断装置
CN114444565B (zh) 一种图像篡改检测方法、终端设备及存储介质
CN110766007A (zh) 证件遮挡检测方法、装置、设备及可读存储介质
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN111784665A (zh) 基于傅里叶变换的oct图像质量评估方法、系统及装置
CN113723467A (zh) 用于缺陷检测的样本收集方法、装置和设备
CN110796039B (zh) 一种面部瑕疵检测方法、装置、电子设备及存储介质
CN116740728A (zh) 一种用于晶圆读码器动态获取方法和系统
CN111667457B (zh) 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质
CN116052848B (zh) 一种医学成像质控的数据编码方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40016912

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant