CN110428475B - 一种医学图像的分类方法、模型训练方法和服务器 - Google Patents

一种医学图像的分类方法、模型训练方法和服务器 Download PDF

Info

Publication number
CN110428475B
CN110428475B CN201910721287.XA CN201910721287A CN110428475B CN 110428475 B CN110428475 B CN 110428475B CN 201910721287 A CN201910721287 A CN 201910721287A CN 110428475 B CN110428475 B CN 110428475B
Authority
CN
China
Prior art keywords
medical image
analysis
image
data set
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910721287.XA
Other languages
English (en)
Other versions
CN110428475A (zh
Inventor
肖凯文
韩骁
叶虎
周昵昀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910721287.XA priority Critical patent/CN110428475B/zh
Publication of CN110428475A publication Critical patent/CN110428475A/zh
Application granted granted Critical
Publication of CN110428475B publication Critical patent/CN110428475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明主要涉及人工智能的深度学习技术领域。本文描述了用于医学图像分类方法、模型训练方法和服务器。该医学图像的分类方法，包括：获取医学图像的数据集合；对医学图像的数据集合进行质量分析，提取医学图像的特征信息，质量分析包括色域‑饱和度‑亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个；基于提取的特征信息，利用经预先训练的用于对医学图像进行异常检测分类的深度学习网络对所述医学图像进行分类，得到分类结果，分类包括针对医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个。

Description

一种医学图像的分类方法、模型训练方法和服务器
技术领域
本发明涉及人工智能的深度学习技术领域，具体涉及显微镜图像的分类方法、模型训练方法和服务器。
背景技术
本申请实施例提供的方案涉及人工智能的深度学习等技术。人工智能（Artificial Intelligence, AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及深度学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本发明将人工智能技术应用于病理检验分析的领域。病理检验分析是临床医学最终判断标准的重要参考，其主要过程是从病体组织中获得相应组织细胞，通过在显微镜下观察分析制作的病理组织切片来确认病情。随着医疗水平的不断提高，显微镜病理图像数据呈现井喷式爆发，数字化显微镜病理图像数量呈现几何式增长。然而，目前针对显微镜病理图像的分析主要依赖人工审核，主要通过医务工作者对医学图像进行标注获取异常情况，再将异常情况反馈给医疗机构或医学专家确认。
现有产品的显微镜图像质量分析主要是通过病理科医生或其他医学专家反复精确标注以提出异常，进行质量评估和消除噪声信息。在一些情况下，是通过经培训的技术人员获取异常结果表现，并将这些噪声数据返回医疗机构或医疗专家确认。这样，不仅效率低下，而且极易混入质量低的数据或无效数据。现有显微镜图像标注技术的标注可靠性低、成本高且获取有效数据的周期长。
发明内容
有利的是，提供可以缓解、减轻或甚至消除上述问题中的一个或多个的机制。
根据本公开的第一方面，提供了一种医学图像的分类方法。该方法包括：获取医学图像的数据集合；对医学图像的数据集合进行质量分析，提取医学图像的特征信息，质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个；基于提取的特征信息，利用经预先训练的用于对医学图像进行异常检测分类的深度学习网络对医学图像进行分类，得到分类结果，分类包括针对医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个。
在一些实施例中，该方法还包括：在进行质量分析之前，对获取的医学图像的数据集合进行文件校验和解码，文件校验确认医学图像的数据集合可解析，并且解码将所述医学图像转换为数字图像矩阵。
在一些实施例中，在对医学图像进行分类之前，对医学图像数据集合进行插值和归一化处理。
在一些实施例中，质量分析的各项进一步包括：色域-饱和度-亮度分析，其将获取的医学图像的RGB空间中的红坐标r、绿坐标g、蓝坐标b值转换到HSV空间中，得到色域的特征信息h、饱和度的特征信息s和亮度的特征信息v。清晰度分析，其计算数字矩阵的值a，对a与5×5的高斯卷积核进行卷积得到值c，基于a与c的最小均方差MSE值计算医学图像的清晰度指数PSNR。纹理分析，其采用Sobel检验算子提取图像的灰度边缘。熵值分析，通过下式计算熵值
Figure DEST_PATH_IMAGE001
。
Figure 100002_DEST_PATH_IMAGE003
，
其中W为医学图像的长度，H为医学与图像的宽度，
Figure DEST_PATH_IMAGE004
表示（i，j）二元组在图像中出现的次数，i为滑动窗口内中心的灰度值，j为滑动窗口内除中心像素的灰度均值。
在一些实施例中，深度学习网络选取Inception V3模型进行训练。
在一些实施例中，插值包括双线性插值。
根据本发明的第二方面，提供了一种模型训练方法。该方法包括：获取原始医学图像的数据集合以及相应原始图像标注信息集合，原始图像标注信息集合包括正常组织、无关组织、镜头失焦和白平衡失效的标签中的一个或多个；对原始医学图像的数据集合进行质量分析，提取原始医学图像的特征信息，质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个；基于提取的原始医学图像数据集合中的特征信息和原始图像标注信息集合对用于对医学图像进行异常检测分类的深度学习网络进行训练，得到深度学习网络模型。
在一些实施例中，对深度学习网络进行训练还包括：建立深度学习网络结构，设定训练优化函数、学习率和迭代次数，开始对深度学习网络的训练，并监测损失函数，以及选择损失函数最小时所对应的深度学习网络模型。
在一些实施例中，标注信息为针对图像是正常组织、无关组织、镜头失焦和白平衡失效的标签。
在一些实施例中，对原始医学图像的数据集合进行质量分析之前，对所获取的原始医学图像的数据集合进行文件校验和解码，解码将原始医学图像转换为数字图像矩阵。
在一些实施例中，方法还包括：在对深度学习网络进行训练之前，对原始医学图像数据集合进行插值和归一化处理。
在一些实施例中，质量分析包括下述各项：
色域-饱和度-亮度分析，其将获取的医学图像的RGB空间中的红坐标r、绿坐标g、蓝坐标b值转换到HSV空间中，得到色域的特征信息h、饱和度的特征信息s和亮度的特征信息v；
清晰度分析，其计算数字矩阵的值a，对a与5×5的高斯卷积核进行卷积得到值c，基于a与c的最小均方差MSE值、通过下式计算医学图像的清晰度指数PSNR：
Figure 100002_DEST_PATH_IMAGE005
；
纹理分析，其采用Sobel检验算子提取图像的灰度边缘；以及
熵值分析，利用下式计算熵值En：
Figure 588741DEST_PATH_IMAGE003
，
其中W为医学图像的长度，H为医学与图像的宽度，
Figure 505882DEST_PATH_IMAGE004
表示（i，j）二元组在图像中出现的次数，i为滑动窗口内中心的灰度值，j为滑动窗口内除中心像素的灰度均值。
根据本公开的第三方面，提供了一种服务器。该服务器包括获取模块、质量分析模块和分类模块。获取模块被配置为获取医学图像的数据集合。质量分析模块被配置为对医学图像的数据集合进行质量分析，提取医学图像的特征信息，质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个。分类模块被配置为基于提取的特征信息，利用经预先训练的用于对所述医学图像进行异常检测分类的深度学习网络对医学图像进行分类，得到分类结果，分类包括针对医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个。
根据本公开的第四方面，提供了一种服务器。该服务器包括获取模块、质量分析模块和训练模块。获取模块被配置为获取原始医学图像的数据集合以及相应原始图像标注信息集合，原始图像标注信息集合包括正常组织、无关组织、镜头失焦和白平衡失效的标签中的一个或多个。质量分析模块被配置为对原始医学图像的数据集合进行质量分析，提取原始医学图像的特征信息，质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个。训练模块被配置为基于提取的原始医学图像数据集合中的特征信息和原始图像标注信息集合对用于对医学图像进行异常检测分类的深度学习网络进行训练，得到深度学习网络模型。
根据本公开的第五方面，提供了一种服务器。该服务器包括：存储器，其用于存储程序；处理器，用于执行存储器中存储的程序，包括如下步骤：获取医学图像的数据集合；对医学图像的数据集合进行质量分析，提取医学图像的特征信息，质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个；基于提取的特征信息，利用经预先训练的用于对医学图像进行异常检测分类的深度学习网络对医学图像进行分类，得到分类结果，分类包括针对医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个。
根据本公开的第六方面，提供了一种服务器。该服务器包括：存储器，其用于存储程序；处理器，用于执行存储器中存储的程序，包括如下步骤：获取原始医学图像的数据集合以及相应原始图像标注信息集合，原始图像标注信息集合包括正常组织、无关组织、镜头失焦和白平衡失效的标签中的一个或多个；对原始医学图像的数据集合进行质量分析，提取原始医学图像的特征信息，质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个；基于提取的原始医学图像数据集合中的特征信息和原始图像标注信息集合对用于对医学图像进行异常检测分类的深度学习网络进行训练，得到深度学习网络模型。
根据本公开的第七方面，提供了一种医学图像处理系统，其中医学图像分类系统包括图像获取设备图像处理设备；图像获取设备用于扫描医学图像，并向医学处理设备发送医学图像；图像处理设备用于执行下述操作：获取医学图像的数据集合；对医学图像的数据集合进行质量分析，提取医学图像的特征信息，质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个；基于提取的特征信息，利用经预先训练的用于对医学图像进行异常检测分类的深度学习网络对医学图像进行分类，得到分类结果，分类包括针对医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个。
在一些实施例中，图像处理设备用于执行的操作还包括：在进行质量分析之前，对获取的医学图像的数据集合进行文件校验和解码，文件校验确认医学图像的数据集合可解析，并且解码将医学图像转换为数字图像矩阵。
在一些实施例中，图像处理设备用于执行的操作还包括：在对医学图像进行分类之前，对医学图像数据集合进行插值和归一化处理。
在一些实施例中，质量分析的各项进一步包括：色域-饱和度-亮度分析将获取的医学图像的RGB空间中的红坐标r、绿坐标g、蓝坐标b值转换到HSV空间中，得到色域的特征信息h、饱和度的特征信息s和亮度的特征信息v；清晰度分析计算数字矩阵的值a，对a与5×5的高斯卷积核进行卷积得到值c，基于a与c的最小均方差MSE值、通过下式计算医学图像的清晰度指数PSNR：
Figure 285619DEST_PATH_IMAGE005
；
纹理分析采用Sobel检验算子提取图像的灰度边缘；以及
熵值分析利用下式计算熵值
Figure 743145DEST_PATH_IMAGE001
：
Figure 557517DEST_PATH_IMAGE003
，
其中W为医学图像的长度，H为医学与图像的宽度，
Figure 379980DEST_PATH_IMAGE004
表示（i，j）二元组在图像中出现的次数，i为滑动窗口内中心的灰度值，j为滑动窗口内除中心像素的灰度均值。
在一些实施例中，图像处理设备用于执行的操作还包括：深度学习网络选取Inception V3模型进行训练。
根据本公开的第八方面，提供了一种计算机程序指令的非瞬时性计算机可读介质，当由处理器执行计算机程序指令使所述处理器执行如上述方面中的任一种的方法。
根据本公开的第九方面，提供了一种计算设备，包括处理器和其上存储计算机程序的存储器，所述计算机程序被配置成当在所述处理器上执行如上述方面中的任一种的方法。
本发明提出了一种医学图像的分类方法、模型训练方法和服务器。本发明在混杂了大量无效和不合格的显微镜病理图像的数量巨大的病理图像中，通过数字图像形态学描述（例如，包括色域、饱和度、亮度、清晰度、纹理、熵值等）对病理图像进行描述，过滤掉不合格的显微镜病理图像，减少显微镜病理图像对疾病诊断所带来的噪声混淆。本发明提供了一套完整的显微镜病理图像的处理和特征提取方法，使得无效、不合格的病理图像能够被过滤掉。因此，该方法纯化了显微镜病理图像，使基于图像的疾病诊断更加准确。另一方面，通过对图像的各种形态学属性进行描述，方便对显微镜病理图像按照质量进行归档和整理。
根据下文描述的实施例，本公开的这些和其他优点将变得清楚，并且参考下文描述的实施例来阐明本公开的这些和其他优点。
附图说明
现在将更详细地并且参考附图来描述本公开的实施例，其中：
图1图示了根据现有技术对显微镜图像进行筛选的方法；
图2图示了根据本公开的实施例本公开的图像分类筛选模块应用于其中的智能显微镜系统；
图3图示了根据本公开一个实施例对模型进行训练的方法的示意图；
图4a图示了原始数据集和解码与文件校验模块的示意图；
图4b图示了质量分析模块的示意图；
图4c图示了插值与归一化处理模块的示意图；
图4d图示了待训练的深度学习网络的示意图；
图4e图示了加载经训练的深度学习网络模型的示意图；
图5图示了根据本公开一个实施例对图像进行分类的方法的流程图；
图6图示了根据本公开一个实施例对深度学习网络模型进行训练的方法的流程图；
图7图示了根据本公开一个实施例对医学图像进行分类的服务器的示意图；
图8图示了根据本公开一个实施例对深度学习网络模型进行训练的服务器的示意图；
图9图示了一个示例系统，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备。
具体实施方式
下面的说明提供用于充分理解和实施本公开的各种实施例的特定细节。本领域的技术人员应当理解，本公开的技术方案可以在没有这些细节中的一些的情况下被实施。在某些情况下，并没有示出或详细描述一些熟知的结构和功能，以避免不必要地使对本公开的实施例的描述模糊不清。在本公开中使用的术语以其最宽泛的合理方式来理解，即使其是结合本公开的特定实施例被使用的。
首先，对本公开的实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
失焦：显微镜物镜在对病理切片对焦时，或相机未能达到或超过合理物距，导致显微镜图像成像模糊。
切片细胞空洞、重叠、褶皱：在切片的制作过程中，由于切片操作人员不同，导致切片细胞制作出现空洞、重叠、褶皱；这一部分细胞不会被检验使用。
成像失衡、过曝：显微镜成像相机由于自身结构问题，导致采集图像出现严重对比度失衡、过曝等情况，从而失去原始图像信息。
图1示意性示出了根据现有技术对显微镜图像进行筛选的方法100。方法100由医生或其他医学专家对获取的数据集101进行反复精确标注102，最后剔除103异常图片和评估图片质量，以消除噪声信息。在许多情况下，使用数据集101之前需要消耗大量时间对数据进行筛选。如果在第一次筛选普遍质量不高的情况下，还需要返回给医学标注人员重新标注。即便数据暂时没有发现任何明显错误，也很可能在后期模型训练过程中发现异常结果。这不仅对模型的准确性和可靠性影响甚大，还可能需要更多的时间成本对其他数据进行核查检验才能确认数据的有效性、准确性和完整性。
图2示意性示出了根据本公开的实施例本公开的图像分类筛选模块应用于其中的智能显微镜系统200。智能显微镜系统200可以包括图像采集模块201、图像分类筛选模块202和图像分析模块203。首先，图像采集模块201获取医学图像数据集。将该医学图像数据集通过根据本公开的实施例的图像筛选模块202对医学图像进行异常检测，以便筛除异常的图像。异常图像包括无关组织、镜头失焦模糊的图像、白平衡失效的图像等。最后将经过筛选得到的正常图像发送给图像分析模块203进一步对显微镜病理图像进行分析。
如以上参照图2描述的智能显微镜系统200主要应用于获取医学标注人员所标注的显微镜病理图像数据，用于进行显微镜TNM（tumor，node，metastasis）分期项目的数据筛选，以及用于医学病理中心对显微镜病理图像进行归档确认和整理。具体地，针对应用于智能显微镜TNM分期项目的应用场景，在将原始数据集应用于显微镜病理图像分类系统之前，通过图像分类筛选设备进行显微镜病理图像的异常检测分类，筛选除去异常图像，并将筛选后的有效可信数据送入显微镜病理图像分类系统中。另一种应用场景是应用于病理中心对显微镜图像进行整理和归档。采用根据本公开的图像分类筛选设备帮助或代替医生对各种类型的病理显微镜图像进行分类，或帮助医生减少工作量提高效率，或帮助检测标注结果的准确性。
图3示意性示出了根据本公开一个实施例对模型进行训练和测试的方法300的示意图。图3中的实线代表训练数据，虚线代表测试数据。该训练和测试方法300通过建立基于数字图像处理、深度学习分类算法的数据处理流程，将混杂在数据集合中的无关组织、相机失焦、细胞重叠褶皱、白平衡失效等图像进行区分、剔除，并对这些数据归档存储。在一些实施例中，还可以针对不同的疾病的图像进行分类，并将图像数据针对不同疾病进行归档。主要包括以下步骤：
（1）解码与校验模块302对数据集合进行解码和校验；
（2）质量分析模块303对数字图像进行色域分析、饱和度分析、亮度分析、清晰度分析、纹理分析、信息熵值分析中的一个或多个；
（3）插值与归一化处理模块305对医学图像进行插值和归一化；
（4）建立深度学习网络模型306，利用标签信息304所标注的数据以及质量分析模块303中所提取的信息对所建立的深度学习网络模型进行训练，并保存模型。
（5）将训练好的模型306加载到深度学习网络模型308中，并可以对需要检测的测试数据进行筛选和分类。
图4a示出了原始数据集301和解码与文件校验模块302的示意图。解码与文件校验模块302包括文件解码模块3021和文件校验模块3022。无论是训练数据还是测试数据均需要对数据本身进行合法性校验，原因在于数据集中混杂着图像本身由于存储问题等所造成的损坏。因此，在获取所述学图像的数据集合之后，文件解码模块3021将图像解码为数字图像矩阵，用于后续图像处理。文件校验模块3022对图像进行文件校验，确认文件可解析无损坏。文件校验和解码这两项校验保证了输入数据在后续处理中的有效性，避免了无关数据混入整体系统，对根据本公开的异常检测分类的整体方案非常重要。
图4b示出了质量分析模块303的示意图。质量分析主要包括数字图像矩阵的色域分析、饱和度分析、亮度分析、清晰度分析、纹理分析和熵值分析。如图4b所示，在获得经过解码3021和校验2022后的数字图像矩阵之后，需要对图像的各类属性进行分析。好处在于：一方面数据帮助模型分类训练，另一方面可以对部分噪声图像信息直接滤除整理，从而使后续模型判断更为精确准。
具体地，色域-饱和度-亮度分析指的是将获取的RGB域的图像矩阵转换到HSV空间，其转换公式如下：
Figure DEST_PATH_IMAGE006
（1）
Figure 100002_DEST_PATH_IMAGE007
（2）
v=max （3）
其中（r,g,b）是图像一个点的红、绿和蓝坐标，它们的值在0到1之间的实数，max为r、g和b中的最大值，min为r、g和b中的最小值。分别计算色域值h矩阵、饱和度值s矩阵和亮度值矩阵v的均值和方差作为色域-饱和度-亮度的特征信息表达。如本领域技术人员所理解的，也可以采用HSL空间来代替HSV空间，其中H表示色相、S表示饱和度、L表示明度。
在清晰度分析中，设数字图像矩阵值为a，计算a与5×5高斯卷积核的卷积值b。然后，计算a与b的最小均方差值MSE，计算MSE的峰值信噪比PSNR。这里，选用PSNR作为图像的清晰度指数。其计算公式如式（4）:
Figure DEST_PATH_IMAGE008
（4）。
如本领域技术人员所理解的，除采用峰值信噪比PSNR的描述方法之外，还可以采用Brenner、Tenengrad、Laplacian、SMD、SMD2等方法进行描述。
在纹理分析中，采用Sobel等检测算子或卷积核，对灰度图像边缘进行提取计算。如本领域技术人员所理解的，也可以采用Isotropic Sobel、Roberts、Prewit、Laplacian等算子进行处理。
在熵值分析中，设W、H为图像的长和宽，(i,j)为一个二元组，i表示某个滑动窗口内中心的灰度值，j为该窗口内除了中心像素的灰度均值。f(i,j)表示(i,j)这个二元组在整个图像中出现的次数，计算公式如下：
Figure 709330DEST_PATH_IMAGE003
（5）。
图4c示出了插值与归一化处理模块305的示意图。在对图像质量进行分析的预处理完成之后，为了模型能够取得更好的训练效果，需要对原始图像进行插值和归一化处理。其目的在于，一方面使不同大小的图像尺寸能够统一，以便于对网络进行训练。另一方面，使所有图像在量纲上统一，便于对图像的度量和计算。也就是说，插值与归一化模块的作用主要是对图像去量纲。具体地，首先，分别在图像的R、G、B三个通道上进行插值。本发明采用的是双线性插值，以便将图像统一到相同尺寸。本发明系统采用的是299×299（RGB）的尺寸。然后，将图像矩阵线性缩放到[-1，1]的范围内。如本领域技术人员所理解的，还可以采用邻近插值、样条插值等方法进行插值计算，替代方案可以采用诸如正态归一化的方式进行数据归一化。
图4d示出了待训练的深度学习网络308的示意图。将上述经插值和归一化处理后的数据发送给待训练的深度学习网络模块，并且结合医生或医学标注人员提供的标注信息（例如，为无关组织、镜头失焦模糊、白平衡失效、低信息图像、细胞褶皱重叠等）对图像的异常检测分类网络进行训练，以获取经过训练的深度学习网络模型。在一个实施例中，深度学习网络采用深度学习中的InceptionV3结构，通过随机梯度下降算法（SGD）对模型进行优化。最后对模型进行评估，选择符合指标的模型结果并保存。具体过程如下：
a. 建立深度学习深度学习网络InceptionV3结构；
b. 设定训练的优化函数（即梯度下降函数SGD），设定学习率和迭代次数；
c. 开始深度学习网络模型的训练，并检测学习率和迭代次数；
d. 选取验证集损失函数loss最小值所对应的模型，保存模型以便在测试时使用。
图4e示出了加载经训练的深度学习网络模型的示意图。在确认训练好之后，对模型进行加载，同时对需要进行异常分类检测的图像数据进行推断。利用经训练符合损失函数要求的模型的判断准确性，对相应图像进行过滤判断，从而实现显微镜病例图像的异常检测分类。具体地，（1）加载选定的模型，（2）输入处理好的图像数据集合，（3）输出结果并对照结果生成相应的结果标签，以及（4）按照标签保存，并归档数据。
关于图4d和4e中的模型训练与判断，在可替换实施例中，可以采用多种基于卷积神经网络的模型结构进行分类，其本质都是属于神经网络对图像进行特征提取、特征融合和特征判断，属于同一种方法。如本领域技术人员可以理解的，也可以采用SIFT、HOG等传统图像处理算法进行特征提取，采用诸如svm、mlp、adaboost等分类器进行分类处理，其本质上与本发明同属于机器学习分类算法。
图5示意性示出了根据本公开一个实施例对图像进行分类的方法500的流程图。在步骤501中，首先获取医学图像的数据集合。在一个实施例中，在读取医学数据集合之后，对所获取的医学图像的数据集合进行文件校验和解码。通过解码，将医学图像转换为数字图像矩阵。在步骤502中，对该医学图像的数据集合进行质量分析，以提取医学图像中的特征信息。质量分析具体可以包括关于色域-饱和度-亮度的分析、清晰度分析、纹理分析、熵值分析等中的一个或多个。具体参见图3中关于质量分析的描述。在一个实施例中，在上述质量分析之后，对医学图像数据集合进行差值和归一化处理。一方面使不同大小的图像尺寸能够统一，以便于对网络进行训练。另一方面，使所有图像在量纲上统一，便于对图像的度量和计算。也就是说，插值与归一化模块的作用主要是对图像去量纲。具体地，首先，分别在图像的R、G、B三个通道上进行插值。本发明采用的是双线性插值，以便将图像统一到相同尺寸。本发明系统采用的是299×299（RGB）的尺寸。然后，将图像矩阵线性缩放到[-1，1]的范围内。如本领域技术人员所理解的，还可以采用邻近插值、样条插值等方法进行插值计算，替代方案可以采用诸如正态归一化的方式进行数据归一化。在步骤503中，基于提取的所述特征信息，利用经预先训练的深度学习网络对所述医学图像进行分类，得到分类结果，该分类包括针对所述医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个。
图6示意性示出了根据本公开一个实施例对深度学习网络模型进行训练的方法600的流程图。在步骤601中，获取原始医学图像的数据集合以及相应原始图像标注信息集合。标注信息可以是医生或医学标注人员提供的，例如为无关组织、镜头失焦模糊、白平衡失效、低信息图像、细胞褶皱重叠等。在一个实施例中，在获取医学数据集合之后，对所获取的医学图像的数据集合进行文件校验和解码。通过解码，将医学图像转换为数字图像矩阵。在步骤602中，对原始医学图像的数据集合进行质量分析，提取所述原始医学图像的特征信息。质量分析具体可以包括关于色域-饱和度-亮度的分析、清晰度分析、纹理分析、熵值分析等。具体参见图3中关于质量分析的描述。在一个实施例中，在上述质量分析之后，对医学图像数据集合进行差值和归一化处理。一方面使不同大小的图像尺寸能够统一，以便于对网络进行训练。另一方面，使所有图像在量纲上统一，便于对图像的度量和计算。也就是说，插值与归一化模块的作用主要是对图像去量纲。具体地，首先，分别在图像的R、G、B三个通道上进行插值。本发明采用的是双线性插值，以便将图像统一到相同尺寸。本发明系统采用的是299×299（RGB）的尺寸。然后，将图像矩阵线性缩放到[-1，1]的范围内。如本领域技术人员所理解的，还可以采用邻近插值、样条插值等方法进行插值计算，替代方案可以采用诸如正态归一化的方式进行数据归一化。在步骤603中，基于提取的原始医学图像数据集合中的所述特征信息和原始图像标注信息集合对所述深度学习网络进行训练，得到深度学习网络模型。
图7示意性示出了根据本公开一个实施例对医学图像进行分类的服务器700的示意图。服务器700包括获取模块701、质量分析模块702和分类模块703。获取模块701被配置为获取所述医学图像的数据集合。质量分析模块702被配置为对所述医学图像的数据集合进行质量分析，提取所述医学图像的特征信息。质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个。分类模块703被配置为基于提取的所述特征信息，利用经预先训练的深度学习网络对所述医学图像进行分类，得到分类结果。分类包括针对所述医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个。
图8示意性示出了根据本公开一个实施例对深度学习网络模型进行训练的服务器800的示意图。服务器800包括获取模块801、质量分析模块802和训练模块803。获取模块801被配置为获取原始医学图像的数据集合以及相应原始图像标注信息集合。原始图像标注信息集合包括正常组织、无关组织、镜头失焦和白平衡失效的标签中的一个或多个。质量分析模块802被配置为对所述原始医学图像的数据集合进行质量分析，提取所述原始医学图像的特征信息。质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析中的一个或多个。训练模块803被配置为基于提取的原始医学图像数据集合中的所述特征信息和原始图像标注信息集合对所述深度学习网络进行训练，得到深度学习网络模型。
图9图示了示例系统900，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备910。计算设备910可以是例如服务提供商的服务器、与客户端（例如，客户端设备）相关联的设备、片上系统、和/或任何其他合适的计算设备或计算系统。上面关于图7用于对医学图像进行分类的服务器700或图8的用于用于对模型进行训练的服务器800可以采取计算设备910的形式。替换地，用于对医学图像进行分类的服务器700或图8的用于对模型进行训练的服务器800可以以医学图像分类应用916的形式被实现为计算机程序。
如图示的示例计算设备910包括彼此通信耦合的处理系统911、一个或多个计算机可读介质912以及一个或多个I/O接口913。尽管未示出，但是计算设备910还可以包括系统总线或其他数据和命令传送系统，其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合，所述总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。还构思了各种其他示例，诸如控制和数据线。
处理系统911代表使用硬件执行一个或多个操作的功能。因此，处理系统911被图示为包括可被配置为处理器、功能块等的硬件元件914。这可以包括在硬件中实现为专用集成电路或使用一个或多个半导体形成的其他逻辑器件。硬件元件914不受其形成的材料或其中采用的处理机构的限制。例如，处理器可以由（多个）半导体和/或晶体管（例如，电子集成电路（IC））组成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。
计算机可读介质912被图示为包括存储器/存储装置915。存储器/存储装置915表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置915可以包括易失性介质（诸如随机存取存储器（RAM））和/或非易失性介质（诸如只读存储器（ROM）、闪存、光盘、磁盘等）。存储器/存储装置915可以包括固定介质（例如，RAM、ROM、固定硬盘驱动器等）以及可移动介质（例如，闪存、可移动硬盘驱动器、光盘等）。计算机可读介质912可以以下面进一步描述的各种其他方式进行配置。
一个或多个I/O接口913代表允许用户向计算设备910输入命令和信息并且可选地还允许使用各种输入/输出设备将信息呈现给用户和/或其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备（例如，鼠标）、麦克风（例如，用于语音输入）、扫描仪、触摸功能（例如，被配置为检测物理触摸的容性或其他传感器）、相机（例如，可以采用可见或不可见的波长（诸如红外频率）将不涉及触摸的运动检测为手势）等等。输出设备的示例包括显示设备（例如，监视器或投影仪）、扬声器、打印机、网卡、触觉响应设备等。因此，计算设备910可以以下面进一步描述的各种方式进行配置以支持用户交互。
计算设备910还包括医学图像分类应用916。医学图像分类应用916可以例如是关于图7和8描述的用于对医学图像进行分类的服务器700或图8的用于用于对模型进行训练的服务器800的软件实例，并且与计算设备910中的其他元件相组合地实现本文描述的技术。
本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地，这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”，“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的，意味着这些技术可以在具有各种处理器的各种计算平台上实现。
所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备910访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
与单纯的信号传输、载波或信号本身相反，“计算机可读存储介质”是指能够持久存储信息的介质和/或设备，和/或有形的存储装置。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息（诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据）的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘（DVD）或其他光学存储装置、硬盘、盒式磁带、磁带，磁盘存储装置或其他磁存储设备，或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。
“计算机可读信号介质”是指被配置为诸如经由网络将指令发送到计算设备910的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其他传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指以这样的方式对信号中的信息进行编码来设置或改变其特征中的一个或多个的信号。作为示例而非限制，通信介质包括诸如有线网络或直接连线的有线介质以及诸如声、RF、红外和其他无线介质的无线介质。
如前所述，硬件元件914和计算机可读介质912代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）以及硅中的其他实现或其他硬件设备的组件。在这种上下文中，硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备，以及用于存储用于执行的指令的硬件设备，例如，先前描述的计算机可读存储介质。
前述的组合也可以用于实现本文所述的各种技术和模块。因此，可以将软件、硬件或程序模块和其他程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件914体现的一个或多个指令和/或逻辑。计算设备910可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，例如通过使用处理系统的计算机可读存储介质和/或硬件元件914，可以至少部分地以硬件来实现将模块实现为可由计算设备910作为软件执行的模块。指令和/或功能可以由一个或多个制品（例如，一个或多个计算设备910和/或处理系统911）可执行/可操作以实现本文所述的技术、模块和示例。
在各种实施方式中，计算设备910可以采用各种不同的配置。例如，计算设备910可以被实现为包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等的计算机类设备。计算设备910还可以被实现为包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备的移动装置类设备。计算设备910还可以实现为电视类设备，其包括具有或连接到休闲观看环境中的一般地较大屏幕的设备。这些设备包括电视、机顶盒、游戏机等。
本文描述的技术可以由计算设备910的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。功能还可以通过使用分布式系统、诸如通过如下所述的平台922而在“云”920上全部或部分地实现。
云920包括和/或代表用于资源924的平台922。平台922抽象云920的硬件（例如，服务器）和软件资源的底层功能。资源924可以包括在远离计算设备910的服务器上执行计算机处理时可以使用的应用和/或数据。资源924还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。
平台922可以抽象资源和功能以将计算设备910与其他计算设备连接。平台922还可以用于抽象资源的分级以提供遇到的对于经由平台922实现的资源924的需求的相应水平的分级。因此，在互连设备实施例中，本文描述的功能的实现可以分布在整个系统900内。例如，功能可以部分地在计算设备910上以及通过抽象云920的功能的平台922来实现。
应当理解，为清楚起见，参考不同的功能模块对本公开的实施例进行了描述。然而，将明显的是，在不偏离本公开的情况下，每个功能模块的功能性可以被实施在单个模块中、实施在多个模块中或作为其他功能模块的一部分被实施。例如，被说明成由单个模块执行的功能性可以由多个不同的模块来执行。因此，对特定功能模块的参考仅被视为对用于提供所描述的功能性的适当模块的参考，而不是表明严格的逻辑或物理结构或组织。因此，本公开可以被实施在单个模块中，或者可以在物理上和功能上被分布在不同的模块和电路之间。
将理解的是，尽管第一、第二、第三等术语在本文中可以用来描述各种设备、元件、或部件，但是这些设备、元件、或部件不应当由这些术语限制。这些术语仅用来将一个设备、元件、或部件与另一个设备、元件、或部件相区分。
尽管已经结合一些实施例描述了本公开，但是其不旨在被限于在本文中所阐述的特定形式。相反，本公开的范围仅由所附权利要求来限制。附加地，尽管单独的特征可以被包括在不同的权利要求中，但是这些可以可能地被有利地组合，并且包括在不同权利要求中不暗示特征的组合不是可行的和/或有利的。特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序。此外，在权利要求中，词“包括”不排除其他元件，并且不定冠词“一”或“一个”不排除多个。权利要求中的附图标记仅作为明确的例子被提供，不应该被解释为以任何方式限制权利要求的范围。

Claims (11)

1.一种用于智能显微镜TNM分期项目的医学图像分类方法，包括：
获取所述医学图像的数据集合；
对获取的所述医学图像的数据集合进行文件校验和解码，所述文件校验确认所述医学图像的数据集合可解析，并且所述解码将所述医学图像转换为数字图像矩阵；
对所述医学图像数据集合进行插值和归一化处理；
对所述医学图像的数据集合进行质量分析，提取所述医学图像的特征信息，所述质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析；
基于提取的所述特征信息，利用经预先训练的用于对所述医学图像进行异常检测分类的深度学习网络对所述医学图像进行分类，得到分类结果，所述分类包括针对所述医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个，
其中所述色域-饱和度-亮度分析将获取的所述医学图像的RGB空间中的红坐标r、绿坐标g、蓝坐标b值转换到HSV空间中，得到色域的特征信息h、饱和度的特征信息s和亮度的特征信息v；
所述清晰度分析计算数字矩阵的值a，对a与5×5的高斯卷积核进行卷积得到值c，基于a与c的最小均方差MSE值、通过下式计算所述医学图像的清晰度指数PSNR：
Figure 858242DEST_PATH_IMAGE002
所述纹理分析采用Sobel检验算子提取图像的灰度边缘；以及
所述熵值分析利用下式计算熵值
Figure DEST_PATH_IMAGE003
：
Figure DEST_PATH_IMAGE005
其中W为所述医学图像的长度，H为所述医学图像的宽度
Figure DEST_PATH_IMAGE007
表示（i，j）二元组在所述图像中出现的次数，i为滑动窗口内中心的灰度值，j为所述滑动窗口内除中心像素的灰度均值。
2.根据权利要求1所述的方法，其中所述深度学习网络选取Inception V3模型进行训练。
3.根据权利要求1所述的方法，其中所述插值包括双线性插值。
4.一种模型训练方法，所述模型用于智能显微镜TNM分期项目的医学图像分类，包括：
获取原始医学图像的数据集合以及相应原始图像标注信息集合，所述原始图像标注信息集合包括正常组织、无关组织、镜头失焦和白平衡失效的标签中的一个或多个；
对获取的所述医学图像的数据集合进行文件校验和解码，所述文件校验确认所述医学图像的数据集合可解析，并且所述解码将所述医学图像转换为数字图像矩阵；
对所述医学图像数据集合进行插值和归一化处理；
对所述原始医学图像的数据集合进行质量分析，提取所述原始医学图像的特征信息，所述质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析；
基于提取的原始医学图像数据集合中的所述特征信息和原始图像标注信息集合对用于对所述医学图像进行异常检测分类的深度学习网络进行训练，得到深度学习网络模型，
其中所述色域-饱和度-亮度分析将获取的所述医学图像的RGB空间中的红坐标r、绿坐标g、蓝坐标b值转换到HSV空间中，得到色域的特征信息h、饱和度的特征信息s和亮度的特征信息v；
所述清晰度分析计算数字矩阵的值a，对a与5×5的高斯卷积核进行卷积得到值c，基于a与c的最小均方差MSE值、通过下式计算所述医学图像的清晰度指数PSNR：
Figure DEST_PATH_IMAGE009
所述纹理分析采用Sobel检验算子提取图像的灰度边缘；以及
所述熵值分析利用下式计算熵值
Figure 211601DEST_PATH_IMAGE003
：
Figure DEST_PATH_IMAGE011
其中W为所述医学图像的长度，H为所述医学图像的宽度，
Figure 804387DEST_PATH_IMAGE007
表示（i，j）二元组在所述图像中出现的次数，i为滑动窗口内中心的灰度值，j为所述滑动窗口内除中心像素的灰度均值。
5.根据权利要求4所述的模型训练方法，对所述深度学习网络进行训练还包括：
建立深度学习网络结构；
设定训练优化函数、学习率和迭代次数；
开始对所述深度学习网络的训练，并监测损失函数；以及
选择所述损失函数最小时所对应的深度学习网络模型。
6.一种服务器，所述服务器用于智能显微镜TNM分期项目的医学图像分类，包括：
获取模块，被配置为获取所述医学图像的数据集合，对获取的所述医学图像的数据集合进行文件校验和解码，所述文件校验确认所述医学图像的数据集合可解析，并且所述解码将所述医学图像转换为数字图像矩阵，和对所述医学图像数据集合进行插值和归一化处理；
质量分析模块，被配置为对所述医学图像的数据集合进行质量分析，提取所述医学图像的特征信息，所述质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析；
分类模块，被配置为基于提取的所述特征信息，利用经预先训练的用于对所述医学图像进行异常检测分类的深度学习网络对所述医学图像进行分类，得到分类结果，所述分类包括针对所述医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个，
其中所述色域-饱和度-亮度分析将获取的所述医学图像的RGB空间中的红坐标r、绿坐标g、蓝坐标b值转换到HSV空间中，得到色域的特征信息h、饱和度的特征信息s和亮度的特征信息v；
所述清晰度分析计算数字矩阵的值a，对a与5×5的高斯卷积核进行卷积得到值c，基于a与c的最小均方差MSE值、通过下式计算所述医学图像的清晰度指数PSNR：
Figure DEST_PATH_IMAGE013
所述纹理分析采用Sobel检验算子提取图像的灰度边缘；以及
所述熵值分析利用下式计算熵值
Figure 261914DEST_PATH_IMAGE003
：
Figure DEST_PATH_IMAGE015
其中W为所述医学图像的长度，H为所述医学图像的宽度，
Figure 76286DEST_PATH_IMAGE007
表示（i，j）二元组在所述图像中出现的次数，i为滑动窗口内中心的灰度值，j为所述滑动窗口内除中心像素的灰度均值。
7.一种服务器，所述服务器用于智能显微镜TNM分期项目的医学图像分类，包括：
获取模块，被配置为获取原始医学图像的数据集合以及相应原始图像标注信息集合，所述原始图像标注信息集合包括正常组织、无关组织、镜头失焦和白平衡失效的标签中的一个或多个，对获取的所述医学图像的数据集合进行文件校验和解码，所述文件校验确认所述医学图像的数据集合可解析，并且所述解码将所述医学图像转换为数字图像矩阵，和对所述医学图像数据集合进行插值和归一化处理；
质量分析模块，被配置为对所述原始医学图像的数据集合进行质量分析，提取所述原始医学图像的特征信息，所述质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析；
训练模块，被配置为基于提取的原始医学图像数据集合中的所述特征信息和原始图像标注信息集合对用于对所述医学图像进行异常检测分类的深度学习网络进行训练，得到深度学习网络模型，
其中所述色域-饱和度-亮度分析将获取的所述医学图像的RGB空间中的红坐标r、绿坐标g、蓝坐标b值转换到HSV空间中，得到色域的特征信息h、饱和度的特征信息s和亮度的特征信息v；
所述清晰度分析计算数字矩阵的值a，对a与5×5的高斯卷积核进行卷积得到值c，基于a与c的最小均方差MSE值、通过下式计算所述医学图像的清晰度指数PSNR：
Figure DEST_PATH_IMAGE017
所述纹理分析采用Sobel检验算子提取图像的灰度边缘；以及
所述熵值分析利用下式计算熵值
Figure 227911DEST_PATH_IMAGE003
：
Figure DEST_PATH_IMAGE019
其中W为所述医学图像的长度，H为所述医学图像的宽度，
Figure 557261DEST_PATH_IMAGE007
表示（i，j）二元组在所述图像中出现的次数，i为滑动窗口内中心的灰度值，j为所述滑动窗口内除中心像素的灰度均值。
8.一种医学图像处理系统，其中所述医学图像分类系统包括图像获取设备和图像处理设备；
所述图像获取设备用于扫描医学图像，并向所述医学处理设备发送所述医学图像；
所述图像处理设备用于智能显微镜TNM分期项目的医学图像分类，和执行下述操作：
获取所述医学图像的数据集合；
对获取的所述医学图像的数据集合进行文件校验和解码，所述文件校验确认所述医学图像的数据集合可解析，并且所述解码将所述医学图像转换为数字图像矩阵；
对所述医学图像数据集合进行插值和归一化处理；
对所述医学图像的数据集合进行质量分析，提取所述医学图像的特征信息，所述质量分析包括色域-饱和度-亮度分析、清晰度分析、纹理分析和熵值分析；
基于提取的所述特征信息，利用经预先训练的用于对所述医学图像进行异常检测分类的深度学习网络对所述医学图像进行分类，得到分类结果，所述分类包括针对所述医学图像是否为正常组织、无关组织、镜头失焦、白平衡失效进行分类中的一个或多个，
其中所述色域-饱和度-亮度分析将获取的所述医学图像的RGB空间中的红坐标r、绿坐标g、蓝坐标b值转换到HSV空间中，得到色域的特征信息h、饱和度的特征信息s和亮度的特征信息v；
所述清晰度分析计算数字矩阵的值a，对a与5×5的高斯卷积核进行卷积得到值c，基于a与c的最小均方差MSE值、通过下式计算所述医学图像的清晰度指数PSNR：
Figure DEST_PATH_IMAGE021
所述纹理分析采用Sobel检验算子提取图像的灰度边缘；以及
所述熵值分析利用下式计算熵值
Figure 569211DEST_PATH_IMAGE003
：
Figure DEST_PATH_IMAGE023
其中W为所述医学图像的长度，H为所述医学图像的宽度，
Figure 238089DEST_PATH_IMAGE007
表示（i，j）二元组在所述图像中出现的次数，i为滑动窗口内中心的灰度值，j为所述滑动窗口内除中心像素的灰度均值。
9.根据权利要求8所述的医学图像处理系统，其中所述图像处理设备用于执行的操作还包括：
在进行所述质量分析之前，对获取的所述医学图像的数据集合进行文件校验和解码，所述文件校验确认所述医学图像的数据集合可解析，并且所述解码将所述医学图像转换为数字图像矩阵。
10.根据权利要求9所述的医学图像处理系统，其中所述图像处理设备用于执行的操作还包括：
在对所述医学图像进行分类之前，对所述医学图像数据集合进行插值和归一化处理。
11.根据权利要求9所述的医学图像处理系统，其中所述图像处理设备用于执行的操作还包括：
所述深度学习网络选取Inception V3模型进行训练。
CN201910721287.XA 2019-06-21 2019-06-21 一种医学图像的分类方法、模型训练方法和服务器 Active CN110428475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910721287.XA CN110428475B (zh) 2019-06-21 2019-06-21 一种医学图像的分类方法、模型训练方法和服务器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910721287.XA CN110428475B (zh) 2019-06-21 2019-06-21 一种医学图像的分类方法、模型训练方法和服务器
CN201910543018.9A CN110232719B (zh) 2019-06-21 2019-06-21 一种医学图像的分类方法、模型训练方法和服务器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910543018.9A Division CN110232719B (zh) 2019-06-21 2019-06-21 一种医学图像的分类方法、模型训练方法和服务器

Publications (2)

Publication Number Publication Date
CN110428475A CN110428475A (zh) 2019-11-08
CN110428475B true CN110428475B (zh) 2021-02-05

Family

ID=67857144

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910543018.9A Active CN110232719B (zh) 2019-06-21 2019-06-21 一种医学图像的分类方法、模型训练方法和服务器
CN201910721287.XA Active CN110428475B (zh) 2019-06-21 2019-06-21 一种医学图像的分类方法、模型训练方法和服务器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910543018.9A Active CN110232719B (zh) 2019-06-21 2019-06-21 一种医学图像的分类方法、模型训练方法和服务器

Country Status (3)

Country Link
US (1) US11954852B2 (zh)
CN (2) CN110232719B (zh)
WO (1) WO2020253773A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232719B (zh) 2019-06-21 2021-10-26 腾讯科技（深圳）有限公司 一种医学图像的分类方法、模型训练方法和服务器
CN110852384B (zh) * 2019-11-12 2023-06-27 武汉联影医疗科技有限公司 医学影像质量检测方法、装置和存储介质
CN110838116B (zh) * 2019-11-14 2023-01-03 上海联影医疗科技股份有限公司 医学图像采集方法、装置、设备和计算机可读存储介质
DE102019130930A1 (de) * 2019-11-15 2021-05-20 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren mit Ausführen eines faltenden neuronalen Netzes
US11545255B2 (en) * 2019-12-20 2023-01-03 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for classifying an anomaly medical image using variational autoencoder
CN110992360B (zh) * 2019-12-24 2024-01-23 北京安兔兔科技有限公司 设备性能测试方法、装置及电子设备
CN111160238A (zh) * 2019-12-27 2020-05-15 上海杏脉信息科技有限公司 显微图像质量分析方法、训练方法、系统、设备及介质
CN111310793B (zh) * 2020-01-17 2024-01-05 南方科技大学 一种医学图像分类方法、装置、移动终端及介质
CN111311545A (zh) * 2020-01-19 2020-06-19 上海箱云物流科技有限公司 集装箱检测方法、装置及计算机可读存储介质
CN111312372A (zh) * 2020-02-26 2020-06-19 广州金域医学检验中心有限公司 医学图像标准测试数据集的建立方法及装置
CN111369523B (zh) * 2020-03-02 2023-07-25 上海杏脉信息科技有限公司 显微图像中细胞堆叠的检测方法、系统、设备及介质
CN111523593B (zh) * 2020-04-22 2023-07-21 北京康夫子健康技术有限公司 用于分析医学影像的方法和装置
CN111626203B (zh) * 2020-05-27 2021-11-16 北京伟杰东博信息科技有限公司 一种基于机器学习的铁路异物识别方法及系统
CN111860143B (zh) * 2020-06-10 2022-08-02 北京航空航天大学 一种面向巡检机器人的火焰实时检测方法
CN112784923A (zh) * 2021-02-07 2021-05-11 重庆渝抗医药科技有限公司 大数据环境下医疗异常影像的分类方法
CN113139935A (zh) * 2021-03-30 2021-07-20 宁波市眼科医院 裂隙灯图片质量监控系统
CN112990335B (zh) * 2021-03-31 2021-10-15 江苏方天电力技术有限公司 一种电网无人机巡检影像缺陷智能识别自学习训练方法、系统
CN113160167B (zh) * 2021-04-16 2022-01-14 深圳市铱硙医疗科技有限公司 通过深度学习网络模型进行医学影像数据提取工作方法
CN113160166B (zh) * 2021-04-16 2022-02-15 宁波全网云医疗科技股份有限公司 通过卷积神经网络模型进行医学影像数据挖掘工作方法
CN113297554A (zh) * 2021-05-21 2021-08-24 陕西合友网络科技有限公司 一种基于智能终端的用户权限管理系统及其管理方法
CN113313203B (zh) * 2021-06-22 2022-11-01 哈尔滨工程大学 一种基于可拓理论和深度学习的医学图像分类方法
CN113380381A (zh) * 2021-07-13 2021-09-10 深圳市中科微光医疗器械技术有限公司 获取医学诊断信息的方法、装置、电子设备及存储介质
CN114494238A (zh) * 2021-08-26 2022-05-13 深圳科亚医疗科技有限公司 一种病理图像的训练集处理方法和系统
CN113744845A (zh) * 2021-09-17 2021-12-03 平安好医投资管理有限公司 基于人工智能的医学影像处理方法、装置、设备及介质
CN114242209B (zh) * 2021-11-02 2024-07-05 深圳市智影医疗科技有限公司 一种医学图像预处理方法及系统
CN114550078A (zh) * 2022-01-11 2022-05-27 广州高新兴机器人有限公司 火焰目标检测方法、电子设备、存储介质
CN114881929A (zh) * 2022-04-07 2022-08-09 北京医准智能科技有限公司 一种针对乳腺x线图像整体性质量异常的检测方法及装置
CN115148323B (zh) * 2022-09-06 2022-12-20 北京鹰瞳科技发展股份有限公司 基于医学图像进行疾病预测的装置、方法和可读存储介质
CN115205952B (zh) * 2022-09-16 2022-11-25 深圳市企鹅网络科技有限公司 一种基于深度学习的线上学习图像采集方法及系统
CN115995289B (zh) * 2023-03-20 2023-06-30 福建自贸试验区厦门片区Manteia数据科技有限公司 基于神经网络模型对医学图像的勾画方法和装置
CN116055900B (zh) * 2023-03-30 2023-06-09 北京城建智控科技股份有限公司 一种基于摄像装置的图像质量修正方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581672B (zh) * 2012-08-06 2018-09-04 深圳市腾讯计算机系统有限公司 一种数据传输方法及设备
CN105100789B (zh) * 2015-07-22 2018-05-15 天津科技大学 一种视频质量评价方法
CN106651834A (zh) * 2016-10-20 2017-05-10 国网山东省电力公司电力科学研究院 无参考图像的变电设备红外热像图质量评价方法及装置
CN107066934A (zh) * 2017-01-23 2017-08-18 华东交通大学 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
US10303965B2 (en) * 2017-03-06 2019-05-28 Siemens Healthcare Gmbh Defective pixel identification using machine learning
CN106991439A (zh) * 2017-03-28 2017-07-28 南京天数信息科技有限公司 基于深度学习与迁移学习的图像识别方法
IL253532B (en) * 2017-07-17 2021-12-01 Au10Tix Ltd System, method and computer software product for analyzing images in JPEG format for forensic and other purposes
CN107862249B (zh) * 2017-10-18 2021-08-17 太原理工大学 一种分叉掌纹识别方法及装置
CN107729948A (zh) * 2017-10-31 2018-02-23 京东方科技集团股份有限公司 图像处理方法及装置、计算机产品和存储介质
CN108198171A (zh) * 2017-12-27 2018-06-22 大连理工大学 一种基于服务器表面热状态的运行状态诊断的方法
CN108364017B (zh) * 2018-01-24 2019-11-05 华讯方舟科技有限公司 一种图像质量分类方法、系统及终端设备
CN108615236A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种图像处理方法及电子设备
US11011265B2 (en) * 2018-06-28 2021-05-18 Case Western Reserve University Predicting prostate cancer risk of progression with multiparametric magnetic resonance imaging using machine learning and peritumoral radiomics
CN109118442B (zh) * 2018-07-20 2021-08-03 湖北工业大学 一种基于Sobel算子滤波的图像增强方法
CN109544503B (zh) * 2018-10-15 2020-12-01 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US11471096B2 (en) * 2018-10-25 2022-10-18 The Chinese University Of Hong Kong Automatic computerized joint segmentation and inflammation quantification in MRI
CN109522960A (zh) * 2018-11-21 2019-03-26 泰康保险集团股份有限公司 图像评估方法、装置、电子设备及计算机可读介质
CN109815965B (zh) * 2019-02-13 2021-07-06 腾讯科技（深圳）有限公司 一种图像过滤方法、装置及存储介质
CN110232719B (zh) * 2019-06-21 2021-10-26 腾讯科技（深圳）有限公司 一种医学图像的分类方法、模型训练方法和服务器

Also Published As

Publication number Publication date
WO2020253773A1 (zh) 2020-12-24
US11954852B2 (en) 2024-04-09
US20210343012A1 (en) 2021-11-04
CN110232719B (zh) 2021-10-26
CN110232719A (zh) 2019-09-13
CN110428475A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110428475B (zh) 一种医学图像的分类方法、模型训练方法和服务器
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
US11935644B2 (en) Deep learning automated dermatopathology
Xu et al. FFU‐Net: Feature Fusion U‐Net for Lesion Segmentation of Diabetic Retinopathy
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
Bhardwaj et al. Diabetic retinopathy severity grading employing quadrant‐based Inception‐V3 convolution neural network architecture
Tennakoon et al. Image quality classification for DR screening using convolutional neural networks
US11348349B2 (en) Training data increment method, electronic apparatus and computer-readable medium
Sulam et al. Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets.
Khan et al. A computer-aided diagnostic system to identify diabetic retinopathy, utilizing a modified compact convolutional transformer and low-resolution images to reduce computation time
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
US9538920B2 (en) Standalone annotations of axial-view spine images
Nie et al. Specular reflections detection and removal for endoscopic images based on brightness classification
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN117523350A (zh) 基于多模态特征的口腔影像识别方法、系统及电子设备
Arzhaeva et al. Global and local multi-valued dissimilarity-based classification: application to computer-aided detection of tuberculosis
Bardosi et al. Metacarpal bones localization in x-ray imagery using particle filter segmentation
Liu et al. Ensemble Learning with multiclassifiers on pediatric hand radiograph segmentation for bone age assessment
US20210004954A1 (en) Neural network-type image processing device, appearance inspection apparatus and appearance inspection method
Wan et al. Retinal Blood Vessels Segmentation With Improved SE‐UNet Model
Draganova et al. Model of Software System for automatic corn kernels Fusarium (spp.) disease diagnostics
US11798159B2 (en) Systems and methods for radiology image classification from noisy images
CN111179226A (zh) 视野图的识别方法、装置及计算机存储介质
CN113239978B (zh) 医学图像预处理模型与分析模型的相关方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191108

Assignee: Shenzhen Mindray Bio-Medical Electronics Co.,Ltd.

Assignor: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Contract record no.: X2021980004088

Denomination of invention: A medical image classification method, model training method and server

Granted publication date: 20210205

License type: Common License

Record date: 20210527