CN110853009A - 基于机器学习的视网膜病理图像分析系统 - Google Patents

基于机器学习的视网膜病理图像分析系统 Download PDF

Info

Publication number
CN110853009A
CN110853009A CN201911094689.8A CN201911094689A CN110853009A CN 110853009 A CN110853009 A CN 110853009A CN 201911094689 A CN201911094689 A CN 201911094689A CN 110853009 A CN110853009 A CN 110853009A
Authority
CN
China
Prior art keywords
image
nerve fiber
fiber layer
pixels
cell nucleus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911094689.8A
Other languages
English (en)
Other versions
CN110853009B (zh
Inventor
黄卉
刘玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Endpoint Pharmaceutical Research And Development Co Ltd
Original Assignee
Beijing Endpoint Pharmaceutical Research And Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Endpoint Pharmaceutical Research And Development Co Ltd filed Critical Beijing Endpoint Pharmaceutical Research And Development Co Ltd
Priority to CN201911094689.8A priority Critical patent/CN110853009B/zh
Publication of CN110853009A publication Critical patent/CN110853009A/zh
Application granted granted Critical
Publication of CN110853009B publication Critical patent/CN110853009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于机器学习的视网膜病理图像分析系统，包括：视网膜原始图像样本获取模块、图像灰度化处理模块、直方图规定化模块、图像归一化模块、神经纤维层标记模块、细胞核标记模块、图像切割模块、神经纤维层网络训练模块、细胞核网络训练模块、神经纤维层预测模块和细胞核预测模块。本发明提供的基于机器学习的视网膜病理图像分析系统具有以下优点：本发明提供的基于机器学习的视网膜病理图像分析系统，人工参与量较小，适用于大样本量分析，并具有识别速度快以及识别准确度高的优点，具备更有效的定量分析与实际应用前景。

Description

基于机器学习的视网膜病理图像分析系统
技术领域
本发明属于生物医药与计算机结合技术领域，具体涉及一种基于机器学习的视网膜病理图像分析系统。
背景技术
视网膜病变的原因有很多，包括视网膜血管性病变、视网膜先天发育异常、视网膜循环障碍，以及视网膜血管炎等。临床上，视网膜病变的疾病种类众多，包括视网膜血管异常性疾病、糖尿病视网膜病变、动脉硬化与高血压性视网膜病变、全身病引起的视网膜血管病变、视网膜血管瘤、创伤性血管性视网膜病变、中毒及放射性视网膜病变和脉络膜病变、血管瘤，以及各种退行性病变等。
现有技术中，OCT对视网膜成像后，与视网膜病变相关的视网膜参数只能由医生通过肉眼观察得到，对医生的个人经验依赖较大，无统一客观、准确的检测结果，从而影响了眼科临床诊断的准确性。同样的，在进行动物视网膜病理研究时，现有技术是将动物视网膜制备为HE染色切片，通过病理老师人工判读的方式进行病理变化的判断，主观性强，不同的病理老师阅片结果有差异，且无法做到定量分析。
发明人申请的专利名称为一种基于图像识别的视网膜病变定量分析系统的发明专利，虽然可以实现对视网膜图像进行定量分析的效果，但该分析系统，是基于小样本量的定量分析系统，对未知的视网膜图像的分析速度较低，不适用于对大量视网膜图像进行病理分析。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于机器学习的视网膜病理图像分析系统，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于机器学习的视网膜病理图像分析系统，包括：
视网膜原始图像样本获取模块，用于获取n个视网膜原始图像样本；其中，所述视网膜原始图像样本尺寸为1024像素×1360像素；n为自然数；
图像灰度化处理模块，用于分别对n个视网膜原始图像样本进行图像灰度化处理，得到n个视网膜灰度图像样本；
直方图规定化模块，用于从n个视网膜灰度图像样本中，选取一张最佳的视网膜灰度图像样本作为目标视网膜灰度图像样本；然后，根据目标视网膜灰度图像样本的像素值的分布，计算得到对应的目标灰度直方图；
对于其他n-1个视网膜灰度图像样本，分别得到对应的n-1个灰度直方图；
将所述目标灰度直方图作为模板直方图，采用直方图规定化方法，分别对n-1个灰度直方图进行直方图匹配，得到n-1个直方图规定化后的灰度直方图；
图像归一化模块，用于对所述目标灰度直方图以及n-1个直方图规定化后的灰度直方图，进行像素归一化处理，得到n个归一化后的视网膜图像样本；其中，所述归一化后的视网膜图像样本尺寸为1024像素×1360像素；
神经纤维层标记模块，对每一个所述归一化后的视网膜图像样本，均进行神经纤维层标记，将属于神经纤维层的区域标记为1，用白色像素点显示；将其余非神经纤维层区域标记为0，用黑色像素点显示，由此得到n个神经纤维层标记后的图像样本；
细胞核标记模块，对每一个所述归一化后的视网膜图像样本，均进行细胞核标记，将视网膜图像样本中所有细胞核区域标记为1，用白色像素点显示；将其余非细胞核区域标记为0，用黑色像素点显示，由此得到n个细胞核标记后的图像样本；
图像切割模块，对于n个归一化后的视网膜图像样本、n个神经纤维层标记后的图像样本和n个细胞核标记后的图像样本，尺寸均为1024像素×1360像素；将3n张图像样本中的每张图像样本，均采用以下方式处理：
将尺寸为1024像素×1360像素的图像样本，以图像样本左侧为起点，切割得到一张尺寸为1024像素×1024像素的左图像样本；再以图像样本右侧为起点，切割得到一张尺寸为1024像素×1024像素的右图像样本；将左图像样本进行双线性下采样处理，得到512像素×512像素的图像样本；将右图像样本进行双线性下采样处理，得到512像素×512像素的图像样本；
经过以上处理，3n张尺寸为1024像素×1360像素的图像样本，转换为6n张尺寸为512像素×512像素的图像样本，包括2n张尺寸为512像素×512像素的归一化后的视网膜图像样本、2n张尺寸为512像素×512像素的神经纤维层标记后的图像样本以及2n张尺寸为512像素×512像素的细胞核标记后的图像样本；其中，2n张尺寸为512像素×512像素的归一化后的视网膜图像样本，组成集合H1；2n张尺寸为512像素×512像素的神经纤维层标记后的图像样本，组成集合H2；2n张尺寸为512像素×512像素的细胞核标记后的图像样本，组成集合H3；
神经纤维层网络构建模块，用于构建得到神经纤维层全卷积神经网络；
神经纤维层网络训练模块，用于对所述神经纤维层网络构建模块构建到的神经纤维层全卷积神经网络进行训练，对所述神经纤维层全卷积神经网络的权重进行优化，得到训练好的神经纤维层全卷积神经网络；
其中，对所述神经纤维层全卷积神经网络进行训练时，输入图像样本为：从集合H1中随机选择一张尺寸为512像素×512像素的归一化后的视网膜图像样本，以及从集合H2中选择的，与随机选择的归一化后的视网膜图像样本对应的尺寸为512像素×512像素的神经纤维层标记后的图像样本；输出为神经纤维层概率图；所述神经纤维层概率图是尺寸为512像素×512像素的概率矩阵，概率矩阵中每一个数值表示对应的像素点属于神经纤维层的概率；
细胞核网络构建模块，用于构建得到细胞核全卷积神经网络；
细胞核网络训练模块，用于对所述细胞核网络构建模块构建到的细胞核全卷积神经网络进行训练，对所述细胞核全卷积神经网络的权重进行优化，得到训练好的细胞核全卷积神经网络；
其中，对所述细胞核全卷积神经网络进行训练时，输入图像样本为：从集合H1中随机选择一张尺寸为512像素×512像素的归一化后的视网膜图像样本，以及从集合H3中选择的，与随机选择的归一化后的视网膜图像样本对应的尺寸为512像素×512像素的细胞核标记后的图像样本；输出为细胞核概率图；所述细胞核概率图是尺寸为512像素×512像素的概率矩阵，概率矩阵中每一个数值表示对应的像素点属于细胞核的概率；
被测视网膜原始图像采集模块，用于采集需要进行视网膜病理图像分析的视网膜原始图像；
被测视网膜图像处理模块，用于对所述被测视网膜原始图像采集模块采集到的视网膜原始图像依次进行图像灰度化处理、直方图规定化处理和图像归一化处理，得到尺寸为1024像素×1360像素的归一化被测图像；再对所述归一化被测图像进行图像切割，得到两张尺寸为1024像素×1024像素的被测图像；对于得到的每张1024像素×1024像素的被测图像，均进行双线性下采样处理处理，由此得到两张512像素×512像素的被测图像；将得到的两张512像素×512像素的被测图像分别称为第1-1被测图像和第2-1被测图像；
神经纤维层预测模块，用于将所述第1-1被测图像依次旋转90度、180度和270度，分别得到第1-2被测图像、第1-3被测图像和第1-4被测图像；然后，分别将所述第1-1被测图像、第1-2被测图像、第1-3被测图像和第1-4被测图像输入到所述训练好的神经纤维层全卷积神经网络中，经所述训练好的神经纤维层全卷积神经网络的预测，分别得到第1-1神经纤维层概率图、第1-2神经纤维层概率图、第1-3神经纤维层概率图和第1-4神经纤维层概率图；然后，将所述第1-1神经纤维层概率图、所述第1-2神经纤维层概率图、所述第1-3神经纤维层概率图和所述第1-4神经纤维层概率图取平均，得到第1神经纤维层概率图；
同样，将所述第2-1被测图像依次旋转90度、180度和270度，分别得到第2-2被测图像、第2-3被测图像和第2-4被测图像；然后，分别将所述第2-1被测图像、第2-2被测图像、第2-3被测图像和第2-4被测图像输入到所述训练好的神经纤维层全卷积神经网络中，经所述训练好的神经纤维层全卷积神经网络的预测，分别得到第2-1神经纤维层概率图、第2-2神经纤维层概率图、第2-3神经纤维层概率图和第2-4神经纤维层概率图；然后，将所述第2-1神经纤维层概率图、所述第2-2神经纤维层概率图、所述第2-3神经纤维层概率图和所述第2-4神经纤维层概率图取平均，得到第2神经纤维层概率图；
神经纤维层概率图双线性插值模块，所述第1神经纤维层概率图和所述第2神经纤维层概率图均为512像素×512像素；将第1神经纤维层概率图进行双线性插值处理，得到尺寸为1024像素×1024像素的第1F神经纤维层概率图；将第2神经纤维层概率图进行双线性插值处理，得到尺寸为1024像素×1024像素的第2F神经纤维层概率图；
神经纤维层概率图合并处理模块，用于将第1F神经纤维层概率图和第2F神经纤维层概率图进行合并处理，得到尺寸为1024像素×1360像素的神经纤维层最终识别概率图；其中，合并处理方式为：使第2F神经纤维层概率图位于第1F神经纤维层概率图的正右侧，并且，第2F神经纤维层概率图的左边界到第1F神经纤维层概率图的左边界的距离为12像素点；对于第2F神经纤维层概率图和第1F神经纤维层概率图非重叠区域，直接选取对应概率图的神经纤维层的概率值；对于第2F神经纤维层概率图和第1F神经纤维层概率图重叠区域，选取概率值大的神经纤维层的概率值，作为处理后的神经纤维层的概率值；
神经纤维层二值图处理模块，用于将所述神经纤维层最终识别概率图进行二值化处理，即：将高于二值化阈值的神经纤维层的概率值，作为目标区域；将低于二值化阈值的神经纤维层的概率值，作为背景区域，由此得到神经纤维层二值图；
神经纤维层形态学处理模块，用于对所述神经纤维层二值图进行形态学处理，得到处理后的神经纤维层分割图像；
细胞核预测模块，用于将所述第1-1被测图像依次旋转90度、180度和270度，分别得到第1-2被测图像、第1-3被测图像和第1-4被测图像；然后，分别将所述第1-1被测图像、第1-2被测图像、第1-3被测图像和第1-4被测图像输入到所述训练好的细胞核全卷积神经网络中，经所述训练好的细胞核全卷积神经网络的预测，分别得到第1-1细胞核概率图、第1-2细胞核概率图、第1-3细胞核概率图和第1-4细胞核概率图；然后，将所述第1-1细胞核概率图、所述第1-2细胞核概率图、所述第1-3细胞核概率图和所述第1-4细胞核概率图取平均，得到第1细胞核概率图；
同样，将所述第2-1被测图像依次旋转90度、180度和270度，分别得到第2-2被测图像、第2-3被测图像和第2-4被测图像；然后，分别将所述第2-1被测图像、第2-2被测图像、第2-3被测图像和第2-4被测图像输入到所述训练好的细胞核全卷积神经网络中，经所述训练好的细胞核全卷积神经网络的预测，分别得到第2-1细胞核概率图、第2-2细胞核概率图、第2-3细胞核概率图和第2-4细胞核概率图；然后，将所述第2-1细胞核概率图、所述第2-2细胞核概率图、所述第2-3细胞核概率图和所述第2-4细胞核概率图取平均，得到第2细胞核概率图；
细胞核概率图双线性插值模块，所述第1细胞核概率图和所述第2细胞核概率图均为512像素×512像素；分别对所述第1细胞核概率图和所述第2细胞核概率图进行双线性插值处理，得到尺寸为1024像素×1024像素的第1G细胞核概率图和第2G细胞核概率图；
细胞核概率图合并处理模块，用于将第1G细胞核概率图和第2G细胞核概率图进行合并处理，得到尺寸为1024像素×1360像素的细胞核最终识别概率图；
细胞核二值图处理模块，用于将所述细胞核最终识别概率图进行二值化处理，即：将高于二值化阈值的细胞核的概率值，作为目标区域；将低于二值化阈值的细胞核的概率值，作为背景区域，由此得到细胞核二值图；
细胞核形态学处理模块，用于对所述细胞核二值图进行形态学处理，得到处理后的细胞核分割图像；
神经纤维层内细胞核识别模块，用于将所述神经纤维层形态学处理模块处理到的神经纤维层分割图像，与所述细胞核形态学处理模块处理到的细胞核分割图像进行叠加处理，在细胞核形态学处理模块处理到的细胞核分割图像中标记出神经纤维层，则位于神经纤维层内的细胞核，即为识别到的神经纤维层内细胞核；
量化分析模块，用于根据神经纤维层形态学处理模块识别到的神经纤维层，计算神经纤维层面积S总和神经纤维层下界长度L；
根据神经纤维层内细胞核识别模块识别到的神经纤维层内细胞核，计算得到神经纤维层细胞核数量A和神经纤维层细胞核总面积SA；
然后，根据水肿指数EI＝S总/L，计算得到水肿指数EI；
根据细胞增生指数HI＝A/S总，计算得到细胞增生指数HI；
根据皱缩指数SI＝SA/A，计算得到皱缩指数SI；
量化分析结果输出模块，用于输出视网膜病变定量分析参数，包括：神经纤维功能层细胞核数量A、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数EI、细胞增生指数HI和皱缩指数SI。
优选的，细胞核标记模块具体用于，采用自适应阈值的方式，对细胞核标记，步骤如下：
步骤1，确定自适应阈值θ的取值；
步骤1.1，通过设定的初始的自适应阈值θ，将图像中像素分为两类，第一类为像素大于等于自适应阈值θ的像素点的集合，用C1表示；第二类为像素小于自适应阈值θ的像素点的集合，用C2表示；
步骤1.2，计算集合C1中像素点的灰度均值μ1和灰度方差σ1 2；计算集合C2中像素点的灰度均值μ2和灰度方差σ2 2；
计算集合C1和集合C2中所有像素点的总体灰度均值μ；
设集合C1中像素点数量为n1；集合C2中像素点数量为n1；则集合C1中像素点比例p1＝n1/(n1+n2)；集合C2中像素点比例p2＝n2/(n1+n2)；
步骤1.3，采用下式分别计算类间方差σb 2与类内方差σm 2：
σb 2＝p1(μ1-μ)2+p2(μ2-μ)2
σm 2＝p1σ1 2+p2σ2 2
步骤1.4，计算比值
Figure BDA0002267949070000081
步骤1.5，设定自适应阈值θ的所有可选整数值，即像素值为0-255的整数值；对于每一个整数值，均采用步骤1.1-步骤1.4的方法，计算得到比值A；选取比值A最大时所对应的自适应阈值θ，即为最终确定的自适应阈值θ；
步骤2，对于所述归一化后的视网膜图像样本，将像素值低于自适应阈值θ的像素点标记为1，用白色像素点显示；将像素值高于自适应阈值θ的像素点标记为0，用黑色像素点显示，由此得到细胞核标记后的图像样本。
优选的，所述神经纤维层网络构建模块，构建得到的神经纤维层全卷积神经网络，与所述细胞核网络构建模块构建得到的细胞核全卷积神经网络，网络结构相同，均包括下采样子网络、上采样子网络和跨层连接结构；
其中，上采样子网络通过多个残差层和步长为2的2×2大小的最大池化层提取语义特征，每个残差层由5个3×3卷积层、1个批标准化层和1个校正线性单元激活组成；同时，将残差层中第四卷积层的输出加入到第二卷积层的输入，并传入下一层残差层中；
所述下采样子网络通过反卷积层和残差层恢复图像空间分辨率，并在相同特征层级之间引入跨层连接，最后一层为1×1卷积层，该卷积层将输出信道的数目减少到类标签的数目，从而通过sigmoid函数生成相应的概率图，其中概率图是与原图等大小的概率矩阵，概率矩阵中每一个数值表示该点属于神经纤维层的概率。
优选的，在对神经纤维层全卷积神经网络和细胞核全卷积神经网络进行网络训练时，优化参数分别为：学习率为0.001，第一指数衰减率β1为0.9，第二指数衰减率β2为0.999，epsilon为10-8，并选择二值交叉熵作为损失函数。
优选的，神经纤维层二值图处理模块和细胞核二值图处理模块采用的二值化阈值为0.5。
本发明提供的基于机器学习的视网膜病理图像分析系统具有以下优点：
本发明提供的基于机器学习的视网膜病理图像分析系统，人工参与量较小，适用于大样本量分析，并具有识别速度快以及识别准确度高的优点，具备更有效的定量分析与实际应用前景。
附图说明
图1为本发明提供的基于机器学习的视网膜病理图像分析系统的结构示意图；
图2为图像灰度化处理后的示意图；
图3为直方图规定化处理后的示意图；
图4为图像切割模块的切割原理图；
图5为构建得到的全卷积神经网络的示意图；
图6为神经纤维层内细胞核识别的原理图；
图7为应用分水岭算法前的细胞核识别结果图；
图8为应用分水岭算法后的细胞核识别结果图；
图9为原始图像的灰度图；
图10为对图9进行神经纤维层识别后输出的神经纤维层概率图；
图11为对图9进行细胞核识别后输出的细胞核概率图；
图12为最终识别到的神经纤维层和细胞核的结果图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于机器学习的视网膜病理图像分析系统，是将计算机及人工智能方法用于生物医药领域中病理图像分析的一种创新技术，本发明主要设计构思为：运用深度学习的方法自动整体识别神经纤维层和细胞核，能自动的从原始数据学习到表征神经纤维层的特征以及表征细胞核的特征，从而避免超参数调节的影响，由于是整体识别神经纤维层和细胞核，能避免传统方法带来的误差叠加的影响。本发明人工参与量较小，适用于大样本量分析，具备更有效的定量分析与实际应用前景。
本发明主要设计构思为：
本发明主要目的是识别神经纤维层区域以及神经纤维层区域内部细胞核区域，从而根据神经纤维层区域内部细胞核区域，识别到神经纤维层区域内部细胞核个数和面积。
对于神经纤维层区域和神经纤维层区域内部细胞核区域的识别，由于视网膜中各组织层之间的边界并不明显，难以通过传统的图像处理的方法进行定量分析识别。
因此，对于神经纤维层区域的识别，本发明采用全卷积深度神经网络，对视网膜中神经纤维层进行分割，从而识别出神经纤维层区域。
而对于神经纤维层区域内部细胞核区域的识别，由于视网膜中存在较多的细胞核，并且，细胞核并不局限于在神经纤维层区域内部，在神经纤维层区域外部也存在细胞核。又由于视网膜中细胞核和其他生物组织之间存在明显差异，同时，细胞核在神经纤维层与在其他功能层之间的灰度和纹理几乎没有差异，因此，本发明首先采用全卷积深度神经网络，对视网膜中所有位置的细胞核进行全面识别，然后，再结合已识别出的神经纤维层区域，定位到属于神经纤维层区域内部的细胞核，由此完成对神经纤维层区域内部细胞核区域的识别。
由于神经纤维层与细胞核之间存在重叠区域，直接训练一个多类别分割网络将导致二义性。因此，本发明需要训练两个分割网络，分别为神经纤维层全卷积神经网络和细胞核全卷积神经网络，以此分别预测视网膜图像中神经纤维层概率和细胞核概率。
参考图1，基于机器学习的视网膜病理图像分析系统包括：
(一)图像样本预处理阶段
对于视网膜原始图像样本，可能会导致不同程度的染色。这些染色差异对病理学家的诊断影响不大，但对人工智能算法有显著影响，将采集到的视网膜原始图像样本直接输入到深度学习网络中会降低识别率。因此，需要采用适当的预处理方法有效减弱这种影响。
具体的，针对不同视网膜原始图像样本在染色处理时可能存在染色深浅不一的情况，并且拍摄参数可能存在不同，这造成不同批次视网膜原始图像样本可能差异较大，如果直接作为训练样本训练深度学习网络，会导致识别率的降低。因此，为了减弱可能阻碍网络训练过程的数据变化的问题，本发明首先对视网膜原始图像样本进行预处理。
预处理过程为：首先将图像灰度化，然后选取一张最佳的图像的灰度直方图作为模板直方图，随后运用直方图规定化方法，对其余图像进行直方图匹配；进一步，对每一幅图像进行像素归一化处理，分别减去单幅图像中像素的均值，除以单幅图像中像素间标准差。
具体包括以下功能模块：
视网膜原始图像样本获取模块，用于获取n个视网膜原始图像样本；其中，所述视网膜原始图像样本尺寸为1024像素×1360像素；n为自然数；视网膜原始图像样本为用于训练和测试后续构建的神经纤维层全卷积神经网络和细胞核全卷积神经网络的样本，因此，样本的数量根据实际训练和测试需求灵活设定。
图像灰度化处理模块，用于分别对n个视网膜原始图像样本进行图像灰度化处理，得到n个视网膜灰度图像样本；如图2所示，为图像灰度化处理后的示意图；
具体的，对于视网膜原始图像样本，每个像素点的像素根据灰度转化公式计算：
Gray＝R*0.299+G*0.587+B*0.114
其中，R、G、B为视网膜原始图像样本中某个像素点的颜色值；Gray为该像素点灰度化后的灰度值。
直方图规定化模块，用于从n个视网膜灰度图像样本中，选取一张最佳的视网膜灰度图像样本作为目标视网膜灰度图像样本；然后，根据目标视网膜灰度图像样本的像素值的分布，计算得到对应的目标灰度直方图；如图3所示，为直方图规定化处理后的示意图；
对于其他n-1个视网膜灰度图像样本，分别得到对应的n-1个灰度直方图；
将所述目标灰度直方图作为模板直方图，采用直方图规定化方法，分别对n-1个灰度直方图进行直方图匹配，得到n-1个直方图规定化后的灰度直方图；
图像归一化模块，用于对所述目标灰度直方图以及n-1个直方图规定化后的灰度直方图，进行像素归一化处理，得到n个归一化后的视网膜图像样本；其中，所述归一化后的视网膜图像样本尺寸为1024像素×1360像素；
归一化处理的公式为：
其中：I是原图中某个像素点的像素值，是归一化后图像中某个像素点的像素值，Im是I的所有像素点像素值的均值，Isd是I的所有像素点像素值标准差。
(二)标记阶段
标记阶段，主要包括对视网膜图像样本进行神经纤维层标记和对视网膜图像样本进行细胞核标记两部分内容：
(2.1)神经纤维层标记
对视网膜图像样本进行神经纤维层标记，主要是为了得到后续用于训练全卷积神经网络的训练样本数据。
神经纤维层标记模块，对每一个所述归一化后的视网膜图像样本，均进行神经纤维层标记，并通过交叉验证生成数据集。标记方法为：将属于神经纤维层的区域标记为1，用白色像素点显示；将其余非神经纤维层区域标记为0，用黑色像素点显示，由此得到n个神经纤维层标记后的图像样本。
(2.2)细胞核标记
对视网膜图像样本进行细胞核区域标记，主要是为了得到后续用于训练全卷积神经网络的训练样本数据。
细胞核标记模块，对每一个所述归一化后的视网膜图像样本，均进行细胞核标记，将视网膜图像样本中所有细胞核区域标记为1，用白色像素点显示；将其余非细胞核区域标记为0，用黑色像素点显示，由此得到n个细胞核标记后的图像样本；
实际应用中，对于细胞核来说，由于视网膜中存在密集的细胞核，人工标记细胞核进行监督学习是一项繁琐而费时的工作，而且时间成本高，因此，本发明提供了一种通过自适应阈值对细胞核产生预分割结果的方法，即：首先得到自适应阈值，然后，将像素值低于自适应阈值θ的像素点标记为1，用白色像素点显示；将像素值高于自适应阈值θ的像素点标记为0，用黑色像素点显示，由此得到细胞核标记后的图像样本，以此减少时间成本。
另外，考虑到经过HE染色后细胞核与其他生物组织在灰度上存在明显差异，而神经纤维层中的细胞核与其他区域的细胞核在灰度、纹理上并没有显著区别，因此本发明首先对视网膜所有区域的细胞核进行整体标记，然后结合已分割的神经纤维层来获取神经纤维层内的细胞核。
细胞核标记模块具体用于，采用自适应阈值的方式，对细胞核标记，自适应阈值θ的取值根据灰度图像中像素信息来确定，具体步骤如下：
步骤1，确定自适应阈值θ的取值；
步骤1.1，通过设定的初始的自适应阈值θ，将图像中像素分为两类，第一类为像素大于等于自适应阈值θ的像素点的集合，用C1表示；第二类为像素小于自适应阈值θ的像素点的集合，用C2表示；
步骤1.2，计算集合C1中像素点的灰度均值μ1和灰度方差σ1 2；计算集合C2中像素点的灰度均值μ2和灰度方差σ2 2；
计算集合C1和集合C2中所有像素点的总体灰度均值μ；
设集合C1中像素点数量为n1；集合C2中像素点数量为n1；则集合C1中像素点比例p1＝n1/(n1+n2)；集合C2中像素点比例p2＝n2/(n1+n2)；
步骤1.3，采用下式分别计算类间方差σb 2与类内方差σm 2：
σb 2＝p1(μ1-μ)2+p2(μ2-μ)2
σm 2＝p1σ1 2+p2σ2 2
步骤1.4，计算比值
Figure BDA0002267949070000151
步骤1.5，设定自适应阈值θ的所有可选整数值，即像素值为0-255的整数值；对于每一个整数值，均采用步骤1.1-步骤1.4的方法，计算得到比值A；选取比值A最大时所对应的自适应阈值θ，即为最终确定的自适应阈值θ；
Figure BDA0002267949070000152
Figure BDA0002267949070000153
Figure BDA0002267949070000161
其中i＝1,2，f(x,y)为此处的像素灰度值，N表示此类中像素的数量，因此类间方差σb 2与类内方差σm 2分别表示为σb i2＝p1(μ1-μ)2+p2(μ2-μ)2
σm 2＝p1σ1 2+p2σ2 2
其中pi分别是两类像素所占的比例，因此阈值θ满足使得
Figure BDA0002267949070000162
比值最大的整数。
步骤2，对于所述归一化后的视网膜图像样本，将像素值低于自适应阈值θ的像素点标记为1，用白色像素点显示；将像素值高于自适应阈值θ的像素点标记为0，用黑色像素点显示，由此得到细胞核标记后的图像样本。
(三)样本数量扩充阶段
足够的样本是保证网络训练的前提，为了充分利用数据集，对于前面得到的视网膜图像样本，自动增强使用旋转、翻转、弹性变形、对比度和亮度的变化，从而对样本数量进行扩充。通过样本的扩充，将所有样本随机分配到训练集，验证集的比例为8:2，训练集中的图像数量超过6000张，足以满足网络训练的需求。
(四)神经纤维层模型训练阶段
在神经纤维层模型训练过程中，为了避免超出GPU的存储空间，本发明采用较小的图像对网络进行训练，主要包括：将二值化图像(1024×1360)切分成1024×1024大小的两张图像，并将每张图像双线性下采样为512×512大小的图像。然后采用自适应矩估计(adam)优化器优化网络。在TeslaV100GPU上，每个网络采用将近17h的时间来训练40个周期，每个周期迭代2000次，每次迭代随机选用4张图像计算梯度反传参数。最后取在验证集中分割精度最好的权重作为网络最后的权重值。
具体包括以下模块：
(4.1)图像切割阶段
图像切割模块，对于n个归一化后的视网膜图像样本、n个神经纤维层标记后的图像样本和n个细胞核标记后的图像样本，尺寸均为1024像素×1360像素；将3n张图像样本中的每张图像样本，均采用以下方式处理：
将尺寸为1024像素×1360像素的图像样本，以图像样本左侧为起点，切割得到一张尺寸为1024像素×1024像素的左图像样本；再以图像样本右侧为起点，切割得到一张尺寸为1024像素×1024像素的右图像样本；如图4所示，为图像切割模块的切割原理图，对于尺寸为1024像素×1360像素的图像样本，其四个顶点分别为：E1、E4、E5、E8；其中，E1到E5的纵边为1024像素；E5到E8的横边为1360像素；切割形成的左图像样本的四个顶点分别为：E1、E3、E7、E5；切割形成的右图像样本的四个顶点分别为：E2、E4、E8、E6。
将左图像样本进行双线性下采样处理，得到512像素×512像素的图像样本；将右图像样本进行双线性下采样处理，得到512像素×512像素的图像样本；
经过以上处理，3n张尺寸为1024像素×1360像素的图像样本，转换为6n张尺寸为512像素×512像素的图像样本，包括2n张尺寸为512像素×512像素的归一化后的视网膜图像样本、2n张尺寸为512像素×512像素的神经纤维层标记后的图像样本以及2n张尺寸为512像素×512像素的细胞核标记后的图像样本；其中，2n张尺寸为512像素×512像素的归一化后的视网膜图像样本，组成集合H1；2n张尺寸为512像素×512像素的神经纤维层标记后的图像样本，组成集合H2；2n张尺寸为512像素×512像素的细胞核标记后的图像样本，组成集合H3；
(4.2)神经纤维层网络构建和训练阶段
神经纤维层网络构建模块，用于构建得到神经纤维层全卷积神经网络；如图5所示，为构建得到的全卷积神经网络的示意图。本发明中，构建得到的神经纤维层全卷积神经网络和细胞核全卷积神经网络的网络结构完全相同，区别仅在于网络连接权重值不相同。
本发明构建的全卷积神经网络，是在keras框架的基础上，用Python语言实现的高层卷积神经网络。包括一个下采样子网络、一个上采样子网络，并在相同级别和不同路径的块之间跳过连接。下采样子网络通过剩余块和2×2的最大池提取语义特征，每个维度的步长为2。每个残差块由5个3×3卷积层组成，后面是一个批归一化层和整流线性单元(ReLU)激活，将第4个卷积层的输出添加到第2个卷积层的输入中，以加快收敛速度，避免反向传播时梯度消失。通过反卷积层(也称为转置卷积)向上采样子网络，将网络中分辨率较低、更抽象的特征映射重新映射到输入图像的更密集空间。这种操作允许有效的密集像素对像素的预测。此外，skip连接将较低的精细特征映射连接到较高的粗特征映射，以丰富不同尺度的语义信息。最后一层包含一个1×1的卷积，将输出通道的数量减少到类标签的数量，通过sigmoid函数生成对应的概率图，概率图中的值表示对应点属于RNFL的概率。
所述神经纤维层网络构建模块，构建得到的神经纤维层全卷积神经网络，与后续细胞核网络构建模块构建得到的细胞核全卷积神经网络，网络结构相同，均包括下采样子网络、上采样子网络和跨层连接结构；
具体的，上采样子网络通过多个残差层和步长为2的2×2大小的最大池化层提取语义特征，每个残差层由5个3×3卷积层、1个批标准化层和1个校正线性单元(ReLu)激活组成；同时，为避免反向传播时的消失梯度现象，将残差层中第四卷积层的输出加入到第二卷积层的输入，并传入下一层残差层中；
与上采样子网络类似，所述下采样子网络通过反卷积层和残差层恢复图像空间分辨率，这种运算允许密集的像素到像素之间的预测。此外，在相同特征层级之间引入跨层连接，以丰富不同尺度的语义信息，最后一层为1×1卷积层，该卷积层将输出信道的数目减少到类标签的数目，从而通过sigmoid函数生成相应的概率图，其中概率图是与原图等大小的概率矩阵，概率矩阵中每一个数值表示该点属于神经纤维层的概率。
神经纤维层网络训练模块，用于对所述神经纤维层网络构建模块构建到的神经纤维层全卷积神经网络进行训练，对所述神经纤维层全卷积神经网络的权重进行优化，得到训练好的神经纤维层全卷积神经网络；
其中，对所述神经纤维层全卷积神经网络进行训练时，输入图像样本为：从集合H1中随机选择一张尺寸为512像素×512像素的归一化后的视网膜图像样本，以及从集合H2中选择的，与随机选择的归一化后的视网膜图像样本对应的尺寸为512像素×512像素的神经纤维层标记后的图像样本；输出为神经纤维层概率图；所述神经纤维层概率图是尺寸为512像素×512像素的概率矩阵，概率矩阵中每一个数值表示对应的像素点属于神经纤维层的概率；
在对神经纤维层全卷积神经网络和细胞核全卷积神经网络进行网络训练时，网络是由自适应优化时刻估计(亚当)以下优化hyperparameters，优化参数分别为：学习率为0.001，第一指数衰减率β1为0.9，第二指数衰减率β2为0.999，epsilon为10-8，并选择二值交叉熵作为损失函数。在K40 GPU上以批处理大小为1的方式训练网络，消耗将近18个小时。上述所有决策和超参数都是根据其在验证集上的性能来选择。
本发明中，在网络训练过程中，为了避免超出GPU的内存，使用较小的图像训练构建的全卷积神经网络。本发明是将原始的HE图像(尺寸为1024×1360)分割为等长、等宽的两个图像(每个图像尺寸为1024×1024)，在此基础上进行下采样，将其重新调整为小图像(尺寸为512×512)。
(五)细胞核模型训练阶段
细胞核模型训练阶段的原理，与神经纤维层模型训练的原理相同。
细胞核网络构建模块，用于构建得到细胞核全卷积神经网络；
细胞核网络训练模块，用于对所述细胞核网络构建模块构建到的细胞核全卷积神经网络进行训练，对所述细胞核全卷积神经网络的权重进行优化，得到训练好的细胞核全卷积神经网络；
其中，对所述细胞核全卷积神经网络进行训练时，输入图像样本为：从集合H1中随机选择一张尺寸为512像素×512像素的归一化后的视网膜图像样本，以及从集合H3中选择的，与随机选择的归一化后的视网膜图像样本对应的尺寸为512像素×512像素的细胞核标记后的图像样本；输出为细胞核概率图；所述细胞核概率图是尺寸为512像素×512像素的概率矩阵，概率矩阵中每一个数值表示对应的像素点属于细胞核的概率；
(六)神经纤维层实际测试阶段
在实际测试阶段，需要进行分析的视网膜原始图像，仍然为1024像素×1360像素，因此，采用与前面训练样本预处理过程相同的方法，需要对被分析的视网膜原始图像进行相应的预处理，得到两张512像素×512像素的被测图像；然后，在进行神经纤维层识别时，每张512像素×512像素的被测图像分别输入神经纤维层神经网络，得到512像素×512像素的神经纤维层概率图；再把两张512像素×512像素的神经纤维层概率图进行双线性插值和合并处理，得到与原始图像尺寸1024像素×1360像素相同尺寸的神经纤维层识别概率图。对细胞核的测试方法，与对神经纤维层识别测试的方法相同。
另外，在实际测试阶段，选用测试时增强技术(TTA)，对每一张测试图像，分别依次顺时针旋转90度、180度和270度，由此得到4张测试图；再将4张测试图的测试结果取平均，作为最后预测的概率图。然后，选取合适的阈值将概率图转化为二值图，再运用形态学处理平滑分割结果，处理方式包括开运算、闭运算，最后在二值分割结果上选取最大连通域作为神经纤维层的分割结果。
具体包括以下功能模块：
被测视网膜原始图像采集模块，用于采集需要进行视网膜病理图像分析的视网膜原始图像；
被测视网膜图像处理模块，用于对所述被测视网膜原始图像采集模块采集到的视网膜原始图像依次进行图像灰度化处理、直方图规定化处理和图像归一化处理，得到尺寸为1024像素×1360像素的归一化被测图像；再对所述归一化被测图像进行图像切割，得到两张尺寸为1024像素×1024像素的被测图像；此阶段具体的处理方法，与前述训练样本对应的预处理方式相同，在此不再赘述。
对于得到的每张1024像素×1024像素的被测图像，均进行双线性下采样处理处理，由此得到两张512像素×512像素的被测图像；将得到的两张512像素×512像素的被测图像分别称为第1-1被测图像和第2-1被测图像；
神经纤维层预测模块，用于将所述第1-1被测图像依次旋转90度、180度和270度，分别得到第1-2被测图像、第1-3被测图像和第1-4被测图像；然后，分别将所述第1-1被测图像、第1-2被测图像、第1-3被测图像和第1-4被测图像输入到所述训练好的神经纤维层全卷积神经网络中，经所述训练好的神经纤维层全卷积神经网络的预测，分别得到第1-1神经纤维层概率图、第1-2神经纤维层概率图、第1-3神经纤维层概率图和第1-4神经纤维层概率图；然后，将所述第1-1神经纤维层概率图、所述第1-2神经纤维层概率图、所述第1-3神经纤维层概率图和所述第1-4神经纤维层概率图取平均，得到第1神经纤维层概率图；
同样，将所述第2-1被测图像依次旋转90度、180度和270度，分别得到第2-2被测图像、第2-3被测图像和第2-4被测图像；然后，分别将所述第2-1被测图像、第2-2被测图像、第2-3被测图像和第2-4被测图像输入到所述训练好的神经纤维层全卷积神经网络中，经所述训练好的神经纤维层全卷积神经网络的预测，分别得到第2-1神经纤维层概率图、第2-2神经纤维层概率图、第2-3神经纤维层概率图和第2-4神经纤维层概率图；然后，将所述第2-1神经纤维层概率图、所述第2-2神经纤维层概率图、所述第2-3神经纤维层概率图和所述第2-4神经纤维层概率图取平均，得到第2神经纤维层概率图；
神经纤维层概率图双线性插值模块，所述第1神经纤维层概率图和所述第2神经纤维层概率图均为512像素×512像素；将第1神经纤维层概率图进行双线性插值处理，得到尺寸为1024像素×1024像素的第1F神经纤维层概率图；将第2神经纤维层概率图进行双线性插值处理，得到尺寸为1024像素×1024像素的第2F神经纤维层概率图；
神经纤维层概率图合并处理模块，用于将第1F神经纤维层概率图和第2F神经纤维层概率图进行合并处理，得到尺寸为1024像素×1360像素的神经纤维层最终识别概率图；其中，合并处理方式为：使第2F神经纤维层概率图位于第1F神经纤维层概率图的正右侧，并且，第2F神经纤维层概率图的左边界到第1F神经纤维层概率图的左边界的距离为12像素点；对于第2F神经纤维层概率图和第1F神经纤维层概率图非重叠区域，直接选取对应概率图的神经纤维层的概率值；对于第2F神经纤维层概率图和第1F神经纤维层概率图重叠区域，选取概率值大的神经纤维层的概率值，作为处理后的神经纤维层的概率值；
神经纤维层二值图处理模块，用于将所述神经纤维层最终识别概率图进行二值化处理，即：将高于二值化阈值的神经纤维层的概率值，作为目标区域；将低于二值化阈值的神经纤维层的概率值，作为背景区域，由此得到神经纤维层二值图；实际应用中，二值化阈值为0.5。
神经纤维层形态学处理模块，用于对所述神经纤维层二值图进行形态学处理，得到处理后的神经纤维层分割图像；
具体的，形态学处理包括：根据目标形状的不同，采用不同半径的圆盘对图像进行消除噪声和平滑分割的操作。
例如，选取半径为10与半径为3的圆盘先后进行形态学的闭运算与开运算，其中开、闭运算是一种消除边界点，消除噪点，同时在保持边界基础上达到平滑的过程，用来消除相连区域或相邻区域在图像中以像素连接造成的边缘干扰。最后根据连通域的像素面积保留二值图中的最大连通域作为最终的神经纤维层分割结果，并统计神经纤维层的面积与周长。
(七)细胞核实际测试阶段
细胞核实际测试阶段的原理，与神经纤维层实际测试阶段的原理相同。
细胞核预测模块，用于将所述第1-1被测图像依次旋转90度、180度和270度，分别得到第1-2被测图像、第1-3被测图像和第1-4被测图像；然后，分别将所述第1-1被测图像、第1-2被测图像、第1-3被测图像和第1-4被测图像输入到所述训练好的细胞核全卷积神经网络中，经所述训练好的细胞核全卷积神经网络的预测，分别得到第1-1细胞核概率图、第1-2细胞核概率图、第1-3细胞核概率图和第1-4细胞核概率图；然后，将所述第1-1细胞核概率图、所述第1-2细胞核概率图、所述第1-3细胞核概率图和所述第1-4细胞核概率图取平均，得到第1细胞核概率图；
同样，将所述第2-1被测图像依次旋转90度、180度和270度，分别得到第2-2被测图像、第2-3被测图像和第2-4被测图像；然后，分别将所述第2-1被测图像、第2-2被测图像、第2-3被测图像和第2-4被测图像输入到所述训练好的细胞核全卷积神经网络中，经所述训练好的细胞核全卷积神经网络的预测，分别得到第2-1细胞核概率图、第2-2细胞核概率图、第2-3细胞核概率图和第2-4细胞核概率图；然后，将所述第2-1细胞核概率图、所述第2-2细胞核概率图、所述第2-3细胞核概率图和所述第2-4细胞核概率图取平均，得到第2细胞核概率图；
细胞核概率图双线性插值模块，所述第1细胞核概率图和所述第2细胞核概率图均为512像素×512像素；分别对所述第1细胞核概率图和所述第2细胞核概率图进行双线性插值处理，得到尺寸为1024像素×1024像素的第1G细胞核概率图和第2G细胞核概率图；
细胞核概率图合并处理模块，用于将第1G细胞核概率图和第2G细胞核概率图进行合并处理，得到尺寸为1024像素×1360像素的细胞核最终识别概率图；
细胞核二值图处理模块，用于将所述细胞核最终识别概率图进行二值化处理，即：将高于二值化阈值的细胞核的概率值，作为目标区域；将低于二值化阈值的细胞核的概率值，作为背景区域，由此得到细胞核二值图；实际应用中，二值化阈值为0.5。
细胞核形态学处理模块，用于对所述细胞核二值图进行形态学处理，得到处理后的细胞核分割图像；
神经纤维层内细胞核识别模块，用于将所述神经纤维层形态学处理模块处理到的神经纤维层分割图像，与所述细胞核形态学处理模块处理到的细胞核分割图像进行叠加处理，在细胞核形态学处理模块处理到的细胞核分割图像中标记出神经纤维层，则位于神经纤维层内的细胞核，即为识别到的神经纤维层内细胞核；如图6所示，为神经纤维层内细胞核识别的原理图。
神经纤维层内细胞核个数的统计：
神经纤维层内细胞核个数常常是病理分析中的一项关键因素，在HE切片中准确确定细胞核的个数被认为是一项具有挑战性的事情，主要由于某些细胞核组织中呈聚合状，聚合在一起的细胞核会对个数的统计造成偏差，即使是通过人眼观察，不同的人得出的结论也往往会因为主观影响而不同。
为避免增加额外工作量，本发明从细胞核的分割结果来估计细胞核的个数，一般而言，二值图像中连通域的个数是估计目标数量的有效参考，但对密集排列的细胞核并不鲁棒，因此，本发明通过连通域像素个数的平均值，中位数以及分水岭变换来解决这一挑战。
在得到细胞核分割结果后，运用距离变换结合分水岭算法分开聚合在一起的细胞核，对应二值化图像，局部极小值为目标连通域中的每个像素，通过距离变换，靠近目标中心的位置距离较小，远离目标中心的位置距离较大，经过分水岭变换后，相邻目标之间的界线即是分水岭，最终细胞核的个数根据变换后连通域的个数确定。如图7所示，为应用分水岭算法前的细胞核识别结果图。如图8所示，为应用分水岭算法后的细胞核识别结果图。
如图9所示，为原始图像的灰度图；如图10所示，为对图9进行神经纤维层识别后输出的神经纤维层概率图；如图11所示，为对图9进行细胞核识别后输出的细胞核概率图；如图12所示，为最终识别到的神经纤维层和细胞核的结果图。
(八)量化分析阶段
量化分析模块，用于根据神经纤维层形态学处理模块识别到的神经纤维层，计算神经纤维层面积S总和神经纤维层下界长度L；
根据神经纤维层内细胞核识别模块识别到的神经纤维层内细胞核，计算得到神经纤维层细胞核数量A和神经纤维层细胞核总面积SA；
对于神经纤维层，其面积与周长可以通过二值图结果得出，通过计算图中连通域的像素面积与周长确定神经纤维层的面积与边长。
对于细胞核，在得到细胞核分割结果后，运用距离变换结合分水岭算法分开聚合在一起的细胞核，其中分水岭方法是一种来源于地形学中分水岭变换原理的方法。对应二值化图像，局部极小值为目标连通域中的每个像素，通过距离变换，靠近目标中心的位置距离较小，远离目标中心的位置距离较大，经过分水岭变换后，相邻目标之间的界线即是分水岭。最后在经过分水岭处理后的图像中去除零碎的小面积区域，并根据处理后的二值图像中连通域的个数确定细胞核的个数，根据二值图像中所有连通域的面积确定细胞核的总体面积。
然后，根据水肿指数EI＝S总/L，计算得到水肿指数EI；
根据细胞增生指数HI＝A/S总，计算得到细胞增生指数HI；
根据皱缩指数SI＝SA/A，计算得到皱缩指数SI；
具体的，DR发生病变时最先出现神经纤维层厚度及节细胞皱缩的变化，神经纤维层变薄后继而水肿变厚，节细胞增生导致数量增加，细胞皱缩导致细胞面积减少。根据这种特性，将神经纤维层面积定义为S总，神经纤维层长度定义为L，神经纤维层中细胞核数量定义为A，神经纤维层中细胞核总面积为SA。以S总作为神经纤维层薄厚的定量指标，定义S总/L为神经纤维层水肿指数EI，且EI与水肿程度呈正相关。以A/S总作为单位核个数，即定义单位核个数为增生指数HI，且HI与细胞增生呈正相关。以SA/A作为单位核面积，即定义单位核面积为皱缩指数SI。SI值越小，说明细胞越皱缩。相反，SI值越大，说明细胞越水肿。因此，使用具有生物学意义的指数(水肿指数EI、细胞增生指数HI和皱缩指数SI)，便可以形象的表述DR最早期病变的特征。
量化分析结果输出模块，用于输出视网膜病变定量分析参数，包括：神经纤维功能层细胞核数量A、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数EI、细胞增生指数HI和皱缩指数SI。
验证例：
发明人对100张来源于各个实验的生物样本进行统一标准的目标区域框选，包括神经纤维层区域和节细胞区域。利用本发明提供的基于机器学习的视网膜病理图像分析系统，建立起相应算法后，将视网膜原始图像样本输入训练好的神经纤维层全卷积神经网络中，进行神经纤维层区域的识别；将视网膜原始图像样本输入训练好的细胞核全卷积神经网络中，进行细胞核区域的识别，并最终识别细胞核的个数和面积。经大量样本验证，本发明可准确识别神经纤维层区域、神经纤维层内细胞核的个数和面积，具有识别速度快，识别精度高的优点。
本领域普通技术人员可以理解，实现上述实施例系统，可以通过与计算机程序指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(ROM：Read-Only Memory)或随机存储记忆体(RAM：RandomAccess Memory)等。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (5)

1.一种基于机器学习的视网膜病理图像分析系统，其特征在于，包括：
视网膜原始图像样本获取模块，用于获取n个视网膜原始图像样本；其中，所述视网膜原始图像样本尺寸为1024像素×1360像素；n为自然数；
图像灰度化处理模块，用于分别对n个视网膜原始图像样本进行图像灰度化处理，得到n个视网膜灰度图像样本；
直方图规定化模块，用于从n个视网膜灰度图像样本中，选取一张最佳的视网膜灰度图像样本作为目标视网膜灰度图像样本；然后，根据目标视网膜灰度图像样本的像素值的分布，计算得到对应的目标灰度直方图；
对于其他n-1个视网膜灰度图像样本，分别得到对应的n-1个灰度直方图；
将所述目标灰度直方图作为模板直方图，采用直方图规定化方法，分别对n-1个灰度直方图进行直方图匹配，得到n-1个直方图规定化后的灰度直方图；
图像归一化模块，用于对所述目标灰度直方图以及n-1个直方图规定化后的灰度直方图，进行像素归一化处理，得到n个归一化后的视网膜图像样本；其中，所述归一化后的视网膜图像样本尺寸为1024像素×1360像素；
神经纤维层标记模块，对每一个所述归一化后的视网膜图像样本，均进行神经纤维层标记，将属于神经纤维层的区域标记为1，用白色像素点显示；将其余非神经纤维层区域标记为0，用黑色像素点显示，由此得到n个神经纤维层标记后的图像样本；
细胞核标记模块，对每一个所述归一化后的视网膜图像样本，均进行细胞核标记，将视网膜图像样本中所有细胞核区域标记为1，用白色像素点显示；将其余非细胞核区域标记为0，用黑色像素点显示，由此得到n个细胞核标记后的图像样本；
图像切割模块，对于n个归一化后的视网膜图像样本、n个神经纤维层标记后的图像样本和n个细胞核标记后的图像样本，尺寸均为1024像素×1360像素；将3n张图像样本中的每张图像样本，均采用以下方式处理：
将尺寸为1024像素×1360像素的图像样本，以图像样本左侧为起点，切割得到一张尺寸为1024像素×1024像素的左图像样本；再以图像样本右侧为起点，切割得到一张尺寸为1024像素×1024像素的右图像样本；将左图像样本进行双线性下采样处理，得到512像素×512像素的图像样本；将右图像样本进行双线性下采样处理，得到512像素×512像素的图像样本；
经过以上处理，3n张尺寸为1024像素×1360像素的图像样本，转换为6n张尺寸为512像素×512像素的图像样本，包括2n张尺寸为512像素×512像素的归一化后的视网膜图像样本、2n张尺寸为512像素×512像素的神经纤维层标记后的图像样本以及2n张尺寸为512像素×512像素的细胞核标记后的图像样本；其中，2n张尺寸为512像素×512像素的归一化后的视网膜图像样本，组成集合H1；2n张尺寸为512像素×512像素的神经纤维层标记后的图像样本，组成集合H2；2n张尺寸为512像素×512像素的细胞核标记后的图像样本，组成集合H3；
神经纤维层网络构建模块，用于构建得到神经纤维层全卷积神经网络；
神经纤维层网络训练模块，用于对所述神经纤维层网络构建模块构建到的神经纤维层全卷积神经网络进行训练，对所述神经纤维层全卷积神经网络的权重进行优化，得到训练好的神经纤维层全卷积神经网络；
其中，对所述神经纤维层全卷积神经网络进行训练时，输入图像样本为：从集合H1中随机选择一张尺寸为512像素×512像素的归一化后的视网膜图像样本，以及从集合H2中选择的，与随机选择的归一化后的视网膜图像样本对应的尺寸为512像素×512像素的神经纤维层标记后的图像样本；输出为神经纤维层概率图；所述神经纤维层概率图是尺寸为512像素×512像素的概率矩阵，概率矩阵中每一个数值表示对应的像素点属于神经纤维层的概率；
细胞核网络构建模块，用于构建得到细胞核全卷积神经网络；
细胞核网络训练模块，用于对所述细胞核网络构建模块构建到的细胞核全卷积神经网络进行训练，对所述细胞核全卷积神经网络的权重进行优化，得到训练好的细胞核全卷积神经网络；
其中，对所述细胞核全卷积神经网络进行训练时，输入图像样本为：从集合H1中随机选择一张尺寸为512像素×512像素的归一化后的视网膜图像样本，以及从集合H3中选择的，与随机选择的归一化后的视网膜图像样本对应的尺寸为512像素×512像素的细胞核标记后的图像样本；输出为细胞核概率图；所述细胞核概率图是尺寸为512像素×512像素的概率矩阵，概率矩阵中每一个数值表示对应的像素点属于细胞核的概率；
被测视网膜原始图像采集模块，用于采集需要进行视网膜病理图像分析的视网膜原始图像；
被测视网膜图像处理模块，用于对所述被测视网膜原始图像采集模块采集到的视网膜原始图像依次进行图像灰度化处理、直方图规定化处理和图像归一化处理，得到尺寸为1024像素×1360像素的归一化被测图像；再对所述归一化被测图像进行图像切割，得到两张尺寸为1024像素×1024像素的被测图像；对于得到的每张1024像素×1024像素的被测图像，均进行双线性下采样处理处理，由此得到两张512像素×512像素的被测图像；将得到的两张512像素×512像素的被测图像分别称为第1-1被测图像和第2-1被测图像；
神经纤维层预测模块，用于将所述第1-1被测图像依次旋转90度、180度和270度，分别得到第1-2被测图像、第1-3被测图像和第1-4被测图像；然后，分别将所述第1-1被测图像、第1-2被测图像、第1-3被测图像和第1-4被测图像输入到所述训练好的神经纤维层全卷积神经网络中，经所述训练好的神经纤维层全卷积神经网络的预测，分别得到第1-1神经纤维层概率图、第1-2神经纤维层概率图、第1-3神经纤维层概率图和第1-4神经纤维层概率图；然后，将所述第1-1神经纤维层概率图、所述第1-2神经纤维层概率图、所述第1-3神经纤维层概率图和所述第1-4神经纤维层概率图取平均，得到第1神经纤维层概率图；
同样，将所述第2-1被测图像依次旋转90度、180度和270度，分别得到第2-2被测图像、第2-3被测图像和第2-4被测图像；然后，分别将所述第2-1被测图像、第2-2被测图像、第2-3被测图像和第2-4被测图像输入到所述训练好的神经纤维层全卷积神经网络中，经所述训练好的神经纤维层全卷积神经网络的预测，分别得到第2-1神经纤维层概率图、第2-2神经纤维层概率图、第2-3神经纤维层概率图和第2-4神经纤维层概率图；然后，将所述第2-1神经纤维层概率图、所述第2-2神经纤维层概率图、所述第2-3神经纤维层概率图和所述第2-4神经纤维层概率图取平均，得到第2神经纤维层概率图；
神经纤维层概率图双线性插值模块，所述第1神经纤维层概率图和所述第2神经纤维层概率图均为512像素×512像素；将第1神经纤维层概率图进行双线性插值处理，得到尺寸为1024像素×1024像素的第1F神经纤维层概率图；将第2神经纤维层概率图进行双线性插值处理，得到尺寸为1024像素×1024像素的第2F神经纤维层概率图；
神经纤维层概率图合并处理模块，用于将第1F神经纤维层概率图和第2F神经纤维层概率图进行合并处理，得到尺寸为1024像素×1360像素的神经纤维层最终识别概率图；其中，合并处理方式为：使第2F神经纤维层概率图位于第1F神经纤维层概率图的正右侧，并且，第2F神经纤维层概率图的左边界到第1F神经纤维层概率图的左边界的距离为12像素点；对于第2F神经纤维层概率图和第1F神经纤维层概率图非重叠区域，直接选取对应概率图的神经纤维层的概率值；对于第2F神经纤维层概率图和第1F神经纤维层概率图重叠区域，选取概率值大的神经纤维层的概率值，作为处理后的神经纤维层的概率值；
神经纤维层二值图处理模块，用于将所述神经纤维层最终识别概率图进行二值化处理，即：将高于二值化阈值的神经纤维层的概率值，作为目标区域；将低于二值化阈值的神经纤维层的概率值，作为背景区域，由此得到神经纤维层二值图；
神经纤维层形态学处理模块，用于对所述神经纤维层二值图进行形态学处理，得到处理后的神经纤维层分割图像；
细胞核预测模块，用于将所述第1-1被测图像依次旋转90度、180度和270度，分别得到第1-2被测图像、第1-3被测图像和第1-4被测图像；然后，分别将所述第1-1被测图像、第1-2被测图像、第1-3被测图像和第1-4被测图像输入到所述训练好的细胞核全卷积神经网络中，经所述训练好的细胞核全卷积神经网络的预测，分别得到第1-1细胞核概率图、第1-2细胞核概率图、第1-3细胞核概率图和第1-4细胞核概率图；然后，将所述第1-1细胞核概率图、所述第1-2细胞核概率图、所述第1-3细胞核概率图和所述第1-4细胞核概率图取平均，得到第1细胞核概率图；
同样，将所述第2-1被测图像依次旋转90度、180度和270度，分别得到第2-2被测图像、第2-3被测图像和第2-4被测图像；然后，分别将所述第2-1被测图像、第2-2被测图像、第2-3被测图像和第2-4被测图像输入到所述训练好的细胞核全卷积神经网络中，经所述训练好的细胞核全卷积神经网络的预测，分别得到第2-1细胞核概率图、第2-2细胞核概率图、第2-3细胞核概率图和第2-4细胞核概率图；然后，将所述第2-1细胞核概率图、所述第2-2细胞核概率图、所述第2-3细胞核概率图和所述第2-4细胞核概率图取平均，得到第2细胞核概率图；
细胞核概率图双线性插值模块，所述第1细胞核概率图和所述第2细胞核概率图均为512像素×512像素；分别对所述第1细胞核概率图和所述第2细胞核概率图进行双线性插值处理，得到尺寸为1024像素×1024像素的第1G细胞核概率图和第2G细胞核概率图；
细胞核概率图合并处理模块，用于将第1G细胞核概率图和第2G细胞核概率图进行合并处理，得到尺寸为1024像素×1360像素的细胞核最终识别概率图；
细胞核二值图处理模块，用于将所述细胞核最终识别概率图进行二值化处理，即：将高于二值化阈值的细胞核的概率值，作为目标区域；将低于二值化阈值的细胞核的概率值，作为背景区域，由此得到细胞核二值图；
细胞核形态学处理模块，用于对所述细胞核二值图进行形态学处理，得到处理后的细胞核分割图像；
神经纤维层内细胞核识别模块，用于将所述神经纤维层形态学处理模块处理到的神经纤维层分割图像，与所述细胞核形态学处理模块处理到的细胞核分割图像进行叠加处理，在细胞核形态学处理模块处理到的细胞核分割图像中标记出神经纤维层，则位于神经纤维层内的细胞核，即为识别到的神经纤维层内细胞核；
量化分析模块，用于根据神经纤维层形态学处理模块识别到的神经纤维层，计算神经纤维层面积S总和神经纤维层下界长度L；
根据神经纤维层内细胞核识别模块识别到的神经纤维层内细胞核，计算得到神经纤维层细胞核数量A和神经纤维层细胞核总面积SA；
然后，根据水肿指数EI＝S总/L，计算得到水肿指数EI；
根据细胞增生指数HI＝A/S总，计算得到细胞增生指数HI；
根据皱缩指数SI＝SA/A，计算得到皱缩指数SI；
量化分析结果输出模块，用于输出视网膜病变定量分析参数，包括：神经纤维功能层细胞核数量A、神经纤维功能层细胞核总面积SA、神经纤维功能层下界长度L、神经纤维功能层面积S总、水肿指数EI、细胞增生指数HI和皱缩指数SI。
2.根据权利要求1所述的基于机器学习的视网膜病理图像分析系统，其特征在于，细胞核标记模块具体用于，采用自适应阈值的方式，对细胞核标记，步骤如下：
步骤1，确定自适应阈值θ的取值；
步骤1.1，通过设定的初始的自适应阈值θ，将图像中像素分为两类，第一类为像素大于等于自适应阈值θ的像素点的集合，用C1表示；第二类为像素小于自适应阈值θ的像素点的集合，用C2表示；
步骤1.2，计算集合C1中像素点的灰度均值μ1和灰度方差σ1 2；计算集合C2中像素点的灰度均值μ2和灰度方差σ2 2；
计算集合C1和集合C2中所有像素点的总体灰度均值μ；
设集合C1中像素点数量为n1；集合C2中像素点数量为n1；则集合C1中像素点比例p1＝n1/(n1+n2)；集合C2中像素点比例p2＝n2/(n1+n2)；
步骤1.3，采用下式分别计算类间方差σb 2与类内方差σm 2：
σb 2＝p1(μ1-μ)2+p2(μ2-μ)2
σm 2＝p1σ1 2+p2σ2 2
步骤1.4，计算比值
Figure FDA0002267949060000071
步骤1.5，设定自适应阈值θ的所有可选整数值，即像素值为0-255的整数值；对于每一个整数值，均采用步骤1.1-步骤1.4的方法，计算得到比值A；选取比值A最大时所对应的自适应阈值θ，即为最终确定的自适应阈值θ；
步骤2，对于所述归一化后的视网膜图像样本，将像素值低于自适应阈值θ的像素点标记为1，用白色像素点显示；将像素值高于自适应阈值θ的像素点标记为0，用黑色像素点显示，由此得到细胞核标记后的图像样本。
3.根据权利要求1所述的基于机器学习的视网膜病理图像分析系统，其特征在于，所述神经纤维层网络构建模块，构建得到的神经纤维层全卷积神经网络，与所述细胞核网络构建模块构建得到的细胞核全卷积神经网络，网络结构相同，均包括下采样子网络、上采样子网络和跨层连接结构；
其中，上采样子网络通过多个残差层和步长为2的2×2大小的最大池化层提取语义特征，每个残差层由5个3×3卷积层、1个批标准化层和1个校正线性单元激活组成；同时，将残差层中第四卷积层的输出加入到第二卷积层的输入，并传入下一层残差层中；
所述下采样子网络通过反卷积层和残差层恢复图像空间分辨率，并在相同特征层级之间引入跨层连接，最后一层为1×1卷积层，该卷积层将输出信道的数目减少到类标签的数目，从而通过sigmoid函数生成相应的概率图，其中概率图是与原图等大小的概率矩阵，概率矩阵中每一个数值表示该点属于神经纤维层的概率。
4.根据权利要求3所述的基于机器学习的视网膜病理图像分析系统，其特征在于，在对神经纤维层全卷积神经网络和细胞核全卷积神经网络进行网络训练时，优化参数分别为：学习率为0.001，第一指数衰减率β1为0.9，第二指数衰减率β2为0.999，epsilon为10-8，并选择二值交叉熵作为损失函数。
5.根据权利要求1所述的基于机器学习的视网膜病理图像分析系统，其特征在于，神经纤维层二值图处理模块和细胞核二值图处理模块采用的二值化阈值为0.5。
CN201911094689.8A 2019-11-11 2019-11-11 基于机器学习的视网膜病理图像分析系统 Active CN110853009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911094689.8A CN110853009B (zh) 2019-11-11 2019-11-11 基于机器学习的视网膜病理图像分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911094689.8A CN110853009B (zh) 2019-11-11 2019-11-11 基于机器学习的视网膜病理图像分析系统

Publications (2)

Publication Number Publication Date
CN110853009A true CN110853009A (zh) 2020-02-28
CN110853009B CN110853009B (zh) 2023-04-28

Family

ID=69601131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911094689.8A Active CN110853009B (zh) 2019-11-11 2019-11-11 基于机器学习的视网膜病理图像分析系统

Country Status (1)

Country Link
CN (1) CN110853009B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652308A (zh) * 2020-05-13 2020-09-11 三峡大学 基于超轻量级全卷积神经网络的花卉识别方法
CN111724348A (zh) * 2020-05-29 2020-09-29 精诚工坊电子集成技术（北京）有限公司 一种基于纹理丘沟特征计算皮肤图像纹理属性的方法
CN112950922A (zh) * 2021-01-26 2021-06-11 浙江得图网络有限公司 一种共享电动车的定点还车方法
CN113012184A (zh) * 2021-05-11 2021-06-22 电子科技大学 基于Radon变换与多类型图像联合分析的微血管瘤检测方法
CN113159159A (zh) * 2021-04-15 2021-07-23 东北大学 一种基于改进cnn的小样本图像分类方法
US20220222932A1 (en) * 2020-05-18 2022-07-14 Tencent Technology (Shenzhen) Company Limited Training method and apparatus for image region segmentation model, and image region segmentation method and apparatus
CN115294126A (zh) * 2022-10-08 2022-11-04 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN116258877A (zh) * 2023-05-08 2023-06-13 南京信息工程大学 土地利用场景相似度变化检测方法、装置、介质及设备
CN117854700A (zh) * 2024-01-19 2024-04-09 首都医科大学宣武医院 基于可穿戴监控设备的术后管理方法和系统
CN118195924A (zh) * 2024-05-17 2024-06-14 南昌大学第二附属医院 一种基于图像识别的早产儿视网膜病变分析系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479385A (zh) * 2010-11-19 2012-05-30 佳能株式会社 图像处理设备和图像处理方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN109758113A (zh) * 2019-01-15 2019-05-17 北京端点医药研究开发有限公司 一种基于图像识别的视网膜病变定量分析系统
EP3531339A1 (en) * 2018-02-27 2019-08-28 Sysmex Corporation Image analysis method, image analysis apparatus and learned deep layer learning algorithm manufacturing method
WO2019196268A1 (zh) * 2018-04-13 2019-10-17 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479385A (zh) * 2010-11-19 2012-05-30 佳能株式会社 图像处理设备和图像处理方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
EP3531339A1 (en) * 2018-02-27 2019-08-28 Sysmex Corporation Image analysis method, image analysis apparatus and learned deep layer learning algorithm manufacturing method
CN110197714A (zh) * 2018-02-27 2019-09-03 希森美康株式会社 图像解析方法、装置、学习后的深度学习算法的生成方法
WO2019196268A1 (zh) * 2018-04-13 2019-10-17 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN109758113A (zh) * 2019-01-15 2019-05-17 北京端点医药研究开发有限公司 一种基于图像识别的视网膜病变定量分析系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李琼;柏正尧;刘莹芳;: "糖尿病性视网膜图像的深度学习分类方法" *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652308B (zh) * 2020-05-13 2024-02-23 三峡大学 基于超轻量级全卷积神经网络的花卉识别方法
CN111652308A (zh) * 2020-05-13 2020-09-11 三峡大学 基于超轻量级全卷积神经网络的花卉识别方法
US20220222932A1 (en) * 2020-05-18 2022-07-14 Tencent Technology (Shenzhen) Company Limited Training method and apparatus for image region segmentation model, and image region segmentation method and apparatus
CN111724348A (zh) * 2020-05-29 2020-09-29 精诚工坊电子集成技术（北京）有限公司 一种基于纹理丘沟特征计算皮肤图像纹理属性的方法
CN111724348B (zh) * 2020-05-29 2024-03-26 精诚工坊电子集成技术（北京）有限公司 一种基于纹理丘沟特征计算皮肤图像纹理属性的方法
CN112950922A (zh) * 2021-01-26 2021-06-11 浙江得图网络有限公司 一种共享电动车的定点还车方法
CN112950922B (zh) * 2021-01-26 2022-06-10 浙江得图网络有限公司 一种共享电动车的定点还车方法
CN113159159A (zh) * 2021-04-15 2021-07-23 东北大学 一种基于改进cnn的小样本图像分类方法
CN113159159B (zh) * 2021-04-15 2023-09-29 东北大学 一种基于改进cnn的小样本图像分类方法
CN113012184B (zh) * 2021-05-11 2023-05-05 电子科技大学 基于Radon变换与多类型图像联合分析的微血管瘤检测方法
CN113012184A (zh) * 2021-05-11 2021-06-22 电子科技大学 基于Radon变换与多类型图像联合分析的微血管瘤检测方法
CN115294126B (zh) * 2022-10-08 2022-12-16 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN115294126A (zh) * 2022-10-08 2022-11-04 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN116258877A (zh) * 2023-05-08 2023-06-13 南京信息工程大学 土地利用场景相似度变化检测方法、装置、介质及设备
CN117854700A (zh) * 2024-01-19 2024-04-09 首都医科大学宣武医院 基于可穿戴监控设备的术后管理方法和系统
CN117854700B (zh) * 2024-01-19 2024-05-28 首都医科大学宣武医院 基于可穿戴监控设备的术后管理方法和系统
CN118195924A (zh) * 2024-05-17 2024-06-14 南昌大学第二附属医院 一种基于图像识别的早产儿视网膜病变分析系统

Also Published As

Publication number Publication date
CN110853009B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110853009A (zh) 基于机器学习的视网膜病理图像分析系统
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN108288506A (zh) 一种基于人工智能技术的癌症病理辅助诊断方法
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111798440A (zh) 医学图像伪影自动识别方法、系统及存储介质
CN110021019B (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN111047559A (zh) 一种数字病理切片异常区域快速检测的方法
CN113420793A (zh) 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN104751461A (zh) 一种基于直方图阈值及低秩表示的白细胞细胞核分割方法
CN112330562B (zh) 一种异构遥感图像变换方法及系统
CN113989799A (zh) 一种宫颈异常细胞识别方法、装置和电子设备
CN110458842A (zh) 基于双通道三维密集连接网络的脑肿瘤分割方法
CN116385467B (zh) 基于自监督学习的脑血管分割方法及相关设备
CN117522891A (zh) 一种3d医学图像分割系统及方法
CN115239943A (zh) 图像矫正模型的训练方法及切片图像的色彩矫正方法
CN115018820A (zh) 基于纹理加强的乳腺癌多分类方法
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
CN115578400A (zh) 图像处理方法、图像分割网络的训练方法及装置
Inamdar et al. A Novel Attention based model for Semantic Segmentation of Prostate Glands using Histopathological Images
CN117275130B (zh) 基于人脸识别的智慧门禁验证系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant