CN116843663A - 适用于组织学切片图像的Aβ斑块识别方法 - Google Patents

适用于组织学切片图像的Aβ斑块识别方法 Download PDF

Info

Publication number
CN116843663A
CN116843663A CN202310848453.9A CN202310848453A CN116843663A CN 116843663 A CN116843663 A CN 116843663A CN 202310848453 A CN202310848453 A CN 202310848453A CN 116843663 A CN116843663 A CN 116843663A
Authority
CN
China
Prior art keywords
layer
image
axis
plaque
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310848453.9A
Other languages
English (en)
Inventor
李安安
龚桂璇
李向宁
龚辉
骆清铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hust-Suzhou Institute For Brainsmatics
Original Assignee
Hust-Suzhou Institute For Brainsmatics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hust-Suzhou Institute For Brainsmatics filed Critical Hust-Suzhou Institute For Brainsmatics
Priority to CN202310848453.9A priority Critical patent/CN116843663A/zh
Publication of CN116843663A publication Critical patent/CN116843663A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种适用于组织学切片图像的Aβ斑块识别方法，包括：步骤一，对待测图像进行预处理，形成输入用二维图像，所述输入用二维图像的属性，与后续需要使用的二阶目标检测网络相匹配；步骤二，将所述输入用二维图像输入到所述二阶目标检测网络，所述二阶目标检测网络对所述输入用二维图像进行特征提取，生成候选框，再进行候选框的二次校正，输出预测结果，所述预测结果包括各所述输入用二维图像中所包含的斑块信息，所述二阶目标检测网络预先经过训练。本发明对斑块的识别较准，且效率较高。

Description

适用于组织学切片图像的Aβ斑块识别方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种适用于组织学切片图像的Aβ斑块识别方法。
背景技术
Aβ（amyloid-β）斑块是阿尔茨海默症 (Alzheimer’s disease，简称AD) 的典型病理特征，其在大脑解剖位置的分布、密度等差异都对AD病变情况和表现存在影响，是AD相关研究中的重要一环。AD小鼠可以快速表现AD相关的淀粉样蛋白病理变化，依托介观层面高分辨显微光学成像数据可以在介观层面对小鼠Aβ斑块全脑成像，观察Aβ斑块在AD鼠脑中的分布变化和发展趋势，同时获得斑块数量、体积等度量信息，为AD疾病机制、早期干预等相关研究提供帮助。所以，如何从图像中对实现斑块精准识别，是相关研究的可靠性和准确性的关键。Aβ斑块数量庞大，在全脑广泛分布，斑块（同Aβ斑块）本身尺寸变化范围广，识别上易受图像噪声影响，同时具有形态多变，信号弥散分布等多重特点，要在图像数据中实现其准确识别十分困难。然而，当前针对小鼠Aβ斑块图像处理开展的专门研究是匮乏的，多数是利用图像处理软件中阈值提取等方式实现斑块的识别，在识别精度和效率上都存在限制。总结目前小鼠介观图像的适用于组织学切片图像的Aβ斑块识别方法，主要分为三个主流。一是使用人工计数的方式，这种方法虽然可信度高，但是会耗费大量的时间和人力，仅适用于小体量、小范围的斑块图像识别任务；二是依赖图像处理软件，将胞体识别等生物医学图像信号识别的软件迁移到斑块识别中，如Farsight、NeuroGPS等，这种方式依赖操作者经验，实现上依然是基于图像阈值等信号提取方式，对于斑块图像数据这类信号值分布跨度大、图像背景噪声干扰多的识别任务，难以达到很好的效果；三是使用常规的图像处理方法，比如使用基于阈值的方式进行前景信号的提取，或是使用分水岭、区域生长算法、形态学操作等方式进行信号分割，这些方法多是依赖图像的单一特征，对于斑块这类形态多变的复杂信号，提取效果欠佳，操作时极易引入噪声，同时计算效率也参差不齐。基于上述情况，亟需一个能够在AD小鼠图像数据中进行自动化高效准确的Aβ斑块精确识别的方法。
发明内容
基于前述的现有技术缺陷，本发明提供一种适用于组织学切片图像的Aβ斑块识别方法，识别比较准确，而且效率较高。
为了实现上述目的，本发明提供了一种适用于组织学切片图像的Aβ斑块识别方法，包括：
步骤一，对待测图像进行预处理，形成输入用二维图像，所述输入用二维图像的属性，与后续需要使用的二阶目标检测网络相匹配；
步骤二，将所述输入用二维图像输入到所述二阶目标检测网络，所述二阶目标检测网络采用ResNet-50残差网络为骨架，采用Enhanced-FPN增强特征金字塔结构，采用RPN区域候选网络与ROI Align感兴趣区域对齐部件及网络预测头构成的二阶识别网络，对所述输入用二维图像进行特征提取，生成候选框，再进行候选框的二次校正，输出预测结果，所述预测结果包括各所述输入用二维图像中所包含的斑块信息，所述二阶目标检测网络预先经过训练。
在一实施方式中，所述步骤一中，对待测图像进行预处理，包括：
如果所述待测图像为二维图像，则对所述待测图像从坐标原点沿x轴、y轴两个方向按预设大小的滑动窗依次进行裁剪，并在x轴、y轴的两个方向上设置有拼接冗余，对于图像的边缘部分不满预设大小处分别沿x轴、y轴方向进行补0灰度值像素的操作，最后对各待测图像数据块进行依次编号命名并分别存出，裁剪得到的预设大小的各待测图像数据块构成所述输入用二维图像，所述预设大小与所述二阶目标检测网络相匹配；
如果所述待测图像为三维图像，则对所述待测图像先沿z轴方向按分辨率大小依次切片分层形成多个分层二维图像，然后对各分层二维图像从坐标原点沿x轴、y轴两个方向按预设大小的滑动窗依次进行裁剪，并在x轴、y轴的两个方向上设置有拼接冗余，对于图像的边缘部分不满预设大小处分别沿x轴、y轴进行补0灰度值像素的操作，最后对各待测图像数据块进行依次编号命名并分别存出，裁剪得到的预设大小的各待测图像数据块构成所述输入用二维图像，所述预设大小与所述二阶目标检测网络相匹配。
在一实施方式中，所述步骤一中，对待测图像进行预处理，包括：
如果所述待测图像为二维图像，则对所述待测图像采用双三次插值的方法进行下采样，使所述输入用二维图像的分辨率与后续需要使用的二阶目标检测网络相匹配；
如果所述待测图像为三维图像，则对所述待测图像先沿z轴方向按分辨率大小依次切片分层形成多个分层二维图像，则对所述待测图像的x轴、y轴平面采用双三次插值的方法进行下采样，使所述待测图像的x轴、y轴平面的分辨率与z轴方向的分辨率一致，各向同性，并使所述输入用二维图像的分辨率与后续需要使用的二阶目标检测网络相匹配。
在一实施方式中，所述步骤二中，所述二阶目标检测网络预先经过训练，其中训练过程包括：
步骤四，建立训练用标注数据集；
所述步骤四包括：
步骤四一，对训练用图像数据的x轴、y轴平面采用双三次插值的方法进行下采样，使所述训练用图像数据的x轴、y轴平面的分辨率与z轴方向的分辨率一致，各向同性，所述训练用图像数据为DANIR-8c荧光探针标记的显微光学切片断层三维成像数据；
步骤四二，对所述训练用图像数据从数据最左上角为初始端，以预设大小依次进行数据裁剪，对于图像的边缘部分不满预设大小处分别沿x轴、y轴、z轴方向进行补0灰度值像素的操作，裁剪得到的各训练用图像数据块均具有预设大小；
步骤四三，选取第一预设数量个训练用图像数据块；
步骤四四，使用3D-slicer标注工具对选取的各训练用图像数据块进行斑块标注，对各训练用图像数据块中所有斑块以长方体框形式进行标注，标注信息包含单个斑块的左上角及右下角的角点的x轴、y轴、z轴坐标信息、斑块所在训练用图像数据块的存放路径及名称三个信息，每个斑块的标注信息都以单个json文件形式存出，最后，对于每个训练用图像数据块中的所有斑块的标注信息汇总，写入一个txt文件中进行存出；
步骤四五，将所有训练用图像数据块和标注信息都在x轴、y轴、z轴三个轴向上进行拆分，沿三个轴向以分辨率大小的单图层间隔将训练用图像数据进行重切片处理，并将标注信息按重切片方向逐层进行汇总，对于单个训练用图像数据块，依次将三个轴向的各层的图像进行拆分存出为jpg格式图片，并依次将各层的图像中对应的所有斑块所在长方形标注框的左上角和右下角的角点x轴、y轴坐标信息汇总存出为txt文件，获得各轴向各层的图像各自对应的标注信息，各轴向各层的图像及其相应的标注信息构成二维标注图像数据，所有的二维标注图像数据构成所述训练用标注数据集。
在一实施方式中，所述步骤四一中，所述训练用图像数据为DANIR-8c荧光探针标记的5XFAD转基因小鼠的显微光学切片断层三维成像数据；
所述步骤四三中，选取的训练用图像数据块包括2月龄、3月龄、5月龄、6月龄、10月龄的小鼠数据；包括海马区、脑桥灰质、主嗅球；包括斑块的分布呈稀疏、普通、密集的类型。
在一实施方式中，所述步骤二中，所述二阶目标检测网络预先经过训练，其中训练过程还包括：
步骤五，选取第二预设数量的二维标注图像数据，将其按照6：1：1的比例进行随机选取分别划分为训练集、验证集和测试集，对于各个数据集，使用单独的json文件将集合内所有图像的标注信息进行汇总，和对应图像一起作为网络的输入。
在一实施方式中，所述步骤二中，所述二阶目标检测网络采用ResNet-50残差网络为骨架，采用Enhanced-FPN增强特征金字塔结构，采用RPN区域候选网络与ROI Align感兴趣区域对齐部件及网络预测头构成的二阶识别网络，对所述输入用二维图像进行特征提取，生成候选框，再进行候选框的二次校正，输出预测结果，包括：
步骤二一，所述ResNet-50残差网络由1个预处理模块和4个卷积模块构成，所述预处理模块包括1个卷积层和1个池化层，将图像的大小缩小二分之一，得到第一层特征图，4个所述卷积模块内部都是以卷积层堆叠和跳跃连接的残差网络形式进行构建，分别包含3、4、6、3个Bottleneck子单元，每个Bottleneck子单元内是3个卷积层，分别得到第二层特征图、第三层特征图、第四层特征图、第五层特征图，所述Enhanced-FPN增强特征金字塔结构进行特征重提取和特征融合，将其中的第二层特征图、第三层特征图、第四层特征图进行下采样至同一尺寸后，经过拼接、两次卷积操作、及sigmoid激活函数处理，将得到的结果进行升维，并作为权重分别与下采样后的第二层特征图、第三层特征图、第四层特征图相乘，将三个权重相乘后的第二层特征图、第三层特征图、第四层特征图进行对应元素相加，得到特征重提取特征图，将此特征重提取特征图与原第五层特征图逐元素相加得到融合后第五层新特征图，对所述第五层新特征图进行维度对齐，得到第五层融合特征图，把原第四层特征图、第三层特征图、第二层特征图分别通过1*1卷积降维，上采样至前一层新特征图相同尺寸，再与前一层新特征图进行逐元素相加融合、并进行维度对齐，分别得到第四层融合特征图、第三层融合特征图、第二层融合特征图，将第五层融合特征图上采样一次获得第六层融合特征图，将第二层融合特征图、第三层融合特征图、第四层融合特征图、第五层融合特征图、第六层融合特征图输出；
步骤二二，所述候选区域生成网络RPN，对于输入的特征图采用3*3的卷积核对特征图进行卷积操作以消除上采样的混叠效应，对特征图的每个特征点，以长宽比例分别为0.5、1、2各自生成5个步长为8、16、32、64、128的锚框，对特征图进行一次1*1卷积，分类判断各锚框内是否包含斑块目标，同时对特征图并行进行另一个1*1卷积进行框回归以校正锚框的位置，采用NMS非极大值抑制保留分类得分前50%的锚框，并对IOU交并比>70%的锚框进行合并，形成候选框输出；
步骤二三，ROI Align感兴趣区域对齐部件将候选框和Enhanced-FPN增强特征金字塔结构输出的特征图进行融合，根据候选框的尺寸来确定各候选框分别对应于哪个层次的特征图，使用基于双线性插值和最大池采样将所有候选框与对应特征图融合，并设置为固定大小，便利后续的全连接操作；
步骤二四，接着使用两个全连接层模块进行连接，每个模块包括一个全连接层和一个ReLU激活函数，接着并行使用两个全连接层，一个用于对候选框进行坐标回归，一个对框内目标进行分类是前景或背景，实现候选框的二次校正，最后形成斑块预测框的预测结果输出。
在一实施方式中，训练时，对于RPN候选区域生成网络，采用二值交叉熵函数作为候选框前景、背景分类损失函数，以Smooth-L1函数作为候选框边界回归的损失函数，对于网络预测头，采用softmax多分类交叉熵函数作为候选框分类损失函数，以Smooth-L1函数作为候选框边界回归的损失函数，通过调整网络训练中的各项参数，包括训练集数据比例、网络学习率、学习率衰减、训练步长、训练轮次，以及网络各模块中的NMS非极大值抑制系数、IOU交并比系数、ROI保留比率，多次调试及训练，并进行模型效果的综合评估对比，选择最优网络参数，并将此时的训练模型作为权重最优模型。
在一实施方式中，还包括：
步骤三，预测结果后处理，包括：
如果所述待测图像为二维图像，则进行步骤三一，将单图层中预测结果按照数据块图像编号及坐标信息还原至原始图像坐标位置，对于拼接冗余部分的边框，将IOU交并比>50%的若干边框视为同一斑块的预测框进行合并，并将这若干边框中x轴、y轴方向上的最大值、最小值作为新的边框边界值，此时便获得了单图层内所有斑块预测框的坐标信息，将包含待测图像路径、名称及斑块预测框角点坐标x1, y1, x2, y2信息的预测结果以txt文件形式存出，其中x1、y1为预测框左上角点坐标信息，x2、y2为预测框右下角点坐标信息；
如果所述待测图像为三维图像，则在进行步骤三一的基础上，进行步骤三二，进一步按照z轴方向层数情况对斑块预测框坐标信息进行修正，将其还原到待测数据块范围的三维坐标系中的坐标位置，对所有图层预测结果经步骤三一处理后，再对各个斑块标签信息添加z轴坐标值x1, y1, x2, y2, z，其中x1、y1为坐标框左上角点坐标信息，x2、y2为坐标框右下角点坐标信息，z为预测框所在的图层；使用全局检索，对于单个斑块各层的预测框进行整合，确定最终的三维预测框，按坐标范围，沿z轴方向图层顺序，将z轴方向下一图层中边框中心落在当前图层边框中心往外二分之一半径范围内的候选框，视为同一斑块的候选框，同时，将边框搜索范围设置为当前边框的前后z轴方向三个图层，利用搜索宽泛来避免由于中间层漏检出而导致边框被整合为两个斑块边框的情况，对于非均匀球体斑块，中心与三维斑块候选框中心不一致，对三个轴向的边框半径比例不在1±0.3范围的斑块进行三维预测框的斑块中心点校正，将z轴方向图层中斑块截面积最大的图层视为斑块中心点所在图层，并将此图层预测框中心点作为斑块中心点，基于上述操作实现二维边框到三维边框的整合，获得最后的斑块预测框坐标结果x1,y1, x2, y2, z1,z2，其中x1、y1为预测框左上角点坐标信息，x2、y2为预测框右下角点坐标信息，z1、z2为预测框z轴方向图层分布的起始及终止层数，最后将包含待测图像路径、名称及斑块预测框信息的预测结果以txt文件形式存出。
本发明所述适用于组织学切片图像的Aβ斑块识别方法，通过构建具有优良小目标检测效果的二阶目标检测深度学习网络，以先生成斑块目标候选框、再二次校正的方式，精准识别图像中的Aβ斑块信号具体坐标分布及信号外接矩形预测框，可以对含有斑块的二维图像数据进行斑块识别，具有较好的抗背景噪声能力，能适应复杂类型图像数据的斑块识别需求，实现较高准确率的斑块识别效果，将识别准确率提升至90%以上，而且效率较高。
附图说明
在此描述的附图仅用于解释目的，而不意图以任何方式来限制本发明公开的范围。另外，图中的各部件的形状和比例尺寸等仅为示意性的，用于帮助对本发明的理解，并不是具体限定本发明各部件的形状和比例尺寸。本领域的技术人员在本发明的教导下，可以根据具体情况选择各种可能的形状和比例尺寸来实施本发明。在附图中：
图1为本发明第一实施方式提供的一种适用于组织学切片图像的Aβ斑块识别方法的流程示意图；
图2为本发明第一实施方式提供的一种适用于组织学切片图像的Aβ斑块识别方法中步骤四的流程示意图；
图3为本发明第一实施方式提供的一种适用于组织学切片图像的Aβ斑块识别方法中步骤二的流程示意图；
图4为本发明第一实施方式提供的一种适用于组织学切片图像的Aβ斑块识别方法中步骤三的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参阅图1所示，本发明第一实施方式提供一种适用于组织学切片图像的Aβ斑块识别方法，包括：
步骤一，对待测图像进行预处理，形成输入用二维图像，所述输入用二维图像的属性，与后续需要使用的二阶目标检测网络相匹配；
步骤二，将所述输入用二维图像输入到所述二阶目标检测网络，所述二阶目标检测网络采用ResNet-50残差网络为骨架，采用Enhanced-FPN增强特征金字塔结构，采用RPN区域候选网络与ROI Align感兴趣区域对齐部件及网络预测头构成的二阶识别网络，对所述输入用二维图像进行特征提取，生成候选框，再进行候选框的二次校正，输出预测结果，所述预测结果包括各所述输入用二维图像中所包含的斑块信息，所述二阶目标检测网络预先经过训练。
本发明适用于组织学切片图像的Aβ斑块识别方法可以对含有Aβ斑块（全文简称斑块，所指与Aβ斑块相同）的二维图像数据进行斑块识别，具有较好的抗背景噪声能力，能适应复杂类型图像数据的斑块识别需求，实现较高准确率的斑块识别效果，准确率达90%以上。在识别过程中基本实现无人工干预的自动化斑块识别，解决过去斑块识别方法中需要耗费大量人力的问题。
在一实施方式中，所述步骤一中，对待测图像进行预处理，包括：
如果所述待测图像为二维图像，则对所述待测图像从坐标原点沿x轴、y轴两个方向按预设大小的滑动窗依次进行裁剪，并在x轴、y轴的两个方向上设置有拼接冗余，对于图像的边缘部分不满预设大小处分别沿x轴、y轴方向进行补0灰度值像素的操作，最后对各待测图像数据块进行依次编号命名并分别存出，裁剪得到的预设大小的各待测图像数据块构成所述输入用二维图像，所述预设大小与所述二阶目标检测网络相匹配；
如果所述待测图像为三维图像，则对所述待测图像先沿z轴方向按分辨率大小依次切片分层形成多个分层二维图像，然后对各分层二维图像从坐标原点沿x轴、y轴两个方向按预设大小的滑动窗依次进行裁剪，并在x轴、y轴的两个方向上设置有拼接冗余，对于图像的边缘部分不满预设大小处分别沿x轴、y轴进行补0灰度值像素的操作，最后对各待测图像数据块进行依次编号命名并分别存出，裁剪得到的预设大小的各待测图像数据块构成所述输入用二维图像，所述预设大小与所述二阶目标检测网络相匹配。
因为待测图像一般尺寸较大，所以裁剪成较小的数据块有利于提高识别的效率。在一具体实施例中，预设大小为512*512 pixels（像素）。第一个数据块为x轴、y轴上第1至512个像素，第二个数据块为x轴上第501至1012个像素、y轴上第1至512个像素，以此类推。裁剪数据块时设置拼接冗余，可以满足大尺寸图像分块同步预测的需求，有效提高运行效率，而且可以有利于识别结果的精准整合。预设大小与所述二阶目标检测网络训练时使用的图像大小有关，即所述二阶目标检测网络训练时使用的图像大小如果是512*512pixels，则待测图像预处理时也按512 *512 pixels进行裁剪。
在一实施方式中，所述步骤一中，对待测图像进行预处理，包括：
如果所述待测图像为二维图像，则对所述待测图像采用双三次插值的方法进行下采样，使所述输入用二维图像的分辨率与后续需要使用的二阶目标检测网络相匹配；
如果所述待测图像为三维图像，则对所述待测图像先沿z轴方向按分辨率大小依次切片分层形成多个分层二维图像，则对所述待测图像的x轴、y轴平面采用双三次插值的方法进行下采样，使所述待测图像的x轴、y轴平面的分辨率与z轴方向的分辨率一致，各向同性，并使所述输入用二维图像的分辨率与后续需要使用的二阶目标检测网络相匹配。
因为待测图像的分辨率一般都比较高，为缓解高分辨率图像在识别计算中的内存消耗问题，同时保证小尺寸斑块的识别精度，需要将图像数据分辨率下采样。而三维图像数据一般z轴方向的分辨率低于x轴、y轴方向的分辨率，所以将待测图像的x轴、y轴平面进行下采样，使所述待测图像的x轴、y轴平面的分辨率与z轴方向的分辨率一致，各向同性，然后再进行裁剪。而二维图像如果分辨率较高，则直接下采样降低分辨率即可。降低后的分辨率为多少，则是由所述二阶目标检测网络训练时使用的图像的分辨率决定。即，所述二阶目标检测网络训练时使用的图像的分辨率是多少，则待测图像在预处理时，也将分辨率降低到多少，此即使所述输入用二维图像的分辨率与后续需要使用的二阶目标检测网络相匹配。
在一实施方式中，所述步骤二中，所述二阶目标检测网络预先经过训练，其中训练过程包括：
步骤四，建立训练用标注数据集；
所述步骤四包括：
步骤四一，对训练用图像数据的x轴、y轴平面采用双三次插值的方法进行下采样，使所述训练用图像数据的x轴、y轴平面的分辨率与z轴方向的分辨率一致，各向同性，所述训练用图像数据为DANIR-8c荧光探针标记的显微光学切片断层三维成像数据；
步骤四二，对所述训练用图像数据从数据最左上角为初始端，以预设大小依次进行数据裁剪，对于图像的边缘部分不满预设大小处分别沿x轴、y轴、z轴方向进行补0灰度值像素的操作，裁剪得到的各训练用图像数据块均具有预设大小；
步骤四三，选取第一预设数量个训练用图像数据块；
步骤四四，使用3D-slicer标注工具对选取的各训练用图像数据块进行斑块标注，对各训练用图像数据块中所有斑块以长方体框形式进行标注，标注信息包含单个斑块的左上角及右下角的角点的x轴、y轴、z轴坐标信息、斑块所在训练用图像数据块的存放路径及名称三个信息，每个斑块的标注信息都以单个json文件形式存出，最后，对于每个训练用图像数据块中的所有斑块的标注信息汇总，写入一个txt文件中进行存出；
步骤四五，将所有训练用图像数据块和标注信息都在x轴、y轴、z轴三个轴向上进行拆分，沿三个轴向以分辨率大小的单图层间隔将训练用图像数据进行重切片处理，并将标注信息按重切片方向逐层进行汇总，对于单个训练用图像数据块，依次将三个轴向的各层的图像进行拆分存出为jpg格式图片，并依次将各层的图像中对应的所有斑块所在长方形标注框的左上角和右下角的角点x轴、y轴坐标信息汇总存出为txt文件，获得各轴向各层的图像各自对应的标注信息，各轴向各层的图像及其相应的标注信息构成二维标注图像数据，所有的二维标注图像数据构成所述训练用标注数据集。
请参阅图2所示，在一具体实施例中，所述步骤四一中，所述训练用图像数据为DANIR-8c荧光探针标记的5XFAD转基因小鼠的显微光学切片断层三维成像数据，图像分辨率为0.325*0.325*1 μm3。所述步骤四二中，对训练用图像数据的x轴、y轴平面采用双三次插值（BiCubic插值）的方法下采样3.08倍至1*1μm2分辨率水平，与z轴方向分辨率水平一致。预设大小为512*512*512 pixels，进行裁剪。所述步骤四三中，选取的训练用图像数据块包括2月龄、3月龄、5月龄、6月龄、10月龄的小鼠数据；包括海马区（Hippocampal region，简称HIP）、脑桥灰质（Pontine gray，简称PG）、主嗅球（Main olfactory bulb，简称MOB）；包括斑块的分布呈稀疏、普通、密集的类型，第一预设数量为22，以能够后续在实际用于预测时可以应对各种情形，满足了不同脑区、不同鼠龄数据的斑块识别需求，具有较好的迁移性与适用性。所述步骤四四中，对于每一个512*512*512pixels训练用图像数据块中的所有斑块标注信息汇总，写入一个txt文件中进行存出。所述步骤四五中，由于斑块是三维立体结构，只从二维图像上进行标注容易忽略斑块边缘低信号强度部分，或将小尺寸斑块误认为噪点，因此采用对标注后的训练用图像数据块在三个主轴方向（x轴、y轴、z轴）进行图像重切片与二维图层标签分配的策略，实现了连续图层斑块的标注，减少了识别任务的数据标注难度，同时在一定程度上增加了训练的数据类型和数据量及网络的泛化能力，有助于提高网络的鲁棒性。
在一实施方式中，所述步骤二中，所述二阶目标检测网络预先经过训练，其中训练过程还包括：
步骤五，选取第二预设数量的二维标注图像数据，将其按照6：1：1的比例进行随机选取分别划分为训练集、验证集和测试集，对于各个数据集，使用单独的json文件将集合内所有图像的标注信息进行汇总，和对应图像一起作为网络的输入。在一具体实施例中，所述第二预设数量为11264。
请参阅图3所示，在一实施方式中，所述步骤二中，所述二阶目标检测网络采用ResNet-50残差网络为骨架，采用Enhanced-FPN增强特征金字塔结构，采用RPN区域候选网络与ROI Align感兴趣区域对齐部件及网络预测头构成的二阶识别网络，对所述输入用二维图像进行特征提取，生成候选框，再进行候选框的二次校正，输出预测结果，包括：
步骤二一，所述ResNet-50残差网络由1个预处理模块和4个卷积模块构成，所述预处理模块包括1个卷积层和1个池化层，将图像的大小缩小二分之一，得到第一层特征图C1，4个所述卷积模块内部都是以卷积层堆叠和跳跃连接的残差网络形式进行构建，分别包含3、4、6、3个Bottleneck子单元，每个Bottleneck子单元内是3个卷积层，分别得到第二层特征图C2、第三层特征图C3、第四层特征图C4、第五层特征图C5，所述Enhanced-FPN增强特征金字塔结构进行特征重提取和特征融合，将其中的第二层特征图C2、第三层特征图C3、第四层特征图C4进行下采样至同一尺寸后，经过拼接、两次卷积操作、及sigmoid激活函数处理，将得到的结果W进行升维，并作为权重分别与下采样后的第二层特征图C2、第三层特征图C3、第四层特征图C4相乘，将三个权重相乘后的第二层特征图C2、第三层特征图C3、第四层特征图C4进行对应元素相加，得到特征重提取特征图E，将此特征重提取特征图与原第五层特征图C5逐元素相加得到融合后第五层新特征图，对所述第五层新特征图进行维度对齐，得到第五层融合特征图P5，把原第四层特征图C4、第三层特征图C3、第二层特征图C2分别通过1*1卷积降维，上采样至前一层新特征图相同尺寸，再与前一层新特征图进行逐元素相加融合、并进行维度对齐，分别得到第四层融合特征图P4、第三层融合特征图P3、第二层融合特征图P2，将第五层融合特征图P5上采样一次获得第六层融合特征图P6，将第二层融合特征图P2、第三层融合特征图P3、第四层融合特征图P4、第五层融合特征图P5、第六层融合特征图P6输出；
步骤二二，所述候选区域生成网络RPN，对于输入的特征图采用3*3的卷积核对特征图进行卷积操作以消除上采样的混叠效应，对特征图的每个特征点，以长宽比例分别为0.5、1、2各自生成5个步长为8、16、32、64、128的锚框，对特征图进行一次1*1卷积（softmax），分类判断各锚框内是否包含斑块目标，同时对特征图并行进行另一个1*1卷积进行框回归以校正锚框的位置（bbox_reg），采用NMS非极大值抑制保留分类得分前50%的锚框，并对IOU交并比>70%的锚框进行合并，形成候选框proposals输出；
步骤二三，ROI Align感兴趣区域对齐部件将候选框proposals和Enhanced-FPN增强特征金字塔结构输出的特征图进行融合，根据候选框proposals的尺寸来确定各候选框proposals分别对应于哪个层次的特征图，使用基于双线性插值和最大池采样将所有候选框proposals与对应特征图融合，并设置为固定大小，便利后续的全连接操作；
步骤二四，接着使用两个全连接层模块进行连接，每个模块包括一个全连接层FClayers和一个ReLU激活函数，接着并行使用两个全连接层，一个用于对候选框proposals进行坐标回归（bbox_pred），一个对框内目标进行分类是前景或背景（softmax+cls_prob），实现候选框的二次校正，最后形成斑块预测框的预测结果输出。
网络训练的主要目的是网络各部分的权重优化，使各个模块损失函数下降到较低水平，并在后续迭代中基本保持稳定。在一实施方式中，训练时，对于RPN候选区域生成网络，采用二值交叉熵函数作为候选框前景、背景分类损失函数，以Smooth-L1函数作为候选框边界回归的损失函数，对于网络预测头，采用softmax多分类交叉熵函数作为候选框分类损失函数，以Smooth-L1函数作为候选框边界回归的损失函数，通过调整网络训练中的各项参数，包括训练集数据比例、网络学习率（learning rate, lr）、学习率衰减（decay）、训练步长（steps）、训练轮次（epochs），以及网络各模块中的NMS非极大值抑制系数、IOU交并比系数、ROI保留比率，多次调试及训练，并进行模型效果的综合评估对比，选择最优网络参数，并将此时的训练模型作为权重最优模型。
请参阅图1所示，在一实施方式中，所述的适用于组织学切片图像的Aβ斑块识别方法还包括：
步骤三，预测结果后处理，包括：
如果所述待测图像为二维图像，则进行步骤三一，将单图层中预测结果按照数据块图像编号及坐标信息还原至原始图像坐标位置，对于拼接冗余部分的边框，将IOU交并比>50%的若干边框视为同一斑块的预测框进行合并，并将这若干边框中x轴、y轴方向上的最大值、最小值作为新的边框边界值，此时便获得了单图层内所有斑块预测框的坐标信息，将包含待测图像路径、名称及斑块预测框角点坐标x1, y1, x2, y2信息的预测结果以txt文件形式存出，其中x1、y1为预测框左上角点坐标信息，x2、y2为预测框右下角点坐标信息；
如果所述待测图像为三维图像，则在进行步骤三一的基础上，进行步骤三二，进一步按照z轴方向层数情况对斑块预测框坐标信息进行修正，将其还原到待测数据块范围的三维坐标系中的坐标位置，对所有图层预测结果经步骤三一处理后，再对各个斑块标签信息添加z轴坐标值x1, y1, x2, y2, z，其中x1、y1为坐标框左上角点坐标信息，x2、y2为坐标框右下角点坐标信息，z为预测框所在的图层；使用全局检索，对于单个斑块各层的预测框进行整合，确定最终的三维预测框，按坐标范围，沿z轴方向图层顺序，将z轴方向下一图层中边框中心落在当前图层边框中心往外二分之一半径范围内的候选框，视为同一斑块的候选框（如图4中左侧部分所示），同时，将边框搜索范围设置为当前边框的前后z轴方向三个图层，利用搜索宽泛来避免由于中间层漏检出而导致边框被整合为两个斑块边框的情况（如图4中中间部分所示），对于非均匀球体斑块，中心与三维斑块候选框中心不一致，对三个轴向的边框半径比例不在1±0.3范围的斑块进行三维预测框的斑块中心点校正，将z轴方向图层中斑块截面积最大的图层视为斑块中心点所在图层，并将此图层预测框中心点作为斑块中心点（如图4中右侧部分所示），基于上述操作实现二维边框到三维边框的整合，获得最后的斑块预测框坐标结果x1, y1, x2, y2, z1,z2，其中x1、y1为预测框左上角点坐标信息，x2、y2为预测框右下角点坐标信息，z1、z2为预测框z轴方向图层分布的起始及终止层数，最后将包含待测图像路径、名称及斑块预测框信息的预测结果以txt文件形式存出。
本发明所述适用于组织学切片图像的Aβ斑块识别方法，通过构建具有优良小目标检测效果的二阶目标检测深度学习网络，以先生成斑块目标候选框、再二次校正的方式，精准识别图像中的Aβ斑块信号具体坐标分布及信号外接矩形预测框，可以对含有斑块的二维图像数据进行斑块识别，具有较好的抗背景噪声能力，能适应复杂类型图像数据的斑块识别需求，实现较高准确率的斑块识别效果，将识别准确率提升至90%以上，而且效率较高。
在识别过程中基本实现无人工干预的自动化斑块识别，解决过去斑块识别方法中需要耗费大量人力的问题。同时，本发明不仅可适用于二维单层图像的斑块识别，也可应用于z向连续分布的二维多图层数据的斑块识别任务中，实现斑块识别结果的精准三维整合。
在对网络模型进行训练时，通过在三维图像数据块进行斑块标注，再在三个主轴方向（x轴、y轴、z轴）进行图像重切片与二维图层标签分配的策略，实现了连续图层斑块的标注，减少了识别任务的数据标注难度，同时在一定程度上增加了训练的数据类型，有助于提高网络的鲁棒性。同时利用多鼠龄、多脑区的多种类斑块图像数据进行训练，满足了不同脑区、不同鼠龄数据的斑块识别需求，使发明具有较好的迁移性与适用性。
在识别时，网络中关键的特征提取上，使用增强特征金字塔架构，对提取到的特征图进行特征图重利用以提升网络的特征抓取能力，再结合区域候选网络与ROI Align部件搭建二阶识别网络，充分利用了图像的多尺度特征信息，最终在斑块识别这种典型的小目标检测任务中取得了较好的效果，获得高于当前已有方法的斑块识别准确率。
在预测结果后处理时，通过交并比判断实现图像间的冗余拼接，满足大尺寸图像分块同步预测的需求，有效提高运行效率，实现识别结果的二维精准整合。并在此基础上结合全局搜索和中心点校正，利用z轴方向层间斑块识别信息，以符合实际数据统计结果的合并策略进行斑块识别结果的三维整合，解决连续二维图像目标检测网络中易出现的识别断帧问题，及斑块中心点与识别框中心点分布不统一的问题，实现将方法应用于三维z轴方向连续图层的斑块识别上。
本发明通过将二阶目标检测网络应用于小鼠脑图像中的Aβ斑块识别，并通过改善网络部件提升网络性能，进一步结合斑块图像前、后处理方式，实现了高于现有方法水平的小鼠脑Aβ斑块识别效果。且本发明具有较好的迁移性与泛化性，可应对不同鼠龄、不同脑区的斑块识别需求，对比传统的斑块分布中心点识别，本发明可一次性获取其坐标分布及信号外接矩形预测框。同时使用时极大程度减少了人工的干预，并可迁移应用于三维连续图层的斑块识别中。
应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述的描述，在所提供的示例之外的许多实施例和许多应用对本领域技术人员来说都将是显而易见的。因此，本教导的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。出于全面之目的，所有文章和参考包括专利申请和公告的公开都通过参考结合在本文中。在前述权利要求中省略这里公开的主题的任何方面并不是为了放弃该主体内容，也不应该认为申请人没有将该主题考虑为所公开的申请主题的一部分。

Claims (9)

1.一种适用于组织学切片图像的Aβ斑块识别方法，其特征在于，包括：
步骤一，对待测图像进行预处理，形成输入用二维图像，所述输入用二维图像的属性，与后续需要使用的二阶目标检测网络相匹配；
步骤二，将所述输入用二维图像输入到所述二阶目标检测网络，所述二阶目标检测网络采用ResNet-50残差网络为骨架，采用Enhanced-FPN增强特征金字塔结构，采用RPN区域候选网络与ROI Align感兴趣区域对齐部件及网络预测头构成的二阶识别网络，对所述输入用二维图像进行特征提取，生成候选框，再进行候选框的二次校正，输出预测结果，所述预测结果包括各所述输入用二维图像中所包含的斑块信息，所述二阶目标检测网络预先经过训练。
2.如权利要求1所述的适用于组织学切片图像的Aβ斑块识别方法，其特征在于，所述步骤一中，对待测图像进行预处理，包括：
如果所述待测图像为二维图像，则对所述待测图像从坐标原点沿x轴、y轴两个方向按预设大小的滑动窗依次进行裁剪，并在x轴、y轴的两个方向上设置有拼接冗余，对于图像的边缘部分不满预设大小处分别沿x轴、y轴方向进行补0灰度值像素的操作，最后对各待测图像数据块进行依次编号命名并分别存出，裁剪得到的预设大小的各待测图像数据块构成所述输入用二维图像，所述预设大小与所述二阶目标检测网络相匹配；
如果所述待测图像为三维图像，则对所述待测图像先沿z轴方向按分辨率大小依次切片分层形成多个分层二维图像，然后对各分层二维图像从坐标原点沿x轴、y轴两个方向按预设大小的滑动窗依次进行裁剪，并在x轴、y轴的两个方向上设置有拼接冗余，对于图像的边缘部分不满预设大小处分别沿x轴、y轴进行补0灰度值像素的操作，最后对各待测图像数据块进行依次编号命名并分别存出，裁剪得到的预设大小的各待测图像数据块构成所述输入用二维图像，所述预设大小与所述二阶目标检测网络相匹配。
3.如权利要求1所述的适用于组织学切片图像的Aβ斑块识别方法，其特征在于，所述步骤一中，对待测图像进行预处理，包括：
如果所述待测图像为二维图像，则对所述待测图像采用双三次插值的方法进行下采样，使所述输入用二维图像的分辨率与后续需要使用的二阶目标检测网络相匹配；
如果所述待测图像为三维图像，则对所述待测图像先沿z轴方向按分辨率大小依次切片分层形成多个分层二维图像，则对所述待测图像的x轴、y轴平面采用双三次插值的方法进行下采样，使所述待测图像的x轴、y轴平面的分辨率与z轴方向的分辨率一致，各向同性，并使所述输入用二维图像的分辨率与后续需要使用的二阶目标检测网络相匹配。
4.如权利要求1所述的适用于组织学切片图像的Aβ斑块识别方法，其特征在于，所述步骤二中，所述二阶目标检测网络预先经过训练，其中训练过程包括：
步骤四，建立训练用标注数据集；
所述步骤四包括：
步骤四一，对训练用图像数据的x轴、y轴平面采用双三次插值的方法进行下采样，使所述训练用图像数据的x轴、y轴平面的分辨率与z轴方向的分辨率一致，各向同性，所述训练用图像数据为DANIR-8c荧光探针标记的显微光学切片断层三维成像数据；
步骤四二，对所述训练用图像数据从数据最左上角为初始端，以预设大小依次进行数据裁剪，对于图像的边缘部分不满预设大小处分别沿x轴、y轴、z轴方向进行补0灰度值像素的操作，裁剪得到的各训练用图像数据块均具有预设大小；
步骤四三，选取第一预设数量个训练用图像数据块；
步骤四四，使用3D-slicer标注工具对选取的各训练用图像数据块进行斑块标注，对各训练用图像数据块中所有斑块以长方体框形式进行标注，标注信息包含单个斑块的左上角及右下角的角点的x轴、y轴、z轴坐标信息、斑块所在训练用图像数据块的存放路径及名称三个信息，每个斑块的标注信息都以单个json文件形式存出，最后，对于每个训练用图像数据块中的所有斑块的标注信息汇总，写入一个txt文件中进行存出；
步骤四五，将所有训练用图像数据块和标注信息都在x轴、y轴、z轴三个轴向上进行拆分，沿三个轴向以分辨率大小的单图层间隔将训练用图像数据进行重切片处理，并将标注信息按重切片方向逐层进行汇总，对于单个训练用图像数据块，依次将三个轴向的各层的图像进行拆分存出为jpg格式图片，并依次将各层的图像中对应的所有斑块所在长方形标注框的左上角和右下角的角点x轴、y轴坐标信息汇总存出为txt文件，获得各轴向各层的图像各自对应的标注信息，各轴向各层的图像及其相应的标注信息构成二维标注图像数据，所有的二维标注图像数据构成所述训练用标注数据集。
5.如权利要求4所述的适用于组织学切片图像的Aβ斑块识别方法，其特征在于，所述步骤四一中，所述训练用图像数据为DANIR-8c荧光探针标记的5XFAD转基因小鼠的显微光学切片断层三维成像数据；
所述步骤四三中，选取的训练用图像数据块包括2月龄、3月龄、5月龄、6月龄、10月龄的小鼠数据；包括海马区、脑桥灰质、主嗅球；包括斑块的分布呈稀疏、普通、密集的类型。
6.如权利要求4所述的适用于组织学切片图像的Aβ斑块识别方法，其特征在于，所述步骤二中，所述二阶目标检测网络预先经过训练，其中训练过程还包括：
步骤五，选取第二预设数量的二维标注图像数据，将其按照6：1：1的比例进行随机选取分别划分为训练集、验证集和测试集，对于各个数据集，使用单独的json文件将集合内所有图像的标注信息进行汇总，和对应图像一起作为网络的输入。
7.如权利要求1中所述的适用于组织学切片图像的Aβ斑块识别方法，其特征在于，所述步骤二中，所述二阶目标检测网络采用ResNet-50残差网络为骨架，采用Enhanced-FPN增强特征金字塔结构，采用RPN区域候选网络与ROI Align感兴趣区域对齐部件及网络预测头构成的二阶识别网络，对所述输入用二维图像进行特征提取，生成候选框，再进行候选框的二次校正，输出预测结果，包括：
步骤二一，所述ResNet-50残差网络由1个预处理模块和4个卷积模块构成，所述预处理模块包括1个卷积层和1个池化层，将图像的大小缩小二分之一，得到第一层特征图，4个所述卷积模块内部都是以卷积层堆叠和跳跃连接的残差网络形式进行构建，分别包含3、4、6、3个Bottleneck子单元，每个Bottleneck子单元内是3个卷积层，分别得到第二层特征图、第三层特征图、第四层特征图、第五层特征图，所述Enhanced-FPN增强特征金字塔结构进行特征重提取和特征融合，将其中的第二层特征图、第三层特征图、第四层特征图进行下采样至同一尺寸后，经过拼接、两次卷积操作、及sigmoid激活函数处理，将得到的结果进行升维，并作为权重分别与下采样后的第二层特征图、第三层特征图、第四层特征图相乘，将三个权重相乘后的第二层特征图、第三层特征图、第四层特征图进行对应元素相加，得到特征重提取特征图，将此特征重提取特征图与原第五层特征图逐元素相加得到融合后第五层新特征图，对所述第五层新特征图进行维度对齐，得到第五层融合特征图，把原第四层特征图、第三层特征图、第二层特征图分别通过1*1卷积降维，上采样至前一层新特征图相同尺寸，再与前一层新特征图进行逐元素相加融合、并进行维度对齐，分别得到第四层融合特征图、第三层融合特征图、第二层融合特征图，将第五层融合特征图上采样一次获得第六层融合特征图，将第二层融合特征图、第三层融合特征图、第四层融合特征图、第五层融合特征图、第六层融合特征图输出；
步骤二二，所述候选区域生成网络RPN，对于输入的特征图采用3*3的卷积核对特征图进行卷积操作以消除上采样的混叠效应，对特征图的每个特征点，以长宽比例分别为0.5、1、2各自生成5个步长为8、16、32、64、128的锚框，对特征图进行一次1*1卷积，分类判断各锚框内是否包含斑块目标，同时对特征图并行进行另一个1*1卷积进行框回归以校正锚框的位置，采用NMS非极大值抑制保留分类得分前50%的锚框，并对IOU交并比>70%的锚框进行合并，形成候选框输出；
步骤二三，ROI Align感兴趣区域对齐部件将候选框和Enhanced-FPN增强特征金字塔结构输出的特征图进行融合，根据候选框的尺寸来确定各候选框分别对应于哪个层次的特征图，使用基于双线性插值和最大池采样将所有候选框与对应特征图融合，并设置为固定大小，便利后续的全连接操作；
步骤二四，接着使用两个全连接层模块进行连接，每个模块包括一个全连接层和一个ReLU激活函数，接着并行使用两个全连接层，一个用于对候选框进行坐标回归，一个对框内目标进行分类是前景或背景，实现候选框的二次校正，最后形成斑块预测框的预测结果输出。
8.如权利要求7中所述的适用于组织学切片图像的Aβ斑块识别方法，其特征在于，训练时，对于RPN候选区域生成网络，采用二值交叉熵函数作为候选框前景、背景分类损失函数，以Smooth-L1函数作为候选框边界回归的损失函数，对于网络预测头，采用softmax多分类交叉熵函数作为候选框分类损失函数，以Smooth-L1函数作为候选框边界回归的损失函数，通过调整网络训练中的各项参数，包括训练集数据比例、网络学习率、学习率衰减、训练步长、训练轮次，以及网络各模块中的NMS非极大值抑制系数、IOU交并比系数、ROI保留比率，多次调试及训练，并进行模型效果的综合评估对比，选择最优网络参数，并将此时的训练模型作为权重最优模型。
9.如权利要求2所述的适用于组织学切片图像的Aβ斑块识别方法，其特征在于，还包括：
步骤三，预测结果后处理，包括：
如果所述待测图像为二维图像，则进行步骤三一，将单图层中预测结果按照数据块图像编号及坐标信息还原至原始图像坐标位置，对于拼接冗余部分的边框，将IOU交并比>50%的若干边框视为同一斑块的预测框进行合并，并将这若干边框中x轴、y轴方向上的最大值、最小值作为新的边框边界值，此时便获得了单图层内所有斑块预测框的坐标信息，将包含待测图像路径、名称及斑块预测框角点坐标x1, y1, x2, y2信息的预测结果以txt文件形式存出，其中x1、y1为预测框左上角点坐标信息，x2、y2为预测框右下角点坐标信息；
如果所述待测图像为三维图像，则在进行步骤三一的基础上，进行步骤三二，进一步按照z轴方向层数情况对斑块预测框坐标信息进行修正，将其还原到待测数据块范围的三维坐标系中的坐标位置，对所有图层预测结果经步骤三一处理后，再对各个斑块标签信息添加z轴坐标值x1, y1, x2, y2, z，其中x1、y1为坐标框左上角点坐标信息，x2、y2为坐标框右下角点坐标信息，z为预测框所在的图层；使用全局检索，对于单个斑块各层的预测框进行整合，确定最终的三维预测框，按坐标范围，沿z轴方向图层顺序，将z轴方向下一图层中边框中心落在当前图层边框中心往外二分之一半径范围内的候选框，视为同一斑块的候选框，同时，将边框搜索范围设置为当前边框的前后z轴方向三个图层，利用搜索宽泛来避免由于中间层漏检出而导致边框被整合为两个斑块边框的情况，对于非均匀球体斑块，中心与三维斑块候选框中心不一致，对三个轴向的边框半径比例不在1±0.3范围的斑块进行三维预测框的斑块中心点校正，将z轴方向图层中斑块截面积最大的图层视为斑块中心点所在图层，并将此图层预测框中心点作为斑块中心点，基于上述操作实现二维边框到三维边框的整合，获得最后的斑块预测框坐标结果x1, y1, x2, y2, z1,z2，其中x1、y1为预测框左上角点坐标信息，x2、y2为预测框右下角点坐标信息，z1、z2为预测框z轴方向图层分布的起始及终止层数，最后将包含待测图像路径、名称及斑块预测框信息的预测结果以txt文件形式存出。
CN202310848453.9A 2023-07-11 2023-07-11 适用于组织学切片图像的Aβ斑块识别方法 Pending CN116843663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310848453.9A CN116843663A (zh) 2023-07-11 2023-07-11 适用于组织学切片图像的Aβ斑块识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310848453.9A CN116843663A (zh) 2023-07-11 2023-07-11 适用于组织学切片图像的Aβ斑块识别方法

Publications (1)

Publication Number Publication Date
CN116843663A true CN116843663A (zh) 2023-10-03

Family

ID=88161448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310848453.9A Pending CN116843663A (zh) 2023-07-11 2023-07-11 适用于组织学切片图像的Aβ斑块识别方法

Country Status (1)

Country Link
CN (1) CN116843663A (zh)

Similar Documents

Publication Publication Date Title
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
CN113850825B (zh) 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
WO2021197341A1 (zh) 一种基于单目影像的道路标志标线的更新方法
CN111524135B (zh) 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN111553858B (zh) 基于生成对抗网络的图像修复方法、系统及其应用
Hoppe et al. Incremental Surface Extraction from Sparse Structure-from-Motion Point Clouds.
CN111932511B (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN111768388A (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN111462120A (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
Ji et al. SurfaceNet+: An end-to-end 3D neural network for very sparse multi-view stereopsis
CN110781850A (zh) 道路识别的语义分割系统和方法、计算机存储介质
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN116539619B (zh) 产品缺陷检测方法、系统、装置及存储介质
Chatterjee et al. On building classification from remote sensor imagery using deep neural networks and the relation between classification and reconstruction accuracy using border localization as proxy
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN113902945A (zh) 一种多模态乳腺磁共振图像分类方法及系统
CN116665153A (zh) 一种基于改进型Deeplabv3+网络模型的道路场景分割方法
Wang et al. The application of deep learning in stereo matching and disparity estimation: A bibliometric review
Li et al. Learning to holistically detect bridges from large-size vhr remote sensing imagery
CN116843663A (zh) 适用于组织学切片图像的Aβ斑块识别方法
CN116434303A (zh) 基于多尺度特征融合的人脸表情捕捉方法、装置及介质
CN115601675A (zh) 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法
CN115345917A (zh) 低显存占用的多阶段稠密重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination