CN110705639A - 一种基于深度学习的医学精子图像识别系统 - Google Patents

Abstract

本发明属于图像识别技术领域，具体涉及一种基于深度学习的医学精子图像识别系统；包括输入模块、定位模块和分类模块，其中输入模块用于采集检测者进行灰度化处理后的精子图片；定位模块根据输入模块中采集到的精子图片，利用深度学习和图像识别方法中的YOLO v3模型对精子图片上的精子头部进行定位；分类模块采用构建的VGG‑dense block分类模型对定位模块中定位出的精子头部进行正异常判定，输出正常精子和异常精子；本系统检测精子图片用时短，大大减轻了医生的工作量，准确率高，减小主观性带来的误差，可以辅助和部分替代医生进行精子形态评估，具有良好的应用前景。

Description

一种基于深度学习的医学精子图像识别系统

技术领域

本发明属于图像识别技术领域，具体涉及一种基于深度学习的医学精子图像识别系统。

背景技术

全球近10％的育龄人口受到不孕不育的影响，其中至少30-50％的病例与男性有关。对精液分析及精子形态评估，是诊断男性不育的一个重要手段。目前针对医学精子图片中精子的评估均为人工进行，存在主观性强、标准不严格、耗时等缺陷，因此，如何快速准确检测大量医学精子图片中精子的位置和正异常情况成为不育早期诊断的首要问题，利用机器学习和深度学习的算法通过计算机辅助进行医学图片分析是必然发展趋势。

发明内容

为了克服上述问题，本发明提出一种基于深度学习的医学精子图像识别系统，分为输入模块、定位模块和分类模块，利用深度学习的方法将精子定位，并对精子的形态进行分析，实现精子正异常的准确分类，减小主观性带来的误差，减轻医生的工作量，辅助医生做出疾病判断。

本发明采用如下技术方案：

一种基于深度学习的医学精子图像识别系统，包括输入模块、定位模块和分类模块，其中输入模块用于采集检测者进行灰度化处理后的精子图片；定位模块根据输入模块中采集到的精子图片，利用深度学习和图像识别方法中的YOLO v3模型对精子图片上的精子头部进行定位；分类模块采用构建的VGG-dense block分类模型对定位模块中定位出的精子头部进行正异常判定，输出正常精子和异常精子；

其中分类模块采用的VGG-dense block分类模型，其网络结构是由五个连续的卷积层组和三个全连接层构成的卷积神经网络结构，其中：

第一卷积层组包括第1和第2这两个卷积层，每层的卷积核均为64个，每个卷积核大小均为3×3；

第二卷积层组包括第3和第4这两个卷积层，每层的卷积核均为128个，每个卷积核大小均为3×3；

第三卷积层组是一个密集卷积块，包含第5至第8层，共四个卷积层，每层的卷积核均为256个，每个卷积核大小均为3×3；

第四卷积层组是一个密集卷积块，包含第9至第12层，共四个卷积层，每层的卷积核均为512个，每个卷积核大小均为3×3；

第五卷积层组是一个密集卷积块，包含第13至第16层，共四个卷积层，每层的卷积核均为512个，每个卷积核大小均为3×3；

三个全连接层作为一个整体起到分类器的作用，将三个全连接层的分类分别设置为二分类，即可输出正常精子和异常精子这两类；

VGG-dense block分类模型中的五个卷积层组中的每一个卷积层都是为了提取精子头部的形态特征信息。

所述的VGG-dense block分类模型是由VGGnet引入Densenet网络结构中的denseblock 密集卷积块改进得来的分类模型，其构建过程如下：

利用Densenet网络中的dense block模型的结构特性，将VGGnet的第5至第8层卷积层的每两个卷积层之间加入保持同分布操作、ReLU激活函数、池化操作后构成一个密集卷积块；将第9至第12卷积层的每两个卷积层之间加入保持同分布操作、ReLU激活函数、池化操作构成一个密集卷积块；将第13至第16卷积层的每两个卷积层之间加入保持同分布操作、ReLU激活函数、池化操作构成一个密集卷积块。

所述的定位模块中采用的YOLO v3模型的训练过程包括以下步骤：

步骤一，选择1500张正常精子彩色图片和1500张异常精子彩色图片，然后将这3000 张彩色精子图片进行灰度化处理，然后将灰度化处理后的3000张精子图片作为训练集；

步骤二，人工标注出训练集中每张图片中的精子头部位置，得到人工标注出精子头部的标注训练集；

步骤三，将步骤二中标注训练集输入到YOLO v3模型进行训练，让YOLO v3模型学习标注训练集中标注出的精子头部特征，当YOLO v3模型对标注训练集中精子头部定位的准确率达到97％时，就得到了训练好的YOLO v3模型，其中YOLO v3模型对标注训练集中精子头部定位的准确率＝YOLO v3模型定位出标注训练集中的全部精子头部个数/人工标注出训练集中的全部精子头部个数*100％。

所述的分类模块中采用的VGG-dense block分类模型的训练过程如下：

将权利要求3步骤二中所述的标注训练集输入到VGG-dense block分类模型进行训练，输出能够识别精子头部形态特征信息的参数，再通过全连接层进行分类，输出正常精子和异常精子这两类，当VGG-dense block分类模型对标注训练集中的精子头部分类结果与标准化人工分类结果对比后，当VGG-dense block分类模型对标注训练集中精子头部分类的准确率达到98％时，就得到了训练好的VGG-dense block分类模型，其中VGG-denseblock分类模型对标注训练集中精子头部分类的准确率＝VGG-dense block分类模型分类出标注训练集的全部正常精子头部个数/人工分类出该标注训练集中的全部正常精子头部个数*100％。

一种基于深度学习的医学精子图像识别系统，还可以包括计数模块，所述的计数模块对分类模块输出的正常精子头部和异常精子头部分别进行计数，并计算正常精子头部个数占总精子个数的百分比。

本发明的有益效果：

本系统检测精子图片用时短，大大减轻了医生的工作量，准确率高，减小主观性带来的误差，可以辅助和部分替代医生进行精子形态评估，具有良好的应用前景。

附图说明

图1为本发明的分类模块处理流程图。

图2为本发明的分类模块中VGG-dense block分类模型结构。

图3为本发明实施例中输入的原始精子图片。

图4为本发明实施例中经过定位和分类模块后输出的精子图片。

具体实施方式

实施例1

一种基于深度学习的医学精子图像识别系统，包括输入模块、定位模块和分类模块，其中输入模块用于采集检测者进行灰度化处理后的精子图片；定位模块根据输入模块中采集到的精子图片，利用深度学习和图像识别方法中的YOLO v3模型对精子图片上的精子头部进行定位；分类模块采用构建的VGG-dense block分类模型对定位模块中定位出的精子头部进行正异常判定，输出正常精子和异常精子。

所述的分类模块中采用构建的VGG-dense block分类模型对定位模块中定位出的精子头部进行正异常判定，并输出正常精子和异常精子的方法，包括以下步骤：

步骤一，构建VGG-dense block分类模型，该模型是由VGGnet引入Densenet网络结构中的dense block密集卷积块改进得来的分类模型，其网络结构是由五个连续的卷积层组和三个全连接层构成的卷积神经网络结构，其中：

第一卷积层组包括第1和第2这两个卷积层，每层的卷积核均为64个，每个卷积核大小均为3×3；

第二卷积层组包括第3和第4这两个卷积层，每层的卷积核均为128个，每个卷积核大小均为3×3；

第三卷积层组是一个密集卷积块，包含第5至第8层，共四个卷积层，每层的卷积核均为256个，每个卷积核大小均为3×3；

第四卷积层组是一个密集卷积块，包含第9至第12层，共四个卷积层，每层的卷积核均为512个，每个卷积核大小均为3×3；

第五卷积层组是一个密集卷积块，包含第13至第16层，共四个卷积层，每层的卷积核均为512个，每个卷积核大小均为3×3；

三个全连接层作为一个整体起到分类器的作用，这是常见分类模型里的一个基础结构，将三个全连接层的分类分别设置为二分类，即可输出正常精子和异常精子这两类；

其中VGG-dense block分类模型中的五个卷积层组中的每一个卷积层都是为了提取精子头部的形态特征信息；

步骤二，将上述标注训练集输入到VGG-dense block分类模型进行训练，输出能够识别精子头部形态特征信息的参数，通过全连接层进行分类，输出正常精子和异常精子这两类，当VGG-dense block分类模型对标注训练集中的精子头部分类结果与标准化人工分类结果对比后，当VGG-dense block分类模型对标注训练集中精子头部分类的准确率达到98％时，就得到了训练好的VGG-dense block分类模型，其中VGG-dense block分类模型对标注训练集中精子头部分类的准确率＝VGG-dense block分类模型分类出标注训练集中全部的正常精子头部个数/标准化人工分类出该标注训练集中全部的正常精子头部个数*100％；

VGG-dense block在医学图片识别方面表现出好的分类效果，按照精子头部形态学，将精子的头部分为正常精子头部和异常精子头部两类，再设置一个计数模块作为计数工具，能够统计出正常精子头部个数和异常精子头部个数，并计算正常精子头部个数占总精子个数的百分比。

所述的VGG-dense block分类模型的构建过程：

VGGnet模型网络是一个公开的的图像识别网络，是由连续的16个卷积层和3个全连接层构成的一个19层的网络结构，每一层卷积层是为了提取不同尺寸的特征图和不同的特征信息，3个全连接层起到分类器的作用；

Densenet网络结构中的dense block模型是在4个连续卷积层的每两个卷积层之间通过单元BN(保持同分布操作)、ReLU激活函数、池化操作连接起来而组成的密集卷积块，这样的结构摆脱了加深网络层数和加宽网络结构来提升网络性能的定式思维,从特征的角度考虑,通过特征重用和旁路设置,既大幅度减少了网络的参数量,又在一定程度上缓解了梯度消失问题的产生，因此能够在精子图像特征提取上有良好的表现。

利用Densenet网络中的dense block模型的结构特性，将VGGnet的第5至第8层卷积层的每两个卷积层之间加入单元BN(保持同分布操作)、ReLU激活函数、池化操作构成一个密集卷积块；将第9至第12卷积层的每两个卷积层之间加入单元BN(保持同分布操作)、ReLU激活函数、池化操作构成一个密集卷积块；将第13至第16卷积层的每两个卷积层之间加入非线性变换组合：单元BN(保持同分布操作)、ReLU激活函数、池化操作构成一个密集卷积块；

在得到的每个密集卷积块中，每一个卷积层可以得到所有之前的卷积层的输出作为输入，这样不仅加深了网络深度，提取了更深的网络特征，减轻了梯度消失，而得到的深层的卷积神经网络结构。

所述的定位模块对精子图片上的精子头部进行定位的方法，包括以下步骤：

步骤一，选择1500张正常精子彩色图片和1500张异常精子彩色图片，然后将这3000 张彩色精子图片进行灰度化处理，然后将灰度化处理后的3000张精子图片作为训练集；

精子彩色图片是24位真彩色位图，每个像素占用了3个字节，每个字节分别表示RGB (R、G、B分别表示红、绿、蓝颜色)三个颜色中的一种，令R＝G＝B，则颜色显示成为灰度颜色，这时R、G、B的值就是灰度值，24位真彩色位图就转化为256级的灰度图像，经过如此灰度化处理的图像只包含亮度信息，不包含色彩信息，灰度图像便于存储，也能提高处理效率，

步骤二，人工标注出训练集中每张图片中的精子头部位置，得到人工标注出精子头部的标注训练集；

步骤三，将步骤二中标注训练集输入到YOLO v3模型进行训练，让YOLO v3模型学习标注训练集中标注出的精子头部特征，当YOLO v3模型对标注训练集中精子头部定位的准确率达到97％时，就得到了训练好的YOLO v3模型，其中YOLO v3模型对标注训练集中精子头部定位的准确率＝YOLO v3模型定位出标注训练集中的全部精子头部个数/标准化人工标注出训练集中的全部精子头部个数*100％；

YOLO v3模型是一个公开的实时目标检测系统，是由连续的3×3和1×1卷积层结合残差块组成的53层的网络结构，每一层卷积层都是为了提取图片中不同的小物体特征信息， (在本方法中是指精子头部的特征信息)，最终得到3种尺寸的特征图。当一张精子图片进入YOLO v3模型网络，该模型网络将该图像分成均匀区域，并采用9个尺寸不同的预测框去识别出3种尺寸的特征图，通过IOU(交并比)数值去定位图片中的精子头部，将3000张人工标注出精子头部的训练集图片输入YOLO v3模型网络上训练，得到能够识别精子头部的参数，再将YOLO v3模型对训练集图片中精子头部定位的结果与医院给出的标准化人工标注定位结果对比，当YOLO v3模型对标注训练集中精子头部定位的准确率达到97％时，就得到了训练好的YOLO v3模型，其中YOLO v3模型对标注训练集中精子头部定位的准确率＝YOLO v3 模型定位出标注训练集中的全部精子头部个数/标准化人工标注出训练集中的全部精子头部个数*100％；

YOLO v3模型的基本坐标偏移公式如下：

bx＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中：bx和by分别表示一个精子头部所在预测框的中心在水平和竖直方向上相对于 cell的偏移，bw和bh分别表示该预测框的宽度和高度；

YOLO v3的损失函数是交叉熵函数：

其中：P为真实分布，x是输入，y是真实样本的标签,取值为0或者1,

是输出，L是交叉熵损失函数。

一种基于深度学习的医学精子图像识别系统，该系统还包括计数模块，所述的计数模块对分类模块输出的正常精子头部和异常精子头部分别进行计数，并计算正常精子头部个数占总精子个数的百分比。

本实施例中输入的精子图片如图3所示，经过定位和分类模块后输出的图片如图4所示，通过图4中可以看到边框把精子的头部完整的框出来，实现了对精子准确定位的目的，在边框上给出精子头部的正常和异常分类结果，如图4中的abnormal表示精子头部是异常的，如果精子头部是正常的，边框上会有normal字母。

目前对精子的人工评估存在主观性强、标准不严格、耗时的缺陷，有经验的医生观测 1000张精子图片，需要五个小时，本系统检测1000张精子图片，用时仅120秒，大大减轻了医生的工作量；系统实际应用准确率高，减小主观性带来的误差。本系统可以辅助和部分替代医生进行精子形态评估，具有良好的应用前景。

Claims (5)

1.一种基于深度学习的医学精子图像识别系统，其特征在于，包括输入模块、定位模块和分类模块，其中输入模块用于采集检测者进行灰度化处理后的精子图片；定位模块根据输入模块中采集到的精子图片，利用深度学习和图像识别方法中的YOLO v3模型对精子图片上的精子头部进行定位；分类模块采用构建的VGG-dense block分类模型对定位模块中定位出的精子头部进行正异常判定，输出正常精子和异常精子；

其中分类模块采用的VGG-dense block分类模型，其网络结构是由五个连续的卷积层组和三个全连接层构成的卷积神经网络结构，其中：

第一卷积层组包括第1和第2这两个卷积层，每层的卷积核均为64个，每个卷积核大小均为3×3；

第二卷积层组包括第3和第4这两个卷积层，每层的卷积核均为128个，每个卷积核大小均为3×3；

第三卷积层组是一个密集卷积块，包含第5至第8层，共四个卷积层，每层的卷积核均为256个，每个卷积核大小均为3×3；

第四卷积层组是一个密集卷积块，包含第9至第12层，共四个卷积层，每层的卷积核均为512个，每个卷积核大小均为3×3；

第五卷积层组是一个密集卷积块，包含第13至第16层，共四个卷积层，每层的卷积核均为512个，每个卷积核大小均为3×3；

三个全连接层作为一个整体起到分类器的作用，将三个全连接层的分类分别设置为二分类，即可输出正常精子和异常精子这两类；

VGG-dense block分类模型中的五个卷积层组中的每一个卷积层都是为了提取精子头部的形态特征信息。

2.根据权利要求1所述的一种基于深度学习的医学精子图像识别系统，其特征在于所述的VGG-dense block分类模型是由VGGnet引入Densenet网络结构中的dense block密集卷积块改进得来的分类模型，其构建过程如下：

利用Densenet网络中的dense block模型的结构特性，将VGGnet的第5至第8层卷积层的每两个卷积层之间加入保持同分布操作、ReLU激活函数、池化操作后构成一个密集卷积块；将第9至第12卷积层的每两个卷积层之间加入保持同分布操作、ReLU激活函数、池化操作构成一个密集卷积块；将第13至第16卷积层的每两个卷积层之间加入保持同分布操作、ReLU激活函数、池化操作构成一个密集卷积块。

3.根据权利要求2所述的一种基于深度学习的医学精子图像识别系统，其特征在于所述的定位模块中采用的YOLO v3模型的训练过程包括以下步骤：

步骤一，选择1500张正常精子彩色图片和1500张异常精子彩色图片，然后将这3000张彩色精子图片进行灰度化处理，然后将灰度化处理后的3000张精子图片作为训练集；

步骤二，人工标注出训练集中每张图片中的精子头部位置，得到人工标注出精子头部的标注训练集；

步骤三，将步骤二中标注训练集输入到YOLO v3模型进行训练，让YOLO v3模型学习标注训练集中标注出的精子头部特征，当YOLO v3模型对标注训练集中精子头部定位的准确率达到97％时，就得到了训练好的YOLO v3模型，其中YOLO v3模型对标注训练集中精子头部定位的准确率＝YOLO v3模型定位出标注训练集中的全部精子头部个数/人工标注出训练集中的全部精子头部个数*100％。

4.根据权利要求3所述的一种基于深度学习的医学精子图像识别系统，其特征在于所述的分类模块中采用的VGG-dense block分类模型的训练过程如下：

将权利要求3步骤二中所述的标注训练集输入到VGG-dense block分类模型进行训练，输出能够识别精子头部形态特征信息的参数，再通过全连接层进行分类，输出正常精子和异常精子这两类，当VGG-dense block分类模型对标注训练集中的精子头部分类结果与标准化人工分类结果对比后，当VGG-dense block分类模型对标注训练集中精子头部分类的准确率达到98％时，就得到了训练好的VGG-dense block分类模型，其中VGG-dense block分类模型对标注训练集中精子头部分类的准确率＝VGG-dense block分类模型分类出标注训练集的全部正常精子头部个数/人工分类出该标注训练集中的全部正常精子头部个数*100％。

5.根据权利要求4所述的一种基于深度学习的医学精子图像识别系统，其特征在于还可以包括计数模块，所述的计数模块对分类模块输出的正常精子头部和异常精子头部分别进行计数，并计算正常精子头部个数占总精子个数的百分比。

Images