CN112036384A - 精子头部形态识别方法、装置及设备 - Google Patents

精子头部形态识别方法、装置及设备 Download PDF

Info

Publication number
CN112036384A
CN112036384A CN202011215590.1A CN202011215590A CN112036384A CN 112036384 A CN112036384 A CN 112036384A CN 202011215590 A CN202011215590 A CN 202011215590A CN 112036384 A CN112036384 A CN 112036384A
Authority
CN
China
Prior art keywords
sperm
head
area
image
acrosome
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011215590.1A
Other languages
English (en)
Other versions
CN112036384B (zh
Inventor
刘畅
李福平
侯苇
贾烨琳
余林
吴应碧
钟正华
廖露
赵阳玫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Puhua Technology Co ltd
Original Assignee
Chengdu Puhua Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Puhua Technology Co ltd filed Critical Chengdu Puhua Technology Co ltd
Priority to CN202011215590.1A priority Critical patent/CN112036384B/zh
Publication of CN112036384A publication Critical patent/CN112036384A/zh
Application granted granted Critical
Publication of CN112036384B publication Critical patent/CN112036384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于医学图像处理领域，实施例具体公开一种精子头部形态识别方法、装置及设备。本申请提供的精子头部形态识别方法包括获取精子染色显微图像，通过神经网络模型对精子头部进行检测，再对检测到的精子头部通过图像处理方法分辨其形态获得精子头部形态识别结果，本申请还提供与识别方法对应的精子头部形态识别装置及设备，整套识别方法、装置及设备操作简单，识别结果可靠。

Description

精子头部形态识别方法、装置及设备
技术领域
本发明属于医学图像处理领域，具体涉及一种精子头部形态识别方法、装置及设备。
背景技术
精子形态检测需要通过形态试剂（巴氏染色液）进行染色，然后在100倍显微镜下对精子形态进行分类判断（主要分为正常精子、异常精子，异常精子中分头部、中段、尾部异常，头部分为大头、小头、梨型、圆头、锥形头等）。
传统的精子形态检测方法主要是将染色后的玻片放在显微镜100倍镜下拍照，然后将拍照所得图片通过传统目标检测算法（如Cascade + HOG/DPM + Haar/SVM）进行精子目标检测，然后通过传统分类算法对精子形态进行分类判定，但是由于传统算法需要手工设计特征，而精子形态图像多样性的变化会导致特征没有很好的鲁棒性，从而导致精子形态识别率和识别准确度不高，和临床医师判定结果有较大的差别。
发明内容
有鉴于此，本申请提供一种基于神经网络算法的精子头部形态识别方法、装置及设备，能够解决或者至少部分解决上述存在的问题。
为解决以上技术问题，本发明提供的技术方案是一种精子头部形态识别方法，包括：
S11：获取精子染色显微图像；
S12：将精子染色显微图像通过精子头部检测模型，获得精子头部图像和精子头部在图像中的位置信息；
S13：根据精子头部图像和精子头部在图像中的位置信息对精子头部进行形态分析，获得精子头部形态识别结果。
优选的，精子头部形态识别方法还包括S10：生成精子头部检测模型；所述S10的方法包括：
S101：筛选出大样本的精子染色显微图像；
S102：在精子染色显微图像上标注出精子头部，并将标注后的精子染色显微图像分为训练图像集和测试图像集；
S103：在TensorFlow 框架下，采用YOLOv3网络模型对训练图像集进行训练，再通过测试图像集来验证并更新YOLOv3网络模型参数再进行训练，循环此过程直到获得最终的精子头部检测模型。
优选的，所述S103的方法包括：
S1031：使用训练图像集预训练YOLOv3网络模型的前20个卷积层和1个平均池化层和1个全连接层，其中，将训练图像分辨率放缩到224×224大小以下；
S1032：用预训练得到的前20个卷积层网络参数来初始化YOLOv3网络模型前20个卷积层的网络参数；
S1033：用训练图像集进行YOLOv3网络模型训练，将输入训练图像分辨率从224×224 放缩到448×448，训练时bbox的真实框设置成相同的，其中，输出层使用卷积层替代YOLOv3 的全连接层，位置预测公式为：
Figure 864733DEST_PATH_IMAGE001
，
Figure 555608DEST_PATH_IMAGE002
，其中x，y是预测边框的中心，
Figure 702556DEST_PATH_IMAGE003
，
Figure 199396DEST_PATH_IMAGE004
是先验框的中 心坐标，
Figure 584241DEST_PATH_IMAGE005
，
Figure 508335DEST_PATH_IMAGE006
是先验框的宽和高，
Figure 408158DEST_PATH_IMAGE007
，
Figure 177531DEST_PATH_IMAGE008
是学习的参数。
优选的，所述S13的方法包括：
S131：对精子头部图像进行处理，包括：二值化处理、亮度处理、Otsu找到精子轮廓、K-means聚类获取核区、开操作获取精子头部、头部及核区膨胀找到顶体、开操作获取顶体、椭圆拟合；
S132：根据处理后的精子头部图像提取出精子头部形态参数，获得的精子头部形态参数包括头部面积、头部周长、头部高度、头部宽度、长宽比、顶体面积、核区面积、顶体比率、面积CV值、椭圆拟合度、对称度；
S133：根据获得的精子头部形态参数和预设的精子标准值，输出精子头部形态类型，精子头部形态类型分为正常精子、梨形精子、不定形精子、锥形精子、小头精子、大头精子、顶体异常精子和圆形精子。
优选的，所述S131的方法包括：
S1311：二值化处理：通过OpenCV二值化函数将精子头部图像二值化处理，得到黑白化 的精子头部图像，其中二值化公式为：
Figure 948041DEST_PATH_IMAGE009
，其 中F(x)为返回的像素值，x为原先的像素值，threshold为阈值；
S1312：亮度处理：将黑白化的精子头部图像亮度调到均匀值，得到亮度均匀的精子头部图像；
S1313：Otsu找到精子轮廓：根据OpenCV查找轮廓函数中的Otsu算法找到精子头部轮 廓，得到精子头部轮廓图像，其中Otsu公式为：
Figure 839773DEST_PATH_IMAGE011
，其中g为目 标函数，
Figure 164575DEST_PATH_IMAGE012
为前景点所占的比例，
Figure 799956DEST_PATH_IMAGE013
为背景像素点所占总像素点的比 例，
Figure 424972DEST_PATH_IMAGE014
为前景灰度均值，
Figure 425290DEST_PATH_IMAGE015
为背景灰度均值，
Figure 299705DEST_PATH_IMAGE016
为全局灰度均值；
S1314：K-means聚类获取精子核区：使用具有2个类别的K-means聚类算法对精子头部 像素进行聚类，粗略的将精子头部分为核区部分、顶体和中段部分，其中K-means聚类损失 函数公式为：
Figure 676459DEST_PATH_IMAGE017
，其中J为K-means聚类的损失函 数，
Figure 890403DEST_PATH_IMAGE018
为第k个类的重心位置，
Figure 123938DEST_PATH_IMAGE019
为第j个样本，
Figure 423333DEST_PATH_IMAGE020
为簇划分；
S1315：开操作获取精子头部：选择顶体和中段部分，进行Opencv开操作，先腐蚀后膨胀后得到只包含核区和顶体的精子头部；
S1316：精子头部及核区膨胀找到精子顶体：分别对精子头部和核区进行膨胀操作，比较膨胀后的核区和头部，并丢弃位于头部区域之外的核区像素，从而得到新的核区，然后通过精子头部减去精子核区找到精子顶体区域；
S1317：开操作获取精子顶体：对精子顶体区域进行腐蚀操作，得到新的顶体区域，然后对处理后的顶体区域进行膨胀操作，比较膨胀操作后的精子顶体区域和头部，并丢弃位于头部区域之外的顶体像素，从而得到新的顶体区域；
S1318：椭圆拟合：通过OpenCV椭圆拟合函数对精子进行椭圆拟合。
优选的，所述S132的方法包括：通过OpenCV轮廓面积函数求取精子头部面积；通过OpenCV周长函数求取精子头部周长；通过拟合的椭圆获取精子头部高度和头部宽度；通过将精子头部高度除以头部宽度得到精子长宽比；通过分割后的顶体求出精子顶体面积；通过将精子头部面积减去顶体面积求出精子核区面积；通过将精子顶体面积除以精子头部面积求出精子顶体比率；通过将原有精子头部面积除以椭圆拟合面积求出精子面积CV值；通过计算精子头部轮廓拟合成椭圆的相似度得到精子椭圆拟合度；通过计算精子头部以长轴和短轴为对称轴的对称程度求出精子的对称度。
本发明还提供一种精子头部形态识别装置，包括：
精子图像获取模块，用于获取精子染色显微图像；
精子头部检测模块，用于将精子染色显微图像通过精子头部检测模型，获得精子头部图像和精子头部在图像中的位置信息；
头部形态识别模块，用于根据精子头部图像和精子头部在图像中的位置信息对精子头部进行形态分析，获得精子头部形态识别结果。
优选的，精子头部形态识别装置还包括：检测模型生成模块，用于生成精子头部检测模型；所述检测模型生成模块包括：
样本数据筛选单元，用于筛选出大样本的精子染色显微图像；
样本数据标注单元，用于在精子染色显微图像上标注出精子头部，并将标注后的精子染色显微图像分为训练图像集和测试图像集；
检测模型训练单元，用于在TensorFlow 框架下，采用YOLOv3网络模型对训练图像集进行训练，再通过测试图像集来验证并更新YOLOv3网络模型参数再进行训练，循环此过程直到获得最终的精子头部检测模型。
优选的，所述头部形态识别模块包括：
头部图像处理单元，用于对精子头部图像进行处理，包括：二值化处理、亮度处理、Otsu找到精子轮廓、K-means聚类获取核区、开操作获取精子头部、头部及核区膨胀找到顶体、开操作获取顶体、椭圆拟合；
形态参数提取单元，用于根据处理后的精子头部图像提取出精子头部形态参数，获得的精子头部形态参数包括头部面积、头部周长、头部高度、头部宽度、长宽比、顶体面积、核区面积、顶体比率、面积CV值、椭圆拟合度、对称度；
头部形态识别单元，用于根据获得的精子头部形态参数和预设的精子标准值，输出精子头部形态类型，精子头部形态类型分为正常精子、梨形精子、不定形精子、锥形精子、小头精子、大头精子、顶体异常精子和圆形精子。
本发明还提供一种精子头部形态识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现上述精子头部形态识别方法的步骤。
本申请与现有技术相比，其有益效果详细说明如下：本申请提供的精子头部形态识别方法包括获取精子染色显微图像，通过神经网络模型对精子头部进行检测，再对检测到的精子头部通过图像处理方法分辨其形态获得精子头部形态识别结果，本申请还提供与识别方法相对应的装置及设备，整套识别方法、装置及设备操作简单，识别结果可靠。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种精子头部形态识别方法的流程示意图；
图2为本发明实施例提供的另一种精子头部形态识别方法的流程示意图；
图3为本发明实施例提供的一种生成精子头部检测模型的方法流程示意图；
图4为本发明实施例提供的一种对精子头部进行形态分析的方法流程示意图；
图5为本发明实施例提供的一种精子头部形态识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。
如图1所示，本发明实施例提供一种精子头部形态识别方法，可以应用于精子头部形态识别系统，该方法包括：
S11：获取精子染色显微图像；
具体的，首先通过形态试剂（巴氏染色液）对精子进行染色，然后将染色后的精子玻片放在显微镜100倍镜下拍照，获得精子染色显微图像，接下来将精子染色显微图像输入精子头部形态识别系统，即精子头部形态识别系统接收到或者获取到精子染色显微图像。
S12：将精子染色显微图像通过精子头部检测模型，获得精子头部图像和精子头部在图像中的位置信息；
具体的，将精子染色显微图像通过精子头部形态识别系统中训练好的精子头部检测模型，精子头部检测模型将自动识别精子染色显微图像中的精子，并输出精子头部图像和精子头部在图像中的位置信息（左上角坐标+宽度+高度）。
S13：根据精子头部图像和精子头部在图像中的位置信息对精子头部进行形态分析，获得精子头部形态识别结果。
具体的，在获得精子头部图像和精子头部在图像中的位置信息后，精子头部形态识别系统将自动对精子头部进行形态分析，输出精子头部形态识别结果。
如图2所示，本发明实施例还提供另一种精子头部形态识别方法，在图1的实施例的基础上，增加了步骤S10：生成精子头部检测模型。
具体的，如图3所示，S10生成精子头部检测模型的方法包括：
S101：筛选出大样本的精子染色显微图像；
具体的，通过将染色后的精子玻片放在显微镜100倍镜下拍照，并整理拍摄的图像，挑选拍摄效果符合要求的图像来做图像数据集，通过采集大样本的精子染色显微图像使筛选的精子更加多样性、更加均衡。
S102：在精子染色显微图像上标注出精子头部，并将标注后的精子染色显微图像分为训练图像集和测试图像集；
具体的，对图像数据集中图像上的精子头部进行标记，记录每个精子头部标记框左上角坐标和相应宽和高。由于这里只需要将精子头部检测出来，因此图像只分为一类，生成.json格式的图像数据文件。再将图像数据分为两块，即训练图像集和测试图像集；最终将标注好的图像文件生成.tfrecord格式图像数据，以方便进行训练。
S103：在TensorFlow 框架下，采用YOLOv3网络模型对训练图像集进行训练，再通过测试图像集来验证并更新YOLOv3网络模型参数再进行训练，循环此过程直到获得最终的精子头部检测模型。
具体的，通过神经网络模型对精子头部进行目标检测，相对传统目标检测方法，网络结构更深，提取的特征更多，从而能得到更多的有用信息，提升对目标检测的准确度。目前用来做目标检测的神经网络结构有rcnn系列，ssd系列和YOLO系列。我们这里采用YOLO系列中YOLOv3网络在TensorFlow框架下来对精子进行训练。采用YOLOv3网络模型对训练图像集进行训练，是为了得到精子在图像中的位置，从而根据精子在图像中的位置，针对该处精子进行形态分析，分辨出精子的形态。其中采用YOLOv3网络来进行训练，是由于YOLOv3模型来做精子检测速度相对其他网络模型更快，能够更快的对图像中的精子进行检测，找到其位置，从而提高算法的效率。尤其是针对像精子一样的小目标，精准度相对其他一些网络有显著提升。
具体的，YOLOv3的基本思想是：YOLOv3将输入的训练图像分成S×S个网络格子，若某个物体的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。每个格子预测B个边框及其置信度，以及C个类别概率。边框信息(x，y，w，h)为物体的中心位置相对格子位置的偏移及宽度和高度，均被归一化。置信度反映是否包含物体以及包含物体情况下位置的准确性。
需要说明的是，S103的方法包括：
S1031：使用训练图像集预训练YOLOv3网络模型的前20个卷积层和1个平均池化层和1个全连接层，其中，将训练图像分辨率放缩到224×224大小以下；
具体的，首先进行预训练。即使用以上标注的训练图像集数据训练YOLOv3网络模型的前20个卷积层和1个平均池化层和1个全连接层。训练图像分辨率放缩到224×224大小下。
S1032：用预训练得到的前20个卷积层网络参数来初始化YOLOv3网络模型前20个卷积层的网络参数；
具体的，接着用预训练得到的前20个卷积层网络参数来初始化YOLOv3网络模型前20个卷积层的网络参数。
S1033：用训练图像集进行YOLOv3网络模型训练，将输入训练图像分辨率从224× 224 放缩到448×448，训练时bbox的真实框设置成相同的，其中，输出层使用卷积层替代 YOLOv3的全连接层，位置预测公式为：
Figure 603778DEST_PATH_IMAGE001
，
Figure 734545DEST_PATH_IMAGE002
，其中x，y是预测边框的中心，
Figure 67876DEST_PATH_IMAGE003
，
Figure 120145DEST_PATH_IMAGE004
是先验框 的中心坐标，
Figure 901020DEST_PATH_IMAGE005
，
Figure 823976DEST_PATH_IMAGE006
是先验框的宽和高，
Figure 399314DEST_PATH_IMAGE007
，
Figure 938880DEST_PATH_IMAGE008
是学习的参数。
具体的，用上面标注的测试图像集数据进行YOLOv3模型训练。检测通常需要有细 密纹理的视觉信息，所以为提高图像精度，在训练检测模型时，将输入图像分辨率从224× 224 放缩到448×448。训练时bbox的真实框设置成相同的。其中引入了faster-rcnn中先验 框的思想，对网络结构的设计进行了改进，输出层使用卷积层替代YOLOv3的全连接层。相比 其它识别种类，在精度、速度、和定位准确性等方面都有大大提升。位置预测公式为：
Figure 195549DEST_PATH_IMAGE001
，
Figure 300908DEST_PATH_IMAGE002
，其中x，y是预 测边框的中心，
Figure 984830DEST_PATH_IMAGE003
，
Figure 11692DEST_PATH_IMAGE004
是先验框的中心坐标，
Figure 868790DEST_PATH_IMAGE005
，
Figure 766339DEST_PATH_IMAGE006
是先验框的宽和高，
Figure 152321DEST_PATH_IMAGE007
，
Figure 197637DEST_PATH_IMAGE008
是学习的参数。所以根据上面的计算公式，约束边框位置使得模型更容易学习，且预 测更为稳定。根据以上步骤可以得到关于精子的YOLOv3检测模型，从而对图像上的精子进 行检测，找到其位置。
如图4所示，S13根据精子头部图像和精子头部在图像中的位置信息对精子头部进行形态分析的方法包括：
S131：对精子头部图像进行处理，包括：二值化处理、亮度处理、Otsu找到精子轮廓、K-means聚类获取核区、开操作获取精子头部、头部及核区膨胀找到顶体、开操作获取顶体、椭圆拟合；
S132：根据处理后的精子头部图像提取出精子头部形态参数，获得的精子头部形态参数包括头部面积、头部周长、头部高度、头部宽度、长宽比、顶体面积、核区面积、顶体比率、面积CV值、椭圆拟合度、对称度；
S133：根据获得的精子头部形态参数和预设的精子标准值，输出精子头部形态类型，精子头部形态类型分为正常精子、梨形精子、不定形精子、锥形精子、小头精子、大头精子、顶体异常精子和圆形精子。
需要说明的是，S131的方法包括：
S1311：二值化处理：通过OpenCV二值化函数将精子头部图像二值化处理，得到黑白化 的精子头部图像，其中二值化公式为：
Figure 796108DEST_PATH_IMAGE009
， 其中F(x)为返回的像素值，x为原先的像素值，threshold为阈值；
具体的，在图像中，threshold设置为30，当该位置像素值大于30时，将会被改变为255，当像素值小于等于30时，将会被设置为0。这是为了分析图像亮度，从而为下面图像亮度处理做准备。
S1312：亮度处理：将黑白化的精子头部图像亮度调到均匀值，得到亮度均匀的精子头部图像；
具体的，由于对精子进行采集的时候，光照程度不一样，因此需要对其进行处理，使其精子图像都处于一个相对均衡的亮度范围内。保证精子在形态识别时的准确性。
S1313：Otsu找到精子轮廓：根据OpenCV查找轮廓函数中的Otsu算法找到精子头部 轮廓，得到精子头部轮廓图像，其中Otsu公式为：
Figure 79322DEST_PATH_IMAGE021
，其中g为目标 函数，
Figure 167364DEST_PATH_IMAGE012
为前景点所占的比例，
Figure 637660DEST_PATH_IMAGE013
为背景像素点所占总像素点的 比例，
Figure 305401DEST_PATH_IMAGE014
为前景灰度均值，
Figure 239859DEST_PATH_IMAGE015
为背景灰度均值，
Figure 436485DEST_PATH_IMAGE016
为全局灰度均值；
具体的，通过以上公式对精子图像进行计算，将精子视为前景，精子以外区域视为背景，从而就可以将精子的轮廓计算出来。
S1314：K-means聚类获取精子核区：使用具有2个类别的K-means聚类算法对精子 头部像素进行聚类，粗略的将精子头部分为核区部分、顶体和中段部分，其中K-means聚类 损失函数公式为：
Figure 659656DEST_PATH_IMAGE017
，其中J为K-means聚类的损失函 数，
Figure 662247DEST_PATH_IMAGE018
为第k个类的重心位置，
Figure 388895DEST_PATH_IMAGE019
为第j个样本，
Figure 84319DEST_PATH_IMAGE022
为簇划分，
具体的，通过K-means聚类方法，可以将Otsu算法中分割出来的精子再进行计算，从而区分出精子的核取部分、顶体和中段部分。
S1315：开操作获取精子头部：选择顶体和中段部分，进行Opencv开操作，先腐蚀后膨胀后得到只包含核区和顶体的精子头部；
具体的，腐蚀运算是消除物体的所有边界点的一种过程，其结果是使剩下的物体沿其周边比原物体小一个像素的面积。膨胀运算是将与某物体接触的所有背景点合并到该物体中的过程。过程的结果是使物体的面积增大了相应数量的点，如果物体是圆的，它的直径在每次膨胀后将增大两个像素。
S1316：精子头部及核区膨胀找到精子顶体：分别对精子头部和核区进行膨胀操作，比较膨胀后的核区和头部，并丢弃位于头部区域之外的核区像素，从而得到新的核区，然后通过精子头部减去精子核区找到精子顶体区域；
具体的，根据上面的计算方法，就可以找到精子大致顶体区域，为下面更加精准的找到精子顶体区域做准备。
S1317：开操作获取精子顶体：对精子顶体区域进行腐蚀操作，得到新的顶体区域，然后对处理后的顶体区域进行膨胀操作，比较膨胀操作后的精子顶体区域和头部，并丢弃位于头部区域之外的顶体像素，从而得到新的顶体区域；
具体的，通过以上开操作的处理方法，就可以得到新的精子顶体区域，也就是最终的精子顶体区域。
S1318：椭圆拟合：通过OpenCV椭圆拟合函数对精子进行椭圆拟合。
具体的，根据精子图像Otsu找到的精子轮廓信息，对该信息进行椭圆拟合，从而可以得到拟合后的椭圆。根据拟合的椭圆对下面的一些相关信息进行计算，得出一些计算结果，从而识别出精子的形态。
需要说明的是，S132的方法包括：通过OpenCV轮廓面积函数求取精子头部面积；通过OpenCV周长函数求取精子头部周长；通过拟合的椭圆获取精子头部高度和头部宽度；通过将精子头部高度除以头部宽度得到精子长宽比；通过分割后的顶体求出精子顶体面积；通过将精子头部面积减去顶体面积求出精子核区面积；通过将精子顶体面积除以精子头部面积求出精子顶体比率；通过将原有精子头部面积除以椭圆拟合面积求出精子面积CV值；通过计算精子头部轮廓拟合成椭圆的相似度得到精子椭圆拟合度；通过计算精子头部以长轴和短轴为对称轴的对称程度求出精子的对称度。
需要说明的是，S133的方法包括：结合WHO精子第五版精子标准生成预设的精子标准值，根据步骤S132的精子形态参数和预设的精子标准值判定精子形态类型。判定标准为：长度的中位数为 4.1μm，95% 可信限区间为 3.7～4.7；宽度的中位数为 2.8μm，95% 可信限区间为 2.5～3.2；长宽比的中位数为1.5，95% 可信限区间为 1.3～1.8。并且精子顶体区域在40%到70%之间，精子轮廓拟合成椭圆的拟合度。
根据精子头部长度、精子头部宽度、精子头部长宽比、精子头部面积比例、精子头部椭圆拟合度、精子头部水平对称度、精子头部上下对称度这些判别条件，对精子的形态进行判断。精子形态类型分为正常精子、梨形精子、不定形精子、锥形精子、小头精子、大头精子、顶体异常精子（小顶体、大顶体、无顶体）、圆形精子等。其中梨形精子为上下区域不对称并且椭圆拟合度过低成梨形，锥形精子为宽度的中位数过小成锥形，不定性精子为其他异常形状的精子，小头精子和大头精子为精子的头部过小或头部过大，顶体异常精子为精子头部顶体比对过小、过大或者没有顶体情况，圆形精子为精子头部呈现圆形。
本发明的发明原理：本发明是基于神经网络模型来对精子头部进行检测，并对检测到的精子头部通过图像处理方法分辨其形态，最终输出精子头部形态识别结果。具体的，首先将染色后的精子玻片放在显微镜100倍镜下拍照，再对拍摄图像中的精子头部进行标注，制作成训练需要的数据格式，接着通过神经网络模型来对标注的数据进行训练，得到最终的精子头部检测模型，通过精子头部检测模型检测到的精子头部采用图像处理方法进行处理后，再对精子的形态进行分辨识别，最终获得精子头部形态识别结果。相比现有技术的方法，本发明的整套识别方法操作简单，识别结果可靠。
如图5所示，本发明实施例还提供一种精子头部形态识别装置，包括：
精子图像获取模块21，用于获取精子染色显微图像；
精子头部检测模块22，用于将精子染色显微图像通过精子头部检测模型，获得精子头部图像和精子头部在图像中的位置信息；
头部形态识别模块23，用于根据精子头部图像和精子头部在图像中的位置信息对精子头部进行形态分析，获得精子头部形态识别结果。
需要说明的是，精子头部形态识别装置还包括：检测模型生成模块，用于生成精子头部检测模型；具体的，检测模型生成模块包括：
样本数据筛选单元，用于筛选出大样本的精子染色显微图像；
样本数据标注单元，用于在精子染色显微图像上标注出精子头部，并将标注后的精子染色显微图像分为训练图像集和测试图像集；
检测模型训练单元，用于在TensorFlow 框架下，采用YOLOv3网络模型对训练图像集进行训练，再通过测试图像集来验证并更新YOLOv3网络模型参数再进行训练，循环此过程直到获得最终的精子头部检测模型。
需要说明的是，头部形态识别模块包括：
头部图像处理单元，用于对精子头部图像进行处理，包括：二值化处理、亮度处理、Otsu找到精子轮廓、K-means聚类获取核区、开操作获取精子头部、头部及核区膨胀找到顶体、开操作获取顶体、椭圆拟合；
形态参数提取单元，用于根据处理后的精子头部图像提取出精子头部形态参数，获得的精子头部形态参数包括头部面积、头部周长、头部高度、头部宽度、长宽比、顶体面积、核区面积、顶体比率、面积CV值、椭圆拟合度、对称度；
头部形态识别单元，用于根据获得的精子头部形态参数和预设的精子标准值，输出精子头部形态类型，精子头部形态类型分为正常精子、梨形精子、不定形精子、锥形精子、小头精子、大头精子、顶体异常精子和圆形精子。
本发明实施例还提供一种精子头部形态识别设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序以实现上述精子头部形态识别方法的步骤。
图5所对应实施例中特征的说明可以参见图1-图4所对应实施例的相关说明，这里不再一一赘述。
以上对本发明实施例所提供的一种精子头部形态识别方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (10)

1.一种精子头部形态识别方法，其特征在于，包括：
S11：获取精子染色显微图像；
S12：将精子染色显微图像通过精子头部检测模型，获得精子头部图像和精子头部在图像中的位置信息；
S13：根据精子头部图像和精子头部在图像中的位置信息对精子头部进行形态分析，获得精子头部形态识别结果。
2.根据权利要求1所述的精子头部形态识别方法，其特征在于，还包括S10：生成精子头部检测模型；所述S10的方法包括：
S101：筛选出大样本的精子染色显微图像；
S102：在精子染色显微图像上标注出精子头部，并将标注后的精子染色显微图像分为训练图像集和测试图像集；
S103：在TensorFlow 框架下，采用YOLOv3网络模型对训练图像集进行训练，再通过测试图像集来验证并更新YOLOv3网络模型参数再进行训练，循环此过程直到获得最终的精子头部检测模型。
3.根据权利要求2所述的精子头部形态识别方法，其特征在于，所述S103的方法包括：
S1031：使用训练图像集预训练YOLOv3网络模型的前20个卷积层和1个平均池化层和1个全连接层，其中，将训练图像分辨率放缩到224×224大小以下；
S1032：用预训练得到的前20个卷积层网络参数来初始化YOLOv3网络模型前20个卷积层的网络参数；
S1033：用训练图像集进行YOLOv3网络模型训练，将输入训练图像分辨率从224×224 放缩到448×448，训练时bbox的真实框设置成相同的，其中，输出层使用卷积层替代YOLOv3 的全连接层，位置预测公式为：
Figure 836649DEST_PATH_IMAGE001
，
Figure 547116DEST_PATH_IMAGE002
，其中x，y是预测边框的中心，
Figure 291081DEST_PATH_IMAGE003
，
Figure 137815DEST_PATH_IMAGE004
是先验框的中 心坐标，
Figure 4140DEST_PATH_IMAGE005
，
Figure 670744DEST_PATH_IMAGE006
是先验框的宽和高，
Figure 483979DEST_PATH_IMAGE007
，
Figure 981957DEST_PATH_IMAGE008
是学习的参数。
4.根据权利要求1所述的精子头部形态识别方法，其特征在于，所述S13的方法包括：
S131：对精子头部图像进行处理，包括：二值化处理、亮度处理、Otsu找到精子轮廓、K-means聚类获取核区、开操作获取精子头部、头部及核区膨胀找到顶体、开操作获取顶体、椭圆拟合；
S132：根据处理后的精子头部图像提取出精子头部形态参数，获得的精子头部形态参数包括头部面积、头部周长、头部高度、头部宽度、长宽比、顶体面积、核区面积、顶体比率、面积CV值、椭圆拟合度、对称度；
S133：根据获得的精子头部形态参数和预设的精子标准值，输出精子头部形态类型，精子头部形态类型分为正常精子、梨形精子、不定形精子、锥形精子、小头精子、大头精子、顶体异常精子和圆形精子。
5.根据权利要求4所述的精子头部形态识别方法，其特征在于，所述S131的方法包括：
S1311：二值化处理：通过OpenCV二值化函数将精子头部图像二值化处理，得到黑白化 的精子头部图像，其中二值化公式为：
Figure 956866DEST_PATH_IMAGE009
，其 中F(x)为返回的像素值，x为原先的像素值，threshold为阈值；
S1312：亮度处理：将黑白化的精子头部图像亮度调到均匀值，得到亮度均匀的精子头部图像；
S1313：Otsu找到精子轮廓：根据OpenCV查找轮廓函数中的Otsu算法找到精子头部轮 廓，得到精子头部轮廓图像，其中Otsu公式为：
Figure 376346DEST_PATH_IMAGE011
，其中g 为目标函数，
Figure 727693DEST_PATH_IMAGE012
为前景点所占的比例，
Figure 345756DEST_PATH_IMAGE013
为背景像素点所占总像素点 的比例，
Figure 491567DEST_PATH_IMAGE014
为前景灰度均值，
Figure 195081DEST_PATH_IMAGE015
为背景灰度均值，
Figure 84539DEST_PATH_IMAGE016
为全局灰度均值；
S1314：K-means聚类获取精子核区：使用具有2个类别的K-means聚类算法对精子头部 像素进行聚类，粗略的将精子头部分为核区部分、顶体和中段部分，其中K-means聚类损失 函数公式为：
Figure 760371DEST_PATH_IMAGE017
，其中J为K-means聚类的损失函数，
Figure 139400DEST_PATH_IMAGE018
为第k个类的重心位置，
Figure 267893DEST_PATH_IMAGE019
为第j个样本，
Figure 952253DEST_PATH_IMAGE020
为簇划 分；
S1315：开操作获取精子头部：选择顶体和中段部分，进行Opencv开操作，先腐蚀后膨胀后得到只包含核区和顶体的精子头部；
S1316：精子头部及核区膨胀找到精子顶体：分别对精子头部和核区进行膨胀操作，比较膨胀后的核区和头部，并丢弃位于头部区域之外的核区像素，从而得到新的核区，然后通过精子头部减去精子核区找到精子顶体区域；
S1317：开操作获取精子顶体：对精子顶体区域进行腐蚀操作，得到新的顶体区域，然后对处理后的顶体区域进行膨胀操作，比较膨胀操作后的精子顶体区域和头部，并丢弃位于头部区域之外的顶体像素，从而得到新的顶体区域；
S1318：椭圆拟合：通过OpenCV椭圆拟合函数对精子进行椭圆拟合。
6.根据权利要求5所述的精子头部形态识别方法，其特征在于，所述S132的方法包括：通过OpenCV轮廓面积函数求取精子头部面积；通过OpenCV周长函数求取精子头部周长；通过拟合的椭圆获取精子头部高度和头部宽度；通过将精子头部高度除以头部宽度得到精子长宽比；通过分割后的顶体求出精子顶体面积；通过将精子头部面积减去顶体面积求出精子核区面积；通过将精子顶体面积除以精子头部面积求出精子顶体比率；通过将原有精子头部面积除以椭圆拟合面积求出精子面积CV值；通过计算精子头部轮廓拟合成椭圆的相似度得到精子椭圆拟合度；通过计算精子头部以长轴和短轴为对称轴的对称程度求出精子的对称度。
7.一种精子头部形态识别装置，其特征在于，包括：
精子图像获取模块，用于获取精子染色显微图像；
精子头部检测模块，用于将精子染色显微图像通过精子头部检测模型，获得精子头部图像和精子头部在图像中的位置信息；
头部形态识别模块，用于根据精子头部图像和精子头部在图像中的位置信息对精子头部进行形态分析，获得精子头部形态识别结果。
8.根据权利要求7所述的精子头部形态识别装置，其特征在于，还包括：检测模型生成模块，用于生成精子头部检测模型；所述检测模型生成模块包括：
样本数据筛选单元，用于筛选出大样本的精子染色显微图像；
样本数据标注单元，用于在精子染色显微图像上标注出精子头部，并将标注后的精子染色显微图像分为训练图像集和测试图像集；
检测模型训练单元，用于在TensorFlow 框架下，采用YOLOv3网络模型对训练图像集进行训练，再通过测试图像集来验证并更新YOLOv3网络模型参数再进行训练，循环此过程直到获得最终的精子头部检测模型。
9.根据权利要求7所述的精子头部形态识别装置，其特征在于，所述头部形态识别模块包括：
头部图像处理单元，用于对精子头部图像进行处理，包括：二值化处理、亮度处理、Otsu找到精子轮廓、K-means聚类获取核区、开操作获取精子头部、头部及核区膨胀找到顶体、开操作获取顶体、椭圆拟合；
形态参数提取单元，用于根据处理后的精子头部图像提取出精子头部形态参数，获得的精子头部形态参数包括头部面积、头部周长、头部高度、头部宽度、长宽比、顶体面积、核区面积、顶体比率、面积CV值、椭圆拟合度、对称度；
头部形态识别单元，用于根据获得的精子头部形态参数和预设的精子标准值，输出精子头部形态类型，精子头部形态类型分为正常精子、梨形精子、不定形精子、锥形精子、小头精子、大头精子、顶体异常精子和圆形精子。
10.一种精子头部形态识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至6中任一项所述精子头部形态识别方法的步骤。
CN202011215590.1A 2020-11-04 2020-11-04 精子头部形态识别方法、装置及设备 Active CN112036384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011215590.1A CN112036384B (zh) 2020-11-04 2020-11-04 精子头部形态识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011215590.1A CN112036384B (zh) 2020-11-04 2020-11-04 精子头部形态识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112036384A true CN112036384A (zh) 2020-12-04
CN112036384B CN112036384B (zh) 2021-02-05

Family

ID=73572878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011215590.1A Active CN112036384B (zh) 2020-11-04 2020-11-04 精子头部形态识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112036384B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508955A (zh) * 2021-02-08 2021-03-16 中国科学院自动化研究所 基于深度神经网络对活体细胞形态检测的方法及相关产品
CN112801967A (zh) * 2021-01-21 2021-05-14 苏敬勇 一种精子形态分析方法和装置
CN113920070A (zh) * 2021-09-26 2022-01-11 山东师范大学 精子头部检测方法及系统
CN115240015A (zh) * 2022-09-23 2022-10-25 中汽数据(天津)有限公司 目标检测模型的训练方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268515A (zh) * 2014-09-18 2015-01-07 山东大学 一种精子形态异常检测方法
CN107615066A (zh) * 2015-05-07 2018-01-19 技术创新动力基金（以色列）有限合伙公司 用于包括精子的生物细胞和生物有机体的干涉系统和方法
CN110363057A (zh) * 2018-12-29 2019-10-22 上海北昂医药科技股份有限公司 一种形态学图像中的精子识别及分类方法
CN110705639A (zh) * 2019-09-30 2020-01-17 吉林大学 一种基于深度学习的医学精子图像识别系统
US20200116707A1 (en) * 2016-02-17 2020-04-16 Androvia Lifesciences, Llc Methods and Test Kits for Determining Male Fertility Status
CN111563550A (zh) * 2020-04-30 2020-08-21 北京百度网讯科技有限公司 基于图像技术的精子形态检测方法和装置
CN111783864A (zh) * 2020-06-24 2020-10-16 盐城吉大智能终端产业研究院有限公司 一种多形态的医学精子图像分类方法
CN111879686A (zh) * 2020-08-03 2020-11-03 贵州大学 一种采用流式细胞术检测哺乳动物精液品质的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268515A (zh) * 2014-09-18 2015-01-07 山东大学 一种精子形态异常检测方法
CN107615066A (zh) * 2015-05-07 2018-01-19 技术创新动力基金（以色列）有限合伙公司 用于包括精子的生物细胞和生物有机体的干涉系统和方法
US20200116707A1 (en) * 2016-02-17 2020-04-16 Androvia Lifesciences, Llc Methods and Test Kits for Determining Male Fertility Status
CN110363057A (zh) * 2018-12-29 2019-10-22 上海北昂医药科技股份有限公司 一种形态学图像中的精子识别及分类方法
CN110705639A (zh) * 2019-09-30 2020-01-17 吉林大学 一种基于深度学习的医学精子图像识别系统
CN111563550A (zh) * 2020-04-30 2020-08-21 北京百度网讯科技有限公司 基于图像技术的精子形态检测方法和装置
CN111783864A (zh) * 2020-06-24 2020-10-16 盐城吉大智能终端产业研究院有限公司 一种多形态的医学精子图像分类方法
CN111879686A (zh) * 2020-08-03 2020-11-03 贵州大学 一种采用流式细胞术检测哺乳动物精液品质的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FARIBASHAKERS等: ""Automatic detection and segmentation of sperm head, acrosome and nucleus in microscopic images of human semen smears"", 《BIOMEDICINE》 *
宋影 等: ""少、弱精子症中精子形态缺陷类型及发生率的检查分析报告", 《中国男科学杂志》 *
张永良 等: ""精子核DNA及形态图像定量分析在男性不育中的应用"", 《临床泌尿外科杂志》 *
李林: ""基于深度学习的医学精子图像分类算法研究"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801967A (zh) * 2021-01-21 2021-05-14 苏敬勇 一种精子形态分析方法和装置
CN112801967B (zh) * 2021-01-21 2023-08-11 苏敬勇 一种精子形态分析方法和装置
CN112508955A (zh) * 2021-02-08 2021-03-16 中国科学院自动化研究所 基于深度神经网络对活体细胞形态检测的方法及相关产品
CN113920070A (zh) * 2021-09-26 2022-01-11 山东师范大学 精子头部检测方法及系统
CN115240015A (zh) * 2022-09-23 2022-10-25 中汽数据(天津)有限公司 目标检测模型的训练方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN112036384B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112036384B (zh) 精子头部形态识别方法、装置及设备
CN110334706B (zh) 一种图像目标识别方法及装置
CN109299688B (zh) 基于可变形快速卷积神经网络的舰船检测方法
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
Tang et al. Automatic plankton image recognition
CN105469105A (zh) 一种基于视频监控的香烟烟雾检测方法
CN109190567A (zh) 基于深度卷积神经网络的异常宫颈细胞自动检测方法
CN106909941A (zh) 基于机器视觉的多表字符识别系统及方法
CN108596038B (zh) 一种结合形态学分割和神经网络的粪便中红细胞识别方法
CN105930852B (zh) 一种气泡图像识别方法
CN103177266A (zh) 储藏物害虫智能识别系统
CN113378831B (zh) 一种小鼠胚胎器官识别与评分方法与系统
CN109815974A (zh) 一种细胞病理玻片分类方法、系统、设备、存储介质
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN116596875A (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
CN114463843A (zh) 一种基于深度学习的多特征融合鱼类异常行为检测方法
CN111950357A (zh) 一种基于多特征yolov3的船用水面垃圾快速识别方法
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN116596921B (zh) 一种焚烧炉渣分选方法及系统
CN113327282A (zh) 一种办公转椅打孔位置与连接点识别方法
CN112949634A (zh) 一种铁路接触网鸟窝检测方法
Li et al. A Deep Learning based Method for Microscopic Object Localization and Classification
Liu et al. Automatic detection and recognition method of digital instrument representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Chang

Inventor after: Li Fuping

Inventor after: Hou Wei

Inventor after: Jia Yequ

Inventor after: Yu Lin

Inventor after: Wu Yingbi

Inventor after: Zhong Zhenghua

Inventor after: Liao Lu

Inventor after: Zhao Yangmei

Inventor before: Liu Chang

Inventor before: Li Fuping

Inventor before: Hou Wei

Inventor before: Jia Yelin

Inventor before: Yu Lin

Inventor before: Wu Yingbi

Inventor before: Zhong Zhenghua

Inventor before: Liao Lu

Inventor before: Zhao Yangmei