CN116597441B - 基于深度学习和图像模式识别的藻类细胞统计方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习和图像模式识别的藻类细胞统计方法及系统，包括以下步骤：获取藻类图像，构建藻类检测模型，将藻类图像输入藻类检测模型，得到藻类检测结果，通过藻类检测结果从藻类图像中截取得到盘星藻类图像；构建盘星藻类细胞深度学习检测模型；基于训练好的盘星藻类细胞深度学习检测模型和盘星藻类图像得到盘星藻类细胞检测结果；基于盘星藻类细胞检测结果和盘星藻类图像计算盘星藻类细胞完整性；基于盘星藻类细胞完整性，得到盘星藻类图像中的盘星藻细胞个数。本发明不仅对于正常形态的盘星藻类具有较好的细胞统计精度，对于残缺、破损或形态不规整的盘星藻类也可以精确地统计出它的细胞个数。

Description

基于深度学习和图像模式识别的藻类细胞统计方法及系统

技术领域

本发明涉及水生态环境监测技术领域，特别涉及一种基于深度学习和图像模式识别的藻类细胞统计方法及系统。

背景技术

利用显微镜和高清工业相机来采集藻类图像，然后通过深度学习检测模型识别出盘星藻类和它的像素坐标，需要设计一种识别方法来统计图像中盘星藻类的细胞个数。

专利公开号CN111443028A中提出了基于深度学习模型对藻类进行识别和统计的方法，该方法在统计盘星藻类细胞个数时，只能按照典型细胞个数值进行估算，与实际情况存在较大的出入，导致了藻密度、生物量等性能指标产生了较大的偏差。

专利申请号202210113473.7中提出了基于显微镜图像的藻类细胞统计的方法。该方法通过凸包和凸缺陷特征，可以较精确的计算出盘星藻类的缘边细胞个数，然后由缘边细胞个数估算出缘边内细胞的个数。该方法对形态较完整的盘星藻类识别效果还不错，但对于残缺或形态不太规整的盘星藻类，算法识别的细胞个数与人工统计的结果存在较大的偏差。

发明内容

为了克服现有技术存在的不足，本发明提供的一种基于深度学习和图像模式识别的藻类细胞统计方法及系统，本发明先通过深度学习模型识别出盘星藻类和它的位置坐标，然后截取出该藻类的图像数据，最后通过深度学习模型与图像模式识别技术相结合的方式来统计出它的细胞个数。

为了达到上述目的，本发明提供的一种基于深度学习和图像模式识别的藻类细胞统计方法及系统。

其中，基于深度学习和图像模式识别的藻类细胞统计方法，包括以下步骤：

获取藻类图像，构建藻类检测模型，将所述藻类图像输入所述藻类识别模型，得到藻类检测结果；

基于所述藻类检测结果，从所述藻类图像中截取得到盘星藻类图像；

构建盘星藻类细胞深度学习检测模型；

基于所述盘星藻类图像进行模型训练，得到训练好的盘星藻类细胞深度学习检测模型；

基于所述训练好的盘星藻类细胞深度学习检测模型和盘星藻类图像得到盘星藻类细胞检测结果；

基于所述盘星藻类细胞检测结果和所述盘星藻类图像计算盘星藻类细胞完整性；

基于所述盘星藻类细胞完整性，得到盘星藻类图像中的盘星藻细胞个数。

优选地，基于PP-PicoDet模型构建盘星藻类细胞深度学习检测模型。

优选地，基于所述训练好的盘星藻类细胞深度学习检测模型和所述盘星藻类图像得到盘星藻类细胞检测结果的过程包括：

对所述盘星藻类图像进行中值滤波去噪得到预处理图像；

将所述预处理图像输入所述训练好的盘星藻类细胞深度学习检测模型得到盘星藻类细胞的位置和置信度；

设置固定置信度阈值和固定重叠度阈值；

删除低于所述固定置信度阈值的盘星藻类细胞检测数据，得到过滤后的盘星藻类细胞检测数据；

计算任意两个不重复的所述过滤后的盘星藻类细胞检测数据的重叠度；

将所述重叠度大于所述固定重叠度阈值的两个盘星藻类图像的细胞检测数据进行合并，得到盘星藻类细胞检测结果。

优选地，基于所述检测结果和所述盘星藻类图像计算盘星藻类细胞完整性的过程包括；

基于所述盘星藻类图像得到盘星藻类图像的二值图像；

基于所述盘星藻类细胞深度学习检测模型的检测结果和所述盘星藻类图像的二值图像得到盘星藻类图像中残余的盘星藻类细胞区域；

基于所述残余的盘星藻类细胞区域和所述盘星藻类图像的二值图像得到比值。

优选地，对所述盘星藻类图像计算盘星藻类图像的二值图像的过程包括：

对所述盘星藻类图像依次进行缩放处理、灰度变换、中值滤波去噪、对比度拉伸和高斯模糊化降噪处理，得到增强后的盘星藻类灰度图像；

计算所述增强后的盘星藻类灰度图像的大律阈值；

基于所述大律阈值，采用Canny边缘检测方法检测盘星藻类的边缘特征，得到边缘图像；

对所述边缘图像进行形态学膨胀操作连接断开的边缘，增强盘星藻类外轮廓特征；

基于所述盘星藻类边缘图像填充外轮廓内部区域得到二值图像。

优选地，通过设置第一完整性阈值和第二完整性阈值得到盘星藻类细胞完整性；

其中，基于所述盘星藻类细胞完整性得到盘星藻类图像的细胞个数的过程包括：

当所述盘星藻类细胞完整性小于第一完整性阈值时，直接统计盘星藻类细胞深度学习检测模型检测的矩形个数，基于矩形个数得到盘星藻类图像中的盘星藻细胞个数；

当所述盘星藻类细胞完整性大于第一完整性阈值且小于第二完整性阈值时，获取盘星藻类细胞深度学习检测模型的检测结果，计算盘星藻类细胞的平均尺寸，基于所述盘星藻类细胞的平均尺寸计算残余盘星藻类细胞区域中漏检的盘星藻类细胞个数，基于所述检测结果和所述漏检的盘星藻类细胞个数得到盘星藻类图像中的盘星藻细胞个数；

当所述盘星藻类细胞完整性大于第二完整性阈值时，舍弃所述盘星藻类细胞深度学习检测模型的检测结果，采用图像模式识别技术重新计算得到盘星藻类图像中的盘星藻细胞个数。

优选地，基于所述图像模式识别技术得到藻类图像细胞个数的过程包括：

计算所述盘星藻类边缘图像的最大轮廓；

基于所述最大轮廓得到凸包点和凸缺陷点；

对所述凸包点和所述凸缺陷点进行校验，删除无效特征点，得到校验后特征点；

基于所述校验后特征点得到盘星藻类图像中的细胞个数。

本发明还提供了一种基于深度学习和图像模式识别的藻类细胞统计系统,包括：离线建模模块、深度学习盘星藻类细胞检测模块、盘星藻类细胞检测完整性计算模块、第一盘星藻类细胞统计模块、第二盘星藻类细胞统计模块和第三盘星藻类细胞统计模块；

其中，所述离线建模模块用于构建盘星藻类细胞深度学习检测模型，并进行模型训练；

所述深度学习盘星藻类细胞检测模块与所述离线建模模块连接，用于对盘星藻类图像进行盘星藻类细胞检测；

盘星藻类细胞检测完整性计算模块用于计算盘星藻类细胞检测的完整性；

所述第一盘星藻类细胞统计模块、第二盘星藻类细胞统计模块和第三盘星藻类细胞统计模块分别与所述盘星藻类细胞检测完整性计算模块连接，用于统计盘星藻类的细胞个数。

优选地，所述盘星藻类细胞检测完整性计算模块包括二值图像计算单元；

所述二值图像计算单元用于计算盘星藻类图像的二值图像；

其中，所述二值图像计算单元包括图像预处理子单元和边缘检测子单元；

所述图像预处理子单元用于对所述盘星藻类图像进行预处理；

所述边缘检测子单元用于检测盘星藻类图像的盘星藻类边缘图像。

本发明具有如下技术效果：

1、采用深度学习目标检测模型来检测盘星藻类的细胞。在图像清晰的条件下，可以同时对缘边细胞和缘边内的细胞进行精确的检测和计数，细胞统计结果与人工统计的结果偏差很小，提高了细胞计数的精度。

2、对于残缺或形态不规整的盘星藻类图像数据，深度学习目标检测模型检测的盘星藻类的细胞个数更加精确。主要原因为：采用图像模式识别算法统计盘星藻类细胞个数时，是通过盘星藻类缘边细胞的凸点和凸缺陷点来计算盘星藻类的缘边细胞个数，然后根据缘边细胞个数估算缘边内的细胞个数。而残缺或破损的盘星藻类它的缘边细胞会缺失较多，造成凸点和凸缺陷点计算出现误差，导致最终细胞个数统计的数据与实际情况产生较大的偏差。

3、通过大量的测试，我们发现：图像上盘星藻类形态不规整、盘星藻类出现在图像边缘或盘星藻类存在破损现象时，藻类细胞检测模型检测的细胞个数更加精确一些。显微镜图像数据的采集是动态进行的，有时拍摄的盘星藻类图像数据会存在一定的运动模糊。在此条件下，目标检测模型检测的细胞个数偏差会较大，而图像模式识别方式计算的细胞个数会相对精确一些。通过藻类细胞检测完整性计算模块，可以针对不同的情况，采取最优的策略来统计图像上盘星藻类的细胞个数，进一步提高了细胞统计的精度。

4、本发明中提及的细胞统计方法，不仅可以应用于盘星藻类的细胞个数统计，稍微修改后，还可以应用于细胞较易辨别的藻类上，例如：游丝藻、平列藻、脆杆藻群体等，具有广泛的适用性。

5、藻类细胞统计系统为独立的模块，便于算法后期的优化和维护。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的整体流程图；

图2为本发明实施例中的离线建模流程图；

图3为本发明实施例中的深度学习藻类细胞检测流程图；

图4为本发明实施例中的藻类细胞检测完整性计算流程图；

图5为本发明实施例中的藻类二值图像计算流程图；

图6为本发明实施例中的图像预处理流程图；

图7为本发明实施例中的边缘检测流程图；

图8为本发明实施例中的统计藻类细胞个数流程图；

图9为本发明实施例中的深度学习与图像模式识别相结合的藻类细胞统计流程图；

图10为本发明实施例中的藻类细胞平均尺寸计算流程图；

图11为本发明实施例中的图像模式识别藻类细胞统计流程图；

图12为本发明实施例中的特征点检测流程图；

图13为本发明实施例中的特征点校验流程图；

图14为本发明实施例中的凸包校验流程图；

图15为本发明实施例中的凸缺陷校验流程图；

图16为本发明实施例中的凸缺陷角度校验示例图；

图17为本发明实施例中的凸缺陷校验效果图；

图18为本发明实施例中的藻类细胞个数统计流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例公开了一种基于深度学习和图像模式识别的藻类细胞统计方法，包括以下步骤：

S1、训练基于深度学习的盘星藻类细胞检测模型。

S2、在截取的盘星藻类图像数据上进行盘星藻类细胞检测。

S3、计算深度学习检测的盘星藻类细胞的完整性。

S4、统计盘星藻类的细胞个数。

本发明中步骤S1中还包括：

收集和标注400倍显微镜条件下的盘星藻类细胞图像数据。

深度学习检测模型选型，由于已经检测出了盘星藻，只需要对盘星藻类图像中的细胞进行检测，因此，选用轻量级目标检测模型(PP-PicoDet、yolov5s等)即可。

训练盘星藻类细胞深度学习检测模型。

测试盘星藻类细胞检测模型的效果。

根据已训练模型的测试情况，调整训练样本、标注方式或新增训练样本。

迭代优化训练模型，直到精度满足预期目标。

本发明中步骤S2中还包括：

对图像进行中值滤波去噪。

调用盘星藻类细胞检测模型，从截取的盘星藻类图像中检测它的细胞。

对盘星藻类细胞检测模型检测出的结果进行过滤，删除置信度较低的检测结果。

计算任意两个检测结果的重叠度，若重叠度大于70％，则对它们进行合并处理。

本发明中步骤S3中还包括：

在截取的盘星藻类图像上，计算它的二值图像。

根据盘星藻类细胞检测模型检测的结果和盘星藻类二值图像，计算图像中残余的藻类细胞区域。

将残余藻类细胞区域除以盘星藻类二值图像，计算它们的比值，该比值表示了深度学习藻类细胞检测的完整性。

本发明中步骤S4中还包括：

根据藻类细胞完整性指标，计算藻类细胞完整性类型，分为三个类型，分别是：细胞检测完整、细胞检测大部分完整和细胞检测不完整。

藻类细胞检测完整时，直接统计盘星藻类细胞检测模型检测到的矩形个数，它的个数就是图像上盘星藻类细胞的个数。

细胞检测大部分完整时，通过盘星藻类细胞检测模型检测出的细胞，计算盘星藻类细胞的平均尺寸，然后结合残余藻类细胞区域，估算出漏检的盘星藻类细胞个数，最后将盘星藻类细胞检测模型检测出的细胞个数与估算出的漏检盘星藻类细胞个数相加，得到图像上盘星藻类细胞的个数。

细胞检测不完整时，放弃深度学习模型检测的结果，采用图像模式识别技术重新计算它的细胞个数。

实施例二

如图1所示，本实施例公开了一种基于深度学习和图像模式识别的藻类细胞统计系统，包括：

⑴离线建模：训练基于深度学习的盘星藻类细胞检测模型。

⑵深度学习藻类细胞检测：在截取的盘星藻类图像数据上进行盘星藻类细胞检测。

⑶藻类细胞检测完整性计算：计算盘星藻类细胞检测的完整性。

⑷统计藻类细胞个数：根据盘星藻类细胞检测的完整性指标，统计它的细胞个数。

如图2所示，离线建模模块包括以下内容：

⑴收集盘星藻类图像数据，对其进行人工标注。

⑵将盘星藻类缘边细胞按单角和双角进行标注，缘边内细胞也进行标注。

⑶作为本实施例的优选方案，采用PP-PicoDet模型训练盘星藻类细胞检测模型。

⑷测试盘星藻类细胞检测模型的效果。

⑸模型采用迭代优化的方式进行训练，根据模型测试情况，增添样本或调整原有样本的标记内容，直到模型精度满足设计要求。

如图3所示，深度学习藻类细胞检测模块包括以下内容：

⑴对截取的盘星藻类图像数据进行中值滤波去噪处理。

⑵通过盘星藻类细胞检测模型来检测中值滤波后的盘星藻类图像数据，得到盘星藻类细胞的位置和置信度。

⑶盘星藻类细胞检测的结果是vector<detData>detResult，其中detData是一个结构体，表示单个细胞的检测结果，它包括box和conf两个变量，分别表示盘星藻类细胞的位置和置信度。

⑷设置固定的置信度阈值来过滤模型产生的误检测数据，优选的，该值为0.6。分析detResult中的每个数据，删除置信度conf低于0.6的细胞检测数据。

⑸分析detResult中任意不重复的两个数据，计算它们的重叠度，若重叠度大于设置的阈值(0.7)，则对这两个数据进行合并操作。

⑹假设A与B是detResult中两个不同的检测数据，A中box的坐标是x1,y1,w1和h1；B中box的坐标是x2,y2,w2和h2。x坐标和y坐标表示左上角顶点坐标，w表示box的宽，h表示box的高。

⑺重叠度计算方法为：通过A的box计算A的像素面积areaA,通过B的box计算B的像素面积areaB,根据A与B的box坐标位置，计算A与B的相交像素面积areaIS。计算A与B的最大包围坐标，以最大包围坐标来计算最大包围面积areaT。计算areaIS与areaT的比值，该比值即为A与B的重叠度。

⑻最大包围坐标的计算方法为：创建一个新的box结构体tempBox，比较x1和x2，将较小者赋值给tempBox的x变量。同理，比较y1和y2，将较小者赋值给tempBox的y变量。计算A中box的X方向和Y方向的最大值坐标x1max与y1max，x1max＝x1+w1,y1max＝y1+h1。同理计算B中box的X方向和Y方向的最大值坐标x2max与y2max。比较x1max与x2max，将较大者赋值给xmax。比较y1max与y2max，将较大者赋值给ymax。tempBox中w变量的值等于xmax减去tempBox中x变量的值。tempBox中h变量的值等于ymax减去tempBox中y变量的值。

如图4所示，藻类细胞检测完整性计算模块包括以下内容：

⑴从截取的盘星藻类图像数据中计算盘星藻类细胞的二值图像,得到binaryImg，统计binaryImg中白色像素(255)的个数，并计算它的细胞像素面积area。

⑵假设A是detResult中的一个细胞检测结果，以它为例来说明残余藻类细胞区域计算的过程。在binaryImg上，调查A中box坐标覆盖区域内，binaryImg对应像素坐标的值，如果值为255，则将其重新赋值为0。

⑶按照步骤⑵的方法，遍历detResult中所有的检测结果，得到resBinaryImg，统计resBinaryImg中白色像素(255)的个数，并计算它的细胞像素面积areaRes。

⑷将areaRes除以area，得到detRatio，该值就是藻类细胞检测完整性指标。

如图5所示，藻类二值图像计算模块包括以下内容：

⑴对截取的盘星藻类图像数据进行图像预处理，增强图像上盘星藻类的对比度。

⑵在增强后的灰度图像上进行边缘检测操作。

⑶填充图像中边缘检测轮廓内部区域。

如图6所示，图像预处理模块包括以下内容：

⑴首先对图像进行缩放处理，提高整体运行效率；

⑵将缩放后的彩色图像数据转换成灰度图像；

⑶对灰度图像进行中值滤波去噪；

⑷采用CLAHE(对比度受限的自适应直方图均衡化)算法对图像进行对比度拉伸操作；

⑸由于CLAHE算法拉伸后的图像数据会存在较多噪点，需要通过高斯模糊化算法来进一步降噪。

如图7所示，边缘检测包括以下内容：

⑴在灰度图像上计算OTSU(大律)阈值；

⑵以OTSU阈值为基础，分别乘以设置的两个系数(0.4和1.0)，组成高低阈值，然后用Canny边缘检测方法从灰度图像中提取出盘星藻类的边缘特征；

⑶在边缘图像上做形态学膨胀操作(dilate)，连接断开的边缘，增强盘星藻类内外轮廓的完整性。

如图8所示，统计藻类细胞个数模块包括以下内容：

⑴根据藻类细胞检测完整性指标，计算藻类细胞完整性类型，藻类细胞完整性类型为枚举型变量type，优选地，若detRatio小于设置的阈值(0.15)时，type赋值为1；若detRatio小于设置的阈值(0.5)时，type赋值为2；若detRatio大于设置的阈值(0.5)时，type赋值为0；

⑵当type＝1时，直接统计盘星藻类细胞检测模型检测到的矩形个数，它的个数就是图像上盘星藻类细胞的个数；

⑶当type＝2时，通过盘星藻类细胞检测模型检测出的细胞，计算盘星藻类细胞的平均尺寸，然后结合残余藻类细胞区域，估算出漏检的盘星藻类细胞个数，最后将盘星藻类细胞检测模型检测出的细胞个数与估算出的漏检盘星藻类细胞个数相加，得到图像上盘星藻类细胞的个数；

⑷当type＝0时，放弃深度学习模型检测的结果，采用图像模式识别技术重新计算它的细胞个数。

如图9所示，深度学习与图像模式识别相结合的藻类细胞统计模块包括以下内容：

⑴分析detResult中藻类细胞检测数据，计算图像上盘星藻类细胞的平均尺寸,该尺寸为meanCellArea，表示盘星藻类细胞的平均像素面积；

⑵用残余藻类细胞区域面积areaRes除以meanCellArea，得到估算的漏检藻类细胞个数；

⑶统计detResult中藻类细胞个数，将它与估算的漏检藻类细胞个数相加，得到图像上盘星藻类的细胞总数。

如图10所示，藻类细胞平均尺寸计算模块包括以下内容:

⑴分别计算detResult中藻类细胞检测数据的细胞像素面积，并按从小到大的顺序对detResult中的数据进行排序；

⑵从排序后的detResult数据中找到中间位置的数据medianData；

⑶以medianData的细胞像素面积为基准值，分析detResult中所有的数据，计算它与medianData细胞像素面积的比值，删除比值小于0.5或大于2的数据，得到detResult1。

⑷计算detResult1中细胞像素面积的平均值,该值即为meanCellArea。

如图11所示，图像模式识别藻类细胞统计模块包括以下内容：

⑴在边缘图像edgeImg上进行凸包和凸缺陷检测，得到特征点；

⑵对特征点进行校验，删除错误的凸包(convexHull)和凸缺陷(convexityDefects)数据；

⑶基于凸缺陷点，计算盘星藻类的细胞个数。

如图12所示，特征点检测包括以下内容：

⑴在边缘图像上计算外轮廓；

⑵从外轮廓数据中找到最大的外轮廓；

⑶对最大外轮廓做凸包检测，检测出来的凸包hull是一个向量形式的点集(vector<Point>hull)；

⑷结合凸包数据，在最大外轮廓上检测它的凸缺陷,表示为defects,它是一个向量形式的结构体(vector<Vec4i>defects),其中结构体Vec4i包含4个变量，分别是轮廓起始点索引startPointID，轮廓结束点索引endPointID，距离凸包最远点索引farPointID和最远点到轮廓的像素距离depth。

如图13所示，特征点校验包括以下内容：

⑴凸包校验：校验凸包数据，删除误检测的凸包；

⑵凸缺陷校验：校验凸缺陷数据，删除误检测的凸缺陷和双角盘星藻类中两个角之间的凸缺陷。

如图14所示，凸包校验包括以下内容：

⑴计算凸包中两个凸点之间的像素距离，当两个凸点之间的距离小于设置的阈值(10)时，计算它们的中心点，然后以它们的中心点来替代这两个凸点；

⑵计算凸包中的点和凸缺陷所有点之间的像素距离，如果发现它的像素距离小于设置的阈值(10)时，进一步排查当前的凸缺陷点，如果当前的凸缺陷点没有问题，那么将对凸包的点进行删除处理；

⑶以每个凸缺陷点Vec4i结构体里的depth值为基准，对所有凸缺陷点进行排序，然后找到中间depth的值meanDepth；

⑷如果步骤⑵发现某个凸包点和和凸缺陷点之间的距离过近，那么计算该凸缺陷点depth值与meanDepth值的偏差。如果偏差小于设定的阈值，那么说明该凸缺陷点没有问题，将对该凸包点进行删除处理。

如图15所示，凸缺陷校验包括以下内容：

⑴计算凸缺陷中相邻两个凸缺陷点之间的像素距离，当两个凸缺陷点之间的距离小于设置的阈值(10)时，计算它们的中心点，然后以它们的中心点来替代这两个凸缺陷点；

⑵计算凸缺陷中每个点和凸包所有点之间的像素距离，如果发现凸缺陷点和凸包点之间的距离过近(像素距离小于10)，则直接删除该凸缺陷点；

⑶由于在前面的凸包校验环节已经排除了误检测的凸包点。因此，步骤⑵可以对问题凸缺陷点直接进行删除处理；

⑷以每个凸缺陷点Vec4i结构体里的depth值为基准，对所有凸缺陷点进行排序，然后重新计算最远点到轮廓的中间像素距离meanDepth；

⑸计算每个凸缺陷点Vec4i结构体里depth值与meanDepth值的偏差。如果偏差大于设定的阈值，则对该凸缺陷点进行删除操作；

⑹由于双角盘星藻类在两个角之间会多生成一个凸缺陷点，直接统计凸缺陷点的个数会造成较大的细胞个数统计误差。因此，需要在凸缺陷中查找：是否存在这样的凸缺陷点，如果存在，需要将它删除。

为了更好地说明通过凸缺陷角度验证，找到双角盘星藻类的过程，如图16所示，它包括以下内容：

⑴图像中深色的点表示凸缺陷点。其中，A、D和F点是双角盘星藻类细胞中间多出来的凸缺陷点，为了后续表述方便，这里给它命名为alpha凸缺陷点,这些点是需要进行删除操作的；B、C、E点是正常的凸缺陷点，给它命名为beta凸缺陷点，用于统计盘星藻类细胞的个数；

⑵按顺时针方向，从第二个凸缺陷点开始，将当前凸缺陷点、上一个凸缺陷点和下一个凸缺陷点，这三个点组成三角形。计算当前凸缺陷点与相邻两个凸缺陷点组成的夹角；

⑶通过观察图像特征可以发现：三个凸缺陷点组成的三角形，共有4种类型，它们分别为：

①三个点都是alpha凸缺陷点：例如：ADF组成的三角形，D点的夹角是钝角，角度较大。这种形态下，相当于图8中C和E点都未检测出来，或检测出来后都被删除掉了。我们分析了500多张盘星藻类数据未发现这类现象，一般来说beta凸缺陷点更容易检测出来。另外在前面凸缺陷距离校验环节，会根据凸缺陷点与外轮廓的距离值depth来进行检查，beta凸缺陷点的depth值比alpha凸缺陷点的depth值要大，所以，alpha凸缺陷点更容易被删除。因此，这种三角形类型出现的概率非常低；

②三个点都是beat凸缺陷点：例如：BCE组成的三角形，C点的夹角是钝角，角度较大。单角盘星藻类图像或双角盘星藻类图像滤除掉alpha凸缺陷点后，组成的三角形都是这种方式；

③两个点是alpha凸缺陷点,另一个点是beta凸缺陷点：例如：DEF组成的三角形，E点的夹角是钝角，角度较大；

④两个点是beta凸缺陷点，另一个点是alpha凸缺陷点：例如：BAC组成的三角形，A点的夹角是锐角，角度较小。

⑷根据步骤⑶总结的规律，我们在进行步骤⑵操作时，以BAC组成的三角形为例，如果计算出A的角度较小，低于设置的角度阈值，那么说明A点很有可能是alpha凸缺陷点；

⑸为方便描述，仍以BAC组成的三角形为例，进一步分析A点到外轮廓的距离是否最小。用depthA表示A点到外轮廓的距离，用depthB表示B点到外轮廓的距离，用depthC表示C点到外轮廓的距离。如果depthA同时小于depthB和depthC，那么说明A点为alpha凸缺陷点，将其进行删除处理；

如图17所示，图像中深色的点对应的就是特征点校验后的凸缺陷点，可以观察到：无论是双角盘星藻类还是单角盘星藻类，凸缺陷检测的效果都很理想。

如图18所示，藻类细胞个数统计包括以下内容：

⑴从第二个凸缺陷点开始，计算当前凸缺陷点与上一个凸缺陷点之间的像素距离，将计算结果保存为向量形式(vector<float>length)；

⑵将计算的像素距离进行排序，从length中找到中间位置对应的像素距离值,表示为medianLength；

⑶统计当前凸缺陷点的个数；

⑷计算length[i](向量length中第i个位置对应的像素距离值)和medianLength的比例，如果比例大于设定的阈值，则说明这两个相邻的凸缺陷点之间存在漏检的凸缺陷点；

⑸按步骤⑷的方式，遍历向量length中所有的数值，计算漏检的凸缺陷点个数；

⑹将步骤⑶统计的凸缺陷点个数和步骤⑸计算的漏检凸缺陷点个数相加，得到当前盘星藻类的细胞个数；

⑺按盘星藻类细胞个数规律，以步骤⑹统计的细胞个数为参考值，用对应的典型细胞个数来修正细胞统计结果。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于深度学习和图像模式识别的藻类细胞统计方法，其特征在于，包括以下步骤：

获取藻类图像，构建藻类检测模型，将所述藻类图像输入所述藻类检测模型，得到藻类检测结果；

基于所述藻类检测结果，从所述藻类图像中截取得到盘星藻类图像；

构建盘星藻类细胞深度学习检测模型；

基于所述盘星藻类图像进行模型训练，得到训练好的盘星藻类细胞深度学习检测模型；

基于所述训练好的盘星藻类细胞深度学习检测模型和盘星藻类图像得到盘星藻类细胞检测结果；

基于所述盘星藻类细胞检测结果和所述盘星藻类图像计算盘星藻类细胞完整性；

基于所述盘星藻类细胞完整性，得到盘星藻类图像中的细胞个数；

通过设置第一完整性阈值和第二完整性阈值得到盘星藻类细胞完整性；

其中，基于所述盘星藻类细胞完整性得到盘星藻类图像的细胞个数的过程包括：

当所述盘星藻类细胞完整性小于第一完整性阈值时，直接统计盘星藻类细胞深度学习检测模型检测的矩形个数，基于矩形个数得到盘星藻类图像中的盘星藻细胞个数；

当所述盘星藻类细胞完整性大于第一完整性阈值且小于第二完整性阈值时，获取盘星藻类细胞深度学习检测模型的检测结果，计算盘星藻类细胞的平均尺寸，基于所述盘星藻类细胞的平均尺寸计算残余盘星藻类细胞区域中漏检的盘星藻类细胞个数，基于所述检测结果和所述漏检的盘星藻类细胞个数得到盘星藻类图像中的盘星藻细胞个数；

当所述盘星藻类细胞完整性大于第二完整性阈值时，舍弃所述盘星藻类细胞深度学习检测模型的检测结果，采用图像模式识别技术重新计算得到盘星藻类图像中的盘星藻细胞个数；

基于所述图像模式识别技术得到藻类图像块的细胞个数的过程包括：

计算所述盘星藻类边缘图像的最大轮廓；

基于所述最大轮廓得到凸包点和凸缺陷点；

对所述凸包点和所述凸缺陷点进行校验，删除无效特征点，得到校验后特征点；

基于所述校验后特征点得到盘星藻类图像中的细胞个数。

2.根据权利要求1所述的基于深度学习和图像模式识别的藻类细胞统计方法，其特征在于，基于PP-PicoDet模型构建盘星藻类细胞深度学习检测模型。

3.根据权利要求1所述的基于深度学习和图像模式识别的藻类细胞统计方法，其特征在于，基于所述训练好的盘星藻类细胞深度学习检测模型和所述盘星藻类图像得到盘星藻类细胞检测结果的过程包括：

对所述盘星藻类图像进行中值滤波去噪得到预处理图像；

将所述预处理图像输入所述训练好的盘星藻类细胞深度学习检测模型得到盘星藻类细胞的位置和置信度；

设置固定置信度阈值和固定重叠度阈值；

删除低于所述固定置信度阈值的盘星藻类细胞检测数据，得到过滤后的盘星藻类细胞检测数据；

计算任意两个不重复的所述过滤后的盘星藻类细胞检测数据的重叠度；

将所述重叠度大于所述固定重叠度阈值的两个盘星藻类图像的细胞检测数据进行合并，得到盘星藻类细胞检测结果。

4.根据权利要求3所述的基于深度学习和图像模式识别的藻类细胞统计方法，其特征在于，基于所述盘星藻类细胞检测结果和所述盘星藻类图像计算盘星藻类细胞完整性的过程包括；

基于所述盘星藻类图像得到盘星藻类图像的二值图像；

基于所述盘星藻类细胞深度学习检测模型的检测结果和所述盘星藻类图像的二值图像得到盘星藻类图像中残余的盘星藻类细胞区域；

基于所述残余的盘星藻类细胞区域和所述盘星藻类图像的二值图像得到比值。

5.根据权利要求4所述的基于深度学习和图像模式识别的藻类细胞统计方法，其特征在于，对所述盘星藻类图像计算盘星藻类图像的二值图像的过程包括：

对所述盘星藻类图像依次进行缩放处理、灰度变换、中值滤波去噪、对比度拉伸和高斯模糊化降噪处理，得到增强后的盘星藻类灰度图像；

计算所述增强后的盘星藻类灰度图像的大律阈值；

基于所述大律阈值，采用Canny边缘检测方法检测盘星藻类的边缘特征，得到边缘图像；

对所述边缘图像进行形态学膨胀操作连接断开的边缘，增强盘星藻类外轮廓特征得到盘星藻类边缘增强图像；

对所述盘星藻类边缘增强图像填充外轮廓内部区域得到盘星藻类图像的二值图像。

6.一种基于深度学习和图像模式识别的藻类细胞统计系统,其特征在于，包括：离线建模模块、深度学习盘星藻类细胞检测模块、盘星藻类细胞检测完整性计算模块、第一盘星藻类细胞统计模块、第二盘星藻类细胞统计模块和第三盘星藻类细胞统计模块；

其中，所述离线建模模块用于构建盘星藻类细胞深度学习检测模型，并进行模型训练；

所述深度学习盘星藻类细胞检测模块与所述离线建模模块连接，用于对盘星藻类图像进行盘星藻类细胞检测；

盘星藻类细胞检测完整性计算模块用于计算盘星藻类细胞检测的完整性，得到盘星藻类细胞完整性；

所述第一盘星藻类细胞统计模块、第二盘星藻类细胞统计模块和第三盘星藻类细胞统计模块分别与所述盘星藻类细胞检测完整性计算模块连接，用于统计盘星藻类的细胞个数；

通过设置第一完整性阈值和第二完整性阈值得到盘星藻类细胞完整性；

其中，基于所述盘星藻类细胞完整性得到盘星藻类图像的细胞个数的过程包括：

当所述盘星藻类细胞完整性小于第一完整性阈值时，采用第一盘星藻类细胞统计模块直接统计盘星藻类细胞深度学习检测模型检测的矩形个数，基于矩形个数得到盘星藻类图像中的盘星藻细胞个数；

当所述盘星藻类细胞完整性大于第一完整性阈值且小于第二完整性阈值时，所述第二盘星藻类细胞统计模块获取盘星藻类细胞深度学习检测模型的检测结果，计算盘星藻类细胞的平均尺寸，基于所述盘星藻类细胞的平均尺寸计算残余盘星藻类细胞区域中漏检的盘星藻类细胞个数，基于所述检测结果和所述漏检的盘星藻类细胞个数得到盘星藻类图像中的盘星藻细胞个数；

当所述盘星藻类细胞完整性大于第二完整性阈值时，舍弃所述盘星藻类细胞深度学习检测模型的检测结果，所述第三盘星藻类细胞统计模块采用图像模式识别技术重新计算得到盘星藻类图像中的盘星藻细胞个数；

基于所述图像模式识别技术得到藻类图像块的细胞个数的过程包括：

计算所述盘星藻类边缘图像的最大轮廓；

基于所述最大轮廓得到凸包点和凸缺陷点；

对所述凸包点和所述凸缺陷点进行校验，删除无效特征点，得到校验后特征点；

基于所述校验后特征点得到盘星藻类图像中的细胞个数。

7.根据权利要求6所述的基于深度学习和图像模式识别的藻类细胞统计系统,其特征在于，所述盘星藻类细胞检测完整性计算模块包括二值图像计算单元；

所述二值图像计算单元用于计算盘星藻类图像的二值图像；

其中，所述二值图像计算单元包括图像预处理子单元和边缘检测子单元；

所述图像预处理子单元用于对所述盘星藻类图像进行预处理；

所述边缘检测子单元用于检测盘星藻类图像的盘星藻类边缘图像。