CN115995078A - 一种浮游生物原位观测的图像预处理方法及系统 - Google Patents

Abstract

本发明公开一种浮游生物原位观测的图像预处理方法及系统，方法包括步骤：利用原位成像仪采集浮游生物原位图像，并对原位图像进行第一预处理，获取第一预处理原位图像；将第一预处理原位图像传输到服务器端进行第二预处理，获取第二预处理图像；将第二预处理原位图像存储在服务器端；系统包括原位成像仪、通信网络及服务器端，利用目标边缘的梯度极值或者深度学习神经网络模型对目标ROI图像进行聚焦程度评价。实施本发明，降低了原位成像仪的计算资源消耗，提高了预处理流程整体的效率及ROI图像聚焦评价的准确性，通过用“固定阈值二值化、一次腐蚀加两次膨胀的形态学操作、连通域检测”的方法检测目标位置，提高了目标检测效率。

Description

一种浮游生物原位观测的图像预处理方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种浮游生物原位观测的图像预处理方法及系统。

背景技术

浮游生物广泛分布于海洋中，它们是海洋生态系统和海洋食物网中的关键一环，基于光学成像的浮游生物原位观测技术通常包含如下步骤：先利用原位成像仪在水下以设定的帧率持续地拍摄原始图像，然后在仪器内经过一系列图像预处理操作，提取出图像中的目标图像，根据需要存储在仪器的存储器上或传输至云端服务器中，最后对预处理后的目标图像进行识别、测量和分析，得到浮游生物原位观测的结果。其中，图像预处理作为衔接成像仪采集原始图像和对目标图像的识别、测量与分析的中间过程，需要具备判断目标是否存在、检测目标位置、评价目标聚焦程度、增强目标图像质量、存储和传输目标图像文件的功能，为后续的目标识别、测量与分析步骤做足准备。图像预处理的目标检测效果及聚焦评价效果，直接影响着后续的识别、测量以及丰度估计的准确性，其运行效率也影响着原位观测系统的工作效率。

现有技术中，SPC中图像预处理的目标检测步骤存在以下问题：

1、计算过程较为复杂，且对浮游生物目标检测而言，并非必要计算目标的轮廓，存在一定的计算冗余；

2、聚焦评价方法易受浮游生物种类、亮度、大小等因素的影响，不利于根据目标与景深的相对位置关系来判断聚焦情况，而会偏向于把图像上高频信号丰富、纹理和形态复杂的目标判为清晰，准确性不足；

3、现有的浮游生物图像预处理技术缺少图像增强步骤，容易发生图像对比度不足的情况，不利于人眼观察分析。

发明内容

针对上述问题，提出一种浮游生物原位观测的图像预处理方法及系统，通过利用目标边缘梯度峰值聚焦评价算法及深度学习神经网络模型来评估聚焦程度，提高了ROI图像聚焦评价的准确性，通过用“固定阈值二值化、一次腐蚀加两次膨胀的形态学操作、连通域检测”的方法检测目标位置，提高了目标检测效率，通过利用CLAHE算法对白平衡ROI图像进行增强，使暗场浮游生物图像更加符合人眼观测需求。

一种浮游生物原位观测的图像预处理方法，该方法包括步骤100：利用原位成像仪采集浮游生物原位图像，并对所述原位图像进行第一预处理，获取第一预处理原位图像；步骤200：将所述第一预处理原位图像传输到服务器端进行第二预处理，获取第二预处理图像；步骤300：将所述第二预处理原位图像存储在所述服务器端；其中，步骤100包括：步骤110：利用目标边缘的梯度极值算法或者深度学习神经网络模型对目标ROI图像进行聚焦程度评价；其中，所述目标ROI图像为通过对所述原位图像的下采样图像进行目标检测而获得的目标图像像素集合。通过利用目标边缘梯度峰值聚焦评价算法，提高了ROI图像聚焦评价的准确性，降低了计算复杂度。

优选地，图像处理方法的一个可能实施方式为：利用连通域检测对下采样图像进行目标检测，提取目标ROI图像；利用目标边缘的梯度极值进行ROI图像聚焦程度评价，筛除存在离焦模糊的目标。

优选地，图像处理方法的一个可能实施方式为：对下采样图像进行均值滤波及二值化，获取二值化图像；对所述二值化图像进行一次腐蚀、两次膨胀形态学操作，获取形态学图像；确定所述形态学图像的连通域，根据像素值确定所述连通域是否为感兴趣目标；根据所述感兴趣目标的外接矩形坐标，获取所述感兴趣目标分别在所述下采样图像中对应位置的第一子图、形态学图像中对应位置的第二子图。

优选地，图像处理方法的一个可能实施方式为：利用Sobel算子计算第一子图的每一像素x、y轴方向梯度图；计算所述目标边缘处的梯度局部极大值并进行归一化处理，获取所述第一子图的清晰度评分；设置清晰度评分固定阈值，对所述第一子图进行筛选，获取第一预处理原位图像。

优选地，图像处理方法的一个可能实施方式为：对所述像素x、y轴方向梯度图进行扫描，获取梯度局部极大值；将所述局部极大值除以该像素坐标在第一子图对应的像素值，并将结果添加到一维数组；对所述一维数组前50％大的数值求平均值，将该平均值作为所述ROI图像的清晰度评分。

优选地，图像处理方法的一个可能实施方式为：构建聚焦评价分数数据集对所述深度学习神经网络模型进行训练，获取图像特征提取器；对提取的特征向量进行特征融合，获取特征融合向量；对所述特征融合向量分别进行回归并进行均值化处理，获取聚焦评价分。

优选地，图像处理方法的一个可能实施方式为：将获取的浮游生物图像裁剪成多个固定尺寸的重叠图像块；保留具有图像特征的所述重叠图像块。

优选地，图像处理方法的一个可能实施方式为：将去除最后一个分类层的残差网络模型作为所述深度学习神经网络的特征提取器；利用对浮游生物图像聚焦评价分数分类对所述特征提取器进行训练；其中，所述残差网络模型具有34层结构。

优选地，图像处理方法的一个可能实施方式为：利用偏最小二乘回归法对所述特征融合向量分别进行回归处理；对向量回归输出值求平均值并进行分类判断，获取聚焦评价分数。

优选地，图像处理方法的一个可能实施方式为：确定去掉背景后的原始图像的目标外接矩形位置为第一位置，对所述第一位置对应的矩形进行扩充，获取第二位置；在所述第二位置上切割出第三子图；利用LZW数据压缩算法对所述第三子图进行压缩，获取压缩文件；将多个所述压缩文件进行组装，获取组装文件；将所述组装文件传输到服务器端并删除本地组装文件。

优选地，图像处理方法的一个可能实施方式为：服务器对所述第一预处理原位图像进行色彩矫正，获取白平衡ROI图像；对白平衡ROI图像进行CLAHE算法增强。

优选地，图像处理方法的一个可能实施方式为：提取所述白平衡ROI图像的L通道子图，并将所述L通道子图均匀分割成M×N个子块；获取每一子块的直方图，并对所述直方图进行限幅操作；采用限行插值法对所述L通道子图的每个像素(x,y)进行亮度增强，获取增强L通道子图；将所述增强L通道子图与H通道子图、S通道子图进行合并，获取第二预处理原位图像。

优选地，图像处理方法的一个可能实施方式为：设置图片格式压缩质量因子，对所述第二预处理原位图像进行图片格式转换；将压缩转换后的第二预处理原位图像存储在服务器端。

优选地，图像处理系统的一个可能实施方式为：，采用预处理方法对原位观测的图像进行预处理，包括原位成像仪、通信网络及服务器端；

所述原位成像仪用于通过利用连通域检测对下采样图像进行目标检测，提取目标ROI图像并通过利用目标边缘的梯度极值对所述ROI图像进行聚焦程度评价，筛除存在离焦模糊的目标，获取清晰的第一预处理原位图像；

所述通信网络用于传输所述第一预处理原位图像到服务器端；

所述服务器端用于对所述第一预处理原位图像进行色彩矫正，获取白平衡ROI图像，并利用CLAHE算法对所述白平衡ROI图像进行增强以获取第二预处理原位图像，并进行存储。

实施本发明所述的一种浮游生物原位观测的图像预处理方法及系统，通过利用目标边缘梯度峰值聚焦评价算法及深度学习神经网络模型来评估聚焦程度，提高了ROI图像聚焦评价的准确性，通过用“固定阈值二值化、一次腐蚀加两次膨胀的形态学操作、连通域检测”的方法检测目标位置，提高了目标检测效率，通过利用CLAHE算法对白平衡ROI图像进行增强，使暗场浮游生物图像更加符合人眼观测需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中一种浮游生物原位观测的图像预处理方法第一实施例示意图；

图2是本发明中一种浮游生物原位观测的图像预处理方法第二实施例示意图；

图3是本发明中一种浮游生物原位观测的图像预处理方法第三实施例示意图；

图4是本发明中一种浮游生物原位观测的图像预处理方法第四实施例示意图；

图5是本发明中一种浮游生物原位观测的图像预处理方法第五实施例示意图；

图6是本发明中一种浮游生物原位观测的图像预处理方法第六实施例示意图；

图7是本发明中一种浮游生物原位观测的图像预处理方法第七实施例示意图；

图8是本发明中一种浮游生物原位观测的图像预处理方法第八实施例示意图；

图9是本发明中一种浮游生物原位观测的图像预处理方法第九实施例示意图；

图10是本发明中一种浮游生物原位观测的图像预处理方法第十实施例示意图；

图11是本发明中一种浮游生物原位观测的图像预处理方法第十一实施例示意图；

图12是本发明中一种浮游生物原位观测的图像预处理方法第十二实施例示意图；

图13是本发明中一种浮游生物原位观测的图像预处理方法第十三实施例示意图；

图14是本发明中一种浮游生物原位观测的图像预处理方法第十四实施例示意图；

图15本发明中一种浮游生物原位观测的图像预处理系统第一实施例示意图；

附图中各数字所指代的部位名称为：100——原位成像仪、200——通信网络、300——服务器端。

具体实施方式

下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

为了解决现有技术存在的问题，提出一种浮游生物原位观测的图像预处理方法及系统，通过利用CLAHE算法对白平衡ROI图像进行增强，使暗场浮游生物图像更加符合人眼观测需求。

一种浮游生物原位观测的图像预处理方法，如图1，图1是本发明中一种浮游生物原位观测的图像预处理方法第一实施例示意图，包括步骤：

步骤100、利用原位成像仪100采集浮游生物原位图像，并对原位图像进行第一预处理，获取第一预处理原位图像；

步骤200、将第一预处理原位图像传输到服务器端300进行第二预处理，获取第二预处理图像；

步骤300、将第二预处理原位图像存储在服务器端300；

优选地，步骤100包括步骤110：

利用目标边缘的梯度极值或者深度学习神经网络模型对目标ROI图像进行聚焦程度评价。

如图14，图14是本发明中一种浮游生物原位观测的图像预处理方法第十四实施例示意图，图14中(a)为一个名为多毛的海洋浮游生物的实际图像(b)为ROI图像质量评价时的输入图像(c)为经过固定阈值二值化，提取的目标前景的图像(d)和(e)分别为沿着x轴和y轴方向的Sobel算子处理后的梯度图像(f)中绿色的点展示了提取到的目标边缘梯度极值特征点位置。

通过使成像仪和服务器配合工作：先在原位成像仪100中对原始图像依次执行图像预处理、目标判断、目标ROI提取、ROI图像聚焦评价、ROI图像的存储与传输；再在岸上服务器端300进行ROI图像白平衡、ROI图像增强与存储，降低了原位成像仪100的计算资源消耗，提高了预处理流程整体的效率。

优选地，如图2，图2是本发明中一种浮游生物原位观测的图像预处理方法第二实施例示意图，步骤S1包括：

步骤111：利用连通域检测对下采样图像进行目标检测，提取目标ROI图像；步骤112：利用目标边缘的梯度极值进行ROI图像聚焦程度评价，筛除存在离焦模糊的目标。

原位成像仪100首先对原始图像去除图像中的背景噪声，提升原始图像信噪比：连续采集k_cap张原始图像求均值，保存为背景图像I_bg；随后采集的每张图减去背景图像I_bg，得到减去背景图像的12位原始图像文件I_src。优选地，k_cap值为50。记录原始图像文件I_src采集经过的时间t_cap，并设置背景图像更新时间T_cap。当时间经过T_cap后，重复上一步骤，更新背景图像I_bg，并继续在线实施背景减除。优选地，背景图像的更新时间T_cap为30min。

接着进行目标判断：判断滤除图像I_src中不存在颗粒物目标的图像，减轻后续处理负担。目标判断实施方式的一个优选实施例的具体步骤如下：更新采集图像总量count，count加1。将12bit原始图像RAW格式图像I_src转换为8bit的原始图像RAW格式I_raw。只保留原图像I_raw的奇数列和偶数行(从0开始)，得到下采样图像I_raw_ds。提取下采样图像I_raw_ds中像素最大值maxVal。将maxVal≥预设阈值THRESH_MAX的图像进入后续处理,否则抛弃。优选地，THRESH_MAX值为30。

具体地，如图3，图3是本发明中一种浮游生物原位观测的图像预处理方法第三实施例示意图，步骤111包括：

步骤1111：对下采样图像进行均值滤波、二值化，获取二值化图像；

步骤1112：对二值化图像进行一次腐蚀、两次膨胀形态学操作，获取形态学图像；步骤1113：确定形态学图像的连通域，根据像素值确定连通域是否为感兴趣目标；步骤1114：根据感兴趣目标的外接矩形坐标，获取感兴趣目标分别在下采样图像中对应位置的第一子图、形态学图像中对应位置的第二子图。

优选地，连通域检测还可以采用如下实施方式：对下采样图像I_raw_ds进行均值滤波，卷积核大小为3x3，元素为1，得到滤波图像I_smooth；对上述滤波图像I_smooth进行二值化，得到滤波图像I_smooth的二值化图像I_bin，优选地，设置阈值经验值THRESH_BINARY＝10；对二值化图像I_bin先后进行1次腐蚀和2次膨胀操作，卷积核大小为5x5,其元素都为1，得到形态学图像I_morphology；寻找上述形态学图像I_morphology中的连通域，并计算每个连通域的像素数pixel_cnt。根据大小筛选目标：若某一连通域的像素数pixel_cnt超过阈值THRESH_AREA，则认为该连通域为目标，进行下一步的操作；否则认为该连通域太小，予以丢弃。寻找每个感兴趣目标的外接矩形：根据连通域上点坐标的x_min、x_max、y_min和y_max获得外接矩形的左上角和右下角坐标(x_min,y_min)和(x_max,y_max)。根据满足面积要求的连通域的外接矩形，获取ROI图像在下采样图像I_raw_ds和形态学图像I_morphology中对应位置的第一子图I_roi_ds和第二子图I_roi_mask。

利用连通域检测对下采样图像进行目标检测，提取目标ROI图像，提高了目标检测效率，利用目标边缘的梯度极值对ROI图像进行聚焦程度评价，筛除存在离焦模糊的目标，获取清晰的目标ROI图像，通过利用目标边缘梯度峰值聚焦评价算法及深度学习神经网络模型来评估聚焦程度，提高了ROI图像聚焦评价的准确性。

具体地，如图4，图4是本发明中一种浮游生物原位观测的图像预处理方法第四实施例示意图，步骤112包括：

步骤1121：利用Sobel算子计算第一子图的每一像素x、y轴方向梯度图；步骤1122：计算目标边缘处的梯度局部极大值并进行归一化处理，获取第一子图的清晰度评分；步骤1123：将清晰度评分大于固定阈值的第一子图进行筛选，获取第一预处理原位图像。

第一预处理原图为原位成像仪100依次执行图像预处理、目标判断、目标ROI提取、ROI图像聚焦评价后，临时存储在原位成像仪100上的预处理图像，经过通信网络200传输到云服务器端300进行第二预处理。

目标聚焦评价的具体实施步骤为：在第一子图I_roi_ds中计算每个像素的梯度：利用尺寸为3×3的Sobel算子分别计算x、y轴方向的梯度图I_grad_x和I_grad_y；x轴和y轴方向的Sobel算子分别为：

x轴方向

y轴方向

计算目标外边缘处的梯度局部极大值，做亮度归一化后得到第一子图I_roi_ds的清晰度评价分metric。选取景深边缘处目标的聚焦评价分，设定为固定阈值THRESH_FOCUS筛选清晰成像的ROI图像。metric大于设定的清晰度阈值的ROI图像判为清晰，临时存入内存；小于清晰度阈值的目标判为模糊，丢弃该目标，并进行下一个目标的判别。

优选地，如图5，图5是本发明中一种浮游生物原位观测的图像预处理方法第五实施例示意图，步骤1122包括：

步骤11221：对第一子图I_roi_ds中的像素x、y轴方向梯度图进行扫描，获取梯度局部极大值；步骤11222：将所述局部极大值除以该像素坐标在第一子图对应的像素值，并将结果添加到一维数组；步骤11223：对一维数组前50％大的数值求平均值，将该平均值作为目标ROI图像的清晰度评分。

ROI图像清晰度评分具体实施为：对x、y轴方向的梯度图I_grad_x/I_grad_y图像进行逐行/列扫描，每行从左/上到右/下以及反向从右/下到左/上的扫描。扫描过程中，①每当像素点对应地在第二子图I_roi_mask上从背景区域进入前景时，开始寻找x、y轴方向的梯度图I_grad_x/I_grad_y上出现的第一个局部极大值。②每找到一个局部极大值，就除以该像素坐标在第二子图I_roi_ds上对应点的像素值，并将此值添加到一个一维数组val_arr中。转第①步继续扫描，直到扫描完成。③取var_arr中前50％(经验值)大的值求平均，作为该ROI图像第一子图的清晰度评价分metric。

优选地，如图6，图6是本发明中一种浮游生物原位观测的图像预处理方法第六实施例示意图，步骤110还包括：

步骤113：构建聚焦评价分数数据集对深度学习神经网络模型进行训练，获取图像特征提取器；步骤114：对提取的特征向量进行特征融合，获取特征融合向量；步骤115：对特征融合向量分别进行回归并进行均值化处理，获取聚焦评价分。

通过对深度神经网络模型进行训练获取的浮游生物原位图像特征提取器，可以自动选取最合适的图像特征进行聚焦评价，进而获得最佳聚焦评价效果。

优选地，如图7，图7是本发明中一种浮游生物原位观测的图像预处理方法第七实施例示意图，步骤113包括：

步骤1131：将获取的浮游生物图像裁剪成多个固定尺寸的重叠图像块；

步骤1132：保留具有图像特征的重叠图像块。

首先对获取的浮游生物原位图像进行裁剪，重叠图像块的尺寸可以选择64×64，步长变量为32像素，去除仅有背景没有图像特征的图像块，保留具有图像特征的重叠图像块。

优选地，如图8，图8是本发明中一种浮游生物原位观测的图像预处理方法第八实施例示意图，步骤113还括：步骤1133：将去除最后一个分类层的残差网络模型作为深度学习神经网络的特征提取器；步骤1134：利用对浮游生物图像聚焦评价分数分类(如表1)对特征提取器进行训练；其中，残差网络模型具有34层结构。

特征提取对聚焦评价的结果具有重要影响，我们选择具有34分类层的残差网络模型作为特征提取器，并且将其最后一个分类层删除。选择残差网络模型作为特征提取器，有利于获取模糊相关特征，并且可以这些模糊相关特征与明显是扁平生物的清晰图像准确区分。

优选地，如图9，图9是本发明中一种浮游生物原位观测的图像预处理方法第九实施例示意图；步骤115还包括：

步骤1151：利用偏最小二乘法对特征融合向量分别进行回归处理；

步骤1152：对回归输出求平均值并进行分类判断，获取聚焦评价分数。

偏最小二乘回归法，在原位浮游生物图像训练样本有限但是特征尺寸较大的情况下，获得较好的归一化性能，更加适合浮游生物图像的聚焦评价。

表1 预定义聚焦评价分数与聚焦等级对比

聚焦评价分数	聚焦等级
		1	很差，无法识别
2	差，很难识别
		3	一般，容易识别但明显失焦
4	好，不容易观察到失焦
		5	很好，不存在任何失焦

优选地，如图10，图10是本发明中一种浮游生物原位观测的图像预处理方法第十实施例示意图，步骤200包括：

步骤210：确定去掉背景后的原始图像的目标外接矩形位置为第一位置，对第一位置对应的矩形进行扩充，获取第二位置；步骤220：在第二位置上切割出第三子图；步骤230：利用LZW数据压缩算法对第三子图进行压缩，获取压缩文件；步骤240：将多个压缩文件进行组装，获取组装文件；步骤250：将组装文件传输到服务器端300并删除本地组装文件。

LZW数据压缩算法又叫“串表压缩算法”就是通过建立一个字符串表，用较短的代码来表示较长的字符串来实现压缩。筛选出清晰的ROI图像后，经过连通域检测步骤找出感兴趣目标的外接矩形的左上角和右下角的坐标乘以2(与下采样的因子一致)，得到去掉背景后的原始图像I_src中该感兴趣目标的外接矩形的位置为第一位置。

将原始图像上的外接矩形扩充，并通过扩充后矩形的第二位置在去掉背景后的原始图像I_src中切割出第三子图I_roi_raw，第三子图为从I_src中切割出的感兴趣区域子图。外接矩形尺寸变换倍数的经验值＝2(即放大1倍)。

将采图的时间、地点等信息和ROI图像在原位图像中的位置存入第三子图I_roi_raw的EXIF信息中。利用LZW数据压缩算法对第三子图I_roi_raw图像进行压缩。将多个第三子图I_roi_raw图像组装成一个大的RAW格式的组装文件I_assemble，并存储在原位成像仪100本地。依据通信的安全性决定每个包的大小。通过网络将I_assemble传输至服务器端300存储，并在传输成功确认后删除原位成像仪100本地的文件。

优选地，如图11，图11是本发明中一种浮游生物原位观测的图像预处理方法第十一实施例示意图，步骤200还包括：

步骤260：服务器对第一预处理原位图像进行色彩矫正，获取白平衡ROI图像；步骤270：对白平衡ROI图像进行CLAHE算法增强。

在服务器端300ROI图像处理的具体实施方式如下：

提取目标ROI图像。根据已知的协议从大文件组装文件I_assemble中提取目标ROI图像第三子图I_roi_raw。去马赛克。将12bit的感兴趣区域子图I_roi_raw转换为8bit的感兴趣区域图像I_roi_raw_8d，并利用“Directional”指向算法对其进行马赛克去除demasicing，得到RGB空间中的彩色ROI图像I_roi_color。

色彩校正。将彩色图像I_roi_color中三个通道的值分别乘以三个矫正系数R_correct、G_correct和B_corerct，得到ROI图像的矫正图像I_roi_correct。例如，现有系统采用的矫正系数值为：R_correct＝1.6238,G_correct＝1,B_correct＝1.5643。

CLAHE算法为限制对比度自适应直方图均衡化算法，CLAHE算法同普通的自适应直方图均衡不同的地方主要是其对比度限幅。在CLAHE中，对于每个小区域都必须使用对比度限幅，CLAHE主要是用来克服AHE的过度放大噪音的问题。CLAHE通过在计算CDF前用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的。

优选地，如图12，图12是本发明中一种浮游生物原位观测的图像预处理方法第十二实施例示意图，步骤270包括：

步骤271：提取白平衡ROI图像的L通道子图，并L通道子图均匀分割成M×N个子块；步骤272：获取每一子块的直方图，并对直方图进行限幅操作；步骤273：采用限行插值法对L通道子图的每个像素(x,y)进行亮度增强，获取增强L通道子图；步骤274：将增强L通道子图与H通道子图、S通道子图进行合并，获取第二预处理原位图像。

CLAHE算法具体实施如下：

转换矫正图像I_roi_correct至HSL空间，提取L亮度通道得到L通道子图I_roi_L。将L通道子图I_roi_L均匀切分成8x8共64个子块。计算并用一个二维数组存储每个子块的直方图，其第一维代表子块的编号，第二维长256，用于计数子块中每个像素出现的次数。设定直方图限幅参数cliplimit＝4，计算出限幅值LIMIT＝cliplimit×子块像素数÷255，对每个子块的直方图进行限幅操作：如果某个像素值i的数量Ni超过限幅值LIMIT，则将其削减至限幅值LIMIT，并在一个临时变量tmp_accu中累加存储削减的值Ni-LIMIT。完成对直方图的所有直方图bar限幅后，对直方图的每个直方图bar增加tmp_accu/256。用一个二维数组存储每个子块经过上一步限幅修整后的直方图对应的累积分布函数，其第一维代表子块的编号，第二维长256，表示像素值的映射关系。对L通道子图I_roi_L的每个像素(x,y)采用线性插值法做像素值变换。计算中心点与点(x,y)距离最近的4个相邻子块的累积分布函数对点(x,y)变换后的像素值，再根据点(x,y)与四个相邻子块中心点的距离，做双线性插值，得到L通道上的点(x,y)的亮度增强值。将增强后的L通道与H和S通道合并，并转成RGB图像，得到增强后图像I_roi_enhancement，也即第二预处理原位图像。

优选地，如图13，图13是本发明中一种浮游生物原位观测的图像预处理方法第九实施例示意图，步骤300包括：

步骤310：设置图片格式压缩质量因子，将第二预处理原位图像进行图片格式转换；步骤320：将压缩转换后的第二预处理原位图像存储在服务器端300。

压缩存储图像I_roi_enhancement为Jpeg格式。根据实验得，利用libjpeg图像库，设置JPEG图像压缩质量因子为50％时，既不会显著地破坏图像的视觉效果，也不会对后续的识别带来过多不良影响。

一种浮游生物原位观测的图像预处理系统，如图11，图11是本发明中一种浮游生物原位观测的图像预处理系统第一实施例示意图，对原位观测的图像进行预处理，包括原位成像仪100、通信网络200及服务器端300。

原位成像仪100用于通过利用连通域检测对下采样图像进行目标检测，提取目标ROI图像并通过利用目标边缘的梯度极值对ROI图像进行聚焦程度评价，筛除存在离焦模糊的目标，获取清晰的第一预处理原位图像；通信网络200用于传输第一预处理原位图像到服务器端300；服务器端300用于对第一预处理原位图像进行色彩矫正，获取白平衡ROI图像，并利用CLAHE算法对白平衡ROI图像进行增强以获取第二预处理原位图像，并进行存储。

实施本发明所述的一种浮游生物原位观测的图像预处理方法及系统，通过利用目标边缘梯度峰值聚焦评价算法及深度学习神经网络模型来评估聚焦程度，提高了ROI图像聚焦评价的准确性，通过用“固定阈值二值化、一次腐蚀加两次膨胀的形态学操作、连通域检测”的方法检测目标位置，提高了目标检测效率，通过利用CLAHE算法对白平衡ROI图像进行增强，使暗场浮游生物图像更加符合人眼观测需求。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种浮游生物原位观测的图像预处理方法，其特征在于，包括步骤：

步骤100：利用原位成像仪采集浮游生物原位图像，并对所述原位图像进行第一预处理，获取第一预处理原位图像；

步骤200：将所述第一预处理原位图像传输到服务器端进行第二预处理，获取第二预处理图像；

步骤300：将所述第二预处理原位图像存储在服务器端；

其中，步骤100包括：

步骤110：利用目标边缘的梯度极值算法或者深度学习神经网络模型对目标ROI图像进行聚焦程度评价；

其中，所述目标ROI图像为通过对所述原位图像的下采样图像进行目标检测而获得的目标图像像素集合。

2.根据权利要求1所述的图像预处理方法，其特征在于，所述步骤110包括：

步骤111：利用连通域检测对下采样图像进行目标检测，提取目标ROI图像；

步骤112：利用目标边缘的梯度值进行ROI图像聚焦程度评价，筛除存在离焦模糊的目标。

3.根据权利要求2所述的图像预处理方法，其特征在于，所述步骤：步骤111包括：

步骤1111：对下采样图像进行均值滤波及二值化，获取二值化图像；

步骤1112：对所述二值化图像进行一次腐蚀、两次膨胀形态学操作，获取形态学图像；

步骤1113：确定所述形态学图像的连通域，根据像素值确定所述连通域是否为感兴趣目标；

步骤1114：根据所述感兴趣目标的外接矩形坐标，获取所述感兴趣目标分别在所述下采样图像中对应位置的第一子图、形态学图像中对应位置的第二子图。

4.根据权利要求3所述的图像预处理方法，其特征在于，所述步骤112包括：

步骤1121：利用Sobel算子计算第一子图的每一像素x、y轴方向梯度图；

步骤1122：计算所述目标边缘处的梯度局部极大值并进行归一化处理，获取所述第一子图的清晰度评分；

步骤1123：设置清晰度评分固定阈值，对所述第一子图进行筛选，获取第一预处理原位图像。

5.根据权利要求4所述的图像预处理方法，其特征在于，所述步骤1122：包括：

步骤11221：对所述像素x、y轴方向梯度图进行扫描，获取梯度局部极大值；

步骤11222：将所述局部极大值除以该像素坐标在第一子图对应的像素值，并将结果添加到一维数组；

步骤11223：对所述一维数组前50％大的数值求平均值，将该平均值作为所述ROI图像的清晰度评分。

6.根据权利要求1所述的图像预处理方法，其特征在于，所述步骤110包还括：

步骤113：构建聚焦评价分数数据集对所述深度学习神经网络模型进行训练，获取图像特征提取器；

步骤114：对提取的特征向量进行特征融合，获取特征融合向量；

步骤115：对所述特征融合向量分别进行回归并进行均值化处理，获取聚焦评价分。

7.根据权利要求6所述的图像预处理方法，其特征在于，所述步骤:113包括：

步骤1131：将获取的浮游生物图像裁剪成多个固定尺寸的重叠图像块；

步骤1132：保留具有图像特征的所述重叠图像块。

8.根据权利要求7所述的图像预处理方法，其特征在于，所述步骤113还括：

步骤1133：将去除最后一个分类层的残差网络模型作为所述深度学习神经网络的特征提取器；

步骤1134：利用对浮游生物图像聚焦评价分数分类对所述特征提取器进行训练；

其中，所述残差网络模型具有34层结构。

9.根据权利要求8所述的图像预处理方法，其特征在于，所述步骤115还括：

步骤1151：利用偏最小二乘回归法对所述特征融合向量分别进行回归处理；

步骤1152：对向量回归输出值求平均值并进行分类判断，获取聚焦评价分数。

10.根据权利要求1所述的图像预处理方法，其特征在于，所述步骤：步骤200包括：

步骤210：确定去掉背景后的原始图像的目标外接矩形位置为第一位置，对所述第一位置对应的矩形进行扩充，获取第二位置；

步骤220：在所述第二位置上切割出第三子图；

步骤230：利用LZW数据压缩算法对所述第三子图进行压缩，获取压缩文件；

步骤240：将多个所述压缩文件进行组装，获取组装文件；

步骤250：将所述组装文件传输到服务器端并删除本地组装文件。

11.根据权利要求10所述的图像预处理方法，其特征在于，所述步骤：步骤200，还包括：

步骤260：服务器对所述第一预处理原位图像进行色彩矫正，获取白平衡ROI图像；

步骤270：对白平衡ROI图像进行CLAHE算法增强。

12.根据权利要求11所述的图像预处理方法，其特征在于，所述步骤270包括：

步骤271：提取所述白平衡ROI图像的L通道子图，并将所述L通道子图均匀分割成M×N个子块；

步骤272：获取每一子块的直方图，并对所述直方图进行限幅操作；

步骤273：采用限行插值法对所述L通道子图的每个像素(x,y)进行亮度增强，获取增强L通道子图；

步骤274：将所述增强L通道子图与H通道子图、S通道子图进行合并，获取第二预处理原位图像。

13.根据权利要求12所述的图像预处理方法，其特征在于，所述步骤300包括：

步骤310：设置图片格式压缩质量因子，对所述第二预处理原位图像进行图片格式转换；

步骤320：将压缩转换后的第二预处理原位图像存储在服务器端。

14.一种浮游生物原位观测的图像预处理系统，采用权利要求1-13任一所述的预处理方法对原位观测的图像进行预处理，其特征在于，包括：

原位成像仪；

通信网络；

服务器端；

所述原位成像仪用于通过利用连通域检测对下采样图像进行目标检测，提取目标ROI图像并通过利用目标边缘的梯度极值对所述ROI图像进行聚焦程度评价，筛除存在离焦模糊的目标，获取清晰的第一预处理原位图像；

所述通信网络用于传输所述第一预处理原位图像到服务器端；

所述服务器端用于对所述第一预处理原位图像进行色彩矫正，获取白平衡ROI图像，并利用CLAHE算法对所述白平衡ROI图像进行增强以获取第二预处理原位图像，并进行存储。

Images