CN103177243B - 一种海洋微生物的实时监测方法 - Google Patents

Abstract

本发明公开了一种海洋微生物的实时监测方法，包括以下步骤：（1）以视频流的形式实时采集海洋中待监测区域的水域状况，并从视频流存储的图像中选取最初的若干幅图像计算得到背景图像；（2）将当前帧图像与背景图像做差得到前景图像，利用前景图像判断是否存在微生物；（3）对微生物候选区域进行特征提取，并依据特征提取结果进行微生物种类的识别，并计算的微生物数量；（4）将步骤（3）中得到的微生物种类以及数量进行存储，计算各种微生物的分布密度，并对分布密度超标的微生物进行报警。本发明可以应用于大面积的海洋微生物的实时监测，依据海洋环境监测时得到的视频流，进行海洋微生物的快速识别。

Description

一种海洋微生物的实时监测方法

技术领域

本发明涉及图像处理和识别领域，具体涉及一种海洋微生物的实时监测方法。

背景技术

大面积海洋微生物的实时监测是海洋环境调查的重点和难点之一，国内外在近几十年间做了大量的研究工作，但是所研制的水下显微镜装置或者不具备目标微生物的智能识别功能，或者没有在线实时分析功能，或者没有特定微生物数量分布的测量与分析功能。

制约在线实时识别微生物的关键两个因素是需要处理的数据量和数据的处理速度。一般来说，海洋中特定微生物的丰度很低，海洋微生物的水下显微原位监测系统，需获取大量海水样品的影像资料并对其进行处理后才能取得有意义的科学数据。

通常情况下，连续采集一天的MPEG4标准清晰度的影像资料的存储容量就达到20G以上，而一次海洋环境调查的时间可能在数十天以上，因而采集得到的视频流本身就构成了海量的数据，而在处理过程中要将视频流中的帧保存成图像，数据量又会进一步加大，而且图像的处理中又涉及多步计算过程，尤其是图像中目标候选区域特征的提取非常耗时，如果选取特征数目太多，则处理速度太慢，达不到实时性的要求，如果特征数目选取太少，则会造成信息不足，增加了识别的错误率。

海洋微生物实时监测系统可以利用海洋监控装置中的显微镜下拍摄到的视频图像实时地、自动地发现特定微生物的存在，并且记录数据，定时估算海域内特定的微生物的分布密度，如果特定微生物的分布密度超标，则在终端软件上产生报警信息，以引起海洋监测人员的注意，监测系统的关键在于目标微生物的特征提取和识别。

特征提取作为微生物识别的关键步骤，是指将待识别的图像中的前景区域从背景区域中分离出来后，对该部分具有代表性的前景图像的像素局部或整体特性进行整合和计算的过程，然而由于拍摄微生物的角度不同，微生物躯体的舒张情况不同，都会对特征计算产生很大的影响。

目前通常选用的特征有：灰度特征：例如均值、标准差、众数、中位数等；形态特征：例如方向、周长、面积、密集度、形态比、欧拉数、最远两点间距离等；形状特征：例如曲率、等效椭圆轴长、不变矩、傅立叶描述子等；纹理特征：例如共生矩阵、马尔科夫随机场等。

现有技术中主要的识别算法有BP神经网络和特征统计识别算法，BP神经网络首先提取待识别目标的各种特征；然后将特征送到神经网络中训练，使训练好的神经网络对特征敏感；最后将待识别目标预处理、提取特征后送到神经网络中进行识别。特征的提取是该算法研究的关键，特征参数过少会引起判断上的歧义，过多会增加训练时间。由于特征选取比较复杂，而且神经网络结构复杂，识别速度较慢，不能满足实时性的要求。

特征统计识别算法提取待识别目标的一组统计特征，再按照一定准则下确定的决策函数进行分类判决。支持向量机分类方法是特征统计识别算法方面比较新的进展，该方法对可区分的二分类问题的最优分类可以通过最大化两类的空白区域（即间隔，margin）得到。间隔宽度的定义是n维特征空间的判别超平面和最近的训练模式（支持向量）之间的距离，因此，支持向量确定了判别函数，当存在多个判别超平面时，通过确定两个类别的最优判别超平面，可以有效避免过拟合问题（即对于训练样本具有较高的识别率，但是对于测试样本识别率却很低）。

由于待检测的字符二值图片只有0和1两种像素点，因此它的识别是典型的二分类问题，可以用支持向量的分类方法进行解决；而且支持向量的方法能够有效表达线性不可分的数据的抽象特征，利用核函数将数据映射到高维特征空间，然后在高维特征空间中进行线性划分，这一特征可以对相近字符进行更有效的分类和识别，而且对于不清晰和有污渍的字符也有更好的判别效果；另外，SVM（支持向量机）离线生成存有判别函数的model文件，在实际识别过程中，只需要在程序初始化时将model文件一次读入内存，之后就能快速进行字符的识别，SVM的识别方法能够兼顾识别速率和识别正确率。

发明内容

本发明提供了一种海洋微生物实时监测方法，可以应用于大面积的海洋微生物的实时监测，依据海洋环境监测时得到的视频流，进行海洋微生物的快速识别，丢弃没有微生物存储的图像，节省了存储容量，提高了数据处理速度。

一种海洋微生物的实时监测方法，包括以下步骤：

（1）以视频流的形式实时采集海洋中待监测区域的水域状况，并从视频流存储的图像中选取最初的若干幅图像计算得到背景图像。

（2）将当前帧图像与背景图像做差得到前景图像，利用前景图像判断是否存在微生物，如果不存在微生物，则丢弃该当前帧图像，进行下一帧图像与背景图像做差判断；如果存在微生物，则对前景图像进行二值化操作以及闭运算，得到微生物候选区域。

所述当前帧图像即为视频流中需要识别其中是否含有海洋微生物的图像，存储有微生物的图像，并以时间为关键词建立数据库索引，方便后续查询，对于没有微生物的图像直接丢弃，不再进行存储，有效节省存储空间。

利用前景图像判断是否有微生物存在可以首先除去与背景图像差别不大的不存在微生物的当前帧图像，避免了对所有当前帧图像进行二值化以及后续处理，由于没有微生物的当前帧图像在实际海洋拍摄中的比例超过99%，因此，这种处理大大提高了微生物的识别速度。

（3）对微生物候选区域进行特征提取，并依据特征提取结果进行微生物种类的识别，并计算的微生物数量。

（4）将步骤（3）中得到的微生物种类以及数量进行存储，计算各种微生物的分布密度，并对分布密度超标的微生物进行报警。

统计微生物的种类以及相应的每种微生物的数量，生成统计报表，依据统计报表的数据，结合单位时间内检测装置进水量信息，计算各类目标微生物在单位海域内的分布密度，同时生成分布密度统计数据，并进行存储，对于单位海域内分布密度超标的微生物，进行报警，引起监测人员的注意。

作为优选，所述步骤（1）中从视频流存储的图像中选取最初的若干幅图像计算得到背景图像，具体操作为：在视频流开始的一段时间内存储M帧图像，利用下式对M帧图像进行平均得到背景图像f_bg(x,y)：

$f_{\mathrm{bg}}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{f}_i(x,y)$

其中，f_i(x,y)为第i张图像；

i为图像的索引号；

M为图像的数量；

x，y为图像中的像素点坐标。

作为优选，所述步骤（3）中依据特征提取结果进行微生物种类的识别时，采用支持向量机的方法。所述支持向量机的类型为C-SVC，核函数选用径向基函数RBF。

作为优选，所述步骤（3）中对微生物候选区域进行特征提取时，首先提取区域等效椭圆半长轴，区域等效椭圆半短轴，区域等效椭圆率，区域曲率，均值三阶矩，均值四阶矩以及等效圆直径的特征值，依据计算得到的这些特征值进行微生物种类的识别，如果识别结果的置信度大于0.8，则微生物识别过程完毕；如果识别结果的置信度小于0.8，则继续提取微生物候选区域的分形维数和骨架面积的特征值，并依据这两项特征值进行微生物种类的再次识别。

计算区域等效椭圆半长轴，区域等效椭圆半短轴，区域等效椭圆率，区域曲率，均值三阶矩，均值四阶矩以及等效圆直径的特征值耗时较小，如果通过这七个特征值已经可以识别出微生物，则不再进行后面两项特征的提取，可以大大增加识别的速度，如果依据这七项特征识别微生物时的置信度较低，则继续进行比较耗时的分形维数和骨架面积两个特征的提取，依据这两个特征进行微生物的再次识别，提高微生物识别的准确性。

作为优选，每累计出现100～150帧不存在微生物的图像，则利用这100～150帧图像对背景图像进行更新，得到新的背景图像，并利用该新的背景图像进行微生物的识别，提高微生物识别的准确性。

本发明方法只存储了有目标微生物的图像，仅占所有拍摄到的图像总量的1%左右，大大节省了存储空间；采用不同数量的特征进行微生物的识别，在保证识别准确性的同时，减少整体耗时，满足了实时识别的要求；具有单位海域的微生物的分布密度的计算功能，和分布密度超标的报警功能，更实用。

附图说明

图1为本发明监测方法流程图；

图2为实施例中用到的背景图像；

图3为需要判断是否存在微生物的一副当前帧图像；

图4为当前帧图像与背景图像作差得到的前景图像；

图5为利用OTSU对图4做二值化后的二值图像；

图6为图5经过闭运算后得到的微生物候选区域；

图7为在原当前帧图像中标识微生物区域的示意图。

具体实施方式

下面结合附图，对本发明一种海洋微生物的实时监测方法做详细描述。

如图1所示，一种海洋微生物的实时监测方法，包括以下步骤：

（1）以视频流的形式实时采集海洋中待监测区域的水域状况，并从视频流存储的图像中选取最初的若干幅图像计算得到背景图像，如图2所示。

在视频流开始的10s时间内以每秒15帧的速度存储150帧图像，利用下式对150帧图像进行平均得到背景图像f_bg(x,y)：

$f_{\mathrm{bg}}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{f}_i(x,y)$

其中，f_i(x,y)为第i张图像；

i为图像的索引号；

M为图像的数量，选取150帧图像，则M即为150；

x，y为图像中的像素点坐标。

每累计出现N张不存在微生物的图像，则利用这N张图像对背景图像进行更新，计算公式如下：

f'_bg(x,y)=0.8×f_bg(x,y)+0.2×f_nobject(x,y)

其中，f'_bg(x,y)为更新后的背景图像；

f_bg(x,y)为更新前的背景图像；

f_nobject(x,y)为100张不存在微生物的图像的平均，计算公式如下：

$f_{\mathrm{nobject}}(x,y)=\frac{1}{M}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{f^{\′}}_i(x,y)$

其中，f_i'(x,y)为第i张不存在微生物的图像；

i为不存在微生物的图像的索引号；

N为不存在微生物的图像的数量，选取100帧图像，则N即为100；

x，y为图像中的像素点坐标。

（2）将当前帧图像（如图3所示）与背景图像做差得到前景图像（如图4所示），利用前景图像判断是否存在微生物，如果不存在微生物，则丢弃该当前帧图像，进行下一帧图像与背景图像做差判断；如果存在微生物，则对前景图像进行二值化操作以及闭运算，得到微生物候选区域。

利用式 $\frac{1}{\mathrm{hei}\×\mathrm{wid}}\underset{y=1}{\overset{\mathrm{hei}}{\mathrm{\Σ}}}\underset{x=1}{\overset{\mathrm{wid}}{\mathrm{\Σ}}}[f(x,y)-{f^{\′}}_{\mathrm{bg}}(x,y)]\≤\mathrm{\α}$ 判断当前帧图像中是否存在微生物，其中，hei为前景图像的高度，wid为前景图像的宽度，α是设定阈值，根据实际测试，α取值1.2，f(x,y)为当前帧图像，f'_bg(x,y)为更新后的背景图像，x，y为图像中的像素点坐标，如果该式成立，则当前帧图像中存在微生物；如果该式不成立，则当前帧图像中不存在微生物。

利用OTSU算法（最大类间方差法）对前景图像进行二值化处理，再对二值化后的图像（如图5所示）进行闭运算，去除较小的连通区域（如图6所示），确定OTSU中最佳阈值的具体步骤如下：

a、前景图像具有L级灰度，灰度阈值设为k，统计出前景图像的灰度直方图，然后依据灰度阈值k将像素分为两类，即第一类和第二类；

b、利用下面公式计算两类之间的类间方差和类内方差

${\mathrm{\σ}}_B^2=W_1(M_1-M)+W_2(M_2-M)=W_1{W}_2{(M_1-M_2)}^2$

${\mathrm{\σ}}_A^2=W_1{\mathrm{\σ}}_1^2+W_2{\mathrm{\σ}}_2^2$

其中，第一类中的像素总数为W₁，平均灰度值为M₁，方差为σ₁；

第一类中的像素总数为W₂，平均灰度值为M₂，方差为σ₂；

c、当和之比最大时的灰度阈值k作为OTSU定义的最佳阈值。

（3）对微生物候选区域进行特征提取，并依据特征提取结果进行微生物种类的识别，并计算的微生物数量。

对微生物候选区域进行特征提取时，首先提取区域等效椭圆半长轴，区域等效椭圆半短轴，区域等效椭圆率，区域曲率，均值三阶矩，均值四阶矩以及等效圆直径的特征值，依据计算得到的这些特征值进行微生物种类的识别，如果识别结果的置信度大于0.8，则微生物识别过程完毕；如果识别结果的置信度小于0.8，则继续提取微生物候选区域的分形维数和骨架面积的特征值，并依据这两项特征值进行微生物种类的再次识别，并将识别出的微生物的位置在原当前帧图像上进行标记。

特征值的计算公式如下：

A、区域等效椭圆半长轴：

$\mathrm{Maj}=\sqrt{\frac{2}{{\mathrm{\μ}}_{\mathrm{0,0}}}[({\mathrm{\μ}}_{\mathrm{2,0}}+{\mathrm{\μ}}_{\mathrm{0,2}})+\sqrt{{({\mathrm{\μ}}_{\mathrm{2,0}}-{\mathrm{\μ}}_{0.2})}^2+4{{\mathrm{\μ}}_{\mathrm{1,1}}}^2}]}$

（u_0，0是微生物候选区域的0阶中心矩，u_2，0，u_0，2，u_1，1是微生物候选区域的2阶中心矩）。

B、区域等效椭圆半短轴：

$\mathrm{Maj}=\sqrt{\frac{2}{{\mathrm{\μ}}_{\mathrm{0,0}}}[({\mathrm{\μ}}_{\mathrm{2,0}}+{\mathrm{\μ}}_{\mathrm{0,2}})-\sqrt{{({\mathrm{\μ}}_{\mathrm{2,0}}-{\mathrm{\μ}}_{0.2})}^2+4{{\mathrm{\μ}}_{\mathrm{1,1}}}^2}]}$

（u_0，0是微生物候选区域的0阶中心矩，u_2，0，u_0，2，u_1，1是微生物候选区域的2阶中心矩）。

C、区域等效椭圆率：

$\mathrm{Elon}=\frac{\mathrm{Maj}}{\mathrm{Mir}}$

D、区域曲率：

$\mathrm{Circ}=\frac{4\mathrm{\π}\×\mathrm{Area}}{{\mathrm{Perim}}^2}$

其中，Area代表微生物候选区域的面积，Perim代表微生物候选区域的周长。

E、均值三阶矩：

$\mathrm{Tord}=\frac{\frac{1}{\mathrm{pixnum}}\×\underset{(i,j)\∈\mathrm{object}}{\mathrm{\Σ}}{[f_{\mathrm{obj}}(i,j)-\mathrm{Mean}]}^3}{{\mathrm{Std}}^3}$

其中，pixnum表示微生物候选区域中的像素数量，Mean表示微生物候选区域中像素灰度值的均值，Std表示微生物候选区域中像素灰度值的标准差，f_obj(i,j)为微生物候选区域中像素灰度值。

F、均值四阶矩：

$\mathrm{Kord}=\frac{\frac{1}{\mathrm{pixnum}}\×\underset{(i,j)\∈\mathrm{object}}{\mathrm{\Σ}}{[f_{\mathrm{obj}}(i,j)-\mathrm{Mean}]}^4}{{\mathrm{Std}}^4}$

其中，pixnum表示区域中的像素数量，Mean表示区域中像素灰度值的均值，Std表示区域中灰度值的标准差。

G、等效圆直径：

$\mathrm{Eqdiam}=2\×\sqrt{\frac{\mathrm{Area}}{\mathrm{\π}}}$

其中，Area代表微生物候选区域的面积。

H、分形维数：

采用地毯覆盖法，一条厚度为2δ的地毯卷绕在微生物候选区域的外表面f_suf(i,j)上，设上覆盖表面为U_δ(i,j)，初始值为下覆盖表面为L_δ(i,j)，初始值为满足：

$U_{\mathrm{\δ}}^0(i,j)=L_{\mathrm{\δ}}^0(i,j)=f_{\mathrm{suf}}(i,j),$

U_δ(i,j)=max{U_δ-1(i,j)+1,max{U_δ-1(m,n)}}，满足|(m,n)-(i,j)|≤1，

L_δ(i,j)=min{L_δ-1(i,j)+1,min{L_δ-1(m,n)}}，满足|(m,n)-(i,j)|≤1，

其中m,n,i,j分别为图像中像素的行列索引。

地毯体积：

V_δ=∑[U_δ(i,j)-L_δ(i,j)]

通过两个测量半径为δ和δ-1的地毯体积的差分，计算估计长度：

$A_{\mathrm{\δ}}=\frac{V_{\mathrm{\δ}}-V_{\mathrm{\δ}-1}}{2}$

然后，通过如下公式计算区域分形维数Fractal：

$\mathrm{Fractal}=2-\ln \left(\frac{A_{\mathrm{\δ}}}{F}\right),$ 其中F是常数。

I、骨架面积：

采用形态学的方法，令⊕为膨胀运算符，Θ为腐蚀运算符，ο为开运算符，集合X表示目标微生物候选区域，nB表示半径为n的球，则：

nB=B⊕B⊕...⊕B

最大骨架可以通过对集合X内关于所有尺度球的开运算的余集求并集得到，则骨架面积Skel：

依据九项特征值进行微生物种类的识别时，均采用采用支持向量机的方法，支持向量机的类型为C-SVC，核函数选用径向基函数RBF。

（4）将步骤（3）中得到的微生物种类以及数量进行存储，计算各种微生物的分布密度，并对分布密度超标的微生物进行报警。

计算微生物的分布密度ρ时，所用公式为

$\mathrm{\ρ}=\frac{n}{V}$

其中，n是单位时间内某种微生物的个数，单位是个/分；

V是单位时间内监测装置的进水量，单位是升/分；

ρ表示每升水中所含微生物的个数。

Claims (5)

1.一种海洋微生物的实时监测方法，其特征在于，包括以下步骤：

(1)以视频流的形式实时采集海洋中待监测区域的水域状况，并从视频流存储的图像中选取最初的若干幅图像计算得到背景图像；

(2)将当前帧图像与背景图像做差得到前景图像，利用前景图像判断是否存在微生物，如果不存在微生物，则丢弃该当前帧图像，进行下一帧图像与背景图像做差判断；如果存在微生物，则对前景图像进行二值化操作以及闭运算，得到微生物候选区域；

(3)对微生物候选区域进行特征提取，并依据特征提取结果进行微生物种类的识别，并计算的微生物数量；

所述步骤(3)中对微生物候选区域进行特征提取时，首先提取区域等效椭圆半长轴，区域等效椭圆半短轴，区域等效椭圆率，区域曲率，均值三阶矩，均值四阶矩以及等效圆直径的特征值，依据计算得到的这些特征值进行微生物种类的识别，如果识别结果的置信度大于0.8，则微生物识别过程完毕；如果识别结果的置信度小于0.8，则继续提取微生物候选区域的分形维数和骨架面积的特征值，并依据这两项特征值进行微生物种类的再次识别；

(4)将步骤(3)中得到的微生物种类以及数量进行存储，计算各种微生物的分布密度，并对分布密度超标的微生物进行报警。

2.如权利要求1所述的海洋微生物的实时监测方法，其特征在于，所述步骤(1)中从视频流存储的图像中选取最初的若干幅图像计算得到背景图像，具体操作为：在视频流开始的一段时间内存储M帧图像，利用下式对M帧图像进行平均得到背景图像f_bg(x,y)：

$f_{bg}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}{f}_i(x,y)$

其中，f_i(x,y)为第i张图像；

i为图像的索引号；

M为图像的数量；

x，y为图像中的像素点坐标。

3.如权利要求2所述的海洋微生物的实时监测方法，其特征在于，所述步骤(3)中依据特征提取结果进行微生物种类的识别时，采用支持向量机的方法。

4.如权利要求3所述的海洋微生物的实时监测方法，其特征在于，所述支持向量机的类型为C-SVC，核函数选用径向基函数RBF。

5.如权利要求4所述的海洋微生物的实时监测方法，其特征在于，每累计出现100～150帧不存在微生物的图像，则利用这100～150帧图像对背景图像进行更新，得到新的背景图像，并利用该新的背景图像进行微生物的识别。