CN102592130B - 一种针对水下显微视频的目标识别系统及其视频编码方法 - Google Patents

Abstract

本发明公开了一种针对水下显微视频的目标识别系统，包括编码单元、解码单元和识别单元；编码单元包括场景切换检测模块、图像分割模块、区域增强模块和视频编码模块。本发明系统可对复杂背景、倾斜、形变、污浊、部分遮挡、光线变化的目标生物进行有效识别，极大地提高了水下显微视频中的目标生物的识别率。本发明还公开了一种视频编码方法，可以在不降低目标生物区域图像质量的前提下，有效地降低了整幅水下显微图像压缩后的码流，提高了视频传输和存储的效率；相对于现有技术，在压缩码流数据量一定的前提下，可有效提高目标生物区域的图像质量。

Description

一种针对水下显微视频的目标识别系统及其视频编码方法

技术领域

本发明属于视频编码及分析识别技术领域，具体涉及一种针对水下显微视频的目标识别系统及其视频编码方法。

背景技术

大面积海洋环境调查一直是海洋研究的重点和难点之一，智能水下检测系统是解决和研究这一问题的关键所在。当前，利用水下显微视频进行海洋环境调查是研究的热点。

水下显微视频具有以下两个特点：目标生物区域含大量不可忽略的细节信息；视频背景区域面积大且内容单调。由于水下环境资料的采集需要长时间连续不断地录制显微视频，这将产生大量的数据。因此，专门针对水下显微视频的编码技术成为研究的热点之一。

标准的H.264视频编码方法对整帧图像采用相同的编码策略，并未考虑目标生物区域比背景区域更加重要的特点，因此会造成传输存储的大量数据冗余浪费。基于此，如何在不影响目标生物区域质量的前提下，有效降低压缩码流的数据量或者在压缩码流数据量一定的前提下，有效提高目标生物区域的质量成为视频编码技术的研究热点之一

发明内容

针对现有技术所存在的上述技术缺陷，本发明提供了一种针对显微视频的目标识别系统及其视频编码方法，在不降低目标生物区域图像质量的前提下，有效地降低了整幅水下显微图像压缩后的码流，提高了视频传输和存储的效率。

一种针对水下显微视频的目标识别系统，包括编码单元、解码单元和识别单元；

所述的编码单元包括：

场景切换检测模块，接收显微视频，对显微视频每帧图像进行切换检测，并将图像标记为关键帧图像或非关键帧图像；

图像分割模块，对标记后的每帧图像进行区域分割，使图像分割为前景区域和背景区域；

区域增强模块，对区域分割后的每帧图像中的前景区域进行图像增强；

视频编码模块，对图像增强后的每帧图像中的前景区域进行像素补齐，对像素补齐后的每帧图像进行编码，整合得到显微视频的编码包；

所述的解码单元用于对编码包进行解码，得到重建视频；

所述的识别单元用于识别重建视频中的生物目标。

所述的识别单元包括：

SIFT(Scale-invariant feature transform，尺度不变特征转换)特征向量生成模块，计算生成重建视频每帧图像的SIFT特征向量集合；

特征匹配识别模块，将所述的SIFT特征向量集合与预存储的若干SIFT生物特征向量集合一一进行匹配度的计算，以匹配度最高的SIFT生物特征向量集合对应的生物目标作为识别结果。

SIFT特征能够对图像尺度、旋转和亮度保持不变性，同时能够对图像的视角变换以及噪声叠加保持一定的稳定性。

所述的视频编码模块根据以下策略对图像进行编码；

对于关键帧图像的前景区域以及非关键帧图像的前景区域，采用无损压缩编码方法进行编码；

对于关键帧图像的背景区域，采用I帧编码方法进行编码；

对于非关键帧图像的背景区域，采用P帧Skip(跳跃)编码方法进行编码。

所述的编码单元基于的视频编码方法，包括如下步骤：

(1)获取显微视频，对显微视频每帧图像进行切换检测，并将图像标记为关键帧图像或非关键帧图像；

(2)对标记后的每帧图像进行区域分割，使图像分割为前景区域和背景区域；

(3)对区域分割后的每帧图像中的前景区域进行图像增强；

(4)对图像增强后的每帧图像中的前景区域进行像素补齐；

(5)对像素补齐后的每帧图像进行编码。

所述的步骤(1)中，对显微视频每帧图像进行切换检测的过程如下：

a.标记显微视频第一帧图像为关键帧；

b.根据以下公式计算第k帧图像与第k-1帧图像的帧间平均绝对差异值；

$\mathrm{MAFD}=\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|f_k(i,j)-f_{k-1}(i,j)|$

其中：MAFD为帧间平均绝对差异值，m和n分别为图像的行数和列数，f_k(i，j)和f_k-1(i，j)分别为第k帧图像和第k-1帧图像中第i行第j列像素的像素值；

c.判断帧间平均绝对差异值是否小于差异阈值：若是，则标记第k帧图像为非关键帧图像；若否，则对第k帧图像和第k-1帧图像进行直方图均衡化处理，然后根据以下公式计算第k帧图像与第k-1帧图像的绝对帧间变化值；

ADFV＝|FV_k-FV_k-1|

${\mathrm{FV}}_k=\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|f_k(i,j)-\mathrm{MAFD}|$

其中：ADFV为绝对帧间变化值；

d.判断绝对帧间变化值是否大于变化阈值：若是，则标记第k帧图像为关键帧图像；若否，则标记第k帧图像为非关键帧图像；

e.根据步骤b至d，以第一帧图像为起始，遍历显微视频的所有图像。

所述的差异阈值和变化阈值均为实际经验值。

优选地，所述的步骤(2)中，通过混合高斯背景建模对标记后的每帧图像进行区域分割；可以有效克服水下显微视频中的移动背景和背景变化对分割带来的影响。

所述的步骤(3)中，采用灰度直方图均衡法对区域分割后的每帧图像中的前景区域进行图像增强。

所述的步骤(5)中，根据以下策略对像素补齐后的每帧图像进行编码；

对于关键帧图像的前景区域以及非关键帧图像的前景区域，采用无损压缩编码方法进行编码；

对于关键帧图像的背景区域，采用I帧编码方法进行编码；

对于非关键帧图像的背景区域，采用P帧Skip编码方法进行编码。

本发明的编码方法可以在不降低目标生物区域图像质量的前提下，有效地降低了整幅水下显微图像压缩后的码流，提高了视频传输和存储的效率；相对于现有技术，在压缩码流数据量一定的前提下，可有效提高目标生物区域的图像质量。本发明的目标识别系统可对复杂背景、倾斜、形变、污浊、部分遮挡、光线变化的目标生物进行有效识别，极大地提高了水下显微视频中的目标生物的识别率。

附图说明

图1为本发明识别系统的结构示意图。

图2为本发明编码方法的执行流程图。

图3(a)为区域分割前的图像。

图3(b)为区域分割后图像的前景区域。

图4(a)为增强前图像的前景区域。

图4(b)为增强后图像的前景区域。

图5(a)为采用本发明编码方法解码后的一帧图像。

图5(b)为采用传统JM17.1编码方法解码后的一帧图像。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的目标识别系统及其编码方法进行详细说明。

如图1所示，一种针对水下显微视频的目标识别系统，包括编码单元、解码单元和识别单元；其中：

编码单元位于系统的水下终端侧，其包括场景切换检测模块、图像分割模块、区域增强模块和视频编码模块。

场景切换检测模块，其接收显微视频，对显微视频每帧图像进行切换检测，并将图像标记为关键帧图像或非关键帧图像；该模块采用的切换检测策略为：对显微视频每一帧的纹理信息生成直方图，并设定一个阈值；若帧间纹理信息直方图的差异大于该阈值，则认为显微视频发生了场景切换(记当前帧为关键帧)，需要更新当前帧的背景；若帧间纹理信息直方图的差异小于该阈值，则认为场景没有发生切换，继续使用当前背景。

图像分割模块与场景切换检测模块相连，其对标记后的每帧图像进行区域分割，使图像分割为前景区域(目标生物区域)和背景区域；该模块采用的区域分割策略为：对显微视频进行混合高斯模型建模，对显微视频每一帧进行模型参数更新，标记背景块和前景块实现前景目标生物的分割提取。其中的混合高斯模型建模是基于像素单元块的混合高斯模型，即将显微视频每一帧划分成2×2小块，以每一2×2块作为一个像素单元块，然后对所有像素块进行高斯模型建模。

区域增强模块与图像分割模块相连，其对区域分割后的每帧图像中的前景区域进行图像增强；该模块采用灰度直方图均衡进行图像的增强操作，有效提升目标生物区域的图像灰度等级，进而增强所述目标生物区域的对比度。

视频编码模块与区域增强模块相连，其对图像增强后的每帧图像中的前景区域进行16像素补齐(使前景目标生物区域成为若干宏块的集合，以便对目标生物区域进行编码)；对像素补齐后的每帧图像进行编码，整合得到显微视频的编码包；该模块采用以下策略对像素补齐后的每帧图像进行编码；

对于关键帧图像的前景区域以及非关键帧图像的前景区域，采用无损压缩编码方法进行编码；

对于关键帧图像的背景区域，采用I帧编码方法进行编码；

对于非关键帧图像的背景区域，采用P帧Skip编码方法进行编码。

解码单元和识别单元位于系统的水上控制中心侧，解码单元通过网络与编码单元相连，其用于对编码包进行解码，得到重建视频。

识别单元包括SIFT特征向量生成模块和特征匹配识别模块；其中：

SIFT特征向量生成模块与解码单元相连，其采用SIFT算法计算生成重建视频每帧图像的SIFT特征向量集合。

特征匹配识别模块与SIFT特征向量生成模块相连，其采用改进的Kd-树最近邻查询方法将SIFT特征向量集合与数据库中预存储的若干SIFT生物特征向量集合(关于各种水下显微生物图像的SIFT特征向量集合)一一进行匹配度的计算，以匹配度最高的SIFT生物特征向量集合对应的生物目标作为识别结果。

如图2所示，本实施方式编码单元基于的视频编码方法，包括如下步骤：

(1)获取显微视频，对显微视频每帧图像进行切换检测，并将图像标记为关键帧图像或非关键帧图像；

a.标记显微视频第一帧图像为关键帧。

b.根据以下公式计算第k帧图像与第k-1帧图像的帧间平均绝对差异值；

$\mathrm{MAFD}=\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|f_k(i,j)-f_{k-1}(i,j)|$

其中：MAFD为帧间平均绝对差异值，m和n分别为图像的行数和列数，f_k(i，j)和f_k-1(i，j)分别为第k帧图像和第k-1帧图像中第i行第j列像素的像素值。

c.判断帧间平均绝对差异值是否小于差异阈值：若是，则标记第k帧图像为非关键帧图像；若否，则对第k帧图像和第k-1帧图像进行直方图均衡化处理，然后根据以下公式计算第k帧图像与第k-1帧图像的绝对帧间变化值；

ADFV＝|FV_k-FV_k-1|

${\mathrm{FV}}_k=\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|f_k(i,j)-\mathrm{MAFD}|$

其中：ADFV为绝对帧间变化值。

d.判断绝对帧间变化值是否大于变化阈值：若是，则标记第k帧图像为关键帧图像；若否，则标记第k帧图像为非关键帧图像。

e.根据步骤b至d，以第一帧图像为起始，遍历显微视频的所有图像。

差异阈值和变化阈值均为实际经验值，本实施方式中，差异阈值和变化阈值分别为20和47。

(2)对标记后的每帧图像进行区域分割，使图像分割为前景区域和背景区域；具体过程为：对显微视频每帧图像进行混合高斯背景建模，利用多个高斯函数的加权和来描述水下显微视频图像的多峰状态；混合高斯模型假设每个像素之间是独立分布的，它为每个像素构建多维混合高斯分布，采用多个单高斯函数来描述多模态的背景，不断更新每个高斯分布的参数来适应背景的逐渐变换，从而实现图像中背景和前景的分割，并由此标记出前景目标；图3(a)所示了为区域分割前的图像，图3(b)为区域分割后图像的前景区域。

(3)采用灰度直方图均衡法对区域分割后的每帧图像中的前景区域进行图像增强；具体过程为：

步骤一：将前景区域灰度值进行归一化：

$r=\frac{r_0}{255}$

其中，r₀为所述目标生物区域原始灰度值，r为对应归一化后的灰度值。

步骤二：计算所述目标生物区域中灰度值r_k出现的概率为：

$p_k\left(r_k\right)=\frac{n_k}{n},k=\mathrm{0,1,2}...255$

其中，n为所述目标生物区域像素总和，n_k为灰度值为r_k的像素个数。

步骤三：对所述目标生物区域图像进行直方图均衡化操作：

$s_k=T\left(r_k\right)=\underset{j=0}{\overset{k}{\mathrm{\Σ}}}{p}_r\left(r_j\right)=\underset{j=0}{\overset{k}{\mathrm{\Σ}}}\frac{n_j}{n},k=\mathrm{0,1,2}...255$

其中，s_k为直方图均衡化后和原始图像中r_k对应的灰度值。

步骤四：对直方图均衡化后的灰度值变换到实际灰度值范围[0，255]：

s＝255*s_k

图4(a)所示了增强前图像的前景区域，图4(b)所示了增强后图像的前景区域。

(4)对图像增强后的每帧图像中的前景区域进行像素补齐；具体过程为：

首先，将待编码的视频图像划分成16×16的宏块集合M，对于宏块集合M中的每一个宏块M_i，若其中包含目标生物区域的像素点，则标记该宏块M_i为目标生物区域宏块。当对当前待编码视频图像的所有宏块标记完成之后，便构成了目标生物区域宏块集合M_t。

(5)采用以下策略对像素补齐后的每帧图像进行编码；

对于关键帧图像的前景区域以及非关键帧图像的前景区域，采用无损压缩编码方法进行编码(即设置目标生物区域宏块集合的量化系数QP为0)；

对于关键帧图像的背景区域，采用I帧编码方法进行编码(即采用帧内预测模式进行编码)；

对于非关键帧图像的背景区域，采用P帧Skip编码方法进行编码(即设置当前宏块与前一帧预测宏块的残差数据为0)。

图5为所示了在实际采集的水下显微视频序列设定码流比特率为2Mbps时，采用本实施方式和传统JM17.1进行编码时第236帧解码后的图像结果，其中图5(a)为JM17.1编码方法数据解码后的图像结果，图5(b)为本实施方式数据解码后的图像结果；可以看出采用本实施方式数据解码后图像结果相对于JM17.1编码方法，明显提高了目标生物部分的主观质量，同时由于背景全部采用了Skip编码模式，因此背景也没有出现方块效应等影响主观质量的缺陷。

Claims (5)

1.一种针对水下显微视频的目标识别系统，包括编码单元、解码单元和识别单元；其特征在于：

所述的编码单元包括：

场景切换检测模块，接收显微视频，对显微视频每帧图像进行切换检测，并将图像标记为关键帧图像或非关键帧图像；

图像分割模块，对标记后的每帧图像进行区域分割，使图像分割为前景区域和背景区域；

区域增强模块，对区域分割后的每帧图像中的前景区域进行图像增强；

视频编码模块，对图像增强后的每帧图像中的前景区域进行像素补齐，对像素补齐后的每帧图像进行编码，整合得到显微视频的编码包；

视频编码模块根据以下策略对图像进行编码；

对于关键帧图像的前景区域以及非关键帧图像的前景区域，采用无损压缩编码方法进行编码；

对于关键帧图像的背景区域，采用I帧编码方法进行编码；

对于非关键帧图像的背景区域，采用P帧Skip编码方法进行编码；

所述的解码单元用于对编码包进行解码，得到重建视频；

所述的识别单元用于识别重建视频中的生物目标，其包括：

SIFT特征向量生成模块，计算生成重建视频每帧图像的SIFT特征向量集合；

特征匹配识别模块，将所述的SIFT特征向量集合与预存储的若干SIFT生物特征向量集合一一进行匹配度的计算，以匹配度最高的SIFT生物特征向量集合对应的生物目标作为识别结果。

2.一种针对水下显微视频的目标识别系统的视频编码方法，包括如下步骤：

（1）获取显微视频，对显微视频每帧图像进行切换检测，并将图像标记为关键帧图像或非关键帧图像；

对显微视频每帧图像进行切换检测的过程如下：

a.标记显微视频第一帧图像为关键帧；

b.根据以下公式计算第k帧图像与第k-1帧图像的帧间平均绝对差异值；

$\mathrm{MAFD}=\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|f_k(i,j)-f_{k-1}(i,j)|$

其中：MAFD为帧间平均绝对差异值，m和n分别为图像的行数和列数，f_k(i,j)和f_k-1(i,j)分别为第k帧图像和第k-1帧图像中第i行第j列像素的像素值；

c.判断帧间平均绝对差异值是否小于差异阈值：若是，则标记第k帧图像为非关键帧图像；若否，则对第k帧图像和第k-1帧图像进行直方图均衡化处理，然后根据以下公式计算第k帧图像与第k-1帧图像的绝对帧间变化值；

ADFV=|FV_k-FV_k-1|

${\mathrm{FV}}_k=\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|f_k(i,j)-\mathrm{MAFD}|$

其中：ADFV为绝对帧间变化值；

d.判断绝对帧间变化值是否大于变化阈值：若是，则标记第k帧图像为关键帧图像；若否，则标记第k帧图像为非关键帧图像；

e.根据步骤b至d，以第一帧图像为起始，遍历显微视频的所有图像；

（2）对标记后的每帧图像进行区域分割，使图像分割为前景区域和背景区域；

（3）对区域分割后的每帧图像中的前景区域进行图像增强；

（4）对图像增强后的每帧图像中的前景区域进行像素补齐；

（5）对像素补齐后的每帧图像进行编码。

3.根据权利要求2所述的视频编码方法，其特征在于：所述的步骤（2）中，通过混合高斯背景建模对标记后的每帧图像进行区域分割。

4.根据权利要求2所述的视频编码方法，其特征在于：所述的步骤（3）中，采用灰度直方图均衡法对区域分割后的每帧图像中的前景区域进行图像增强。

5.根据权利要求2所述的视频编码方法，其特征在于：所述的步骤（5）中，根据以下策略对像素补齐后的每帧图像进行编码；

对于关键帧图像的前景区域以及非关键帧图像的前景区域，采用无损压缩编码方法进行编码；

对于关键帧图像的背景区域，采用I帧编码方法进行编码；

对于非关键帧图像的背景区域，采用P帧Skip编码方法进行编码。

Images