CN103617413A - 一种在图像中识别物体的方法 - Google Patents

Abstract

本发明公开了一种在图像中识别物体的方法，包括以下步骤：读取图像或视频序列，进行运动目标检测，提取出前景图像；分析所提取的前景图像的颜色特征，分离前景区域中各颜色连通区域，得到对象结构，对结构部分通过矩不变量映射到特征空间，根据概率模型进行分类，若符合已知结构，则识别为该物体。本发明提出的方法弱化了形态的特征而强调结构，从而加强了多种背景下抗噪识别能力。

Description

一种在图像中识别物体的方法

技术领域

本发明总体涉及图像识别，特别涉及基于不变矩以及结构不变性的物体识别方法。

背景技术

目前物体图像识别的方法有很多，所用以识别的特征主要有纹理、边框、形态等，但对于一些比较复杂的环境，如自然保护区、闹市区，由于受到某些因素的影响（环境噪声、小范围遮挡等），这些特征会受到较大干扰造成识别困难，主要原因在于，首先，纹理特征对图像信息精细度要求较高，在环境变化（如室外环境遇到下雨天），所采集图像精细度大大降低造成识别困难；其次，边框及形态特征对对象的形态和拍摄角度有较高要求，对象的一些局部小范围的遮挡将给识别很大的影响；第三，对象在图像中的平移、旋转、放缩是识别过程中经常遇到的问题，为了消除这些变换对特征的影响，Hu在1962年提出了基于矩不变量的特征的模式识别方法（Hu,M.-K.(1962)“Visualpatternrecognitionbymomentinvariants,”IRETransactionsonInformationTheory,vol.8,no.2,pp.179–87.），并在后来被大量学者研究发展。该方法的核心是定义矩函数，通过矩函数构造不变量。设连续条件下二维图像函数为f(x，y)则它的(p+q)阶几何矩定义如下:

$m_{\mathrm{pq}}={\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}{x}^p{y}^{q}f(x,y)\mathrm{dxdy},p,q=\mathrm{0,1,2},...,\∞$

从定义可以看出，几何矩有明确的物理定义，零阶矩m₀₀表示图像的“质量”，m₁₀/m₀₀和m₀₁/m₀₀为图像的质心。二阶矩m₀₂和m₂₀是图像的质量分布的度量。图像与几何矩序列是一一对应关系。

图像函数f(x，y)的(p+q)阶几何中心矩定义为：

${\mathrm{\μ}}_{\mathrm{pq}}={\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}f(x,y)\mathrm{dxdy},p,q=\mathrm{0,1,2},...,\∞$

其中， $\stackrel{\‾}{x}=m_{10}/m_{00},\stackrel{\‾}{y}=m_{01}/m_{00}.$

经过一系列代数恒等变换，Hu导出7个对图像平移、缩放和旋转都不变的绝对不变式。后来的学者根据实际需要提出了各种矩函数，应用领域也有大量研究，如鱼类的识别，植物叶子识别。这些方法有一个共同的特点，对对象的全局数据做处理，强调的是对象所有的信息。由于之前所提到的在一些特定环境下，无法准确采集到所有需要的信息，造成方法失效。鉴于矩不变量在处理对象平移、旋转、放缩时的优越性与其现有方法的局限性，在环境噪声较大的情况下，该方法仍有进一步研究发展的必要性。

发明内容

本发明提出了一种对图像中的物体进行识别的方法，对环境噪声较大的场合，根据对象的结构进行实时识别。本发明建立了一种实时的智能物体检测算法，根据动态区域连通性提取物体的结构特征，通过矩函数映射得到特征进行识别。

本发明主要面向复杂环境中颜色特征明显的对象，从对象的颜色特征出发得到结构，对结构进行判断从而进行识别，其采用的技术方案如下：

在图像中识别物体的方法，包括以下步骤：

（一）：读取图像或视频序列，进行运动目标检测，提取出前景图像；

（二）：分析所提取的前景图像的颜色特征，分离前景区域中各颜色连通区域，得到对象结构；

（三）：对结构部分通过矩不变量映射到特征空间，根据概率模型进行分类，若符合已知结构，则识别为该物体。

根据本发明进一步的技术方案，其中所述进行运动目标检测，提取出前景图像包括：依次运用高斯滤波方法、背景建模检测运动目标法和形态学滤波法进行图像处理，进而提取出前景图像。

根据本发明进一步的技术方案，其中所述高斯滤波方法利用前背景分离的混合高斯模型，该混合高斯模型由以下过程形成：

令Q_m表示在RGB空间中在任意时刻m在x点的色彩向量；

在读取图像一定帧数时，对图像进行背景建模；

令高斯混合分布模拟之前的观测为{Q₁,...,Q_n}

$P\left(Q_n\right)=\underset{d=1}{\overset{D}{\mathrm{\Σ}}}\mathrm{\η}\left(Q_n\right|u_{d,n},{\mathrm{\Σ}}_{d,n})$

其中D表示的是混合高斯分布的维数，μ_d,n表示n时刻像素点对应的混合模型中第d个高斯分布的均值，Σ_d,n表示n时刻像素点对应的混合模型中第d个高斯分布的均值协方差矩阵，η表示的是高斯概率密度函数，其定义为：

$\mathrm{\η}\left(Q\right|\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{l}^{-\frac{1}{2}{(Q-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(Q-\mathrm{\μ})};$

取D=3，假设RGB三颜色分量相互独立且具有相同的方差，即：

其中I是3*3的单位矩阵

根据像素的观测值来匹配高斯模型，利用当前观测值Q_i对高斯分布进行自适应实时更新，具体为：时刻n,在D个高斯分布中，若不存在观测值Q_i的匹配，则以Q_i为均值，增加一个方差较大的高斯分布，用于替换权重较小的高斯分布，如果存在观测值Q_i的匹配，则用下面的公式进行更新：

$\left\{\begin{array}{c}{\mathrm{\μ}}_{d,n}=(1-c){\mathrm{\μ}}_{d,n-1+}c{Q}_n\\ {\mathrm{\σ}}_{d,n}^2=(1-c){\mathrm{\σ}}_{d,n-1}^2+c{(Q_n-{\mathrm{\μ}}_{d,n})}^T(Q_n-{\mathrm{\μ}}_{d,n})\end{array}\right.$

c＝η(Q_n|μ_d,n,Σ_d,n)；

如果不匹配，均值和协方差矩阵式保持不变，如果发生匹配，重新调整第d个高斯分布的均值和标准差，得到n时刻的匹配高斯的均值向量和标准差。

根据本发明进一步的技术方案，其中所述对象结构具体由以下过程来得到：

对前景做颜色取阈值处理，得到N值图（N根据物体所划分颜色区间数量设定），为图像加入一行一列为零的元素，分别在第一行与第一列；

令k为区域集合A_k的指标，A_k初始元素为0，k=1;

对于任一整数i和j，其中i∈[1,m],j∈[1,m],

若x_i,j＝0,继续；其中x_i,j为（i，j）点的像素值，0表示为背景

若x_i,j≠x_i,j-1且x_i,j≠x_i-1,j-1且x_i,j≠x_i-1,j且x_i,j≠x_i-1,j+1

则k=k+1，新建一个区域集合A_k，x_i,j属于A_k；继续；

否则x_i,j属于x_i,j-1,x_i-1,j,x_i-1,j,x_i-1,j+1中与其值相等的像素所在集合；

作好结构划分之后，确定各结构部分的中心，由于各结构整体形态上的变化会造成中心点的位置不固定，因此将中心点坐标看成一个随机变量，变量的概率分布通过训练样本统计得到，从而将对象转化为结构模型。

根据本发明进一步的技术方案，其中将结构映射到特征空间是利用矩函数映射得到特征进行识别，且其中利用所述概率模型进行分析具体为：对于一个n个结构组成的物体，其平面结构图中包含2n个随机变量，因为每个结构由两个代表中心坐标的随机变量组成，将其投射到特征空间，使用七个转动不变量做映射函数：

如其中V_i是结构图中X_i,Y_i所代表结构的颜色权值，其中各X_i,Y_i相互独立，设

密度函数为

于是

的密度函数为 $f_{V_i{X}_i^2}\left(x\right)=f_{X_i^2}(x/V_i);$

φ₁的概率密度为

$f_{{\mathrm{\φ}}_1}\left(x\right)=f_{X_1^2}(x/V_1)*...*f_{X_n^2}(x/V_n)*f_{Y_1^2}(x/V_1)*...*f_{Y_n^2}(x/V_n)$ 通过数值计算方法求得概率密度；

对于一个待识别的对象结构通过φ₁运算后数值如果在以上求得概率密度下相对于一已知结构可接受，则判断为识别出该物体。

本发明提出的识别图像中的对象的方法，特点在于弱化了形态的特征而强调结构，从而加强了抗噪识别能力，并通过概率模型，给出了精确的数据概率分析。如在具体实施方式中所述，本发明的技术方案已在实际的应用当中取得了显著的高识别率和低误报率。

附图说明

本发明的主题被特别指出，并在权利要求中清楚地进行了声明。本发明的前述或其他对象、特征和优点将从如下详具体实施例并结合附图中显而易见。

图1为根据本发明实施例的识别方法的流程图；

图2和3为本发明的方法所处理的图像对象样本一和样本二；

图4为根据本发明的前景定位分离效果的示意图；

图5为根据本发明的前景结构图；

图6和7为根据本发明的实施例由100幅对象图片得到的两个直方图，算得图5中φ₁值为14863。

具体实施方式

下面参照附图进一步描述本发明的优选实施例。图1给出了根据本发明实施例的识别方法的流程图。本发明的对象识别技术方案主要由如下步骤组成：

步骤一：读取视频序列，进行运动目标检测，综合运用高斯滤波、背景建模检测运动目标法、形态学滤波法并运用这些方法对实验视频进行相应的处理，提取出相应的前景图像。

步骤二：对提取的前景的颜色特征进行分析，根据实际需要选取阈值，再分离前景区域中各颜色连通区域，得到对象结构。

步骤三：对结构部分通过矩不变量映射到特征空间，根据概率模型进行分类。若符合已知结构，则判断是该物体。

以下将对该识别方法中涉及的关键技术环节作出详细说明。本领域技术人员应当理解，本发明公开的实施例只是本文提出的创造性教导的多种可能的有利应用和实现方式的示例。总体上，本申请的说明书作出的表述并非一定限制所要求保护的多种发明的任一种。而且，某些表述可应用某些新颖的特征而没有应用其他特征。

前背景分离的混合高斯模型

令Q_m表示在RGB空间中在任意时刻m在x点的色彩向量。

下面我们建立背景的混合高斯模型，在读取图像一定帧数时，对图像进行背景建模。

我们有高斯混合分布模拟之前的观测{Q₁,...,Q_n}

$P\left(Q_n\right)=\underset{d=1}{\overset{D}{\mathrm{\Σ}}}\mathrm{\η}\left(Q_n\right|u_{d,n},{\mathrm{\Σ}}_{d,n})$

这里D表示的是混合高斯分布的维数，μ_d,n表示n时刻像素点对应的混合模型中第d个高斯分布的均值，Σ_d,n表示n时刻像素点对应的混合模型中第d个高斯分布的均值协方差矩阵。η表示的是高斯概率密度函数，其定义为：

$\mathrm{\η}\left(Q\right|\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{l}^{-\frac{1}{2}{(Q-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(Q-\mathrm{\μ})}$

为了减少我们的计算复杂度，我们取D=3。因为图像中每个像素均采用D个高斯分布的混合叠加进行模拟，为了避免矩阵运算的时间大量消耗，假设RGB三颜色分量相互独立，且具有相同的方差，即：

${\mathrm{\Σ}}_{d,n}={\mathrm{\σ}}_d^{2}I$

这里I是3*3的单位矩阵

我们现在要根据像素的观测值来匹配我们的高斯模型，利用当前观测值Q_i对高斯分布进行自适应实时更新。模型更新的方法是：时刻n,在D个高斯分布中，若不存在观测值Q_i的匹配，则以Q_i为均值，我们增加一个方差较大的的高斯分布，用于替换权重较小的高斯分布，如果存在观测值Q_i的匹配，我们就用下面的公式进行更新：

$\left\{\begin{array}{c}{\mathrm{\μ}}_{d,n}=(1-c){\mathrm{\μ}}_{d,n-1+}c{Q}_n\\ {\mathrm{\σ}}_{d,n}^2=(1-c){\mathrm{\σ}}_{d,n-1}^2+c{(Q_n-{\mathrm{\μ}}_{d,n})}^T(Q_n-{\mathrm{\μ}}_{d,n})\end{array}\right.$

c＝η(Q_n|μ_d,n,Σ_d,n)

如果不匹配的话，均值和协方差矩阵式保持不变的，但是，如果发生匹配，我们要重新调整第d个高斯分布的均值和标准差，得到n时刻的匹配高斯的均值向量和标准差。

以上我们完成了混合高斯模型的简单推导，通过该方法将前景背景分离，再通过形态学的方法对图像做进一步处理得到需要的前景信息，步骤一完成。

对象结构提取算法

对前景做颜色取阈值处理，得到N值图（N根据物体所划分颜色区间数量设定），然后使用如下算法。为了算法处理需要，为图像加入一行一列为零的元素，分别在第一行与第一列。

伪代码：

作好结构划分之后，容易确定各结构部分的中心。由于受到环境因素影响，各结构整体形态上会有变化，造成中心点的位置不固定，从概率论角度来看，可以将中心点坐标看成一个随机变量，变量的概率分布通过训练样本统计得到。这样，将对象转化为结构模型，减弱了环境干扰造成的影响，同时可以做精确的概率分析。

建立概率模型分析

对于一个n个结构组成的物体，其平面结构图中包含2n个随机变量，因为每个结构由两个代表中心坐标的随机变量组成。我们希望将其投射到特征空间以达到降维目的，在预处理之后，图像的旋转成为影响特征最大的因素，故使用Hu提出的七个转动不变量做映射函数。

如

其中V_i是结构图中X_i,Y_i所代表结构的颜色权值。为计算方便，假定各X_i,Y_i相互独立。设密度函数存在，为

于是有的密度函数为 $f_{V_i{X}_i^2}\left(x\right)=f_{X_i^2}(x/V_i)$

φ₁的概率密度为

$f_{{\mathrm{\φ}}_1}\left(x\right)=f_{X_1^2}(x/V_1)*...*f_{X_n^2}(x/V_n)*f_{Y_1^2}(x/V_1)*...*f_{Y_n^2}(x/V_n)$

通过数值计算方法求得概率密度。

对于一个待识别的对象结构通过φ₁运算后数值如果在以上所求密度下可接受，则判断是该物体。

为了对方法的正确性和精确性进行验证，本文在卧龙熊猫基地进行实验，过程如下：

1.首先运用高斯滤波，背景建模法提取运动物体，灰度化处理，提取前景，并进行形态学滤波去除噪声，如图4、5。

2.利用连通区域判断算法求得各部分结构中心。

3.对不同时间段（上午，中午，下午，晚间），和不同气候条件下（阴天，晴天，雨天）取得的不同熊猫图像的数据进行实验，获得了90%的以上的准确率。误报率在5%以下，实践证明，本发明提出的方法在多种背景环境下均具有较好的抗噪能力。

本发明的实施例可实现为硬件、固件、软件或其任意组合。此外，软件优选地实现为应用程序，有形地实施于程序存储单元或有形计算机可读介质上，其由部件或某些设备和/或设备的组合构成。该应用程序可上传至包括任意合适的体系结构的机器，并由其执行。优选地，该机器实现为计算机平台，具有诸如一个或多个中央处理单元（CPU）、存储器和输入输出接口等硬件。该计算机平台还可包括操作系统和微指令代码。本文描述的多个过程和功能即可为微指令代码的一部分，也可为应用程序的一部分，或其任意组合，其由CPU执行，无论所述计算机或处理器是否明显示出。另外，其他多种外围单元可连接至该计算机平台，如附加的数据存储单元和打印单元。服务器的全部或部分可合并成一个或多个集成服务器。此外，非暂存计算机可读介质为除暂时传播信号以外的任一种计算机可读介质。显示部分和微型显示部分可显示于显示区域，其可为浏览器或互联网移动应用的其他合适的图形用户界面，即可为通用的，也可为定制的，以在上文中详细描述。

本文陈述的所有示例意图用于教导的目的，以帮助读者理解本发明的原理和发明人提出的概念以改进技术，并且应被解释为未对所述特别陈述的示例和条件进行限制。而且，本文陈述本发明原理、方面和实施例的表述及其具体实施例意图包括结构上和功能上的等同物。此外，该等同物旨在包括目前已知的等同物以及未来发展的等同物，即发展的实现相同功能的任意要素，与结构无关。

Claims (5)

1.一种在图像中识别物体的方法，包括以下步骤：

（一）：读取图像或视频序列，进行运动目标检测，提取出前景图像；

（二）：分析所提取的前景图像的颜色特征，分离前景区域中各颜色连通区域，得到对象结构；

（三）：对结构部分通过矩不变量映射到特征空间，根据概率模型进行分类，若符合已知结构，则识别为该物体。

2.根据权利要求1的方法，其中所述进行运动目标检测，提取出前景图像包括：依次运用高斯滤波方法、背景建模检测运动目标法和形态学滤波法进行图像处理，进而提取出前景图像。

3.根据权利要求2的方法，其中所述高斯滤波方法利用前背景分离的混合高斯模型，该混合高斯模型由以下过程形成：

令Q_m表示在RGB空间中在任意时刻m在x点的色彩向量；

在读取图像一定帧数时，对图像进行背景建模；

令高斯混合分布模拟之前的观测为{Q₁,...,Q_n}

$P\left(Q_n\right)=\underset{d=1}{\overset{D}{\mathrm{\Σ}}}\mathrm{\η}\left(Q_n\right|u_{d,n},{\mathrm{\Σ}}_{d,n})$

其中D表示的是混合高斯分布的维数，μ_d,n表示n时刻像素点对应的混合模型中第d个高斯分布的均值，Σ_d,n表示n时刻像素点对应的混合模型中第d个高斯分布的均值协方差矩阵，η表示的是高斯概率密度函数，其定义为：

$\mathrm{\η}\left(Q\right|\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{l}^{-\frac{1}{2}{(Q-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(Q-\mathrm{\μ})};$

取D=3，假设RGB三颜色分量相互独立且具有相同的方差，即：

其中I是3*3的单位矩阵

根据像素的观测值来匹配高斯模型，利用当前观测值Q_i对高斯分布进行自适应实时更新，具体为：时刻n,在D个高斯分布中，若不存在观测值Q_i的匹配，则以Q_i为均值，增加一个方差较大的高斯分布，用于替换权重较小的高斯分布，如果存在观测值Q_i的匹配，则用下面的公式进行更新：

$\left\{\begin{array}{c}{\mathrm{\μ}}_{d,n}=(1-c){\mathrm{\μ}}_{d,n-1+}c{Q}_n\\ {\mathrm{\σ}}_{d,n}^2=(1-c){\mathrm{\σ}}_{d,n-1}^2+c{(Q_n-{\mathrm{\μ}}_{d,n})}^T(Q_n-{\mathrm{\μ}}_{d,n})\end{array}\right.$

c＝η(Q_n|μ_d,n,Σ_d,n)；

如果不匹配，均值和协方差矩阵式保持不变，如果发生匹配，重新调整第d个高斯分布的均值和标准差，得到n时刻的匹配高斯的均值向量和标准差。

4.根据权利要求1的方法，其中所述对象结构具体由以下过程来得到：

对前景做颜色取阈值处理，得到N值图（N根据物体所划分颜色区间数量设定），为图像加入一行一列为零的元素，分别在第一行与第一列；

令k为区域集合A_k的指标，A_k初始元素为0，k=1;

对于任一整数i和j，其中i∈[1,m],j∈[1,m],

若x_i,j＝0,继续；其中x_i,j为（i，j）点的像素值，0表示为背景

若x_i,j≠x_i,j-1且x_i,j≠x_i-1,j-1且x_i,j≠x_i-1,j且x_i,j≠x_i-1,j+1

则k=k+1，新建一个区域集合A_k，x_i,j属于A_k；继续；

否则x_i,j属于x_i,j-1,x_i-1,j,x_i-1,j,x_i-1,j+1中与其值相等的像素所在集合；

作好结构划分之后，确定各结构部分的中心，由于各结构整体形态上的变化会造成中心点的位置不固定，因此将中心点坐标看成一个随机变量，变量的概率分布通过训练样本统计得到，从而将对象转化为结构模型。

5.根据权利要求1的方法，其中将结构映射到特征空间是利用矩函数映射得到特征进行识别，且其中利用所述概率模型进行分析具体为：对于一个n个结构组成的物体，其平面结构图中包含2n个随机变量，因为每个结构由两个代表中心坐标的随机变量组成，将其投射到特征空间，使用七个转动不变量做映射函数：

如

其中V_i是结构图中X_i,Y_i所代表结构的颜色权值，其中各X_i,Y_i相互独立，设

密度函数为

于是的密度函数为 $f_{V_i{X}_i^2}\left(x\right)=f_{X_i^2}(x/V_i);$

φ₁的概率密度为

$f_{{\mathrm{\φ}}_1}\left(x\right)=f_{X_1^2}(x/V_1)*...*f_{X_n^2}(x/V_n)*f_{Y_1^2}(x/V_1)*...*f_{Y_n^2}(x/V_n)$ 通过数值计算方法求得概率密度；

对于一个待识别的对象结构通过φ₁运算后数值如果在以上求得概率密度下相对于一已知结构可接受，则判断为识别出该物体。

Images