CN103632383A

CN103632383A - 一种图像目标外观对称性与形状特征的检测方法

Info

Publication number: CN103632383A
Application number: CN201310459082.1A
Authority: CN
Inventors: 唐春晖; 黄影平
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-10-07
Filing date: 2013-10-07
Publication date: 2014-03-12

Abstract

本发明提出了一种基于计算机视觉的针对图像目标外观对称性以及形状特征的提取和检测方法。本发明提出了“矩形特征”的概念。将图像目标用矩形框表示，目标的对称性以及其他外观特性通过代表目标的矩形框内部分块子矩形的组合特征表达出来。各矩形块的值是由该矩形内所有像素点的灰度累加值（或者不同颜色通道的颜色值）累加而成，简称矩形值。目标的矩形特征是以目标矩形框的局部矩形块之间的差值为基础的。矩形分块之间的差值反映了两块矩形外观的差异大小。矩形分块特征主要有二矩形分块结构、三矩形分块结构、四矩形分块结构、六矩形分块结构、九矩形分块结构、十六矩形分块结构等。矩形分块的大小分均等和不均等两种情况，均等一般用于对称分析，不均等一般用于图像目标外观的分析。

Description

一种图像目标外观对称性与形状特征的检测方法

技术领域

本发明涉及数字图像处理、计算机视觉和模式识别等学科技术，提出了一种基于计算机视觉的图像目标特征提取和检测方法。

背景技术

无论是自然的还是人工的物体往往都是以对称的形式展现，对理解和解释自然界的图像目标而言，检测对称性具有重要意义。而目前关于图像目标对称的研究很少。本发明方法还适用于目标外观特征的检测。

发明内容

本发明提出了一种针对图像目标对称性以及各种形状特征的提取和检测方法。将图像目标用矩形框框定，该目标的对称性，以及其他外观特性是通过累加计算矩形框中子矩形框内所有像素的灰度值（也可以是1种或多种颜色通道值组合）并比较而得到的；利用“积分图”（Integral image）计算矩形子块中所有像素灰度的累加值。本发明提出的目标形状特征的提取，所涉及运算主要是加法运算，具有快速的特点。

本发明提出了图像目标的“矩形特征”概念，即一个视觉目标的形状特征可以由若干个子矩形特征组合描述而成。目标矩形特征可以根据不同的分块结构和分布位置进行特征组合描述，主要有两矩形分块结构、三矩形分块结构、四矩形分块结构、六矩形分块结构、九矩形分块结构、十六矩形分块结构等等，可以根据实际情况进一步细分矩形结构。

根据实际检测目标的长宽比，矩形目标框可以分正方形和长方形两种，为简化描述，主要以正方形为主描述各分块结构。

目标外观的特性可以用各分块矩形灰度累加值（简称矩形值）的差值来表示。矩形之间的差值反映了两块矩形外观的差异。为减少光照变化等影响，用差值除以整个目标矩形值。目标的矩形特征主要是以目标局部矩形块之间差值以基础的，设定相对偏差的阈值δ，根据目标不同矩形块之间偏差大小，判定该目标或整体或局部的对称特征，甚至可以用来判定一些特定形状，如P型目标。

矩形特征里的矩形分块分为均等和不均等两类，主要根据检测目标的外观特征来决定。在后面的特征论述中，为简化表述，除非有特别说明，否则矩形分块的大小均等划分。

1）二矩形分块结构特性

参阅图1，二矩形分块结构。该图左边表示的是左R_2l、右R_2r两个矩形分块结构，右图表示的是上R_2t、下R_2b两个矩形分块结构。

（1）

式（1）中R _all表示整个目标矩形值，R _2l、R _2r分别表示矩形子块值，Feature_lr表示左右是否对称的特性，1表示对称，0表示不对称。abs（）表示取绝对值函数。式（1）利用矩形子块像素累加值之差表示两个矩形区颜色的差异，并对数据做归一化（0～1）处理。后面各式的表达类似。

（2）

Feature2_tb表示上下对称特性，1表示对称，0表示不对称。

2）三矩形分块矩阵特性

参阅图2，三分块矩形结构。该结构分左中右和上中下两种特性，反映的是视觉目标在空间上下或左右的分布特征。三分块矩形的大小可以均匀划分，也可以中间大两边小，也可以两边大中间小，也可以是一边大另一边小等等，根据检测目标的具体情况决定。主要用来检测目标左右的和上下的分布情况：目标特征最常见的表现为中间突出、两边弱化，或者中间弱化两边突出等不同分布特征。

为简化表示，将三等分结构看作是否具有均匀分布特征，即（3）、（4）式，Feature_lmr_d表示目标在左、中、右三个矩形分块的外观分布特性，Feature_tib_d表示上中下均分分布特性，取1表示三矩形分块是颜色均匀分布的，取0表示不均匀。

（3）

（4）

或者用来表示目标是否是具有边缘特征，主要表现为目标单边矩形块颜色与另外相邻两块颜色不同，其计算取值按照（5）、（6）式，Feature_lmr_e表示目标有左右边缘特性，Feature_tib_e表示上下有边缘特性，取1表示有，取0比表示无。

（5）

（6）

3）四矩形分块特性

四矩形分块特性参阅图3，R₄₁、R₄₂、R₄₃、R₄₄表示四个子分块。通过四个子分块之间的比较，可以获得目标外观局部更精确的对称或不对称关系。下面式子（7）～（12）分别表示目标四矩形分块的六种分布关系式。

左上、右上二分块对称特性

（7）

左上、左下二分块对称特性

（8）

左上、右下二分块对称特性

（9）

右上、左下二分块对称特性

（10）

右下、右上二分块对称特性

（11）

左下、右下二分块对称特性

（12）

4）九矩形分块特性

九矩形分块结构参阅图4，该结构表示了更精细更复杂的多矩形分块特征。

多矩形分块的基本特征包含了上述两矩形分块、三矩形分块特征，同时包含了一些更多的对称关系，或者是一些特定的形状。

①十字形

主要有正十字形和旋转45度的十字形两种，判据如（13）、（14）式所示。

（13）

（14）

② 中心结构

九分块矩形组的一个特性是在中心位置的子矩形上。很多目标表现为以目标重心为中心向四周发散的特征，在检测中往往集中在九分块的中心R₉₉。

（15）

③ 团块特征

在俯视行人头部检测中，九分块组的关键特性是在四个角的子矩形关系。因为目标一般表现为团块特征，在检测目标矩形框中往往集中在九分块的中心，而四个角则往往包含背景信息，而这些背景信息能反衬出目标的外观特征。团块特征的外观轮廓一般不容易用直观的数学表达式表示，却可以用矩形特征间接描述近似表达。

背景与团块目标的差异可以通过在矩形中心区域与四个角的数值差异表现出来，Feature9 _corner表示目标内部中心分布或四角分布的特性。

（16）

5）六矩形分块特性

图5表示了六矩形分块特征。相比前面的矩形特征，这类结构特征主要用于长方形目标形状的检测。分块矩形之间的特征关系和前面的类似，不再赘述。

值得一提的就是，根据实际情况，矩形特性可以嵌套使用，参阅图5。例如在传统的行人检测中，人体检测可分上中下三部分，人头或头肩部分需要精细检测特征，可用9分块矩阵结构；躯干部分相对最简单，用两分块矩形结构；下肢部分需要一般性检测，用四分块矩阵结构。

6）十六矩形分块结构及其他多矩形分块特性

图6表示十六矩形分块结构。除了上述简单的基本特性外，还有一个重要特性是梯形特性，梯形特性可以用来近似表示圆弧，设在矩形目标框中，梯形的上边在外，下边在里，且梯形不在中心位置，其朝上、下、左、右四个位置的计算和判据如（17）~（20）式所示。

（17）

（18）

（19）

（20）

显然分块越细，目标的细节特征表现得越好，特征更加丰富和精细。但随着分块数量的增加，特征也较复杂，计算量也会加大，但更大的问题是这种细致的划分将导致过度匹配，以致不能适应实际微小的变化，如微小的旋转。所以一般根据实际的检测目标的选择矩形特征结构。

上述特征描述只是一些最基本的矩形特征，针对具体不同的研究对象可以衍生出更多的矩形特征。从原则上说可以描述任意形状的目标。

Claims

1.本发明提出了图像目标的“矩形特征”概念，即一个图像目标可以用一个矩形框表示，目标的外观特征可以通过图像目标内部不同分块结构和颜色分布位置关系的各种矩形特征进行描述；也就是说，目标的外观形状可以由该代表目标的矩形框内部分块子矩形的组合特征表达。

2.目标的矩形特征主要是以目标局部矩形块之间的差值为基础的：矩形分块之间的差值反映了两块矩形外观的差异，如果设定好相对偏差的阈值(一股用δ表示)，就可以根据不同矩形块之间相对偏差的大小，判定该目标整体或局部的对称特征；各矩形块的值是由该矩形内所有像素点的灰度累加值(或者不同颜色通道的颜色值)累加而成，简称矩形值；为减少光照变化等影响，差值做归一化处理，即用差值除以整个目标框矩形值。

3.矩形分块特征主要有二矩形分块结构、三矩形分块结构、四矩形分块结构、六矩形分块结构、九矩形分块结构、十六矩形分块结构等等，还可以根据实际情况进一步细分矩形分块的大小和结构；矩形分块的大小分均等和不均等两种情况，均等一股用于对称分析，不均等一股用于图像目标外观的分析。

4.权利要求2中二矩形分块结构特性表现如图1所示，R₂₁、R_2r表示的是两个矩形分块，二矩形分块特性主要是用来判断目标的对称性；如果需要判断目标是否对称，则二矩形分块大小一致；如果目标不对称，可以根据两边选择不同的大小比例表示目标外观颜色的分布关系，图1的(c)～(f)则进一步描述了物体在多大程度上的不对称性；二矩形分块特性计算如下：

，

上式R_all表示整个目标矩形值，R₂₁、R_2r分别表示矩形子块值；Feature2_lr表示左右是否对称的特性，1表示对称，0表示不对称；abs()表示取绝对值函数，δ_lr、δ_tb表示偏差的阈值。

5.权利要求2中三矩形分块结构如图2所示，分左中右和上中下两种特性，反映的是视觉图像目标在空间上下或左右的分布特征：目标特征最常见的表现为中间突出、两边弱化，或者中间弱化两边突出等不同分布特征；三等分矩形结构的特征主要表示是否具有均匀分布的特征，其计算如下所示：

式中Feature_lmr_d表示目标在左、中、右三个矩形分块的外观分布特性，Feature_tib_d表示上中下均匀分布特性，取1表示三矩形分块颜色是均匀分布的，取0表示不是均匀的。

6.权利要求2中四矩形分块结构如图3所示，R₄₁、R₄₂、R₄₃、R₄₄表示四个子矩形分块，通过四个子矩形分块之间的比较，可以获得目标外观局部更精确的对称或不对称关系；除了包含二矩形分块特性外，还有左上、右上二分块对称特性，左上、左下二分块对称特性，左上、右下二分块对称特性，右上、左下二分块对称特性，右下、右上二分块对称特性，左下、右下二分块对称特性等。

7.权利要求2中九矩形分块特征如图5所示，其基本特征包含了三矩形分块特性，同时包含了一些更丰富的对称关系，甚至能表示一些特殊的形状：九矩形分块特性主要有“十字形”，主要有正十字形和旋转45度十字形两种；“中心结构”，很多目标表现为以目标重心为中心向四周发散的特征，在检测中往往集中在九分块的中心R₉₉；“团块目标”，有些目标表现为团块特征，团块特征的外观轮廓一股不容易用直观的数学表达式表示，却可以用矩形特征间接描述近似表达，即在检测目标矩形框中往往集中在九分块的中心，而四个角则往往包含背景信息，而这些背景信息能反衬出目标的特征，团块特性的判据如下所示：

，

式中Feature9_corner表示目标内部中心分布或四角分布的特性。

8.权利要求2中六分块矩形特性如图4所示，相比前面的矩形特征，这类结构特征主要用于长方形目标形状的检测。

9.矩形特性可以嵌套使用，如图4中(b)、(d)所示。

10.权利要求2中十六分块矩形特性如图6所示，除了上述简单的基本特性外，还有一个重要特性是梯形特性，梯形特性可以用来近似表示圆弧，设在矩形目标框中，梯形的上边在外，下边在里，且梯形不在中心位置，其朝上、下、左、右四个位置的计算和判据如下所示，

，

，

，

；

其他多分块特性：分块越细，目标的细节特征表现得越好，特征更加丰富和精细，但计算量也会加大，还会导致过度匹配。