CN101110101A - 识别图像的方法及设备 - Google Patents

Abstract

公开了一种识别图像的方法和设备。该方法包括步骤：从输入图像中检测出候补区域；基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；计算所述识别单元的直方图信息和/或相对几何关系确定所述候补区域的识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度；以及利用所述相似度判断输入图像中是否存在模板图像表示的物体图像。利用本发明的方法和设备，能够提高图像识别的准确度。

Description

识别图像的方法及设备

技术领域

本发明涉及图像处理技术，具体地，本发明涉及一种能够高准确度地识别采集的图像的方法和设备。

背景技术

越来越多的自动化过程中采用图像识别技术，并取得了显著的性能提高。图像识别的过程包含采集、检测、识别一系列步骤，受采集设备和采集环境的影响，输入的待识别图像可能存在较大的干扰，如模糊、遮挡、阴影、光照变化等，待识别的目标图像可能存在变形、或者旋转等问题。因此，如何高效准确的识别目标是图像识别技术需要研究的关键和难点之一。

在一些实际场景的图像识别应用中，目标的检测和识别存在一个连续的由远及近或由近及远的时间变化过程，通常情况下较远距离的待识别目标存在面积小分辨率低，特征信息相对较少的问题，近距离时图像面积较大分辨率较高，图像清晰而且特征信息量相对丰富。图19示出了两个在不同尺度下的交通标识图像的例子。因此，如何处理不同尺度下尤其是对低分辨率下的待识别目标图像的识别问题也是研究的关键和难点之一。

专利文献1(JP2005-44033)提出了一种图像检测技术，从输入图像中抽出分割图像，然后比较分割图像与欲识别图像的直方图特征，把相似度极大值的分割图像的位置作为欲识别图像的候选位置。在专利文献1中，针对各个候补位置进行尺度变换，将尺度变换后的分割图像与与识别图像的相似度进行比较来得到相似度最大的分割图像。

专利文献2(JP2005-346287)提出了一种图像识别技术，从输入图像得到若干分割图像，然后计算分割图像的鲜明程度。然后，基于鲜明程度选择最合适的模板，利用所选择的模板的像素特征与分割图像的像素特征进行比较，识别出分割图像。

上述专利文献虽然都提出将图像分割为多个区域，通过提取每个局部区域的特征信息并结合区域之间的关系特征来判别是否为标识，但是这类方法对图像质量敏感，对光照、变形、旋转等具有较差的鲁棒性，准确性不高。

发明内容

鉴于现有技术中存在的问题，提出了本发明。本发明的目的在于提出一种能够高准确度地识别输入的图像的方法和设备。

在本发明的一个方面，提出了一种识别图像的方法，包括步骤：从输入图像中检测出候补区域；基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；计算所述识别单元的直方图信息和/或相对几何关系；确定所述候补区域的基本识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的识别单元的直方图信息和/或相对几何关系之间的相似度；以及利用所述相似度判断输入图像中是否存在模板图像表示的物体图像。

在本发明的另一方面，提出了一种识别图像的设备，包括：候补检测装置，从输入图像中检测出候补区域；划分装置，基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；特征提取装置，计算所述识别单元的直方图信息和/或相对几何关系；匹配装置，确定所述候补区域的识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度；以及识别装置，利用所述相似度判断输入图像中是否存在模板图像表示的物体图像。

在本发明的又一方面，提出了一种识别图像的方法，包括步骤：

按照时间顺序输入图像序列；从所述输入图像序列的至少两幅输入图像中检测出候补区域；基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；计算所述识别单元的直方图信息和/或相对几何关系；针对所述至少两幅输入图像，确定所述候补区域的识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度；利用识别单元随着时间的变化规律来调节各个输入图像相似度的系数；利用调节后的系数对各个相似度进行加权求和来计算最终的相似度；利用所述最终相似度判断输入图像序列中是否存在模板图像表示的物体图像。

在本发明的又一方面，提出了一种识别图像的设备，包括：图像采集装置，按照时间顺序输入图像序列；候补检测装置，从所述输入图像序列的至少两幅输入图像中检测出候补区域；划分装置，基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；特征提取装置，计算所述识别单元的直方图信息和/或相对几何关系；匹配装置，针对所述至少两幅输入图像，确定所述候补区域的识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度；调节装置，利用识别单元随着时间的变化规律来调节各个输入图像相似度的系数，其中，利用调节后的系数对各个相似度进行加权求和来计算最终的相似度；识别装置，利用所述最终相似度判断输入图像序列中是否存在模板图像表示的物体图像。

利用本发明的上述配置，通过划分识别单元和分层处理，可以有效识别多种图像，而且该方法可以结合视频图像处理的过程实现效率和准确性方面的提高。

附图说明

图1示出了用来说明根据本发明第一实施方式的识别图像的设备的构成的方框图。

图2示出了用来说明二值图像的变化数的计算的示意图。

图3是在局部区域A₀作为一个基本识别单元的情况下的示例。

图4(A)～(H)示出了矩形区域A₀周围的各个区域及其变化数。

图5示出了用来说明检测二值化模板图像的基本识别单元的过程的流程图。

图6是用来说明基本识别单元之间的关系的示意图。

图7示出了图6所示的左转向标识图像的基本识别单元的层次划分示意图。

图8示出了根据第一实施方式的划分基本识别单元的方法的流程图。

图9示出了根据第一实施方式的分层匹配方法的流程图。

图10示出了根据本发明第一实施方式的图像识别方法的流程图。

图11示出了根据本发明第二实施方式的识别图像的设备的方框图。

图12示出了用来说明灰度图像的变化数的计算的示意图。

图13示出了在灰度图像的情况下模板图像的基本识别单元的划分过程。

图14示出了用来说明根据本发明第三实施方式的识别图像的设备的结构的方框图。

图15示出了在彩色图像的情况下模板图像的基本识别单元的划分过程。

图16示出了根据本发明的分层匹配过程的一个变型。

图17是用来说明本发明的识别单元划分方法的一个变型。

图18是根据本发明的识别图像的方法的一个变型。

图19示出了两个在不同尺度下的交通标识图像的例子。

具体的实施方式

下面对照附图以具体实施方式对本发明进行详细的说明。在下面的说明中，省略了那些对本领域的技术人员来说是公知的内容，因为对这些公知内容的描述将会导致本发明的特点、特性和优点变得不清楚。

【第一实施方式】

图1示出了用来说明根据本发明第一实施方式的识别图像的设备的构成的方框图。

由图1可以看出，第一实施方式的识别图像的设备具有离线部分100和在线部分200。

离线部分100包括对输入的模板图像进行二值化处理的第一二值化部分110、对二值模板图像进行划分以得到基本识别单元的第一划分部分120、将基本识别单元划分成层次的第一分层部分130、用于提取各个基本识别单元的直方图特征信息和它们之间的相对几何关系的第一特征提取部分140以及用来将各个模板图像与其基本识别单元的直方图信息和相对几何关系相对应地存储的模板存储器150。下面详细说明这些部分所执行的过程。

首先，在第一二值化部分110中对输入的模板图像进行二值化，然后由第一划分部分120提取该模板图像的基本识别单元，基本识别单元是一幅图像上局部变化度较大的区域。在本实施例中，通过计算局部图像的变化数来获取该区域中的变化度。具体的计算过程描述如下。

令A为二值化图像I上大小为l_m×l_n的矩形区域，利用下面公式(1)来计算该矩形区域的变化数：

$F=\frac{1}{l_m}\underset{m}{\mathrm{\Σ}}p\left(x_i\right)+\frac{1}{l_n}\underset{n}{\mathrm{\Σ}}p\left(y_j\right)---\left(1\right)$

其中p(x_i)表示直线x＝x_i在区域A内取值由0到1和由1到0的变化次数；而p(y_j)表示直线y＝y_j在区域A内取值由0到1和由1到0的变化次数。

图2示出了用来说明二值图像的变化数的计算的示意图。如图2所示，直线x＝x₀上共计两次0/1变化，直线y＝y₀共计4次。二值图像上的0/1和1/0变化次数大的区域的前景变化较大，高频信息量多。相反，变化次数小的区域前景变化较小，低频信息多。因此，二值图像的局部区域的变化数能够描述图像的前景变化的程度。

二值图像的基本识别单元指在某个尺度下，二值图像的局部区域在一定范围内其变化数为极大值。图3是在局部区域A₀作为一个基本识别单元的情况下的示例，区域A₀的变化数F₀＝4.715，它是周围的各个区域的变化数的极大值。

图4(A)～(H)示出了矩形区域A₀周围的各个区域以及按照上述的方法计算的变化数，其中(A)表示图3中的区域A₀向左上侧平移得到的区域A₁及其变化数F₁＝3.672；(B)表示在图3中的区域A₀向上平移得到的区域A₂及其变化数F₂＝4.117；(C)表在图3中的区域A₀向右平移得到的区域A₃及其变化数F₃＝3.991；(D)表示图3中的区域A₀向左平移得到的区域A₄及其变化数F₄＝4.59；(E)表示图3中的区域A₀向右平移得到的区域A₅及其变化数F₅＝3.932；(F)表示图3中的区域A₀向左下平移得到的区域A₆及其变化数F₆＝4.058；(G)表示图3中的的区域A₀向下平移得到的区域A₇及其变化数F₇＝3.628(H)表示图3中的区域A₀向右下平移得到的区域A₈及其变化数F₈＝4.136。可见，在区域A₀附近选择同样尺度的区域的变化数均小于区域A₀的变化数。因此，在该尺度下，将区域A₀确定为一个基本识别单元。

这样，在不同尺度下遍历二值化模板图像可以搜索到模板图像的所有基本识别单元。图5示出了用来说明检测二值化模板图像的基本识别单元的过程的流程图。

如图5所示，在步骤S110，输入二值化模板图像，例如一个左转向的交通标识图像。然后，在步骤S120，设定尺度，也就是局部图像的尺寸，例如32×32像素等等。

接下来，在步骤130，在所设定的尺度下，遍历整个图像，也就是获得整个图像中具有所设定的尺度的局部图像，然后计算所有这些局部图像的变化数。在步骤S140，搜索这些局部图像的变化数的极大值，并在步骤S150判断是否找到极大值。如果找到，则在步骤S160，将具有极大值的局部图像确定为一个基本识别单元，并且记录该基本识别单元的位置以及尺度信息。如果没有找到极大值，则流程返回到步骤S120，重新设定尺度，例如31×31，然后重复上述的步骤。

步骤S170，判断当前尺度是否是最小尺度，如果是，则结束整个过程，否则流程返回到步骤S120，重复上述的步骤。

由上述基本识别单元的定义和检出方法可以看出，二值图像的前景区域构成了尺度最大的一个基本识别单元。

在获得了一幅图像的所有基本识别单元之后，在第一分层部分130对这些基本识别单元进行分层处理。即，依据尺度关系对检出的基本识别单元划分层次，其中不同的层对应着不同尺度下的基本识别单元。相邻层次的基本识别单元之间则存在包含关系，同一层的基本识别单元可以重叠或者相交。由于不同层次可以对应于不同的尺度，因此基于不同层的基本识别单元与输入的待识别图像进行匹配可以使得识别方法具有尺度鲁棒性。

假设二值图像的全部前景区域对应的基本识别单元为第一层，则随着尺度的减小，基本识别单元的层数逐渐增大。随着层数的增大，基本识别单元刻画图像的细节信息的能力就越强，但并不意味着一个图像可以无限划分层次，因为一方面在达到一定尺度后无法找到基本识别单元，另一方面考虑到实际应用中尺度太小的基本识别单元鲁棒性较差。因此，通常在基本识别单元面积小于一定的阈值之后可以停止分层，这就是设定最小尺度的原因。

如果基本识别单元A_i对应的局部区域包含或者几乎包含基本识别单元A_j对应的局部区域，则A_j的层数高于A_i。以左转向标识图像为例，如图6所示，A、B₁和B₂为图像的基本识别单元，且A包含B₁和B₂。因此基本识别单元A层次较低，具有较大的尺度，B₁和B₂对应较高层次，具有较小的尺度。将图像中的所有基本识别单元依据层次排列，可以形成了图像的基本识别单元分层结构。

图7示出了图6所示的左转向标识图像的基本识别单元的层次划分示意图。如图7所示，左转向标识图中存在6个基本识别单元，划分为三个层次。第一层次的基本识别单元用A₁₁表示，第二层次的基本识别单元用A₂₁和A₂₂表示，第三层次的基本识别单元用A₃₁、A₃₂和A₃₃表示。

在获得一幅模板图像的所有基本识别单元并且分层之后，在第一特征提取部分140提取各个基本识别单元在x方向和y方向的直方图，并且与该基本识别单元的直方图信息、位置信息和尺度等等信息一起存储在模板存储器150中。

采用如上所述的方法，可以将众多的已知图像作为模板图像来提取基本识别单元以及将其特征信息与该模板图像相对应地存储在模板存储器150中。

如图1所示，在线部分200可以通过对实时采集的图像与模板存储器150中存储的模板进行匹配，来识别采集的图像所表示的物体。在线部分200包括用于实时采集图像的图像采集部分208、利用预定的算法对采集的图像进行形状检测以便获得候补区域的候补检测部分209、对候补区域进行二值化处理的第二二值化部分210、借助于模板存储器150中存储的各个模板的基本识别单元来将划分候补区域的识别单元的第二划分部分220、借助于模板存储器150中存储的各个模板来对识别单元进行分层的第二分层部分230、提取候补区域的各个识别单元的特征信息的第二特征提取部分240、将候补区域的各个识别单元的特征信息与模板存储器150中存储的各个模板图像的特征信息进行匹配的匹配部分250以及根据匹配部分250所得到的匹配结果来识别候补区域中的图像所代表的物体及其含义的识别部分260。下面详细说明这些部分所执行的过程。

图像采集部分208，例如是照相机，拍摄到一幅图像之后，输入到候补检测部分209。候补检测部分209通过现有的技术检测出候补的待识别区域，例如针对交通标识，采用radio symmetry方法(见Loyet al，“Fast Shape-based Road Sign Detection for a Driver AssistanceSystem”Inter.Conf.on Intelligent Robots and Systems，Sept-Oct，Sendal，Japan，2004)进行形状检测。在线识别部分针对候补区域是否为关注的确定标识来进行匹配和识别。

接下来，在第二二值化部分210中对各个候补区域进行二值化处理。把待识别目标区域二值化之后，还可以将其归一化大小为模板图像的大小。然后由第二划分部分参考模板存储器150中存储的模板图像的基本识别单元划分结果进行识别单元的划分，划分方法如图8所示。

如图8所示，在步骤S210，输入二值化待识别目标图像，即候补区域，然后将其归一化成与模板图像相对应的大小。在步骤S220，将归一化的候补区域与模板图像轮廓对准，然后在步骤230划分图像，这里首先在步骤S240从模板存储器150中读出模板图像基本识别单元的划分结果，然后依据该划分结果来划分候补区域。

这里，为了清楚区分的目的，将候补区域中与模板图像的基本识别单元相对应的局部图像称为识别单元，因为根据模板图像直接划分的局部图像不一定是具有变化数极大值的布局图像。

这里，若对应的切分区域面积小于预定的阈值，则舍弃该候补区域。上述面积的计算可以依据输入待识别目标区域的尺度来进行。反之，则确定候补区域中与模板图像的基本识别单元具有对应关系的识别单元。在步骤S250，依据模板图像的划分结果划分这些识别单元的层次。然后，在步骤S260和270，计算局部区域的变化数，调整该局部区域的邻域并且计算其变化数。在步骤S280，以变化数极值点所在的区域的位置来重新定位该识别单元。这样，可以依据模板图像的基本识别单元的划分结果来确定候补区域中的基本识别单元。

因此，在第二分层部分230中依据模板图像的基本识别单元的层数来确定候补区域的识别单元的层数。

层次划分之后，第二特征提取部分240提取每个识别单元的水平和垂直方向直方图，以及这些识别单元之间的相对几何关系。这些相对几何关系包括同一层的识别单元之间的相对位置、相对面积比例关系等以及相邻层之间的相对位置等等。

图9示出了分层匹配的过程。如图9所示。在开始匹配时，令匹配的层N＝1，并且在步骤S310，开始第N层匹配。

在步骤S320，匹配该层的所有识别单元的直方图和模板图像相应层的基本识别单元的直方图，也就是匹配候补区域的识别单元和模板图像的基本识别单元的水平和垂直方向直方图特征，例如采用直方图曲线相关来得到直方图相似度。

在步骤S330，判断所得到的直方图相似度是否大于当前层的阈值。如果大于当前层的阈值，则在步骤S340保存当前层的相似度，否则流程转到步骤S390，给出否定回答，也就是判断候补区域中没有模板图像所表示的物体。

接下来，在步骤S350判断当前层是否是最后一层，如果不是最后一层，则将N加1，然后流程返回步骤S310，重复上述的过程。否则，在步骤S360，综合所保存的各层的相似度，也就是通过对这些层的相似度进行加权求和来得到总的匹配相似度。

在步骤S370判断该总的匹配相似度是否大于识别阈值，如果大于，在步骤S380给出肯定回答，也就是输入的图像中存在当前的模板图像所表示的物体。否则，在步骤S390给出否定的回答。

此外，在匹配直方图的同时，还可以匹配候补区域的识别单元的相对几何关系和模板图像的基本识别单元的相对几何关系，来提高匹配的准确度。

图10示出了根据本发明第一实施方式的图像识别过程。如图10所示，在步骤S410输入待识别的图像。在步骤S420，利用预定的形状检测算法对输入的待识别图像进行形状检测，以得到可能包含目标的候补区域。在步骤S430，对候补区域进行二值化处理，以减小噪声的影响，并且将二值化的候补区域归一化为与模板图像相对应的尺寸。

在步骤S440，划分候补区域的识别单元，首先在步骤S450从模板存储器150中读出各个模板图像的基本识别单元划分结果，借助于该划分结果来划分候补区域的识别单元，并对其进行分层。

在步骤S460，对候补区域进行分层融合匹配，首先在步骤S470从模板存储器150读出相应模板的特征信息，也就是各层的基本识别单元的直方图信息和/或这些基本识别单元之间的相对几何关系，然后计算这些直方图信息和/或相对几何关系与候补区域的识别单元的直方图信息和/或相对几何关系之间的相似度。最后，在步骤S480，通过将该相似度与预定的识别阈值相比较来确定输入的图像中是否存在模板图像所代表的物体。这样，用模板存储器150中的各个模板与输入的待识别图像进行匹配，就可以判断出图像采集部分输入的图像中是否包含目标物体。

如上所述，由于二值化过程可以降低图像噪声的影响，所以可以对内容简单、颜色对比鲜明的待识别图像进行二值化，来增强图像识别性能的鲁棒性。此外，由于这些图像往往具有较高对比度的颜色，因此二值化过程并不会丢失太多信息，并且具有较高的识别效率。

以上以二值图像为例来说明本发明的第一实施方式，但是本发明同样可以对灰度图像和彩色图像进行识别，具体描述如下。

【第二实施方式】

图11示出了根据本发明第二实施方式的识别图像的设备的方框图。

由图11可以看出，第二实施方式的识别图像的设备同样具有离线部分100和在线部分200。

离线部分100包括提取输入的模板图像的边缘以便得到边缘模板图像的第一边缘提取部分310、对边缘图像模板图像进行划分以得到基本识别单元的第一划分部分320、将基本识别单元划分成层次的第一分层部分330、用于提取各个基本识别单元的直方图信息和它们之间的相对几何关系的第一特征提取部分340以及用来将各个模板图像与其基本识别单元的直方图信息和相对几何关系相对应地存储的模板存储器350。

在线部分200可以对实时采集的图像与模板图像存储器350中存储的模板进行匹配，来识别采集的图像所表示的物体。在线部分200包括用于实时采集图像的图像采集部分408、利用预定的算法对采集的图像进行形状检测以便获得候补区域的候补检测部分409、利用预定的边缘提取算法提取候补区域的边缘图像的第二边缘提取部分410、借助于模板存储器350中存储的各个模板来划分候补区域的识别单元的第二划分部分420、借助于模板存储器350中存储的各个模板来对对识别单元进行分层的第二分层部分430、提取候补区域的各个识别单元的特征信息的第二特征提取部分440、将候补区域的各个识别单元的特征信息与模板存储器150中存储的各个模板图像的特征信息进行匹配的匹配部分450以及根据匹配部分450所得到的匹配结果来识别候补区域中的图像所代表的物体及其含义的识别部分460。

与二值图像不同，灰度图像局部区域变化程度采用求取边缘计算边缘点的方式来获取，通过统计归一化后边缘点来划分基本识别单元。因此，这里仅仅描述与第一实施方式不同的操作过程。

在第一划分部分320和第二划分部分330中如下计算灰度图像中某区域的变化度(变化数)：

令A为灰度图像上大小为l_m×l_n的矩形区域，A_E为A的边缘图像，边缘点p的法线方向为θ_i，则A的变化数计算方式如下所示，具体的实例则如图12所示。

$F=\frac{1}{l_m}\underset{i}{\mathrm{\Σ}}{p}_i\·{\cos \mathrm{\θ}}_i+\frac{1}{l_n}\underset{j}{\mathrm{\Σ}}{p}_j\·{\sin \mathrm{\θ}}_i---\left(2\right)$

此外，针对灰度图像，每个基本识别单元的直方图信息主要包括该局部区域的灰度分布图。

图13示出了在灰度图像的情况下模板图像的基本识别单元的划分过程。

如图13所示，在步骤S510，输入作为模板图像的灰度图像，例如一个左转向标识图像。然后，在步骤S520，设定尺度，也就是局部图像的尺寸，例如32×32像素等等。

接下来，在步骤530，在所设定的尺度下，遍历整个图像，也就是获得整个图像中具有所设定的尺度的局部图像，然后利用上述的计算方法计算所有这些局部图像的变化数。在步骤S540，搜索这些局部图像的变化数的极大值，并在步骤S550判断是否找到极大值。如果找到，则在步骤S560，将具有极大值的局部图像看作一个基本识别单元，并且记录该基本识别单元的位置以及尺度信息。如果没有找到极大值，则流程返回到步骤S520，重新设定尺度，例如31×31，然后重复上述的步骤。

步骤S570，判断当前尺度是否是最小尺度，如果是，则结束整个过程，否则流程返回到步骤S520，重复上述的步骤。

【第三实施方式】

图14示出了用来说明根据本发明第三实施方式的识别图像的设备的结构的方框图。

由图14可以看出，第三实施方式的识别图像的设备同样具有离线部分100和在线部分200。

离线部分100包括通过计算变化数来划分模板图像的基本识别单元的第一划分部分520、分析各个基本识别单元的主色的第一主色分析部分525、将基本识别单元划分成层次的第一分层部分530、用于提取各个基本识别单元的直方图特征信息和它们之间的相对几何关系的第一特征提取部分540以及用来将各个模板图像与其基本识别单元的直方图信息和相对几何关系相对应地存储的模板存储器550。

在线部分200可以对实时采集的图像与模板图像存储器550中存储的模板进行匹配，来识别采集的图像所表示的物体。在线部分200包括用于实时采集彩色图像的图像采集部分608、利用预定的算法对采集的彩色图像进行形状检测以便获得候补区域的候补检测部分609、借助于模板存储器550中存储的各个模板来划分候补区域的识别单元的第二划分部分620、借助于模板存储器550中存储的各个模板来对对识别单元进行分层的第二分层部分630、提取候补区域的各个识别单元的特征信息的第二特征提取部分640、将候补区域的各个识别单元的特征信息与模板存储器550中存储的各个模板图像的特征信息进行匹配的匹配部分650以及根据匹配部分650所得到的匹配结果来识别候补区域中的图像所代表的物体及其含义的识别部分660。

与二值图像和灰度图像不同，彩色图像局部区域变化程度采用计算颜色边缘的方法统计边缘点数目来获取，通过统计归一化后边缘点来划分基本识别单元。因此，这里仅仅描述与第一实施方式不同的操作过程。

在第一和第二主色分析部分525和625中，对每个基本识别单元或者识别单元提取该局部区域的主色(通过颜色直方图统计，除去背景颜色之外，以比例最大的颜色为主色)，以该主色对应的颜色变化空间域内的值如(HSI空间)作为基本识别单元或者识别单元的特征之一参与分层匹配。这样，可以取得更加准确和识别效果，而且结合分层识别的过程，可以有效的提高识别效率。

彩色图像的水平直方图统计方法如下：设直线x＝x_i在基本识别单元或者识别单元的区域内象素点主色(所占比例最大的颜色为主色)的颜色变换空间的值作为其水平直方图在x_i处的值，遍历基本识别单元或者识别单元对应局部区域所有x_i点，可以得到水平方向的直方图，垂直方向同理可得。采用该直方图统计的匹配方法具有较强的鲁棒性。

图15示出了在彩色图像的情况下模板图像的基本识别单元的划分过程。

如图15所示，在步骤S610，输入作为模板图像的彩色图像，例如一个左转向标识图像。然后，在步骤S620，设定尺度，也就是局部图像的尺寸，例如32×32像素等等。

接下来，在步骤630，在所设定的尺度下，遍历整个图像，也就是获得整个图像中具有所设定的尺度的局部图像，然后利用上述的计算方法计算所有这些局部图像的变化数。在步骤S640，搜索这些局部图像的变化数的极大值，并在步骤S650判断是否找到极大值。如果找到，则在步骤S660，将具有极大值的局部图像看作一个基本识别单元，并且记录该基本识别单元的位置以及尺度信息。如果没有找到极大值，则流程返回到步骤S620，重新设定尺度，例如31×31，然后重复上述的步骤。

步骤S670，判断当前尺度是否是最小尺度，如果是，则结束整个过程，否则流程返回到步骤S620，重复上述的步骤。

【变型1】

在以上具体实施方式中，识别的过程为基于多层匹配的识别。但是，并非一定要针对各个层进行匹配。在实际应用中，当识别目标尺度大小已知时，可以仅对某一层的识别单元进行匹配，并将匹配结果作为目标的最终匹配结果。这种简化过程可以提高匹配效率，在某些情况下其识别准确度也不会降低，如视频跟踪识别过程中，若需要判断先前帧中已经识别出来的目标是否在当前帧中预测的位置时，可以对预测位置处的待识别区域可以采取这种单层识别的方法实现高效率的匹配。

【变型2】

在以上的具体实施方式中，均假设待识别目标可以划分出和模板图像同等层数的识别单元，每层对应的识别单元数量也相同。在实际应用中，在对识别单元面积等进行约束时(面积小于阈值或者尺度较小时，无法提取可靠的特征信息，因此加以条件约束)，待识别目标获得的识别单元层数可能小于模板图像的基本识别单元层数，或者对应层中识别单元的数量不一致。

在这种情况下，分层匹配需要添加分层质量因子(具体定义为0到1之间的数值，它描述待识别目标的识别单元可划分的层数与模板图像划分层数之间的差别，与模板层数相同时为1，相差层数量越大则分层质量因子越小)和划分质量因子(具体定义为为0到1之间的树枝，描述对应某一层时，待识别目标在该层的识别单元数目与模板图像在该层的基本识别单元数目之间的差别，数目相等时为1，差别越大则划分质量因子越小)重新评估识别结果。计算这两个因子的流程图如图16所示。

如图16所示，在步骤S710和S720，利用如上所述的方法确定基本识别单元并对其分层。在待识别目标识别单元检出和分层之后，在步骤S730和S740计算分层质量因子和划分质量因子。在分层融合匹配过程中，这两个因子影响每层的相似性匹配结果和最终的识别结果。一种用于融合各层的匹配结果策略如下描述：若令每层的匹配相似度为S_i，对应的划分质量因子为α_i，分层质量因子为ρ，分层匹配结果为s，则：

$\mathrm{\ρ}\·\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i\·S_i---\left(3\right)$

【变型3】

在判断图像的某块局部图像是否为基本识别单元时，需要在其邻域内搜索变化数极大值。如果存在极值大则该块图像为基本识别单元，反之则不存在。在搜索极大值时，除了在邻域内平移搜索之外，还可以加入对扩大区域或者缩小区域的变化数的计算，若该扩大或者缩小的图像区域的变化数依旧为极大值，则其为具有尺度鲁棒性的基本识别单元，这表明该基本识别单元在一定的尺度变化范围内是鲁棒的。如图4中的基本识别单元也具有尺度不变性，相比区域扩大后的变化数或者减小区域后的变化数，其变化数依旧为极大值，如图17所示，其中(A)表示较小尺度下的局部图像，变化数是3.372，(B)表示较大尺度下的局部图像，变化数是4.267。

【变型4】

本发明提供的分层识别方法可以方便的扩充到在连续时间序列下的图像目标检测中，以有效地提高图像中目标检测和跟踪的准确性。

在时间序列图像目标检测中增强匹配的方法如图18所示。首先在步骤S810和S820，检测和识别当前帧中可能的目标。然后在步骤S840和S850保留每个可能目标区域的识别参数，这些参数主要指每层的匹配相似度S_i和每个基本识别单元的匹配相似度。在步骤S860读取前M帧(M≥1)的识别参数序列，来计算增强匹配系数，在步骤S870对当前帧的识别结果进行增强处理，并给出识别的结果。

设增强匹配系数初始值为1.0，若识别参数序列每满足一条以下列举的规律特点，则增强匹配系数增大，不满足则降低增强匹配系数：

随着时间的推进，待识别目标的识别单元可划分的层数呈现增大的趋势；

随着时间的推进，同一层相对应的识别单元的直方图特征相似度呈现增强的趋势；

随着时间的推进，同一识别单元的位置误差量呈现下降的趋势。

最终的识别结果是当前层识别结果S与增强匹配系数κ的融合结果。本发明采取乘积的方法获取增强处理结果S′，即S′＝κ·S。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变换或替换，都应涵盖在本发明的包含范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (20)

1.一种识别图像的方法，包括步骤：

从输入图像中检测出候补区域；

基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；

计算所述识别单元的直方图信息和/或相对几何关系；

确定所述候补区域的基本识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的识别单元的直方图信息和/或相对几何关系之间的相似度；以及

利用所述相似度判断输入图像中是否存在模板图像表示的物体图像。

2.根据权利要求1所述的方法，还包括步骤：

按照模板图像的基本识别单元的层次划分所述候补区域的基本识别单元；

其中，所述相似度是通过对各个层次的识别单元的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度进行加权求和而得到的。

3.根据权利要求2所述的方法，其中利用表示识别单元的划分质量的第一因子和表示识别单元的分层质量的第二因子对各层的相似度进行调节。

4.根据权利要求1或2所述的方法，其中所述图像是彩色图像，

所述计算步骤还包括步骤：确定所述识别单元中比例最大的颜色，作为主色，并针对所述主色或者所述主色在颜色变换空间中的值来计算所述识别单元的直方图信息。

5.根据权利要求1或2所述的方法，其中通过计算所述模板图像中各个局部图像的变化数，来将变化数极值点处的局部图像确定为基本识别单元。

6.根据权利要求5所述的方法，其中所述模板图像是二值图像，所述变化数是所述模板图像的各个局部图像内的像素沿着像素行的变化次数的均值和沿着像素列的变化次数的均值的和。

7.根据权利要求5所述的方法，其中所述模板图像是灰度图像，所述变化数是所述模板图像的各个局部图像内的边缘像素的值在水平方向和垂直方向的投影均值的和。

8.根据权利要求5所述的方法，其中所述模板图像是彩色图像，所述变化数是所述模板图像的各个局部图像中颜色发生变化的次数，

所述方法还包括步骤：确定所述模板图像的各个局部图像中比例最大的颜色，作为主色，并针对所述主色提取基本识别单元的直方图信息。

9.一种识别图像的设备，包括：

候补检测装置，从输入图像中检测出候补区域；

划分装置，基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；

特征提取装置，计算所述识别单元的直方图信息和/或相对几何关系；

匹配装置，确定所述候补区域的识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度；以及

识别装置，利用所述相似度判断输入图像中是否存在模板图像表示的物体图像。

10.根据权利要求9所述的设备，还包括分层装置，用于按照模板图像的基本识别单元的层次划分所述候补区域的识别单元；

其中，所述相似度是通过对各个层次的识别单元的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度进行加权求和而得到的。

11.根据权利要求10所述的设备，其中利用表示识别单元的划分质量的第一因子和表示基本识别单元的分层质量的第二因子对各层的相似度进行调节。

12.根据权利要求9或10所述的设备，其中所述图像是彩色图像，

所述设备还包括主色分析装置，用于确定所述识别单元中比例最大的颜色，作为主色，以及所述特征提取装置针对所述主色或者所述主色在颜色变换空间中的值来计算所述识别单元的直方图信息。

13.根据权利要求9或10所述的设备，其中通过计算所述模板图像中各个局部图像的变化数，来将变化数极值点处的局部图像确定为基本识别单元。

14.根据权利要求13所述的设备，其中所述模板图像是二值图像，所述变化数是所述模板图像的各个局部图像内的像素沿着像素行的变化次数的均值和沿着像素列的变化次数的均值的和。

15.根据权利要求13所述的设备，其中所述模板图像是灰度图像，所述变化数是所述模板图像的各个局部图像内的边缘像素的值在水平方向和垂直方向的投影均值的和。

16.根据权利要求13所述的设备，其中所述模板图像是彩色图像，所述变化数是所述模板图像的各个局部图像中颜色发生变化的次数，

将所述模板图像的各个局部图像中比例最大的颜色确定为主色，并针对所述主色提取所述模板图像的基本识别单元的直方图信息。

17.一种识别图像的方法，包括步骤：

按照时间顺序输入图像序列；

从所述输入图像序列的至少两幅输入图像中检测出候补区域；

基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；

计算所述识别单元的直方图信息和/或相对几何关系；

针对所述至少两幅输入图像，确定所述候补区域的识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度；

利用识别单元随着时间的变化规律来调节各个输入图像相似度的系数；

利用调节后的系数对各个相似度进行加权求和来计算最终的相似度；

利用所述最终相似度判断输入图像序列中是否存在模板图像表示的物体图像。

18.根据权利要求17所述的方法，当识别单元的变化规律满足下面至少之一时，增加所述系数：

随着时间的推进，待识别目标的识别单元可划分的层数呈现增大的趋势；

随着时间的推进，同一层相对应的识别单元的直方图特征相似度呈现增强的趋势；以及

随着时间的推进，同一识别单元的位置误差量呈现下降的趋势。

19.一种识别图像的设备，包括：

图像采集装置，按照时间顺序输入图像序列；

候补检测装置，从所述输入图像序列的至少两幅输入图像中检测出候补区域；

划分装置，基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；

特征提取装置，计算所述识别单元的直方图信息和/或相对几何关系；

匹配装置，针对所述至少两幅输入图像，确定所述候补区域的识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度；

调节装置，利用识别单元随着时间的变化规律来调节各个输入图像相似度的系数，其中，利用调节后的系数对各个相似度进行加权求和来计算最终的相似度；

识别装置，利用所述最终相似度判断输入图像序列中是否存在模板图像表示的物体图像。

20.根据权利要求19所述的设备，当识别单元的变化规律满足下面至少之一时，增加所述系数：

随着时间的推进，待识别目标的识别单元可划分的层数呈现增大的趋势；

随着时间的推进，同一层相对应的识别单元的直方图特征相似度呈现增强的趋势；以及

随着时间的推进，同一识别单元的位置误差量呈现下降的趋势。

Images