CN104063681B - 一种活动对象图像识别方法及装置 - Google Patents

Abstract

本发明公开了一种活动对象图像识别方法及装置，属于图像处理领域。方法包括：根据视频中预定数量帧图像，建立图像中活动对象的外表模型，外表模型包括图像中活动对象的至少两个部位的图像块，部位包括活动对象的躯体及与躯体活动连接的活动部；以各部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域；对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的活动对象图像；根据得到的每一帧图像中需识别的活动对象图像，确定出活动对象图像在每一帧图像中的位置。装置包括建立模块、检测模块、组合模块和确定模块。本发明建立的外表模型真实体现活动对象的特征，在识别活动对象时不会造成误检测。

Description

一种活动对象图像识别方法及装置

技术领域

本发明涉及图像处理领域，特别涉及一种活动对象图像识别方法及装置。

背景技术

人体追踪指，在视频的连续帧图像中识别出不断更新位置的人体图像。由于人体在图像中成像的复杂表现，比如，不同人有着不同的体形、在生活中穿着不同颜色的衣服、以及在生活场景中会被干扰物遮挡，因此，要实现人体追踪非常具有挑战性。

现有的人体追踪方法包括：首先，获取针对身体的特定特征(比如眼睛、头或身体轮廓)的大量图像样本，其次，使用图像样本训练出分类器(比如支持向量机和Adaboost分类器)，然后，以每帧图像的每个像素为中心，获得与图像样本相同大小的图像块，最后，采用分类器对每个图像块进行分类，并将类别为人体的像素进行组合，得到检测到的人体目标。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：人体的身体变化很大，图像样本不能完全描述人体的身体特征，采用分类器易造成误检测。

发明内容

为了解决人体追踪中采用分类器造成的误检测问题，本发明实施例提供了一种活动对象图像识别方法及装置。所述技术方案如下：

第一方面，本发明提供了一种活动对象图像识别方法，所述方法包括：

根据视频中预定数量帧图像，建立所述图像中活动对象的外表模型，所述外表模型包括所述图像中活动对象的至少两个部位的图像块，所述部位包括所述活动对象的躯体及与所述躯体活动连接的活动部；

分别以各所述部位的图像块为图像模板，在所述视频中每一帧图像中，检测与所述图像模板相匹配的图像区域；

对检测到的与所述图像模板相匹配的图像区域进行组合，得到所述每一帧图像中需识别的活动对象图像；

根据得到的所述每一帧图像中需识别的活动对象图像，确定出所述活动对象图像在所述每一帧图像中的位置；

所述活动对象包括人体，所述外表模型包括所述图像中人体的至少两个身体部位的图像块，所述身体部位包括所述人体的头、上肢、下肢和躯干；

所述以各所述部位的图像块为图像模板，在所述视频中的每一帧图像中，检测与所述图像模板相匹配的图像区域，包括：

获取各所述身体部位的图像块的第一特征集合；

获取所述视频中每一帧图像的第二特征集合，所述第一特征集合和所述第二特征集合为至少一种图像特征构成的集合，所述图像特征包括轮廓线、颜色直方图和哈尔Harr-like特征，所述第一特征集合和所述第二特征集合中的图像特征相同；

在所述第二特征集合中，查找与所述第一特征集合匹配的特征集合；

确定与查找到的所述特征集合对应的图像区域。

结合第一方面的第一实施方式，在第一方面的第三实施方式中结合第一方面，在第一方面的第一实施方式中，所述对检测到的与所述图像模板相匹配的图像区域进行组合，得到所述每一帧图像中需识别的活动对象图像，包括：

按照预定规则，从检测到的与所述图像模板相匹配的图像区域中，确定属于所述图像中人体的实际身体部位的图像区域；

对属于所述图像中人体的实际身体部位的图像区域进行组合，得到所述每一帧图像中需识别的人体图像；

其中，所述预定规则包括以下规则中的一种或多种：

属于所述图像中人体的实际身体部位的图像区域的邻近图像区域为检测到的与所述图像模板相匹配的图像区域；

属于所述图像中人体的实际身体部位的图像区域对应的身体部位和属于所述图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位包括每个所述身体部位；

属于所述图像中人体的实际身体部位的图像区域对应的身体部位与属于所述图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系与所述人体各身体部位的实际位置关系一致；

属于当前帧图像中人体的实际身体部位的图像区域对应的身体部位与属于所述当前帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系、与属于上一帧图像中人体的实际身体部位的图像区域对应的身体部位与属于所述上一帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系一致。

结合第一方面的第一实施方式，在第一方面的第二实施方式中，所述根据视频中预定数量帧图像，建立所述图像中活动对象的外表模型，包括：

获取所述视频中所述预定数量帧图像；

在获取的每一帧图像中，捕捉人体各身体部位的图像块的颜色和尺度；

统计所述每一帧图像中捕捉到的各所述身体部位的图像块的颜色，得到属于各所述身体部位的图像块的颜色范围；

根据捕捉的各所述身体部位的图像块的尺度和得到的各所述身体部位的图像块的颜色范围，建立所述图像中人体的外表模型。

结合第一方面的第一实施方式和第一方面的第二实施方式，在第一方面的第三实施方式中，所述在获取的每一帧图像中，捕捉人体各身体部位的图像块的颜色和尺度，包括：

在获取的每一帧图像中，检测所述人体的头的图像块，并捕捉所述人体的头的图像块的颜色和尺度；

在获取的每一帧图像中，检测所述人体的骨架，所述人体的骨架包括身体部位中除头外的身体部位的骨架；

以所述人体的骨架为中心，确定出身体部位中除头外的身体部位的图像块，并捕捉所述身体部位中除头外的身体部位的图像块的颜色和尺度。

第二方面，本发明提供了一种活动对象图像识别装置，所述装置包括：

建立模块，用于根据视频中预定数量帧图像，建立所述图像中活动对象的外表模型，所述外表模型包括所述图像中活动对象的至少两个部位的图像块，所述部位包括所述活动对象的躯体及与所述躯体活动连接的活动部；

检测模块，用于分别以各所述部位的图像块为图像模板，在所述视频中每一帧图像中，检测与所述图像模板相匹配的图像区域；

组合模块，用于对检测到的与所述图像模板相匹配的图像区域进行组合，得到所述每一帧图像中需识别的活动对象图像；

确定模块，用于根据得到的所述每一帧图像中需识别的活动对象图像，确定出所述活动对象图像在所述每一帧图像中的位置；

所述活动对象包括人体，所述建立模块建立的所述外表模型包括所述图像中人体的至少两个身体部位的图像块，所述身体部位包括所述人体的头、上肢、下肢和躯干；

所述检测模块包括：

第一获取单元，用于获取各所述身体部位的图像块的第一特征集合，所述第一特征集合为至少一种图像特征构成的集合，所述图像特征包括轮廓线、颜色直方图和哈尔Harr-like特征；

第二获取单元，用于获取所述视频中每一帧图像的第二特征集合，所述第二特征集合为至少一种所述图像特征构成的集合，所述第一特征集合和所述第二特征集合中的图像特征相同；

查找单元，用于在所述第二特征集合中，查找与所述第一特征集合匹配的特征集合，并确定与查找到的所述特征集合对应的图像区域。

结合第二方面，在第二方面的第一实施方式中，所述组合模块用于，

按照预定规则，从检测到的与所述图像模板相匹配的图像区域中，确定属于所述图像中人体的实际身体部位的图像区域；

对属于所述图像中人体的实际身体部位的图像区域进行组合，得到所述每一帧图像中需识别的人体图像；

其中，所述预定规则包括以下规则中的一种或多种：

属于所述图像中人体的实际身体部位的图像区域的邻近图像区域为检测到的与所述图像模板相匹配的图像区域；

属于所述图像中人体的实际身体部位的图像区域对应的身体部位和属于所述图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位包括每个所述身体部位；

属于所述图像中人体的实际身体部位的图像区域对应的身体部位与属于所述图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系与所述人体各身体部位的实际位置关系一致；

属于当前帧图像中人体的实际身体部位的图像区域对应的身体部位与属于所述当前帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系、与属于上一帧图像中人体的实际身体部位的图像区域对应的身体部位与属于所述上一帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系一致。

结合第二方面的第一实施方式，在第二方面的第二实施方式中，所述建立模块包括：

第三获取单元，用于获取所述视频中所述预定数量帧图像；

捕捉单元，用于在获取的每一帧图像中，捕捉人体各身体部位的图像块的颜色和尺度；

统计单元，用于统计所述每一帧图像中捕捉到的各所述身体部位的图像块的颜色，得到属于各所述身体部位的图像块的颜色范围；

建立单元，用于根据捕捉的各所述身体部位的图像块的尺度和得到的各所述身体部位的图像块的颜色范围，建立所述图像中人体的外表模型。

结合第二方面的第一实施方式和第二方面的第二实施方式，在第二方面的第三实施方式中，所述捕捉单元用于，

在获取的每一帧图像中，检测所述人体的头的图像块，并捕捉所述人体的头的图像块的颜色和尺度；

在获取的每一帧图像中，检测所述人体的骨架，所述人体的骨架包括身体部位中除头外的身体部位的骨架；

以所述人体的骨架为中心，确定出身体部位中除头外的身体部位的图像块，并捕捉所述身体部位中除头外的身体部位的图像块的颜色和尺度。

本发明实施例提供的技术方案带来的有益效果是：

通过根据视频中预定数量帧图像，建立图像中活动对象的外表模型，外表模型包括图像中活动对象的至少两个部位的图像块；外表模型基于视频中图像建立，能够真实体现视频中活动对象外表的特征；以各部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域；各部位的图像块包含了各部位的颜色和尺度，不会随着图像中活动对象位置的改变而出现剧烈的变化，能够形成持续有效的检测；对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的活动对象图像；由于外表模型真实体现视频中活动对象的特征，且能够形成持续有效的检测，因此，在识别活动对象图像时不会造成误检测，使得在根据得到的每一帧图像中需识别的活动对象图像，确定出活动对象图像在每一帧图像中的位置时，能够对活动对象进行持续有效的追踪。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种活动对象图像识别方法的流程图；

图2是本发明实施例提供的又一种活动对象图像识别方法的流程图；

图3是本发明实施例提供的其中一帧图像中检测出的人体的骨架的示意图；

图4是本发明实施例提供的当前帧图像中查找到的人体图像的各身体部位的图像块的示意图；

图5是本发明实施例提供的一种活动对象图像识别装置的结构示意图；

图6是本发明实施例提供的又一种活动对象图像识别装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了便于对本发明实施例提供的技术方案的理解，首先对活动对象进行介绍。在本实施例中，活动对象指具备活动能力的物体，包括人体、动物、以及部分机械产品(包括机器人)。

实施例一

本发明实施例提供了一种活动对象图像识别方法，参见图1，该方法流程包括：

在步骤101中，根据视频中预定数量帧图像，建立图像中活动对象的外表模型。

其中，外表模型包括图像中活动对象的至少两个部位的图像块。该部位包括活动对象的躯体及与该躯体活动连接的活动部。

作为本实施例的可选实施方式，可以根据视频中起始的预定数量帧图像，建立外表模型。预定数量可以是3～5。

在步骤102中，以各部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域。

在步骤103中，对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的活动对象图像。

在步骤104中，根据得到的每一帧图像中需识别的活动对象图像，确定出活动对象图像在每一帧图像中的位置。

本发明实施例通过根据视频中预定数量帧图像，建立图像中活动对象的外表模型，外表模型包括图像中活动对象的至少两个部位的图像块；外表模型基于视频中图像建立，能够真实体现视频中活动对象外表的特征；以各部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域；各部位的图像块包含了各部位的颜色和尺度，不会随着图像中活动对象位置的改变而出现剧烈的变化，能够形成持续有效的检测；对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的活动对象图像；由于外表模型真实体现视频中活动对象的特征，且能够形成持续有效的检测，因此，在识别活动对象图像时不会造成误检测，使得在根据得到的每一帧图像中需识别的活动对象图像，确定出活动对象图像在每一帧图像中的位置时，能够对活动对象进行持续有效的追踪。

实施例二

本发明实施例将以活动对象为人体为例，对一种活动对象图像识别方法进行一示例性说明，参见图2，该方法流程包括：

在步骤201中，获取视频中预定数量帧图像。

其中，该视频可以是录制有人体的视频。预定数量可以是3～5。

作为本实施例的可选实施方式，可以获取视频中起始的预定数量帧图像。这样，只需要将视频播放较小的部分，就能获得预定数量帧图像，花费的时间较少。

在步骤202中，在获取的每一帧图像中，检测人体的头的图像块，并捕捉人体的头的图像块的颜色和尺度。

其中，人体的头的图像块包括人脸的图像块。可以采用预置的人脸识别算法检测人脸的图像块。预置的人脸识别算法包括gabor滤波器和支持向量机(Support VectorMachine，简称SVM)。gabor滤波器用于提取人脸特征，SVM用于对gabor滤波器提取的人脸特征进行分类识别。

其中，图像块的颜色可以通过直接读取该图像块的像素值得到，尺度指图像块的轮廓大小，在检测出人体的头的图像块后，可以直接读取该图像块的轮廓大小得到尺度。

需要说明的是，检测出的图像块可能有多个像素值，可以选取覆盖区域最多的像素值进行读取。

在步骤203中，在获取的每一帧图像中，检测人体的骨架；以人体的骨架为中心，确定出身体部位中除头外的身体部位的图像块，并捕捉身体部位中除头外的身体部位的图像块的颜色和尺度。

其中，人体的骨架包括人体的身体部位中除头外的身体部位的骨架。人体的身体部位包括人体的头、上肢、下肢和躯干。

可以采用预置的人体姿态估计算法，如基于置信度网络(Belief Network)的估计算法，对人体的骨架进行检测。

图3示出了在获取的其中一帧图像中检测出的人体的骨架，人体的骨架如图3中白色粗线段所示。在图3中，由于存在多个人体图像，因此检测出了多个人体的骨架。在本实施例中，人体的骨架包括人体的上肢、下肢和躯干的骨架。

在检测出人体的骨架后，首先，读取人体的骨架所在位置的图像区域的像素值，然后，以人体的骨架所在位置的图像区域为对称中心，检测读取的像素值的覆盖区域，以此确定出身体部位中除头外的身体部位的图像块。

本实施例不限定步骤202和步骤203的执行顺序，步骤202和步骤203可以同时执行。

通过步骤202和步骤203实现了，在获取的每一帧图像中，捕捉人体各身体部位的图像块的颜色和尺度，人体的身体部位包括人体的头、上肢、下肢和躯干。

在步骤204中，统计每一帧图像中捕捉到的各身体部位的图像块的颜色，得到属于各身体部位的图像块的颜色范围。

由于实际应用中存在光线和遮挡物等影响，因此，每一帧图像中捕捉到的各身体部位的图像块的颜色可能存在差别。考虑到该差别，可以采用求均值或颜色直方图等统计方式统计每一帧图像中捕捉到的各身体部位的图像块的颜色，并得到属于各身体部位的图像块的颜色范围。该颜色范围可以描述复杂的颜色，鲁棒性较强。

在步骤205中，根据捕捉的各身体部位的图像块的尺度和得到的各身体部位的图像块的颜色范围，建立图像中人体的外表模型。

其中，外表模型包括图像中人体的至少两个身体部位的图像块。

在本实施例的可选实施方式中，外表模型包括图像中人体各身体部位的图像块。

需要说明的是，当预定数量帧图像中人体图像为多个时，在每一帧图像中，将捕捉到每个人体的各身体部位的图像块的颜色和尺度。这样，可以为每个人体建立一个外表模型。通过多个外表模型，可以实现多个人体图像的识别，从而实现多个人体图像的追踪。

通过步骤201～步骤205实现了，根据视频中预定数量帧图像，建立图像中活动对象的外表模型。其中，该外表模型包括图像中活动对象的至少两个部位的图像块。该部位包括活动对象的躯体及与该躯体活动连接的活动部。

在步骤206中，获取各身体部位的图像块的第一特征集合。

其中，第一特征集合为至少一种图像特征构成的集合，该图像特征包括轮廓线、颜色直方图和哈尔(Harr-like)特征。

本实施例不限定图像特征的获取方式，该获取方式可以采用相关技术中公开的手段。

在步骤207中，获取视频中每一帧图像的第二特征集合。

其中，第二特征集合为至少一种图像特征构成的集合。并且，第二特征集合和第一特征集合中的图像特征相同。例如，假设第一特征集合为轮廓线和Harr-like特征构成的结合，那么，第二特征集合也为轮廓线和Harr-like特征构成的结合。

在步骤208中，在第二特征集合中，查找与第一特征集合匹配的特征集合，并确定与查找到的特征集合对应的图像区域。

其中，在当前帧图像中查找到的与第一特征集合匹配的特征集合对应的图像区域，即为当前帧图像中人体图像的各身体部位的图像块。

图4示出了在当前帧图像中查找到的人体图像的各身体部位的图像块。假设对应头的图像区域为A(包括两个图像区域A1和A2)，对应躯干的图像区域为B(包括三个图像区域B1、B2和B3)，对应上肢的图像区域为C(包括四个图像区域C1、C2、C3和C4)，对应下肢的图像区域为D(包括两个图像区域D1和D2)。从图4可以看出，完整的人体图像只有一个。这是因为人的活动环境易出现干扰物，例如人体照片，在检测时容易出现误检测的图像区域。为了精确定位到人体图像，需要对检测的图像区域进行筛选(参见步骤209)。

通过步骤206～步骤208实现了，以各部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域。

需要说明的是，由于在建立外表模型时，已经捕捉预定数量帧图像中的人体图像，因此，可以在视频中除该预定数量帧图像外的每一帧图像中，检测与图像模板相匹配的图像区域。

在步骤209中，按照预定规则，从检测到的与图像模板相匹配的图像区域中，确定属于图像中人体的实际身体部位的图像区域。

其中，该预定规则包括以下规则中的一种或多种。

第一规则，属于图像中人体的实际身体部位的图像区域的邻近图像区域为检测到的与图像模板相匹配的图像区域。

实现时，可以采用哈夫变换(Hough Transform)将符合第一规则的图像区域确定出来。

第二规则，属于图像中人体的实际身体部位的图像区域对应的身体部位和属于图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位包括每个身体部位。

实现时，可以采用Belief Network Propagation和统计的方法将符合第二规则的图像区域确定出来。首先，采用Belief Network Propagation将图像区域与邻近图像区域组合，并生成人体骨架信息。其次，判断人体骨架信息是否覆盖了人体的上肢、躯干和下肢。当人体骨架信息覆盖了人体的上肢、躯干和下肢时，确定该人体骨架信息对应的图像区域为属于人体的实际身体部位的图像区域。

第三规则，属于图像中人体的实际身体部位的图像区域对应的身体部位与属于图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系与人体各身体部位的实际位置关系一致。

第四规则，属于当前帧图像中人体的实际身体部位的图像区域对应的身体部位与属于当前帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系、与属于上一帧图像中人体的实际身体部位的图像区域对应的身体部位与属于上一帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系一致。

按照第一规则，由于图4中左侧检测出的图像区域部分L(包括B1)的邻近图像区域不属于检测出的图像区域，相当于该左侧部分只存在一个身体部位，因此，可以判定该左侧部分不属于人体的实际身体部位对应的图像区域。图4中右侧检测出的图像区域部分R(包括A2、B3、C3和C4)的邻近图像区域属于检测出的图像区域未包括对应下肢(D)的图像区域，不符合第二规则，因此，可以判定该右侧部分也不属于人体的实际身体部位对应的图像区域。而第三规则要求检测出的图像区域的邻近图像区域也属于检测出的图像区域、且所有检测出的图像区域对应的身体部位之间的位置关系与人体各身体部位的实际位置关系一致，那么，图4中只有中间的图像区域部分M(包括A1、B2、C1、C2、D1和D2)符合第三规则。第四规则要求当前帧中的检测出的图像区域对应的身体部位之间的位置关系与上一帧中的检测出的图像区域对应的身体部位之间的位置关系一致，这样，符合第四规则的图像区域可以满足相邻两帧图像具有连续性的要求。

在步骤210中，对属于图像中人体的实际身体部位的图像区域进行组合，得到每一帧图像中需识别的人体图像。

在当前帧图像中需识别的人体图像如图4中中间的图像区域部分M所示。

通过步骤209和步骤210实现了，对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的活动对象图像。

在步骤211中，根据得到的每一帧图像中需识别的人体图像，确定出人体图像在每一帧图像中的位置。

在得到需识别的人体图像后，可以读取该人体图像在图像中的坐标，确定出人体图像在图像中的位置。

通过步骤211实现了，根据得到的每一帧图像中需识别的活动对象图像，确定出活动对象图像在每一帧图像中的位置。

本发明实施例通过根据视频中预定数量帧图像，建立图像中人体的外表模型，外表模型包括图像中人体的至少两个身体部位的图像块；外表模型基于视频中图像建立，能够真实体现视频中人体外表的特征；以各身体部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域；各身体部位的图像块包含了各身体部位的颜色和尺度，不会随着图像中人体位置的改变而出现剧烈的变化，能够形成持续有效的检测；对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的人体图像；由于外表模型真实体现视频中人体身体的特征，且能够形成持续有效的检测，因此，在识别人体图像时不会造成误检测，使得在根据得到的每一帧图像中需识别的人体图像，确定出人体图像在每一帧图像中的位置时，能够对人体进行持续有效的追踪。

实施例三

本发明实施例提供了一种活动对象图像识别装置，参见图5，该装置包括建立模块301、检测模块302、组合模块303和确定模块304。

该建立模块301用于，根据视频中预定数量帧图像，建立图像中活动对象的外表模型。

其中，该外表模型包括图像中活动对象的至少两个部位的图像块，该部位包括活动对象的躯体及与该躯体活动连接的活动部。

该检测模块302用于，以各部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域。

该组合模块303用于，对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的活动对象图像。

该确定模块304用于，根据得到的每一帧图像中需识别的活动对象图像，确定出活动对象图像在每一帧图像中的位置。

本发明实施例通过根据视频中预定数量帧图像，建立图像中活动对象的外表模型，外表模型包括图像中活动对象的至少两个部位的图像块；外表模型基于视频中图像建立，能够真实体现视频中活动对象外表的特征；以各部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域；各部位的图像块包含了各部位的颜色和尺度，不会随着图像中活动对象位置的改变而出现剧烈的变化，能够形成持续有效的检测；对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的活动对象图像；由于外表模型真实体现视频中活动对象的特征，且能够形成持续有效的检测，因此，在识别活动对象图像时不会造成误检测，使得在根据得到的每一帧图像中需识别的活动对象图像，确定出活动对象图像在每一帧图像中的位置时，能够对活动对象进行持续有效的追踪。

实施例四

本发明实施例提供了一种活动对象图像识别装置，参见图6，该装置包括建立模块401、检测模块402、组合模块403和确定模块404。

该建立模块401用于，根据视频中预定数量帧图像，建立图像中活动对象的外表模型。

其中，该外表模型包括图像中活动对象的至少两个部位的图像块，该部位包括活动对象的躯体及与躯体活动连接的活动部。

该检测模块402用于，以各身体部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域。

该组合模块403用于，对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的活动对象图像。

该确定模块404用于，根据得到的每一帧图像中需识别的活动对象图像，确定出活动对象图像在每一帧图像中的位置。

其中，该活动对象包括人体，该建立模块401建立的外表模型包括图像中人体的至少两个身体部位的图像块，该身体部位包括所述人体的头、上肢、下肢和躯干。

在本实施例的第一实施方式中，建立模块401包括第三获取单元4011、捕捉单元4012、统计单元4013和建立单元4014。

第三获取单元4011用于，获取视频中预定数量帧图像。

捕捉单元4012用于，在获取的每一帧图像中，捕捉人体各身体部位的图像块的颜色和尺度。

统计单元4013用于，统计每一帧图像中捕捉到的各身体部位的图像块的颜色，得到属于各身体部位的图像块的颜色范围。

建立单元4014用于，根据捕捉的各身体部位的图像块的尺度和得到的各身体部位的图像块的颜色范围，建立图像中人体的外表模型。

在本实施例的第二实施方式中，捕捉单元4012用于，在获取的每一帧图像中，检测人体的头的图像块，并捕捉人体的头的图像块的颜色和尺度；在获取的每一帧图像中，检测人体的骨架，人体的骨架包括身体部位中除头外的身体部位的骨架；以人体的骨架为中心，确定出身体部位中除头外的身体部位的图像块，并捕捉身体部位中除头外的身体部位的图像块的颜色和尺度。

在本实施例的第三实施方式中，检测模块402包括第一获取单元4021、第二获取单元4022和查找单元4023。

第一获取单元4021用于，获取各身体部位的图像块的第一特征集合，第一特征集合为至少一种图像特征构成的集合，图像特征包括轮廓线、颜色直方图和Harr-like特征。

第二获取单元4022用于，获取视频中每一帧图像的第二特征集合，第二特征集合为至少一种图像特征构成的集合，第一特征集合和第二特征集合中的图像特征相同。

查找单元4023用于，在第二特征集合中，查找与第一特征集合匹配的特征集合，并确定与查找到的特征集合对应的图像区域。

在本实施例的第三实施方式中，组合模块403用于，按照预定规则，从检测到的与图像模板相匹配的图像区域中，确定属于图像中人体的实际身体部位的图像区域；对属于图像中人体的实际身体部位的图像区域进行组合，得到每一帧图像中需识别的人体图像；其中，预定规则包括以下规则中的一种或多种。

属于图像中人体的实际身体部位的图像区域的邻近图像区域为检测到的与图像模板相匹配的图像区域；属于图像中人体的实际身体部位的图像区域对应的身体部位和属于图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位包括每个身体部位；属于图像中人体的实际身体部位的图像区域对应的身体部位与属于图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系与人体各身体部位的实际位置关系一致；属于当前帧图像中人体的实际身体部位的图像区域对应的身体部位与属于当前帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系、与属于上一帧图像中人体的实际身体部位的图像区域对应的身体部位与属于上一帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系一致。

本发明实施例通过根据视频中预定数量帧图像，建立图像中人体的外表模型，外表模型包括图像中人体的至少两个身体部位的图像块；外表模型基于视频中图像建立，能够真实体现视频中人体外表的特征；以各身体部位的图像块为图像模板，在视频中每一帧图像中，检测与图像模板相匹配的图像区域；各身体部位的图像块包含了各身体部位的颜色和尺度，不会随着图像中人体位置的改变而出现剧烈的变化，能够形成持续有效的检测；对检测到的与图像模板相匹配的图像区域进行组合，得到每一帧图像中需识别的人体图像；由于外表模型真实体现视频中人体身体的特征，且能够形成持续有效的检测，因此，在识别人体图像时不会造成误检测，使得在根据得到的每一帧图像中需识别的人体图像，确定出人体图像在每一帧图像中的位置时，能够对人体进行持续有效的追踪。

需要说明的是：上述实施例提供的活动对象图像识别装置在识别活动对象图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的活动对象图像识别装置与活动对象图像识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种活动对象图像识别方法，其特征在于，所述方法包括：

根据视频中预定数量帧图像，建立所述图像中活动对象的外表模型，所述外表模型包括所述图像中活动对象的至少两个部位的图像块，所述部位包括所述活动对象的躯体及与所述躯体活动连接的活动部；

分别以各所述部位的图像块为图像模板，在所述视频中每一帧图像中，检测与所述图像模板相匹配的图像区域；

对检测到的与所述图像模板相匹配的图像区域进行组合，得到所述每一帧图像中需识别的活动对象图像；

根据得到的所述每一帧图像中需识别的活动对象图像，确定出所述活动对象图像在所述每一帧图像中的位置；

所述活动对象包括人体，所述外表模型包括所述图像中人体的至少两个身体部位的图像块，所述身体部位包括所述人体的头、上肢、下肢和躯干；

所述以各所述部位的图像块为图像模板，在所述视频中的每一帧图像中，检测与所述图像模板相匹配的图像区域，包括：

获取各所述身体部位的图像块的第一特征集合；

获取所述视频中每一帧图像的第二特征集合，所述第一特征集合和所述第二特征集合为至少一种图像特征构成的集合，所述图像特征包括轮廓线、颜色直方图和哈尔Harr-like特征，所述第一特征集合和所述第二特征集合中的图像特征相同；

在所述第二特征集合中，查找与所述第一特征集合匹配的特征集合；

确定与查找到的所述特征集合对应的图像区域。

2.根据权利要求1所述的方法，其特征在于，所述对检测到的与所述图像模板相匹配的图像区域进行组合，得到所述每一帧图像中需识别的活动对象图像，包括：

按照预定规则，从检测到的与所述图像模板相匹配的图像区域中，确定属于所述图像中人体的实际身体部位的图像区域；

对属于所述图像中人体的实际身体部位的图像区域进行组合，得到所述每一帧图像中需识别的人体图像；

其中，所述预定规则包括以下规则中的一种或多种：

属于所述图像中人体的实际身体部位的图像区域的邻近图像区域为检测到的与所述图像模板相匹配的图像区域；

属于所述图像中人体的实际身体部位的图像区域对应的身体部位和属于所述图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位包括每个所述身体部位；

属于所述图像中人体的实际身体部位的图像区域对应的身体部位与属于所述图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系与所述人体各身体部位的实际位置关系一致；

属于当前帧图像中人体的实际身体部位的图像区域对应的身体部位与属于所述当前帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系、与属于上一帧图像中人体的实际身体部位的图像区域对应的身体部位与属于所述上一帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系一致。

3.根据权利要求1所述的方法，其特征在于，所述根据视频中预定数量帧图像，建立所述图像中活动对象的外表模型，包括：

获取所述视频中所述预定数量帧图像；

在获取的每一帧图像中，捕捉人体各身体部位的图像块的颜色和尺度；

统计所述每一帧图像中捕捉到的各所述身体部位的图像块的颜色，得到属于各所述身体部位的图像块的颜色范围；

根据捕捉的各所述身体部位的图像块的尺度和得到的各所述身体部位的图像块的颜色范围，建立所述图像中人体的外表模型。

4.根据权利要求3所述的方法，其特征在于，所述在获取的每一帧图像中，捕捉人体各身体部位的图像块的颜色和尺度，包括：

在获取的每一帧图像中，检测所述人体的头的图像块，并捕捉所述人体的头的图像块的颜色和尺度；

在获取的每一帧图像中，检测所述人体的骨架，所述人体的骨架包括身体部位中除头外的身体部位的骨架；

以所述人体的骨架为中心，确定出身体部位中除头外的身体部位的图像块，并捕捉所述身体部位中除头外的身体部位的图像块的颜色和尺度。

5.一种活动对象图像识别装置，其特征在于，所述装置包括：

建立模块，用于根据视频中预定数量帧图像，建立所述图像中活动对象的外表模型，所述外表模型包括所述图像中活动对象的至少两个部位的图像块，所述部位包括所述活动对象的躯体及与所述躯体活动连接的活动部；

检测模块，用于分别以各所述部位的图像块为图像模板，在所述视频中每一帧图像中，检测与所述图像模板相匹配的图像区域；

组合模块，用于对检测到的与所述图像模板相匹配的图像区域进行组合，得到所述每一帧图像中需识别的活动对象图像；

确定模块，用于根据得到的所述每一帧图像中需识别的活动对象图像，确定出所述活动对象图像在所述每一帧图像中的位置；

所述活动对象包括人体，所述建立模块建立的所述外表模型包括所述图像中人体的至少两个身体部位的图像块，所述身体部位包括所述人体的头、上肢、下肢和躯干；

所述检测模块包括：

第一获取单元，用于获取各所述身体部位的图像块的第一特征集合，所述第一特征集合为至少一种图像特征构成的集合，所述图像特征包括轮廓线、颜色直方图和哈尔Harr-like特征；

第二获取单元，用于获取所述视频中每一帧图像的第二特征集合，所述第二特征集合为至少一种所述图像特征构成的集合，所述第一特征集合和所述第二特征集合中的图像特征相同；

查找单元，用于在所述第二特征集合中，查找与所述第一特征集合匹配的特征集合，并确定与查找到的所述特征集合对应的图像区域。

6.根据权利要求5所述的装置，其特征在于，所述组合模块用于，

按照预定规则，从检测到的与所述图像模板相匹配的图像区域中，确定属于所述图像中人体的实际身体部位的图像区域；

对属于所述图像中人体的实际身体部位的图像区域进行组合，得到所述每一帧图像中需识别的人体图像；

其中，所述预定规则包括以下规则中的一种或多种：

属于所述图像中人体的实际身体部位的图像区域的邻近图像区域为检测到的与所述图像模板相匹配的图像区域；

属于所述图像中人体的实际身体部位的图像区域对应的身体部位和属于所述图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位包括每个所述身体部位；

属于所述图像中人体的实际身体部位的图像区域对应的身体部位与属于所述图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系与所述人体各身体部位的实际位置关系一致；

属于当前帧图像中人体的实际身体部位的图像区域对应的身体部位与属于所述当前帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系、与属于上一帧图像中人体的实际身体部位的图像区域对应的身体部位与属于所述上一帧图像中人体的实际身体部位的图像区域的邻近图像区域对应的身体部位的位置关系一致。

7.根据权利要求5所述的装置，其特征在于，所述建立模块包括：

第三获取单元，用于获取所述视频中所述预定数量帧图像；

捕捉单元，用于在获取的每一帧图像中，捕捉人体各身体部位的图像块的颜色和尺度；

统计单元，用于统计所述每一帧图像中捕捉到的各所述身体部位的图像块的颜色，得到属于各所述身体部位的图像块的颜色范围；

建立单元，用于根据捕捉的各所述身体部位的图像块的尺度和得到的各所述身体部位的图像块的颜色范围，建立所述图像中人体的外表模型。

8.根据权利要求7所述的装置，其特征在于，所述捕捉单元用于，

在获取的每一帧图像中，检测所述人体的头的图像块，并捕捉所述人体的头的图像块的颜色和尺度；

在获取的每一帧图像中，检测所述人体的骨架，所述人体的骨架包括身体部位中除头外的身体部位的骨架；

以所述人体的骨架为中心，确定出身体部位中除头外的身体部位的图像块，并捕捉所述身体部位中除头外的身体部位的图像块的颜色和尺度。