CN104751490A - 一种基于在线课堂的目标锁定方法及装置 - Google Patents

Abstract

本发明提供一种基于在线课堂的目标锁定方法及装置，上述方法包括：分别确定第N帧图像以及第N帧图像的连续相邻帧图像中的运动目标区域；对第N帧图像以及连续相邻帧图像中的运动目标区域分别进行颜色特征提取和特征块提取；将第N帧图像对应的颜色特征和特征块分别与每一连续相邻帧图像对应的颜色特征和特征块进行匹配；在颜色特征的匹配度和特征块的匹配度均满足预设条件时，确定N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。通过本发明的技术方案，从颜色和特征两个角度对运动目标进行分析，从而准确判断是否是同一运动目标，克服了相关技术中有其他目标出现时干扰当前目标跟踪的缺点，能够准确锁定需要跟踪的目标，增强了跟踪效果。

Description

一种基于在线课堂的目标锁定方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于在线课堂的目标锁定方法及装置。

背景技术

通过目前的跟踪算法能够对老师的讲课活动进行实时跟踪。但是，如果有学生上讲台或从老师身边经过时，就会干扰跟踪摄像机，从而发生错误跟踪。

发明内容

本发明提供一种基于在线课堂的目标锁定方法及装置，以解决上述技术问题。

根据本发明实施例的第一方面，提供了一种基于在线课堂的目标锁定方法，包括：分别确定第N帧图像以及所述第N帧图像的连续相邻帧图像中的运动目标区域；对第N帧图像以及所述连续相邻帧图像中的运动目标区域分别进行颜色特征提取和特征块提取；将所述第N帧图像对应的颜色特征和特征块分别与每一所述连续相邻帧图像对应的颜色特征和特征块进行匹配；在所述颜色特征的匹配度和所述特征块的匹配度均满足预设条件时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。

根据本发明的第二方面，还提供了一种基于在线课堂的目标锁定装置，包括：运动目标区域检测单元，分别确定第N帧图像以及所述第N帧图像的连续相邻帧图像中的运动目标区域；特征提取单元，连接至所述运动目标区域检测单元，对第N帧图像以及所述连续相邻帧图像中的运动目标区域分别进行颜色特征提取和特征块提取；匹配单元，连接至所述特征提取单元，将所述第N帧图像对应的颜色特征和特征块分别与每一所述连续相邻帧图像对应的颜色特征和特征块进行匹配；目标锁定单元，连接所述匹配单元，在所述颜色特征的匹配度和所述特征块的匹配度均满足预设条件时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。

本发明的实施例提供的技术方案可以包括以下有益效果：

相较于先前技术，根据本发明提供的基于在线课堂的目标锁定方法及装置，从颜色和特征两个角度对运动目标进行分析，从而准确判断是否是同一运动目标，克服了相关技术中有其他目标出现时干扰当前目标跟踪的缺点，能够准确锁定需要跟踪的目标，增强了跟踪效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为根据本发明的一较佳实施例提供的基于在线课堂的目标锁定方法的流程图；

图2所示为根据本发明的一较佳实施例提供的基于在线课堂的目标锁定示意图；

图3所示为根据本发明的较佳实施例提供的基于在线课堂的目标锁定装置的框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为根据本发明的一较佳实施例提供的基于在线课堂的目标锁定方法的流程图。

如图1所示，根据本发明的实施例的一种基于在线课堂的目标锁定方法，包括：

步骤102，分别确定第N帧图像以及所述第N帧图像的连续相邻帧图像中的运动目标区域。

第N帧图像的连续相邻帧图像例如可以是第N-1帧、第N+1帧、第N+2帧、第N+3帧等等。

步骤104，对第N帧图像以及所述连续相邻帧图像中的运动目标区域分别进行颜色特征提取和特征块提取。

步骤106，将所述第N帧图像对应的颜色特征和特征块分别与每一所述连续相邻帧图像对应的颜色特征和特征块进行匹配。

步骤108，在颜色特征的匹配度和特征块的匹配度均满足预设条件时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。

在所述步骤104中，所述特征块提取的过程具体可以包括：

在所述第N帧图像和每一连续相邻帧图像中均以Z字形搜索预设大小的像素块；

对于每一像素块，选取预定区域的图像块，所述图像块包含对应的像素块；

分别计算所述像素块的平均像素值和所述图像块的平均像素值；

在所述图像块的平均像素值与所述像素块的平均像素值之差大于预设值时，将对应的像素块判定为所述特征块。

在步骤106中，将所述第N帧图像对应的特征块与每一连续相邻帧图像对应的特征块进行匹配的过程具体可以包括：

在所述第N帧图像和任一连续相邻帧图像中，以每个特征块为中心，向外扩展预定个像素，得到比较宏块；

计算所述第N帧图像中的比较宏块与所述任一连续相邻帧图像中的比较宏块的像素差的绝对值之和；

所述像素差的绝对值之和最小的两个比较宏块是最相似的两个比较宏块，两个比较宏块对应的两个特征块是最匹配的两个特征块。

在上述步骤102中，确定所述第N帧图像以及每一连续相邻帧图像中的所述运动目标区域的过程具体可以包括：

采用肤色检测方式确定脸部区域；

根据预设的人体区域与所述脸部区域的比例关系，计算出所述运动目标区域。

所述颜色特征提取的过程具体可以包括：读取所述运动目标区域中除所述脸部区域之外的其他区域中的像素颜色，形成所述颜色特征。

其中，所述预设条件包括：

预设每一连续相邻帧图像对应的权重；

按照下述公式计算是否同一运动目标的概率P_z：

$p_z=X_1\·\underset{r=1}{\overset{m}{\mathrm{\Σ}}}{w}_r\·a_r+X_2\·\underset{r=1}{\overset{m}{\mathrm{\Σ}}}{w}_r\·b_r$

ar表示所述第N帧图像与第r连续相邻帧图像的颜色特征匹配度，br表示所述第N帧图像与第r连续相邻帧图像的特征块匹配度，w_r表示第r连续相邻帧图像的权重，X₁表示颜色特征匹配度的权重，X₂表示特征块匹配度的权重；

在所述同一运动目标的概率P_z大于预设值时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。

接下来参考图2详细说明根据本发明的另一实施例。

假设有3帧图像(f1、f2、f3)，首先，确定每一帧图像中的运动目标区域。

确定运动目标区域的方法包括：采用肤色检测方式确定脸部区域，肤色检测方法包括但不限于基于人脸模型的检测或者基于高斯模型的检测。根据预设的人体区域与所述脸部区域的比例关系，计算出运动目标区域。例如根据人体的正常体型，脸部区域与人体区域的比例是1：7，那么就可以算出整个人体区域所占像素了。假设采用上述方法f1、f2、f3图像中各识别出一个运动目标区域，但不确定这三帧图像中的运动目标是否是同一运动目标，下面采用本实施例提供的目标检测方法来确定是否是同一运动目标。

对于每一帧图像分别进行颜色特征提取和特征块提取。其中，颜色特征提取的方法是：在确定脸部区域之后，读取脸部区域以下的身体区域的颜色信息。特征块提取的方法是：在图像中以Z字形搜索预设大小的像素块，该像素块可以是2×2像素大小；对于每一像素块，选取预定区域的图像块，例如4×4像素大小，像素块属于该图像块的一部分；分别计算像素块的平均像素值和图像块的平均像素值；在图像块的平均像素值与像素块的平均像素值之差大于预设值时，将对应的像素块判定为特征块。

将从f3中提取的颜色特征和特征块分别与从f1以及f2中提取的颜色特征和特征块进行匹配，得到与其他各帧的颜色特征匹配度和特征块匹配度。其中，特征块匹配过程具体为：

在f3图像和f1以及f2图像中，以每个特征块为中心，向外扩展预定个像素，例如2个像素，得到比较宏块。计算所述f3与f1以及f2图中的比较宏块的像素差的绝对值之和。像素差的绝对值之和最小的两个比较宏块是最相似的两个比较宏块，两个比较宏块对应的两个特征块是最匹配的两个特征块。

假设计算出f3与f2之间的特征块匹配度80，f3与f1之间的特征块匹配度66，f3与f2之间的颜色特征配度86，以及f3与f1之间的颜色特征匹配度78。预设f1、f2分别所占的匹配权重为25％、75％，以及特征块匹配度的权重60％、颜色特征匹配度的权重40％。按照下述公式就能够计算出f3图像中的运动目标与f2、f1图像中的运动目标是否是同一目标的概率。

p_z＝60％×(25％×66+75％×80)+40％×(25％×78+75％×86)

在上述概率大于预设值时，判定f3中的运动目标与f1、f2中的运动目标是同一运动目标。

通过上述方法就可以锁定当前跟踪的运动目标，即使当有其他运动目标出现在画面中时，由于采用了特征块匹配和颜色特征匹配，也能够区分出不同的运动目标，因此也不会影响当前跟踪的运动目标，避免了其他运动目标的干扰。将上述方法应用在在线课堂中，当老师在讲台上讲课，有学生上讲台或经过讲台，也不会影响对老师的跟踪，提高了跟踪精度。

图3所示为根据本发明的较佳实施例提供的基于在线课堂的目标锁定装置的框图。

如图3所示，根据本发明的实施例的基于在线课堂的目标锁定装置300可以包括：

运动目标区域检测单元302，分别确定第N帧图像以及所述第N帧图像的连续相邻帧图像中的运动目标区域；

特征提取单元304，连接至所述运动目标区域检测单元302，对第N帧图像以及所述连续相邻帧图像中的运动目标区域分别进行颜色特征提取和特征块提取；

匹配单元306，连接至所述特征提取单元304，将所述第N帧图像对应的颜色特征和特征块分别与每一所述连续相邻帧图像对应的颜色特征和特征块进行匹配；

目标锁定单元308，连接所述匹配单元306，在所述颜色特征的匹配度和所述特征块的匹配度均满足预设条件时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。

其中，所述特征提取单元304包括：

特征块提取子单元，用于在所述第N帧图像和每一连续相邻帧图像中均以Z字形搜索预设大小的像素块，以及对于每一像素块，选取预定区域的图像块，所述图像块包含对应的像素块，并分别计算所述像素块的平均像素值和所述图像块的平均像素值，以及在所述图像块的平均像素值与所述像素块的平均像素值之差大于预设值时，将对应的像素块判定为所述特征块。

所述运动目标区域检测单元302采用肤色检测方式确定脸部区域，并根据预设的人体区域与所述脸部区域的比例关系，计算出所述运动目标区域。

其中，所述预设条件包括：

预设每一连续相邻帧图像对应的权重；

按照下述公式计算是否同一运动目标的概率P_z：

$p_z=X_1\·\underset{r=1}{\overset{m}{\mathrm{\Σ}}}{w}_r\·a_r+X_2\·\underset{r=1}{\overset{m}{\mathrm{\Σ}}}{w}_r\·b_r$

ar表示所述第N帧图像与第r连续相邻帧图像的颜色特征匹配度，br表示所述第N帧图像与第r连续相邻帧图像的特征块匹配度，w_r表示第r连续相邻帧图像的权重，X₁表示颜色特征匹配度的权重，X₂表示特征块匹配度的权重；在所述同一运动目标的概率P_z大于预设值时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。

根据本发明的基于在线课堂的目标锁定方法及装置从颜色和特征两个角度对运动目标进行分析，从而准确判断是否是同一运动目标，克服了相关技术中有其他目标出现时干扰当前目标跟踪的缺点，能够准确锁定需要跟踪的目标，增强了跟踪效果。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于在线课堂的目标锁定方法，其特征在于，包括：

分别确定第N帧图像以及所述第N帧图像的连续相邻帧图像中的运动目标区域；

对第N帧图像以及所述连续相邻帧图像中的运动目标区域分别进行颜色特征提取和特征块提取；

将所述第N帧图像对应的颜色特征和特征块分别与每一所述连续相邻帧图像对应的颜色特征和特征块进行匹配；

在所述颜色特征的匹配度和所述特征块的匹配度均满足预设条件时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。

2.根据权利要求1所述的方法，其特征在于，所述特征块提取的过程，包括：

在所述第N帧图像和每一连续相邻帧图像中均以Z字形搜索预设大小的像素块；

对于每一像素块，选取预定区域的图像块，所述图像块包含对应的像素块；

分别计算所述像素块的平均像素值和所述图像块的平均像素值；

在所述图像块的平均像素值与所述像素块的平均像素值之差大于预设值时，将对应的像素块判定为所述特征块。

3.根据权利要求2所述的方法，其特征在于，将所述第N帧图像对应的特征块与每一连续相邻帧图像对应的特征块进行匹配的过程包括：

在所述第N帧图像和任一连续相邻帧图像中，以每个特征块为中心，向外扩展预定个像素，得到比较宏块；

计算所述第N帧图像中的比较宏块与所述任一连续相邻帧图像中的比较宏块的像素差的绝对值之和；

所述像素差的绝对值之和最小的两个比较宏块是最相似的两个比较宏块，两个比较宏块对应的两个特征块是最匹配的两个特征块。

4.根据权利要求1所述的方法，其特征在于，确定所述第N帧图像以及每一连续相邻帧图像中的所述运动目标区域的过程，包括：

采用肤色检测方式确定脸部区域；

根据预设的人体区域与所述脸部区域的比例关系，计算出所述运动目标区域。

5.根据权利要求4所述的方法，其特征在于，所述颜色特征提取的过程，包括：

读取所述运动目标区域中除所述脸部区域之外的其他区域中的像素颜色，形成所述颜色特征。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述预设条件包括：

预设每一连续相邻帧图像对应的权重；

按照下述公式计算是否同一运动目标的概率P_z：

$p_z=X_1\·\underset{r=1}{\overset{m}{\mathrm{\Σ}}}{w}_r\·a_r+X_2\·\underset{r=1}{\overset{m}{\mathrm{\Σ}}}{w}_r\·b_r$

ar表示所述第N帧图像与第r连续相邻帧图像的颜色特征匹配度，br表示所述第N帧图像与第r连续相邻帧图像的特征块匹配度，w_r表示第r连续相邻帧图像的权重，X₁表示颜色特征匹配度的权重，X₂表示特征块匹配度的权重；

在所述同一运动目标的概率P_z大于设定值时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。

7.一种基于在线课堂的目标锁定装置，其特征在于，包括：

运动目标区域检测单元，分别确定第N帧图像以及所述第N帧图像的连续相邻帧图像中的运动目标区域；

特征提取单元，连接至所述运动目标区域检测单元，对第N帧图像以及所述连续相邻帧图像中的运动目标区域分别进行颜色特征提取和特征块提取；

匹配单元，连接至所述特征提取单元，将所述第N帧图像对应的颜色特征和特征块分别与每一所述连续相邻帧图像对应的颜色特征和特征块进行匹配；

目标锁定单元，连接所述匹配单元，在所述颜色特征的匹配度和所述特征块的匹配度均满足预设条件时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。

8.根据权利要求7所述的装置，其特征在于，所述特征提取单元包括：

特征块提取子单元，用于在所述第N帧图像和每一连续相邻帧图像中均以Z字形搜索预设大小的像素块，以及对于每一像素块，选取预定区域的图像块，所述图像块包含对应的像素块，并分别计算所述像素块的平均像素值和所述图像块的平均像素值，以及在所述图像块的平均像素值与所述像素块的平均像素值之差大于预设值时，将对应的像素块判定为所述特征块。

9.根据权利要求7所述的装置，其特征在于，所述运动目标区域检测单元采用肤色检测方式确定脸部区域，并根据预设的人体区域与所述脸部区域的比例关系，计算出所述运动目标区域。

10.根据权利要求7至9中任一项所述的装置，其特征在于，所述预设条件包括：

预设每一连续相邻帧图像对应的权重；

按照下述公式计算是否同一运动目标的概率P_z：

$p_z=X_1\·\underset{r=1}{\overset{m}{\mathrm{\Σ}}}{w}_r\·a_r+X_2\·\underset{r=1}{\overset{m}{\mathrm{\Σ}}}{w}_r\·b_r$

ar表示所述第N帧图像与第r连续相邻帧图像的颜色特征匹配度，br表示所述第N帧图像与第r连续相邻帧图像的特征块匹配度，w_r表示第r连续相邻帧图像的权重，X₁表示颜色特征匹配度的权重，X₂表示特征块匹配度的权重；

在所述同一运动目标的概率P_z大于设定值时，确定所述N帧图像中的运动目标与每一连续相邻帧图像中的运动目标是同一运动目标。