CN103020991A - 一种视频场景中运动目标感知的方法及系统 - Google Patents

Abstract

本发明公开了一种视频场景中运动目标感知的方法及系统，其中，该方法包括：运动目标的捕捉：利用帧间差分法和背景差分法检测图像的前景像素，并将两者检测的结果融合，获得包含运动目标及其运动区域的前景图；运动目标的跟踪：提取该前景图中表示某一运动目标位置的前景块，并对该前景块进行跟踪直至其离开视频场景；运动目标信息的生成：根据该前景块对应的运动目标在视频场景中的运动情况，生成包含该运动目标属性及运动情况的摘要信息。通过采用本发明公开的方法实现了对运动目标整个运动过程的持续感知。

Description

一种视频场景中运动目标感知的方法及系统

技术领域

本发明涉及视频分析领域，尤其涉及一种视频场景中运动目标感知的方法及系统。

背景技术

随着平安城市、物联网、智慧城市的提出和推广，视频监控得到了极大的发展，已广泛应用于城市安防监控、交通场景监控等方面。其中，实时感知场景中出现的运动目标，获取目标的运动轨迹、出现时间、目标颜色等目标属性信息，是智能视频监控基础而重要的内容。

但是现有技术中，视频监控技术无法准确感知场景中的运动目标，因此，无法准确的获取运动目标在场景中的属性信息。

发明内容

本发明的目的是提供一种视频场景中运动目标感知的方法及系统，解决了复杂场景下的运动目标捕捉和跟踪的问题，实现了对运动目标整个运动过程的持续感知。

一种视频场景中运动目标感知的方法，该方法包括：

运动目标的捕捉：利用帧间差分法和背景差分法检测图像的前景像素，并将两者检测的结果融合，获得包含运动目标及其运动区域的前景图；

运动目标的跟踪：提取该前景图中表示某一运动目标位置的前景块，并对该前景块进行跟踪直至其离开视频场景；

运动目标信息的生成：根据该前景块对应的运动目标在视频场景中的运动情况，生成包含该运动目标属性及运动情况的摘要信息。

一种视频场景中运动目标感知的系统，该系统包括：

运动目标捕捉模块，用于利用帧间差分法和背景差分法检测图像的前景像素，并将两者检测的结果融合，获得包含运动目标及其运动区域的前景图；

运动目标跟踪模块，用于提取该前景图中表示某一运动目标位置的前景块，并对该前景块进行跟踪直至其离开视频场景；

运动目标信息生成模块，用于根据该前景块对应的运动目标在视频场景中的运动情况，生成包含该运动目标属性及运动情况的摘要信息。

由上述本发明提供的技术方案可以看出，通过对运动目标捕捉和跟踪，并对运动目标信息的提取，实现了对运动目标整个运动过程的持续感知。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例一提供的一种视频场景中运动目标感知的方法的流程图；

图2为本发明实施例二提供的一种视频场景中运动目标感知的系统的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

图1为本发明实施例一提供的一种视频场景中运动目标感知的方法的流程图，主要包括如下步骤：

步骤101、运动目标的捕捉。

本发明可用于对摄像机实时拍摄的视频流中的运动目标进行捕捉，也可用于录像文件中的运动目标进行捕捉。

下面以帧间差分法与背景差分法相结合进行运动目标的捕捉为例进行介绍。

首先，从视频数据（视频流或录像文件）中提取帧数据，并转换为RGB（三基色）图像。例如，对于DH-IPC-HF3101P枪型摄像机，利用其SDK（软件开发工具包）的数据回调函数（void CALLBACK DecCBFun(long nPort,char＊pBuf，long nSize，FRAME_INFO＊pFramelnfo，long nReserved1，long nReserved2)提取帧数据，将提取出帧数据（YV12（每像素12比特）图像）转换为RGB图像：

R＝Y+1.403×(U-128)

G＝Y-0.344×(U-128)-0.714×(V-128)

B＝Y+1.773×(V-128)

其次，计算前一帧RGB图像与当前帧RGB图像的帧间差分，获得帧差前景图；并计算背景模型和当前帧RGB图像的差分，获得背景差前景图；

最后，将帧差前景图与背景差前景图融合，获得包含运动目标及其运动区域的前景图。

进一步的，还可以预先设置颜色直方图，并以此来捕捉视频场景中出现特定颜色属性的运动目标。所述特定颜色属性可以根据需求来定义。示例性的，定义目标颜色属性集合为{red，blue，green，yellow}，根据运动目标的图像饱和度分量的值筛选颜色像素，并统计颜色像素的R、G、B分量，根据R、G、B分量的相对比重确定目标颜色属性值，其表达式如下：

ColorR＝{p(x,y)|Sat(x,y)＞Ts,p(x,y)∈I},

$\mathrm{Rs}=\underset{p\∈\mathrm{ColorR}}{\mathrm{\Σ}}R\left(p\right),$

$\mathrm{Gs}=\underset{p\∈\mathrm{ColorR}}{\mathrm{\Σ}}G\left(p\right),$

$\mathrm{Bs}=\underset{p\∈\mathrm{ColorR}}{\mathrm{\Σ}}B\left(p\right),$

其中，I为RGB图像，Sat为图像饱和度分量，Ts为饱和度阈值，ColorR为满足设定条件的有颜色像素点的集合，Tc为颜色敏感度阈值；Rs、Gs与Bs分别为颜色像素的R、G、B分量。

步骤102、运动目标的跟踪

通过步骤101的可获得前景图，该前景图中包含了运动目标及其运动区域。本步骤则将前景图中的运动目标进行提取并进行跟踪。

首先，进行运动目标的提取。该前景图需要进行预处理后才能较为方便的提取运动目标：先通过膨胀处理与腐蚀处理修补前景图像，以便从该前景图中提取出连续的运动区域；再利用连通区域检测的方法从所述连续的运动区域提取出表示独立运动区域的前景块，去除其中掺杂的面积较小的噪点；对带有运动目标当前位置的前景块（前景块的边界框则表示运动目标）单独提取并标记。示例性的，可使用结构{x,y,w,h,id}表示运动目标，其中，x、y为前景块中心位置，w、h为前景块边界框的宽与高，id为目标的编号。

其次，进行运动目标的跟踪。对运动目标进行跟踪时，先判断该运动目标是否会发生遮挡情况。例如，可利用卡尔曼滤波预测某一运动目标在当前帧的位置，再将预测到的位置与前景块位置进行比较；若对应为同一运动目标，则表示该运动目标在短时间不会发生遮挡，可以使用最近邻跟踪，并用预测到的位置作为该运动目标在当前帧的位置；如果对应为多个运动目标，则表示将要发生遮挡或已发生遮挡，可以使用粒子滤波算法进行跟踪。

步骤103、运动目标信息的生成。

运动目标的信息主要包括：运动目标的编号、彩色图片、前景二值图、出现的时间、消失时间、中心的图像坐标、颜色属性、最小外接矩形的宽度和高度以及前景检测区域的颜色直方图（可分为红色R、绿色G、蓝色B三通道颜色直方图，每一直方图分成8块）等。

上述信息的提取从捕捉到该运动目标开始进行，直至消失在视频场景中。具体的，提取该运动目标在每一帧中的属性信息及运动情况信息，并生成摘要信息存储在磁盘中，同时更新索引文件。

用户还可根据需求随时输入关键字来查找某一运动目标对应的摘要信息。例如，用户可输入运动目标的颜色信息及出现的时间；系统根据上述信息从索引文件（其包括运动目标的编号、出现时间、消失时间和颜色属性等信息）中查找出现在检索时间段内，且颜色属性与检索颜色一致的运动目标；输出符合用户输入条件的目标的编号，并显示对应的彩色照片供用户选择。

本发明实施例通过对运动目标捕捉和跟踪，并对运动目标信息的提取，实现了对运动目标整个运动过程的持续感知。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例二

图2为本发明实施例二提供的一种视频场景中运动目标感知的系统的示意图，如图2所述，该系统主要包括：

运动目标捕捉模块21，用于利用帧间差分法和背景差分法检测图像的前景像素，并将两者检测的结果融合，获得包含运动目标及其运动区域的前景图；

运动目标跟踪模块22，用于提取该前景图中表示某一运动目标位置的前景块，并对该前景块进行跟踪直至其离开视频场景；

运动目标信息生成模块23，用于根据该前景块对应的运动目标在视频场景中的运动情况，生成包含该运动目标属性及运动情况的摘要信息。

所述运动目标捕捉模块21包括：

图像格式转换模块211，用于从视频数据中提取帧数据，并转换为三基色RGB图像；

计算模块212，用于计算前一帧RGB图像与当前帧RGB图像的帧间差分，获得帧差前景图，以及计算背景模型和当前帧RGB图像的差分，获得背景差前景图；

前景图获取模块213，用于将所述帧差前景图与背景差前景图进行融合，获得包含运动目标及其运动区域的前景图。

所述运动目标跟踪模块22包括：

前景块提取模块221，用于通过膨胀处理与腐蚀处理，从该前景图中提取出连续的运动区域；利用连通区域检测的方法从所述连续的运动区域提取出表示独立运动区域的前景块；再将带有运动目标当前位置的前景块单独提取并进行标记；

前景块跟踪模块222，用于利用卡尔曼滤波预测某一运动目标在当前帧的位置；将预测到的位置与标记后的前景块位置进行比较；若对应为同一运动目标，则将预测到的位置作为该运动目标在当前帧的位置；否则，使用粒子滤波算法对该标记后的前景块进行跟踪。

所述运动目标信息生成模块23包括：

摘要信息生成模块231，用于提取运动目标在视频场景中的运动情况，生成包含运动目标的编号、彩色图片、出现时间、消失时间及运动目标颜色直方图的摘要信息；其中所述目标颜色直方图为红色R、绿色G、蓝色B三通道颜色直方图，每一直方图分成8块。

该系统还包括查询模块24，用于查询摘要信息；且该模块包括：

摘要信息检索模块241，用于根据用户输入的运动目标的颜色信息及运动目标出现的时间，进行摘要信息的检索；

结果输出模块242，用于输出符合用户输入条件的运动目标的编号，并显示对应的彩色图片。

需要说明的是，上述系统中包含的各个模块所实现的功能的具体实现方式在前面的实施例中已经有详细描述，故在这里不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种视频场景中运动目标感知的方法，其特征在于，该方法包括：

运动目标的捕捉：利用帧间差分法和背景差分法检测图像的前景像素，并将两者检测的结果融合，获得包含运动目标及其运动区域的前景图；

运动目标的跟踪：提取该前景图中表示某一运动目标位置的前景块，并对该前景块进行跟踪直至其离开视频场景；

运动目标信息的生成：根据该前景块对应的运动目标在视频场景中的运动情况，生成包含该运动目标属性及运动情况的摘要信息。

2.根据权利要求1所述的方法，其特征在于，所述获得包含运动目标及其运动区域的前景图步骤包括：

从视频数据中提取帧数据，并转换为三基色RGB图像；

计算前一帧RGB图像与当前帧RGB图像的帧间差分，获得帧差前景图，以及计算背景模型和当前帧RGB图像的差分，获得背景差前景图；

将所述帧差前景图与背景差前景图进行融合，获得包含运动目标及其运动区域的前景图。

3.根据权利要求1所述的方法，其特征在于，所述提取该前景图中表示某一运动目标位置的前景块，并对该前景块进行跟踪直至其离开视频场景的步骤包括：

所述提取该前景图中表示运动目标位置的前景块的步骤：通过膨胀处理与腐蚀处理，从该前景图中提取出连续的运动区域；利用连通区域检测的方法从所述连续的运动区域提取出表示独立运动区域的前景块；再将带有运动目标当前位置的前景块单独提取并进行标记；

所述对该前景块进行跟踪的步骤：利用卡尔曼滤波预测某一运动目标在当前帧的位置；将预测到的位置与标记后的前景块位置进行比较；若对应为同一运动目标，则将预测到的位置作为该运动目标在当前帧的位置；否则，使用粒子滤波算法对该标记后的前景块进行跟踪。

4.根据权利要求1所述的方法，其特征在于，所述运动目标信息的生成的步骤包括：

提取运动目标在视频场景中的运动情况，生成包含运动目标的编号、彩色图片、出现时间、消失时间及运动目标颜色直方图的摘要信息；其中所述目标颜色直方图为红色R、绿色G、蓝色B三通道颜色直方图，每一直方图分成8块。

5.根据权利要求4所述的方法，其特征在于，该方法还包括用户查询所述摘要信息的步骤，且该步骤包括：

根据用户输入的运动目标的颜色信息及运动目标出现的时间，进行摘要信息的检索；

输出符合用户输入条件的运动目标的编号，并显示对应的彩色图片。

6.一种视频场景中运动目标感知的系统，其特征在于，该系统包括：

运动目标捕捉模块，用于利用帧间差分法和背景差分法检测图像的前景像素，并将两者检测的结果融合，获得包含运动目标及其运动区域的前景图；

运动目标跟踪模块，用于提取该前景图中表示某一运动目标位置的前景块，并对该前景块进行跟踪直至其离开视频场景；

运动目标信息生成模块，用于根据该前景块对应的运动目标在视频场景中的运动情况，生成包含该运动目标属性及运动情况的摘要信息。

7.根据权利要求6所述的系统，其特征在于，所述运动目标捕捉模块包括：

图像格式转换模块，用于从视频数据中提取帧数据，并转换为三基色RGB图像；

计算模块，用于计算前一帧RGB图像与当前帧RGB图像的帧间差分，获得帧差前景图，以及计算背景模型和当前帧RGB图像的差分，获得背景差前景图；

前景图获取模块，用于将所述帧差前景图与背景差前景图进行融合，获得包含运动目标及其运动区域的前景图。

8.根据权利要求6所述的系统，其特征在于，所述运动目标跟踪模块包括：

前景块提取模块，用于通过膨胀处理与腐蚀处理，从该前景图中提取出连续的运动区域；利用连通区域检测的方法从所述连续的运动区域提取出表示独立运动区域的前景块；再将带有运动目标当前位置的前景块单独提取并进行标记；

前景块跟踪模块，用于利用卡尔曼滤波预测某一运动目标在当前帧的位置；将预测到的位置与标记后的前景块位置进行比较；若对应为同一运动目标，则将预测到的位置作为该运动目标在当前帧的位置；否则，使用粒子滤波算法对该标记后的前景块进行跟踪。

9.根据权利要求6所述的系统，其特征在于，所述运动目标信息生成模块包括：

摘要信息生成模块，用于提取运动目标在视频场景中的运动情况，生成包含运动目标的编号、彩色图片、出现时间、消失时间及运动目标颜色直方图的摘要信息；其中所述目标颜色直方图为红色R、绿色G、蓝色B三通道颜色直方图，每一直方图分成8块。

10.根据权利要求9所述的系统，其特征在于，该系统还包括查询模块，用于查询摘要信息；且该模块包括：

摘要信息检索模块，用于根据用户输入的运动目标的颜色信息及运动目标出现的时间，进行摘要信息的检索；

结果输出模块，用于输出符合用户输入条件的运动目标的编号，并显示对应的彩色图片。

Images