CN101635057A - 基于图像传感器网络的目标跟踪方法 - Google Patents

Abstract

本发明公开了计算机图像处理技术领域中的一种基于图像传感器网络的目标跟踪方法。观测节点侦测目标物体，目标物体出现在观测节点的监测区域内；则观测节点按照设定的时间间隔进行图像采集，对采集到的图像实时地进行灰度化处理和二值化处理，然后根据处理后的图像中背景和目标物体的像素差异，提取出目标物体在当前时间点的像素坐标；观测节点将得到的目标物体像素坐标发送给服务器；服务器通过观测节点图像坐标系与现实坐标系的转换关系，将目标物体的像素坐标，转换为物理世界的真实坐标，并利用光滑曲线将目标物体的历史像素坐标进行连接，最终得到目标物体的运动轨迹。本发明使目标跟踪更加准确高效。

Description

基于图像传感器网络的目标跟踪方法

技术领域

本发明属于计算机图像处理技术领域，尤其涉及一种基于图像传感器网络的目标跟踪方法。

背景技术

无线传感器网络综合了传感技术、网络技术、无线通信技术和分布式智能信息处理技术等，可以广泛应用于智能建筑、环境监测等领域。无线传感器网络由部署在一个特定区域内的较大规模的传感器节点组成，传感器节点采用多跳、自组织的无线通信方式，以特定的协议高效、稳定、协同地完成某种特定的任务，从而极大地扩展人们获取客观世界信息的能力。由于传感器节点成本低、感知数据精确、部署方便，传感器网络自组织、鲁棒性强等优点，能够有效地感知和检测目标物体，因此目标跟踪成为无线传感器网络应用的热点领域。

近年来，许多国内外学者相继展开了采用无线传感器网络进行目标跟踪的研究，其中大部分的研究成果借助于无线传感器观测节点与被测目标之间的信息交互，例如专利申请公开说明书《基于双层预测机制的无线传感器网络目标跟踪方法》(申请号200810048967.1，公开号CN101339240)，结合目标的运动特征和历史数据，建立目标轨迹的预测模型。这种方法受限于观测节点与被测目标之间的无线通信以及预测模型的局限性，精度不高，并且当部署环境干扰通信、目标运动无规律、目标运动轨迹突然发生变化时，这些方法将丢失跟踪目标，易产生错误轨迹估计等问题。

随着嵌入式技术的发展，图像传感器已经能够应用到无线传感器网络中，利用图像传感器网络进行目标跟踪，具有直观性和及时性，在一定程度上解决了上述方法存在的问题。传统的利用图像信息实现目标跟踪的方法根据是否进行图像间的模式匹配可以概括为两类：基于目标检测的方法和基于目标识别的方法。

(1)基于目标检测的方法。

基于目标检测的方法主要有基于差分的方法、基于背景估计的方法和基于运动场估计的方法三种。

基于差分的方法是对相邻帧图像做相减运算，利用视频序列中相邻帧图像间的强相关性进行变化检测，从而确定运动目标。但差分后显现的背景易被误认为是噪声，这种误差在传统差分法中无法克服，造成目标检测的不准确，对于缓慢运动的目标甚至无法提取出目标边界，对于快速运动的目标提取出的目标区域又过大。

基于背景估计的方法是将当前图像与事先存储或随时更新的背景图像相减，若某一像素大于阀值，则认为该像素属于运动目标。此方法中，背景更新的计算量较大，且必须建立合适的模型，对于背景也做大幅度运动的场合是不适用的。

基于运动场估计的方法是通过视频序列的时空相关性分析估计运动场，建立相邻帧图像的对应关系，利用目标与背景的运动形式不同而进行运动目标检测。主要有光流法、块匹配方法、贝叶斯分割等。此类方法依靠增加时间域的支撑来获得在低信噪比和复杂背景条件下检测目标的能力。但需要对整个图像区域进行运算，计算量大，而且一般局限于目标与背景的灰度保持不变的假设条件下。

(2)基于目标识别的方法。

基于识别的方法亦可以称为基于匹配的方法，其基本思想是把一个预先存储的目标图像模板作为识别和测定目标位置的依据，用目标模板与实际图像的各个子区进行匹配，找出和目标模板最相似的一个子图像的位置，就认为是当前目标的位置。但这种跟踪方法运算量较大，对于尺度、旋转等图像变形问题，模板匹配很困难，当目标的自身特征发生变化时，容易导致模板匹配不稳定。

从上述分析可以看出，传统的利用图像信息实现目标跟踪的方法没有考虑观测设备硬件资源的限制，这些方法计算量大、结构复杂，需要设备具有较好的数据处理能力和丰富的存储资源。然而无线传感器节点要求低功耗、低复杂度、低成本，传统的方法无法直接应用图像传感器网络中，因此迫切需要新的解决思路，利用图像传感器网络实现目标跟踪。

发明内容

本发明的目的在于，提出一种基于图像传感器网络的目标跟踪方法，用以解决上述传感器网络采用的目标跟踪方法存在的问题。

本发明的技术方案是，一种基于图像传感器网络的目标跟踪方法，采用红外发光二极管对目标进行标识，并在观测节点的图像传感器中安装滤光片，然后观测节点通过采集视野内的图像以及识别图像内红外发光二极管的位置，完成对目标轨迹的跟踪，其特征是所述方法包括下列步骤：

步骤1：观测节点侦测目标物体，判断是否有目标物体出现在观测节点的监测区域内或者是否有目标物体将要出现在观测节点的监测区域内，如果是，则执行步骤2；否则，继续侦测；

步骤2：按照观测节点设定的时间间隔进行图像采集，对采集到的图像实时地进行灰度化处理和二值化处理，然后根据处理后的图像中背景和目标物体的像素差异，提取出目标物体在当前时间点的像素坐标；

步骤3：观测节点将得到的目标物体像素坐标发送给服务器；同时，观测节点利用目标物体像素坐标与观测节点的监测区域边界进行对比，判断目标物体是否处在观测节点的监测区域内，如果是，则返回步骤2；否则，返回步骤1；

步骤4：服务器通过观测节点图像坐标系与现实坐标系的转换关系，将目标物体的像素坐标，转换为物理世界的真实坐标，并在显示界面上标识，利用光滑曲线将目标物体的历史像素坐标进行连接，最终得到目标物体的运动轨迹。

所述判断是否有目标物体出现在观测节点的监测区域内，具体是：每个观测节点周期性地通过自身的图像传感器模块来检测是否有目标出现在监测区域内。

所述判断是否有目标物体将要出现在观测节点的监测区域内，具体是：每个观测节点周期性地侦测来自邻居观测节点发送来的消息，确定是否有目标物体将要出现在观测节点的监测区域内。

所述步骤3还包括，当目标物体到达观测节点的监测区域边界时，观测节点主动向周围邻居观测节点发送消息，通知邻居观测节点有目标物体将要出现在邻居观测节点的监测区域内。

所述灰度化处理是，通过删除冗余的图像信息，将观测节点的图像传感器模块采集的目标物体的彩色图像，转变为灰度图像。

所述二值化处理是，通过设置适当的阈值，将经过灰度化处理后的灰度图像的像素的灰度置为0或255，使其呈现出明显的黑白效果。

所述提取出目标物体在当前时间点的像素坐标的方法包括下列步骤：

步骤21：对目标物体的所有的灰度值为255的像素点进行分类，设为集合{A_i}，要求A_i内像素位置两两相通，即任意两个像素位置满足通过若干相邻位置构成一条通路；而不同集合A_i内的像素位置互不相通；

步骤22：判别集合{A_i}的大小，根据事先已知的发光二极管的光斑大小N，计算集合A_I使其大小与N最接近，其计算公式为：

I＝arg_imin|size(A_i-N)|

步骤23：依照公式

$(x_o,y_o)=(\frac{\mathrm{\Σ}{x}_k}{\mathrm{size}\left(A_I\right)},\frac{\mathrm{\Σ}{y}_k}{\mathrm{size}\left(A_I\right)}),(x_k,y_k)\∈A_I$

求得A_I内像素位置的质心，并将其作为被测目标物体的像素坐标(x_o，y_o)。

所述观测节点将得到的目标物体像素坐标发送给服务器，其过程采用UDP协议并通过Wi-Fi方式。

本发明的效果在于，利用发光二极管对目标的标识可以有效地表征其所处位置，采用目标物体和背景的像素差异准确提取出目标物体的位置信息，省去了繁复的计算过程，从而使目标跟踪更加准确高效。

附图说明

图1是本发明的系统搭建场景图；

图2是本发明实施例一的实现流程图；

图3是监测区域划分示意图；

图4是本发明实施例二的实现流程图；

图5是本发明实施例二的目标跟踪轨迹示意图。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

图1是本发明的系统搭建场景图。图1所示为基于图像传感器网络的目标跟踪方法的测试场景。若干个观测节点1垂直于地面2并固定，以某个角度值向下俯视地面2，并在部署前通过测试获得每个测试节点的监测区域。以某个节点作为原点，选用合适的步长划分坐标系，并将其作为现实世界的实际坐标系。

实施例一：

在本发明中，观测节点侦测目标物体，有两种实现方式，一种是每个观测节点周期性地通过自身的图像传感器模块来检测是否有目标出现在监测区域内；另一种是通过观测节点不断侦听来自邻居观测节点发送来的消息来确定是否有目标出现将要出现在监测区域内。本实施例采用第一种方式。

图2是本发明实施例一的实现流程图。图2中，本发明提出的基于图像传感器网络的目标跟踪方法通过下列步骤实现：

步骤101：开始进行目标物体侦测。

步骤102：每个观测节点周期性地通过自身的图像传感器模块来检测是否有目标物体出现在监测区域内，如果是，则执行步骤103；否则，返回步骤101继续侦测。

步骤103：按照观测节点设定的时间间隔进行图像采集，对采集到的图像实时地进行灰度化处理和二值化处理。

灰度化处理是通过删除冗余的图像信息，将观测节点的图像传感器模块采集的目标物体的彩色图像，转变为灰度图像。

二值化处理是通过设置适当的阈值，将经过灰度化处理后的灰度图像的像素的灰度置为0或255，使其呈现出明显的黑白效果。

步骤104：然后根据处理后的图像中背景和目标物体的像素差异，提取出目标物体在当前时间点的像素坐标，其过程是：

首先，对目标物体的所有的灰度值为255的像素点进行分类，设为集合{A_i}，要求A_i内像素位置两两相通，即任意两个像素位置满足通过若干相邻位置构成一条通路；而不同集合A_i内的像素位置互不相通。

其次：判别集合{A_i}的大小，根据事先已知的发光二极管的光斑大小N，计算集合A_I使其大小与N最接近，其计算公式为：

I＝arg_i min|size(A_i-N)|。

最后：依照公式

$(x_o,y_o)=(\frac{\mathrm{\Σ}{x}_k}{\mathrm{size}\left(A_I\right)},\frac{\mathrm{\Σ}{y}_k}{\mathrm{size}\left(A_I\right)}),(x_k,y_k)\∈A_I,$

求得A_I内像素位置的质心，并将其作为被测目标物体的像素坐标(x_o，y_o)。

步骤105：观测节点将得到的目标物体像素坐标发送给服务器。观测节点将得到的目标物体像素坐标发送给服务器，其过程采用UDP协议并通过Wi-Fi方式。

步骤106：观测节点利用目标物体像素坐标与观测节点的监测区域边界进行对比，判断目标物体是否处在观测节点的监测区域内，如果是，则返回步骤102；否则，返回步骤101。

图3是监测区域划分示意图。图3中，图像传感器观测节点根据自身的监测区域，将其划分为A、B、C、D、E五部分。其中A、B、C、D表示监测区域的边界，d₀表示初始的边界宽度。如果观测节点发现目标像素的位置位于E区域内，表示目标不会离开该观测节点的监测区域，这意味着目标物体处在观测节点的监测区域内，此时返回步骤102，由该观测节点继续进行图像采集；如果观测节点发现目标像素的位置位于其他区域内，表示目标会离开该观测节点的监测区域，这意味着目标物体不处在观测节点的监测区域内，此时返回步骤101，等待其他观测节点捕捉该目标物体。

步骤107：服务器判断接收到的目标物体像素坐标是否有效，如果有效则执行步骤108；否则，执行步骤110。

步骤108：服务器通过观测节点图像坐标系与现实坐标系的转换关系，将目标物体的像素坐标，转换为物理世界的真实坐标。

服务器上安装软件工具Qt和Qwt来完成其轨迹绘制和显示的任务。系统主要利用图像标定过程来得到所有观测节点像素坐标系和实际坐标系之间的关系矩阵T，用以实现坐标转换。

步骤109：利用光滑曲线将目标物体的历史像素坐标进行连接，最终得到目标物体的运动轨迹。

步骤110：忽略该像素坐标。

实施例二：

在本实施例中，采用观测节点不断侦听来自邻居观测节点发送来的消息，确定是否有目标出现将要出现在监测区域内。图4是本发明实施例二的实现流程图。图4中，本发明提出的基于图像传感器网络的目标跟踪方法通过下列步骤实现：

步骤201：开始进行目标物体侦测。

步骤202：每个观测节点周期性地侦测来自邻居观测节点发送来的消息，确定是否有目标物体将要出现在观测节点的监测区域内。如果是，则执行步骤203；否则，返回步骤201继续侦测。

步骤203：按照观测节点设定的时间间隔进行图像采集，对采集到的图像实时地进行灰度化处理和二值化处理。

灰度化处理和二值化处理的过程与实施例一的步骤103一致。

步骤204：然后根据处理后的图像中背景和目标物体的像素差异，提取出目标物体在当前时间点的像素坐标，其过程与实施例一的步骤104一致。

步骤205：观测节点将得到的目标物体像素坐标发送给服务器。观测节点将得到的目标物体像素坐标发送给服务器，其过程采用UDP协议并通过Wi-Fi方式。

步骤206：观测节点利用目标物体像素坐标与观测节点的监测区域边界进行对比，判断目标物体是否处在观测节点的监测区域内，如果是，则返回步骤202；否则，执行步骤207。

图3是监测区域划分示意图。图3中，图像传感器观测节点根据自身的监测区域，将其划分为A、B、C、D、E五部分。其中A、B、C、D表示视野的边界，d₀表示初始的边界宽度。如果观测节点发现目标像素的位置位于E区域内，表示目标不会离开该观测节点的监测区域，这意味着目标物体处在观测节点的监测区域内，此时返回步骤202，由该观测节点继续进行图像采集。如果观测节点发现目标像素的位置位于其他区域内，表示目标会离开该观测节点的监测区域，这意味着目标物体不处在观测节点的监测区域内，那么由该观测节点向A、B、C、D区域对应的邻居节点发出警告消息，使对应区域的邻居观测节点捕捉该目标物体。

为了适应目标不同的移动速度，对边界宽度d₀实现动态调整，结合当前象素位置和前一个时刻的象素位置，边界宽度 $d_0=\mathrm{MAX}\{d(t-1),\sqrt{{(s_x\left(t\right)-s_x(t-1))}^2+{(s_y\left(t\right)-s_y(t-1))}^2}\},$ 其中，d(t-1)为前一个时刻的边界宽度，S_x(t)、S_y(t)分别为当前像素横、纵坐标；S_x(t-1)和S_y(t-1)分别为前一个时刻的像素横、纵坐标。因此，边界的动态调整能够保证及时发现目标是否有离开视野范围的趋势，以便于观测节点及早实现邻居通告。

步骤207：观测节点主动向周围邻居观测节点发送消息，通知邻居观测节点有目标物体将要出现在邻居观测节点的监测区域内。

步骤208：服务器判断接收到的目标物体像素坐标是否有效，如果有效则执行步骤209；否则，执行步骤211。

步骤209：服务器通过观测节点图像坐标系与现实坐标系的转换关系，将目标物体的像素坐标，转换为物理世界的真实坐标。

步骤210：利用光滑曲线将目标物体的历史像素坐标进行连接，最终得到目标物体的运动轨迹。图5是本发明实施例二的目标跟踪轨迹示意图。图5中，各个点的坐标通过观测节点图像坐标系与现实坐标系的转换关系得到，然后将目标物体的历史像素坐标进行连接，形成目标物体的运动轨迹。

步骤211：忽略该像素坐标。

为保证目标跟踪轨迹的准确以及考虑观测节点和服务器的处理能力，在实施例一和实施例二实施过程中，步骤102和步骤202观测节点监测目标物体的周期可以设定的长一些，比如8-10秒进行一次检测；而步骤103和步骤104中，观测节点按照设定的时间间隔进行图像采集时，设定的时间间隔可以短一些，在1-2秒进行一次图像采集。

通过本发明提供的方法，观测节点采集图像时，可以将目标物体简化为一个光斑，目标物体所在的复杂环境则简化为单一色调的背景。其优点是经过图像处理后，利用目标物体和背景的像素差异便可准确提取出目标物体的位置信息，省去了模板匹配、相邻帧图像差分以及背景估计等繁复的程序，降低整个工作的复杂度；利用发光二极管对目标的标识可以有效地表征其所处位置，而忽略了其它与位置信息无关的干扰因素，所以物体自身的旋转和形状的变化以及周围环境变化等问题都不会对目标运动轨迹产生影响。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于图像传感器网络的目标跟踪方法，采用红外发光二极管对目标进行标识，并在观测节点的图像传感器中安装滤光片，然后观测节点通过采集视野内的图像以及识别图像内红外发光二极管的位置，完成对目标轨迹的跟踪，其特征是所述方法包括下列步骤：

步骤1：观测节点侦测目标物体，判断是否有目标物体出现在观测节点的监测区域内或者是否有目标物体将要出现在观测节点的监测区域内，如果是，则执行步骤2；否则，继续侦测；

步骤2：按照观测节点设定的时间间隔进行图像采集，对采集到的图像实时地进行灰度化处理和二值化处理，然后根据处理后的图像中背景和目标物体的像素差异，提取出目标物体在当前时间点的像素坐标；

步骤3：观测节点将得到的目标物体像素坐标发送给服务器；同时，观测节点利用目标物体像素坐标与观测节点的监测区域边界进行对比，判断目标物体是否处在观测节点的监测区域内，如果是，则返回步骤2；否则，返回步骤1；

步骤4：服务器通过观测节点图像坐标系与现实坐标系的转换关系，将目标物体的像素坐标，转换为物理世界的真实坐标，并在显示界面上标识；利用光滑曲线将目标物体的历史像素坐标进行连接，最终得到目标物体的运动轨迹。

2.根据权利要求1所述的一种基于图像传感器网络的目标跟踪方法，其特征是所述判断是否有目标物体出现在观测节点的监测区域内，具体是：每个观测节点周期性地通过自身的图像传感器模块来检测是否有目标出现在监测区域内。

3.根据权利要求1所述的一种基于图像传感器网络的目标跟踪方法，其特征是所述判断是否有目标物体将要出现在观测节点的监测区域内，具体是：每个观测节点周期性地侦测来自邻居观测节点发送来的消息，确定是否有目标物体将要出现在观测节点的监测区域内。

4.根据权利要求1所述的一种基于图像传感器网络的目标跟踪方法，其特征是所述步骤3还包括，当目标物体到达观测节点的监测区域边界时，观测节点主动向周围邻居观测节点发送消息，通知邻居观测节点有目标物体将要出现在邻居观测节点的监测区域内。

5.根据权利要求1所述的一种基于图像传感器网络的目标跟踪方法，其特征是所述灰度化处理是，通过删除冗余的图像信息，将观测节点的图像传感器模块采集的目标物体的彩色图像，转变为灰度图像。

6.根据权利要求1所述的一种基于图像传感器网络的目标跟踪方法，其特征是所述二值化处理是，通过设置适当的阈值，将经过灰度化处理后的灰度图像的像素的灰度置为0或255，使其呈现出明显的黑白效果。

7.根据权利要求1所述的一种基于图像传感器网络的目标跟踪方法，其特征是所述提取出目标物体在当前时间点的像素坐标的方法包括下列步骤：

步骤21：对目标物体的所有的灰度值为255的像素点进行分类，设为集合{A_i}，要求A_i内像素位置两两相通，即任意两个像素位置满足通过若干相邻位置构成一条通路；而不同集合A_i内的像素位置互不相通；

步骤22：判别集合{A_i}的大小，根据事先已知的发光二极管的光斑大小N，计算集合A_I使其大小与N最接近，其计算公式为：

I＝argimin|size(A_i-N)|；

步骤23：依照公式

$(x_o,y_o)=(\frac{{\mathrm{\Σx}}_k}{\mathrm{size}\left(A_I\right)},\frac{\mathrm{\Σ}{y}_k}{\mathrm{size}\left(A_I\right)})(x_k,y_k)\∈A_I$

求得A_I内像素位置的质心，并将其作为被测目标物体的像素坐标(x_o，y_o)。

8.根据权利要求1所述的一种基于图像传感器网络的目标跟踪方法，其特征是所述观测节点将得到的目标物体像素坐标发送给服务器，其过程采用UDP协议并通过Wi-Fi方式。

Images