CN103109244B - 用于物体跟踪和识别的方法和装置 - Google Patents

Abstract

本发明涉及一种物体跟踪和识别系统，包括：视频设备，用于在所述物体跟踪和识别系统的探测范围内获取物体的图像信息；和RFID设备，用于探测所述物体的RF标签的信号强度，其中在探测到的信号强度达到预定信号强度阈值时使所述视频设备开机以获取所述物体的图像信息。

Description

用于物体跟踪和识别的方法和装置

技术领域

本发明总体上涉及物体跟踪和识别系统。具体而言，本发明涉及采用RFID和视频设备进行物体识别和跟踪的方法和装置。

背景技术

云计算的概念能够使用户在并未看到计算机或其他电子设备的情况下对其进行使用。用户无需发出明确的指令，而是通过自然的活动就可以操控应用程序的执行。

建立云计算平台的第一项任务就是进行物体跟踪和识别以获取用户的活动状态。例如，在数字家庭环境下，上述的活动状态可以是与用户的位置、运动、姿势、声音或者面部表情相关的任何信息。通过对用户的活动状态进行探测和分析，系统可以进行相应的操作，无需用户在家庭设备上进行任何明确的操作。

下面对一个简单的应用场景进行介绍。1）无论用户进出具有一台电视的起居室，该电视机都处于关闭状态。2）一旦用户表现出观看电视的意愿，例如坐在沙发上或者在电视机前站立不动，则电视机发出闪烁（好像在眨眼）。3）当用户朝着电视机挥手数次时，电视机开机。4）用户可以继续通过手势和声音指令操纵电视机。5）当用户走出起居室时，电视节目暂停；当用户回来时，电视节目继续播放。

现有技术中，已经采用无线射频识别技术（RFID）的位置识别系统来进行用户位置探测。但是，在探测过程中还存在困难，因为在多路室内环境下接收到的信号强度有时不稳定。另外，现有技术中也将摄像机用于跟踪物体。根据一台或多台摄像机的视场中的物体的外观确定该物体的图像信息（例如位置，包括物体的“现实”坐标、物体的“物理”位置和物体的“三维”坐标）以及运动和姿势等。

下面说明一个简单的混合式位置探测和物体识别方法。每个家庭用户佩戴有有源RFID标签，该标签能向家庭内的接收器发射无线电信号。一个简单的设置是在需要控制的家用电器（例如电视机）顶部放置一个RFID接收器。所述标签可以附着在用户的鞋子或者衣服上。另外，在电视机的顶部或房间内的具体设置上设置多个视频设备，例如摄像机和视频跟踪设备。

发明内容

本发明涉及一种物体跟踪和识别系统，包括：视频设备，用于在所述物体跟踪和识别系统的探测范围内获取物体的图像信息；和RFID设备，用于探测所述物体的RF标签的信号强度，其中在探测到的信号强度达到预定信号强度阈值时使所述视频设备开机以获取所述物体的图像信息。

本发明还涉及一种用于物体跟踪和识别系统的方法，包括：通过视频设备在所述物体跟踪和识别系统的探测范围内获取物体的图像信息；和通过RFID设备探测所述物体的RF标签的信号强度，其中在探测到的信号强度达到预定信号强度阈值时开机所述视频设备以获取所述物体的图像信息。

附图说明

下面结合附图对本发明的示例性实施方式进行说明，其中：

图1是根据本发明实施方式的混合式物体探测和识别系统的示意图；

图2是根据本发明实施方式的RF信号强度分布的示意图；

图3是根据本发明实施方式的线性矩阵模型的表格；

图4是根据本发明实施方式的利用线性矩阵模型的方法的示意图；

图5是根据本发明实施方式的视频设备的探测范围的示意图；和

图6是根据本发明实施方式的用于物体探测和识别的方法的流程图。

具体实施方式

图1是根据本发明实施方式的混合式物体探测和识别系统100的示意图。系统100包括视频设备110，视频设备110可以是设置在电子设备（例如显示设备）上的一台或多台摄像机，用于获取出现在视场内的物体或用户的图像信息。视频设备110连接至或包括图像信息发生器120，图像信息发生器120将视场内的物体的位置映射至显示设备前的坐标，或者获取图像信息，例如运动、姿势、声音或表情。所述坐标可以是真坐标，例如经度、维度和高度。或者所述坐标可以是相对于特定区域或者人为设定的参考域的坐标。所述坐标用于识别物体在系统100的探测范围内的实际位置并显示物体与显示设备之间的距离。一般而言，可以基于坐标和一个图像模型150获取所述坐标和其他图像信息，图像模型150可以包括平面模型（floor plan model）和具有维度线和经度线的全局模型（global model）以及图像数据库。利用视频设备110和图像信息发生器120获取物体的坐标或其他图像信息的技术对于本领域普通技术人员而言是已知的，在此不再详述。

系统100还包括RFID设备130，其包括设置在显示设备上的一个或多个RFID接收器，用于探测附着在物体或用户上并发射RF能量的RFID标签（未示出）的信号强度。RFID设备130连接至或包括坐标发生器140以基于坐标和图像模型150获得物体的位置，并探测用户与显示设备之间的距离。利用RFID设备130和坐标发生器140以获取坐标和物体的距离的技术对于本领域普通技术人员而言是已知的，在此不再详述。

已知的是，相对RFID设备而言，视频设备能够获得物体更精确的图像信息。但是，考虑到用户的隐私以及能耗，最好能在必要时才让视频设备开机，特别是当无线摄像机用作所述视频设备时。因此，根据本发明的实施方式，采用中央处理器160控制视频设备110和RFID设备130，从而当RF信号强度大于预定阈值时（表示物体或用户靠近显示设备，例如电视机），才开机所述视频设备。当物体或用户远离电视机时，RF信号强度较低，此时关闭视频设备。

所述预定阈值是物体位于特定位置或与显示设备具有特定距离（例如6米）时的信号强度。所述阈值可以表示其产生时的环境。如果环境变化，所述阈值可能是无效的，在这种情况下，上述的特定位置或距离可能是错误的。

根据本发明的实施方式，创建一个关系模型来描述系统100的探测范围内的两点之间的信号强度关系，从而利用该两点估计和动态更新所述信号强度的阈值。图2是根据本发明实施方式的RF信号强度分布的示意图。图中示出了相应的RSS等高线。图2右侧的条码代表无线信号强度RSS（dB），x轴和y轴限定了物体识别系统100的探测范围的坐标，这里是基于系统中采用的摄像机而设定。所述摄像机具有某个视场（FoV）和景深（DoV），视场和景深分别是摄像机传感器可以获取精确图像/视频的角度和距离。在此图中，探测范围可以分为数个网格（例如R1-R9以及DR1-DR3），其中DR1－DR3是阈值网格，其中相应的信号强度是用于使所述显示设备开机的预定阈值。每个网格的位置可以由其中心点代表，这表示每个网格的无线信号强度可以由其中心点的无线信号代表。

网格（R1－R9以及DR1－DR3）中的两个网格之间的信号强度关系可以由下面的线性模型来建模：

$r_i={\mathrm{\ω}}_{i,j}^0+{\mathrm{\ω}}_{i,j}^1{r}_j---\left(1\right)$

其中r_i表示在第i个网格接收到的信号强度采样，r_j表示在第j个网格接收到的信号强度采样。和是线性模型的系数。例如，可以通过在第i个和第j个网格中采集离线训练（offline training）的多个采样并对这些采样采用最小均方误差（MMSE）来获取这些系数。

另外，已知线性关系是稳定或者固定的，即，通常关系不受环境变化的影响。因此采用线性模型矩阵（假设包括M*M个元素）来描述探测范围内的M个网格之间的关系，其中（第i行、第j列的）元素是表示第i个和第j个网格之间的RSS关系。此线性模型矩阵可以用于在线阶段以协助估计探测范围内的信号强度，例如图2中的阈值范围DR1、DR2和DR3内的RSS值。另外，本发明并不局限于从两个网格获得的线性模型，本领域普通技术人言可以理解，还可以从两个以上的网格获得线性模型。本发明也不局限于线性模型矩阵，本领域普通技术人言可以理解，本发明还可以采用网格之间的其他适当模型。

图3示出了一个线性模型矩阵的实例。图3中示出了用于每两个网格的元素。需要指出，用于相同网格的元素，例如在本实施方式中未采用DR1和DR7、R1和R7。

图4是利用线性矩阵模型的方法的示意图。根据本发明的实施方式，使用线性模型矩阵动态地更新DR1－DR3处预定的信号强度阈值。例如，在t0时，通过离线训练获得线性模型矩阵。如果在t1时在探测范围内的网格（例如R7）中出现物体，摄像机将开机，因为附着在物体上的RF标签的信号强度大于原始阈值。此时，摄像机和RF接收器都可用。因此，摄像机将获取显示设备与出现物体的网格之间的距离，并且获得标签的当前信号强度。根据这些采样数据，基于线性模型矩阵和公式（1）在阈值网格（例如DR1）的信号强度。此方法称为单点估计。基于相同的方法，可以更新在t1和t2时估计的阈值以当物体下次进入所述探测区域的时候将所述显示设备开机。

另外，还可以采用基于线性模型矩阵的多点估计方法。当在线阶段摄像机的图像分析获取了多个信号强度采样时，可以采用多点估计。这表示所述阈值是通过多点的多个RSS采样估计出来的。例如，假设将估计对应于DR1的阈值（r_i）并且通过图像分析在R4、R5、R7和R8获取信号强度采样。将选择最接近DR1的两个网格（R7、R8）进行估计。然后将分别采用各个线性模型来估计DR1的信号强度。通过一个最大比率合并算法将两个估计结果合并。详细的过程如下：

选择两个最接近的网格（R7、R8），r_j、r_k分别表示R7和R8的信号强度采样。为了选择更精确的网格以获得估计值，可以如下引入每个网格的可靠系数r_j的C_1，i和r_k的C_2,i：

找到网格R7的相邻网格R4（r_l为其信号强度），并利用公式（1）通过r_l估计r_j。然后，通过公式（2）获得R7的可靠系数：

$C_{1,i}=1/{(r_j-({\mathrm{\ω}}_{j,l}^0+{\mathrm{\ω}}_{j,l}^1{r}_l))}^2---\left(2\right)$

其中r_j是在R7探测到的信号强度，是利用r_l和图3中的线性模型矩阵获得的R7的估计信号强度。从公式（2）可以看出，较高的C_1，i表示在此网格的样本的较高可靠系数。

然后找到点R8的最接近的网格R5（r_m为其信号强度），并利用公式（1）通过r_m估计r_k。然后通过公式（3）获得R8的可靠系数：

$C_{2,i}=1/{(r_k-({\mathrm{\ω}}_{k,m}^0+{\mathrm{\ω}}_{k,m}^1{r}_m))}^2---\left(3\right)$

利用下述公式归一化C_1，i和C_2,i：

C_1，i＝C_1，i/(C_1，i+C_2,i) (4)

C_2,i＝C_2,i/(C_1，i+C_2,i) (5)

利用下述公式采用最大比率合并将阈值r_i的估计值合并，并利用r_j估计阈值r_i（在公式中表示为r_1,i）：

$r_{1,i}={\mathrm{\ω}}_{i,j}^0+{\mathrm{\ω}}_{i,j}^1{r}_j---\left(6\right)$

利用r_k估计r_i（在公式中表示为r_2，i）。

$r_{2,i}={\mathrm{\ω}}_{i,k}^0+{\mathrm{\ω}}_{i,k}^1{r}_k---\left(7\right)$

通过MRC方法获得r_i的最终估计：

r_i＝C_1，ir_1,i+C_2，ir_2,i (8)

利用获得的r_i更新所述阈值，从而当物体进入阈值网格时摄像机能够开机以获取物体的状态信息。图5是根据本发明实施方式的视频设备的探测范围的示意图。在图5中示出了墙和家具分布的轮廓。也显示了在两个边界线之间的探测范围内用户的特征尺寸（例如脸的尺寸）以及摄像机与用户之间的距离。例如，在图像信息发生器120的内存中基于成人脸尺寸/儿童脸尺寸准备拍摄的序列图像，从而基于新拍摄图像与这些样本拍摄图像之间的对比定义显示设备与用户之间的大致距离。实际上，包括用户识别信息的RFID标签有助于选择进行对比的脸型。例如，可以将用户脸部特征存储在RFID标签中。同时，通过分析脸在摄像机图像中的位置（左/右/中间）可以获取用户的方向信息。

图6是根据本发明实施方式的用于物体探测和识别的方法的流程图。在步骤601，进行离线训练以获得图3所示的线性模型矩阵和在阈值网格DR1－DR3的原始阈值信号强度。在步骤602，当物体出现在探测范围内时，摄像机开机以获取所述物体的图像信息。在步骤603，由摄像机根据图像信息确定出现所述物体的网格。此时，在步骤604，RF设备也用于探测附着在物体上的RF标签的信号强度。在步骤605，根据线性模型矩阵获取阈值网格的信号强度阈值，并且在步骤606更新所述原始阈值。

上面结合具体实施方式对本发明进行了说明，本领域普通技术人员根据上述说明还能够在本发明的原理和范围之内设想出其他实施方式。

Claims (12)

1.一种物体跟踪和识别系统(100)，包括：

一RFID设备(130)，适配于探测物体发送的RF信号的强度；

视频设备(110)，适配于在探测到的强度达到预定阈值时开机以获取所述物体的图像信息；以及

处理器(160)，适配于随所述视频设备(110)的探测范围内至少两个位置的RF信号的强度值的关系模型的变化而更新所述预定阈值。

2.根据权利要求1所述的物体跟踪和识别系统(100)，其中所述关系模型是所述探测范围的区域之间的信号强度的线性矩阵模型。

3.根据权利要求1或2所述的物体跟踪和识别系统(100)，其中所述预定阈值对应于所述物体与RFID设备(130)之间的距离。

4.根据权利要求1或2所述的物体跟踪和识别系统(100)，其中通过基于所述关系模型的单点或多点估计方法更新所述预定阈值。

5.根据权利要求1或2所述的物体跟踪和识别系统(100)，还包括图像坐标或图像模型(150)，用于为所述视频设备(110)和RFID设备(130)提供坐标模型或图像模型。

6.根据权利要求1或2所述的物体跟踪和识别系统(100)，其中所述物体跟踪和识别系统(100)适配于被设置在电子设备上以根据由所述视频设备(110)和所述RFID设备(130)探测的图像信息使所述电子设备开机/关闭。

7.一种用于物体跟踪和识别系统(100)的方法，包括：

通过视频设备(110)在所述物体跟踪和识别系统的探测范围内获取物体的图像信息；

通过RFID设备(130)探测所述物体的RF标签的信号强度；

在探测到的信号强度达到预定信号强度阈值时使所述视频设备(110)开机以获取所述物体的图像信息；以及

随所述视频设备(110)的探测范围内至少两个位置的RF标签的强度值的关系模型的变化而更新所述预定信号强度阈值。

8.根据权利要求7所述的方法，其中所述关系模型是所述探测范围的区域之间的信号强度的线性矩阵模型。

9.根据权利要求7或8所述的方法，其中所述预定信号强度阈值对应于所述物体与RFID设备(130)之间的距离。

10.根据权利要求7或8所述的方法，其中通过基于所述关系模型的单点或多点估计方法更新所述预定信号强度阈值。

11.根据权利要求7或8所述的方法，还包括通过图像坐标或图像模型(150)为所述视频设备(110)和RFID设备(130)提供坐标模型或图像模型。

12.根据权利要求7或8所述的方法，其中所述物体跟踪和识别系统(100)适配于被设置在电子设备上以根据由所述视频设备(110)和所述RFID设备(130)探测的图像信息使所述电子设备开机/关闭。