CN111866367A - 用于人标识以及运动方向估计的装置 - Google Patents

Abstract

提供了用于人标识以及运动方向估计的装置。一种装置，包括：无线收发器，其被配置成与同无线收发器附近的一个或多个人相关联的移动设备传送分组数据；以及与无线收发器和相机通信的控制器，控制器被配置成从一个或多个人接收多个分组数据，其中所述分组数据至少包括同与无线收发器通信的无线信道相关联的幅度信息；响应于所述分组数据而将所述一个或多个人标识为顾客或雇员；以及响应于所述分组数据以及指示顾客的标识而确定所述一个或多个人的运动投影。

Description

用于人标识以及运动方向估计的装置

技术领域

本公开内容涉及无线监视系统。

背景技术

零售商店、机场、会议中心以及智能区域/邻域可以监视附近的人。人的运动方向在不同的应用中可以具有各种用例。在许多应用中，相机可以用于追踪人。零售商店中的相机例如可具有被装配在天花板中向下看的相机，并且缺乏通过使用面部识别算法来准确地标识人的能力。此外，面部识别算法在数千人可定位在其中的地方（例如机场或大型零售商店）可能不很好地执行。

发明内容

根据一个实施例，一种装置包括：无线收发器，其被配置成与同无线收发器附近的一个或多个人相关联的移动设备传送分组数据；相机，其被配置成捕获图像数据；以及与无线收发器和相机通信的控制器，控制器被配置成：从移动设备接收多个分组数据，其中所述分组数据至少包括同与无线收发器通信的无线信道相关联的幅度和相位信息；响应于所述分组数据而将所述一个或多个人标识为顾客或雇员；以及响应于所述分组数据以及对（多个）人的标识而确定所述一个或多个人的运动投影。

根据另一实施例，一种装置包括：无线收发器，其被配置成与同无线收发器附近的一个或多个人相关联的移动设备传送分组数据；以及与无线收发器和相机通信的控制器，控制器被配置成：从一个或多个人接收多个分组数据，其中所述分组数据至少包括同与无线收发器通信的无线信道相关联的幅度和相位信息；响应于所述分组数据而将所述一个或多个人标识为顾客或雇员；以及响应于所述分组数据以及对（多个）人的标识而确定所述一个或多个人的运动投影。

根据又一实施例，一种通过利用无线收发器来捕获图像数据的方法包括：从与无线收发器附近的一个或多个人相关联的移动设备接收分组数据；获得与同无线收发器相关联的相机相关联的图像数据；从移动设备接收多个分组数据，其中所述分组数据至少包括同与无线收发器通信的无线信道相关联的幅度和相位信息；响应于所述分组数据而将所述一个或多个人标识为顾客或雇员；以及响应于所述分组数据以及对（多个）人的标识而确定所述一个或多个人的运动投影。

附图说明

图1是根据本公开内容的实施例的无线系统的概览系统图解。

图2是根据本公开内容中的实施例的在相机中所收集的图像数据的示例性图像。

图3是根据本公开内容的实施例的如由相机所利用的示例性热图。

图4是具有各类移动的示例店面。

图5是与示例性实施例相关联的训练模块或动作的示例性流程图。

具体实施方式

在本文中描述了本公开内容的实施例。然而要理解到：所公开的实施例仅仅是示例并且其它实施例可取各种和可替换形式。各图不一定按比例；一些特征可以被夸大或最小化以示出特定组件的细节。因此，本文中所公开的特定结构和功能细节不要被解释为进行限制，而是仅仅作为用于教导本领域技术人员以各种方式采用实施例的代表性基础。如本领域普通技术人员将理解到的，参考各图中任一幅图所图示和描述的各种特征可以与在一幅或多幅其它图中所图示的特征相组合，用于产生没有被显式地图示或描述的实施例。所图示的特征的组合提供针对典型应用的代表性实施例。然而，对于特定的应用或实现方式可以期望与本公开内容的教导一致的特征的各种组合和修改。

无线技术可以用于标识和追踪人。例如，蓝牙和WiFi分组嗅探可以用于标识和定位近旁的人。然而，这样的技术主要利用RSSI（接收信号强度指示符）。这可以使用无线信号来获得粗粒度位置（例如人是否在50米的半径内）。此外，为了定位用户，可以存在如下技术：所述技术需要部署多个接收单元以接收相同的分组并且然后通过使用RSSI值来执行三边测量。这些解决方案的准确性可能由于通过RSSI所提供的信息的缺乏和波动而受损。

CSI（信道状态信息）可以提供与信号如何从传送器传播到接收器相关的丰富得多的信息，并且捕获随距离的信号散射、衰退和功率衰减的组合效应。包含多个天线的单个系统单元可以利用CSI值，并且减少部署多个单元的努力。当然，多个单元可导致更好的性能。

图1是根据本公开内容的实施例的无线系统100的概览系统图解。无线系统100可以包括无线单元101，所述无线单元101被利用以生成并且传送CSI数据。无线单元101可以与雇员115或顾客107的移动设备（例如蜂窝电话、可穿戴设备、平板设备）通信。例如，雇员115的移动设备可以向无线单元101发送无线信号119。在接收到无线分组时，系统单元101获得分组接收的相关联的CSI值。而且，无线分组可以包含与设备ID相关的可标识的信息，例如用于标识雇员115的MAC地址。因而，系统100和无线单元101可以不利用从雇员115的设备所交换的数据来确定各种热点。

虽然WiFi可以用作无线通信技术，但是可以利用任何其它类型的无线技术。例如，如果系统可以从无线芯片组获得CSI，则可以利用蓝牙。系统单元可以能够包含WiFi芯片组，所述WiFi芯片组被附连到多达三个天线，如通过无线单元101和无线单元103所示出的。无线单元101可以包括相机以监视在POI四处走动的各种人。在另一示例中，无线单元103可以不包括相机，并且简单地与移动设备通信。

系统100可以覆盖各种通道，诸如109、111、113、114。通道可以被限定为在店面的搁架105或墙壁之间的走动路径。在各种通道109、111、113、114之间所收集的数据可以用于生成热图并且聚焦在商店的流量（traffic）上。所述系统可以分析来自所有通道的数据，并且利用该数据来标识商店的其它区域的流量。例如，从各种顾客107的移动设备所收集的数据可以对商店容纳高流量的区域进行标识。该数据可以用于放置某些产品。通过利用所述数据，商店管理者可以确定相对于低流量房产（real estate）的高流量房产定位在何处。

可以用存在于无线信号中的分组来传送CSI数据。在一个示例中，无线信号121可以由顾客107及其相关联的移动设备来生成。系统100可以利用存在于无线信号121中的各种信息来确定顾客107是雇员还是其它特性的。顾客107还可以经由信号122来与无线单元103通信。此外，存在于无线信号121中的分组数据可以与无线单元101或单元103二者通信。无线信号121、119和117中的分组数据可以用于提供与运动预测有关的信息以及与雇员/顾客的移动设备有关的流量数据。

图2是根据本公开内容中的实施例的在相机中所收集的图像数据的示例性图像。图2中的相机可以被装配在天花板中的无线单元101中，如通过图像数据所示出的。在其它实施例中，无线单元101可以被装配在别的任何地方，诸如货架或墙壁。人203的所估计运动方向201被示出并且可以根据以下所公开的各种实施例而被预测。通过相机所捕获的图像数据可以用于收集关于在某个空间四处移动的人（例如顾客或雇员）的信息。如以下进一步描述的，图像数据还可以与热图或其它信息相叠覆。

图3是根据本公开内容的实施例的如由相机所利用的示例性热图300。利用热图的基于相机的解决方案通常不能将顾客与雇员进行区别。因而，对人的标识可以改善热图的准确性或有用性。热图的准确性可以基于利用由无线芯片组所生成的CSI数据来被改善。例如，相机可以估计：在一时间段或时间窗口（例如TW1、TW2）期间，10个人可能已通过通道进入。然而，通过标识雇员，所述系统可以能够识别：在该时间窗口期间，在这样的通道中的两个进入是由雇员做出的。因而，经校正或增强的热图将显示进入通道的入口的8个顾客而不是10个。

热图300可以包括被布局在店面或路径的图像之上的不同颜色区。所述区可以具有不同的颜色或阴影以指示区域的流量。例如，中等密度301（中等流量）区域可以基于在零售商店或任何其它类型的空间内通过相机和/或各种人的移动设备所收集的流量数据而被布局。所述系统可以具有针对热图上颜色的每种水平或阴影的所限定的密度。在一个示例中，中等密度301区域可以具有黄颜色或类似的颜色。

在另一实施例中，热图可以具有低密度303（低流量）区域，其指示具有低流量的区域。在一个实施例中，低流量区域303可以利用绿颜色或也许更浅的阴影或颜色来被指定。例如，低流量区域303可以像这样被指定，因为它具有每规定的时间帧访问该区域的特定量的顾客。例如，每小时少于10个顾客可以归类为低流量区域303，然而，针对低流量区域的这样的阈值可以是可变的或被调节。低流量区域303可以像这样被指定，因为它具有每规定的时间帧访问该区域的非常低量的顾客。所述系统可以包括颜色的各种水平和阴影，来开发用以与各种流量密度相关联的热图。

在另一实施例中，热图可以具有高密度305（高流量）区域，其指示具有高流量的区域。在一个实施例中，高流量区域305可以利用红颜色或也许更深的阴影来被指定。所述系统可以帮助商店管理者或其他人标识针对具有不同流量水平的区域的产品放置、广告、或其它用例。

例如，高流量区域305可以像这样被指定，因为它具有每规定的时间帧访问该区域的特定量的顾客。例如，每小时100个顾客。低流量区域303可以像这样被指定，因为它具有每规定的时间帧访问该区域的非常低量的顾客。所述系统可以包括颜色的各种水平和阴影，来开发用以与各种流量密度相关联的热图。

为运动方向分类可以在多个阶段中进行。阶段的两个示例可以是训练阶段和测试阶段。在训练阶段期间，系统单元可以首先追踪要携带诸如移动电话之类的无线设备移动通过一区域若干次的一个或多个主体。被安装在无线设备中的应用可以通过Wi-Fi每秒发送P个分组。在一个实施例中，P可以是10。由系统单元所接收的这些分组中的每一个并且针对每个分组，所述系统可以获得针对每个天线的K个CSI值。在典型的实施例中，K是30。在具有3个天线的典型实施例中，其可以是90个CSI值。每个CSI值可以是一复数，其包含与Wi-Fi信道响应相关联的幅度和相位。所述系统可以提取信道频率响应（CFR）作为CSI（信道状态信息）。对于三个天线并且对于与每个天线相关联的30个子载波，它可以获得3X30 = 90个CSI值。

在CSI数据收集期间，一个或多个视频相机可以用于捕获主体的移动的视频连续镜头。相机的时钟和CSI值可以被同步以确保系统可以区分针对特定类型的移动的CSI值。可以通过使用所收集的CSI值和视频连续镜头来创建数据集。在数据集构造期间，可以考虑现实情况（例如在零售商店中，它可以包括顾客、雇员和商店对象的移动性）。

图4是具有各类移动的示例店面。一旦数据收集完成，就可以为特定类型的感兴趣的移动标注数据集。不同类型的移动可以取决于商店的楼层平面图。商店管理者或后勤管理者可能对各种移动感兴趣。根据通过相机所收集的视频连续镜头和数据，所述系统可以标识数据集的包含针对这些移动的CSI数据的特定部分。在标注完成之后，针对每类移动（例如移动401、403、405、407、409和411），我们可以具有CSI值的序列。所述系统可以利用针对每类移动的CSI值的序列来训练LSTM（长短期记忆）网络。

LSTM是递归神经网络（RNN）的变体。其它RNN网络也可以用于该目的，例如GRU（门控递归单元）。LSTM对于捕获时间序列数据中的相关性而言可以是有用的。LSTM单元可以包括输入门、输出、和遗忘门。每个单元负责捕获在输入CSI序列的元素之间的相关性。输入门可以控制新值流到单元中所达的程度，遗忘门控制值保持在单元中所达的程度，并且输出门控制单元中的值用于计算LSTM单元的输出激活所达的程度。为了本公开内容的目的，关于LSTM的附加讨论由此通过引用而并入Hochreiter, S.& Schmidhuber, Jü.（1997）的并且在https://www.bioinf.jku.at/publications/older/2604.pdf处找到的出版物“LongShort-Term Memory”，所述出版物通过引用被并入本文中。

在以下公开的实施例中，LSTM可以使用LSTM单元的堆叠，而不是单个LSTM单元。然而，也可以使用单个LSTM单元。针对该第一LSTM单元的输入可以具有W x S的尺寸，其中W是分组数目的窗口，并且S是从每个分组所捕获的CSI值的数目。在一个实施例中，W可以是10，并且S可以是180。对于10个分组的序列，所述系统可以被训练以推断运动方向。所述系统可以得到每分组90个CSI值，并且每个CSI值可以是具有无线信道的每个子载波的幅度和相位的复数，因而提供180个值（90个幅度值以及90个相位值）。第一LSTM单元可以具有OU1的输出尺寸，其可以是第二LSTM单元的输入尺寸。第二LSTM单元的输出尺寸可以被限定为OU2。在一个实施例中，OU1可以是32，并且OU2也可以是32。第二LSTM单元的输出可以被馈送到具有多个类作为输出的连接神经网络层，并且可以使用softmax激活函数。运动方向类可以是通过LSTM网络所预测的最高概率类。注意到，可以堆叠更多的LSTM单元，并且还可以使用其它激活函数。而且，为了训练，作为损失函数，可以使用分类交叉熵。然而，也可以使用其它损失函数。作为优化器，可以使用被用于神经网络的RMS prop或另一类似算法。还可以使用其它优化器，例如SGD（随机梯度下降）、Adam优化器。注意到，每个走动序列可以用于通过使用步幅长度L来生成多个窗口样本。

在一个实施例中，L可以被设置为所限定的值2。作为示例，对于窗口大小W=10并且对于沿着图4的运动方向409以每秒100个分组生成500个分组的5秒走动，所述系统可以生成多个窗口序列来训练LSTM网络以用于以步幅2来识别409运动方向，取在分组号[1,10]之间、然后在分组号[3,13]之间、然后在分组号[5,15]之间的分组的CSI值。以此方式，对于5秒走动，所述系统可以具有(500-10)/2 = 245个窗口来用于训练运动方向409。在该示例中，所述系统可以重用用于训练的数据来用于相同的走动方向估计。所述系统还可以包括“未知”类的运动方向，其表示可以被限定为不相关的运动方向，例如不像401、403、405、407、409和411的运动方向。所述系统也可以收集针对“未知”运动方向的数据，并且进行标注。在该实施例中，将不强制LSTM模型把每个运动方向分类成401、403、405、407、409和411。在某个实施例中，所述系统可以将运动方向分类为“未知”。

在训练模式完成并且LSTM模型被构建之后，所述系统可以在测试时间期间使用所述模型来为运动方向进行分类和估计。在该阶段，所述系统可以连续地监视来自顾客或雇员的移动设备的WiFi分组（或其它无线分组）的CSI数据，并且将相同窗口W的样本馈送到所训练的LSTM模型中。LSTM模型可以在最终层处提供每个运动方向类的概率。所述系统可以选择具有最高概率的运动方向类。对应的WiFi分组的MAC地址可以用于标识个体（例如雇员相对于顾客），并且因此所述系统可以提供个体的运动方向的估计和分类、连同他/她的标识。

在另一实施例中，代替于三个天线，可以使用不同数目的天线，例如一个、两个、四个和其它。在又一实施例中，代替于将所有子载波的所有CSI值提供给LSTM模型，应用PCA（主分量分析），并且使用前几个主要分量，因而丢弃来自有噪子载波的CSI值。在另一实施例中，附加于CSI或独立地使用RSSI。在另一实施例中，代替于人，机器人或其它对象携带无线芯片组并且对它们进行标识，并且它们的运动方向被估计和分类。在另一实施例中，代替于智能电话，携带包含无线芯片组的链环（fob）或设备。在另一实施例中，代替于使用单个系统单元，遍及一区域可以部署多个系统单元来捕获不同方向上的移动性。

图5是与示例性实施例相关联的训练模块或动作的示例性流程图。在步骤501处，（多个）主体可以在其（多个）移动设备（例如电话或平板设备）上安装应用。所述应用可以与特定的零售商店或感兴趣的点（POI）、诸如机场或会议中心有关。在另一实施例中，所述应用可以与无线收发器的相关联的软件（例如固件）一起被安装，所述无线收发器诸如蓝牙收发器或WiFi收发器。

在步骤503处，具有所加载的应用的主体可以在商店或POI四处走动，以生成提供CSI值的WiFi流量。所述系统（例如相机、无线收发器、基站等等）可以在主体在POI四处走动时从加载有应用的移动设备收集CSI值。

在步骤505处，所述系统可以提取针对每类移动的相关CSI数据。例如，相机也可以用于收集图像数据。然后，通过利用如在[0025]和[0026]中所描述的相机来提取针对每类移动的相关CSI值。与相机或无线收发器相关联的控制器可以用于通过利用各种计算和算法来处理信息。移动数据的分类可以包括顾客可以在零售商店或其它POI的各种通道或区域中表现出的各种移动。

在步骤507处，所述系统可以训练LTSM网络以通过使用以上列出的技术来学习主体的每类移动形式。训练LTSM模型以追踪各种类型的移动。因而，在结束训练模式时，所述系统可以在标准模式中操作，并且开始追踪并且预测商店中顾客（或雇员）的运动，以帮助最大化POI内的房产。

在步骤509处，所述系统可以输出所训练的LSTM模型，其被称为模型Y。所训练的LSTM模型可以被用在常规应用中，以帮助确定定位在POI中的顾客或人的移动分类。例如，LSTM模型可以被用于标识定位在机场中的人的移动，其利用被加载在他们的电话上的移动应用。

在一个用例中，模型可以被用于热图生成。例如，雇员可以在他们的电话上安装应用。所述系统通过使用相机而生成遍及POI的流量的热图。例如，它可以与顾客的流量分离地获得雇员的流量。所述系统还可以通过使用Wi-Fi CSI以及捕获雇员移动的模型Y来生成流量的热图。

在另一用例中，第一顾客可以安装应用并且生成WiFi流量，而第二顾客可以利用商店Wi-Fi应用以浏览或听音乐。所述系统可以利用模型Y，来理解遍及商店的顾客的运动和方向。因而，来自人的分组信息正以周期性迸发（spurt）被发送，以便被用于追踪顾客的运动和方向。经由Wi-Fi信号而从移动设备获得CSI值。经由移动设备上的应用（例如第一顾客）或通过使用Wi-Fi（例如第二顾客）来提取CSI值。照此，相关联的MAC地址或MAC地址的散列值可以被存储，来理解顾客特定行为和顾客商店供给。

本文中所公开的过程、方法或算法能够可递送到处理设备、控制器或计算机/由所述处理设备、控制器或计算机来实现，所述处理设备、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，过程、方法或算法可以用许多形式、作为可由控制器或计算机执行的数据和指令来被存储，所述许多形式包括但不限于永久地存储在非可写存储介质（诸如ROM设备）上的信息、以及可变更地存储在可写存储介质（诸如软盘、磁带、CD、RAM设备、以及其它磁性和光学介质）上的信息。过程、方法或算法还可以被实现在软件可执行的对象中。可替换地，过程、方法或算法可以通过使用如下各项而被全部或部分地具体化：合适的硬件组件，诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、状态机、控制器或其它硬件组件或设备；或者硬件、软件和固件组件的组合。

虽然以上描述了示例性实施例，但是不意图这些实施例描述权利要求所涵盖的所有可能形式。说明书中所使用的词语是描述而不是限制的词语，并且理解到：在不偏离本公开内容的精神和范围的情况下可以做出各种改变。如先前所描述的，各种实施例的特征可以被组合以形成可能没有被显式描述或图示的本发明的另外的实施例。虽然各种实施例可能已被描述为提供优点或关于一个或多个所期望的特性在其它实施例或现有技术实现方式之上是优选的，但是本领域普通技术人员认识到：一个或多个特征或特性可以被折衷以实现所期望的总体系统属性，其取决于特定的应用和实现方式。这些属性可以包括但不限于成本、强度、耐久性、寿命循环成本、可市场性、外观、封装、大小、可服务性、重量、可制造性、易于组装等等。照此，在任何实施例被描述为与其它实施例或现有技术实现方式相比、关于一个或多个特性是不太合期望的程度上，这些实施例并不在本公开内容的范围外，并且对于特定的应用可以是合期望的。

Claims (20)

1.一种装置，包括：

无线收发器，其被配置成与同无线收发器附近的一个或多个人相关联的移动设备传送分组数据；

相机，其被配置成捕获图像数据；以及

与无线收发器和相机通信的控制器，控制器被配置成：

从移动设备接收多个分组数据，其中所述分组数据至少包括同与无线收发器通信的无线信道相关联的幅度信息；

响应于所述分组数据而将所述一个或多个人标识为顾客或雇员；以及

响应于所述分组数据以及指示顾客的标识而确定所述一个或多个人的运动投影。

2.根据权利要求1所述的装置，其中控制器此外被配置成响应于输入而激活训练模式。

3.根据权利要求1所述的装置，其中无线收发器包括三个或更多个天线。

4.根据权利要求1所述的装置，其中控制器被配置成与被存储在移动设备上的一个或多个应用通信。

5.根据权利要求1所述的装置，其中无线收发器被配置成接收与移动设备相关联的介质访问控制（MAC）地址，并且控制器被配置成对所述MAC地址进行散列。

6.根据权利要求1所述的装置，其中无线收发器被配置成接收与移动设备相关联的介质访问控制（MAC）地址，并且控制器被配置成响应于所述MAC地址而确定所述一个或多个人是否是雇员。

7.根据权利要求1所述的装置，其中所述分组数据包括同处于与无线收发器通信中的无线信道相关联的相位。

8.根据权利要求1所述的装置，其中控制器被配置成通过利用至少长短期记忆模型来确定运动投影。

9.根据权利要求1所述的装置，其中无线收发器是WIFI收发器或蓝牙收发器。

10.根据权利要求1所述的装置，其中控制器被配置成输出热图，所述热图包括区域的流量密度的图形表示。

11.根据权利要求10所述的装置，其中所述热图包括指示第一流量密度的第一颜色以及指示第二流量密度的第二颜色。

12.一种装置，包括：

无线收发器，其被配置成与同无线收发器附近的一个或多个人相关联的移动设备传送分组数据；以及

与无线收发器和相机通信的控制器，控制器被配置成：

从一个或多个人接收多个分组数据，其中所述分组数据至少包括同与无线收发器通信的无线信道相关联的幅度信息；

响应于所述分组数据而将所述一个或多个人标识为顾客或雇员；以及

响应于所述分组数据以及指示顾客的标识而确定所述一个或多个人的运动投影。

13.根据权利要求12所述的装置，其中无线收发器被配置成接收与移动设备相关联的介质访问控制（MAC）地址，并且控制器被配置成对所述MAC地址进行散列。

14.根据权利要求12所述的装置，其中无线收发器被配置成接收与移动设备相关联的介质访问控制（MAC）地址，并且控制器被配置成响应于所述MAC地址而确定所述一个或多个人是否是雇员。

15.根据权利要求12所述的装置，其中所述分组数据包括同处于与无线收发器通信中的无线信道相关联的相位。

16.根据权利要求12所述的装置，其中控制器被配置成通过利用至少长短期记忆模型来确定运动投影。

17.根据权利要求12所述的装置，其中无线收发器是WIFI收发器或蓝牙收发器。

18.根据权利要求12所述的装置，其中控制器被配置成响应于所述分组数据的信道状态信息来确定运动投影。

19.根据权利要求12所述的装置，其中所述装置此外包括相机，所述相机被配置成捕获图像数据，所述图像数据用于确定运动投影。

20.一种通过利用无线收发器来捕获图像数据的方法，包括：

从与无线收发器附近的一个或多个人相关联的移动设备接收分组数据；

获得与同无线收发器相关联的相机相关联的图像数据；以及

从移动设备接收多个分组数据，其中所述分组数据至少包括同与无线收发器通信的无线信道相关联的幅度信息；

响应于所述分组数据而将所述一个或多个人标识为顾客或雇员；以及

响应于所述分组数据以及指示顾客的标识而确定所述一个或多个人的运动投影。

Images