CN112381853A - 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法 - Google Patents

用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法 Download PDF

Info

Publication number
CN112381853A
CN112381853A CN202010737062.6A CN202010737062A CN112381853A CN 112381853 A CN112381853 A CN 112381853A CN 202010737062 A CN202010737062 A CN 202010737062A CN 112381853 A CN112381853 A CN 112381853A
Authority
CN
China
Prior art keywords
motion
camera
persons
data
wireless transceiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010737062.6A
Other languages
English (en)
Inventor
S·穆尼尔
V·简恩
S·达斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112381853A publication Critical patent/CN112381853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/35—Services specially adapted for particular environments, situations or purposes for the management of goods or merchandise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24—Transfer of terminal data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

一种装置，包括：无线收发器，其被配置成与移动设备传送分组数据，移动设备与无线收发器附近的一个或多个人员相关联；以及控制器，其与无线收发器和相机进行通信，控制器被配置成：从所述一个或多个人员接收多个分组数据，其中所述分组数据至少包括与无线信道相关联的幅度信息，所述无线信道与无线收发器进行通信；以及从相机接收包含个体的运动轨迹的图像；通过融合来自无线信号和相机图像的运动轨迹来执行对个体的检测、跟踪和伪标识。

Description

用于利用无线信号和图像来进行人员检测、跟踪和标识的装 置和方法
技术领域
本公开涉及无线的且基于相机的监测系统。
背景技术
零售商店、机场、会议中心和智能区域/社区可以监测附近的人员。在不同的应用中，对人员的检测、跟踪和伪标识（pseudo identification）可能具有各种用例。在许多应用中，可以使用相机来跟踪人员。例如，零售商店中的相机可能使相机被朝下看地安装在天花板中，并且缺乏使用面部识别算法来准确地标识人员的能力。此外，面部识别算法在数千个人员可位于其中的地方（例如，机场或大型零售商店）中可能表现不佳。
发明内容
根据一个实施例，一种装置包括无线收发器，该无线收发器被配置成与移动设备传送分组数据，该移动设备与无线收发器附近的一个或多个人员相关联。该装置进一步包括相机，该相机被配置成捕获附近的一个或多个人员的图像数据。该装置进一步包括与无线收发器和相机通信的控制器，该控制器被配置成：从移动设备接收多个分组数据，其中分组数据至少包括与无线信道相关联的幅度信息，该无线信道与无线收发器进行通信；利用图像数据来确定表示该一个或多个人员的运动的相机运动，并且利用分组数据来确定表示该一个或多个人员的运动的分组运动；响应于相机运动和分组运动来标识该一个或多个人员中的每一个；以及响应于该一个或多个人员的标识来输出与该一个或多个人员中的每一个相关联的信息。
根据另一实施例，一种系统包括无线收发器，该无线收发器被配置成与移动设备传送分组数据，该移动设备与无线收发器附近的一个或多个人员相关联。该系统还包括相机，该相机被配置成标识一个或多个人员并且至少利用图像数据来标识所估计的相机运动。该系统还包括与无线收发器和相机通信的控制器。该控制器被配置成：从移动设备接收多个分组数据，其中分组数据至少包括与无线信道相关联的幅度信息，该无线信道与无线收发器进行通信；响应于该多个分组数据来估计该一个或多个人员中的每一个的分组运动；以及响应于所估计的相机运动和所估计的分组运动来标识该一个或多个人员中的每一个。
根据又一实施例，一种利用相机和无线收发器来标识人员的方法，包括：从移动设备接收分组数据，该移动设备与无线收发器附近的一个或多个人员相关联；获得与相机相关联的图像数据，该相机与无线收发器相关联；利用图像数据来确定人员的所估计的相机运动；利用来自移动设备的分组数据来确定人员的所估计的运动；将所估计的相机运动与所估计的运动进行比较；以及响应于该比较来标识该一个或多个人员。
附图说明
图1是根据本公开的实施例的无线系统的概述系统图。
图2是根据本公开的实施例的在相机中收集的图像数据的示例性图像。
图3是根据本公开的实施例的算法的示例性流程图。
图4是将相机的运动标志（signature）与来自无线收发器的运动标志进行比较的实施例的示例性流程图。
图5是将相机的运动标志与来自无线收发器的运动标志进行比较的第二实施例的示例性流程图。
图6是使用相机情况下的运动标志和使用Wi-Fi情况下的运动标志的示例性可视化。
具体实施方式
在本文中描述了本公开的实施例。然而，应当理解的是，所公开的实施例仅仅是示例，并且其他实施例可以采取各种和替代的形式。各图不一定按比例绘制；一些特征可能会被放大或最小化以示出特定组件的细节。因此，本文中公开的具体结构和功能细节不应被解释为限制性的，而应仅仅被解释为用于教导本领域技术人员以各种方式来运用实施例的代表性基础。如本领域普通技术人员将理解的，参考各图中的任一个而图示和描述的各种特征可以与在一个或多个其他图中所图示的特征相组合以产生未明确图示或描述的实施例。所图示的特征的组合针对典型应用提供了代表性实施例。然而，针对特定的应用或实现方式，可能期望与本公开的教导一致的特征的各种组合和修改。
对人员进行检测、跟踪和标识对于广泛的应用（包括零售商店、机场、会议中心和智慧城市）而言可能是重要的。在许多应用中，使用相机来跟踪人员。然而，在许多环境中，例如在零售商店中，相机被朝下看地安装在天花板中，并且缺乏通过使用面部识别算法来准确地标识人员的能力。而且，例如在机场或在大型零售商店中，面部识别算法可能无法跨成千上万个人员而扩展。同时，由于隐私考虑，面部识别在某些地方中还可能被监管。然而，对于许多分析性应用，不需要精细粒度的人员标识，这是因为其重点在于每个人员而不是特定人员的数据。然而，为了获得这种数据，如下操作是必不可少的：在不同人员之间进行区分，并且当相同人员在附近时还要进行重新标识。在一个实施例中，相机数据以及还有从该人员携带的无线设备获得的数据（诸如，唯一的特定设备细节——MAC地址，正在寻找的AP设备的列表等等）用于捕获该人员在给定环境（零售店、办公室、购物中心、医院等）中的移动或行程。
为了对人员进行伪标识和跟踪，可以使用无线技术来跟踪用户携带的无线设备（诸如，电话、可穿戴设备）。例如，对蓝牙和Wi-Fi分组进行嗅探（sniff）以标识并定位附近的人员。然而，当前解决方案大多数使用无线信号的RSSI功能，并且获得了粗粒度的位置，例如如果给定无线设备（和人员）处于某个半径（例如50米）内的话。同样，为了对无线设备进行定位，存在如下技术：这些技术要求部署多个基础设施锚点以同时从该设备接收分组，并且然后使用RSSI值来执行三角测量。这些解决方案的准确性由于波动和缺乏RSSI提供的信息而受到影响。与RSSI相比，CSI（信道状态信息）提供了关于信号如何从发射器传播到接收器的丰富得多的信息，并且捕获了信号散射、衰落（fading）和随距离的功率衰减的综合影响。我们提出的解决方案使用CSI并且使用单个系统单元（具有多个天线），并且因此减少了部署多个单元的努力。然而，为了更好的性能，可以部署多个系统单元。
图1是根据本公开的实施例的无线系统100的概述系统图。无线系统100可以包括用于生成和传送CSI数据的无线单元101。无线单元101可以与雇员115或客户107的移动设备（例如，蜂窝电话、可穿戴设备、平板电脑）进行通信。例如，雇员115的移动设备可以向无线单元101发送无线信号119。在接收到无线分组时，系统单元101获得分组接收的相关CSI值。而且，无线分组可以包含关于设备ID的可标识信息，例如用于标识雇员115的MAC地址。因此，系统100和无线单元101可以不利用从雇员115的设备交换的数据来确定各种热点。
尽管可以将Wi-Fi用作无线通信技术，但是也可以利用任何其他类型的无线技术。例如，如果该系统可以从无线芯片组获得CSI，则可以利用蓝牙。系统单元可能能够包含附接到多达三个天线的Wi-Fi芯片组，如无线单元101和无线单元103所示。在一个实施例中，系统单元可以包括接收站，该接收站包含Wi-Fi芯片组，该Wi-Fi芯片组包括多达三个天线。系统单元可以以任意高度来安装或者被安装在天花板处。在另一实施例中，可以使用利用CSI信息的芯片组。无线单元101可以包括相机，以监测在POI周围行走的各种人员。在另一示例中，无线单元103可以不包括相机，而仅仅与移动设备通信。
系统100可以覆盖各种过道，诸如109、111、113、114。过道可以被定义为货架105或店面墙壁之间的行走路径。在各种过道109、111、113、114之间收集的数据可以用于生成热图并且聚焦于商店的流量（traffic）。该系统可以分析来自所有过道的数据，并且利用该数据来标识商店的其他区域的流量。例如，从各种客户107的移动设备收集的数据可以标识该商店接收了高流量的区域。可以使用该数据来放置某些产品。通过利用该数据，商店管理者可以确定高流量不动产（real estate）相比于低流量不动产位于何处。另外，通过使用WiFi与基于相机的分析（例如，性别、年龄范围、种族）来融合伪标识信息，该系统可以构建单个客户的简档、以及针对单个过道的特定于客户的分析。而且，通过捕获单个客户的整个行程，该系统可以提供全商店范围的特定于客户的分析。
可以在无线信号中找到的分组中传送CSI数据。在一个示例中，可以由客户107及其相关联的移动设备来生成无线信号121。系统100可以利用在无线信号121中找到的各种信息来确定客户107是否是雇员或其他特性，例如该信号的到达角（AoA）。客户107还可以经由信号122与无线单元103进行通信。此外，在无线信号121中找到的分组数据可以与无线单元101或单元103两者进行通信。无线信号121、119和117中的分组数据可以被用于提供与运动轨迹有关的信息、以及与雇员/客户的移动设备有关的流量数据。
图2是根据本公开的实施例的在相机中收集的图像数据的示例性图像。如该图像数据所示，图2中的相机可以被安装在天花板中的无线单元101中。在其他实施例中，无线单元101可以被安装在其他任何地方，诸如架子或墙壁。示出了人员203的运动轨迹201，并且可以根据下面公开的各种实施例来确定人员203的运动轨迹。由相机捕获的图像数据可以用于收集关于在某个空间周围移动的人员的信息（例如，客户或雇员、性别、年龄范围、种族）。如下面进一步描述的，该图像数据还可以被覆盖有热图或其他信息。相机可以在人员周围添加边界框205。相机可以使用对象检测技术（诸如，YOLO、SSD、Faster RCNN等）来检测人类。边界框可以标识人员或对象周围的边界，该边界可以显示在图形图像上以标识该人员或对象。可以利用光流（Optical Flow）、均值漂移跟踪、卡尔曼滤波器、粒子滤波器或其他类型的机制来跟踪边界框。可以通过在任何给定的时间长度上分析人员位置来估计该跟踪。此外，可以将标识号207指派给利用下面进一步解释的各种技术而标识出的人员。
图3是根据本公开的实施例的算法的示例性流程图。系统100示出了用于利用无线收发器（例如，Wi-Fi收发器、蓝牙收发器、RFID收发器等）的运动跟踪来标识相机图像的算法的示例性实施例。在一个实施例中，该系统可以利用相机301和无线收发器302。在高级别处，相机301可以利用各种数据（例如，图像数据），并且无线收发器302可以利用其自己的数据（例如，无线分组数据），来估计相机301和无线收发器302标识的各种人员或对象的运动，并且然后利用这两个数据源来确定该人员是否可以被匹配。
在步骤303处，相机301可以在一个或多个帧中检测人员i。可以利用对各个帧的对象标识跟踪来检测该人员，该对象标识跟踪利用算法来标识各种对象。相机301可以使用对象检测技术（诸如，YOLO、SSD、Faster RCNN等）来检测人类。在检测到该人员时，相机301然后可以在步骤305处估计人员i周围的边界框。边界框可以标识人员或对象周围的边界，该边界可以显示在图形图像上以标识该人员或对象。在步骤307处，该相机可以通过标识人员i的身体的位置来估计人员i的位置。例如，相机301可以通过观看与该人员相关联的脚或另一对象来估计位置。在另一个示例中，可以利用光流、均值漂移跟踪、卡尔曼滤波器、粒子滤波器或其他类型的机制来跟踪边界框。在步骤309处，系统300可以估计对人员i的跟踪。可以通过在任何给定的时间长度上分析人员i的位置来估计该跟踪。例如，该系统可以以不同的间隔（诸如1秒、5秒、10秒等）来对人员进行跟踪。在一个示例中，相机单元301估计该人员的位置并且跟踪该人员可能是可选的。在步骤311处，相机301将人员i的运动标志估计为MSi cam。图6中示出了示例性运动标志MSi cam。该运动标志可以是特定时间段（例如，TW1）内的轨迹。例如，该时间段可以是5秒或更长或更短的时间量。与相机相关联的运动标志MSi cam可以与人员相关联，并且可以与由无线收发器302建立的估计结合地使用以标识人员i。
在一个实施例中，无线收发器302可以与相机301同时工作以标识人员j。无线收发器接收在步骤313处由人员j的智能电话或其他移动设备生成的分组。因此，该移动设备可以生成在中央系统单元处接收到的无线流量（例如，Wi-Fi流量）。在步骤315处，无线收发器（例如，EyeFI单元）可以接收无线分组（例如，Wi-Fi分组）。可以从接收到的分组中提取CSI值。当接收到无线数据分组时，可以利用对应的MAC地址来标识人员。然后，可以将MAC地址指派给相关联的人员。因此，在步骤317处，无线收发器302可以提取伪标识信息作为IDj。
在步骤319处，该系统可以通过利用来自多个天线的CSI值、使用算法（例如，SpotFi算法、或基于神经网络的AoA估计算法）来测量分组的到达角（AoA）。使用AoA和/或原始CSI值，该系统可以估计人员j的运动轨迹。无线标志的运动标志在使用无线信号（例如，Wi-Fi）的情况下可以处于预定的时间窗口（例如，TW2）内。如果无线收发器和相机是时间同步的，则TW2可能小于TW1，这是因为在人员通过相机可见时的整个时段期间，移动设备可能不生成流量。在步骤321处，无线收发器302然后可以估计人员j的运动标志MSj Wi-Fi。图6中示出了示例性运动标志MSj Wi-Fi。
然后，系统300可以将MSi cam与MSj Wi-Fi进行比较以确定它们是否相似。如果它们相似，则EyeFi使用IDj来标识人员i。在步骤323处，该系统可以确定来自相机301和无线收发器302的所估计的运动标志是否相似。可以将相机数据和无线数据进行融合以便确定人员的身份。可以使用算法以便执行多模式传感器融合。在两个运动标志的比较之间来确定人员i和人员j是否为同一人员时，可以利用阈值。如果两个比较之间的偏差确定他们是相似的，则系统300可以将该人员标识为IDj或散列化的IDj。如果运动标志之间的比较示出了进一步远离阈值的偏差，则该系统可以在步骤327处尝试下一对运动标志（MSi cam与MSj Wi-Fi）。因此，该系统可以确定两个估计的运动标志之间不存在匹配，并且重新开始标识相机数据和无线数据的另一个子集以标识人员的过程。否则，它将使用由相机和无线收发器检测到的下一对人员来检查他们是否相似。
图4是系统400的示例性流程图，该系统400将相机的运动标志与来自无线收发器的运动标志进行比较。图4是将相机的运动标志与来自无线收发器的运动标志进行比较（图3的组份323）的第二实施例的示例性流程图。在该实施例中，在图4的步骤401和413中，来自每个模态的数据被映射到“语义概念”，该语义概念是传感器不变的。例如，在步骤403和415中，使用基于神经网络的方法或其他方法、独立于其他感测模态来针对每个人员提取以下“概念”：（a）位置、（b）位置改变、（c）到达角（AoA）、（d）AoA的改变、（e）站立与移动、（f）移动方向、（g）人员取向、（i）脚步/步态（gait）、（j）电话在手中或是在口袋中、（i）附近障碍物的尺度、以及（k）来自视觉和WiFi的运动轨迹。可能需要神经网络的级联来完善这些概念。在另一实施例中，代替于从每个模态（例如，无线收发器、相机）来估计语义概念，可以使用IMU（惯性测量单元）作为中间地带（middle-ground）来估计一些概念，如在步骤405和417中那样。因为，从无线收发器或从相机来估计步态特征可能是困难的。然而，如果人员安装了App并且携带了移动电话（其使用该移动电话的加速度计或陀螺仪来生成IMU数据），则将CSI数据转变（translate）为IMU数据、以及将图像数据转变为IMU数据可能是相对容易的。来自每个模态的经转变的IMU数据可以提供中间地带，以估计来自两个模态的同一概念之间的相似性。IMU数据还可以用于训练阶段。在训练完成并且从每个模态针对每个概念学习了转变功能之后，针对产品使用，稍后可能不需要IMU数据和App安装。
在步骤405处，可以使用来自智能电话的惯性移动单元（IMU）数据来提取概念。利用Wi-Fi数据针对MSj Wi-Fi来提取相似的语义概念。在步骤407处，可以通过融合相机和Wi-Fi数据来完善和更新语义概念。可能需要针对每个模态的单个神经网络，或者需要神经网络的级联来共同地完善语义概念。最后，生成SCi cam和SCj Wi-Fi以分别表示使用相机情况下的人员i的语义概念和利用Wi-Fi情况下的人员j的语义概念。然后，该系统估计出归一化的加权距离D以确定SCi cam与SCj Wi-Fi是否相似。出于该目的，它还可以使用余弦相似性、欧几里德距离或聚类分析或其他相似性度量、或其组合。如果D小于阈值T1，则该系统返回“是”，意味着SCi cam与SCj Wi-Fi相似。否则，它返回“否”。
在一个实施例中，来自每个模态的数据被映射到“语义概念”，该语义概念是传感器不变的。例如，独立地或者通过融合两个感测模态来针对每个人员提取以下“概念”：（a）位置、（b）位置改变、（c）到达角（AoA）、（d）AoA的改变、（e）站立与移动、（f）移动方向、（g）人员取向、（i）脚步/步态、（j）电话在手中或是在口袋中、（i）附近障碍物的尺度、以及（k）来自WiFi和视觉的运动轨迹。一旦我们从每个感测模态针对每个人员而具有了这些语义概念，该系统单元就针对每对人员在来自每个模态的概念之间执行相似性估计。作为示例，让SCi Cam成为使用相机情况下的人员i的语义概念，并且让SCj Wi-Fi成为使用Wi-Fi情况下的人员j的语义概念，并且MACj是与从人员j接收到的分组相关联的MAC地址。为了确定SCi Cam与SCj Wi-Fi是否相似，该系统使用余弦相似性、或归一化的加权距离、或欧几里德距离或聚类分析、或其他相似性度量或其组合。一旦发现这两个语义概念是相似的，就使用MACj来标识人员i，并且针对人员i的边界框，该实际MAC地址（MACj）或该MAC地址的散列值被加标签（tag）以用于未来跟踪，这提供了一致的标识标记物。
图5是将相机的运动标志和来自无线收发器的运动标志进行比较的第二实施例的示例性流程图500（作为图3的组份323的一部分）。LSTM（长短期记忆）网络可以用于使用图像数据来捕获每个人员的运动标志，并且另一个LSTM网络可以用于使用无线CSI数据来捕获运动模式。应用相似性度量来确定两个运动标志之间的相似性。LTSM可以是RNN（递归神经网络）的变体。其他RNN网络也可以用于该目的，例如GRU（门控递归单元）。附加地，代替于使用LSTM，还可以使用基于注意力的网络来从每个感测模态捕获运动标志。为了估计两个运动标志之间的相似性，该系统可以使用余弦相似性、或归一化的加权距离、或欧几里得距离、或聚类分析、或其他相似性度量或其组合。
在这种实施例中，在步骤505处，可以融合两个输入特征以完善和更新输入特征。在步骤507和509处，将相机数据的输入特征（例如，运动轨迹、取向信息）馈送到LSTM网络N1，并且将无线分组数据的输入特征馈送到LSTM网络N2。步骤507表示输入特征是从图像数据馈送的，并且在步骤509处，输入特征是从无线数据馈送的。在步骤511处，N1网络生成人员i的运动轨迹MTi cam的潜在（latent）表示。在步骤513处，N2网络生成人员j的运动轨迹MTj Wi-Fi的潜在表示。在步骤515处，在MTi cam与MTj Wi-Fi之间估计余弦相似性S。在决策517处，该系统确定余弦相似性S是否小于预定阈值T。在步骤519处，如果S小于阈值T2，则其报告“是”，从而指示人员i和人员j是同一人员。否则，在步骤521处，该系统确定S大于阈值T2，并且将返回“否”，从而指示人员i和人员j不是同一人员。因此，系统500可以将该过程重新启动至由图像数据和无线收发器标识的人员的另一个子集。
在另一实施例中，代替于三个天线，使用不同数量的天线，例如一个、两个、四个和其他。在另一实施例中，代替于将所有子载波的所有CSI值提供给LSTM模型，应用PCA（主成分分析），并且使用前几个主要成分，从而丢弃来自噪声子载波的CSI值。在另一实施例中，独立地使用RSSI，或者除CSI之外还使用RSSI。在又一个实施例中，代替于人员，而是携带无线芯片组的机器人或其他对象，并且使用前述方法来检测、跟踪并标识它们。在另一实施例中，代替于智能电话，可以携带包含无线芯片组的小饰物（fob）或设备。在另一实施例中，代替于使用单个系统单元，在整个区域中部署多个系统单元，以捕获整个空间中的移动性模式。
图6是使用相机情况下的运动标志和使用无线信号（例如，Wi-Fi信号）情况下的运动标志的示例性可视化。MSi cam 605是使用相机情况下的人员i 601的运动标志。相机运动标志605可以是提供了该人员在TW1的时间窗口内的运动轨迹的矩阵。示出了MSi Wi-Fi 603的示例、以及利用无线收发器（诸如Wi-Fi收发器）情况下的人员i的运动标志。假设人员i正在携带可能生成无线（例如Wi-Fi）流量的智能电话或其他移动设备，则在我们的系统单元中接收到分组。可以从接收到的分组中提取CSI值。该系统单元还可以通过利用来自多个天线的CSI值、使用SpotFi算法（或任何其他类型的算法）来测量该分组的到达角（AoA）。使用AoA和/或原始CSI值，该系统可以估计出人员i的运动轨迹，如在图6中使用MSi Wi-Fi 603所示的那样。
本文中公开的过程、方法或算法可以递送给处理设备、控制器或计算机、或者可以由处理设备、控制器或计算机来实现，该处理设备、控制器或计算机包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，这些过程、方法或算法可以以许多形式被存储为可由控制器或计算机执行的数据和指令，包括但不限于永久地存储在不可写存储介质（诸如ROM设备）上的信息、以及可更改地存储在可写存储介质（诸如，软盘、磁带、CD、RAM设备以及其他磁性和光学介质）上的信息。这些过程、方法或算法也可以在软件可执行对象中实现。替代地，可以使用合适的硬件组件（诸如，专用集成电路（ASIC）、现场可编程门阵列（FPGA）、状态机、控制器或其他硬件组件或设备）、或者硬件、软件和固件组件的组合来全部地或部分地体现这些过程、方法或算法。
尽管上面描述了示例性实施例，但是并不意味着这些实施例描述了权利要求所涵盖的所有可能的形式。说明书中使用的词语是描述性的词语而不是限制性的词语，并且应当理解的是，可以在不脱离本公开的精神和范围的情况下做出各种改变。如先前所描述，各种实施例的特征可以被组合以形成本发明的进一步实施例，这些进一步实施例可能没有被明确地描述或说明。尽管各种实施例可能已经被描述为关于一个或多个期望特性与其他实施例或现有技术实现方式相比提供了优点或者是优选的，但是本领域普通技术人员要认识到，可以对一个或多个特征或特性进行折衷以实现期望的总体系统属性，这取决于具体的应用和实现方式。这些属性可以包括但不限于：成本、强度、耐用性、生命周期成本、可销售性、外观、包装、大小、可维修性、重量、可制造性、易于组装等。由此，在任何实施例被描述为关于一个或多个特性相比于其他实施例或现有技术实现方式较不合期望的程度上来说，这些实施例并没有超出本公开的范围，并且对于特定应用可能是合期望的。

Claims (20)

1.一种装置，包括：
无线收发器，其被配置成与移动设备传送分组数据，移动设备与无线收发器附近的一个或多个人员相关联；
相机，其被配置成捕获附近的一个或多个人员的图像数据；以及
控制器，其与无线收发器和相机进行通信，控制器被配置成：
从移动设备接收多个分组数据，其中所述分组数据至少包括与无线信道相关联的幅度信息，所述无线信道与无线收发器进行通信；
利用所述图像数据来确定表示所述一个或多个人员的运动的相机运动，并且利用所述分组数据来确定表示所述一个或多个人员的运动的分组运动；
响应于所述相机运动和所述分组运动来标识所述一个或多个人员中的每一个；以及
响应于所述一个或多个人员的标识来输出与所述一个或多个人员中的每一个相关联的信息。
2.根据权利要求1所述的装置，其中控制器进一步被配置成响应于所述相机运动和所述分组运动的比较来标识所述一个或多个人员。
3.根据权利要求1所述的装置，其中无线收发器包括三个或更多个天线。
4.根据权利要求1所述的装置，其中控制器被配置成与存储在移动设备上的一个或多个应用进行通信。
5.根据权利要求1所述的装置，其中无线收发器被配置成接收与移动设备相关联的媒体访问控制（MAC）地址，并且控制器被配置成对所述MAC地址进行散列化。
6.根据权利要求1所述的装置，其中无线收发器被配置成从移动设备接收惯性移动数据。
7.根据权利要求1所述的装置，其中控制器进一步被配置成响应于所述多个分组数据来估计所述一个或多个人员的到达角。
8.根据权利要求1所述的装置，其中控制器被配置成至少利用长短期记忆模型来确定所述分组运动。
9.根据权利要求1所述的装置，其中无线收发器是Wi-Fi收发器或蓝牙收发器。
10.根据权利要求1所述的装置，其中控制器进一步被配置成至少利用所估计的到达角来确定所述分组运动。
11.根据权利要求1所述的装置，其中控制器进一步被配置成至少利用来自移动设备的惯性移动数据来确定所述分组运动。
12.一种系统，包括：
无线收发器，其被配置成与移动设备传送分组数据，移动设备与无线收发器附近的一个或多个人员相关联；
相机，其被配置成标识所述一个或多个人员，并且至少利用图像数据来标识所估计的相机运动；以及
控制器，其与无线收发器和相机进行通信，控制器被配置成：
从移动设备接收多个分组数据，其中所述分组数据至少包括与无线信道相关联的幅度信息，所述无线信道与无线收发器进行通信；
响应于所述多个分组数据来估计所述一个或多个人员中的每一个的分组运动；以及
响应于所估计的相机运动和所估计的分组运动来标识所述一个或多个人员中的每一个。
13.根据权利要求12所述的系统，其中控制器被配置成响应于所述一个或多个人员中的每一个的标识来输出图形图像，所述图形图像包括所述一个或多个人员中的每一个的图像周围的边界框。
14.根据权利要求12所述的系统，其中控制器进一步被配置成至少利用所估计的到达角来确定所估计的分组运动。
15.根据权利要求12所述的系统，其中相机被配置成至少利用所述一个或多个人员的图像数据的所估计的位置和所估计的跟踪来标识所估计的相机运动。
16.根据权利要求12所述的系统，其中无线收发器是Wi-Fi收发器或蓝牙收发器。
17.根据权利要求12所述的系统，其中控制器被配置成响应于所述分组数据的信道状态信息来确定所估计的分组运动。
18.一种利用相机和无线收发器来标识人员的方法，包括：
从移动设备接收与第一组数据相关联的分组数据，所述第一组数据表示无线收发器附近的一个或多个人员；
获得与第二组数据相关联的图像数据，所述第二组数据表示与相机相关联的一个或多个人员；
利用来自移动设备的所述分组数据、从所述第一组数据来确定所述一个或多个人员的所估计的运动；
利用所述图像数据、从所述第二组数据来确定所述一个或多个人员的所估计的相机运动；
将所估计的运动与所估计的相机运动进行比较；以及
响应于所述比较来标识所述一个或多个人员。
19.根据权利要求18所述的方法，其中所述分组数据包括信道状态信息。
20.根据权利要求18所述的方法，其中所述分组数据包括无线信道状态信息数据。
CN202010737062.6A 2019-07-29 2020-07-28 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法 Pending CN112381853A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/525,069 US10997474B2 (en) 2019-07-29 2019-07-29 Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images
US16/525069 2019-07-29

Publications (1)

Publication Number Publication Date
CN112381853A true CN112381853A (zh) 2021-02-19

Family

ID=72339281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010737062.6A Pending CN112381853A (zh) 2019-07-29 2020-07-28 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法

Country Status (4)

Country Link
US (1) US10997474B2 (zh)
CN (1) CN112381853A (zh)
DE (1) DE102020209054A1 (zh)
GB (1) GB2586099B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926639A (zh) * 2021-02-20 2021-06-08 浙江大华技术股份有限公司 一种轨迹跟踪方法、装置、存储介质及电子装置
CN116484309A (zh) * 2023-03-09 2023-07-25 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220262164A1 (en) * 2021-02-10 2022-08-18 Robert Bosch Gmbh Apparatus, method and system for person detection and identification utilizing wireless signals and images
CN114676739B (zh) * 2022-05-30 2022-08-19 南京邮电大学 一种基于Faster-RCNN的无线信号的时序动作检测和识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2225867B1 (en) 2007-11-28 2011-07-06 Nokia Corporation Wireless device detection
WO2012024516A2 (en) 2010-08-18 2012-02-23 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
US9330468B2 (en) 2012-02-29 2016-05-03 RetailNext, Inc. Method and system for analyzing interactions
US10460596B2 (en) 2014-10-31 2019-10-29 Siemens Schweiz Ag Method, digital tool, device and system for detecting movements of objects and/or living beings in a radio range, in particular of an indoor area
US10217120B1 (en) 2015-04-21 2019-02-26 Videomining Corporation Method and system for in-store shopper behavior analysis with multi-modal sensor fusion
US20170046891A1 (en) * 2015-08-12 2017-02-16 Tyco Fire & Security Gmbh Systems and methods for location identification and tracking using a camera
CN106899827A (zh) 2015-12-17 2017-06-27 杭州海康威视数字技术股份有限公司 图像数据采集、查询、视频监控方法、设备及系统
US9830709B2 (en) 2016-03-11 2017-11-28 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
US10305766B1 (en) * 2017-11-07 2019-05-28 Amazon Technologies, Inc. Coexistence-insensitive presence detection
US10950125B2 (en) * 2018-12-03 2021-03-16 Nec Corporation Calibration for wireless localization and detection of vulnerable road users

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926639A (zh) * 2021-02-20 2021-06-08 浙江大华技术股份有限公司 一种轨迹跟踪方法、装置、存储介质及电子装置
CN112926639B (zh) * 2021-02-20 2024-08-16 浙江大华技术股份有限公司 一种轨迹跟踪方法、装置、存储介质及电子装置
CN116484309A (zh) * 2023-03-09 2023-07-25 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法
CN116484309B (zh) * 2023-03-09 2023-09-29 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法

Also Published As

Publication number Publication date
GB2586099A (en) 2021-02-03
DE102020209054A1 (de) 2021-02-04
GB202011608D0 (en) 2020-09-09
GB2586099B (en) 2023-07-12
US10997474B2 (en) 2021-05-04
US20210034927A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
Hayward et al. A survey of indoor location technologies, techniques and applications in industry
US11631253B2 (en) People counting and tracking systems and methods
US10288737B2 (en) LiDAR sensing system
US10262331B1 (en) Cross-channel in-store shopper behavior analysis
US10997474B2 (en) Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images
CN106605123B (zh) 用于确定入口位置和感兴趣区域的系统
Papaioannou et al. Fusion of radio and camera sensor data for accurate indoor positioning
US10198625B1 (en) Association of unique person to a mobile device using repeat face image matching
Subbu et al. Analysis and status quo of smartphone-based indoor localization systems
US10950125B2 (en) Calibration for wireless localization and detection of vulnerable road users
WO2011021588A1 (ja) 移動体軌跡識別システム
US11354683B1 (en) Method and system for creating anonymous shopper panel using multi-modal sensor fusion
US20190080157A1 (en) Physical activity authentication systems and methods
Fang et al. Eyefi: Fast human identification through vision and wifi-based trajectory matching
US20200343982A1 (en) Apparatus for person identification and motion direction estimation
US10614436B1 (en) Association of mobile device to retail transaction
Irfan et al. Crowd analysis using visual and non-visual sensors, a survey
Liu et al. Vi-Fi: Associating moving subjects across vision and wireless sensors
Henriques Abreu et al. Using Kalman filters to reduce noise from RFID location system
US20220262164A1 (en) Apparatus, method and system for person detection and identification utilizing wireless signals and images
US20140368630A1 (en) Camera, camera system, and self-diagnosis method
Yu et al. Combinatorial Data Augmentation: A Key Enabler to Bridge Geometry-and Data-Driven WiFi Positioning
JP6905965B2 (ja) 端末の装着位置によって人物を同定するシステム及び方法
CN113628237A (zh) 轨迹跟踪方法、系统、电子设备及计算机可读介质
Saputra et al. Advanced sensing and automation technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination