CN114820697A - 使用静止状态模型的交互多模型跟踪算法 - Google Patents

使用静止状态模型的交互多模型跟踪算法 Download PDF

Info

Publication number
CN114820697A
CN114820697A CN202210092957.8A CN202210092957A CN114820697A CN 114820697 A CN114820697 A CN 114820697A CN 202210092957 A CN202210092957 A CN 202210092957A CN 114820697 A CN114820697 A CN 114820697A
Authority
CN
China
Prior art keywords
model
state
target
output
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210092957.8A
Other languages
English (en)
Inventor
P·瓦史纳瓦
A·桑特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN114820697A publication Critical patent/CN114820697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开的各实施例涉及使用静止状态模型的交互多模型跟踪算法。方法包括使用基于深度数据测量的交互多模型IMM跟踪算法来确定可移动目标(80)的3‑D位置(91)的估计值，IMM跟踪算法的至少一个模型对可移动目标的静止状态(41)进行建模。

Description

使用静止状态模型的交互多模型跟踪算法
技术领域
本公开的各种示例涉及基于深度传感器的深度数据来跟踪可移动目标的3-D位置。
背景技术
依赖于跟踪目标的3-D位置的各种用例是已知的。示例用例包括人机界面(HMI)：此处，实现目标的用户控制对象的3-D位置可以被跟踪。可以确定目标是否执行手势。还可以确定目标是否致动用户界面(UI)的输入元素。
发明内容
因此，可能需要提供对可移动目标的3-D位置的稳健且准确的估计值。
该需要由独立权利要求的特征来满足。从属权利要求的特征限定了实施例。
在一个示例中，方法包括获得深度数据。深度数据指示可移动目标在深度传感器视场中的3-D位置的时间分辨测量值。方法还包括使用交互多模型(IMM)跟踪算法来处理深度数据。IMM跟踪算法针对多次迭代中的每一次迭代提供跟踪数据，跟踪数据包括对可移动目标的3-D位置的相应估计值。IMM跟踪算法包括提供第一输出的第一模型。IMM跟踪算法还包括提供第二输出的第二模型。IMM跟踪算法包括融合模块，融合模块融合第一输出和第二输出，从而提供跟踪数据。第一模型对可移动目标的运动状态进行建模。第二模型对可移动目标的静止状态进行建模。
在又一示例中，计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由处理器加载和执行。在执行程序代码时，处理器执行方法。方法包括获得深度数据。深度数据指示可移动目标在深度传感器视场中的3-D位置的时间分辨测量值。方法还包括使用IMM跟踪算法来处理深度数据。IMM跟踪算法针对多次迭代中的每一次迭代提供跟踪数据，跟踪数据包括对可移动目标的3-D位置的相应估计值。IMM跟踪算法包括提供第一输出的第一模型。IMM跟踪算法还包括提供第二输出的第二模型。IMM跟踪算法包括融合模块，融合模块融合第一输出和第二输出，从而提供跟踪数据。第一模型对可移动目标的运动状态进行建模。第二模型对可移动目标的静止状态进行建模。
在又一示例中，设备包括处理器和存储器。处理器可以从存储器加载程序代码并且执行程序代码。在执行程序代码时，处理器被配置为获得深度数据。深度数据指示可移动目标在深度传感器视场中的3-D位置的时间分辨测量值。处理器还被配置为使用IMM跟踪算法来处理深度数据。IMM跟踪算法针对多次迭代中的每一次迭代提供跟踪数据，跟踪数据包括对可移动目标的3-D位置的相应估计值。IMM跟踪算法包括提供第一输出的第一模型。IMM跟踪算法还包括提供第二输出的第二模型。IMM跟踪算法包括融合模块，融合模块融合第一输出和第二输出，从而提供跟踪数据。第一模型对可移动目标的运动状态进行建模。第二模型对可移动目标的静止状态进行建模。在又一示例中，系统包括设备和深度传感器。在又一示例中，方法包括使用IMM跟踪算法来确定可移动目标的3-D位置的估计值。这是基于深度数据的测量值。IMM跟踪算法的至少一个模型对可移动目标的静止状态进行建模。
在又一示例中，设备包括用于获得深度数据的装置。深度数据指示可移动目标在深度传感器视场中的3-D位置的时间分辨测量值。设备还包括用于使用IMM跟踪算法来处理深度数据的装置。IMM跟踪算法针对多次迭代中的每一次迭代提供跟踪数据，跟踪数据包括对可移动目标的3-D位置的相应估计值。IMM跟踪算法包括提供第一输出的第一模型。IMM跟踪算法还包括提供第二输出的第二模型。IMM跟踪算法包括融合模块，融合模块融合第一输出和第二输出，从而提供跟踪数据。第一模型对可移动目标的运动状态进行建模。第二模型对可移动目标的静止状态进行建模。
在又一示例中，设备包括用于获得深度数据的模块。深度数据指示可移动目标在深度传感器视场中的3-D位置的时间分辨测量值。设备还包括用于使用IMM跟踪算法来处理深度数据的模块。IMM跟踪算法针对多次迭代中的每一次迭代提供跟踪数据，跟踪数据包括对可移动目标的3-D位置的相应估计值。IMM跟踪算法包括提供第一输出的第一模型。IMM跟踪算法还包括提供第二输出的第二模型。IMM跟踪算法包括融合模块，融合模块融合第一输出和第二输出，从而提供跟踪数据。第一模型对可移动目标的运动状态进行建模。第二模型对可移动目标的静止状态进行建模。
应当理解，以上提到的特征和以下将要解释的特征不仅可以以所指示的相应组合来使用，而且可以以其他组合或单独使用。
附图说明
图1示意性地图示了根据各种示例的用户界面和用户控制对象。
图2示意性地图示了根据各种示例的用户控制对象的静止状态。
图3示意性地图示了根据各种示例的用户控制对象的运动状态。
图4示意性地图示了根据各种示例的多个逻辑操作的处理流程。
图5示意性地图示了根据各种示例的对原始测量数据进行处理来获得深度数据。
图6示意性地图示了根据各种示例的处理深度数据来获得跟踪数据。
图7是根据各种示例的方法的流程图。
图8是根据各种示例的方法的流程图。
图9示意性地图示了根据各种示例的设备。
图10示意性地图示了根据各种示例的设备。
具体实施方式
本公开的一些示例通常提供多个电路或其他电气设备。对电路和其他电气设备的所有引用以及由各自提供的功能不旨在限于仅涵盖在本文中图示和描述的内容。尽管特定标签可以被分配给所公开的各种电路或其他电气设备，但是这样的标签并不旨在限制电路和其他电气设备的操作范围。这样的电路和其他电气设备可以基于期望的电气实现方式的特定类型、以任何方式彼此组合和/或分离。应认识到，本文所公开的任何电路或其他电气设备可以包括任何数量的微控制器、图形处理器单元(GPU)、集成电路、存储器设备(例如，闪存、随机存取存储器(RAM)、只读存储器(ROM)、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其其他合适的变型)以及彼此协作来执行本文所公开的(多个)操作的软件。附加地，任一个或多个电气设备可以被配置为执行非暂态计算机可读介质中体现的程序代码，非暂态计算机可读介质被编程为执行所公开的任何数量的功能。
以下将参考附图来对本公开的示例进行详细描述。应当理解，以下实施例的描述不应被理解为限制性的。本公开的范围不旨在由下文描述的示例或附图限制，示例或附图仅被视为示意地的。
附图被认为是示意图，并且附图中所示的元素不一定按比例图示。相反，各种元素被表示为使得它们的功能和通用目的对于本领域技术人员变得显而易见。图中所示或本文描述的功能块、设备、组件或其他物理或功能单元之间的任何连接或耦合也可以通过间接连接或耦合来实现。组件之间的耦合也可以通过无线连接建立。功能块可以在硬件、固件、软件或其组合中实现。
在下文中，将描述有助于估计可移动目标的3-D位置的技术。根据在本文中描述的各种示例，可以在给定时间点或多个时间点(即，时间解析)获得可移动目标(以下简称为目标)的3-D位置的估计值。
根据各种示例，3-D位置可以通过目标的状态和状态协方差(即，描述状态的估计误差)来描述。状态可以由状态向量来表示，状态向量包括描述空间位置(即，3-D位置)的条目。可选地，状态向量可以包括进一步的条目，例如速度和/或加速度。
换言之，根据本文所公开的各种示例，可移动目标的3-D位置可以被跟踪。
由相应跟踪算法确定的跟踪数据可以包括状态向量的至少部分以及可选的状态协方差。跟踪数据可以包括对可移动目标的3-D位置的估计值。
作为一般规则，跟踪数据可以包括或至少指示附加信息。附加信息可以从跟踪算法中获得。例如，跟踪数据可以指示目标处于其运动的多个预定义状态中的给定的一个状态(以下简称为状态)的可能性。这可以通过包括相应的可能性来实现。根据目标是否处于多个预定义状态中的给定的一个状态，信息内容或信息内容的结构也可能改变。这样的增强的信息有利于后处理。例如，可以根据这样的附加信息在多个后处理算法之间进行选择。
根据本文中描述的各种示例，跟踪数据可以基于深度数据来确定，深度数据指示目标在深度传感器视场(FOV)中的3-D位置的时间分辨测量值。
根据本文中描述的各种技术，各种类型的深度传感器可以被用于获得深度数据。以下表1中总结了一些选项。
Figure BDA0003489897580000051
Figure BDA0003489897580000061
表1：可以在本文中描述的各种示例中使用的深度传感器的各种选项。
在下文中，为了例示的目的，将具体地结合雷达传感器来描述示例。然而，使用从其他类型的传感器获得的深度数据也可以容易地应用相应技术。在某些场景中，甚至有可能从例如不同类型的多个深度传感器获得深度数据。
根据具体用例，参考表1，可以采用不同的深度传感器。具体地，FOV的尺寸与目标的尺寸相关。例如，LIDAR和雷达传感器可以被配置用于短距离感测或长距离感测。在跟踪周围交通中的人时，远距离感测(例如，具有尺寸在几米或几十甚至数百米距离内的FOV)可能优选，而在跟踪手指、手或手持设备时，短距离感测(例如，具有尺寸在厘米或几十厘米的距离内的FOV)可能更优选。
根据各种示例，跟踪数据可以被用于各种用例。根据一些示例，跟踪数据可以被用于控制HMI。HMI可以检测手势。手势可以由特定移动(例如，具有特定形状或形式)以及目标执行的可选速度或加速度来定义。HMI可以采用UI。UI可以包括一个或多个输入元素，一个或多个输入元素相对于深度传感器的FOV来定义。例如，例如通过在与输入元素相关联的区域中不移动地悬停，可以基于跟踪数据来确定目标是否寻址某个输入元素。然后可以判断特定输入元素是否被致动，例如，目标是否在足够长的持续时间内寻址特定输入元素。采用这样的HMI的特定类型的用例将是跟踪信息娱乐系统的触摸屏或售票机屏幕上和之上的手掌或手指或手持式指示设备(诸如手写笔)以进行非接触式感测。
另一用例将涉及跟踪自主车辆中的对象，例如，跟踪自主车辆周围的人。这样的人可能会过马路或在红绿灯前或街道边站着不动。
又一用例可以包括虚拟现实应用程序。参与虚拟现实应用程序的用户可以被跟踪。例如，用户可以至少在某些持续时间内进行运动或者静止不动。
从以上连同跟踪数据的各种可能用例可以理解，不同类型的目标可以被跟踪。作为一般规则，目标可以是以下项中的一项：人的手或手的一部分；手持式指示设备；人；车辆等。
各种技术基于以下发现：例如，在上述各种用例中，检测目标的静止状态是有帮助的。静止状态可以与未在UE的输入元素之上移动的手或手指、站在街道一侧的人或在虚拟现实应用程序中静止的用户相关联。根据本文中描述的技术，可以可靠地检测处于静止状态的目标。特别是当目标处于静止状态时，3-D位置的准确估计值可以被确定。
根据各种示例，采用跟踪算法。跟踪算法可以针对多个时间增量来迭代地处理深度数据，即，多次迭代的每次迭代可以对应于相应的时间增量。跟踪算法提供跟踪数据。
对于多次迭代的每次迭代，跟踪算法可以使用对目标移动的一个或多个假设并且基于深度数据来预测可移动目标的3-D位置。该预测可以基于先前迭代的状态和状态协方差，以及相应迭代的最新数据深度数据。
根据本文中描述的各种示例，可以采用特定种类的跟踪算法。具体而言，多模型(MM)跟踪算法可以被用来处理从深度传感器获得的深度数据。MM跟踪算法提供跟踪数据。
作为一般规则，MM跟踪算法采用多个运动模型来同时地处理深度数据，但使用不同的计算。具体地，多个运动模型可以使用与所观察的目标运动状态有关的不同假设。不同的模型可以被不同地参数化。不同的模型可以被用来跟踪目标预期参与的不同类型的运动。如果目标参与和该模型的相应运动状态相关联的特定类型的运动，每个模型预测目标在与MM跟踪算法的每次迭代相关联的时间增量之后的位置。
模型的各个输出，即，相应预测的状态和状态协方差，由MM跟踪算法的融合模块基于目标执行由相应模型建模的运动状态的可能性，以加权方式来组合，从而提供可移动目标的3-D位置的整体估计值。
更详细地，MM跟踪算法可以通过交互MM(IMM)跟踪算法来实现。IMM是对MM的修改；此处，多个模型交互。这意味着多个模型中的至少一些模型的输出影响后续迭代中多个模型中的至少一些模型的输入。马尔可夫判定过程可以被用于在每次迭代时考虑目标处于该模型的相应运动状态的先验可能性。马尔可夫判定过程的转变概率(描述从第一运动状态到第二运动状态的转变的可能性并且描述目标保持在给定运动状态的可能性)可以在本文中描述的各种示例中预定义。该可能性然后可以被用于确定目标的先验状态估计值，即，特别是目标的3-D位置的先验估计值。
根据本文中描述的各种示例，IMM跟踪算法采用根据表2的状态模型。
Figure BDA0003489897580000091
Figure BDA0003489897580000101
表2：可以在本文所公开的技术中使用的IMM跟踪算法的两个模型。静止状态模型和运动状态模型对正交状态进行建模，因为目标要么具有非零速度(因此由运动模型描述)或者具有零速度(因此由静止状态模型描述)。根据各种示例，可以采用多个运动模型，例如以覆盖多个不同的运动状态。
在根据表2的示例I和II的两个模型中，可以在极坐标与笛卡尔坐标之间进行转换，其中由于原始测量数据的格式和传感器模态，深度数据在极坐标中可用。这样的转换由以下等式5和6来描述。
Figure BDA0003489897580000102
Figure BDA0003489897580000111
r表示径向距离，并且θ表示角坐标。
这定义了输出转变矩阵H(实现非线性变换)，输出转变矩阵H根据以下等式描述了提供深度数据的测量系统：
Z＝H(X), (7)
其中Z是所预测的状态X在测量子空间上的投影。当在时间t处获得深度数据Y(r,θ,vr)时，则创新由Z-y给出，即，传感器的实际测量值与IMM跟踪算法所投影的预测测量值之间的差。创新还被用于计算马哈拉诺比斯(Mahalanobis)距离(将在以下结合等式8进行解释)，并且因此对可能性进行建模。
对于等式(7)，可以使用无迹变换，例如，作为无迹卡尔曼滤波器的一部分。
使用这样的IMM跟踪算法有助于促进对目标的稳健和准确跟踪。具体地，可以充分覆盖目标不移动但静止的场景。各种技术基于这样的静止目标在许多用例中可能相关的发现。可以从这些技术中获益的一个这样的用例将在接下来结合图1进行描述。
图1示意性地图示了关于包括雷达深度传感器70的系统(参见表1)和包括多个输入元素111-113的UI 110的各方面。
在所图示的示例中，雷达传感器70包括可以发射毫米波电磁波的两个发射器(TX)71、72。可以使用相控阵天线。雷达传感器70还包括能够检测反向散射电磁波的接收器(RX)73。波束成形可以被用于检测对象在xy平面中的横向位置。深度位置(沿z轴)可以通过反向散射电磁波相对于所发射的电磁波的相移来判断。由此，可以检测场景中的对象，特别是对象80。还图示了雷达深度传感器70的FOV 75。
在FOV 75内，UI 110被预定义。UI 110包括多个输入元素111-113。例如，这些输入元素111-113可以与屏幕115上显示的不同按钮相关联。例如，仅举一个实际示例，售票机的不同票可以与不同按钮相关联。
目标80与UI 110交互有多种可想到的模型。一些模型被总结在
表3中。
Figure BDA0003489897580000121
表3：目标可以假设的各种状态。这些状态可以被不同的解释，并且HMI可以被相应地控制。表3的状态彼此正交，即，根据定义，目标可以处于两个状态中的任一个状态。
图2示意性地图示了根据表3、示例II，关于目标80的静止状态41的各方面。图2是示意性俯视图。图2图示了目标80静态地悬停在与输入元素111相关联的区域中。目标80的相应3-D位置91被图示。
还图示了测量噪声94。通常，雷达传感器70表现出测量误差，诸如统计波动，并且因此从雷达传感器70获得的深度数据可能经历由测量噪声94定义的位置91的模糊。
根据各种示例，即使考虑到测量噪声94，也可以提供3-D位置91的准确估计值，更具体地，提供寻址输入元素111的目标80的准确估计值。异常值(例如，由于噪声引起的测量状态的突然跳跃)可以被消除。
图3示意性地图示了根据表3、示例I，关于目标80的运动状态42的各方面。图3是示意性俯视图，对应于图2的示意性俯视图。图3图示了目标80以特定速度92沿着轨迹95在开始位置93与结束位置97之间移动。位置91随时间变化。在所示示例中，目标80可以执行诸如滑动以解锁或滑动以确认手势的滑动手势。
图4示意性地图示了根据各种示例的信号处理。图4图示了多个逻辑运算的处理流程。
在框701处，深度传感器(例如，图7的雷达传感器70，也参见表1)被用于获取原始测量数据751。原始测量数据751适用于确定目标80的3-D位置。因此，可以测量目标80的Z-位置。
用于获得原始测量数据751的特定测量模态与本文描述的技术的功能没有密切关系。
原始测量数据751然后在框702处被预处理，以获得深度数据752。
深度数据752包括指示目标80的3-D位置的一个或多个观测值。例如，极参考坐标系中的径向距离可以被指示。笛卡尔坐标系中的xyz位置也可以被指示。转换根据等式5和6来进行。
深度数据752可能受到源于深度传感器缺陷的测量噪声的影响。
接下来，在框703处执行对目标的3-D位置的跟踪。可以采用IMM跟踪算法。由此，跟踪数据753被获得。跟踪数据包括对目标80的3-D位置的估计值。测量噪声可以被减少。
跟踪数据753还可以指示进一步的信息，例如，目标80处于静止状态41或运动状态42的可能性。这样的附加信息可以从框703的IMM跟踪算法获得。在框704处，这样的附加信息可以被用于配置跟踪数据753的后处理。例如，相应的后处理算法可以根据辅助信息来选择。
具体地，用例特定应用基于跟踪数据753在框704处被执行。以上已解释了各种用例，例如，包括多个输入元素的UI可以被用来控制HMI(参见图1)。应用程序可以向用户提供输出，使得连续的用户机器界面(如图4由虚线箭头所示)被实现。
图5图示了关于框702的示例实现方式的细节。原始测量数据751对应于从雷达传感器70的多个接收器获得的多个距离多普勒图。基于多普勒信息，移动目标指示(MTI)可以被执行。数字波束成形(DBF)可以被用于分离与场景中不同方向相关联的波形。多普勒分析可以被执行来获得速度的指示。
接下来，对象检测可以使用恒定误报率(CFAR)算法来使用。具体地，在顺序统计(OS)CFAR算法中可以被用于抑制杂波。参见例如Rohling,Hermann,and Ralph Mende."OSCFAR performance in a77GHz radar sensor for car application."Proceedings ofInternational Radar Conference.IEEE,1996。
聚类可以被用于确定对象的扩展，包括目标。一个算法是DBSCAN，参见Ester,Martin,et al."A density-based algorithm for discovering clusters in largespatial databases with noise."Kdd.Vol.96.No.34.1996。
然后，目标的参数可以被估计，例如，中心(质心估计)和到达角度(AoA)。
最后，深度数据752被获得。在所示示例中，指定目标中心的距离(distance)/距离(range)、角度和速度的向量被获得；即，3-D位置在极坐标参考系中定义。
图5仅是框702处预处理的一个示例。具体地，根据所使用的深度传感器的类型(参见表1)，可以在框702处应用不同的预处理技术。即使在对雷达原始测量数据751进行预处理时，可以使用不同的预处理技术。特定类型的预处理与本文中描述的各种技术没有密切关系。
图6示意性地图示了基于在框703处执行的深度数据752的目标跟踪。具体地，图6图示了关于IMM跟踪算法760的可能实现方式的各方面。
分别根据表2的示例I和示例II，IMM跟踪算法7060的核心是运动状态模型7611和静止状态模型7612。
模型7611、7612两者在IMM跟踪算法760的多次迭代7650处并行处理深度数据752。每次迭代7650，以上结合框702解释的过程的相应输出可以被获得并处理为深度数据752；该深度数据752然后对应于在与该迭代7650相关联的相应时间实例处被观察的目标。深度数据752因此提供了目标80的测量状态(在以上表示为Y)。深度数据752包括所测量的状态向量。深度数据752被用于进行状态预测。
运动状态模型7611输出如以上结合等式2所解释的第一状态向量7621和相关联的第二状态协方差7625。第一状态向量7621包括3-D位置91和速度92的一个或多个度量。例如，极速度ω和径向速度vr可以在表2的示例I中解释的协调转弯模型中使用。
静止状态模型7612输出如上文结合等式4所解释的第二状态向量7622和相关联的第二状态协方差7626。静止状态模型7612输出的第二状态向量7622包括目标的3-D位置，但不包括速度，因为根据定义，静止状态模型7612的速度为零。
IMM跟踪算法760通常将来自多个滤波器模型的状态假设组合来获得具有变化动态的目标的更好状态估计值。融合模块包括两个子模块7627、7635。融合模块允许将两个模型7611、7612的状态假设组合。关于融合模块的细节在以下进行解释。
首先，融合模块的模型似然模块7627确定目标80处于与运动状态模型7611相关联的运动状态42的第一可能性7631，并且进一步确定目标80处于与静止状态模型7612相关联的静止状态41的第二可能性7632。
该确定可以基于相应的状态协方差7625、7626。例如，不确定性越大，相应状态的可能性越小。
具体地，可以确定运动状态模型7611的状态估计值7621、7625与深度数据752的测量状态之间的第一距离，即创新，以及确定静止状态模型7612的状态估计值7622、7626和深度数据752的测量状态之间的第二距离。可以使用马氏距离，以能够考虑由状态协方差7625、7626描述的状态估计值的不确定性。这些距离可以作为每个模型7611、7612的准确度的估计值，即，量化所估计的状态与真实测量状态的差异程度。基于每个模型7611、7612的状态估计值的准确度，然后可以分别确定第一可能性7631和第二可能性7632。
可选地，当确定这些可能性7631、7632时，可以考虑这样的准确度在两次或更多次先前迭代内的演变。为此，模型似然模块7627可以采用存储器模块7628。存储器模块7628可以在多次迭代中存储相应的值，例如，状态、状态协方差、测量状态。然后可以在多次迭代7650中跟踪准确度的演变。
在具体实现方式中，目标处于相应状态的可能性可以由下式给出：
Figure BDA0003489897580000161
其中z是来自深度数据752的测量状态估计值并且Z根据等式5来定义。即，Y-Z是创新。S是状态协方差7625或7626的协方差矩阵。下标“hist”描述一个或多个先前迭代7650的相应值。
这样的准确度的跟踪有助于提高与历史匹配良好的模型的得分，并且防止突然跳跃。
其次，然后可以在IMM跟踪算法760的融合模块的组合模块7635中，使用根据第一可能性7631和第二可能性7632设置的加权因子，基于加权组合来确定跟踪数据753。
为了能够将第一状态向量7621和第二状态向量7622彼此组合，例如，在加权组合中，针对与至少一个速度度量相关联的相应条目，可以使用零值来填充第二状态向量7622。例如，vr＝ω≡0，参见等式1和2。那么，第一状态向量7621和第二状态向量7622具有相同的维度并且可以相加。
组合可以被表示为：
X＝X1μ1+X2μ2 (9)
其中X1是静止状态模型的状态估计值，并且X2是运动模型的状态估计值，并且μ1是静止状态模型的可能性，并且μ2是静状态模型的可能性。在此处，可能性直接用作加权因子。
更一般地，加权因子可以被设置为使得对于更高的可能性7631、7632，相应状态向量7621、7622中包括的3-D位置的相应估计值在跟踪数据753的最终估计值中被认为更显著。例如，跟踪数据可以包括对从特定模型7611、7612获得的3-D位置的估计，其对于相应的迭代7650具有更高的可能性7631、7632；换言之，两个状态向量7621、7622中的一个状态向量可以被丢弃。
当在静止状态与运动状态之间转变时，加权组合通常提供增加的准确度；而当目标处于静止状态或运动状态时，在两个状态估计值之间进行选择可以提供更高的准确度。
如图6所示，反馈被提供为使得IMM跟踪算法760针对每次迭代7650，基于由运动状态模型7611在该迭代7650处估计的状态向量的第一输出7621、静止模型7612在该迭代7650处估计的状态向量的第二输出7622、第一可能性7631、第二可能性7632以及由运动状态模型7611和静止模型7612分别估计的状态协方差7625、7626，更新可移动目标的3-D位置的先验估计值。
基于这些值，可以使用马尔可夫判定过程7606，马尔可夫判定过程7606通过分别考虑目标处于动态状态42或静止状态41的可能性并且将状态向量7621和状态向量7622的状态估计值分别组合来确定可移动目标的3-D位置的先验估计值。由此，状态41、42之间的转变可以被建模。模型41、42交互。
以上，已描述了其中由运动状态模型7611和静止状态模型7612提供的状态估计值在笛卡尔坐标中定义目标80的3-D位置的场景。根据各种示例，静止状态模型7612可以确定目标80相对于用户界面的一个或多个输入元素的3-D位置，例如，相对于如上所述的用户界面110的输入元素111-113的3-D位置。具体地，状态估计值7622可以包括由目标80寻址的相应输入元素的指示。然后，跟踪数据753可以例如除了笛卡尔坐标中的3-D位置之外，还提供相应的输入元素的指示。例如，等式3可以被修改为使得状态向量指示相应的输入元素：
X＝[px py,lX,ly] (10)
此处，lX、ly是标记输入元素的二维矩阵的索引。例如，lX＝2、ly＝1将标识第一列第二行中的输入元素。对于输入元素的一维向量(参见图1-图3)，单个索引就足够了。
这样的方法有助于提供在静止状态下由目标80寻址的相应输入元件的稳定指示。具体地，例如，考虑到测量噪声94(参见图2)，不同输入元素之间的快速变化可以被避免。
图7是根据各种示例的方法的流程图。图7的方法可以由包括处理器的设备来执行。例如，处理器可以从存储器加载程序代码并且执行程序代码，以随后执行图7的方法。设备可以是与一个或多个深度传感器耦合的HMI的计算单元。图7的方法便于跟踪对象。
在框8005处，深度数据被获得。例如，如结合图4所讨论的深度数据752将在图5中获得。深度数据可以从如结合图4、框702所描述的逻辑中获得。
在框8010处，深度数据使用IMM跟踪算法来处理。由此，跟踪数据被获得，例如，如结合图6所讨论的跟踪数据753。跟踪数据包括对目标的3-D位置的估计值。
在框8015处，后处理可以被应用。如先前结合图4、框704所解释的，这可以促进一个或多个用例特定的应用程序。
为了便于框8015处的后处理，跟踪数据可以包括附加信息。例如，跟踪数据可以指示目标处于静止状态或运动状态的可能性。结合图8解释了这样的示例。
图8是根据各种示例的方法的流程图。图8图示了框8015的示例实现方式。
在框8050处，确定目标是否更可能处于运动状态(参见图3：运动状态42)而不是处于静止状态(参见图3：静止状态41)。如果是，则方法从框8055开始；如果否，则方法从框8060开始。框8055和框8060与用于后处理跟踪数据的不同后处理算法相关联。
框8050处的选择基于指示目标处于运动状态或静止状态的可能性的跟踪数据来做出。
如结合图6的模型似然模块7627所解释的，目标处于相应状态的可能性可以从模型可能性导出。
存在多个选项来将跟踪数据实现为指示该可能性。
在一个示例中，跟踪数据还可以包括相应可能性的明确指示。
在另一示例中，可以提供隐式指示。例如，跟踪数据的信息内容可以根据可能性而变化。例如，如果目标很可能处于运动状态42，则可以通过将IMM跟踪算法的多次迭代所估计的3-D位置级联来输出3-D位置的时间轨迹作为跟踪数据。相反，如果目标可能处于静止状态41，则例如，可以在没有任何时间分辨率(参见等式10)的情况下，可以包括UI的相应输入元素的指示。即，根据可移动目标处于静止状态的可能性，选定输入元素的指示可以被选择性地包括在跟踪数据中。
在图8所示的示例中，根据目标处于运动状态(因此，根据定义，不处于静止状态)的可能性，可以在手势识别的分类(框8055)或确定输入元素的致动(框8060)之间选择。
在框8055处，有可能根据目标处于运动状态的可能性来选择性地应用手势分类。例如，手势分类可以基于动态轨迹，动态轨迹由IMM跟踪算法的多次迭代中提供的目标3-D位置的估计值来定义。示例手势分类可以使用神经网络来对这样的动态轨迹进行分类。另一示例可以采用基于规则的匹配算法。
同样，可以在框8060处确定一个或多个输入元素是否被致动。这可以基于跟踪数据中相应输入元素的指示，参见等式10。例如，在这方面，可以对指示应用时域低通滤波器。因此，可以检查目标80是否在相应的持续时间内保持相对稳定，即，在与输入元素相关联的区域中的一个区域内保持稳定。例如，可能需要目标在这些输入元素中的一个元素中的位置保持比预定义的阈值持续时间长的持续时间，以触发HMI的相应动作。
此外，在框8060处，例如，在输入元素的显示指示尚未被包括在跟踪数据中的情况下，笛卡尔坐标系中的3-D位置可以被映射到输入元素的相应位置。
图9示意性地图示了被配置为执行本文中描述的技术的设备30。设备30包括处理器31和存储器32。设备30还包括接口。例如，设备30可以经由接口(IF)33来接收原始测量数据751或深度数据752。处理器31可以从存储器(MEM)32加载程序代码并执行程序代码。在执行程序代码时，处理器执行如本文所述的技术，例如：使用IMM跟踪算法处理深度数据、预处理原始测量数据来获得深度数据；对从IMM跟踪算法获得的跟踪数据进行后处理，以例如通过经由接口33提供相应的控制指令来控制HMI。处理器31可以执行图7或图8的方法。
图10图示了被配置为执行本文中描述的技术的设备20。设备20包括可以以软件和/或硬件实现的多个模块21-23。例如，模块21-23可以通过软件来实现，例如，通过可以由处理器加载和执行的程序代码的相应部分来实现。
模块21用于获取深度数据。因此，模块21可以实现图7的方法的框8005。
模块22用于处理深度数据。因此，模块22可以实现图7的方法的框8010。
模块23用于对跟踪数据进行后处理，例如，如从模块22获得的跟踪数据。因此，模块23可以实现图7的方法的框8015。
总之，已公开了使用IMM跟踪算法来确定可移动目标的3-D位置的估计值。这基于深度数据的测量值。IMM跟踪算法的至少一个模型对可移动目标的静止状态进行建模。
虽然常规的IMM跟踪算法被用于对运动目标的不同类型的运动进行模式匹配，但是本公开能够对两个正交运动状态进行建模。一个或多个第一运动状态识别目标的运动，而第二运动状态被用于在目标不移动时准确定位目标(例如，手指)。
将所观察的状态与相应模型匹配的指标已得到增强。通过考虑跨越多次迭代的准确度的演变，可以准确地确定目标在相应运动状态下被观察到的可能性。
此外，后处理可以基于目标处于相应运动状态的模态概率。如果目标正在移动(pr(运动状态)>pr(静止状态))，则可以提供目标的轨迹作为跟踪数据。如果目标是静态的，则可以提供由目标寻址的输入元素的指示作为跟踪数据中的输出。
更详细地，已描述了处理流程可以包括三个主要步骤：
1)雷达数据(或一般来说，其他深度数据)的预处理：雷达传感器数据通过常规的信号处理技术(FFT、CFAR、波束成形、聚类)进行处理。输出是所检测的目标相对于雷达传感器的距离、角度(方位角和仰角)和速度。这表示深度数据；
2)跟踪器：该模块以深度数据(例如目标的距离、角度和速度信息)作为输入。跟踪器将目标的动态特性表征为两个独立的模型。运动模型被用于描述目标的运动。静态模型被用于描述目标静止时的行为。底层马尔可夫过程被用于处理两个模型之间的交互。无迹卡尔曼滤波器被用于表征系统的非线性。
3)应用程序输出/后处理：跟踪器输出(跟踪数据)可以包括三个主要部分：a)目标的轨迹；b)关于触摸屏的当前位置或更一般的UI的输入元素；c)暗示目标动态(运动或静态)的概率。关于目标动态概率的信息可以被用于提取应用程序的相关输出。如果跟踪器建议目标很可能是静态的，则可以提供触摸屏的网格单元位置作为输出。如果跟踪器建议目标很可能正在移动，则目标的轨迹被用来理解特定的手势或随机运动。
进一步总结，以上已描述了至少以下示例。
示例1.一种方法，包括：
-获得深度数据，深度数据指示可移动目标(80)在深度传感器(70)的视场(75)中的3-D位置的时间分辨测量值，以及
-使用交互多模型IMM跟踪算法(760)来处理深度数据(752)，IMM跟踪算法(760)针对多次迭代(7650)中的每一次迭代提供跟踪数据(753)，跟踪数据(753)包括可移动目标(80)的3-D位置的相应估计值，
其中IMM跟踪算法(760)包括提供第一输出(7621、7625)的第一模型(7611)、提供第二输出(7622、7626)的第二模型(7612)和融合模块(7627、7635)，融合模块(7627、7635)融合第一输出(7621、7625)和第二输出(7622、7626)，从而提供跟踪数据(753)，
其中第一模型(7611)对可移动目标(80)的运动状态(42)进行建模，
其中第二模型(7612)对可移动目标(80)的静止状态(41)进行建模。
示例2.根据示例1所述的方法，
其中第二模型(7612)在可移动目标(80)的零速度(92)的假设下并且使用基于3-D位置周围的预定义概率分布确定的估计协方差来确定第二输出(7622)。
示例3.根据示例1或2所述的方法，
其中第一输出(7621、7625)包括第一状态向量(7621)，第一状态向量(7621)包括可移动目标(80)的3-D位置(91)和至少一个速度量度(92)，
其中第二输出(7622、7626)包括第二状态向量(7622)，第二状态向量(7622)包括可移动目标(80)的3-D位置(91)，
其中在所述融合之前，第二状态向量使用针对至少一个速度量度(92)的零值来填充。
示例4.根据前述示例中任一项所述的方法，
其中融合模块(7627、7635)确定可移动目标(80)处于运动状态的第一可能性(7631)和可移动目标(80)处于静止状态的第二可能性(7632)，
其中融合模块(7627、7635)使用根据第一可能性和第二可能性设置的加权因子，基于加权组合来确定跟踪数据(753)，
其中融合模块基于第一模型或第二模型中的相应一个模型的准确度(7625、7626)在多次迭代(7650)的两次或更多次先前迭代内的演变来确定第一可能性或第二可能性中的至少一个。
示例5.根据前述示例中任一项所述的方法，
其中第二模型(7612)基于可移动目标(80)相对于视场(75)内预定义的用户界面(110)的一个或多个输入元素(111-113)的3-D位置(91)的估计值来确定第二输出(7622、7626)，
其中可移动目标(80)选自由以下各项组成的组：手；手的一部分；以及手持式指示设备。
示例6.根据示例5所述的方法，
其中第二输出(7622、7626)包括一个或多个输入元素(111-113)中由目标(80)寻址的给定的一个输入元素的指示，
其中至少对于多次迭代(7650)中的一些迭代，跟踪数据(753)包括一个或多个输入元素(111-113)中的给定的一个输入元素的指示。
示例7.根据示例6所述的方法，
其中跟踪数据(753)根据可移动目标(80)处于静止状态的可能性，选择性地包括一个或多个输入元素中的给定的一个输入元素的指示。
示例8.根据示例6或7所述的方法，还包括：
-基于一个或多个输入元素(111-113)中由目标寻址的给定的一个输入元素的指示来确定一个或多个输入元素中的一个输入元素是否由用户致动。
示例9.根据示例5至8中任一项所述的方法，
-根据可移动目标(80)处于运动状态的可能性，基于动态轨迹(95)来选择性地应用(704)手势分类，动态轨迹(95)由IMM跟踪算法的多次迭代中提供的可移动目标的3-D位置的估计值来定义。
示例10.根据前述示例中任一项所述的方法，
其中深度传感器(70)选自包括以下项的组：雷达传感器；飞行时间传感器；立体相机；激光雷达传感器。
示例11.根据前述示例中任一项所述的方法，
其中IMM跟踪算法(760)针对多次迭代(7650)的每次迭代，基于马尔可夫判定过程(7606)、第一输出(7621、7626)、第二输出(7622、7626)、可动目标(80)在前一次迭代中处于运动状态(42)的第一可能性(7631)以及目标(80)在前一次迭代中处于静止状态(41)的第二可能性(7632)来更新可移动目标的3-D位置的先验估计值。
示例12.根据前述示例中任一项所述的方法，
其中第一模型(7611)使用无迹卡尔曼滤波器和协调转弯模型，基于对可移动目标(80)的位置和速度的预测来确定第一输出。
示例13.根据前述示例中任一项所述的方法，
其中跟踪数据(753)指示可移动目标(80)处于运动状态(42)或静止状态(41)的可能性。
示例14.根据示例13所述的方法，还包括：
-根据可移动目标(80)处于运动状态(42)或静止状态(41)的可能性来选择用于后处理跟踪数据(753)的后处理算法。
示例15.一种包括处理器的设备，处理器被配置为：
-获得深度数据，深度数据指示可移动目标(80)在深度传感器(70)的视场(75)中的3-D位置的时间分辨测量值，以及
-使用交互多模型IMM跟踪算法(760)来处理深度数据(752)，IMM跟踪算法(760)针对多次迭代(7650)中的每一次迭代提供跟踪数据(753)，跟踪数据(753)包括可移动目标(80)的3-D位置的相应估计值，
其中IMM跟踪算法(760)包括提供第一输出(7621、7625)的第一模型(7611)、提供第二输出(7622、7626)的第二模型(7612)和融合模块(7627、7635)，融合模块(7627、7635)融合第一输出(7621、7625)和第二输出(7622、7626)，从而提供跟踪数据(753)，
其中第一模型(7611)对可移动目标(80)的运动状态(42)进行建模，
其中第二模型(7612)对可移动目标(80)的静止状态(41)进行建模。
示例16.根据示例15所述的设备，
其中处理器被配置为执行根据示例1至14中任一项所述的方法。
示例17.一种计算机可读存储介质，包括可由处理器执行的程序代码，程序代码在由处理器执行时，执行方法，方法包括：
-获得深度数据，深度数据指示可移动目标(80)在深度传感器(70)的视场(75)中的3-D位置的时间分辨测量值，以及
-使用交互多模型IMM跟踪算法(760)来处理深度数据(752)，IMM跟踪算法(760)针对多次迭代(7650)中的每一个提供跟踪数据(753)，跟踪数据(753)包括可移动目标(80)的3-D位置的相应估计值，
其中IMM跟踪算法(760)包括提供第一输出(7621、7625)的第一模型(7611)、提供第二输出(7622、7626)的第二模型(7612)和融合模块(7627、7635)，融合模块(7627、7635)融合第一输出(7621、7625)和第二输出(7622、7626)，从而提供跟踪数据(753)，
其中第一模型(7611)对可移动目标(80)的运动状态(42)进行建模，
其中第二模型(7612)对可移动目标(80)的静止状态(41)进行建模。
示例18.根据示例17所述的计算机可读存储介质，
其中处理器被配置为执行示例1至14中任一项所述的方法。
示例19.一种设备，包括：
-用于获得深度数据的装置，深度数据指示可移动目标(80)在深度传感器(70)的视场(75)中的3-D位置的时间分辨测量值，以及
-用于使用交互多模型IMM跟踪算法(760)来处理深度数据(752)的装置，IMM跟踪算法(760)针对多次迭代(7650)中的每一次提供跟踪数据(753)，跟踪数据(753)包括可移动目标(80)的3-D位置的相应估计值，
其中IMM跟踪算法(760)包括提供第一输出(7621、7625)的第一模型(7611)、提供第二输出(7622、7626)的第二模型(7612)和融合模块(7627、7635)，融合模块(7627、7635)融合第一输出(7621、7625)和第二输出(7622、7626)，从而提供跟踪数据(753)，
其中第一模型(7611)对可移动目标(80)的运动状态(42)进行建模，
其中第二模型(7612)对可移动目标(80)的静止状态(41)进行建模。
示例20.一种设备，包括：
-用于获得深度数据的模块，深度数据指示可移动目标(80)在深度传感器(70)的视场(75)中的3-D位置的时间分辨测量值，以及
-用于使用交互多模型IMM跟踪算法(760)来处理深度数据(752)的模块，IMM跟踪算法(760)针对多次迭代(7650)中的每一次提供跟踪数据(753)，跟踪数据(753)包括对可移动目标(80)的3-D位置的相应估计值，
其中IMM跟踪算法(760)包括提供第一输出(7621、7625)的第一模型(7611)、提供第二输出(7622、7626)的第二模型(7612)和融合模块(7627、7635)，融合模块(7627、7635)融合第一输出(7621、7625)和第二输出(7622、7626)，从而提供跟踪数据(753)，
其中第一模型(7611)对可移动目标(80)的运动状态(42)进行建模，
其中第二模型(7612)对可移动目标(80)的静止状态(41)进行建模。
示例21.一种方法，包括：
-使用交互多模型IMM跟踪算法，基于深度数据的测量值来确定可移动目标的3-D位置的估计值，IMM跟踪算法的至少一个模型对可移动目标的静止状态建模。虽然本发明已关于某些优选实施例被示出和描述，但本领域的其他技术人员在阅读和理解说明书后将想到等同物和修改。本发明包括所有这样的等同物和修改并且仅由所附权利要求的范围来限制。

Claims (15)

1.一种方法，包括：
-获得深度数据，所述深度数据指示可移动目标(80)在深度传感器(70)的视场(75)中的3-D位置的时间分辨测量值，以及
-使用交互多模型IMM跟踪算法(760)来处理所述深度数据(752)，所述IMM跟踪算法(760)针对多次迭代(7650)中的每一次迭代提供跟踪数据(753)，所述跟踪数据(753)包括所述可移动目标(80)的所述3-D位置的相应估计值，
其中所述IMM跟踪算法(760)包括提供第一输出(7621、7625)的第一模型(7611)、提供第二输出(7622、7626)的第二模型(7612)和融合模块(7627、7635)，所述融合模块(7627、7635)融合所述第一输出(7621、7625)和所述第二输出(7622、7626)，从而提供所述跟踪数据(753)，
其中所述第一模型(7611)对所述可移动目标(80)的运动状态(42)进行建模，
其中所述第二模型(7612)对所述可移动目标(80)的静止状态(41)进行建模。
2.根据权利要求1所述的方法，
其中所述第二模型(7612)在所述可移动目标(80)的零速度(92)的假设下并且使用基于所述3-D位置周围的预定义概率分布确定的估计协方差来确定所述第二输出(7622)。
3.根据权利要求1或2所述的方法，
其中所述第一输出(7621、7625)包括第一状态向量(7621)，所述第一状态向量(7621)包括所述可移动目标(80)的所述3-D位置(91)和至少一个速度量度(92)，
其中所述第二输出(7622、7626)包括第二状态向量(7622)，所述第二状态向量(7622)包括所述可移动目标(80)的所述3-D位置(91)，
其中在融合之前，所述第二状态向量使用针对所述至少一个速度量度(92)的零值来填充。
4.根据前述权利要求中任一项所述的方法，
其中所述融合模块(7627、7635)确定所述可移动目标(80)处于所述运动状态的第一可能性(7631)以及所述可移动目标(80)处于所述静止状态的第二可能性(7632)，
其中所述融合模块(7627、7635)使用根据所述第一可能性和所述第二可能性设置的加权因子，基于加权组合来确定所述跟踪数据(753)，
其中所述融合模块基于所述第一模型或所述第二模型中的相应一个模型的准确度(7625、7626)在所述多次迭代(7650)的两次或更多次先前迭代内的演变来确定所述第一可能性或所述第二可能性中的至少一个。
5.根据前述权利要求中任一项所述的方法，
其中所述第二模型(7612)基于所述可移动目标(80)相对于所述视场(75)内预定义的用户界面(110)的一个或多个输入元素(111-113)的3-D位置(91)的估计值来确定所述第二输出(7622、7626)，
其中所述可移动目标(80)选自由以下各项组成的组：手；手的一部分；以及手持式指示设备。
6.根据权利要求5所述的方法，
其中所述第二输出(7622、7626)包括所述一个或多个输入元素(111-113)中由所述目标(80)寻址的给定的一个输入元素的指示，
其中至少对于所述多次迭代(7650)中的一些迭代，所述跟踪数据(753)包括所述一个或多个输入元素(111-113)中的给定的一个输入元素的指示。
7.根据权利要求6所述的方法，
其中所述跟踪数据(753)根据所述可移动目标(80)处于所述静止状态的可能性，选择性地包括所述一个或多个输入元素中的给定的一个输入元素的指示。
8.根据权利要求6或7所述的方法，还包括：
-基于所述一个或多个输入元素(111-113)中由所述目标寻址的给定的一个输入元素的指示来确定所述一个或多个输入元素中的一个输入元素是否由所述用户致动。
9.根据权利要求5至8中任一项所述的方法，
-根据所述可移动目标(80)处于所述运动状态的可能性，基于动态轨迹(95)来选择性地应用(704)手势分类，所述动态轨迹(95)由所述IMM跟踪算法在所述多次迭代中提供的所述可移动目标的所述3-D位置的估计值来定义。
10.根据前述权利要求中任一项所述的方法，
其中所述深度传感器(70)选自包括以下项的组：雷达传感器；飞行时间传感器；立体相机；激光雷达传感器。
11.根据前述权利要求中任一项所述的方法，
其中所述IMM跟踪算法(760)针对所述多次迭代(7650)的每次迭代，基于马尔可夫判定过程(7606)、所述第一输出(7621、7626)、所述第二输出(7622、7626)、所述可移动目标(80)在前一次迭代中处于所述运动状态(42)的第一可能性(7631)以及所述目标(80)在前一次迭代中处于所述静止状态(41)的第二可能性(7632)，更新所述可移动目标的所述3-D位置的先验估计值。
12.根据前述权利要求中任一项所述的方法，
其中所述第一模型(7611)使用无迹卡尔曼滤波器和协调转弯模型，基于对所述可移动目标(80)的位置和速度的预测来确定所述第一输出。
13.根据前述权利要求中任一项所述的方法，
其中所述跟踪数据(753)指示所述可移动目标(80)处于所述运动状态(42)或所述静止状态(41)的可能性。
14.根据权利要求13所述的方法，还包括：
-根据所述可移动目标(80)处于所述运动状态(42)或所述静止状态(41)的可能性来选择用于后处理所述跟踪数据(753)的后处理算法。
15.一种包括处理器的设备，所述处理器被配置为：
-获得深度数据，所述深度数据指示可移动目标(80)在深度传感器(70)的视场(75)中的3-D位置的时间分辨测量值，以及
-使用交互多模型IMM跟踪算法(760)来处理所述深度数据(752)，所述IMM跟踪算法(760)针对多次迭代(7650)中的每一次迭代提供跟踪数据(753)，所述跟踪数据(753)包括所述可移动目标(80)的所述3-D位置的相应估计值，
其中所述IMM跟踪算法(760)包括提供第一输出(7621、7625)的第一模型(7611)、提供第二输出(7622、7626)的第二模型(7612)和融合模块(7627、7635)，所述融合模块(7627、7635)融合所述第一输出(7621、7625)和所述第二输出(7622、7626)，从而提供所述跟踪数据(753)，
其中所述第一模型(7611)对所述可移动目标(80)的运动状态(42)进行建模，
其中所述第二模型(7612)对所述可移动目标(80)的静止状态(41)进行建模。
CN202210092957.8A 2021-01-27 2022-01-26 使用静止状态模型的交互多模型跟踪算法 Pending CN114820697A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21153870.7 2021-01-27
EP21153870.7A EP4036599A1 (en) 2021-01-27 2021-01-27 Interacting multi-model tracking algorithm using rest state model

Publications (1)

Publication Number Publication Date
CN114820697A true CN114820697A (zh) 2022-07-29

Family

ID=74346872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210092957.8A Pending CN114820697A (zh) 2021-01-27 2022-01-26 使用静止状态模型的交互多模型跟踪算法

Country Status (3)

Country Link
US (1) US20220237807A1 (zh)
EP (1) EP4036599A1 (zh)
CN (1) CN114820697A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115575923A (zh) * 2022-12-08 2023-01-06 千巡科技(深圳)有限公司 一种地面机器人静止判断方法、系统、装置以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
DE102018105045A1 (de) * 2018-03-06 2019-09-12 Dfs Deutsche Flugsicherung Gmbh Luftlageinformations- und Verkehrsmanagementsystem für unbemannte und bemannte Luftfahrzeuge
US11340610B2 (en) * 2018-07-24 2022-05-24 Huili Yu Autonomous target following method and device
EP3987860A1 (en) * 2019-06-18 2022-04-27 Telefonaktiebolaget LM Ericsson (publ) User equipment kinematic state estimation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115575923A (zh) * 2022-12-08 2023-01-06 千巡科技(深圳)有限公司 一种地面机器人静止判断方法、系统、装置以及存储介质

Also Published As

Publication number Publication date
EP4036599A1 (en) 2022-08-03
US20220237807A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
Zhang et al. Extending reliability of mmwave radar tracking and detection via fusion with camera
EP3712809A1 (en) Character recognition in air-writing based on network of radars
CN110488234B (zh) 车载毫米波雷达的外参标定方法、装置、设备及介质
Daun et al. Tracking in multistatic passive radar systems using DAB/DVB-T illumination
US11568654B2 (en) Object recognition method and object recognition device performing the same
US20220269926A1 (en) Radar-Based Object Tracking Using a Neural Network
EP3349033A1 (en) Enhanced object detection and motion estimation for a vehicle environment detection system
CN112912759A (zh) 物体跟踪装置
JP6733060B2 (ja) 車両レーダシステム用の逆合成開口レーダ
Xu et al. A LiDAR-based single-shot global localization solution using a cross-section shape context descriptor
CN113064483A (zh) 一种手势识别方法以及相关装置
CN114820697A (zh) 使用静止状态模型的交互多模型跟踪算法
CN115951320A (zh) 使用一个或多个时间序列的基于雷达的运动分类
Berthold et al. A radar measurement model for extended object tracking in dynamic scenarios
CN110398735A (zh) 一种基于多雷达的感知数据处理方法及系统
US20230068523A1 (en) Radar-Based Gesture Classification Using a Variational Auto-Encoder Neural Network
Huang et al. A rd-t network for hand gesture recognition based on millimeter-wave sensor
Cevher et al. A range-only multiple target particle filter tracker
Miao et al. Multi-target tracking and detection, fusing radar and ais signals using poisson multi-bernoulli mixture tracking, in support of autonomous sailing
Richter et al. Advanced occupancy grid techniques for lidar based object detection and tracking
Lan et al. A low cost solution of hand gesture recognition using a three-dimensional radar array
US20230118390A1 (en) Method and device for providing tracking data for recognizing the movement of persons and hands for controlling at least one function of a technical system, and sensor system
Zhou et al. Human body recognition based on the sparse point cloud data from MIMO millimeter-wave radar for smart home
Luo et al. Passive target tracking with intermittent measurement based on random finite set
Dubey Bayesian Architecture and Learning Algorithms for Recognition of Vulnerable Road Users using Automotive Radar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination