CN117880741A - 使用运动感测的乘坐者识别系统和方法 - Google Patents

Abstract

本文公开了使用运动感测的乘坐者识别系统和方法。一种示例性方法包括：获得与个人相关联的移动装置的位置；从所述移动装置获得包括第一运动配置文件的传感器数据，所述传感器数据还包括所述位置周围的环境信息；使用所述环境信息生成所述个人的运动模型；使用所述运动模型生成第二运动配置文件；将所述第二运动配置文件与所述第一运动配置文件进行比较；以及确认所述第二运动配置文件何时与所述第一运动配置文件匹配以确认所述个人在所述位置处。

Description

使用运动感测的乘坐者识别系统和方法

技术领域

本公开涉及使用运动感测的乘坐者识别系统和方法。

背景技术

当使用约车服务(诸如运输即服务(TAAS)应用程序，其可以包括基于自主车辆(AV)的服务(也可以包括其他系统，诸如高级驾驶员辅助))时，乘坐者识别可能是困难的。在典型的TAAS(例如，非自主)中，人类驾驶员可以向个人做出动作或手势以确认该人是否是预期客户。例如，个人可能正在说话/看着/看他们的手机。在其他情况下，驾驶员和乘客可以通过挥手来彼此协调以正确地识别人员。AV服务在确定细微的人类交互方面具有类似的挑战。

发明内容

公开了用于基于传感器数据分析(诸如视频分析和智能装置加速度)的客户定位的系统和方法。用户的智能装置可以监测智能装置的加速度信号，所述加速度信号可以指示用户的某些移动。车辆或基础设施传感器(例如，相机)可以用于确定人员身上的智能装置的位置以及人员的运动和方向。以这种方式，可以交叉参考来自智能装置的传感器数据和来自车辆或其他基础设施的传感器数据以确定用户的大致位置。

一旦定位了智能装置，就可以对在车辆的视野中可见的一个或多个个人执行估计个人的步态。例如，来自智能装置和周围基础设施的信号和/或数据可以用于确定例如个人是否、如何以及何时行走、跨过路沿、走上台阶、挥手或执行其他身体运动。假设车辆控制器可以使用GPS、蜂窝塔、Wi-Fi、信号三角测量或另一种合适的基于方法的定位来定位大致客户/智能装置位置，则车辆控制器可以使用传感器数据(诸如相机、激光雷达和其他传感器)以经由所述传感器数据来检测行人。可以通过车辆对外界链路从车辆传感器平台和/或其他连接的车辆(V2V/车辆对车辆)或基础设施元件(V2X)获得传感器数据。

还可以识别由该人握持(或以其他方式携带)的可见智能装置。然后，车辆控制器可以使用该数据来预测人类运动/步态的骨架模型。替代地，当模型对步态预测的置信度较低时，可以使用人类动作预测器。例如，车辆控制器可以认为目标行人在零秒与十秒之间行走，并且从十秒开始，可以推断出目标行人是站立或坐着。

假设智能装置位于人员的可能物理位置(或多个位置)，则车辆控制器可以在给定每个个人的数字骨架模型的情况下计算潜在的智能装置加速度配置文件。这可以与经由客户的手机上的TAAS应用程序可用的实际智能装置加速度进行比较，以正确地识别客户或识别非客户。在一些情况下，其中直接比较是困难的(例如，拥挤和/或被遮蔽的区域)，车辆可以请求特定动作，例如，让真正的客户在空中挥手或在握持他们的智能装置时做机器人，从而提高所述预测的置信度。当客户被定位时，车辆可以朝向客户移动并且停放。然而，在其他情况下，车辆可能无法识别使用车辆传感器检测到的观察到的人类步态与客户的智能装置预测的人类步态之间的匹配，并且移动到客户可能所在的遮挡减少的区域。在其他实施例中，车辆可以从远程源(例如，通过V2X的车辆和基础设施)请求视频数据以进行本地处理，以尝试定位客户。附加传感器数据的示例也可以包括来自智能装置的数据。因此，可以使用来自多个来源的传感器输出的融合。

在一种配置中，一种系统可以包括用户的智能装置以及车辆的控制器和/或传感器系统。在用户的智能装置处，可以使用TAAS应用程序来发起乘车服务，共享智能装置的位置，并且允许从智能装置收集数据。在用户的智能装置处，可以收集加速度和/或陀螺仪数据，并且可以与TAAS车辆共享用户的加速度配置文件。在车辆处，可以获得来自客户的请求，并且可以获得GPS坐标以用于位置近似。车辆还可以从智能装置获得客户的加速度配置文件。在车辆处，车载传感器系统可以用于生成定制固定距离内的行人的骨架模型。骨架模型可以用于在一系列潜在的智能装置位置上生成加速度配置文件，并且将预测的加速度配置文件与真实配置文件进行比较。车辆控制器可以检测匹配的置信度是否高于阈值。在一个非限制性示例中，可以执行一种方法以在给定检测器的置信度的情况下使用加权集成(例如，手机在口袋中的置信度与手机在手中的置信度)。可以将数据的复杂性分解为一系列阵列(例如，假设手机在手中，则是手机的竖直加速度)，然后可以在异常值减轻的情况下执行统计相关性。

如果置信度低于阈值，则可以请求行人动作，或者车辆可以切换到动作配置文件分析。车辆可以移动得更靠近客户和/或可以以其他方式向客户指示车辆已经发现客户。

附图说明

关于附图阐述了具体实施方式。使用相同的附图标记可指示相似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。贯穿本公开，取决于背景，可以可互换地使用单数和复数术语。

图1示出了根据本公开的一个或多个实施例的示例性环境。

图2示意性地示出了根据本公开的一个或多个实施例的涉及智能装置和启用的车辆的示例性方法。

图3是根据本公开的一个或多个实施例的示例性方法的流程图。

图4是根据本公开的一个或多个实施例的另一示例性方法的流程图。

图5是根据本公开的一个或多个实施例的附加示例性方法的流程图。

具体实施方式

图1示出了其中可以实践本公开的各方面的示例性环境。环境100包括车辆102、与乘坐者相关联的智能装置104、一个或多个附加车辆106、基础设施元件108和网络110。除了与智能装置104相关联的乘坐者之外，环境100还可能被其他行人、基础设施、车辆和其他物体遮挡或占用。

网络110可以包括多种不同类型的网络中的任一种或其组合，诸如有线网络、互联网、无线网络以及其他私有和/或公共网络。在一些情况下，网络110可以包括蜂窝网络、Wi-Fi或Wi-Fi直连。该网络可以包括车辆对车辆通信以及车辆对外界通信。本文中可以使用任何合适的网络。

图2示意性地示出了用于从智能装置运动分析检测乘坐者存在的示例性总体过程。所述过程包括获得手机数据(例如，智能装置)并且识别手机位置信息和手机的加速度配置文件两者。相应地，传感器数据也可以从车载传感器(诸如相机)、所述区域中的其他车辆上的传感器或也从所述区域中的基础设施元件获得。传感器数据可以用于生成骨架模型和步态预测/姿态估计，以及可能的手机位置。而且，可以从骨架模型生成可能的或潜在的加速度配置文件(第二运动配置文件)。可以将潜在的加速度配置文件与手机的加速度配置文件进行比较以确定是否存在匹配。可以为环境中的各种物体(诸如其他人)生成这些不同的骨架模型和加速度配置文件。通过这种方式，当找到匹配时，可以将骨架模型和潜在加速度配置文件识别为所讨论的乘坐者与请求乘坐的智能装置。

返回参考图1，与乘坐者相关联的智能装置104可以被配置为执行允许乘坐者请求乘坐车辆102的TAAS应用程序。智能装置可以包括能够进行无线通信的任何移动装置，诸如智能手机。尽管未示出，但是在一些情况下，乘坐请求可以由后端服务提供者进行协调。智能装置104包括可以用于确定智能装置104的位置的位置感测能力，诸如GPS或等效物。智能装置104还可以包括运动感测元件，诸如加速度计和/或陀螺仪。在一些情况下，智能装置还可以并入有其他基于视觉的传感器(诸如光感测)来确定手机的大致位置。例如，光信号可以在白天获得并且是明亮的，这可以指示装置在手中、附接到皮带或其他类似配置。

智能装置104可以收集这些数据并且通过网络110传输它们。运动信号通常可以被称为第一运动配置文件。在一些情况下，可以将运动信号传输到车辆，并且车辆的车辆控制器可以将原始运动信号转换成运动配置文件。通常，可以分析运动信号以确定智能装置的运动，这继而指示乘坐者的运动，诸如在物体上行走等等。还可以估计其他用例，诸如电梯、自动扶梯使用等。这些数据可以用于估计客户的位置以及他们距车辆的距离。

车辆102可以包括传感器平台112、车辆控制器114和自主导航系统116。通常，车辆102可以使用通信接口118连接到网络110。在一些情况下，车辆102可以包括自主车辆。

车辆控制器114包括处理器和存储器，并且存储器存储可由处理器执行的指令。通常，车辆控制器114可以从智能装置104接收乘坐请求，并且使自主导航系统116将车辆102导航到由请求中包括的位置信号识别的大致位置。

当车辆102到达大致位置时，车辆控制器114可以激活传感器平台112以获得所述位置周围的环境的传感器数据。传感器平台112可以包括超声波传感器、激光雷达、雷达、射频(RF)、相机、红外(IR)或可以被配置为感测环境100中的物体(即，乘坐者)的其他传感器。更详细地，传感器输出可以用于计算在传感器输出中检测到的人类(诸如乘坐者)的步态分析/姿态估计。

通常，车辆控制器114可以被配置为从步态分析和/或骨架配置文件预测人的加速度配置文件(以将该生成的配置文件与从智能装置获得的第一运动配置文件匹配)。一种此类方法可以涉及使用可以包含具有许多个人或其他背景物体的繁忙背景的输入序列，经由深度学习网络提取乘坐者的姿态，生成姿态序列，并且经由附加的基于图形的神经网络获得步态的嵌入式表示。此外，该嵌入式表示然后可以用作训练数据以训练将该嵌入式步态映射到相关联的加速度配置文件的模型。

应注意，可以解决可能由诸如对象的不同着装和一个场景中的多个对象的情况引起的步态识别和建模问题。例如，多个行人可能在环境中，并且基于车辆传感器和手机加速度的预测步态的置信度可能不足以产生正确的预测。即使在遮挡状况下，车辆控制器114也可以跟踪行人情况。

在此类情况下，车辆控制器114可以请求乘坐者执行某种运动，诸如步行、跳过、跳跃、做机器人或其他移动以改善预测和相关性。此外，基于智能装置的交互可以改善对智能装置的位置(诸如在乘坐者的手中)的预测。即使在个人坐着(包括坐轮椅的客户)并且因此没有可用于基于智能装置加速度预测的步态的情况下，这仍然可以提供过滤运动中的外来行人的能力。当无法辨别步态时，可以使用其他生物特征，诸如脉搏、呼吸和身体与手机的其他微小移动。

图3示出了本公开的示例性方法的流程图。所述方法可以从步骤302开始，其中客户通过其智能装置上的TASS应用程序请求乘坐。接下来，所述方法包括步骤304：获得智能装置的位置。例如，车辆控制器可以从智能装置请求GPS坐标。智能装置可以通过TASS应用程序通过网络返回位置。

在步骤306中，车辆可以导航到所述位置。这可以包括自主导航或车辆驾驶员的导航。在步骤308中，一旦车辆到达由智能装置提供的位置，车辆就可以开始获得所述位置的传感器数据。这可以包括使用从车辆传感器平台获得的传感器数据。在一些情况下，可以通过车辆对车辆连接来请求和获得来自所述位置中的其他车辆的传感器数据。一旦已经获得传感器数据，所述方法可以包括步骤310：映射位置(和其中的物体)并且识别被遮挡区域。通常，被遮挡区域是存在物体的任何地方，所述物体诸如人、车辆或基础设施元件，诸如路灯、灯柱、信箱、景观和其他结构。在一些情况下，也可以使用预先生成的物体映射图。

在步骤312中，可以从智能装置获得数据。也就是说，可以获得运动配置文件或其他位置数据。在步骤314中，可以收集位置信息以诸如从GPS数据推断智能装置的大致位置。在步骤316中，可以通过V2X连接从基础设施元件获得传感器数据。例如，街道相机可以收集所述位置的图像。在步骤318中，可以从传感器数据识别个人以及在步骤320中识别智能装置。

在步骤322中，所述方法可以包括预测如上文所公开识别的人类的骨架模型。可以使用本领域普通技术人员已知的任何方法来生成骨架模型。在步骤324中，所述方法可以包括预测可能的加速度(在一些情况下称为第二运动模型)。这可以通过在人类在所述位置中移动时跟踪骨架模型来实现。在步骤326中，所述方法包括确定与从智能装置获得的加速度数据的可能匹配。当潜在运动模型在阈值内与从智能装置获得的加速度数据匹配时，可以在步骤328中找到可能的匹配。例如，如果潜在运动模型和从智能装置获得的加速度数据匹配95％，则可能存在匹配。阈值可以被设置为任何灵敏度水平。如上所述，该分析可以包括与生物特征数据有关的预测数据，以及可以帮助将模型与从乘坐者的智能装置获得的数据(或从来自用户配置文件的关于乘坐者的已知信息)匹配的任何其他数据。

当步骤328中的过程受到所述位置处的遮挡物或物体的阻碍而使得配置文件比较变得困难或不可能时，所述方法可以包括步骤330：导航车辆以获得所述位置的更无障碍视野。例如，车辆控制器可以确定车辆部分地在建筑物或较高车辆的后面。车辆控制器可以确定乘坐者部分地或完全地位于结构后面。例如，乘坐者可能在商店或诸如公共汽车站的门廊中等待他们的乘坐车辆。

当在步骤330中未确定高概率匹配时，所述方法可以包括步骤332：请求乘坐者执行运动，诸如挥手、跳跃或移动他们的智能装置。该运动可以由车辆传感器平台感测并且被识别以供乘坐者确认。这允许车辆控制器区分所述位置中的运动中的物体和请求服务的乘坐者。所述请求可以在用户的智能装置上的TASS应用程序上呈现给用户。然而，如果确定高概率匹配，则所述方法可以包括步骤334：导航到乘坐者，以及步骤336：接载乘坐者并将他们运送到他们的目的地。在一些情况下，车辆控制器可以向移动装置传输消息以通知用户自主车辆在他们的位置附近。当车辆与客户/移动装置之间可能存在障碍物时，也可以显示指示客户重新定位或执行动作的消息。

图4是本公开的示例性方法的流程图。所述方法可以包括步骤402：获得与个人相关联的移动装置的位置。该步骤可以在乘坐者通过TASS应用程序请求乘坐之后发生。可以在GPS或等效的基于位置的数据中测量智能装置的位置。所述方法可以包括步骤404：从移动装置获得包括第一运动配置文件的传感器数据。例如，可以收集加速度计和/或陀螺仪数据并且将其用于运动分析。传感器数据还可以包括所述位置周围的环境信息。当车辆到达所述位置时，可以收集这些数据。

接下来，所述方法包括步骤406：使用环境信息生成个人的运动模型。在一些情况下，运动模型可以包括骨架模型。所述方法可以包括步骤408：使用运动模型生成第二运动配置文件。所述运动配置文件基于所跟踪和建模的个人的移动来推断智能装置的移动。在一些情况下，也可以从建模中确定智能装置的位置。因此，所述方法可以包括使用第一运动配置文件来识别个人身上的移动装置的位置。

所述方法可以包括步骤410：将第二运动配置文件与第一运动配置文件进行比较，以及步骤412：确认第二运动配置文件何时与第一运动配置文件匹配以确认个人在所述位置处。也就是说，建模的个人的运动与智能装置的运动匹配，从而确认个人在所述位置处。

图5是用于生成和使用骨架模型的相关方法的流程图。所述方法可以包括步骤502：在距所述位置的预定距离内生成多个骨架模型。肯定的是，这些骨架模型与智能装置所在位置中的其他个人有关。

所述方法还可以包括步骤504：在包括所述位置的位置范围内从多个骨架模型生成多个运动配置文件，所述多个运动配置文件包括第二运动配置文件。因此，针对骨架模型中的每一者生成运动配置文件(加速度配置文件)。

在步骤506中，所述方法包括将多个运动配置文件中的每一者与第一运动配置文件进行比较。该步骤可以涉及使用阈值分析(或本领域普通技术人员已知的其他类似分析)以执行如上所述的比较。当未找到匹配时，所述方法可以包括步骤508：当阈值分析指示第二运动配置文件与第一运动配置文件不匹配时，执行动作配置文件分析。所述方法可以包括步骤510：当阈值分析指示第二运动配置文件与第一运动配置文件不匹配时，请求个人采取动作。在一些情况下，所述方法可以包括步骤512：使用环境信息确定所述位置具有遮挡物，以及步骤514：由于遮挡物而请求个人移动到不同位置。然后可以重复所述过程以获得传感器数据并且确定是否可以使用建模来识别个人/智能装置。

应当理解，行人步态配置文件在识别个人方面非常强大，而无需获得清晰的面部图像以及将客户面部图像存储在中央数据库中。生成骨架模型以及使用这些模型来推断多个可能的手机位置上的加速度配置文件的能力使得本文公开的系统和方法适用于本文公开的指定用例之外的用例。示例包括TAAS中的人/手动驾驶车辆、出于营销/广告目的(购物中心、体育赛事、贸易展等)识别人群中的个人，以及社交聚会应用。

替代的工作流程将是手机基于手机加速度来检测乘坐者的唯一矢量描述符，并且将所述唯一矢量描述符提供给车辆以用于与来自车辆传感器的检测到的步态分析进行比较。该场景假设目标在观察期间正在移动(例如，不坐着)。

本文公开的系统、设备、装置和方法的实施方式可以包括或利用专用或通用计算机，所述专用或通用计算机包括计算机硬件，诸如如本文所讨论的一个或多个处理器和系统存储器。计算机可执行指令包括例如在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行某个功能或某组功能的指令和数据。本文公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为支持在计算机系统和/或模块和/或其他电子装置之间输送电子数据的一个或多个数据链路。

虽然上面已经描述了各种实施例，但是应理解，这些实施例仅通过示例而非限制的方式呈现。所述描述并不意图将本发明的范围限制于本文阐述的特定形式。相反，本说明书意图覆盖可以包括在由所附权利要求限定的以及本领域普通技术人员以其他方式理解的本发明的精神和范围内的此类替代方案、修改方案和等效方案。因此，优选实施例的广度和范围不应受到上述示例性实施例中的任一者的限制。

根据本发明的一个实施例，处理器被配置为使用阈值分析来执行比较。

根据一个实施例，处理器被配置为当阈值分析指示第二运动配置文件与第一运动配置文件不匹配时请求个人采取动作。

根据本发明的一个实施例，处理器被配置为使自主车辆到达位置以获得环境信息。

根据本发明的一个实施例，处理器被配置为当确认个人在位置处时使自主车辆导航到所述位置。

根据本发明的实施例，处理器被配置为：使用环境信息来确定所述位置具有遮挡物；并且由于遮挡物而请求个人移动到不同位置。

Claims (15)

1.一种方法，其包括：

获得与个人相关联的移动装置的位置；

从所述移动装置获得包括第一运动配置文件的传感器数据，所述传感器数据还包括所述位置周围的环境信息；

使用所述环境信息确定所述个人的运动模型；

使用所述运动模型确定第二运动配置文件；

将所述第二运动配置文件与所述第一运动配置文件进行比较；以及

基于所述第二运动配置文件与所述第一运动配置文件匹配来确定所述个人在所述位置处。

2.根据权利要求1所述的方法，其中所述第一运动配置文件包括来自所述移动装置的加速度和陀螺仪数据中的任一者。

3.根据权利要求1所述的方法，其还包括使用所述第一运动配置文件来确定所述个人身上的所述移动装置的位置。

4.根据权利要求1所述的方法，其还包括：

在距所述位置的预定距离内生成多个骨架模型；以及

在包括所述位置的位置范围内从所述多个骨架模型生成多个运动配置文件，所述多个运动配置文件包括所述第二运动配置文件。

5.根据权利要求4所述的方法，其还包括将所述多个运动配置文件中的每一者与所述第一运动配置文件进行比较。

6.根据权利要求5所述的方法，其还包括使用阈值分析来执行所述比较。

7.根据权利要求6所述的方法，其还包括基于指示所述第二运动配置文件与所述第一运动配置文件不匹配的所述阈值分析来执行动作配置文件分析。

8.根据权利要求6所述的方法，其还包括基于指示所述第二运动配置文件与所述第一运动配置文件不匹配的所述阈值分析来请求所述个人采取动作。

9.根据权利要求1所述的方法，其还包括将自主车辆导航到所述位置以获得所述环境信息。

10.根据权利要求9所述的方法，其还包括基于确认所述个人在所述位置处来将所述自主车辆导航到更靠近所述位置，以及向所述移动装置传输消息以通知用户所述自主车辆在所述位置附近。

11.根据权利要求1所述的方法，其还包括：

使用所述环境信息确定所述位置具有遮挡物；以及

由于所述遮挡物而请求所述个人移动到不同位置。

12.一种车辆，其包括：

传感器平台；以及

车辆控制器，所述车辆控制器包括处理器和存储器，所述处理器执行存储器中的指令以：

获得与个人相关联的移动装置的位置；

从所述移动装置获得包括第一运动配置文件的传感器数据，所述传感器数据还包括从所述传感器平台获得的所述位置周围的环境信息；

使用所述环境信息生成所述个人的运动模型；

使用所述运动模型生成第二运动配置文件；

将所述第二运动配置文件与所述第一运动配置文件进行比较；以及

当所述第二运动配置文件与所述第一运动配置文件匹配时，确认所述个人在所述位置处。

13.根据权利要求12所述的车辆，其中所述第一运动配置文件包括加速度和陀螺仪数据中的任一者，其中所述处理器被配置为：

在距所述位置的预定距离内生成多个骨架模型；以及

在包括所述位置的位置范围内从所述多个骨架模型生成多个运动配置文件，所述多个运动配置文件包括所述第二运动配置文件。

14.根据权利要求13所述的车辆，其中所述处理器被配置为将所述多个运动配置文件中的每一者与所述第一运动配置文件进行比较。

15.根据权利要求14所述的车辆，其中所述处理器被配置为当阈值分析指示所述第二运动配置文件与所述第一运动配置文件不匹配时，执行动作配置文件分析。