CN111222408A - 用于基于周围环境改进的位置决策的方法和设备 - Google Patents

Abstract

本公开提供了“用于基于周围环境改进的位置决策的方法和设备”。一种系统包括处理器，所述处理器被配置为接收由用户装置捕获的对用户周围的环境进行的成像。所述处理器还被配置为识别所述图像中的多个非用户实体。所述处理器进一步被配置为识别相对于所述非用户实体的用户位置。所述处理器还被配置为生成相对于所述非用户实体的所述用户位置的数字表示，并将所述数字表示传送到由所述用户请求的车辆。

Description

用于基于周围环境改进的位置决策的方法和设备

技术领域

本说明性实施例总体涉及用于基于周围环境改进的位置决策的方法和设备。

背景技术

约车服务依赖于用户和车辆准确识别彼此的位置以使得用户可进入车辆并开始其服务的能力。用户和车辆准确识别彼此的位置时出现延迟会导致利用率下降(成本更高)和潜在的错乘现象或收益损失。然而，由于全球导航卫星系统(GNSS)解决方案和蜂窝三角测量的技术限制，通常用于识别提出请求的用户的位置的移动装置的位置准确性可能受限。

约车服务的用户和车辆/驾驶员自身必须能够通过一些方法在视觉上彼此识别，然而由于障碍物或其他环境变量而导致的有限视线可能增加寻找车辆所花费的时间量。这个问题的一个示例将会是，用户位于建筑物的角落处但被GNSS或蜂窝三角测量定位在角落的错误一侧上，这可能会导致驾驶员在错误的地方寻找用户，从而会导致延迟。另一个示例可能是用户位于街道的不允许停车的部分上。对于自主车辆(AV)和/或人类驾驶员，这个事实可阻止或延迟接载。

发明内容

在第一说明性实施例中，一种系统包括处理器，所述处理器被配置为接收由用户装置捕获的对用户周围的环境进行的成像。所述处理器还被配置为识别所述图像中的多个非用户实体。所述处理器进一步被配置为识别相对于所述非用户实体的用户位置。所述处理器还被配置为生成相对于所述非用户实体的所述用户位置的数字表示，并将所述数字表示传送到由所述用户请求的车辆。

在第二说明性实施例中，一种方法包括接收由用户装置捕获的对用户周围的环境进行的成像。所述方法还包括：识别被确定为在用户位置的预定义距离内的对象，所述确定是根据所述成像确定的。所述方法还包括识别相对于所述对象的用户位置。所述方法另外包括生成相对于所述对象的所述用户位置的数字表示，以及将所述数字表示传送到由所述用户请求的车辆。

在第三说明性实施例中，一种方法包括在车辆处接收接载位置的数字表示，其包括至少一个非用户实体或对象的数字表示。所述方法还包括从车辆角度查看场景，所述场景包括等效于所述非用户实体或对象的真实世界。所述方法还包括用可能的用户数字指示器示出表示实时真实世界成像的所查看的场景，所述用户数字指示器指示在相对于基于包括在所述数字表示中的位置数据确定的所述真实世界等效物的位置处的包括在其中的乘客，指示相对于所述非用户实体或对象的乘客位置。

附图说明

图1示出城市环境的说明性示例；

图2示出用于接载请求处理的说明性过程；

图3示出请求处理的另一个说明性示例；

图4示出用于请求处理的说明性系统；

图5示出接载位置选择过程的说明性示例；

图6示出用户影响确定过程的说明性示例；

图7示出驾驶员影响评估过程的说明性示例；

图8示出用于跨多种示例性平台的用户识别的说明性过程；

图9示出用于用户重新取向的说明性过程；

图10示出用于用户定位的说明性过程；并且

图11示出用于将用户位置添加到数字、虚拟现实(VR)或增强现实(AR)场景的说明性过程。

具体实施方式

按照需要，本文公开详细实施例；然而，应当理解，所公开的实施例仅仅是说明性的，并且可以各种形式和替代形式并入。附图不一定按比例绘制；一些特征可能会被放大或最小化以示出特定部件的细节。因此，本文所公开的具体结构细节和功能细节不应被解释为是限制性的，而是仅仅作为教导本领域技术人员以不同方式采用所要求保护的主题的代表性基础。

众所周知，GPS位置准确性本质上是有限的，并且由于诸如“城市峡谷”的影响的外部条件而可能受到进一步误差的影响。这可使得对于人为的或是自主的被约车辆来说明确地定位行人是有挑战性的。这可能导致乘车人、找到一个或多个不正确的人员的车辆之间出现更长的延迟或甚至导致乘车人在车辆在GPS已指示的位置处无法找到用户之后被滞留。在行人和车辆的视线有限的城市环境中，这甚至是一个更大的问题。

例如，行人可能正在建筑物的一侧等待，但车辆可能仅在所述车辆基于错误信号导航到的建筑物的另一侧具有视线。另外，在城市环境中重新定位车辆以定位用户将花费比郊区或乡村环境更多的时间。在这种城市环境中，在接载之前重新定位乘客可能更有意义。本说明性实施例能够利用视觉数据加上配合乘客交互来改进乘客接载交易的效率。这可以包括例如更准确地定位乘客位置并且/或者乘客和车辆协作以基于初始乘客请求位置来就有效的接载位置达成一致。

至今，已经利用了除GPS以外的一些方法来定位用户。例如，约车服务允许用户通过将别针放在用户的蜂窝电话上的地图上来定位自身。虽然这可能是对初始GPS位置的一种改进，但建议的位置可能具有有限的精度，并且与其当前的物理空间相比，用户可能对地图取向感到困惑。研究表明，即使在开放环境中，在某些天气条件下，GPS坐标也可能偏离50英尺以上，并且在城市峡谷中，GPS坐标可能偏离数百英尺。在热闹的城市环境中，即使是20或30英尺的误差也可以将用户错置在街道的错误一侧或不同的街道上，并且由于交通和道路的约束，这可以使许多接载实际上变得不可能。

在其他情况下，驾驶员和用户可互相呼叫以提供用于导航或进一步定位的口头指令。如果用户或驾驶员不熟悉位置或者不存在用户可以描述的显著地标，则这种方法会容易失败。将来，在自主车辆(AV)流行的情况下，在给定位置将可能存在较大密度的约车/共乘车/拼车用户。与现今的位置准确性相比，这将增加误报率，从而影响车队运营者控制路线优化的能力。显然，需要一种更好的方法来定位和正确识别外部环境中的用户。其次，需要一种更好的方法来基于用户周围的实时条件推荐用于会合的替代性附近位置，因为静态地图数据并不总是反映如由对乘客的周围环境进行实时或最近成像(例如，静态图像或视频)所证明的实时条件。

改进约车/共乘车/拼车的定位问题的另一个原因是使停工期的成本最小化。接载效率的提高导致利用率的提高，这是使利润率最大化的重要组成部分。降低无法定位用户的车辆的比率或减少搜索和装载用户所需的时间可以帮助所有者/运营者使利润最大化以及改进乘客体验。

根据本说明性实施例，用户装置上的应用程序将基于根据用户拍摄的成像(例如，视频)生成的三维(3D)点云来生成用户在三维空间中的准确位置。一般来说，所述应用程序将命令用户围绕其位置移动摄像机来拍摄视频，以使用运动恢复结构算法来生成3D点云。这种点云将用于生成3D空间中的更准确的位置和将被上载到云的其他重要信息，使得可向约车车辆提供与用户会合的最准确的位置。约车服务还可使用数据来建议用户与车辆会合的最有效的位置，以减少接载时间。

在一组实施例中，所述过程可使用视觉数据和地图数据来识别乘客和/或驾驶员的停车选项或接载选项。例如，存在用于停车数据的若干潜在源，例如包括车辆已成功执行接载的空间和在地图数据中标记为停车空间的空间。另外，即使未在地图数据上指定，视觉数据也可以帮助识别临时可用空间和/或接载区。

地图数据可能需要花费一些时间来包括所有可能的停车位置，因此本说明性实施例可以使用诸如其他车辆的临时对象来识别车辆当前停放的位置以及在那些区域内的空着的空间。在图5至图7中讨论了关于这个概念的更多内容。

在又一个实施例中，图像数据可以用于实时虚拟地定位用户。因为用户可以对周围环境进行成像，并且因为这种图像数据反映了谁不是用户(就人员而言)以及用户相对于立即定位对象(例如，停车标志、公交车站等)所站立的位置，所以这些实施例可以帮助驾驶员认出站立在人群内的用户。

尽管人可能在空间中四处移动，并且在他们被包括在图像中之后肯定不可能完全站立不动，但是周围人员的图像可以显露那些人员的关键特性(诸如大致身高、衣服颜色、面部特征等)。可以处理此数据以导出虚拟或增强现实环境，在所述环境中，用户由摄像机视角点表示。加上参考固定对象，例如，驾驶员的摄像机可以从不同的视角查看同一场景，或多或少地识别用户预期相对于固定对象站立的位置，并且然后基于定位和知晓谁不是用户(即，包括在成像中的人员)来“建议”人群中可能表示用户的人员。如果在接近到达时间时拍摄成像，那么周围人员的移动一般可能是有限的，并且只要用户没有明显偏离当前位置(拍摄图像的位置)，就可存在关于在何处找到用户以及谁是在紧邻中的非用户的合理预期。即使系统无法完美识别给定的用户，此数据也可以简单地帮助驾驶员知晓大概往人群内的何处看，因此改进驾驶员认出在人群中的用户的能力。

在一些实施例中，还可能要求用户包括当前的自拍照(自己的照片)，使得相对于非用户实体进行的关于用户当前的衣服和头饰的表征不会意外地用于免去考虑真实用户。例如，如果用户有一件黑色外套和一顶棕色帽子，但附近的某人也有一件黑色外套和一顶棕色帽子，那么自拍照可帮助阻止用户被(驾驶员的摄像机)意外地视为在成像期间实际上正(或曾经)站在附近的非用户。

特别是在像机场这样的许多人已经约了共乘服务的位置，找到人群中的给定用户可能是一项困难的任务，并且本说明性示例提供了一种用于改进驾驶员剔出和识别用户的能力的方法。这可以改进服务的吞吐量时间，并且总体上可以节省数百小时的时间，否则这些时间将被花费在当驾驶员到达时试图确定谁是用户。

除了使示例性过程由位于车辆中的车辆计算系统执行之外，在某些实施例中，示例性过程可由与车辆计算系统通信的计算系统执行。此类系统可包括但不限于无线装置(例如但不限于移动电话)或通过无线装置连接的远程计算系统(例如但不限于服务器)。此类系统可统称为车辆相关联计算系统(VACS)。在某些实施例中，VACS的特定部件可根据系统的特定实现方式来执行过程的特定部分。以举例而非限制的方式，如果过程具有与配对的无线装置发送或接收信息的步骤，则很可能无线装置未在执行过程的该部分，因为无线装置不会与本身“发送和接收”信息。本领域普通技术人员将理解何时将特定计算系统应用于给定解决方案是不合适的。

在本文论述的每个说明性实施例中，示出能够由计算系统执行的过程的示例性非限制性示例。关于每个过程，为了执行过程的有限的目的，执行过程的计算系统可能被配置为执行所述过程的专用处理器。所有过程不需要都完整地执行，并且被理解为可执行以实现本发明的要素的过程类型的示例。可根据需要在示例性过程中添加或移除附加步骤。

关于在附图中描述的示出说明性过程流的说明性实施例，应当注意，为了执行这些附图所示示例性方法中的一些或全部，可将通用处理器暂时启用为专用处理器。当执行提供指令以执行方法中的一些或全部步骤的代码时，可临时再将处理器用作专用处理器，直到所述方法完成时的那刻为止。在另一个示例中，在适当的程度上，根据预先配置的处理器起作用的固件可致使处理器充当为执行所述方法或其一些合理变型而提供的专用处理器。

图1示出城市环境101的说明性示例。用户可能位于位置105处，在这个示例中，所述位置105将会是不适于接载的位置。此外，由于城市峡谷对全球定位系统(GPS)的影响，用户的装置可能正在将用户位置报告为处于位置109处。例如，如果道路111是单向道路，那么行驶到位置109而未找到用户并呼叫用户的驾驶员可能无法简单地转向以接载用户。相反，驾驶员将不得不找到回到位置105的路径，这在热闹的城市中可能会在交通上花费大量时间并大大降低驾驶员赚钱的能力。此外，用户可能仅仅厌烦了等待并选择另一个乘车选项。

如将在本文更详细地讨论的，说明性过程可请求用户拍摄周围环境的简短视频。这可以响应于(例如)确定用户的视在位置是在(根据历史观察)已知具有高于预定义阈值的误差容限的环境中来进行。或者(例如)当前的天气条件可指示误差容限在历史上可能高于阈值。在另一个示例中，用户可以与装置交互以指示检测到的视在位置实际上不是用户正站立的位置。

响应于请求，用户可对周围环境进行成像或拍摄周围环境的视频。因此(例如)在图1中，用户将拍摄位置105(用户实际上正站立的位置)周围的环境的视频。然后，图像/视频处理可以用于识别相对于图像中可识别的已知固定对象的用户位置。例如，如果基于众包数据或历史数据已知并识别了雕像和建筑物特征，则在对象数据库中对两者以及仅从特定角度可见的两者的3D特性的识别可以用于确定用户与两个对象的相对位置。

如本文所讨论的，一些预处理可在用户装置上进行，并且对象匹配的其余部分可在云中进行，所述云可从用户装置接收一组预处理的图像数据。由于视频文件趋向于较大，因此在带宽和整个数据传输量为系统约束的情况下发送预处理数据可能是有利的，但是在某些系统中，在传输能力充分且允许的情况下，也可发送整个视频文件。

当所述过程已经识别实际用户位置(相对于多个已知固定对象的位置)时，过程可将检测到的GPS位置替换为用于用户装置和驾驶员/车辆装置两者的实际用户位置。如果所述过程还已经从图像数据(或基于其他数据)识别改进的接载位置，则所述过程可将该信息作为建议发送到用户装置和/或驾驶员/车辆装置。

因此(例如)所述过程可在环境101中识别：用户实际上位于位置105处；在(从用户位置可见的)107处存在表示安全接载位置的可用停车位；并且街道113和/或103是交通量较低的街道，并且相较于围绕点105的交叉路口，对接载来说更安全。这些位置中的任何一个或全部可视作替代性接载位置，并且如果用户默认前往特定位置，则可以通知驾驶员。另外，由于存在可用的实时图像数据，因此所述过程可以使用时间对象来确定(例如)107中的停车位已满或街道非常热闹，并且在后一种情况下可以推荐位置103，因为所述位置103不需要用户穿过如从实时图像数据所识别的任何热闹的街道。在其他示例中，所识别的天气和其他约束可有助于进行合适的位置确定。

图2示出用于接载请求处理的说明性过程。在这个示例中，约车服务接收201接载请求。这个请求可包括最初基于(例如)GPS坐标检测到的所检测用户位置。在存在与GPS坐标相关联的可能误差容限的情况下(例如，他们在云层之下的某一位置处、他们在城市峡谷中等)，所述过程可确定203对用户周围环境进行成像可改进用户位置的精准定位。如果误差容限足够小，则所述过程可简单地基于检测到的GPS坐标来应对205请求。

如果处理器确定图像将改进位置确定，则所述过程可请求207用户位置周围的环境的图像。这可以包括多个静态照片、宽幅全景照片、视频等。响应于请求，所述过程可接收209图像数据并处理211图像数据以确定用户位置。在至少一个示例中，此处理中的一部分在移动装置上进行，并且可以包括(例如)下面的内容。

出于定位目的，执行处理的装置可使用语义分割来(例如)对点云数据和视频数据进行滤波以去除时间变化对象(例如，人员、车辆)。所述过程还可使用运动恢复结构算法来生成所成像环境的3D点云。在确定优化的或替代性接载位置(例如，找到其中对象不存在或减少的空间)时还可考虑这些对象。

所述过程可进一步将3D点云转换成体素地图，其中可从图像数据识别关键特征。这些关键特征可用于确定相对于关键特征的用户位置，并且还可用于将对图像数据的考虑减少到相关点。所述过程还可散列关键体素特征并计算相对于特征的估计用户位置。

在这个示例中，装置可执行以上预处理并将所计算的相对位置和体素散列上载到中央服务器，所述中央服务器可使用对象数据的数据库来实际确定所查看的特征所处的位置。

数据库可以包括大量对象数据，但是搜索可以基于初始检测到的位置而限于一个区域。因此(例如)如果初始位置在位置X,Y处，并且预计的误差容限为+100英尺，那么系统可以在围绕检测到的位置具有300英尺的半径的圆内进行搜索。据推测，这将涵盖实际用户位置和从用户位置查看的多个所查看关键特征点。有效的目标是避免搜索过大的数据库部分，但同时搜索足够的部分以找到足够可用数量的关键特征来确认用户位置。

当通过来自数据库的相关性识别了关键特征的实际位置时，相对于这些关键特征的用户位置会显露实际用户位置。因此(例如)如果用户被定位成相对于建筑物和雕像，则一旦已知建筑物和雕像的实际位置，用户的相对位置就会显露用户的实际位置。

所述过程还可基于地图数据和所查看数据两者来确定实际位置是否适于接载215。即，地图数据可指示在所述位置处无停车位或停车区，并且/或者图像数据可指示交通量的存在或不存在。如果用户位置适于接载，则所述过程可使用用户位置来命令217接载。

如果用户位置不合适，则所述过程可尝试在视觉上识别219接载位置。如果不存在视觉上可识别的接载位置，则所述过程可简单地恢复到使用用户位置。另一方面，所述过程可能能够基于通过语义分割滤除的时间对象的存在或缺乏来识别适于接载的开放的停车空间和/或低交通量或低行人量区域。在这种情况下，所述过程可命令223用户移动到接载位置。当用户到达接载位置时，所述过程可确定225是否需要出于接载目的的新的图像。如果是这种情况，则所述过程可进行等待，直到车辆接近所述位置，并且然后请求新的图像(以例如确认停车空间的可用性)。如果用户已简单地移动到(例如)总体上更安全但并不取决于空间可用性的位置，则可简单地预定针对该位置的接载。

图3示出更详细地展示了图2的过程的说明性过程。在这个示例中，当用户请求301车辆时，过程再次开始。例如，这导致用户提供303接载位置，所述接载位置是检测到的用户位置。所述过程可尝试使用检测到的Wi-Fi网络305和/或GPS位置307来估计用户位置。

在估计的位置是(例如)可能相当准确的位置(例如，在郊区的家)的情况下，所述过程可简单地使用313检测到的位置作为接载位置并继续进行。另一方面，在位置可能受到不准确性(例如，恶劣天气、城市峡谷)311的影响的情况下，所述过程可请求315用户扫描周围位置。

可基于(例如)位置历史来确定用户可能需要扫描周围区域以对那些区域进行成像，所述位置历史可以包括：在估计的位置处的平均GPS不准确性；在估计的位置处接载客户的平均延迟、用户未定位在估计的位置处的比率。其他因素可包括用户的不准确性历史(用户的装置提供了不良数据)、当日时间、周中此日等。街道活动、特殊事件和其他数据源可能捕获格外热闹的街道的影响，这可能使定位用户更加困难。此数据可包括通过其他的附近用户扫描其环境获得的历史和半实时数据，以用于指示交通水平、交通流量、停车空间可用性、行人密度等。进一步的数据可包括影响位置处的GPS准确性以及Wi-Fi数据集和准确性的天气事件。

商业逻辑还可决定是否要求客户扫描环境。通过图4中的示例进行讨论，商业逻辑通常可设定关于延迟和无法找到客户的风险的上限阈值，所述上限阈值平衡了请求客户扫描他或她的位置的成本。例如，如果延迟的风险大于5分钟或无法定位客户的风险为10％，则可能出现扫描环境的请求。这个请求也可能是基于过去的客户同意或拒绝扫描其环境以进行定位。

用于查询的其他因素可包括但不限于：用户同意扫描其位置或移动到替代性接载位置的过去倾向；或高清晰度(HD)地图信息，这个信息可指示道路因素(诸如在道路的一侧或多侧缺少可用街道停车位)或其他类似的因素。

如果可要求用户移动，则建议的位置距离与接载延迟缩短和未找到乘客的风险降低之比可通过用户对移动位置的烦恼的成本来平衡。这可通过一些商业逻辑方程式来设定。例如，可能需要移动N米远的请求，以节省N/10分钟或更长的延迟。

对用户在其当前位置拍摄他或她的外部周围环境的视频/图像的请求可利用GPS、惯性测量单元(IMU)、检测到的Wi-Fi网络和所生成的伴随图像。出于生成图像的目的，电话可显示带有指令图像或动画的视觉或听觉请求，以帮助引导用户开始扫描。蜂窝电话可在扫描期间输出持续的听觉或视觉指令，以向用户更新扫描进度或提供进一步的指令。

另外，装置可经由听觉指令或经由在面向用户的屏幕上显示场景和书面或图像指令(例如，箭头)来显示推荐的平移和倾斜运动，以捕获当前场景所缺少的视角。电话可在捕获图像时向用户提供输入，以减缓其运动或装置的平移，从而避免运动模糊。这可以通过针对单向图像模糊迹象检查所得图像来实现。电话可基于扫描过程中到目前为止已捕获的内容来推荐用户在某些方向上平移或倾斜。漫游装置(例如，蜂窝电话)可以对区域进行成像，从而在用户如由加速度计所确定的那样四处移动电话时重复捕获图像，以指示平移、横摆或其他视角的变化以及用户是否正步行穿过环境。另外，随着场景的变化，电话甚至将在同一场景内捕获另外的图像，以理解环境的时间性质(行人流量、交通流量)。可替代地，可以使用视频图像。

一旦场景已被充分成像以产生3D点云，然后电话就可提供确认已捕获所需的3D场景细节来试图在空间中定位用户。电话可利用加速度计以及面向前和面向后的摄像机来确定电话的运动以获得足够的场景视角，所述运动是用户在空间中步行以及用户围绕人员移动电话的组合。

一旦获得足够的图像，所述过程就可使用IMU 317数据和图像数据319来导出数据的多个方面。例如，所述过程可使用运动恢复结构(SFM)算法321来导出用户周围的3D点云场景。

在另一方面，所述过程可使用语义分割327来导出包括各种时间对象(诸如人员和车辆)的标记场景329。还在第三方面，所述过程可在图像331中找到人员或人脸，以导出肯定不是用户的人员的组合。

可以从3D点云中滤除325根据语义分割导出的时间对象，以导出表示来自用户的位置的视角的时间稳定的标记的3D场景337。

运动恢复结构和下面的压缩成体素散列可以实时出现在移动装置上。通过实时创建增强现实3D场景，用户可判断其扫描进度(例如，拆分的窗口视图可展示“真实”视图和实时生成的增强现实视图)。另外，固定基础设施的体素转换可显示在用户的装置上，以提供关于定位的进度和质量的进一步反馈。

将通过使用语义分割对3D点云数据和视频数据进行滤波，以去除时间变化对象。时间对象(例如，车辆/行人)可用于确定用于接载的最佳替代性位置。

用于生成SFM 3D点云的图像可包括空间中的点，所述点对应于随时间变化的对象或视觉特征。例如，用户可在区域的记录中捕获人员或车辆，但是那些对象将不对应于存储在数据库等中的区域的历史映射。

这样，语义分割将用于对图像中对应于指定类别的像素进行分类。使用SFM算法投射到3D空间中的相应图像中检测到的特征点(属于随时间变化的类别，例如，汽车)可丢弃或忽略。这个过程的结果将是仅从时间稳定的特征(诸如固定基础设施、建筑物立面、树叶和其他特征)中捕获点云。这将使定位过程在局部环境变化中更加稳定。另外，固定对象的分类可稍后用于标记3D点云、体素地图以及相关的体素散列。

随时间变化的对象也可被标记和测量。它们可直接上载到中央服务器或聚集成单个统计数据(例如，开放街道停车位的百分比、行人密度)。此数据可用于确定是否可能需要替代性会合位置。

此类数据的二次使用可用于维持城市环境的相关特征的地图，所述地图可用于车辆路线规划信息或针对附近用户的稍后的请求主动建议附近的替代性会合位置。

可另外经由基于稀疏统计的滤波(诸如离群点检测、基于邻域的滤波、基于投射的滤波、拉普拉斯平滑等)来对点云进行平滑或滤波。

然后，算法可将3D点云转换成可识别关键特征的体素地图339。这个步骤的一个效果是减少每个用户传输到中央服务器的数据。通过将时间稳定的经分类的点云点转换成体素地图(以及稍后的散列化的)，所述过程可以极大地减小文件大小。

在识别人员的方面，所述过程可以定位人员相对于所识别的旁观者的位置335、341。这对(例如)帮助驾驶员、装置或车辆识别人群内的用户可能是有用的。由于人们趋向于四处移动，因此可在车辆到达之前的片刻捕获这样的图像方面，并且驾驶员或车辆可以使用不是用户的人员的图像来帮助识别人群内是用户的人员。

随后将对此进行更详细的描述，但是一般来说，所述过程可以将非用户旁观者传送343到云以便进行处理和/或传输到车辆359。此数据可以用于(例如)导航到由数据反映(并假定因此靠近用户)并由车辆查看361的人群的一部分，并且/或者例如为驾驶员提供可识别非用户实体的人群的增强现实视图并帮助驾驶员挑出用户。

回到3D点云数据，所述过程可以散列化此数据(例如，关键特征点数据)345，并将体素散列发送回到中央服务器以便进行处理。如果服务器无法使用当前关键特征体素散列来定位周围环境349，则可重复扫描过程。否则，服务器可使用HD地图和/或其他图像数据来定位关键特征。一旦已知关键特征的实际位置，用户相对于特征的位置(如基于特征的视角所确定的)将显露用户在真实世界中的位置。

如果这个位置是最佳的或适于接载353，则所述过程可以使用旁观者数据(或在车辆驶近时请求旁观者数据)来定位所述位置处的用户并帮助引导车辆尽可能靠近精确的接载地点。

如果这个位置不合适，则所述过程可以使用HD地图(由于现在精确地已知用户的位置)和/或其他数据(包括指示可用停车位的视觉图像数据)，以确定更合适的接载位置355。这可以包括更安全的位置、行人或车辆更少的位置、开放的停车空间等。这也可以与客户确认357。

当车辆到达时，所述过程可以启动滤波器以挑选出视觉上被识别的非用户(例如，在增强现实显示器中)363，并且还确定客户是否已经移动365。如果客户无法被发现或看起来已经移动(这也可以由电话加速度计数据指示)，则所述过程可以重复扫描过程。在至少一个示例中，被定位的电话处理和减小的云发送数据大小导致相当快的处理，因此从时间角度来看，即使车辆即将到达或已经到达，要求用户重新扫描并处理图像也不是不合理的。

图4示出了用于请求处理的说明性系统。这是数据可如何在说明性解决方案中使用的各种数据的实体与源之间流动的一个示例。在这个示例中，用户或乘客具有用于发起接载请求403的移动装置401。由于远程系统400可能需要改进的位置信息，因此请求通信可能需要来回通信。

当远程处理接收到请求404时，它可以确定是否需要更好的位置，并且如果需要，则命令用户对周围环境进行成像。用户可以使用移动装置来扫描周围环境的一个图像、一系列图像或视频405。此外，如本文所提到的，装置可在将图像发送回到远程服务器400之前对图像执行一些预处理。

在这个示例中，一旦服务器接收关键图像元素作为散列的数据，则服务器可以解压数据并提取407关键特征元素。在大型图像数据集402中，可能存在许多看似重复的关键特征。因此，搜索整个图像数据集可能产生许多关键特征的结果。另一方面，如果远程系统在初始投射位置周围的地区中搜索，则实际考虑的数据集可能大大减少。此外，因为虽然某些特征可能看起来重复，但是在所接收数据中识别的多个特征将通常只存在于单一位置处。例如，建筑物特征可重复，但是可能只存在一种可见地接近雕像特征的建筑物特征巧合。来自各种其他用户404、406的数据以及HD地图数据408可以用于构建大型数据集，并且数据集中的对象可以具有关键特征比较器和与其相关联的物理位置两者。物理位置可以用作对搜索的约束，以便与所提取的关键特征进行比较409。当找到匹配时，然后物理位置可以用于物理地定位与特征对应的对象411。

通过已知用户相对于对象的位置(在这种情况下，从用户装置接收)，远程系统可以通过外推相对于现已识别的物理对象位置的位置来确定实际用户位置413。这个实际位置然后可被发送回到用户以改进现场位置，以及被发送到所请求的车410。

图5示出接载位置选择过程的说明性示例。在这个示例中，在已经准确地评估用户位置之后，所述过程可尝试确定是否存在更好的接载位置。更好的位置可以包括但不限于驾驶员更易接近的位置、将明显缩短服务时间的位置、对用户/驾驶员来说更安全的位置等。

在这个说明性示例中，所述过程可确定501用户是否已经位于限定的位置处。即，如果这个位置上的误差容限仍然较高(例如，用户正在城市峡谷中使用检测到的GPS坐标)，则所述过程可进行等待，直到其他说明性实施例等已经用于准确定位用户真正的当前位置。

如果已验证用户的位置，则所述过程可确定503当前位置是否包括已知的接载位置(例如，指定的或安全的接载区)或在已知的接载位置附近，所述已知的接载位置(例如)可能是不断清空等待交通使得乘车服务车辆可以接载用户的位置。如果这样的位置在附近，或者如果用户的当前位置是这样的位置，则所述过程可命令用户行进到接载位置或在为用户当前位置的已指定接载位置处等待。

另一方面，如果当前位置没有被预定义为安全或已知的接载位置，则所述过程可请求507扫描停车位置。这可以是用于定位用户的原始扫描的重新发送，或者这可以是(例如)可包括街道高度时间对象(例如，人员和车辆)的更好视角的新的扫描。例如，初始扫描可能已对准建筑物和地标特征的更高处，并且新的扫描可能对准视线高度以更好地识别停车空间。从根本上说，图像处理技术仍适用于剔出时间对象(诸如车辆和人员)，但是在这种情况下，不是可像用户位置实施例中的情况那样被丢弃，这些时间对象可以用于识别(例如)车辆停放的位置、人员聚集或不聚集的位置、出现停车空位的位置、存在高交通量的位置等。这些和类似的因素可以帮助进行关于安全选择乘客接载位置的决策。

在这个示例中，所述过程可接收509已扫描的图像，所述已扫描的图像在许多情况下将已经由用户的移动装置对其执行了一些预处理。在这个示例中，例如，所述过程可接收IMU数据、时间对象(车辆或车辆和人员)以及一个或多个关键特征标识符。关键特征标识符可被包括以帮助识别相对于关键特征的停车空间位置，但是IMU数据和时间车辆数据也可能足以识别停车位。另外，在一些示例中，可在驾驶员快要到达时执行此第二扫描，以确保所识别的停车空间实际上仍空闲的可能性。

在又一些实施例中，提出请求的服务器可通过诸如文本、语音或视觉引导的装置指令来要求用户确保包括已知或有可能包括可能的停车位的某些区域。这些区域可以包括先前成功执行接载(并由数据库指出)的空间或地图数据指示应该存在停车位的空间。

远程服务器可处理图像以物理地定位停车空间，这可以包括(例如)识别基于地图数据的停车空间，并且确认在那些空间内没有车辆，或者处理图像以识别513停放车辆之间的空位。如果目前未识别出停车空间，则所述过程可重复515直到识别出停车位。

在其他示例中，所述过程可应对图像以识别高/低交通量区域和高/低行人量区域。此信息可以用于(例如)将人员放置在存在有限的人群的位置中(以使个体识别更容易)，确保不要求人员穿过拥挤的交通，如果可以避免的话，确保人员正在人群附近等待(如果安全是个问题)等。

如果过程能够识别适于停车的区域，则所述过程可进一步识别517区域内的空闲空间。同样，这可以通过图像数据严格地进行，或者这可使用图像数据和地图数据的组合、在图像数据中寻找地图数据指示应该存在停车位的空位来进行。这类图像处理还可用于识别停车的临时障碍，诸如建筑工地或被绳子隔开的区域，其中地图可能指示停车位可用。这可以帮助确保用户不被指引到不安全或不合适的接载区域。

除了识别潜在空间之外，针对一个或多个空间(或直到确定合适的空间)，所述过程可识别521空间会对用户产生的影响，并且识别523空间会对驾驶员产生的影响。这可以用于确定给定的空间因与空间的即时可用性无关多种原因而不适合，所述多种原因诸如要求用户在雨中步行、在晚间穿过热闹的街道或要求驾驶员绕远路到达位置。如果对每个实体(或提供商希望容纳的每个实体)的影响是合适的，则所述过程可以选择519低影响点，并命令用户和驾驶员在该位置处会合。

图6示出用户影响确定过程的说明性示例。在这个示例中，所述过程考虑行进到新的位置对用户的影响。即，假设用户通过在当前位置处等待已具有最小的影响，所述过程确定通过以下事件将出现或可能出现的增大的影响，诸如但不限于交叉口交通、行进距离、持续存在的气候等、危险的步行条件等。

在这个示例中，所述过程可利用601准确确定的用户位置作为用户的当前位置，并且然后确定603到达建议的用户位置的一条或多条可能的步行路径。一旦确定了一条或多条路径，所述过程就可以开始计算加权影响。某些约束(例如，从不需要用户在过多的降水中行进超过100英尺)也可以是限制因素，并且可以用于约束合适的步行路径或停止空间(车辆停止的地方)的选择。

在这个示例中，仅为了说明起见，所述过程确定605当前(或预计在到达时)是否有恶劣天气。这可以包括下雪或下雨，但也可以包括寒冷、炎热、结冰等条件。例如，如果用户不得不沿陡峭的山体往下走，即使没有降水，在结冰条件下需要这样做可能也是非常不可取的。另一方面，如果用户不得不沿该同一山体往上走，则热或湿度可能是约束。

在这个示例中，作为可能的减轻因素的实例，所述过程还确定607是否存在针对所提议的步行路径中的一些或全部的覆盖物。这可以用作减轻因素，并且可从历史数据、地图数据或图像数据或其组合来确定。覆盖物可以包括全覆盖物(和室内路径)和上方覆盖物。可以应用609任何减轻措施(例如，在步行路径很大程度上不受天气影响的区域)，并且然后所述过程可以对天气对用户的影响进行加权611。例如，如果步行路径为400英尺，并且约束为在雨中不超过100英尺，并且正在下雨，但路径中的350英尺是在室内的，那么所述过程可以减轻几乎50英尺的天气的影响。在最大步行距离上可能存在仍然满足的界限，但是天气仅影响步行路径的一部分并因此可以像这样处理。

其他示例包括但不限于沿路径的街道交叉口613。如果用户不得不穿过一个或多个街道，则所述过程可以(例如，根据图像数据)确定交通量615，并且还可以确定是否存在可用的交叉口617。这也可以根据图像数据或根据指示交叉口的地图数据确定。实时交通数据可以用于确定交通量，但是就用户的即时位置以及用户在穿过街道时不得不面对什么而言，图像数据可能更加实时。如果存在交通量但是不存在交叉口，则所述过程(例如)可增加619风险因素或可以将交叉口完全排除在考虑之外。如果存在交叉路口，则所述过程可以减轻交通的影响621，并且再次，所述过程可以对交叉口对用户的影响进行加权623。这种考虑和减轻过程可以继续进行，直到已经考虑了所有合适的用户影响因素。

图7示出驾驶员影响评估过程的说明性示例。类似于图6的乘客影响过程，这个说明性示例展示了决策引擎可如何考虑对驾驶员的最终影响。

在这个示例中，所述过程考虑了一个或多个最终潜在的停止点。所考虑的初始停止点可能是用户位置，可能是通过查看用户生成的图像而选定的点，或者可能是考虑到用户影响而选定的一个或多个点，使得一个或多个点反映从用户角度来看可接受的点。无论所述过程是首先考虑驾驶员影响，首先考虑用户影响还是同时考虑两者，所述过程都能够找到在针对任一方的约束、仅针对一方的约束或针对一方或双方的最小化约束集内适合的点(例如，通过比较每个可能的停止空间的用户+驾驶员加权影响来最小化总影响)。

在这个示例中，所述过程接收701乘客位置。这个位置可以是乘客的实际位置和/或它可以包括一个或多个可能的乘客重新定位场地(例如，停止地点)。所述过程可以从接收点中选择703一个或多个接收到的潜在停止地点，或者使用实际乘客位置(以及乘客图像数据和/或地图数据)来选择点以考虑作为可能的停止地点。

在一些示例中，对于每个停止地点，或者在找到合适的停止地点之前，所述过程可考虑705相对于驾驶员的当前位置以及相对于在乘客的当前位置处接载乘客在所述地点停止的影响。换句话说，如果不进行任何更改，驾驶员将必定不得不行进到乘客的当前位置，因此影响是新地点相对于乘客当前位置或者新地点相对于优选或优化的乘客位置的差异(根据时间、燃料、安全性等)角度。

如果目标是仅最小化对乘客的影响，那么唯一的考虑因素可能是针对乘客的最佳地点是否不超过任何驾驶员约束(例如，原本5分钟的接载需要绕路20分钟)。另一方面，如果目标是为双方优化接载或至少在一些程度上考虑对驾驶员的影响，则所述过程可考虑影响增加因素，诸如但不限于转弯、原路返回、最大停止时间等。

如果例如所述过程需要一个或多个转弯705，这可能增加另外的行进时间和/或距离(例如，驾驶员和乘客当前均在同一条街道上，但是更安全的接载地点在街道对面)，所述过程可增加期望消耗的任何另外的燃料707和/或由于移动位置而可能经历的另外的延迟709。这种考虑还可以(例如)通过考虑某一位置来以有利于驾驶员的方式进行加权，所述位置需要更少的行进时间或更少的燃料来实现，但然后可能需要乘客在某种程度上改变位置。

所述过程可以将增加的/减少的时间/成本作为因素计入并对由行程所需的另外的转弯(或更少的转弯)所导致的影响进行加权711。这些将主要包括额外的左转弯，在美国，这通常需要更长的等待时间，但是可以将增加行进时间的任何转弯或减少行进时间的任何对转弯的阻止作为因素计入。

所述过程可以进一步考虑驾驶员是否必须实际上行进穿过713替代性接载地点(例如，另一个位置或当前乘客位置)，并且然后沿环路返回并沿原路返回。由于分开的道路、交通、建筑物和单向街道，将目的地移动为横穿道路可能对驾驶员具有显著的影响，即使其对乘客具有最小的行进影响。因此，所述过程可以考虑715所需的原路返回量，并且然后可以相应地对此影响进行加权717。与转弯一样，这种计算也可以有利于驾驶员(例如，移动位置需要更少而不是更多的原路返回)，因此加权可以在给定计算中反映这一点。

在再一个示例中，所述过程可考虑新的位置是否表示合法的停止位置。尽管驾驶员在非停车位置处接载乘客可能不一定是违法的，但驾驶员在给定位置处等待超过一定的时间量可能是违法的或不鼓励的。这可以是对系统的字面约束(例如，如果驾驶员将在5分钟内到达，则乘客不得不步行10分钟，但合法的等待时间是2分钟，停车可能是不合适的)，或者这可以是产生影响的约束。如果约束不是法律上禁止的，但不像合法停车空间那样存在可用的过量等待时间，则所述过程可以考虑与所提议的停止点相关联的最大停止时间721(通过地图数据知晓或历史上观察到的)，并且可以对这会对整个系统产生的影响进行加权723。例如，这可以是风险约束，与考虑了额外燃料或行进时间的成本约束相反，这权衡了驾驶员将被迫移动的可能性。在成本约束的情况下，系统可寻求最小化成本或将总加权成本保持为低于阈值。在风险约束的情况下，系统可寻求最小化风险或将总风险保持为低于阈值。变量的聚合也可能是有用的，例如，根据时间、行进和燃料，有33％的可能性会要求驾驶员从接载出发成本为$3的地点移动，并且相对于成本为$5的地点有0％的可能性，这将是$3行进空间的替代方案，但是如果驾驶员被迫移动，则这需要从$3行进空间进行额外$3的行进。因此，有100％的可能性在行进中花费$5或有66％的可能性在行进中花费$3+有33％的可能性在行进中花费$6($4的预期成本)，这使移动的风险是值得的。另一方面，如果有5％的可能性使驾驶员由于等待太长时间还将收到$100的罚单，则驾驶员最好出发到$5的行进空间，假定在对乘客的影响方面计算是乘客不可知的。

这些和类似的考虑因素可以用于在用户成像的辅助下识别一个或多个优化的停车空间，并在选择当前用户位置的替代方案作为推荐空间之前，考虑那些空间对乘客和驾驶员的影响。

图8示出用于跨多种示例性平台的用户识别的说明性过程。在这个示例中，存在执行示例性过程的若干平台，但是应当理解，可以根据需要或适当地在过程中所涉及的其他平台上执行合适的对应过程。在这个示例中，存在用户电话800、云服务器802和驾驶员电话804。

在这个示例中，用户电话接收801扫描周围环境的请求。这可能是尝试确定用户位置的初始请求的一部分，但也可能是在车辆驶近时再次接收到的，以在车辆到达之前限制局部场景的变化。响应于请求，用户可扫描803周围环境。这可能是比先前的扫描更加局部的扫描，集中于附近的对象和/或附近的人员，因为图像可用于将用户(作为焦点)从局部环境中挑出来。

一旦已经完成局部成像，就可在本地装置上做出任何预处理805。这可以包括与先前所讨论的类似的步骤或被设计为提取和压缩关键图像元素以便传送到服务器的其他类似预处理。由于没有必要对必要的关键特征进行比较，因此电话本身可能能够将成像转换成减少的元素的场景，这可用于传送和识别非用户元素，诸如局部对象和非用户实体。如果带宽和/或传送时间足够，则也可以发送整个未经处理的图像，正如先前实施例的情况一样。

在这个示例中，电话尝试确定807是否存在局部固定对象。这可以是(例如)树、消防栓、公交车站、街道标志、门、商店橱窗等。在一些示例中，系统可能需要已知高度或大小的对象或甚至对象的完整自顶向下视图，使得可以基于已知量计算用户距对象的距离和/或角度。在其他情况下，可使用其他高度或距离计算，因此允许使用诸如树的对象。如果没有合适的局部固定对象可用于相对位置确定，则在这个示例中，所述过程可提供809关于应当包括什么的推荐(例如，“请包括街道标志、灯或街道特征”)，并且然后用户可重新扫描图像。另外，在其他实施例中，可不使用或不需要局部对象，并且因此可放弃这个步骤。在那些情况下，可相对于另外的对象或者简单地相对于其他局部行人来定位用户。

然后，所述过程将信息发送811到云，其中云802从用户装置接收815信息。如果需要，在这个示例中，云可以创建817场景的渲染以供驾驶员使用。所述过程可以插入819局部对象的渲染或表示。包括对象的这个场景可以由驾驶员查看，并且还可包括821相对于局部对象放置的乘客的表示或图像。因此，即使场景是虚拟渲染，查看场景的驾驶员也将能够了解用户可能相对于对象定位的位置。

系统还可以将接载指令发送823到驾驶员，所述接载指令包括任何可视数据或渲染825。接载指令可能是可听的或视觉上的，诸如读取为“乘客位于公交车站的左侧六英尺处”，“乘客最近站在穿着蓝色外套的人和戴着红色帽子的人旁边”或“乘客正站在树的左侧以及穿着蓝色衬衫的人的右侧”的文本。渲染可显示从发送到服务器的扫描数据重新创建或由数字等效物复制的对象，所述数字等效物可能是对象的通用形式(例如，预先设计的树或停车标志)。

驾驶员接收827指令和/或场景，并且确定829车辆是否已经到达或者车辆/装置摄像机是否可以看到位置。一旦摄像机可以看到位置，所述过程就尝试找到831对象。摄像机将从与用户不同的视角查看对象，但是基于车辆、用户的位置以及通过用户对场景的扫描中知晓的数据，车辆应当能够确定图像中的哪个对象是用户周围的或附近的同样的一个对象(或多个对象)。

所述过程可捕获833来自车辆的视角并且包括对象的场景，并且然后尝试在场景内投射835用户的位置。因此(例如)如果车辆正面查看公交车站，并且用户已被用户的装置或服务器数字地定位在公交车站西侧六英尺处，则驾驶员的车辆/装置摄像机可在所捕获的场景中的公交车站西侧六英尺处放置标记，或者可选择在公交车站西侧约六英尺处的一个或多个人员作为候选乘客。

另外，在这个示例中，所述过程可具有关于一个或多个非用户实体(例如，旁观者)、同样从用户成像中获得的信息。使用这个数据，所述过程可以基于数据剔出837一些或全部非用户实体。系统可以在非用户实体上放置增强现实标记，在建议的可能用户之上或上方放置标记839，或者以其他方式突出显示或识别场景中的位于预期用户将定位的位置的候选用户，因此改进驾驶员快速定位用户的能力。如果指令是可听见的，则任何指令也可以被显示841或被播放。

图9示出用于用户重新取向的说明性过程。在这个示例中，所述过程可确定用户已经在局部场景内移动，并且因此可请求新的局部成像集。例如，装置可以使用车载传感器来确定901自用户对场景进行成像以来装置是否已经移动超过一英尺或两英尺(或任何其他预定义距离)。如果移动高于阈值903，则所述过程还可以确定905车辆是否即将到达。

由于用户可继续移动直到车辆即将到达，所以在车辆距离在某个阈值时间或距离之内之前，所述过程可能不需要场景的图像。一旦车辆已经到达，所述过程可请求907新的扫描。另外，在这个示例中，所述过程可基于用户扫描显示909先前查看过的一个或多个对象，以允许用户确保在新的扫描中重新捕获同一对象。这可以使在数字场景中重新定位用户更加容易，因为先前对对象的参考是已知的。如果用户已仅相对于对象移动，并且没有其他信息要包括，则这也可能允许新的数据的有限发送，然后可能不一定实际上重新发送任何图像数据，而是只发送有关用户相对于一个或多个对象的新的位置的事实数据。

图10示出用于用户定位的说明性过程。在这个示例中，所述过程剔出1001用户图像内的一个或多个对象。这些可能是具有已知高度的对象(例如，街道标志，消防栓等)，也可以是具有不同高度的对象(例如树)。如果已知对象的高度，则所述过程可能能够使用几何结构来计算1003从用户到对象的距离。如果对象的高度是任意的，或者对象在场景内不完全可见(例如，正好紧邻用户的80英尺高的树将不可能完全包括在场景中)，则所述过程可仍然能够估计距对象的距离并且/或者确定相对于对象的相对用户位置。针对在用户的预定义邻近范围内的任何对象(例如，驾驶员可用作参考点来找到用户的那些对象)1005，所述过程可将对象以数字数据集的形式放置在与用户的相对位置中。因此，如果存在多个局部对象，则所述过程可知晓用户相对于每个对象的位置，并且这可使当驾驶员达到时更加容易找到精确的用户位置并且/或者使用多个参考点更加容易命令驾驶员在何处寻找用户。然而，在这个特定示例中，所述过程尝试通过从场景中选择对象来相对于单个对象定位用户，直到对象和用户位置相对可计算或者当没有对象剩余时1009，所述过程可得出无可用的对象的结论1011。

后者结论可以致使所述过程请求重新扫描场景以试图找到对象，或者系统可以依靠其他因素(诸如局部非用户实体)来帮助确定用户是谁。

图11示出用于将用户位置添加到数字、虚拟现实(VR)或增强现实(AR)场景的说明性过程。在这个说明性示例中，系统可尝试在VR、3D、2D或AR场景中渲染一个或多个局部对象和/或人员。可以由驾驶员使用这个场景以找到用户，并且甚至可以由用户/乘客使用这个场景以确保人员在车辆到达时保持站立在适当的位置中。

在这个示例中，所述过程可使用由用户拍摄的图像来检测对象，并且所述过程可接收1101该对象的相对位置(例如，停车标志沿东南方向在用户左侧十一英尺处)。在这个示例中已知用户的位置的过程可相对于用户位置将对象或对象标记放置1103在数字场景中。

所述过程还可使用已知的图像特性或对象数据库来识别1105对象。一旦被识别，就可以将对象的数字代理1107添加到场景的渲染中。这可以允许将对象的过分简单化版本添加到数字场景中，从而可以使处理所述版本更加快速。在一些示例中，所述过程还可尝试确定1109对象是否存在于当前的地图数据内。即，地图数据可能不包括每个停车标志、消防栓、公交车站等，但是如果检测这些固定对象的过程可以将对象缓慢地添加到数据中，那么那些对象的真实位置就可以变得已知，并且这个信息可以更好地用于定位用户。

如果对象不在地图数据中，则所述过程可将对象添加1111到地图数据中。这可能涉及关于对象被物理定位的位置的猜测，但是在基于多个用户(并基于在车辆到达时进一步被车辆看到的对象)的猜测的几次迭代的情况下，应当有可能相当快地获得关于对象位于何处的极佳判断。

如果对象已经在地图数据中，并且如果系统已经确认了对象的位置，使得无需使用任何另外的扫描来改进所述位置，则所述过程可使用对象的位置和所述对象关于用户的相对位置，以改进对用户位置的当前理解1113。

通过使用通过对视觉图像的滤波可识别的临时对象(诸如行人和车辆)，本说明性实施例可以改进驾驶员对人群中的哪个人是用户以及用户相对于其他可识别人员和/或相对于紧邻乘客的对象站立的位置的理解。这可以改进接载时间、乘客识别和整个系统吞吐量。本文所描述的新颖的、不常见的且非典型的示例和概念展示了可通过使用那些示例、概念等实现的潜在改进。

虽然上文描述了示例性实施例，但并不意图使这些实施例描述本发明的所有可能形式。相反，本说明书中所使用的措词是描述性而非限制性的措词，并且应当理解，可在不脱离本发明的精神和范围的情况下做出各种改变。另外，各种实现实施例的特征可以逻辑方式组合以根据情形产生本文所描述实施例的合适的变型。

根据本发明，一种系统包括：处理器，所述处理器被配置为：接收由用户装置捕获的对用户周围的环境进行的成像；识别所述图像中的多个非用户实体；识别相对于所述非用户实体的用户位置；生成相对于所述非用户实体的所述用户位置的数字表示；并且将所述数字表示传送到由所述用户请求的车辆。

根据一个实施例，所述成像包括视频。

根据一个实施例，所述成像包括一个或多个静止图像。

根据一个实施例，相对于所述非用户实体的所述用户位置包括距所述非用户实体的距离。

根据一个实施例，相对于所述非用户实体的所述用户位置包括相对于所述非用户实体的基本方向。

根据一个实施例，被传送到所述车辆的所述数字表示包括识别相对于所述非用户实体的所述用户位置的语音指令。

根据一个实施例，被传送到所述车辆的所述数字表示包括所述非用户实体的视觉表示。

根据一个实施例，所述视觉表示包括用户表示，所述用户表示放置在基于相对于所述非用户实体的视觉表示的所述用户位置确定的位置处。

根据本发明，一种方法包括：接收由用户装置捕获的对用户周围的环境进行的成像；识别被确定为在用户位置的预定义距离内的对象，所述确定是根据所述成像确定的；识别相对于所述对象的用户位置；生成相对于所述对象的所述用户位置的数字表示；以及将所述数字表示传送到由所述用户请求的车辆。

根据一个实施例，所述成像包括视频。

根据一个实施例，所述成像包括一个或多个静止图像。

根据一个实施例，相对于所述对象的所述用户位置包括距所述对象的距离。

根据一个实施例，相对于所述对象的所述用户位置包括相对于所述对象的基本方向。

根据一个实施例，被传送到所述车辆的所述数字表示包括识别相对于所述对象的所述用户位置的语音指令。

根据一个实施例，被传送到所述车辆的所述数字表示包括所述对象的视觉表示。

根据一个实施例，所述视觉表示包括用户表示，所述用户表示放置在基于相对于所述对象的所述视觉表示的所述用户位置确定的位置处。

根据本发明，一种方法包括：在车辆处接收接载位置的数字表示，其包括至少一个非用户实体或对象的数字表示；从车辆角度查看场景，所述场景包括等效于所述非用户实体或对象的真实世界；用可能的用户数字指示器示出表示实时真实世界成像的所查看的场景，所述用户数字指示器指示在相对于基于包括在所述数字表示中的位置数据确定的所述真实世界等效物的位置处的包括在其中的乘客，指示相对于所述非用户实体或对象的乘客位置。

根据一个实施例，所述示出所述场景包括示出包括在其中的所述非用户实体或对象的所述数字表示。

根据一个实施例，上述发明的进一步特征在于描述相对于所述非用户实体或对象的乘客位置的指令。

根据一个实施例，所述数字表示是从所述乘客的角度从乘客装置所捕获的用户成像中导出的。

Claims (15)

1.一种系统，其包括：

处理器，所述处理器被配置为：

接收由用户装置捕获的对用户周围的环境进行的成像；

识别所述图像中的多个非用户实体；

识别相对于所述非用户实体的用户位置；

生成相对于所述非用户实体的所述用户位置的数字表示；并且

将所述数字表示传送到由所述用户请求的车辆。

2.如权利要求1所述的系统，其中所述成像包括视频。

3.如权利要求1所述的系统，其中所述成像包括一个或多个静止图像。

4.如权利要求1所述的系统，其中相对于所述非用户实体的所述用户位置包括距所述非用户实体的距离。

5.如权利要求1所述的系统，其中相对于所述非用户实体的所述用户位置包括相对于所述非用户实体的基本方向。

6.如权利要求1所述的系统，其中被传送到所述车辆的所述数字表示包括识别相对于所述非用户实体的所述用户位置的语音指令。

7.如权利要求1所述的系统，其中被传送到所述车辆的所述数字表示包括所述非用户实体的视觉表示。

8.如权利要求7所述的系统，其中所述视觉表示包括用户表示，所述用户表示放置在基于相对于所述非用户实体的视觉表示的所述用户位置确定的位置处。

9.一种方法，其包括：

接收由用户装置捕获的对用户周围的环境进行的成像；

识别被确定为在用户位置的预定义距离内的对象，所述确定是根据所述成像确定的；

识别相对于所述对象的用户位置；

生成相对于所述对象的所述用户位置的数字表示；以及

将所述数字表示传送到由所述用户请求的车辆。

10.如权利要求9所述的方法，其中所述成像包括视频。

11.如权利要求9所述的方法，其中所述成像包括一个或多个静止图像。

12.如权利要求9所述的方法，其中相对于所述对象的所述用户位置包括距所述对象的距离。

13.如权利要求9所述的方法，其中相对于所述对象的所述用户位置包括相对于所述对象的基本方向。

14.如权利要求9所述的方法，其中被传送到所述车辆的所述数字表示包括识别相对于所述对象或所述对象的视觉表示的所述用户位置的语音指令。

15.如权利要求14所述的方法，其中所述视觉表示包括用户表示，所述用户表示放置在基于相对于所述对象的所述视觉表示的所述用户位置确定的位置处。

Images