CN109649270B - 用于车辆乘客的实时分析和增强路径预测 - Google Patents

Abstract

一种用于车辆乘客的增强投影的方法包括感测乘客在下客区内或即将进入下客区，以及感测下客区内的一个或多个静态障碍物。该方法进一步包括利用安装在车辆上的投影仪突出显示至少一个静态障碍物。

Description

用于车辆乘客的实时分析和增强路径预测

引言

本公开总体上涉及客车，其包括常规的和自主车辆。具体地，本公开涉及有乘客离开或进入车辆的车辆。

发明内容

提供了一种用于车辆乘客的增强投影的方法。该方法包括感测乘客在下客区内，并且感测下客区内的一个或多个静态障碍物。该方法进一步包括利用安装在车辆上的投影仪来突出显示静态障碍物。另外，该方法可以包括感测乘客即将进入下客区。

在一些配置中，该方法可以感测下客区内的一个或多个动态障碍物，并且可以利用安装在车辆上的投影仪突出显示感测到的动态障碍物。该方法可以确定在下客区内感测到的动态障碍物的预测路径，并且利用安装在车辆上的投影仪突出显示动态障碍物的预测路径。

在一些配置中，该方法可以确定并预测乘客的建议路径。建议路径避开了静态障碍物。建议路径还可以避开动态障碍物的预测路径。

在一些配置中，该方法可以感测乘客与下客区域内的一个或多个静态或动态障碍物的接近度。该方法可以具有低强度投影和高强度投影，使得当乘客靠近静态或动态障碍物中的至少一个时使用高强度投影。

在一些配置中，该方法可以将第一严重程度级别分配给第一静态物体，使得突出显示静态障碍物包括第一严重程度级别的第一投影类型。该方法还可以将第二严重程度级别分配给第二物体，使得突出显示静态障碍物包括第二严重程度级别的第二投影类型，其与第一投影类型不同。感测可以是二维或三维的。

在一些配置中，该方法可以进一步包括感测乘客在下客区内的位置，并且确定乘客与一个或多个静态障碍物的接近度。该方法可以将确定的乘客接近度与最小距离进行比较，并且当乘客与一个静态障碍物相距小于最小距离时可以发出各种音频警报中的一个。

还提供了一种用于来自车辆的增强投影的设备。该设备包括一个或多个传感器，其被配置为确定乘客是否在下客区内，并且确定一个或多个静态障碍物在下客区内的位置。该设备进一步包括投影仪，其被配置为突出显示下客区内的至少一个感测到的静态障碍物。

通过以下对用于执行所公开的结构、方法或这两者的一些最佳模式和其它配置的详细描述，本主题的上述特征和优点以及其它特征和优点是显而易见的。

附图说明

图1是扫描下客区的车辆的示意等距视图。

图2是突出显示下客区内的静态障碍物的车辆的示意等距视图。

图3是突出显示推荐路径并且为乘客提供接近度警报的车辆的示意等距视图。

图4是突出显示动态障碍物和动态障碍物的预测路径的车辆的示意等距视图。

图5是说明用于车辆(诸如图1到4中所示的车辆)的乘客的增强投影的一种算法或方法的示意流程图。

具体实施方式

在附图中，在几个附图中，相同的附图标记尽可能对应于相同或类似的部件。图1到4示出了用于运输一个或多个乘客12(在图3中示出)的车辆10的示意图。车辆10可以是出租车，可以是共乘车辆，或者可以是私人操作的。另外，车辆10可以是自主的、常规的或其组合。车辆10被配置为对乘客12提供增强投影。

虽然可关于具体应用或行业描述本公开，但是本领域技术人员将认识到本公开的更广泛实用性。本领域一般技术人员将认识到，诸如“上面”、“下面”、“向上”、“向下”等术语是描述性地用于图式，而并不表示对如由所附权利要求书限定的本公开的范围的限制。诸如“第一”或“第二”的任何数字标记仅是说明性的，而决不旨在限制本公开的范围。

一个图中所示的特征可以与任何图中所示的特征组合、为该特征取代或由该特征修改。除非另有说明，否则没有特征、元件或限制与任何其它特征、元件或限制互斥。另外，没有特征、元件或限制是操作所绝对需要的。图中所示的任何具体配置仅是说明性的且所示的具体配置并不限制权利要求书或说明书。

当在本文中使用时，该术语大致上是指理想地完美或完整的关系，但是制造现实阻止绝对完美。因此，大致上表示与完美的典型差异。例如，如果高度A大致上等于高度B，则优选地这两个高度都是100.0％等同，但是制造现实可能导致距离与这种完美不同。技术人员将会认识到可接受的差异量。

例如，对于实质等同，覆盖范围、区域或距离通常可以在完美的10％之内。类似地，诸如平行或垂直等相对对齐通常可以认为在5％以内。

在附图中，车辆10被示为在邻近人行道16的街道14上。在这种情况下，人行道16在路缘18处与街道14汇合。诸如但不限于当车辆10将乘客12在下客区20中放下或者从下客区20中搭乘乘客12时，可能会发生所说明的情况。

下客区20可以被限定为车辆10周围的环境的范围，在该环境中，车辆或其驾驶员正在观察或负责乘客12。例如但不限于，下客区20可以延伸几米到车辆10的前部和后部，并且从车辆10的任一侧延伸到车辆10的操作区域中的人行道16的标准或预期深度或宽度。

因此，车辆10被配置为感测乘客12在下客区20内，或者诸如当乘客12离开车辆10时即将进入下客区20。如本文所使用的，如果预期乘客12在例如但不限于接下来的五到十秒内进入下客区20，则可以认为乘客12即将进入下客区20。车辆10进一步被配置为感测下客区20内的一个或多个障碍物。例如，图1说明了两个静态障碍物，第一障碍物22，其是水坑或充水坑洞，以及第二障碍物24，其是消防栓。图中所示的障碍物是在街道14、人行道16或下客区20的周围区域上可能出现的许多类型的障碍物的示例。

车辆10被配置为利用一个或多个扫描仪或传感器30感测障碍物。例如但不限于，传感器30可以包括雷达或光学识别能力，并且可以具有二维或三维感测能力。

车辆10可以包括若干部件，其被配置为帮助乘客12识别或认识障碍物，诸如第一障碍物22和第二障碍物24。例如，车辆10具有安装在其车顶上的投影条或发光条32。来自发光条32的增强投影可以帮助乘客12识别下客区20内的障碍物，如本文所述。

另外，扬声器34安装在下方并朝向车辆10的前部。如本文所述，扬声器34可以用于警告乘客12接近物体。声音也可以由车辆10的其它部件(诸如喇叭或内部娱乐或信息系统)产生。

注意，部件在所示的车辆10上的位置不是限制性的，使得传感器30、发光条32以及扬声器34可以位于其它位置，并且也可能从车辆10外部不可见或者可以隐藏在车辆10内。另外，提供这些部件以说明由车辆10相对于乘客12和下客区20执行的功能。这些功能可以结合到单个部件或系统中，或者可以由未示出但将由技术人员认识到的附加部件来执行。除了感测到乘客12在下客区20内之外，车辆10还可以被配置为感测乘客12即将进入下客区20。

如图1中所示，传感器30扫描或扫过下客区20以识别静态以及动态障碍物，诸如第一障碍物22和第二障碍物24。车辆10包括控制器、计算机或控制系统，其具有足够多存储器和处理能力以与本文所述的部件和其等同物交互并且执行本文所述的部件和其等同物的功能和其等同物。除了合理的等同物或修改之外，技术人员将认识到可以用于执行本文描述的任何和所有功能的多种控制器架构。

如图2中所说明，为了帮助乘客12离开或进入，车辆10被配置为利用安装在车辆10上的投影仪(诸如发光条32)来突出显示静态障碍物，诸如第一障碍物22和第二障碍物24。车辆10和其处理或控制能力可以确定任何感测到的物体的显著性。另外，车辆10可以将第一显著性级别分配给一个静态物体(诸如第一障碍物22)，并且可以将第二显著性级别分配给另一个静态物体，诸如第二障碍物24。另外，车辆10可以基于重要性来改变其突出显示物体的方式。

例如，基于将第一显著性级别分配给第一障碍物22，车辆10可以利用第一投影类型42突出显示第一障碍物22。类似地，基于将第二显著性级别分配给第二障碍物24，车辆10可以利用第二投影类型44突出显示第二障碍物24，该第二投影类型与第一投影类型42不同。

重要性确定可以基于例如但不限于乘客12避开特定障碍物或被警告有特定障碍物的感知需要。在图2中所示的示例性情况中，第二障碍物24是消防栓，其可以被感知为乘客12相对容易看到和认识到撞击第二障碍物24的可能隐患。然而，第一障碍物22可以是被水坑覆盖或隐藏的深坑洞。因此，乘客12可能没有意识到第一障碍物22存在重大隐患或问题。

在确定障碍物的显著性之后，车辆10可以使用(例如但不限于)第一投影类型42的不同颜色或更亮的光图案来向乘客12警告有第一障碍物22。另外，闪光灯或移动灯可以用于向乘客12警告不同的显著性级别。

如图2中所示，乘客12尚未进入下客区20。因此，当乘客12准备离开车辆10时，车辆10可以突出显示第一障碍物22和第二障碍物24。注意，车辆10可以认识到具有相同显著性的多个物体，使得它可以仅使用第二投影类型44，其中在第二显著性级别下确定多个物体。

注意，车辆10可以感测并突出显示其它障碍物类型。例如但不限于，车辆10的许多配置还将利用发光条32突出显示路缘18的位置。即使乘客12可能意识到路缘18的存在，特别是在低光条件下突出显示路缘18仍然可能是有益的。

车辆10的控制系统可以使用传感器来识别将不被突出显示的水平结构，诸如街道14或人行道16。替代地，车辆10的控制系统可以被配置为认识到可能在下客区20内的特定类型的物体，然后突出显示控制系统确定异常或应当向乘客12警告关于其的任何物体。因此，控制系统可以实时主动地确定第一障碍物22和第二障碍物24是什么，或者可以简单地确定它们不是水平物体。

另外，当车辆10由驾驶员操纵而不是完全自主时，本文描述的功能还可以用于在离开或进入车辆时帮助驾驶员。另外，在车辆10是自主车辆的情况下，本文描述的功能可以用于帮助维护人员照顾车辆10或者帮助那些人将物体(诸如食物或包裹)放置到车辆10中。

图3示出了车辆10可以使用来帮助在下客区20内说明的乘客12的附加特征或功能。车辆10可以被配置为对乘客12确定和预测推荐或建议路径46。建议路径46被配置为最可能或可能地根据处理器或控制系统来避开任何感测到的静态障碍物，并且可能避开动态障碍物。如图3中所示，建议路径46避开第一障碍物22和第二障碍物24。

建议路径46可以与第一投影类型42和第二投影类型44中的任一个或两者协同工作以分别突出显示第一障碍物22和第二障碍物24。然而，一些车辆10可以被配置为仅使用投影或警报样式中的一个。例如，车辆10可以仅提供建议路径46作为乘客12的畅通路径的指示器。替代地，车辆10可以仅突出显示障碍物，诸如具有利用第一投影类型42突出显示第一障碍物22和利用第二投影类型44突出显示第二障碍物24，并且允许乘客12基于被通知有感测到的潜在障碍物来选择她或他自己的路径。

即使车辆10照亮或预测建议路径46作为优选或推荐轨迹，乘客12也可以不沿着建议路径46移动。因此，车辆10还可以感测或跟踪乘客12在下客区20内的位置。车辆10可以感测或确定乘客12与下客区20内的一个或多个静态障碍物的接近度。

如图3中所说明，乘客12已经远离建议路径46移动并且朝向第二障碍物24(消防栓)的方向前进。因此，除了利用安装在车辆10上的投影仪(诸如发光条32)突出显示静态障碍物之外，车辆10还可以基于乘客12与感测到的物体的接近度被配置有低强度投影和高强度投影两者。

图2中所示的第二投影类型44可以是低强度投影，其通常仅照亮或突出显示第二障碍物24。然而，如图3中所示，当乘客12移动到与第二障碍物非常接近时，可以使用高强度投影48来进一步向乘客12警告有附近物体。车辆10可以在触发高强度投影48之前将确定的乘客12的接近度与最小距离进行比较，或者可以预测乘客12的路径以确定应当使用高强度投影48。相对于第二投影类型44，高强度投影48可以是更亮的光或者可以是闪光或移动增强投影，并且可以随着乘客12移动更靠近物体而逐渐增加强度。

另外，当控制器感测到乘客12靠近一个障碍物时，可以与高强度投影48组合或分开发出音频警报。每当乘客12与一个静态障碍物相距小于最小距离(诸如非常接近图3中所说明的第二障碍物24)时，扬声器34或车辆10的另一个部件可以发出音频警报。

另外，音频警报可以被配置为表达或识别乘客12可能面临的潜在隐患。例如，随着紧迫性的增加，声音可能会变得越来越响，起始和释放越强，音高越高或本质上不和谐。控制系统可以基于每种情况的实时计算来改变声音特性，诸如针对特定类型的障碍物定制的特定声音-即，控制系统可以认识到第二障碍物22是消防栓并且以声音传达乘客12靠近消防栓。控制系统可以通过针对特定情况(诸如靠近静态障碍物或动态障碍物)定制声音来改变声音特性，或者可以诸如通过逐渐增加声音的强度动态地改变声音参数。

在乘客12经由智能电话、智能手表或其它电子通信装置与车辆10交互的配置中，车辆10可以将音频警报中继到作为扬声器的通信装置。例如，在车辆10是自主出租车或用于共乘情况下，乘客12可以经由智能电话或手表应用程序与车辆10交互。在这些情况下，车辆10可以使用智能电话或手表来创建或放大音频警报。

车辆10还可以被配置为单独地或除了感测静态障碍物之外感测下客区20内的一个或多个动态障碍物50。在图4中所示的示例中，动态障碍物50是滑板运动员，但是其它感测到的动态障碍物50可以包括但不限于：人行道16上的动物、行人(步行或慢跑)、骑自行车者或小型车辆。

车辆10被配置为利用安装在车辆10上的一个投影仪(诸如发光条32)来突出显示动态障碍物50。如图4中所示，车辆10可以使用第三投影类型52，其是动态障碍物50所特有的。

另外，车辆10可以被配置为确定下客区20内的感测到的动态障碍物的预测动态路径54，并且利用安装在车辆10上的投影仪突出显示动态障碍物50的预测动态路径54。如图4中所示，建议路径46避开了动态障碍物50的预测动态路径54。

替代地，车辆10可以迭代地感测并突出显示动态障碍物50作为移动静态障碍物。例如，传感器30可以在每次迭代时连续地循环并感测动态障碍物50的位置作为静态障碍物。因此，第三投影类型52将随着传感器30的每次循环或迭代而移动。

还参考图5并继续参考图1到4，示出了算法或方法100的示意流程图。车辆10和其控制系统可以使用示例性方法100来执行本文描述的功能和能力。然而，方法100不限于通过由相对于车辆10和图1到4中描述的特定结构或功能来执行，即使对那些部件描述了方法100也是如此。

图5中所说明的步骤是一个特定算法的示例，并且不是限制性的。不需要步骤，并且任何步骤都可以是可选的，无论是否被识别为这样。所示步骤或过程的顺序也不是限制性的。如技术人员所认识到的，可以重新排序或重新排列步骤。

步骤110：开始/初始化。

方法100可以在车辆10要求时(诸如当车辆10停止或停放时)开始操作。替代地，方法100可以持续运行或循环。

步骤112：感知乘客。

方法100监测或感测乘客12的位置。这可以包括传感器30或另一个传感器，诸如位于车辆10的乘客室内的传感器。另外，为了预测乘客12可能即将进入下客区20，方法100可以监测车辆10的位置或操作模式。例如，如果车辆10是自主出租车，则当乘坐结束并且车辆10停止以使乘客12在下客区20下车时，方法100可以开始感测乘客12的位置。

步骤114：下客区内有乘客？

方法100确定乘客12是否在下客区20内或即将进入下客区20。该判定步骤确定车辆10是否应当感测并突出显示下客区20内的潜在障碍物。如果乘客12不在下客区20内或不会即将进入下客区20，则方法100结束或前进到结束/循环步骤130。

步骤116：扫描下客区的潜在障碍物。

如果方法100确定乘客12在下客区20内或即将进入下客区20，则方法100扫描下客区20的潜在障碍物。例如，如图1中所示，车辆10可以感测第一障碍物22和第二障碍物24。

步骤118：静态或动态障碍物？

在一些配置中，方法100可以确定感测到的障碍物是静止的(诸如第一障碍物22和第二障碍物24)还是动态的(诸如图4的动态障碍物50)。方法100可以与静态障碍物不同的方式来处理动态障碍物。

步骤120：突出显示障碍物。

方法100突出显示车辆10感测到的障碍物。如图2中所示，方法100可以使用第一投影类型42和第二投影类型44以分别突出显示第一障碍物22和第二障碍物24。另外，方法100可以使用第三投影类型52来突出显示如图4中所示的动态障碍物50，并且当动态障碍物50移动时，可以移动第三投影类型52。

步骤122：预测路径突出显示。

当方法100确定感测到的物体为动态物体时，方法100可以确定感测到的动态障碍物50的预测动态路径54。另外，方法100可以利用来自发光条32的增强投影突出显示乘客12的预测动态路径54。

步骤124：接近违规或高严重程度？

方法100可以检测或确定任何感测到的静态或动态障碍物的严重程度级别。另外，方法100可以检测乘客12与感测到的静态或动态障碍物的接近度。

步骤126：密集投影和/或音频警报。

方法100可以基于乘客的严重程度或接近度来强化增强投影。例如，如图2中所说明，方法100可以使用第一投影类型42和第二投影类型44两者来基于不同的严重程度确定分别突出显示第一障碍物22和第二障碍物24。

另外，如图3中所说明，方法100可以使用高强度投影48来进一步警告乘客12她或他接近第二障碍物24。方法100还可以使用诸如来自扬声器34的音频警报以以进一步向乘客12警告她或他接近静态或动态障碍物。

步骤128：推荐途径预测。

结合突出显示静态障碍物、动态障碍物或两者，方法100可以将建议路径46预测为乘客12离开或进入车辆10的推荐路线。替代地，可以使用建议路径46来代替突出显示的障碍物。

步骤130：结束/循环。

方法100可以不断运行，使得所有步骤可以在任何时间发生。替代地，方法100可以迭代循环，诸如按计划循环。无论如何，当方法100到达结束时，只要存在初始化条件，就可能重复该过程。

详细描述和附图或图是对本文所讨论的主题的支持和描述。虽然已经详细描述了一些最佳模式和其它实施例，但是存在各种替代设计、实施例以及配置。

Claims (10)

1.一种用于车辆乘客的增强投影的方法，包括：

感测所述乘客在下客区内；

感测所述下客区内的一个或多个静态障碍物；以及

利用安装在所述车辆上的投影仪突出显示至少一个感测到的静态障碍物，

其中车辆将第一显著性级别分配给一个静态物体，并且将第二显著性级别分配给另一个静态物体，车辆基于重要性来改变其突出显示物体的方式。

2.根据权利要求1所述的方法，进一步包括：

感测所述乘客即将进入所述下客区。

3. 根据权利要求1所述的方法，进一步包括：

感测所述下客区内的一个或多个动态障碍物；以及

利用安装在所述车辆上的所述投影仪突出显示所述动态障碍物。

4. 根据权利要求3所述的方法，进一步包括：

确定所述下客区内感测到的所述动态障碍物的预测路径；以及

利用安装在所述车辆上的所述投影仪突出显示所述动态障碍物的所述预测路径。

5.根据权利要求4所述的方法，进一步包括：

预测所述乘客的建议路径，其中所述建议路径避开所述静态障碍物并且避开所述动态障碍物的所述预测路径。

6.根据权利要求1所述的方法，进一步包括：

感测所述乘客接近所述下客区内的所述一个或多个静态障碍物，

其中利用安装在所述车辆上的所述投影仪突出显示所述静态障碍物包括当所述乘客靠近至少一个所述静态障碍物时发生低强度投影和高强度投影。

7.根据权利要求1所述的方法，进一步包括：

预测所述乘客的建议路径，其中所述建议路径避开所述静态障碍物。

8. 根据权利要求1所述的方法，进一步包括：

将第一严重程度级别分配给第一静态物体，其中突出显示所述静态障碍物包括所述第一严重程度级别的第一投影类型；以及

将第二严重程度级别分配给第二物体，其中突出显示所述静态障碍物包括所述第二严重程度级别的第二投影类型，其与所述第一投影类型不同。

9.根据权利要求1所述的方法，其中感测所述下客区内的一个或多个静态障碍物包括三维感测。

10.根据权利要求1所述的方法，进一步包括：

感测所述乘客在所述下客区内的位置；

确定所述乘客与所述一个或多个静态障碍物的接近度；

将所述确定的乘客接近度与最小距离进行比较；以及

当所述乘客与一个所述静态障碍物相距小于所述最小距离时发出声音警报。

Images