CN118151650A - 用于协助车辆脱困的方法和装置 - Google Patents

Abstract

根据本公开的实施例，提供了用于协助车辆脱困的方法和装置。该方法包括在用户界面的第一区域，呈现由车辆所捕获的至少一个图像。该方法还包括在用户界面的第二区域，呈现与车辆所在环境的地图，其中在地图上显示有车辆的指示和环境中的至少一个障碍物的指示。该方法进一步包括接收指定航点的用户输入，航点将被用来生成用于车辆的脱困行驶路线。由此，可以远程协助车辆规避障碍物而脱困。

Description

用于协助车辆脱困的方法和装置

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及用于协助车辆脱困的方法、装置、设备、计算机可读存储介质和计算机程序产品。

背景技术

自动驾驶是通过使用计算机代替人类驾驶员或辅助人类驾驶员来感知车辆的周围环境、规划车辆的运动轨迹并控制车辆到达指定目的地的技术。在自动驾驶过程中，车辆会按照规划的路径行驶。由于环境的瞬息万变或者车辆的环境感知系统的误差导致，在规划的路径上出现的障碍物，可能会导致车辆停滞或无法继续行驶。

发明内容

在本公开的第一方面，提供了一种用于协助车辆脱困的方法。该方法包括：在用户界面的第一区域，呈现由车辆所捕获的至少一个图像；在用户界面的第二区域，呈现与车辆所在环境的地图，其中在地图上显示有车辆的指示和环境中的至少一个障碍物的指示；以及接收指定航点的用户输入，航点将被用来生成用于车辆的脱困行驶路线。

在本公开的第二方面，提供了一种用于协助车辆脱困的装置。该装置包括：图像呈现模块，被配置为在用户界面的第一区域，呈现由车辆所捕获的至少一个图像；地图呈现模块，被配置为在用户界面的第二区域，呈现与车辆所在环境的地图，其中在地图上显示有车辆的指示和环境中的至少一个障碍物的指示；以及航点生成模块，被配置为基于接收到的用户输入，生成至少一个航点，至少一个航点将被用来生成用于车辆的脱困行驶路线。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以实现第一方面的方法。

在本公开的第五方面，提供了一种计算机程序产品。该计算机程序产品包括计算机可执行指令，计算机可执行指令在被处理器执行时实现第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2示出了车辆受困场景的一个示例的示意图；

图3A和图3B示出了根据本公开的一些实施例的协助车辆脱困的用户界面的多个示例的示意图；

图4示出了根据本公开的一些实施例的协助车辆脱困的过程的示意图；

图5示出了根据本公开的一些实施例的设置航点的一个示例的示意图；

图6A-图6D示出了根据本公开的一些实施例的验证用户输入有效性的约束条件的多个示例的示意图；

图7A和图7B示出了根据本公开的一些实施例的添加信息的多个示例的示意图；

图8示出了根据本公开的某些实施例的用于协助车辆脱困的装置的示意性结构框图；以及

图9示出了能够实施本公开的多个实施例的设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

需要注意的是，本文中所提供的任何节/子节的标题并不是限制性的。本文通篇描述了各种实施例，并且任何类型的实施例都可以包括在任何节/子节下。此外，在任一节/子节中描述的实施例可以以任何方式与同一节/子节和/或不同节/子节中描述的任何其他实施例相结合。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

本公开的实施例中可能涉及用户的数据、数据的获取和/或使用等。这些方面均遵循相应的法律法规及相关规定。在本公开的实施例中，所有数据的采集、获取、处理、加工、转发、使用等，都是在用户知晓并且确认的前提下进行的。相应地，在实现本公开的各实施例时，均应根据相关法律法规通过适当的方式，将可能所涉及的数据或信息的类型、使用范围、使用场景等告知用户并获得用户的授权。具体的告知和/或授权方式可以根据实际情况和应用场景而变化，本公开的范围在此方面不受限制。

本说明书及实施例中所述方案，如涉及个人信息处理，则均会在具备合法性基础(例如征得个人信息主体同意，或者为履行合同所必需等)的前提下进行处理，且仅会在规定或者约定的范围内进行处理。用户拒绝处理基本功能所需必要信息以外的个人信息，不会影响用户使用基本功能。

如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。在本文中，“模型”也可以被称为“机器学习模型”、“机器学习网络”或“网络”，这些术语在本文中可互换地使用。

如前文所简要提及的，由于环境的瞬息万变或者车辆的环境感知系统的误差导致，在规划的路径上可能会出现自动驾驶车辆无法准确识别的障碍物，从而导致自动驾驶车辆停滞或无法继续行驶。自动驾驶的模式可以细分为双人单车模式、单人主驾模式以及单人副驾模式。双人单车模式例如主驾驶位和副驾驶位均坐有安全员的自动驾驶模式。单人主驾模式例如仅主驾驶位坐有安全员的自动驾驶模式。单人副驾模式例如仅副驾驶位坐有安全员的自动驾驶模式。在自动驾驶的双人单车模式和单人主驾模式下，当车辆发生失效时，主驾驶位的安全员会将车辆手动开到一个安全的区域后重新启动自动驾驶。但是，在单人副驾模式下，副驾驶位的安全员只具备在紧急情况下踩刹车的能力，不再具备操纵方向盘进行横向控制以及操纵油门纵向前进的能力，从而导致车辆停滞或无法继续行驶。

车辆发生失效的其中一种模式被称为“受困(stuck)”，是指自动驾驶车辆无法通过自动驾驶继续完成当前路径的行驶而停车。在一些场景中，车辆预先规划的路径上可能临时设置了施工区，车辆的环境感知系统没有将施工区识别为障碍物、或者将施工区识别为障碍物，但对于障碍物的形状和类型等信息识别错误，从而导致车辆停滞或无法自动行驶。当自车无法脱困时，发起远程协助脱困是一种有效的解决方案。远程路径规划需要保证操作精度和准确性，一套良好的操作与交互的方案才能使得规划的路径具备可执行性，从而协助车辆生成脱困行驶路线。

本公开的实施例提出了一种用于协助车辆脱困的方案。根据本公开的各种实施例，在用户界面的第一区域，呈现由车辆所捕获的至少一个图像。在用户界面的第二区域，呈现与车辆所在环境的地图，其中在地图上显示有车辆的指示和环境中的至少一个障碍物的指示；以及接收指定航点的用户输入，航点将被用来生成用于车辆的脱困行驶路线。

在本公开的实施例中，当自车无法脱困并请求远程协助时，可以在远程用户界面绘制用于生成脱困行驶路线的航点并发送给车辆。以此方式，使得车辆能够根据绘制的航点生成脱困行驶路线，从而规避障碍物。

示例环境

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。在环境100中，协助人员110可以直接与远程设备120进行交互，也可以用经由远程设备120的附接设备来与远程设备120进行交互。远程设备120可以向协助人员110呈现用户界面140，以供协助人员110进行查看车辆信息或进行路径规划等操作。

远程设备120例如可以包括云端设备或者边缘计算设备。在一些实施例中，这样的远程设备120可以被配置为向车辆101提供关于交通环境中的补充感知信息，和/或为受困的车辆101提供脱困指引。

环境100中可以包括车辆101。在一些实施例中，车辆101可以是可以承载人和/或物并且通过发动机等动力系统移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、房车等等。车辆101可以是集环境感知、规划决策、多等级辅助驾驶等功能于一体的自动驾驶车辆(也称为自主车辆)。

如图1所示，车辆101配置有电子设备150，可以与远程设备120通信连接。例如，电子设备150可以经由适当的无线通信方式来与远程设备120通信。电子设备150可以是任何具有计算能力的设备，可以根据远程设备120下发的路径规划信息生成脱困行驶路线或者执行相应的指令。

应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。

以下将继续参考附图描述本公开的一些示例实施例。

图2示出了车辆受困场景的示例200的示意图。示例200为车辆101在十字路口受困的一个示例。车辆101行驶至十字路口时，按照预先规划的路径210，车辆101应该向右转弯。但是，在车辆101的右前方存在障碍物220(图中五边形阴影所示区域，例如为施工区或者事故现场)。在一些情况下，车辆101无法识别障碍物220的类型，无法确认如果继续按照规划的路径210行驶，障碍物220是否会威胁车内人员的人身安全。车辆101因此陷入受困模式。在另一些情况下，车辆101无法识别障碍物220的形状尺寸，无法确认如果继续按照规划的路径210行驶的话，障碍物220是否会造成车体损伤。车辆101因此陷入受困模式。

图3A示出了根据本公开的一些实施例的协助车辆脱困的用户界面的示例300A的示意图。示例300A可以实现在远程设备120处。以下参考图1描述示例300A。

在车辆101受困发起远程协助请求时，远程设备120呈现用户界面140。用户界面140包括第一区域310和第二区域320。

在用户界面140的第一区域310，远程设备120呈现由车辆101所捕获的至少一个环境图像，例如车辆前方的图像、车辆后方的图像、车辆左侧的图像以及车辆右侧的图像。这些图像可以来自环绕车辆101的车身安装的图像传感器。环境图像例如为以静态图片或视频流的形式捕获的包括障碍物220的信息的图像。又例如，环境图像包括由图像传感器捕获的以车辆101为中心、半径30米范围内的包括障碍物220的信息的图像。

在用户界面140的第二区域320，呈现车辆101所在环境的地图。这样的地图可以表征车辆行驶路径的周围区域的环境，地图数据可以包含各种类型的地形数据、街道数据、城市交通数据等。结合车辆的定位数据，地图上显示有车辆的信息，例如车辆101的位置、长宽尺寸等。进一步的，地图上还显示有障碍物的指示。障碍物的指示用于指示障碍物的位置、尺寸、形状、类型或速度等，可以是图标或框的形式，例如障碍物区域330。

在一些实施例中，远程设备120从车辆101和外部数据源中的至少一个，接收涉及至少一个障碍物的感测数据，并基于感测数据生成至少一个障碍物的指示。例如，车辆101部署有环境感知系统。环境感知系统可以包括用于获取环境的感测数据的多种类型的传感设备，其示例可以包括但不限于：相机、激光雷达、毫米波雷达、超声波雷达等。远程设备120可以从车辆101接收其通过环境感知系统获取的涉及障碍物的感测数据。远程设备120还可以从其他外部数据源接收涉及障碍物的感测数据，例如从卫星系统或安装在路边的路端设备接收。远程设备120可以基于接收的感测数据自动在地图上的相应位置生成障碍物的指示。由于车辆101或者外部数据源的局限性，可能导致由远程设备120自动生成的障碍物的指示不够完整或准确。例如，由于路端设备的视角或者被其他车辆遮挡等原因，远程设备120根据路端设备的感测数据不能很好的获取障碍物的信息，由此生成的障碍物区域也不够完整或准确。协助人员110可以根据多种来源的感测数据对障碍物的信息进行综合判断，进而手动编辑远程设备120自动生成的障碍物区域330，或者重新标注障碍物区域330。附加地或备选地，远程设备120可以将标注的障碍物区域信息发送给车辆101，以用于协助自车脱困。

在图3A的示例中，用户界面140还包括多个操作按钮，例如开始远程协助340、路径规划350、障碍物标注360。协助人员110点击“开始远程协助”进入协助模式。在协助模式下，协助人员110可以点击“路径规划”，从而在第二区域320的地图上设置航点。协助人员110还可以点击“障碍物标注”，观察障碍物形状并在第二区域320的地图上手动标注障碍物区域。协助人员110也可以选择预存的形状对障碍物进行框选，生成障碍物区域。附加地或备选地，障碍物区域330还可以包括可能会影响路径规划的其他物体所在的区域。虽然这些物体未被车辆101识别为导致车辆受困的障碍物，但是其可能会影响路径规划或者生成的脱困行驶路线的合理性和安全性。在图3A的示例中，协助人员110可以根据障碍物220的信息标注障碍物区域330。协助人员110还可以根据相邻车道的车辆301的信息标注障碍物区域335。由此，远程设备120提供了灵活、友好的交互界面。

图4示出了根据本公开的一些实施例的协助车辆脱困的过程400的示意图。过程400可以实现在远程设备120处。以下参考图1描述过程400。

在框410，远程设备120接收协助人员110的用户输入。在图3A的示例中，协助人员110点击“开始远程协助”后进入协助模式，再点击“路径规划”后可以在第二区域320的地图上设置至少一个航点，这些航点信息将被用来协助车辆101生成脱困行驶路线。

在框420，远程设备120接收用户输入，并基于预定的约束条件验证用户输入的有效性。约束条件例如包括航点的位置是否可达、是否能协助车辆101安全绕过障碍物等。这样的约束条件将分解到具体的参数上，从而为车辆提供可执行的、高效的脱困方案。

图5示出了根据本公开的一些实施例的设置航点的示例500的示意图。示例500为用户界面140的第二区域320的一个示例。示例500可以实现在远程设备120处。以下参考图1描述示例500。

协助人员110观察车辆101与障碍物区域330以及周边物体的相对位置，在地图上手动设置航点，例如航点P1、航点P2、航点P3、航点P4、航点P5和航点P6。为方便远程设备120基于预定的约束条件验证航点的有效性，可以在协助人员110每设置一个航点就进行验证，验证成功后再允许其设置下一个航点。附加地或备选地，在设置航点的过程中，远程设备120可以在用户界面上显示提示信息，例如“航点设置成功，可以继续设置下一航点”、“按住航点可拖动编辑”等。附加地或备选地，在设置航点的过程中，允许协助人员110编辑障碍物区域330的信息。例如，在图3A的示例中，障碍物220的形状为五边形，通过预存的选框标注的障碍物区域330为可覆盖五边形的正方形。在设置航点的过程中，例如协助人员110发现障碍物区域330的形状不能较好贴合障碍物的形状，可以将选框的形状更换为五边形。又例如协助人员110发现障碍物区域330的大小不能较好贴合障碍物的大小，可以放大或缩小选框的尺寸。

图6A-图6D示出了根据本公开的一些实施例的验证用户输入有效性的约束条件的示例600A-示例600D的示意图。为清晰显示，示例600A-示例600D仅包括图5示例中的车辆101对应的框601以及相邻车辆301对应的框602、障碍物区域330以及设置的航点，省略图5示例中的其他信息。示例600A-示例600D可以实现在远程设备120处。以下参考图1进行描述。

在一些实施例中，约束条件包括已生成的航点的数目。航点的数目过多或过少，都可能影响车辆101生成脱困行驶路线的难度和效率。在图6A的示例中，约束条件中关于航点数目的范围为2至6。例如，当协助人员110完成6个航点的设置后，远程设备120可以自动结束航点设置或者发出达到航点生成数目的提示消息，例如“设置航点数＝6，自动结束”。又例如，当协助人员110仅设置1个航点即选择结束设置时，远程设备120可以发出提示消息。附加地或备选地，在设置航点的过程中，远程设备120可以显示提示信息，例如“设置航点数小于6，按回车键或右键选择‘结束’”。

在一些实施例中，约束条件还包括已生成的第一个航点的位置和最后一个航点的位置之间的距离。总距离过长，可能影响车辆101生成脱困行驶路线的效率。在图6A的示例中，约束条件中关于总距离的阈值为30米。例如，当协助人员110设置5个航点后，远程设备120验证相邻航点连线的总距离是否小于阈值。

在一些实施例中，约束条件还包括用户输入所指示的位置与先前生成的上一个航点的位置之间的距离。用户输入所指示的位置可以是鼠标的当前位置，在本公开中也被称为正在设置的航点的位置或当前航点的位置。相邻航点之间的距离过大，可能影响车辆101生成脱困行驶路线的精度，导致安全隐患。在图6B的示例中，约束条件中关于距离的阈值为5米。例如，协助人员110已成功设置2个航点P2，当进行第3个航点P3的设置时，远程设备120验证第3个航点P3与第2个航点P2之间的距离L是否超过阈值。

在一些实施例中，约束条件还包括由用户输入所指示的位置所指示的第一方向与由先前生成的上一个航点的位置所指示的第二方向之间的角度。第一方向为用户输入所指示的位置与上一航点的位置之间的连线的方向。第二方向为上两个航点的位置之间的连线的方向。角度过小，可能导致车辆101转弯困难。在图6C的示例中，约束条件中关于角度的阈值为110°。例如，协助人员110已成功设置2个航点，当进行第3个航点P3的设置时，远程设备120例如确定用户输入的第3个航点P3与第2个航点P2的连线，以及第2个航点P2与第1个航点P1的连线，然后验证两条连线之间的夹角α是否低于阈值。

在一些实施例中，约束条件还包括用户输入所指示的位置与所述至少一个障碍物的位置之间的相对关系。障碍物的位置可以用障碍物区域330的位置表示。障碍物区域330的位置包括各边线位置和各顶点位置。航点位置与障碍物的位置过近时，可能导致车辆101碰撞或刮擦障碍物。在图6D的示例中，约束条件中关于相对关系的阈值大于等于车辆101的车身宽度。例如，当协助人员110进行第1个航点P1的设置时，远程设备120验证航点P1的位置与障碍物区域330上距离最近的边线的直线距离N1是否超过阈值。当协助人员110进行第2个航点P2的设置时，远程设备120验证航点P2的位置与障碍物区域330上距离最近的边线的直线距离N2是否超过阈值。当协助人员110进行第3个航点P3的设置时，远程设备120验证航点P3的位置与障碍物区域330上距离最近的顶点的直线距离N3是否超过阈值。附加地或备选地，以车辆101为起点，在车辆101与第1个航点以及相邻航点之间显示连线，如图6D中的虚线所示。连线的宽度M为相对关系的阈值的宽度，例如车身的宽度，用于辅助协助人员110判断是否会与障碍物碰撞。附加地或备选地，已完成的航点之间的连线显示为第一颜色，例如绿色。附加地或备选地，正在设置的航点满足约束条件时，与已完成的航点之间的连线显示为第一颜色；正在设置的航点不满足约束条件时，与已完成的航点之间的连线显示为第二颜色，例如红色。通过设置不同颜色，可以辅助协助人员110直观高效判断航点设置是否满足约束条件。

根据以上各个实施例，在设置航点的过程中，远程设备120可以基于约束条件验证航点的有效性。在一些实施例中，在对已完成的航点进行编辑时，远程设备120重新验证该航点或相邻航点的有效性。在图6A的示例中，例如协助人员110在完成6个航点的设置后，又调整了第5个航点P5的位置，远程设备120将对航点P5与相邻航点的距离、夹角等进行验证。又例如协助人员110删除了第5个航点P5，远程设备120将对航点P4和航点P6之间的距离、夹角等进行验证。附加地或备选地，在设置航点的过程中，远程设备120显示提示信息，用于提醒协助人员110可进行的操作，例如“按删除键或右键选择‘删除’，删除后保留上一个航点”、“双击航点编辑”、“右键选择‘继续设置航点’”等。在设置航点完成后，远程设备120可以显示提示信息，用于提醒协助人员110将航点信息发送给车辆101，例如“航点设置已完成，请下发车端”。多种提示信息的显示，有助于协助人员110尽快熟悉并完成航点设置。

远程设备120接收协助人员110关于航点的输入，如果验证航点的位置符合预定的约束条件，则过程400进行到框430；如果不符合预定的约束条件，则过程400进行到框440。

在框430，远程设备120验证用户输入有效，生成对应的航点。例如，协作人员110在地图上通过点击的操作表明欲设置航点的位置，远程设备120验证点击位置是否满足预定的约束条件。如果验证有效，在点击位置生成对应的航点。

在一些实施例中，远程设备120提供与协助人员110的交互操作。例如，协助人员110可以通过左键点击来设置航点，在拖动鼠标时自动显示上一航点与鼠标位置的连线以及距离。协助人员110还可以通过右键菜单撤销上一个航点、结束航点设置、继续航点设置、删除航点、清空航点等。又例如，协助人员110可以通过回车键保存航点设置结果并结束航点设置。协助人员110还可以通过“Esc”键取消并结束航点设置。这些交互操作可以为协助人员提供友好、高效的使用体验。

图7A和图7B示出了根据本公开的一些实施例的添加信息的示例700A和示例700B的示意图。示例700A和示例700B可以实现在远程设备120处。以下参考图1进行描述。

在一些实施例中，为了生成对应的航点，远程设备120在地图上绘制所生成的至少一个航点，以及至少一个航点对应的轨迹。在图7A的示例中，轨迹710包括航点之间的连线。航点的轨迹710用于辅助协助人员110或者车辆101查看路径规划的结果。附加地或备选地，远程设备120以第一样式绘制已完成的航点，以第二样式绘制正在设置的航点或者正在编辑的航点。例如，在图6B-图6D的示例中，第一样式为实心的小圆点，第二样式为实心的大圆点。

在一些实施例中，远程设备120向车辆101发送与至少一个航点相关的信息。例如，远程设备120将包括绘制完成的航点以及对应的轨迹的路径规划的信息发送到车辆101，车辆101可以基于路径规划的信息以及其他因素生成脱困行驶路线。这样的路径规划的信息可以是包括航点的世界坐标的信息，也可以是绘制了航点和对应的轨迹的地图。

在一些实施例中，远程设备120在至少一个图像上添加与至少一个航点有关的第一辅助信息。在图像上添加第一辅助信息有助于协助人员110从车辆的视角观察航点和轨迹信息710，也可以作为路径规划的信息一同发送到车辆101，为车辆上的安全员提供参考。在图7B的示例中，远程设备120根据生成的航点以及对应的轨迹710，在图像715(车辆前方的图像)上添加对应的辅助信息720。

在一些实施例中，远程设备120在至少一个图像上添加第二辅助信息，第二辅助信息涉及至少一个图像中包含的物体与车辆之间的相对位置关系。在图像上添加第二辅助信息有助于协助人员110或者车辆101的安全员估算其他物体到车辆101之间的距离。在图7B的示例中，远程设备120根据车辆301与车辆101之间的距离，在图像725(车辆左侧的图像)上添加辅助信息730。辅助信息730的样式类似辅助倒车线，可以用相同间距、不同颜色的横断线表示距离的远近。

在框440，远程设备120验证用户输入无效，在用户界面上显示无法基于用户输入生成航点的解释性信息。解释性信息可以包括失败原因、约束条件的阈值等。例如，当前航点与上一航点之间的距离超过阈值时，远程设备120显示设置航点失败并发出关于失败原因的提示消息，例如“大于5米，无法设置航点”。又例如，当前航点所指示的第一方向与上一航点所指示的第二方向之间的夹角低于阈值时，远程设备120显示设置航点失败并发出关于失败原因的提示消息，例如“角度小于110°，无法设置航点”。又例如，当前航点与障碍物区域的距离超过阈值时，远程设备120显示设置航点失败并发出关于失败原因的提示消息，例如“距离大于5米，无法设置航点”。

以上对协助人员110设置航点的过程和约束条件进行了描述。回到图3A和图3B的示例，在图3A的示例中，协助人员110可以观测来自车辆101的图像传感器捕获的环境图像，选择设置航点的位置。在一些实施例中，车辆101搭载多个鱼眼相机，鱼眼相机的镜头的焦距小于等于16mm并且视角接近或等于180°，可以使镜头获得尽可能大的拍摄视角。车辆101通过多个鱼眼相机捕获多个鱼眼图像，多个鱼眼图像分别对应车辆的不同方向上的环境图像。在图3B的示例中，车辆101配置4个鱼眼镜头，分别用于捕获车辆前方、车辆后方、车辆左侧以及车辆右侧的环境图像。与图3A的示例不同之处在于，呈现在第一区域310内的四个环境图像为鱼眼图像。鱼眼图像可以包括更大视角的环境信息，从而为自车或协助人员110提供尽可能多的包括障碍物信息的全景图像。

综上所述，根据本公开的各种实施例，在车辆101受困而请求远程协助时，远程设备120可以基于来自车辆101和/或外部数据源的感测数据，在用户界面140上呈现环境图像、车辆以及障碍物等信息，协助人员110通过观察这些信息手动设置航点，远程设备120可以验证用户输入的有效性并显示相应的提示信息，进而生成可用于指引脱困的航点、航点轨迹、辅助信息等。远程设备120将这些信息发送给车辆101，从而协助车辆生成脱困行驶路线。由此，可以提供航点设置的合理、高效的交互方案，方便快捷的协助车辆规避障碍物而脱困。

示例装置和设备

图8示出了根据本公开的某些实施例的用于协助车辆脱困的装置800的示意性结构框图。装置800可以被实现为或者被包括在远程设备120中。装置800中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。

如图所示，装置800包括图像呈现模块810，被配置为在用户界面的第一区域，呈现由车辆所捕获的至少一个图像。装置800还包括地图呈现模块820，被配置为在用户界面的第二区域，呈现与车辆所在环境的地图，其中在地图上显示有车辆的指示和环境中的至少一个障碍物的指示。装置800还包括航点生成模块830，被配置为基于接收到的用户输入，生成至少一个航点，至少一个航点将被用来生成用于车辆的脱困行驶路线。

在一些实施例中，装置800还包括：验证模块，被配置为响应于接收到用户输入，基于预定的约束条件验证用户输入的有效性；航点生成模块，被进一步配置为响应于用户输入被验证为有效，生成对应的至少一个航点。

在一些实施例中，约束条件涉及以下至少一项：已生成的航点的数目；用户输入所指示的位置与先前生成的上一个航点的位置之间的距离；由用户输入所指示的位置所指示的第一方向与由先前生成的上一个航点的位置所指示的第二方向之间的角度；用户输入所指示的位置与至少一个障碍物的位置之间的相对关系。

在一些实施例中，装置800还包括：显示模块，被配置为响应于用户输入被验证为无效的，在用户界面上显示无法基于用户输入生成航点的解释性信息。

在一些实施例中，生成模块被进一步配置为在地图上绘制所生成的至少一个航点以及至少一个航点的轨迹。

在一些实施例中，至少一个图像包括由车辆搭载的多个鱼眼相机所捕获的鱼眼图像，多个鱼眼相机被布置为捕获车辆的不同方向上的图像。

在一些实施例中，装置800还包括：感测数据接收模块，被配置为从车辆和外部数据源中的至少一个，接收涉及至少一个障碍物的感测数据；以及识别模块，被配置为基于感测数据，生成至少一个障碍物的所述指示。

在一些实施例中，装置800还包括：第一辅助信息添加模块，被配置为在至少一个图像上添加与至少一个航点有关的第一辅助信息。

在一些实施例中，装置800还包括：第二辅助信息添加模块，被配置为在至少一个图像上添加第二辅助信息，第二辅助信息涉及至少一个图像中包含的物体与车辆之间的相对位置关系。

图9示出了示出了其中可以实施本公开的一个或多个实施例的计算设备900的框图。应当理解，图9所示出的计算设备900仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图9所示出的计算设备900可以用于实现图1的远程设备120。

如图9所示，计算设备900是通用计算设备的形式。计算设备900的组件可以包括但不限于一个或多个处理器或处理单元910、存储器920、存储设备930、一个或多个通信单元940、一个或多个输入设备950以及一个或多个输出设备960。处理单元910可以是实际或虚拟处理器并且能够根据存储器920中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备900的并行处理能力。

计算设备900通常包括多个计算机存储介质。这样的介质可以是计算设备900可访问的任何可以获取的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器920可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备930可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备900内被访问。

计算设备900可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图9中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器920可以包括计算机程序产品925，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元940实现通过通信介质与其他计算设备进行通信。附加地，计算设备900的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备900可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备950可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备960可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备900还可以根据需要通过通信单元940与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备900交互的设备进行通信，或者与使得计算设备900与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (14)

1.一种协助车辆脱困的方法，包括：

在用户界面的第一区域，呈现由车辆所捕获的至少一个图像；

在所述用户界面的第二区域，呈现所述车辆所在环境的地图，其中在所述地图上显示有所述车辆的指示和所述环境中的至少一个障碍物的指示；以及

基于接收到的用户输入，生成至少一个航点，所述至少一个航点将被用来生成用于所述车辆的脱困行驶路线。

2.根据权利要求1所述的方法，其中生成至少一个航点包括：

响应于接收到所述用户输入，基于预定的约束条件验证所述用户输入的有效性；以及

响应于所述用户输入被验证为有效，生成对应的所述至少一个航点。

3.根据权利要求2所述的方法，其中所述约束条件涉及以下至少一项：

已生成的航点的数目；

所述用户输入所指示的位置与先前生成的上一个航点的位置之间的距离；

由所述用户输入所指示的位置所指示的第一方向与由先前生成的上一个航点的位置所指示的第二方向之间的角度；

所述用户输入所指示的位置与所述至少一个障碍物的位置之间的相对关系。

4.根据权利要求2所述的方法，还包括：

响应于用户输入被验证为无效的，在用户界面上显示无法基于所述用户输入生成航点的解释性信息。

5.根据权利要求1所述的方法，其中生成所述至少一个航点包括：

在所述地图上绘制：所生成的所述至少一个航点以及与所述至少一个航点对应的轨迹。

6.根据权利要求1所述的方法，还包括：

向所述车辆发送与所述至少一个航点相关的信息。

7.根据权利要求1所述的方法，其中所述至少一个图像包括由所述车辆搭载的多个鱼眼相机所捕获的鱼眼图像，所述多个鱼眼相机被布置为采集所述车辆的不同方向上的图像。

8.根据权利要求1所述的方法，还包括：

从所述车辆和外部数据源中的至少一个，接收涉及所述至少一个障碍物的感测数据；以及

基于所述感测数据，生成所述至少一个障碍物的所述指示。

9.根据权利要求1所述的方法，还包括：

在所述至少一个图像上添加与所述至少一个航点有关的第一辅助信息。

10.根据权利要求1所述的方法，还包括：

在所述至少一个图像上添加第二辅助信息，所述第二辅助信息涉及所述至少一个图像中包含的物体与所述车辆之间的相对位置关系。

11.一种用于协助车辆脱困的装置，包括：

图像呈现模块，被配置为在用户界面的第一区域，呈现由车辆所捕获的至少一个图像；

地图呈现模块，被配置为在所述用户界面的第二区域，呈现与所述车辆所在环境的地图，其中在所述地图上显示有所述车辆的指示和所述环境中的至少一个障碍物的指示；以及

航点生成模块，被配置为基于接收到的用户输入，生成至少一个航点，所述至少一个航点将被用来生成用于所述车辆的脱困行驶路线。

12.一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行根据权利要求1至10中任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可由处理器执行以实现根据权利要求1至10中任一项所述的方法。

14.一种计算机程序产品，包括计算机可执行指令，其中所述计算机可执行指令在被处理器执行时实现根据权利要求1至10中任一项所述的方法。