CN111976744A - 基于打车的控制方法、装置及自动驾驶汽车 - Google Patents

Abstract

本发明提供了一种基于打车的控制方法、装置及自动驾驶汽车，涉及无人驾驶技术领域，包括；通过对目标区域内的行人进行姿势识别，确定招手的目标行人；控制所述自动驾驶汽车行驶到所述目标行人所在的位置；在所述自动驾驶汽车行驶到所述目标行人所在的位置后，打开车门，并在所述目标行人上车后关闭车门继续进行行驶。以此，可以实现基于行人姿势的识别来实现对车辆的控制，以便无人驾驶车辆为行人提供打车服务。

Description

基于打车的控制方法、装置及自动驾驶汽车

技术领域

本发明涉及无人驾驶技术领域，尤其是涉及一种基于打车的控制方法、装置及自动驾驶汽车。

背景技术

随着自动驾驶技术的发展，可以依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作车辆。自动驾驶技术可以能够避免出现人工驾驶中由于操作错误、疲劳驾驶等原因导致的交通事故，从而提高交通安全性。

然后，然而自动驾驶技术还存在着一些应用上的弊端，造成应用程度低。

发明内容

本发明的目的在于提供一种基于打车的控制方法、装置及自动驾驶汽车，以缓解了现有技术中存在的应用程度低的技术问题。

第一方面，本发明实施例提供一种基于打车的控制方法，所述方法应用于自动驾驶汽车；所述方法包括：

对目标区域内的行人进行姿势识别，确定招手的目标行人；

控制所述自动驾驶汽车行驶到所述目标行人所在的位置；

在所述自动驾驶汽车行驶到所述目标行人所在的位置后，打开车门，并在所述目标行人上车后关闭车门继续进行行驶。

在一些可选的实现中，对目标区域内的行人进行姿势识别，确定招手的目标行人的步骤，包括：

获取所述自动驾驶汽车行驶方向上的目标图像；

对所述目标图像中的初始行人进行识别，并确定所述初始行人的姿势；

当所述初始行人的姿势符合预设的招手姿势时，确定所述初始行人为目标行人，并基于激光雷达辅助确定所述目标行人的位置。

在一些可选的实现中，所述初始行人的姿势基于关键点检测实现，所述关键点包括面部关键点、手腕关键点以及肩部关键点，所述面部关键点用于确定朝向；所述预设的招手姿势包括面对车辆、身体指定一侧的手腕高于肩且所述指定一侧的手腕与所述肩的距离大于预设阈值。

在一些可选的实现中，在所述目标行人上车后关闭车门继续进行行驶的步骤，包括：

接收所述目标行人上车后输入的目的地；

基于所述目的地进行路径规划；

接收关门操作，将所述车门关闭，并基于所述路径规划继续进行行驶。

在一些可选的实现中，所述目的地通过语音输入。

在一些可选的实现中，在所述自动驾驶汽车行驶到所述目标行人所在的位置后，打开车门的步骤，包括：

在所述自动驾驶汽车行驶到所述目标行人所在的位置后，控制所述自动驾驶汽车停靠；

接收到开门指令，控制所述自动驾驶汽车打开车门，其中，所述开门指令包括一个或多个方位，每个方位对应一个车门。

第二方面，提供了一种基于打车的控制装置，所述装置应用于自动驾驶汽车；所述装置包括：

识别模块，用于对目标区域内的行人进行姿势识别，确定招手的目标行人；

控制模块，用于控制所述自动驾驶汽车行驶到所述目标行人所在的位置；

所述控制模块还用于，在所述自动驾驶汽车行驶到所述目标行人所在的位置后，打开车门，并在所述目标行人上车后关闭车门继续进行行驶。

在一些可选的实现中，识别模块还用于：

获取所述自动驾驶汽车行驶方向上的目标图像；

对所述目标图像中的初始行人进行识别，并确定所述初始行人的姿势；

当所述初始行人的姿势符合预设的招手姿势时，确定所述初始行人为目标行人，并基于激光雷达辅助确定所述目标行人的位置。

第三方面，本发明实施例提供一种自动驾驶汽车，包括存储器、处理器以及摄像头；存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述前述实施方式任一项的方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行前述实施方式任一项的方法。

本发明提供的一种基于打车的控制方法、装置及自动驾驶汽车；通过对目标区域内的行人进行姿势识别，确定招手的目标行人；控制所述自动驾驶汽车行驶到所述目标行人所在的位置；在所述自动驾驶汽车行驶到所述目标行人所在的位置后，打开车门，并在所述目标行人上车后关闭车门继续进行行驶。以此，可以实现基于行人姿势的识别来实现对车辆的控制，以便无人驾驶车辆为行人提供打车服务，提升自动驾驶技术的应用程度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于打车的控制方法流程示意图；

图2为本申请实施例提供的一种基于打车的控制方法的一个示例；

图3为本申请实施例提供的一种基于打车的控制装置结构示意图；

图4为本申请实施例提供的一种自动驾驶汽车结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种基于打车的控制方法流程示意图。其中，该方法应用于自动驾驶汽车，该方法包括：

S110，对目标区域内的行人进行姿势识别，确定招手的目标行人；

该目标区域可以是感兴趣区域，该感兴趣区域可以为自动驾驶汽车行驶方向上的路边区域。

该招手的姿势可以根据实际需要确定，在对行人进行姿势识别后，可以将识别到的姿势与预先设置的招手姿势进行比对，如果比对成功，则确定该识别到的姿势为招手姿势。

S120，控制自动驾驶汽车行驶到目标行人所在的位置；

其中，对于目标行人的识别，可以通过图像识别来实现，在识别到目标行人后，可以基于单目视觉或多目视觉技术，在三维空间中进行定位，确定自动驾驶汽车与目标行人的相对位置。

S130，在自动驾驶汽车行驶到目标行人所在的位置后，打开车门，并在目标行人上车后关闭车门继续进行行驶。

例如，可以接受目标行人上车后输入的目的地；基于目的地进行路径规划；接收关门操作，将车门关闭，并基于路径规划继续进行行驶。该目的地可以通过语音输入。

在自动驾驶汽车行驶到目标行人所在的位置后，控制自动驾驶汽车停靠；在接收到开门指令后，控制自动驾驶汽车打开车门，其中，该开门指令包括一个或多个方位或编号，每个方位或编号对应一个车门，该方位或编号可以作为该车门的标识。例如，对于双开门的无人驾驶，可以包括前门和后门，或者左门和右门等等。

在本申请实施例中，可以将该自动驾驶汽车设置为车门必须手动开关，以确保行人安全。其中，在车辆停下来后，接收到开门指令后开启车门，在接收到关门指令后进行关门。对于车门的开启和关闭可以通过物理控件来触发，例如按钮或者把手。另外，对于开门和关门可以指的是门锁，开门时开启门锁，关门时关闭门锁，也可以是指门锁和门，开门时开启门锁和门，关门时，关闭门和门锁。

再例如，可以通过重量传感器或车内的视觉传感器对目标行人的上车情况进行识别。在识别到目标行人已经上车后，可以将车门关闭。

再例如，目标行人在上车后，可以发出关门指令，该关门指令可以通过语音进行触发。

另外，当在指定的时间内，未检测到目标行人上车且未接收到关门指令后，将车门关闭。

通过本发明实施例，可以实现基于行人姿势的识别来实现对车辆的控制，以便无人驾驶车辆为行人提供打车服务。

在一些实施例中，如图2所示，上述步骤S110具体可以包括：

S210，获取自动驾驶汽车行驶方向上的目标图像；

对于正向行驶，该第一图像可以为自动驾驶汽车前方的图像。对于倒车情况，该第一图像可以为自动驾驶汽车后方的图像。

S220，对目标图像中的初始行人进行识别，并确定初始行人的姿势；

对于行人的检测以及位置的确定，通常是将行人作为一个整体进行检测，具体来讲，可以利用包围盒(bounding box)算法，将行人作为一个整体进行标记，即，将整个行人标记在一个方框中，形成2D包围盒；然后，再将该2D包围盒的顶点坐标进行2D到3D的转换，得到对应的3D坐标，该3D坐标对应于三维坐标系，例如，该三维坐标系可以为世界坐标系下坐标，基于该3D坐标可以确定行人的位置。

S230，当初始行人的姿势符合预设的招手姿势时，确定初始行人为目标行人，并基于激光雷达辅助确定目标行人的位置。

初始行人的姿势基于关键点检测实现，关键点包括面部关键点、手腕关键点以及肩部关键点，面部关键点用于确定朝向；预设的招手姿势包括面对车辆、身体指定一侧的手腕高于肩且指定一侧的手腕与肩的距离大于预设阈值。

例如，该关键点是例如肩膀、脖子、手肘、手(腕)、臀部、膝盖、踝关节；嘴、右眼和左眼以及头部顶点。

对于朝向可以根据检测到的人脸关键点的数量以及位置关系来确定，例如，如果未检测到眼睛、鼻子以及耳朵中的任意一个，则可以认为该朝向为背对车辆。如果未检测到一个耳朵，则可以认为是侧对车辆，根据鼻子相对于眼睛或耳朵的位置，可以确定该行人是面向马路还是背向马路。

其中，招手姿势识别，可以通过深度学习网络检测人体关键点，根据关键点确定行人面对车辆、右手或左手手腕高于肩，认为是右手招手或左手招手。具体的，可以根据像素坐标系下Y的值，确定手腕远离身体达到阈值，当达到阈值时，可以确定招手动作。

作为一个示例，可以基于人脸关键点确定朝向；对于朝向车辆的初始行人，再进一步确定招手动作；对于存在招手动作的行人，确定为目标行人。

另外，如果招手的行人包括多个，则可以根据车辆与各个招手的行人的距离的远近来进行选择，选择最近的一个作为目标行人。

对于目标行人位置的确定可以包括多种实现方式，例如，可以采用单目视觉定位的方式，多目视觉定位的方式，结合视觉以及测距传感器进行定位的方式(也可以称为多传感器融合)等等。例如，可以结合激光雷达测距的方式以及单目视觉定位的方式确定目标行人的位置，以及在控制无人驾驶车辆在朝向目标行人行驶的过程中进行避障等行为控制。

图3为本发明实施例提供的一种基于打车的控制装置结构示意图。如图3所示，该装置应用于自动驾驶汽车；该装置包括：

识别模块301，用于对目标区域内的行人进行姿势识别，确定招手的目标行人；

控制模块302，用于控制所述自动驾驶汽车行驶到所述目标行人所在的位置；

所述控制模块302还用于，在所述自动驾驶汽车行驶到所述目标行人所在的位置后，打开车门，并在所述目标行人上车后关闭车门继续进行行驶。

在一些实施例中，识别模块301还用于：

获取所述自动驾驶汽车行驶方向上的目标图像；

对所述目标图像中的初始行人进行识别，并确定所述初始行人的姿势；

当所述初始行人的姿势符合预设的招手姿势时，确定所述初始行人为目标行人，并确定所述目标行人的位置。

在一些实施例中，所述初始行人的姿势基于关键点检测实现，所述关键点包括面部关键点、手腕关键点以及肩部关键点，所述面部关键点用于确定朝向；所述预设的招手姿势包括面对车辆且身体指定一侧的手腕高于肩。

在一些实施例中，控制模块还用于：

接收所述目标行人上车后输入的目的地；

基于所述目的地进行路径规划；

将所述车门关闭，并基于所述路径规划继续进行行驶。

在一些实施例中，所述目的地通过语音输入。

在一些实施例中，控制模块还用于：

当在指定的时间内，未检测到所述目标行人上车且未接收到关门指令后，将所述车门关闭。

本申请实施例提供的基于打车的控制装置，与上述实施例提供的基于打车的控制方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

如图4所示，本申请实施例提供的一种自动驾驶汽车700，包括：处理器701、存储器702和总线，存储器702存储有处理器701可执行的机器可读指令，当电子设备运行时，处理器701与存储器702之间通过总线通信，处理器701执行机器可读指令，以执行如上述基于打车的控制方法、装置及自动驾驶汽车方法的步骤。

具体地，上述存储器702和处理器701能够为通用的存储器和处理器，这里不做具体限定，当处理器701运行存储器702存储的计算机程序时，能够执行上述基于打车的控制方法。

对应于上述基于打车的控制方法，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行上述基于打车的控制方法、装置及自动驾驶汽车方法的步骤。

本申请实施例所提供的基于打车的控制方法、装置及自动驾驶汽车装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台自动驾驶汽车执行本申请各个实施例移动控制方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种基于打车的控制方法，其特征在于，所述方法应用于自动驾驶汽车；所述方法包括：

对目标区域内的行人进行姿势识别，确定招手的目标行人；

控制所述自动驾驶汽车行驶到所述目标行人所在的位置；

在所述自动驾驶汽车行驶到所述目标行人所在的位置后，打开车门，并在所述目标行人上车后关闭车门继续进行行驶。

2.根据权利要求1所述的方法，其特征在于，对目标区域内的行人进行姿势识别，确定招手的目标行人的步骤，包括：

获取所述自动驾驶汽车行驶方向上的目标图像；

对所述目标图像中的初始行人进行识别，并确定所述初始行人的姿势；

当所述初始行人的姿势符合预设的招手姿势时，确定所述初始行人为目标行人，并基于激光雷达辅助确定所述目标行人的位置。

3.根据权利要求2所述的方法，其特征在于，所述初始行人的姿势基于关键点检测实现，所述关键点包括面部关键点、手腕关键点以及肩部关键点，所述面部关键点用于确定朝向；所述预设的招手姿势包括面对车辆、身体指定一侧的手腕高于肩且所述指定一侧的手腕与所述肩的距离大于预设阈值。

4.根据权利要求1所述的方法，其特征在于，在所述目标行人上车后关闭车门继续进行行驶的步骤，包括：

接收所述目标行人上车后输入的目的地；

基于所述目的地进行路径规划；

接收关门操作，将所述车门关闭，并基于所述路径规划继续进行行驶。

5.根据权利要求4所述的方法，其特征在于，所述目的地通过语音输入。

6.根据权利要求1所述的方法，其特征在于，在所述自动驾驶汽车行驶到所述目标行人所在的位置后，打开车门的步骤，包括：

在所述自动驾驶汽车行驶到所述目标行人所在的位置后，控制所述自动驾驶汽车停靠；

接收到开门指令，控制所述自动驾驶汽车打开车门，其中，所述开门指令包括一个或多个方位或编号，每个方位或编号对应一个车门。

7.一种基于打车的控制装置，其特征在于，所述装置应用于自动驾驶汽车；所述装置包括：

识别模块，用于对目标区域内的行人进行姿势识别，确定招手的目标行人；

控制模块，用于控制所述自动驾驶汽车行驶到所述目标行人所在的位置；

所述控制模块还用于，在所述自动驾驶汽车行驶到所述目标行人所在的位置后，打开车门，并在所述目标行人上车后关闭车门继续进行行驶。

8.根据权利要求7所述的装置，其特征在于，识别模块还用于：

获取所述自动驾驶汽车行驶方向上的目标图像；

对所述目标图像中的初始行人进行识别，并确定所述初始行人的姿势；

当所述初始行人的姿势符合预设的招手姿势时，确定所述初始行人为目标行人，并基于激光雷达辅助确定所述目标行人的位置。

9.一种自动驾驶汽车，其特征在于，包括存储器、处理器以及摄像头，所述摄像头用于拍摄图像；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至6任一项所述的方法。

Images