CN116880515B - 一种车辆遥控控制方法、装置及无人车 - Google Patents

Abstract

本公开提供了一种车辆遥控控制方法、装置及无人车，涉及车辆控制领域领域，该方法包括：接收操作人员启动遥控驾驶模式的指令；开启至少一个摄像头，并识别对标物和至少一个指示组件，并获得所述指示组件和所述对标物的相对位置关系；基于所述相对位置关系，控制所述车辆行驶。本公开实施例，通过摄像头图像识别，使车辆获取操作人员的速度与转向控制指令，达到了仅通过增加感知识别算法即可控制车辆，通过设置指示组件的钥匙性质的结构，实现车辆与遥控指示组件的对应，保证权限接管的安全性。

Description

一种车辆遥控控制方法、装置及无人车

技术领域

本公开涉及车辆控制领域，特别是涉及一种车辆遥控控制方法、装置及无人车。

背景技术

自动驾驶技术的发展，使得中低速自动驾驶车辆，特别是中低速无人车有了更多的市场应用空间。对于无人车的运行模式，现有技术一般包括自动驾驶模式、平行驾驶模式以及遥控驾驶模式。在部分工况下，自动驾驶模式和平行驾驶模式存在局限性，需要有操作人员在现场采用遥控驾驶模式对无人车进行控制。

现有技术中，无人车如果与遥控器一一对应，遥控器的采购和无人车携带遥控器的空间需求，都会增加无人车运营成本。如果是手机作为遥控器，则需要保证无人车在联网功能正常且手机功能正常的情况下，才能够实现手机遥控，同时手机遥控也存在监管权限方面的安全风险。

发明内容

为了克服现有技术的不足，本公开提供一种车辆遥控控制方法及装置，扩展了车辆遥控驾驶方式，利用车辆原有的感知能力，不需要再设置遥控器，因指示组件与自动驾驶车辆一一对应，不会存在控制干扰的影响，保障了安全性。为了实现上述目的，本公开实施例采用的技术方案如下：

一种车辆遥控控制方法，其特征在于，方法步骤包括：接收操作人员启动遥控驾驶模式的指令；开启至少一个摄像头，并识别对标物和至少一个指示组件，并获得所述指示组件和所述对标物的相对位置关系；基于所述相对位置关系，控制所述车辆行驶。

优选的，所述指示组件包括至少一个第一指示组件，所述第一指示组件与所述对标物的第一相对位置关系与所述车辆的速度控制信号对应。

优选的，所述指示组件还包括第二指示组件，所述第二指示组件与所述对标物的第二相对位置关系与所述车辆的转向控制信号对应。

优选的，所述第一指示组件和所述第二指示组件分别包括连接端、杆主体和标识端，所述第一指示组件和所述第二指示组件通过连接端连接以相互转动，所述第一指示组件和所述第二指示组件的识别部具有特定造型特征，所述特定造型特征与所述指示组件对应的所述车辆预存储信息对应。

优选的，所述车辆开启至少一个摄像头，并识别对标物和至少一个指示组件，包括：所述摄像头基于语义分割识别图像中的所述指示组件和所述对标物，所述对标物为操作人员，将所述摄像头采集图像中与所述指示组件重叠面积最大或距离最近的行人确认为操作人员。

优选的，将所述摄像头采集图像中与所述指示组件重叠面积最大或距离最近的行人确认为操作人员，包括：基于连续多帧图像，确定操作人员直立时人形轮廓在摄像头图像中的角度作为第一基准线，将与所述第一基准线垂直的角度作为第二基准线，将所述指示组件与所述第一基准线和/或所述第二基准线的夹角作为所述相对位置关系，控制所述车辆行驶。

优选的，基于连续多帧图像，确定操作人员直立时人形轮廓在摄像头图像中的角度，包括：所述车辆发出开始确定所述第一基准线的提示，所述操作人员固定直立姿势预定时长，所述车辆确定所述第一基准线后，发出所述第一基准线确定成功的提示。

优选的，基于所述相对位置关系，控制所述车辆行驶，包括；基于所述相对位置关系，控制所述车辆行驶，包括；所述操作人员一只手握持所述指示组件，另一只手采用预设动作，指示结束遥控驾驶模式。

第二方面，本公开提供了一种车辆遥控控制装置，其特征在于，包括：接收模块，接收操作人员启动遥控驾驶模式的指令；感知模块，识别对标物和至少一个指示组件，并获得所述指示组件和所述对标物的相对位置关系；确定模块，基于所述相对位置关系，控制所述车辆行驶。

第三方面，本公开提供了一种无人车，其特征在于，包括上述的车辆遥控控制装置。

本公开采用上述的基于图像识别的车辆控制方法，与现有技术相比，具有以下有益效果：

本公开基于自动驾驶车辆现有的感知能力，通过摄像头的图像识别和语义分割，使无人车获取操作人员的速度与转向控制指令，达到了仅通过增加感知识别算法即可控制无人车，可以省去遥控器或不必须携带遥控器，降低使用成本。同时在无人车通信功能异常的情况下，也可实现无人车的遥控。通过设置指示组件的钥匙性质的结构，实现车辆与遥控指示组件的一一对应，保证权限接管的安全性。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开具体实施例中的车辆遥控控制方法的示意图；

图2为本公开具体实施例中的识别到指示组件和对标物的示意图；

图3为本公开具体实施例中的识别到指示组件和操作人员的示意图；

图4为本公开具体实施例中的确定指示组件与基准线夹角的示意图；

图5为本公开另一具体实施例中的车辆遥控控制方法的示意图；

图6为本公开另一具体实施例中的车辆遥控控制装置的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本公开作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本公开能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本公开相关的一些操作并没有在说明书中显示或者描述，这是为了避免本公开的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本公开所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

现有自动驾驶车辆，包括无人车，需要多传感器信息采集并经过复杂的信息融合，并进行复杂预测和规划才能对车辆进行控制，车辆行驶路况复杂多变，现有感知和规划技术不能确保任何路况下的绝对安全性和可靠性，同时经典的摄像头、激光雷达均在存在特点场景下的感知能力缺陷，因此自动驾驶车辆需要在部分场景下通过遥控驾驶模式，基于现场操作人员通过遥控信号进行车辆的控制。

现有技术中，自动驾驶车辆大多采用遥控器和/或手机等终端进行车辆遥控控制，但其前提是必须由车辆或操作人员携带遥控器，或车辆需要在通信功能正常的情况下才能够实现。

针对上述技术问题，本公开提供了一种车辆遥控控制方法，图1为第一实施例的流程图，具体包括：

步骤S101，车辆接收操作人员启动遥控驾驶模式的指令。

其中，车辆的类型不做具体限定，可以是自动驾驶车辆，包括无人车，可以是带有图像感知能力的车辆，包括乘用车、商用车或轨道车辆等。遥控驾驶模式必须由操作人员参与，因此车辆必须是由操作人员向车辆发出指令。车辆接收操作人员启动遥控驾驶模式指令的方式，本公开不做具体限定，可以是在车辆上设置遥控驾驶按键并输入密码、可以是使用钥匙开启、也可以是扫描车辆上设置的二维码通过线上输入密码等。优选的，车辆设置多种接收指令的方式，以防止车辆因部分故障损坏导致因单一指令方式而无法接收到启动遥控驾模式的指令。

步骤S102，开启至少一个摄像头，并识别对标物和至少一个指示组件，并获得指示组件和对标物的相对位置关系。

其中，车辆开启至少一个摄像头，通过摄像头采集的图像作为车辆行驶控制的信号输入，基于语义分割识别图像中的指示组件和对标物，基于对图像内容的分析，控制车辆行驶。在一些实施例中，摄像头为后摄像头，操作人员可以在车辆后方，便于观察车辆周围的环境信息。优选的，摄像头包括多个，可以基于多个摄像头的图像进行融合，得到准确的指示组件和对标物的相对位置关系，可提高控制信号采集的可靠性。

在一些实施例中，指示组件和对标物的外表面上粘贴或涂敷特殊材料和/或特殊颜色，以方便车辆识别到指示组件和对标物。特殊材料和/或特殊颜色的选用在此不做赘述，方便摄像头快速和准确识别到指示组件即可。

在一些实施例中，指示组件可以为一个，其与对标物的相对位置关系用于确定车辆的速度。参见图2，在一些实施例中，指示组件和对标物分别设置有握持杆，操作人员通过握持杆握持指示组件和对标物，方便摄像头尽可能多地采集到指示组件和对标物的全部轮廓，便于快速准确识别。指示组件和对标物的中心点存储于对应车辆中。车辆识别到指示组件和对标物，并获取指示组件和对标物的中心点。车辆基于识别到的指示组件和对标物的垂向高度确定车辆的运动方向，当指示组件高于握持杆预设阈值时，则车辆向前行驶，当指示组件低于握持杆预设阈值时，则车辆向后行驶，当指示组件和握持杆接近于平行时，即垂向高度差L1小于等于预设阈值时，车辆停止。同时，车辆获取指示组件和对标物的距离，基于距离确定车辆行驶速度。例如，指示组件与对标物距离在10cm和20cm时，车辆的速度分别为3km/h和6km/h。在一些实施例中，指示组件和对标物的垂向高度和距离也可以采用现有物体相对位置的其他计算方式确定。操作人员观察车辆行驶状态是否符合预期，根据实际行驶的状态动态调整指示组件和所述对标物的相对位置关系。在一些实施例中，指示组件与对标物的相对位置关系也可以为距离、角度、相对上下关系、相对左右关系等。指示组件与对标物的相对位置关系可以由上述方式进行组合。

在一些实施例中，指示组件包括一个第一指示组件，第一指示组件与对标物的第一相对位置关系与所述车辆的速度控制信号对应，在轨道车辆等领域内，仅通过第一指示组件确定控制信号即可控制车辆速度。在一些实施例中，指示组件还包括第二指示组件，第二指示组件与所述对标物的第二相对位置关系与所述车辆的转向控制信号对应，基于第一指示组件确定速度，同时基于第二指示组件确定转向信号。

在一些实施例中，所述摄像头基于语义分割识别图像中的所述指示组件和对标物，对标物为操作人员，将摄像头采集图像中与指示组件重叠面积最大或距离最近的行人确认为操作人员，将操作人员作为对标物，可以更为方便地确定基准线。车辆发出开始确定所述第一基准线的提示，操作人员固定直立姿势预定时长，基于语义分割，识别到操作人员，并将操作人员直立时人形轮廓在摄像头图像中的角度作为操作人员直立角度，将操作人员直立角度作为第一基准线。优选的，摄像头获取连续N帧图像中操作人员的直立角度，基于连续N帧图像中操作人员直立角度，确定第一基准线。在一些实施例中，所述车辆为中低速无人车，其控制信号不必须有高精度的要求，因此确定第一基准线也不需要相对的高精度，操作人员基于指示组件与第一基准线的相对位置关系和车辆的运行状态，可以动态的调整控制操作。

在一些实施例中，第一指示组件和第二指示组件分别为杆形结构，分别包括连接端21、杆主体22和标识端23。如图3和图4所示，第一指示组件和第二指示组件通过连接端21连接以相互转动，方便操作人员调整指示组件的角度。第一指示组件和第二指示组件的标识端23设置特定造型以使所述每一个指示组件具有唯一的造型特征。每个车辆均存储与自车对应的指示组件的特定造型，只有当检测到存在与其存储的造型对应的指示组件时，车辆才确定可以进行遥控驾驶模式。

在一些实施例中，当摄像头识别到第一指示组件和第二指示组件后，将杆主体22的中心线与第一基准线和/或第二基准线的夹角作为第一指示组件和第二指示组件与基准线的相对位置关系。如图4，第一指示组件的中心线与第一基准线的夹角为θ1，第二指示组件的中心线与第二基准线的夹角为θ2。

步骤S103，基于相对位置关系，控制车辆行驶。

车辆在识别到指示组件和所述对标物的相对位置关系后，基于预设的相对位置关系与车辆行驶控制信号的对应关系，确定车辆行驶信号，基于车辆行驶信号，控制车辆动力系统运行。在此过程中，操作人员观察车辆行驶状态是否符合预期，根据实际行驶的状态动态调整指示组件和所述对标物的相对位置关系，类似于乘用车驾驶员不确定方向盘具体的转动角度和油门踏板具体的踩下深度，基于观察到的车辆实际行驶状态，动态调整方向盘和油门踏板以达到车辆行驶符合预期。

在车辆自动驾驶功能故障和/或车辆通信功能故障的情况下，通过现有的感知能力，操作人员在无人车后方，通过指示组件对无人车进行控制，可以实现车辆的行驶。不需要再设置遥控器，因指示组件与无人车对应，提高了遥控驾驶接管的安全性。

图5为本公开另一具体实施例中的车辆遥控控制方法的示意图。该车辆遥控控制方法可以包括以下步骤：

步骤S201，接收操作人员启动遥控驾驶模式的指令。

在一些实施例中，车辆确认接收到操作人员启动遥控驾驶模式的指令后，可开启车辆的门锁，使操作人员可将指示组件从车辆中取出。

步骤S202，判断摄像头和动力系统功能是否满足启动条件，车辆基于自身故障检测功能确定是否达到了遥控驾驶模式硬件方面的启动条件。若是，进入步骤S203，若否，发送遥控驾驶模式运行失败的提示，结束流程。

步骤S203，车辆发出待确认基准线的提示，操作人员在预定时间内手持指示组件并完成预定动作。

其中，待确认基准线的提示可以为车辆发出提示音、车辆灯光闪烁等方式，目的在于使操作人员明确要进行预定动作，使车辆与操作人员和指示组件锁定。在车辆硬件条件满足遥控驾驶模式启动条件的基础上，此步骤目的为确认操作人员和指示组件是否也准备完毕。操作人员手持指示组件并完成预定动作不做具体限定，能够让车辆摄像头快速且准确地识别到指示组件和预定动作即可。

步骤S204，判断是否识别到指示组件和预定动作。若是，进入步骤S205，若否，发送遥控驾驶模式运行失败的提示，结束流程。

其中，车辆发出待确认基准线的提示后的一定预设时间内，只要车辆识别到指示组件和预定动作即可。为确认基准线，操作人员姿态要保持直立，以确定基准线。例如，车辆发出待确认基准线的提示后10秒内，操作人员保持直立并左手持指示组件，右手臂向上伸直持续3秒，车辆即确认识别到指示组件和预定动作。

在一些实施例中，指示组件的外表面上粘贴或涂敷特殊材料和/或特殊颜色，以方便车辆摄像头识别到指示组件。

步骤S205，确认基准线，并提示车辆处于遥控驾驶模式状态。其中，车辆显示屏、指示灯等方式可提示操作人员和周围车辆行人，该车辆处于遥控驾驶模式。

步骤S206，识别到指示组件的位置置于车辆速度为零和转向角度为零的状态持续2s后，接收相对位置关系控制车辆行驶。

其中，车辆在启动遥控驾驶模式开始时处于车辆停止状态。车辆识别到指示组件的位置置于车辆停车和转向角度为零的状态持续2s后，控制车辆对应状态也为车辆停车和转向角度为零的状态，即使指示组件的位置与车辆当前状态对应。之后操作人员调整指示组件的位置，车辆摄像头通过采集指示组件和基准线的角度，控制车辆行驶。

步骤S207，判断是否识别到指示组件出现异常动作。若否，进入步骤S208，若是，发送遥控驾驶模式运行失败的提示，结束流程。

其中，异常动作包括指示组件持续消失预定时长、第一指示组件和第二指示组件的位置同时大范围的变化等。指示组件的异常动作不做具体限定，判定标准可基于测试过程中，操作人员容易出现的操作失误、操作人员处理突发事件等特殊情况总结获得。

步骤S208，维持车辆的遥控驾驶模式，当接收车辆接收到遥控驾驶模式停止指令时，车辆停止。

其中，遥控驾驶模式停止指令，可基于操作人员的动作和/或指示组件的位置确定。在一些实施例中，操作人员一只手握持指示组件连接端21并将其向下放置，另一只手采用预设动作，指示结束遥控驾驶模式。

基于上述实施例，图6是本公开另一具体实施例中的车辆遥控控制装置的结构示意图。该车辆遥控控制装置50可以包括：接收模块501、感知模块502、确定模块503和提示模块504。

接收模块501，被配置为接收操作人员启动遥控驾驶模式的指令。

感知模块502，被配置为开启至少一个摄像头，并识别对标物和至少一个指示组件，并获得指示组件和对标物的相对位置关系。

确定模块503，被配置为基于所述相对位置关系，控制车辆行驶。

提示模块504，被配置为提示操作人员对应车辆的当前状态。

本公开实施例中的上述各模块的功能以及实现原理，可参照上述各方法的实施例，此处不再赘述。

为了实现上述实施例，本公开提供了一种无人车，其特征在于，包括上述的车辆遥控控制装置。

上述实施例提供的车辆遥控控制装置及无人车能够实现上述车辆遥控控制方法的实施例中的各个过程，为避免重复，这里不再赘述。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (8)

1.一种车辆遥控控制方法，其特征在于，方法步骤包括：

车辆接收操作人员启动遥控驾驶模式的指令；

车辆开启至少一个摄像头，并基于语义分割识别图像中的至少一个指示组件和对标物，所述对标物为所述操作人员，将所述摄像头采集图像中与所述指示组件重叠面积最大或距离最近的行人确认为所述操作人员，并获得所述指示组件和所述对标物的相对位置关系；

所述获得所述指示组件和所述对标物的相对位置关系包括：基于连续多帧图像，确定所述操作人员直立时人形轮廓在摄像头图像中的角度作为第一基准线，将与所述第一基准线垂直的角度作为第二基准线，将所述指示组件与所述第一基准线和/或所述第二基准线的夹角作为所述相对位置关系；

基于所述相对位置关系，控制所述车辆行驶。

2.根据权利要求1所述的车辆遥控控制方法，其特征在于，所述指示组件包括至少一个第一指示组件，所述第一指示组件与所述对标物的第一相对位置关系与所述车辆的速度控制信号对应。

3.根据权利要求2所述的车辆遥控控制方法，其特征在于，所述指示组件还包括第二指示组件，所述第二指示组件与所述对标物的第二相对位置关系与所述车辆的转向控制信号对应。

4.根据权利要求3所述的车辆遥控控制方法，其特征在于，所述第一指示组件和所述第二指示组件分别包括连接端、杆主体和标识端，所述第一指示组件和所述第二指示组件通过连接端连接以相互转动，所述第一指示组件和所述第二指示组件的识别部具有特定造型特征，所述特定造型特征与所述指示组件对应的车辆预存储信息对应。

5.根据权利要求1所述的车辆遥控控制方法，其特征在于，基于连续多帧图像，确定所述操作人员直立时人形轮廓在摄像头图像中的角度作为第一基准线，包括：所述车辆发出开始确定所述第一基准线的提示，所述操作人员固定直立姿势预定时长，所述车辆确定所述第一基准线后，发出所述第一基准线确定成功的提示。

6.根据权利要求1所述的车辆遥控控制方法，其特征在于，基于所述相对位置关系，控制所述车辆行驶，包括；所述操作人员一只手握持所述指示组件，另一只手采用预设动作，指示结束遥控驾驶模式。

7.一种车辆遥控控制装置，其特征在于，包括：

车辆接收模块，接收操作人员启动遥控驾驶模式的指令；

车辆感知模块，基于语义分割识别图像中的至少一个指示组件和对标物，所述对标物为所述操作人员，将摄像头采集图像中与所述指示组件重叠面积最大或距离最近的行人确认为所述操作人员，并获得所述指示组件和所述对标物的相对位置关系；

所述获得所述指示组件和所述对标物的相对位置关系包括：基于连续多帧图像，确定所述操作人员直立时人形轮廓在摄像头图像中的角度作为第一基准线，将与所述第一基准线垂直的角度作为第二基准线，将所述指示组件与所述第一基准线和/或所述第二基准线的夹角作为所述相对位置关系；

确定模块，基于所述相对位置关系，控制所述车辆行驶。

8.一种无人车，其特征在于，包括权利要求7所述的车辆遥控控制装置。