CN113085900A - 一种实现对车辆进行召唤行驶到用户位置的方法 - Google Patents

Abstract

本发明公开了一种实现对车辆进行召唤行驶到用户位置的方法。涉及汽车车辆控制领域、人机交互领域及图像视觉领域；基于车辆周边环境感知、呈现，及手机APP输出的命令，车辆进行自动控制驶向车主并在APP中实时呈现车辆自身信息及周边环境信息。本发明通过传感器采集周边环境信息，并通过3D成像方式实时呈现，让车主在召唤中随时了解车辆状况及周边环境。同时还会将车辆的行驶路径、车速、剩余里程等车辆状态实时呈现给车主，带给车主安全感并方便车主使用，避免不必要的事故及财产损失。

Description

一种实现对车辆进行召唤行驶到用户位置的方法

技术领域

本发明涉及汽车车辆控制领域、人机交互领域及图像视觉领域，尤其涉及一种实现对车辆进行召唤行驶到用户位置的方法。

背景技术

基于车辆周边环境感知、呈现，及手机APP输出的命令，车辆进行自动控制驶向车主并在APP中实时呈现车辆自身信息及周边环境信息的技术。目前汽车生产厂商(如特斯拉)已有通过手机APP对车辆进行召唤的功能，但召唤过程中只呈现了车辆前进、后退状态，其他车辆信息及周边环境没有呈现。特斯拉建议车主当车辆在视线范围内使用该功能，以给车主安全感及防止发生意外，如果离开视线，则无法观察到车辆周边及行驶状态，导致用户没有安全感，车辆行驶过程中如有意外发生，无法及时处理，对车主造成不必要的损失。目前特斯拉已经上线了一键召唤功能，但APP内只有按键和二位地图信息，无法实时查看车辆的行驶状况、周边环境信息、车辆自身状况。通过GPS确认车主位置，根据地图规划路径驶向车主，APP内只能看到二维按钮及地图。目前其他厂商为车辆识别到行人停下来，并不一定是车主，也不一定停在车主最方便的位置。此外，目前没有其他厂商使用三维可视化技术用于一键召唤中。

发明内容

发明目的：针对以上问题，本发明提出一种实现对车辆进行召唤行驶到用户位置的方法，结合三维可视化，利用感知技术、算法技术、三维可视化技术，将车辆召唤过程中车辆自身及周围环境实时呈现在APP上。通过GPS确认车主位置，根据地图规划路线驶向车主，当摄像头识别到车主，计算车主位置，进行二次规划。并在APP中利用三维可视化技术进行呈现。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种实现对车辆进行召唤行驶到用户位置的方法，具体为：

车辆接收服务器转发的召唤命令；所述召唤命令是车主在有召唤车辆需求时，通过移动端发送给服务器的；所述召唤命令包括车主初始位置数据；

车辆根据车辆初始位置数据和所述车主初始位置数据，生成规划路径，以及根据所述规划路径驶向车主；

车辆在驶向车主的途中，采集实时环境图像、车辆实时位置数据和车身实时朝向信息；

针对任一时刻采集的数据，执行以下操作：

车辆识别所述实时环境图像中的实时场景信息，所述实时场景信息包括场景中物体的朝向，物体的长、宽、高数据，以及物体相对车辆的位置；

车辆通过服务器将所述实时场景信息、所述车辆实时位置数据和所述车身实时朝向信息发送给移动端，以使移动端实时加载并显示三维场景。

进一步的，所述方法还包括：

车辆在驶向车主的途中，识别所述实时环境图像中的物体是否位于所述规划路径上，如果位于所述规划路径上，则判断是否为动态物体；

如果为动态物体，且动态物体与车辆之间的距离小于第一阈值，则车辆主动采取刹车避让操作；

如果为静态物体，则车辆主动采取绕行操作。

进一步的，所述方法还包括：

如果所述实时环境图像中的物体位于所述规划路径上，则车辆通过服务器向移动端发送风险提示。

进一步的，所述方法还包括：

车辆在驶向车主的途中，如果接收到服务器转发的控制指令，则根据控制指令执行对应操作；

其中，所述控制指令是车主在查看移动端显示的三维场景时，根据三维场景中做出的刹车、转向或避让的指令，以使车辆对应执行刹车、转向或避让操作。

进一步的，车辆根据所述规划路径驶向车主，包括：

车辆判断所述车辆实时位置数据与所述车主初始位置数据之间的距离是否小于第二阈值，如果小于第二阈值，则开启摄像头主动寻找车主；

如果车辆识别到车主，则通过测距算法确认车主真实位置数据，以及根据所述车主真实位置数据和所述车辆实时位置数据，生成二次规划路径；

车辆根据所述二次规划路径驶向车主。

进一步的，所述方法还包括：

如果车辆未识别到车主，则判断所述车辆实时位置数据与所述车主初始位置数据是否一致，如果一致，则车辆停在当前位置等待车主，如果不一致，则继续行驶到与所述车主初始位置数据一致的位置，或识别到车主重新规划路径。

本发明提供了一种实现对车辆进行召唤行驶到用户位置的方法，具体为：

移动端获取用户触发的召唤指令，所述召唤命令是车主在有召唤车辆需求时触发的；所述召唤命令包括车主初始位置数据；

移动端将所述召唤指令通过服务器发送给车辆，以及接收车辆返回的实时场景信息、车辆实时位置数据和车身实时朝向信息；

移动端实时加载并显示三维场景；

其中，所述实时场景信息是车辆从实时环境图像中识别到的；所述实时环境图像、所述车辆实时位置数据和所述车身实时朝向信息是车辆在驶向车主的途中实时采集到的；

所述实时场景信息包括场景中物体的朝向，物体的长、宽、高数据，以及物体相对车辆的位置。

进一步的，移动端实时加载并显示三维场景，包括：

移动端将所述实时场景信息、所述车辆实时位置数据和所述车身实时朝向信息，加载到预设的三维背景模型中，显示三维场景。

进一步的，所述预设的三维背景模型包括模型库或三维地图厂商提供的场景模型或激光雷达扫描点云模型。

本发明还提供了一种实现对车辆进行召唤行驶到用户位置的装置，包括：

接收单元，用于接收服务器转发的召唤命令；所述召唤命令是车主在有召唤车辆需求时，通过移动端发送给服务器的；所述召唤命令包括车主初始位置数据；

路径规划单元，用于根据车辆初始位置数据和所述车主初始位置数据，生成规划路径，以及根据所述规划路径驶向车主；

数据采集单元，用于在驶向车主的途中，实时采集实时环境图像、车辆实时位置数据和车身实时朝向信息；

数据处理单元，用于针对任一时刻采集的数据，执行以下操作：

识别所述实时环境图像中的实时场景信息，所述实时场景信息包括场景中物体的朝向，物体的长、宽、高数据，以及物体相对车辆的位置；

通过服务器将所述实时场景信息、所述车辆实时位置数据和所述车身实时朝向信息发送给移动端，以使移动端实时加载并显示三维场景。

有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：

本发明通过传感器(摄像头，雷达)采集周边环境信息，并通过3D成像方式实时呈现，让车主在召唤中随时了解车辆状况及周边环境。同时还会降车辆的行驶路径、车速、剩余里程等车辆状态实时呈现给车主，带给车主安全感并方便车主使用，避免不必要的事故及财产损失。摄像头识别到车主的二次规划能够让车辆停车位置更准确。

附图说明

图1是三端通信方法及主流程图；

图2是结束召唤流程的条件示意图；

图3是遇到障碍物的避让逻辑示意图；

图4是一键召唤准备就绪界面；

图5是车辆召唤过程中界面图；

图6是车辆召唤结束界面图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明所述的一种实现对车辆进行召唤行驶到用户位置的方法，通信及主流程如图1所示，其具体实现包括：

车辆接收服务器转发的召唤命令；所述召唤命令是车主在有召唤车辆需求时，通过移动端发送给服务器的；所述召唤命令包括车主初始位置数据。

具体地，移动端可以利用语音服务或点击按钮的方式对车辆发起召唤。

车辆根据车辆初始位置数据和所述车主初始位置数据，生成规划路径，以及根据所述规划路径驶向车主。

车辆在驶向车主的途中，采集实时环境图像、车辆实时位置数据和车身实时朝向信息；同时，如果接收到服务器转发的控制指令，则根据控制指令执行对应操作；

识别所述实时环境图像中的物体是否位于所述规划路径上，如果位于所述规划路径上，则车辆通过服务器向移动端发送风险提示，并判断是否为动态物体；

如果为动态物体，且动态物体与车辆之间的距离小于第一阈值，则车辆主动采取刹车避让操作；如果为静态物体，则车辆主动采取绕行操作；

所述控制指令是车主在查看移动端显示的三维场景时，根据三维场景中做出的刹车、转向或避让的指令，以使车辆对应执行刹车、转向或避让操作。

针对任一时刻采集的数据，执行以下操作：

车辆识别所述实时环境图像中的实时场景信息，所述实时场景信息包括场景中物体的朝向，物体的长、宽、高数据，以及物体相对车辆的位置；

车辆通过服务器将所述实时场景信息、所述车辆实时位置数据和所述车身实时朝向信息发送给移动端，以使移动端实时加载并显示三维场景。

车辆根据所述规划路径驶向车主，包括：

车辆判断所述车辆实时位置数据与所述车主初始位置数据之间的距离是否小于第二阈值，如果小于第二阈值，则开启摄像头主动寻找车主；

如果车辆识别到车主，则通过测距算法确认车主真实位置数据，以及根据所述车主真实位置数据和所述车辆实时位置数据，生成二次规划路径；

车辆根据所述二次规划路径驶向车主。

如果车辆未识别到车主，则判断所述车辆实时位置数据与所述车主初始位置数据是否一致，如果一致，则车辆停在当前位置等待车主，如果不一致，则继续行驶到与所述车主初始位置数据一致的位置，或识别到车主重新规划路径。

如图2，当识别到车主距离车辆周身外沿大于2m，根据车主相对车辆的位置获得一个新的终点，进行二次路径规划，当识别到车主距离车辆周身外沿不大于2m，结束当前召唤流程。

如图3，当有车辆、行人及其他物体出现在车辆行驶路径时，若为动态物体，且距离车辆不大于2m，车辆主动采取刹停避让；若为静态物体，车辆主动采取绕行；

同时将车辆及周围环境呈现在三维可视化界面，对风险车辆、行人、其他物体做风险提示；风险解除后，车辆正常驶向车主召唤位置，继续召唤流程。

本发明提供了一种实现对车辆进行召唤行驶到用户位置的方法，具体为：

移动端获取用户触发的召唤指令，所述召唤命令是车主在有召唤车辆需求时触发的；所述召唤命令包括车主初始位置数据；

移动端将所述召唤指令通过服务器发送给车辆，以及接收车辆返回的实时场景信息、车辆实时位置数据和车身实时朝向信息；

移动端实时加载并显示三维场景；包括：

移动端将所述实时场景信息、所述车辆实时位置数据和所述车身实时朝向信息，加载到预设的三维背景模型中，显示三维场景。

其中，所述实时场景信息是车辆从实时环境图像中识别到的；所述实时环境图像、所述车辆实时位置数据和所述车身实时朝向信息是车辆在驶向车主的途中实时采集到的；

所述实时场景信息包括场景中物体的朝向，物体的长、宽、高数据，以及物体相对车辆的位置。

所述预设的三维背景模型包括模型库或三维地图厂商提供的场景模型或激光雷达扫描点云模型。

具体地，获取实时场景信息后，从模型库中提取预设的三维模型，库中没有的模型，采用方盒子替代，根据计算出的物体长、宽、高，对方盒子尺寸进行对应调整，并将结果上传服务器进行记录、存储，后续版本模型库中进行补充。

图4～6分别展示了移动端智能召唤功能的一键召唤准备就绪界面，车辆召唤过程中的界面以及车辆召唤结束的界面。

本发明还提供了一种实现对车辆进行召唤行驶到用户位置的装置，包括：

接收单元，用于接收服务器转发的召唤命令；所述召唤命令是车主在有召唤车辆需求时，通过移动端发送给服务器的；所述召唤命令包括车主初始位置数据；

路径规划单元，用于根据车辆初始位置数据和所述车主初始位置数据，生成规划路径，以及根据所述规划路径驶向车主；

数据采集单元，用于在驶向车主的途中，实时采集实时环境图像、车辆实时位置数据和车身实时朝向信息；

数据处理单元，用于针对任一时刻采集的数据，执行以下操作：

识别所述实时环境图像中的实时场景信息，所述实时场景信息包括场景中物体的朝向，物体的长、宽、高数据，以及物体相对车辆的位置；

通过服务器将所述实时场景信息、所述车辆实时位置数据和所述车身实时朝向信息发送给移动端，以使移动端实时加载并显示三维场景。

具体地，在车辆周身部署包括但不限摄像头、激光雷达、毫米波雷达、超声波雷达；通过车辆周身的摄像头进行图像数据采集，毫米波雷达、超声波雷达进行点云数据采集；

摄像头采集车辆周围环境图像，通过预先进行深度学习的图像识别模块，对摄像头采集的图像进行物体识别，识别出图像中的机动车、非机动车、行人、动物以及其他物体，计算出物体的朝向、长、宽、高；

通过摄像头测距、雷达测距融合方式，得到物体相对车辆的位置，具体为：通过双目测距，测量识别到物体的距离，并通过雷达采集的数据进行矫正，以得到一个误差较小的距离数值，以本车为原点，通过识别到的物体与本车的距离、角度，得到识别到物体的相对位置；

同时数据采集单元中的GPS、IMU获取车辆当前位置、车身朝向信息。

Claims (10)

1.一种实现对车辆进行召唤行驶到用户位置的方法，其特征在于，该方法具体为：

车辆接收服务器转发的召唤命令；所述召唤命令是车主在有召唤车辆需求时，通过移动端发送给服务器的；所述召唤命令包括车主初始位置数据；

车辆根据车辆初始位置数据和所述车主初始位置数据，生成规划路径，以及根据所述规划路径驶向车主；

车辆在驶向车主的途中，采集实时环境图像、车辆实时位置数据和车身实时朝向信息；

针对任一时刻采集的数据，执行以下操作：

车辆识别所述实时环境图像中的实时场景信息，所述实时场景信息包括场景中物体的朝向，物体的长、宽、高数据，以及物体相对车辆的位置；

车辆通过服务器将所述实时场景信息、所述车辆实时位置数据和所述车身实时朝向信息发送给移动端，以使移动端实时加载并显示三维场景。

2.根据权利要求1所述的实现对车辆进行召唤行驶到用户位置的方法，其特征在于，所述方法还包括：

车辆在驶向车主的途中，识别所述实时环境图像中的物体是否位于所述规划路径上，如果位于所述规划路径上，则判断是否为动态物体；

如果为动态物体，且动态物体与车辆之间的距离小于第一阈值，则车辆主动采取刹车避让操作；

如果为静态物体，则车辆主动采取绕行操作。

3.根据权利要求2所述的实现对车辆进行召唤行驶到用户位置的方法，其特征在于，所述方法还包括：

如果所述实时环境图像中的物体位于所述规划路径上，则车辆通过服务器向移动端发送风险提示。

4.根据权利要求1所述的实现对车辆进行召唤行驶到用户位置的方法，其特征在于，所述方法还包括：

车辆在驶向车主的途中，如果接收到服务器转发的控制指令，则根据控制指令执行对应操作；

其中，所述控制指令是车主在查看移动端显示的三维场景时，根据三维场景中做出的刹车、转向或避让的指令，以使车辆对应执行刹车、转向或避让操作。

5.根据权利要求1所述的实现对车辆进行召唤行驶到用户位置的方法，其特征在于，车辆根据所述规划路径驶向车主，包括：

车辆判断所述车辆实时位置数据与所述车主初始位置数据之间的距离是否小于第二阈值，如果小于第二阈值，则开启摄像头主动寻找车主；

如果车辆识别到车主，则通过测距算法确认车主真实位置数据，以及根据所述车主真实位置数据和所述车辆实时位置数据，生成二次规划路径；

车辆根据所述二次规划路径驶向车主。

6.根据权利要求5所述的实现对车辆进行召唤行驶到用户位置的方法，其特征在于，所述方法还包括：

如果车辆未识别到车主，则判断所述车辆实时位置数据与所述车主初始位置数据是否一致，如果一致，则车辆停在当前位置等待车主，如果不一致，则继续行驶到与所述车主初始位置数据一致的位置，或识别到车主重新规划路径。

7.一种实现对车辆进行召唤行驶到用户位置的方法，其特征在于，包括以下步骤：

移动端获取用户触发的召唤指令，所述召唤命令是车主在有召唤车辆需求时触发的；所述召唤命令包括车主初始位置数据；

移动端将所述召唤指令通过服务器发送给车辆，以及接收车辆返回的实时场景信息、车辆实时位置数据和车身实时朝向信息；

移动端实时加载并显示三维场景；

其中，所述实时场景信息是车辆从实时环境图像中识别到的；所述实时环境图像、所述车辆实时位置数据和所述车身实时朝向信息是车辆在驶向车主的途中实时采集到的；

所述实时场景信息包括场景中物体的朝向，物体的长、宽、高数据，以及物体相对车辆的位置。

8.根据权利要求7所述的实现对车辆进行召唤行驶到用户位置的方法，其特征在于，移动端实时加载并显示三维场景，包括：

移动端将所述实时场景信息、所述车辆实时位置数据和所述车身实时朝向信息，加载到预设的三维背景模型中，显示三维场景。

9.根据权利要求8所述的实现对车辆进行召唤行驶到用户位置的方法，其特征在于，所述预设的三维背景模型包括模型库或三维地图厂商提供的场景模型或激光雷达扫描点云模型。

10.一种实现对车辆进行召唤行驶到用户位置的装置，其特征在于，所述装置包括：

接收单元，用于接收服务器转发的召唤命令；所述召唤命令是车主在有召唤车辆需求时，通过移动端发送给服务器的；所述召唤命令包括车主初始位置数据；

路径规划单元，用于根据车辆初始位置数据和所述车主初始位置数据，生成规划路径，以及根据所述规划路径驶向车主；

数据采集单元，用于在驶向车主的途中，实时采集实时环境图像、车辆实时位置数据和车身实时朝向信息；

数据处理单元，用于针对任一时刻采集的数据，执行以下操作：

识别所述实时环境图像中的实时场景信息，所述实时场景信息包括场景中物体的朝向，物体的长、宽、高数据，以及物体相对车辆的位置；

通过服务器将所述实时场景信息、所述车辆实时位置数据和所述车身实时朝向信息发送给移动端，以使移动端实时加载并显示三维场景。

Images