CN118025014A - 行车辅助方法、装置、介质及设备 - Google Patents

Abstract

本申请实施例提供一种行车辅助方法、装置、介质及设备，该方法包括：在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；以画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；将目标图像叠加显示在增强现实设备的显示界面上并与目标障碍物所在区域对应。本申请能够在一定程度上相当于消除了目标障碍物的视觉盲区，在保证目标障碍物强度的情况下，减少目标障碍物盲区给车主行驶过程中带来的不便和安全隐患。

Description

行车辅助方法、装置、介质及设备

技术领域

本申请涉及电子通信技术领域，尤其涉及一种设备升级技术领域，特别涉及一种行车辅助方法、装置、介质及设备。

背景技术

为了提升车架稳定性，通常会在车架的相应位置设置连接柱。以A柱为例，A柱是汽车左前方、右前方连接车顶和前舱的连接柱，因其位置的特殊性，车主的视野会被A柱部分遮挡，造成A柱区域的视觉盲区。目前A柱的设计存在两难的选择，宽度过小会导致车身强度不足，宽度太大又会影响车主视野，在行驶过程给车主带来不便的同时还存在安全隐患。因此如何在保证A柱强度的情况下，减少A柱盲区给车主行驶过程中带来的不便和安全隐患是一个有待解决的问题。

发明内容

本申请实施例提供一种行车辅助方法、装置、介质及设备，利用本申请实施例提供的行车辅助方法，以解决由于车主在行驶过程中容易受到目标障碍物的影响造成视觉盲区，进而在行驶过程中给车主带来不便和安全隐患的问题。

本申请实施例一方面提供了一种行车辅助方法，所述行车辅助方法包括：

在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；

以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；

将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

在本申请实施例所述的行车辅助方法中，在所述以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像之前，所述方法还包括：

在检测到车辆处于停止状态时，将用户视野前方的画面图像输入预训练的目标识别模型中进行目标识别操作，得到识别结果；

若所述识别结果中显示存在目标障碍物，则提取所述画面图像中目标障碍物对应的轮廓边界框并保存。

在本申请实施例所述的行车辅助方法中，在所述将用户视野前方的画面图像输入预训练的目标识别模型中进行目标识别操作之前，所述方法还包括：

根据当前的环境亮度值，选择与所述环境亮度值对应的目标识别模型对画面图像进行识别操作。

在本申请实施例所述的行车辅助方法中，在所述以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像之前，所述方法还包括：

从历史记录的历史画面图像中获取两张连续的帧图像，根据所述两张连续的帧图像确定车辆的行驶状态为前进或后退。

在本申请实施例所述的行车辅助方法中，所述根据所述两张连续的帧图像确定车辆的行驶状态为前进或后退，包括：

分别提取所述两张连续的帧图像中用于表征图像特征的特征点，所述特征点包括角点、边缘及斑点中的任一种；

使用特征匹配算法将两张连续的帧图像中的特征点进行匹配，获取所述两张连续的帧图像中相同的特征点；

通过相同的特征点，估计出两张连续的帧图像之间的运动变换，得到估计结果；

基于所述估计结果，推断出车辆的行驶状态为前进或后退。

在本申请实施例所述的行车辅助方法中，在所述从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像之前，所述方法还包括：

从历史记录的历史画面图像中识别出目标障碍物对应的轮廓边界框，根据所述轮廓边界框对所述历史画面图像进行分割操作，得到位于所述轮廓边界框左侧的第一图像及位于所述轮廓边界框右侧的第二图像；

所述从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像，包括:

按照所述行驶状态为前进或后退，从历史记录的历史画面图像中选取与行驶状态对应的第一图像或第二图像，从所述第一图像或第二图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像。

在本申请实施例所述的行车辅助方法中，所述增强现实设备包括至少两个摄像头，通过对所述至少两个摄像头采集的画面数据拼接得到所述画面图像，以模拟人眼视野覆盖范围。

相应的，本申请实施例另一方面还提供了一种行车辅助装置，所述行车辅助装置包括：

检测模块，用于在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；

截取模块，用于以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；

显示模块，用于将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

相应的，本申请实施例另一方面还提供了一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如上所述的行车辅助方法。

相应的，本申请实施例另一方面还提供了一种终端设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行如上所述的行车辅助方法。

本申请实施例提供了一种行车辅助方法、装置、介质及设备，该方法通过在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；以画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；将目标图像叠加显示在增强现实设备的显示界面上并与目标障碍物所在区域对应。利用本申请实施例提供的行车辅助方法，通过增强现实设备上安装的摄像头获取用户视野前方的画面图像，在车辆静止状态下从画面图像中识别出目标障碍物的轮廓边界框，在检测到行驶状态时，以目标障碍物的轮廓边界框为模板从历史记录的历史画面图像中截取尺寸与轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像，将目标图像显示在增强现实设备上并与车主眼睛锁定目标障碍物的所在区域对应。在一定程度上相当于消除了目标障碍物的视觉盲区，在保证目标障碍物强度的情况下，减少目标障碍物盲区给车主行驶过程中带来的不便和安全隐患。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的行车辅助方法的流程示意图。

图2为本申请实施例中将目标图像叠加显示在增强现实设备的显示界面上的示意图。

图3为本申请实施例提供的行车辅助装置的结构示意图。

图4为本申请实施例提供的行车辅助装置的另一结构示意图。

图5为本申请实施例提供的终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

需要说明的是，以下内容是对本方案背景做出的简单介绍：

本方案主要是围绕“由于车主在行驶过程中容易受到目标障碍物的影响造成视觉盲区，进而在行驶过程中给车主带来不便和安全隐患”这一技术问题展开的。可以理解的是，为了提升车架稳定性，通常会在车架的相应位置设置连接柱。以A柱为例，A柱是汽车左前方、右前方连接车顶和前舱的连接柱，因其位置的特殊性，车主的视野会被A柱部分遮挡，造成A柱区域的视觉盲区。目前A柱的设计存在两难的选择，宽度过小会导致车身强度不足，宽度太大又会影响车主视野，在行驶过程给车主带来不便的同时还存在安全隐患。因此如何在保证A柱强度的情况下，减少A柱盲区给车主行驶过程中带来的不便和安全隐患是一个有待解决的问题。

为了解决上述技术问题，本申请实施例提供一种行车辅助方法。利用本申请实施例提供的行车辅助方法，通过增强现实设备上安装的摄像头获取用户视野前方的画面图像，在车辆静止状态下从画面图像中识别出目标障碍物的轮廓边界框，在检测到行驶状态时，以目标障碍物的轮廓边界框为模板从历史记录的历史画面图像中截取尺寸与轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像，将目标图像显示在增强现实设备上并与车主眼睛锁定目标障碍物的所在区域对应。在一定程度上相当于消除了目标障碍物的视觉盲区，在保证目标障碍物强度的情况下，减少目标障碍物盲区给车主行驶过程中带来的不便和安全隐患。

请参阅图1，图1为本申请实施例提供的行车辅助方法的流程示意图。所述行车辅助方法，应用于终端设备中。可选地，该终端设备为终端或服务器。可选地，该服务器是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地，该终端是增强现实设备、智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电及车载终端等，但并不局限于此。

在一实施例中，所述方法可以包括以下步骤：

步骤101，在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像。

需要解释的是，目标障碍物以A柱为例，A柱是汽车左前方、右前方连接车顶和前舱的连接柱，因其位置的特殊性，车主的视野会被A柱部分遮挡，造成A柱区域的视觉盲区，不仅会影响车主驾驶过程的视野，还可能因为A柱的遮挡导致车主无法及时发现行人或障碍物，进而造成安全事故。

为了解决上述技术问题，本方案通过结合增强现实设备(例如AR眼镜)为车主在行驶过程中提供了目标障碍物消除功能，能够在一定程度上相当于消除了目标障碍物的视觉盲区，在保证目标障碍物强度的情况下，减少目标障碍物盲区给车主行驶过程中带来的不便和安全隐患。目标障碍物消除功能既可以由车主自发开启，也可以根据车主的实际情况智能判断是否开启。在本实施例中，重点以后者为例进行说明，通过在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物超过预设时长(例如1s)时，开启目标障碍物消除功能，并记录位于用户视野前方的画面图像。

增强现实设备包括至少两个摄像头，通过对至少两个摄像头采集的画面数据拼接得到画面图像，以模拟人眼视野覆盖范围。

步骤102，以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像。

由于在用户视野前方采集到的画面图像能够记录即将被目标障碍物遮挡的画面，因此基于此发现，若能够将即将被目标障碍物遮挡的画面以一定的比例尺寸进行截取后显示在目标障碍物所在区域，便能够从视觉上看到被目标障碍物遮挡的画面，实现消除目标障碍物盲区的视觉效果。因此，在本实施例中，将以画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像作为消除目标障碍物盲区的画面。

需要说明的是，为了能够确定目标障碍物的轮廓边界框，可以在检测到车辆处于停止状态时，将用户视野前方的画面图像输入预训练的目标识别模型中进行目标识别操作，得到识别结果，若识别结果中显示存在目标障碍物，则提取画面图像中目标障碍物对应的轮廓边界框并以图像文件或者其他数据格式作为模板进行保存。

需要进一步说明的是，可以采用如卷积神经网络(CNN)或生成对抗网络(GAN)等神经网络模型训练得到能够识别画面图像中是否存在目标障碍物的目标识别模型。神经网络模型的选定在此不做限定，且由于神经网络模型属于成熟技术，在本方案中并未对其进行改进或优化，因此不对其模型结构及训练过程做赘述。

进一步地，在本实施例中，通过训练多种用于识别画面图像中是否存在目标障碍物的目标识别模型，将多种类型的目标识别模型预置在系统中，每种目标识别模型对应一种天气信息(例如晴天、下雨、阴天等)或环境亮度值，可以由用户主动切换指定的目标识别模型，或通过获取天气信息或环境亮度值智能切换匹配当前天气或环境亮度值的目标识别模型，能够降低模型的训练难度，并且能够减少模型的数据处理量。

在一具体实施方式中，可以在与增强现实设备配合使用的APP或增强现实设备上配置可供用户进行选择的多个候选目标识别模型，当用户基于上述设定选择好候选目标识别模型后，系统响应于针对候选目标识别模型的第一选择操作，将选定的候选目标识别模型作为目标识别模型，以用作后续对深度图像进行物体识别操作。

在另一具体实施方式中，可以通过自动获取当前行车环境的实时天气信息，根据天气信息或环境亮度值与目标识别模型之间预先创建的映射关系，确定与实时天气信息或环境亮度值对应的目标识别模型，以用作后续对画面图像进行目标障碍物识别操作。

在一些实施例中，考虑到车辆在实际行驶过程中存在前进或后退两种行驶状态，而不同的行驶状态将影响到对历史画面图像中目标图像的截取操作。因此，可以通过从历史记录的历史画面图像中获取两张连续的帧图像，根据两张连续的帧图像确定车辆的行驶状态为前进或后退。

具体地，通过分别提取两张连续的帧图像中用于表征图像特征的特征点，所述特征点包括角点、边缘及斑点中的任一种；使用特征匹配算法将两张连续的帧图像中的特征点进行匹配，获取两张连续的帧图像中相同的特征点；通过相同的特征点，估计出两张连续的帧图像之间的运动变换(包括平移、缩放、旋转)，得到估计结果；基于估计结果，推断出车辆的行驶状态为前进或后退。

在一些实施例中，为了能够在历史画面图像中截取目标图像的过程中减少数据处理量，可以通过从历史记录的历史画面图像中识别出目标障碍物对应的轮廓边界框，根据轮廓边界框对历史画面图像进行分割操作，得到位于轮廓边界框左侧的第一图像及位于轮廓边界框右侧的第二图像。在进行目标图像的截取操作时，可以按照行驶状态为前进或后退，从历史记录的历史画面图像中选取与行驶状态对应的第一图像或第二图像，从第一图像或第二图像中截取尺寸与轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像。

步骤103，将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

在本实施例中，根据目标障碍物的位置，将目标图像以准确的方式与目标物体对齐，在这个过程中需要进行空间定位和跟踪，可以通过使用传感器数据(如陀螺仪、加速度计)以及计算机视觉技术实现，确保目标图像与实际环境保持一致。接下来，增强现实设备会通过透明显示技术将目标图像叠加在用户的视野上，可以通过投影技术、头部显示器或其他透明显示技术来实现，关键是确保目标图像在用户视野中看起来自然而清晰。

如图2所示，通过增强现实设备上安装的摄像头获取用户视野前方的画面图像，在车辆静止状态下从画面图像中识别出目标障碍物的轮廓边界框，在检测到行驶状态时，以目标障碍物的轮廓边界框为模板从历史记录的历史画面图像中截取尺寸与轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像，将目标图像显示在增强现实设备上并与车主眼睛锁定目标障碍物的所在区域对应。在一定程度上相当于消除了目标障碍物的视觉盲区，在保证目标障碍物强度的情况下，减少目标障碍物盲区给车主行驶过程中带来的不便和安全隐患。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。

由上可知，本申请实施例提供的行车辅助方法通过在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。利用本申请实施例提供的行车辅助方法，通过增强现实设备上安装的摄像头获取用户视野前方的画面图像，在车辆静止状态下从画面图像中识别出目标障碍物的轮廓边界框，在检测到行驶状态时，以目标障碍物的轮廓边界框为模板从历史记录的历史画面图像中截取尺寸与轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像，将目标图像显示在增强现实设备上并与车主眼睛锁定目标障碍物的所在区域对应。在一定程度上相当于消除了目标障碍物的视觉盲区，在保证目标障碍物强度的情况下，减少目标障碍物盲区给车主行驶过程中带来的不便和安全隐患。

本申请实施例还提供一种行车辅助装置，所述行车辅助装置可以集成在终端设备中。

请参阅图3，图3为本申请实施例提供的行车辅助装置的结构示意图。行车辅助装置30可以包括：

检测模块31，用于在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；

截取模块32，用于以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；

显示模块33，用于将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

在一些实施例中，所述装置还包括识别模块，用于在检测到车辆处于停止状态时，将用户视野前方的画面图像输入预训练的目标识别模型中进行目标识别操作，得到识别结果；若所述识别结果中显示存在目标障碍物，则提取所述画面图像中目标障碍物对应的轮廓边界框并保存。

在一些实施例中，所述装置还包括选择模块，用于根据当前的环境亮度值，选择与所述环境亮度值对应的目标识别模型对画面图像进行识别操作。

在一些实施例中，所述装置还包括确定模块，用于从历史记录的历史画面图像中获取两张连续的帧图像，根据所述两张连续的帧图像确定车辆的行驶状态为前进或后退。

在一些实施例中，所述确定模块，用于分别提取所述两张连续的帧图像中用于表征图像特征的特征点，所述特征点包括角点、边缘及斑点中的任一种；使用特征匹配算法将两张连续的帧图像中的特征点进行匹配，获取所述两张连续的帧图像中相同的特征点；通过相同的特征点，估计出两张连续的帧图像之间的运动变换，得到估计结果；基于所述估计结果，推断出车辆的行驶状态为前进或后退。

在一些实施例中，所述装置还包括分割模块，用于从历史记录的历史画面图像中识别出目标障碍物对应的轮廓边界框，根据所述轮廓边界框对所述历史画面图像进行分割操作，得到位于所述轮廓边界框左侧的第一图像及位于所述轮廓边界框右侧的第二图像；所述截取模块32，用于按照所述行驶状态为前进或后退，从历史记录的历史画面图像中选取与行驶状态对应的第一图像或第二图像，从所述第一图像或第二图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像。

在一些实施例中，所述增强现实设备包括至少两个摄像头，通过对所述至少两个摄像头采集的画面数据拼接得到所述画面图像，以模拟人眼视野覆盖范围。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现。

由上可知，本申请实施例提供的行车辅助装置30，其中检测模块31，用于在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；截取模块32，用于以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；显示模块33，用于将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

请参阅图4，图4为本申请实施例提供的行车辅助装置的另一结构示意图，行车辅助装置30包括存储器120、一个或多个处理器180、以及一个或多个应用程序，其中该一个或多个应用程序被存储于该存储器120中，并配置为由该处理器180执行；该处理器180可以包括检测模块31、截取模块32以及显示模块33。例如，以上各个部件的结构和连接关系可以如下：

存储器120可用于存储应用程序和数据。存储器120存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器180通过运行存储在存储器120的应用程序，从而执行各种功能应用以及数据处理。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器120还可以包括存储器控制器，以提供处理器180对存储器120的访问。

处理器180是装置的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的应用程序，以及调用存储在存储器120内的数据，执行装置的各种功能和处理数据，从而对装置进行整体监控。可选的，处理器180可包括一个或多个处理核心；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等。

具体在本实施例中，处理器180会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器120中，并由处理器180来运行存储在存储器120中的应用程序，从而实现各种功能：

检测指令，用于在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；

截取指令，用于以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；

显示指令，用于将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

在一些实施例中，所述装置还包括识别模块，用于在检测到车辆处于停止状态时，将用户视野前方的画面图像输入预训练的目标识别模型中进行目标识别操作，得到识别结果；若所述识别结果中显示存在目标障碍物，则提取所述画面图像中目标障碍物对应的轮廓边界框并保存。

在一些实施例中，所述程序还包括选择指令，用于根据当前的环境亮度值，选择与所述环境亮度值对应的目标识别模型对画面图像进行识别操作。

在一些实施例中，所述程序还包括确定指令，用于从历史记录的历史画面图像中获取两张连续的帧图像，根据所述两张连续的帧图像确定车辆的行驶状态为前进或后退。

在一些实施例中，所述确定指令，用于分别提取所述两张连续的帧图像中用于表征图像特征的特征点，所述特征点包括角点、边缘及斑点中的任一种；使用特征匹配算法将两张连续的帧图像中的特征点进行匹配，获取所述两张连续的帧图像中相同的特征点；通过相同的特征点，估计出两张连续的帧图像之间的运动变换，得到估计结果；基于所述估计结果，推断出车辆的行驶状态为前进或后退。

在一些实施例中，所述程序还包括分割指令，用于从历史记录的历史画面图像中识别出目标障碍物对应的轮廓边界框，根据所述轮廓边界框对所述历史画面图像进行分割操作，得到位于所述轮廓边界框左侧的第一图像及位于所述轮廓边界框右侧的第二图像；所述截取指令，用于按照所述行驶状态为前进或后退，从历史记录的历史画面图像中选取与行驶状态对应的第一图像或第二图像，从所述第一图像或第二图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像。

在一些实施例中，所述增强现实设备包括至少两个摄像头，通过对所述至少两个摄像头采集的画面数据拼接得到所述画面图像，以模拟人眼视野覆盖范围。

本申请实施例还提供一种终端设备。所述终端设备可以是服务器、智能手机、电脑、平板电脑等设备。

请参阅图5，图5示出了本申请实施例提供的终端设备的结构示意图，该终端设备可以用于实施上述实施例中提供的行车辅助方法。该终端设备1200可以为电视机或智能手机或平板电脑。

如图5所示，终端设备1200可以包括RF(Radio Frequency，射频)电路110、包括有一个或一个以上(图中仅示出一个)计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、传输模块170、包括有一个或者一个以上(图中仅示出一个)处理核心的处理器180以及电源190等部件。本领域技术人员可以理解，图5中示出的终端设备1200结构并不构成对终端设备1200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路110用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路110可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路110可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。

存储器120可用于存储软件程序以及模块，如上述实施例中行车辅助方法对应的程序指令/模块，处理器180通过运行存储在存储器120内的软件程序以及模块，从而执行各种功能应用以及数据处理，可以根据终端设备所处的当前场景来自动选择振动提醒模式来进行设备升级，既能够保证会议等场景不被打扰，又能保证用户可以感知来电，提升了终端设备的智能性。存储器120可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器120可进一步包括相对于处理器180远程设置的存储器，这些远程存储器可以通过网络连接至终端设备1200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触控显示屏或者触控板，可收集用户在其上或附近的触控操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触控检测装置和触控控制器两个部分。其中，触控检测装置检测用户的触控方位，并检测触控操作带来的信号，将信号传送给触控控制器；触控控制器从触控检测装置上接收触控信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端设备1200的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid CrystalDisplay，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131可覆盖显示面板141，当触敏表面131检测到在其上或附近的触控操作后，传送给处理器180以确定触控事件的类型，随后处理器180根据触控事件的类型在显示面板141上提供相应的视觉输出。虽然在图5中，触敏表面131与显示面板141是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。

终端设备1200还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在终端设备1200移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端设备1200还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路160、扬声器161，传声器162可提供用户与终端设备1200之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔，以提供外设耳机与终端设备1200的通信。

终端设备1200通过传输模块170(例如Wi-Fi模块)可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了传输模块170，但是可以理解的是，其并不属于终端设备1200的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器180是终端设备1200的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行终端设备1200的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理核心；在一些实施例中，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。

终端设备1200还包括给各个部件供电的电源190，在一些实施例中，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，终端设备1200还可以包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，终端设备1200的显示单元140是触控屏显示器，终端设备1200还包括有存储器120，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器120中，且经配置以由一个或者一个以上处理器180执行一个或者一个以上程序包含用于进行以下操作的指令：

检测指令，用于在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；

截取指令，用于以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；

显示指令，用于将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

在一些实施例中，所述装置还包括识别模块，用于在检测到车辆处于停止状态时，将用户视野前方的画面图像输入预训练的目标识别模型中进行目标识别操作，得到识别结果；若所述识别结果中显示存在目标障碍物，则提取所述画面图像中目标障碍物对应的轮廓边界框并保存。

在一些实施例中，所述程序还包括选择指令，用于根据当前的环境亮度值，选择与所述环境亮度值对应的目标识别模型对画面图像进行识别操作。

在一些实施例中，所述程序还包括确定指令，用于从历史记录的历史画面图像中获取两张连续的帧图像，根据所述两张连续的帧图像确定车辆的行驶状态为前进或后退。

在一些实施例中，所述确定指令，用于分别提取所述两张连续的帧图像中用于表征图像特征的特征点，所述特征点包括角点、边缘及斑点中的任一种；使用特征匹配算法将两张连续的帧图像中的特征点进行匹配，获取所述两张连续的帧图像中相同的特征点；通过相同的特征点，估计出两张连续的帧图像之间的运动变换，得到估计结果；基于所述估计结果，推断出车辆的行驶状态为前进或后退。

在一些实施例中，所述程序还包括分割指令，用于从历史记录的历史画面图像中识别出目标障碍物对应的轮廓边界框，根据所述轮廓边界框对所述历史画面图像进行分割操作，得到位于所述轮廓边界框左侧的第一图像及位于所述轮廓边界框右侧的第二图像；所述截取指令，用于按照所述行驶状态为前进或后退，从历史记录的历史画面图像中选取与行驶状态对应的第一图像或第二图像，从所述第一图像或第二图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像。

在一些实施例中，所述增强现实设备包括至少两个摄像头，通过对所述至少两个摄像头采集的画面数据拼接得到所述画面图像，以模拟人眼视野覆盖范围。

本申请实施例还提供一种终端设备。所述终端设备可以是智能手机、电脑等设备。

由上可知，本申请实施例提供了一种终端设备1200，所述终端设备1200执行以下步骤：

在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；

以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；

将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的行车辅助方法。

需要说明的是，对本申请所述行车辅助方法而言，本领域普通测试人员可以理解实现本申请实施例所述行车辅助方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读存储介质中，如存储在终端设备的存储器中，并被该终端设备内的至少一个处理器执行，在执行过程中可包括如所述行车辅助方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储器(ROM，ReadOnly Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述行车辅助装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的行车辅助方法、装置、介质及设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种行车辅助方法，其特征在于，包括：

在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；

在检测到车辆处于行驶状态时，以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；

将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

2.如权利要求1所述的行车辅助方法，其特征在于，在所述以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像之前，所述方法还包括：

在检测到车辆处于停止状态时，将用户视野前方的画面图像输入预训练的目标识别模型中进行目标识别操作，得到识别结果；

若所述识别结果中显示存在目标障碍物，则提取所述画面图像中目标障碍物对应的轮廓边界框并保存。

3.如权利要求2所述的行车辅助方法，其特征在于，在所述将用户视野前方的画面图像输入预训练的目标识别模型中进行目标识别操作之前，所述方法还包括：

根据当前的环境亮度值，选择与所述环境亮度值对应的目标识别模型对画面图像进行识别操作。

4.如权利要求1所述的行车辅助方法，其特征在于，在所述以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像之前，所述方法还包括：

从历史记录的历史画面图像中获取两张连续的帧图像，根据所述两张连续的帧图像确定车辆的行驶状态为前进或后退。

5.如权利要求4所述的行车辅助方法，其特征在于，所述根据所述两张连续的帧图像确定车辆的行驶状态为前进或后退，包括：

分别提取所述两张连续的帧图像中用于表征图像特征的特征点，所述特征点包括角点、边缘及斑点中的任一种；

使用特征匹配算法将两张连续的帧图像中的特征点进行匹配，获取所述两张连续的帧图像中相同的特征点；

通过相同的特征点，估计出两张连续的帧图像之间的运动变换，得到估计结果；

基于所述估计结果，推断出车辆的行驶状态为前进或后退。

6.如权利要求4所述的行车辅助方法，其特征在于，在所述从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像之前，所述方法还包括：

从历史记录的历史画面图像中识别出目标障碍物对应的轮廓边界框，根据所述轮廓边界框对所述历史画面图像进行分割操作，得到位于所述轮廓边界框左侧的第一图像及位于所述轮廓边界框右侧的第二图像；

所述从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像，包括:

按照所述行驶状态为前进或后退，从历史记录的历史画面图像中选取与行驶状态对应的第一图像或第二图像，从所述第一图像或第二图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像。

7.如权利要求1所述的行车辅助方法，其特征在于，所述增强现实设备包括至少两个摄像头，通过对所述至少两个摄像头采集的画面数据拼接得到所述画面图像，以模拟人眼视野覆盖范围。

8.一种行车辅助装置，其特征在于，包括：

检测模块，用于在检测到车辆处于驾驶模式、且在用户视野前方采集到的画面图像中存在目标障碍物时，开启盲区消除功能，并记录位于用户视野前方的画面图像；

截取模块，用于以所述画面图像中目标障碍物的轮廓边界框为模板，从历史记录的历史画面图像中截取尺寸与所述轮廓边界框匹配、且在行驶状态下将被目标障碍物遮挡的目标图像；

显示模块，用于将所述目标图像叠加显示在增强现实设备的显示界面上，且所述目标图像的显示位置与所述显示界面中的目标障碍物所在区域对应。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1-7任一项所述的行车辅助方法。

10.一种终端设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行权利要求1-7任一项所述的行车辅助方法。