CN113715826B - 一种基于车载实时监控的车辆驾驶辅助方法及装置 - Google Patents

Abstract

本发明公开了一种基于车载实时监控的车辆驾驶辅助方法及装置，其中，所述方法包括：进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；进行视频拼接处理，形成360度全景实时视频数据；进行分帧处理，形成全景实时视频帧数据；识别全景实时视频帧数据中的目标数据，并确定目标数据在车辆当前位置的相对位置和所述目标数据的类别；进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；基于车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向车辆的驾驶用户进行驾驶辅助预警。在本发明实施例中，可以有效的根据车辆外部复杂环境进行有效的辅助驾驶预警，提高车辆的行驶安全性。

Description

一种基于车载实时监控的车辆驾驶辅助方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于车载实时监控的车辆驾驶辅助方法及装置。

背景技术

现有的汽车的驾驶辅助一般单独分为车道保持辅助系统、自动泊车辅助系统、刹车辅助系统、倒车辅助系统和行车辅助系统等多个系统；现有的车载360度全景视频监测一般与倒车辅助系统相关联，需要在用户进入倒挡之后才启动，其他情况需要用户进行手动设置才可以启动车载的360度全景视频监测，并且需要解决在正常行车过程中，如何利用车载的360度全景视频监测融合到相关的行车驾驶辅助上，从而更有利于行车驾驶的安全。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于车载实时监控的车辆驾驶辅助方法及装置，可以有效的根据车辆外部复杂环境进行有效的辅助驾驶预警，提高车辆的行驶安全性。

为了解决上述技术问题，本发明实施例提供了一种基于车载实时监控的车辆驾驶辅助方法，所述方法包括：

基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；

基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据；

对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据；

识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，所述目标数据类别包括目标交通标识数据、目标车辆数据和目标行人数据；

基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；

基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警。

可选的，所述基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据，包括：

在所述车辆启动后，启动设置在车辆四周的摄像头设备对车辆四周进行实时视频采集处理，并将采集到的实时视频数据按照采集摄像头设置在车辆中的位置进行标记，形成车辆四周的实时视频数据。

可选的，所述基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据，包括：

获得设置在所述车辆四周的摄像头设备的畸变系数；

计算所述畸变系数与设置在所述车辆四周的摄像头设备之间的变换系数；

基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据。

可选的，所述基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据，包括：

利用所述变换系数对所述车辆四周的实时视频数据进行畸变去除处理，获得去除畸变后的实时视频数据；

对所述去除畸变后的实时视频数据进行拼接处理，获得拼接后的实时视频数据；

对所述拼接后的实时视频数据进行曲面投影处理，获得曲面投影后的实时视频数据；

对所述曲面投影后的实时视频数据进行多波段融合处理，形成360度全景实时视频数据。

可选的，所述对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据，包括：

对所述360度全景实时视频数据进行分帧处理，获得第一全景实时视频帧数据；

对所述第一全景实时视频帧数据进行间隔帧抽取去除冗余处理，形成全景实时视频帧数据。

可选的，所述识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，包括：

基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据；

基于图像拼接算法对所述识别目标数据进行遮挡区域补全处理，获得补全后的目标数据；

基于补全后的目标数据在所述全景实时视频帧的位置确定所述补全后的目标数据在车辆当前位置的相对位置；

对所述补全后的目标数据进行分类模糊匹配处理，确定所述补全后的目标数据所属的类别。

可选的，所述基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据，包括：

将所述全景实时视频帧数据输入卷积神经网络模型中，在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；

将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；

将去除不包含类似目标的候选框输入反卷积网络中，输出与原始目标数据相同大小的校正图像；

将所述校正图像输入全连接网络与全连接层进行目标数据识别处理，获得识别目标数据。

可选的，所述基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，包括：

在所述目标数据中只存在目标交通标识数据，并且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理；

在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理，及对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；

在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据不在车辆当前位置的正前方或者侧前方时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；

在所述目标数据中存在目标车辆数据和/或目标行人数据时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理。

可选的，所述基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警，包括：

基于所述的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果在所述车辆中控屏幕上向所述车辆的驾驶用户进行显示推送，及进行语音辅助提示播放。

另外，本发明实施例还提供了一种基于车载实时监控的车辆驾驶辅助装置，所述装置包括：

视频采集模块：用于基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；

视频拼接模块：用于基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据；

视频分帧模块：用于对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据；

确定模块：用于识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，所述目标数据类别包括目标交通标识数据、目标车辆数据和目标行人数据；

目标识别及轨迹预测模块：用于基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；

辅助预警模块：用于基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警。

在本发明实施例中，可以有效的根据车辆外部复杂环境进行有效的辅助驾驶预警，提高车辆的行驶安全性；即通过对形成的360度全景实时视频数据来进行目标识别，从而更加目标识别结果和车辆的当前状态即可进行驾驶辅助预警，保证驾驶员驾驶车辆的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于车载实时监控的车辆驾驶辅助方法的流程示意图；

图2是本发明实施例中的基于车载实时监控的车辆驾驶辅助装置的结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

请参阅图1，图1是本发明实施例中的基于车载实时监控的车辆驾驶辅助方法的流程示意图。

如图1所示，一种基于车载实时监控的车辆驾驶辅助方法，所述方法包括：

S11：基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；

在本发明具体实施过程中，所述基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据，包括：在所述车辆启动后，启动设置在车辆四周的摄像头设备对车辆四周进行实时视频采集处理，并将采集到的实时视频数据按照采集摄像头设置在车辆中的位置进行标记，形成车辆四周的实时视频数据。

具体的，在车辆上设置多个摄像头设备，至少在车的正前方、正后方和左右两侧各设置一个摄像头设备，并且这些摄像头设备所采集的视频数据可以组成360度全景视频图像；在车辆启动后，启动设置在车辆四周的摄像头设备对车辆四周进行实时视频采集处理，并且将采集到的实时视频数据按照采集摄像头设置在车辆中的位置进行标记，形成车辆四周的实时视频数据；其中，做标记一般可以根据设置在车辆上的摄像头设备进行标记，方便后续确定视频中的目标处在相对于车辆位置中的相对方向，是否对行车具有影响；从而提高后续的视频数据的处理效率。

S12：基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据；

在本发明具体实施过程中，所述基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据，包括：获得设置在所述车辆四周的摄像头设备的畸变系数；计算所述畸变系数与设置在所述车辆四周的摄像头设备之间的变换系数；基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据。

进一步的，所述基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据，包括：利用所述变换系数对所述车辆四周的实时视频数据进行畸变去除处理，获得去除畸变后的实时视频数据；对所述去除畸变后的实时视频数据进行拼接处理，获得拼接后的实时视频数据；对所述拼接后的实时视频数据进行曲面投影处理，获得曲面投影后的实时视频数据；对所述曲面投影后的实时视频数据进行多波段融合处理，形成360度全景实时视频数据。

具体的，设置在车辆中的摄像头设备均有畸变系数，因此，需要读取调用，获得设置在车辆四周的摄像头设备的畸变系数；然后计算得到的畸变系数与设置在该车辆四周的各个摄像头设备之间的变换系数；再然后根据该变换系数对车辆四周的实时视频数据进行融合拼接处理，即可得到360度全景实时视频数据。

在融合拼接处理时，首先利用变换系数对车辆四周的实时视频数据进行畸变去除处理，获得去除畸变后的实时视频数据；然后对去除畸变后的实时视频数据进行拼接处理，获得拼接后的实时视频数据；在对拼接后的实时视频数据进行曲面投影处理，获得曲面投影后的实时视频数据；最后对曲面投影后的实时视频数据进行多波段融合处理，形成360度全景实时视频数据；通过该拼接算法对视频进行拼接，可以实现视频的无缝拼接，并且拼接的视频之间不存在拼接重叠区域，方便后续的目标识别跟踪处理等，提高处理效率。

S13：对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据；

在本发明具体实施过程中，所述对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据，包括：对所述360度全景实时视频数据进行分帧处理，获得第一全景实时视频帧数据；对所述第一全景实时视频帧数据进行间隔帧抽取去除冗余处理，形成全景实时视频帧数据。

具体的，需要对360度全景实时视频数据进行分帧处理，一般按照摄像头设备的拍摄频率来进行分帧，并且设置在车上的摄像头的拍摄频率是一致的，即可得到第一全景实时视频帧数据；因此，需要对第一全景实时视频帧数据进行间隔帧抽取去除冗余处理，形成全景实时视频帧数据；去除部分冗余帧，可以提高计算效率，并且还能保证计算识别跟踪的准确度。

S14：识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，所述目标数据类别包括目标交通标识数据、目标车辆数据和目标行人数据；

在本发明具体实施过程中，所述识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，包括：基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据；基于图像拼接算法对所述识别目标数据进行遮挡区域补全处理，获得补全后的目标数据；基于补全后的目标数据在所述全景实时视频帧的位置确定所述补全后的目标数据在车辆当前位置的相对位置；对所述补全后的目标数据进行分类模糊匹配处理，确定所述补全后的目标数据所属的类别。

进一步的，所述基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据，包括：将所述全景实时视频帧数据输入卷积神经网络模型中，在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；将去除不包含类似目标的候选框输入反卷积网络中，输出与原始目标数据相同大小的校正图像；将所述校正图像输入全连接网络与全连接层进行目标数据识别处理，获得识别目标数据。

具体的，首先需要搭建一个卷积神经网络模型，该卷积神经网络模型包括有向前传播网络、RPN网络、反卷积网络和全连接网络与全连接层，其中，反卷积网络中具有图像校正模块，该校正模块具有对图像进行校正功能。

然后根据该卷积神经网络模型对全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据；再根据图像拼接算法对识别目标数据进行遮挡区域补全处理，获得补全后的目标数据；然后再根据补全后的目标数据在全景实时视频帧的位置确定补全后的目标数据在车辆当前位置的相对位置；最后对补全后的目标数据进行分类模糊匹配处理，确定补全后的目标数据所属的类别，具体包括目标交通标识数据、目标车辆数据和目标行人数据。

在识别全景实时视频帧数据中的目标数据时，需要将全景实时视频帧数据输入卷积神经网络模型中，然后在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；将去除不包含类似目标的候选框输入反卷积网络中，输出与原始目标数据相同大小的校正图像；将所述校正图像输入全连接网络与全连接层进行目标数据识别处理，获得识别目标数据。

其中，在进行不同维度的目标特征提取处理的过程中，需要该全景实时视频帧数在卷积神经网络模型中的向前传播网络中进行向前传播时，依次对该全景实时视频帧数进行批归一化、实例归一化处理，并提取不同维度的目标特征，获得不同维度的目标特征；实例归一化的目的是降低光照对卷积神经网络模型进行提取不同维度的目标特征的干扰，提高卷积神经网络模型对复杂环境下目标图像的提取目标信息的精确度。

S15：基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；

在本发明具体实施过程中，所述基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，包括：在所述目标数据中只存在目标交通标识数据，并且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理；在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理，及对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据不在车辆当前位置的正前方或者侧前方时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；在所述目标数据中存在目标车辆数据和/或目标行人数据时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理。

具体的，需要根据目标数据中存在的目标交通标识数据和/或目标车辆数据和/或目标行人数据来进行相关的处理；比如，在目标数据中只存在目标交通标识数据，并且目标交通标识数据在车辆当前位置的正前方或者侧前方时，对目标交通标识数据进行识别处理；在目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且目标交通标识数据在车辆当前位置的正前方或者侧前方时，对目标交通标识数据进行识别处理，及对目标车辆数据和/或目标行人数据进行目标轨迹预测处理；在目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且目标交通标识数据不在车辆当前位置的正前方或者侧前方时，对目标车辆数据和/或目标行人数据进行目标轨迹预测处理；在目标数据中存在目标车辆数据和/或目标行人数据时，对目标车辆数据和/或目标行人数据进行目标轨迹预测处理。

在对目标交通标识数据进行识别处理时，首先采用训练好的交通标志检测网络模型来进行识别，即将存在目标交通标识数据的全景实时视频帧数据输入训练好的交通标志检测网络模型中，检测出可能是交通标识的区域，将交通标识在全景实时视频帧数据中定位出来，并得到该交通标识第一帧图像；提取第一帧交通标识图像的SIFT关键点，根据第一帧交通标识图像的位置在下一帧图像上划出交通标识候选区域，提取候选区域图像的SIFT关键点；采用SIFT匹配搜索算法，用第一帧交通标识图像的SIFT关键点在候选区域图像进行关键点匹配搜索，找到下一帧图像中的交通标识的位置和包围盒，获得第二帧交通标识的图像，采用类似方法获得第三帧交通标识图像；使用预先训练好的交通标识特征提取网络对三帧图像上获得的三个交通标识区域图像分别提取图像特征，获得三个图像特征数据；然后将三个图像特征数据进行融合，并使用预先训练好的交通标识识别网络对融合后的特征进行分类，即可确定该交通标识区域具体属于哪个交通标识类别。

在对目标车辆数据和/或目标行人数据进行目标轨迹预测处理时，采用卡尔曼滤波方式进行目标轨迹预测，并且在进行轨迹预测之前，首选需要对目标车辆数据和/或目标行人数据被遮挡部分进行校正，在本申请中采用拼图方式进行校正处理，具体为：设置实例分割结果，并根据实例分割结果对目标车辆数据和/或目标行人数据提取分割掩膜区域的轮廓；然后利用最小二乘法对该轮廓进行拟合处理，获得临时的粗糙的拟合结果并遍历轮廓上的每个坐标点，计算拟合结果的中心到轮廓上的每点的距离并求解其局部极大值点；求解拟合结果外轮廓片段上的像素点到拟合结果的中心的极大值点，且取距离最大前两个极大值点；重复上述步骤，得到所有分割掩膜区域的目标形状近似拟合结果；最后根据所有分割掩膜区域的目标形状近似拟合结果获得目标车辆数据和/或目标行人数据的校正图像。

S16：基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警。

在本发明具体实施过程中，所述基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警，包括：基于所述的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果在所述车辆中控屏幕上向所述车辆的驾驶用户进行显示推送，及进行语音辅助提示播放。

具体的，车辆的当前状态包括不限于向前行驶、倒车、准备变道，刹车、驾驶、掉头等；根据当前状态和目标数据的识别结果和/或目标轨迹预测结果在车辆中控屏幕上向车辆的驾驶用户进行显示推送，及进行语音辅助提示播放。

在本发明实施例中，可以有效的根据车辆外部复杂环境进行有效的辅助驾驶预警，提高车辆的行驶安全性；即通过对形成的360度全景实时视频数据来进行目标识别，从而更加目标识别结果和车辆的当前状态即可进行驾驶辅助预警，保证驾驶员驾驶车辆的安全性。

实施例二

请参阅图2，图2是本发明实施例中的基于车载实时监控的车辆驾驶辅助装置的结构组成示意图。

如图2所示，一种基于车载实时监控的车辆驾驶辅助装置，所述装置包括：

视频采集模块21：用于基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；

在本发明具体实施过程中，所述基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据，包括：在所述车辆启动后，启动设置在车辆四周的摄像头设备对车辆四周进行实时视频采集处理，并将采集到的实时视频数据按照采集摄像头设置在车辆中的位置进行标记，形成车辆四周的实时视频数据。

具体的，在车辆上设置多个摄像头设备，至少在车的正前方、正后方和左右两侧各设置一个摄像头设备，并且这些摄像头设备所采集的视频数据可以组成360度全景视频图像；在车辆启动后，启动设置在车辆四周的摄像头设备对车辆四周进行实时视频采集处理，并且将采集到的实时视频数据按照采集摄像头设置在车辆中的位置进行标记，形成车辆四周的实时视频数据；其中，做标记一般可以根据设置在车辆上的摄像头设备进行标记，方便后续确定视频中的目标处在相对于车辆位置中的相对方向，是否对行车具有影响；从而提高后续的视频数据的处理效率。

视频拼接模块22：用于基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据；

在本发明具体实施过程中，所述基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据，包括：获得设置在所述车辆四周的摄像头设备的畸变系数；计算所述畸变系数与设置在所述车辆四周的摄像头设备之间的变换系数；基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据。

进一步的，所述基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据，包括：利用所述变换系数对所述车辆四周的实时视频数据进行畸变去除处理，获得去除畸变后的实时视频数据；对所述去除畸变后的实时视频数据进行拼接处理，获得拼接后的实时视频数据；对所述拼接后的实时视频数据进行曲面投影处理，获得曲面投影后的实时视频数据；对所述曲面投影后的实时视频数据进行多波段融合处理，形成360度全景实时视频数据。

具体的，设置在车辆中的摄像头设备均有畸变系数，因此，需要读取调用，获得设置在车辆四周的摄像头设备的畸变系数；然后计算得到的畸变系数与设置在该车辆四周的各个摄像头设备之间的变换系数；再然后根据该变换系数对车辆四周的实时视频数据进行融合拼接处理，即可得到360度全景实时视频数据。

在融合拼接处理时，首先利用变换系数对车辆四周的实时视频数据进行畸变去除处理，获得去除畸变后的实时视频数据；然后对去除畸变后的实时视频数据进行拼接处理，获得拼接后的实时视频数据；在对拼接后的实时视频数据进行曲面投影处理，获得曲面投影后的实时视频数据；最后对曲面投影后的实时视频数据进行多波段融合处理，形成360度全景实时视频数据；通过该拼接算法对视频进行拼接，可以实现视频的无缝拼接，并且拼接的视频之间不存在拼接重叠区域，方便后续的目标识别跟踪处理等，提高处理效率。

视频分帧模块23：用于对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据；

在本发明具体实施过程中，所述对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据，包括：对所述360度全景实时视频数据进行分帧处理，获得第一全景实时视频帧数据；对所述第一全景实时视频帧数据进行间隔帧抽取去除冗余处理，形成全景实时视频帧数据。

具体的，需要对360度全景实时视频数据进行分帧处理，一般按照摄像头设备的拍摄频率来进行分帧，并且设置在车上的摄像头的拍摄频率是一致的，即可得到第一全景实时视频帧数据；因此，需要对第一全景实时视频帧数据进行间隔帧抽取去除冗余处理，形成全景实时视频帧数据；去除部分冗余帧，可以提高计算效率，并且还能保证计算识别跟踪的准确度。

确定模块24：用于识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，所述目标数据类别包括目标交通标识数据、目标车辆数据和目标行人数据；

在本发明具体实施过程中，所述识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，包括：基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据；基于图像拼接算法对所述识别目标数据进行遮挡区域补全处理，获得补全后的目标数据；基于补全后的目标数据在所述全景实时视频帧的位置确定所述补全后的目标数据在车辆当前位置的相对位置；对所述补全后的目标数据进行分类模糊匹配处理，确定所述补全后的目标数据所属的类别。

进一步的，所述基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据，包括：将所述全景实时视频帧数据输入卷积神经网络模型中，在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；将去除不包含类似目标的候选框输入反卷积网络中，输出与原始目标数据相同大小的校正图像；将所述校正图像输入全连接网络与全连接层进行目标数据识别处理，获得识别目标数据。

具体的，首先需要搭建一个卷积神经网络模型，该卷积神经网络模型包括有向前传播网络、RPN网络、反卷积网络和全连接网络与全连接层，其中，反卷积网络中具有图像校正模块，该校正模块具有对图像进行校正功能。

然后根据该卷积神经网络模型对全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据；再根据图像拼接算法对识别目标数据进行遮挡区域补全处理，获得补全后的目标数据；然后再根据补全后的目标数据在全景实时视频帧的位置确定补全后的目标数据在车辆当前位置的相对位置；最后对补全后的目标数据进行分类模糊匹配处理，确定补全后的目标数据所属的类别，具体包括目标交通标识数据、目标车辆数据和目标行人数据。

在识别全景实时视频帧数据中的目标数据时，需要将全景实时视频帧数据输入卷积神经网络模型中，然后在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；将去除不包含类似目标的候选框输入反卷积网络中，输出与原始目标数据相同大小的校正图像；将所述校正图像输入全连接网络与全连接层进行目标数据识别处理，获得识别目标数据。

其中，在进行不同维度的目标特征提取处理的过程中，需要该全景实时视频帧数在卷积神经网络模型中的向前传播网络中进行向前传播时，依次对该全景实时视频帧数进行批归一化、实例归一化处理，并提取不同维度的目标特征，获得不同维度的目标特征；实例归一化的目的是降低光照对卷积神经网络模型进行提取不同维度的目标特征的干扰，提高卷积神经网络模型对复杂环境下目标图像的提取目标信息的精确度。

目标识别及轨迹预测模块25：用于基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；

在本发明具体实施过程中，所述基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，包括：在所述目标数据中只存在目标交通标识数据，并且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理；在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理，及对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据不在车辆当前位置的正前方或者侧前方时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；在所述目标数据中存在目标车辆数据和/或目标行人数据时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理。

具体的，需要根据目标数据中存在的目标交通标识数据和/或目标车辆数据和/或目标行人数据来进行相关的处理；比如，在目标数据中只存在目标交通标识数据，并且目标交通标识数据在车辆当前位置的正前方或者侧前方时，对目标交通标识数据进行识别处理；在目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且目标交通标识数据在车辆当前位置的正前方或者侧前方时，对目标交通标识数据进行识别处理，及对目标车辆数据和/或目标行人数据进行目标轨迹预测处理；在目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且目标交通标识数据不在车辆当前位置的正前方或者侧前方时，对目标车辆数据和/或目标行人数据进行目标轨迹预测处理；在目标数据中存在目标车辆数据和/或目标行人数据时，对目标车辆数据和/或目标行人数据进行目标轨迹预测处理。

在对目标交通标识数据进行识别处理时，首先采用训练好的交通标志检测网络模型来进行识别，即将存在目标交通标识数据的全景实时视频帧数据输入训练好的交通标志检测网络模型中，检测出可能是交通标识的区域，将交通标识在全景实时视频帧数据中定位出来，并得到该交通标识第一帧图像；提取第一帧交通标识图像的SIFT关键点，根据第一帧交通标识图像的位置在下一帧图像上划出交通标识候选区域，提取候选区域图像的SIFT关键点；采用SIFT匹配搜索算法，用第一帧交通标识图像的SIFT关键点在候选区域图像进行关键点匹配搜索，找到下一帧图像中的交通标识的位置和包围盒，获得第二帧交通标识的图像，采用类似方法获得第三帧交通标识图像；使用预先训练好的交通标识特征提取网络对三帧图像上获得的三个交通标识区域图像分别提取图像特征，获得三个图像特征数据；然后将三个图像特征数据进行融合，并使用预先训练好的交通标识识别网络对融合后的特征进行分类，即可确定该交通标识区域具体属于哪个交通标识类别。

在对目标车辆数据和/或目标行人数据进行目标轨迹预测处理时，采用卡尔曼滤波方式进行目标轨迹预测，并且在进行轨迹预测之前，首选需要对目标车辆数据和/或目标行人数据被遮挡部分进行校正，在本申请中采用拼图方式进行校正处理，具体为：设置实例分割结果，并根据实例分割结果对目标车辆数据和/或目标行人数据提取分割掩膜区域的轮廓；然后利用最小二乘法对该轮廓进行拟合处理，获得临时的粗糙的拟合结果并遍历轮廓上的每个坐标点，计算拟合结果的中心到轮廓上的每点的距离并求解其局部极大值点；求解拟合结果外轮廓片段上的像素点到拟合结果的中心的极大值点，且取距离最大前两个极大值点；重复上述步骤，得到所有分割掩膜区域的目标形状近似拟合结果；最后根据所有分割掩膜区域的目标形状近似拟合结果获得目标车辆数据和/或目标行人数据的校正图像。

辅助预警模块26：用于基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警。

在本发明具体实施过程中，所述基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警，包括：基于所述的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果在所述车辆中控屏幕上向所述车辆的驾驶用户进行显示推送，及进行语音辅助提示播放。

具体的，车辆的当前状态包括不限于向前行驶、倒车、准备变道，刹车、驾驶、掉头等；根据当前状态和目标数据的识别结果和/或目标轨迹预测结果在车辆中控屏幕上向车辆的驾驶用户进行显示推送，及进行语音辅助提示播放。

在本发明实施例中，可以有效的根据车辆外部复杂环境进行有效的辅助驾驶预警，提高车辆的行驶安全性；即通过对形成的360度全景实时视频数据来进行目标识别，从而更加目标识别结果和车辆的当前状态即可进行驾驶辅助预警，保证驾驶员驾驶车辆的安全性。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种基于车载实时监控的车辆驾驶辅助方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于车载实时监控的车辆驾驶辅助方法，其特征在于，所述方法包括：

基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；

基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据；

对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据；

识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，所述目标数据类别包括目标交通标识数据、目标车辆数据和目标行人数据；

基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；

基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警；

所述识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，包括：

基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据；

基于图像拼接算法对所述识别目标数据进行遮挡区域补全处理，获得补全后的目标数据；

基于补全后的目标数据在所述全景实时视频帧的位置确定所述补全后的目标数据在车辆当前位置的相对位置；

对所述补全后的目标数据进行分类模糊匹配处理，确定所述补全后的目标数据所属的类别；

所述基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据，包括：

将所述全景实时视频帧数据输入卷积神经网络模型中，在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；

将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；

将去除不包含类似目标的候选框输入反卷积网络中，输出与原始目标数据相同大小的校正图像；

将所述校正图像输入全连接网络与全连接层进行目标数据识别处理，获得识别目标数据。

2.根据权利要求1所述的车辆驾驶辅助方法，其特征在于，所述基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据，包括：

在所述车辆启动后，启动设置在车辆四周的摄像头设备对车辆四周进行实时视频采集处理，并将采集到的实时视频数据按照采集摄像头设置在车辆中的位置进行标记，形成车辆四周的实时视频数据。

3.根据权利要求1所述的车辆驾驶辅助方法，其特征在于，所述基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据，包括：

获得设置在所述车辆四周的摄像头设备的畸变系数；

计算所述畸变系数与设置在所述车辆四周的摄像头设备之间的变换系数；

基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据。

4.根据权利要求3所述的车辆驾驶辅助方法，其特征在于，所述基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据，包括：

利用所述变换系数对所述车辆四周的实时视频数据进行畸变去除处理，获得去除畸变后的实时视频数据；

对所述去除畸变后的实时视频数据进行拼接处理，获得拼接后的实时视频数据；

对所述拼接后的实时视频数据进行曲面投影处理，获得曲面投影后的实时视频数据；

对所述曲面投影后的实时视频数据进行多波段融合处理，形成360度全景实时视频数据。

5.根据权利要求1所述的车辆驾驶辅助方法，其特征在于，所述对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据，包括：

对所述360度全景实时视频数据进行分帧处理，获得第一全景实时视频帧数据；

对所述第一全景实时视频帧数据进行间隔帧抽取去除冗余处理，形成全景实时视频帧数据。

6.根据权利要求1所述的车辆驾驶辅助方法，其特征在于，所述基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，包括：

在所述目标数据中只存在目标交通标识数据，并且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理；

在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理，及对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；

在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据不在车辆当前位置的正前方或者侧前方时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；

在所述目标数据中存在目标车辆数据和/或目标行人数据时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理。

7.根据权利要求1所述的车辆驾驶辅助方法，其特征在于，所述基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警，包括：

基于所述的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果在所述车辆中控屏幕上向所述车辆的驾驶用户进行显示推送，及进行语音辅助提示播放。

8.一种基于车载实时监控的车辆驾驶辅助装置，其特征在于，所述装置包括：

视频采集模块：用于基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；

视频拼接模块：用于基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据；

视频分帧模块：用于对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据；

确定模块：用于识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，所述目标数据类别包括目标交通标识数据、目标车辆数据和目标行人数据；

目标识别及轨迹预测模块：用于基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；

辅助预警模块：用于基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警；

所述识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，包括：

基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据；

基于图像拼接算法对所述识别目标数据进行遮挡区域补全处理，获得补全后的目标数据；

基于补全后的目标数据在所述全景实时视频帧的位置确定所述补全后的目标数据在车辆当前位置的相对位置；

对所述补全后的目标数据进行分类模糊匹配处理，确定所述补全后的目标数据所属的类别；

所述基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据，包括：

将所述全景实时视频帧数据输入卷积神经网络模型中，在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；

将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；

将去除不包含类似目标的候选框输入反卷积网络中，输出与原始目标数据相同大小的校正图像；

将所述校正图像输入全连接网络与全连接层进行目标数据识别处理，获得识别目标数据。

Images