CN112329552B

CN112329552B - 基于汽车的障碍物检测方法及装置

Info

Publication number: CN112329552B
Application number: CN202011111375.7A
Authority: CN
Inventors: 胡方全
Original assignee: Aiways Automobile Shanghai Co Ltd
Current assignee: Aiways Automobile Shanghai Co Ltd
Priority date: 2020-10-16
Filing date: 2020-10-16
Publication date: 2023-07-14
Anticipated expiration: 2040-10-16
Also published as: WO2022078463A1; CN112329552A

Abstract

本发明公开了一种基于汽车的障碍物检测方法及装置，包括：针对位于汽车上的鱼眼摄像头获取到的原始鱼眼图像进行畸变校正处理，得到与原始鱼眼图像相对应的待检测图像；针对待检测图像中包含的各个图像帧进行图像分割，以识别各个图像帧中包含的障碍物区域；根据至少两个相邻的图像帧中包含的障碍物区域，检测与待检测图像相对应的目标障碍物，将已检测到的目标障碍物添加到追踪障碍物集合；根据实时获取的汽车的行驶状态信息检测追踪障碍物集合中包含的目标障碍物的实时位置信息并判断是否触发报警提示信息。该方式能够实现障碍物的持续追踪功能。

Description

基于汽车的障碍物检测方法及装置

技术领域

本发明涉及电子信息领域，具体涉及一种基于汽车的障碍物检测方法及装置。

背景技术

在汽车行驶过程中，如何高效而准确地检测到车辆周边的障碍物成为影响驾驶安全的关键问题。在现有技术中，大多通过雷达探测器、视觉传感器或车辆摄像头进行检测。但是，基于雷达的探测技术视野范围有限、单种传感器则存在盲区，而多传感器融合的软硬件开发难度则较高。

由此可见，在现有技术中，通过单个设备进行检测无法规避视觉盲区等问题，而结合多种设备进行检测则会显著增加开发成本。因此，亟需一种能够以低成本方式准确检测车辆周边障碍物的方案。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于汽车的障碍物检测方法及装置。

根据本发明的一个方面，提供了一种基于汽车的障碍物检测方法，包括：

针对位于汽车上的鱼眼摄像头获取到的原始鱼眼图像进行畸变校正处理，得到与所述原始鱼眼图像相对应的待检测图像；

针对所述待检测图像中包含的各个图像帧进行图像分割，以识别各个图像帧中包含的障碍物区域；

根据至少两个相邻的图像帧中包含的障碍物区域，检测与所述待检测图像相对应的目标障碍物，将已检测到的目标障碍物添加到追踪障碍物集合；

根据实时获取的汽车的行驶状态信息检测所述追踪障碍物集合中包含的目标障碍物的实时位置信息，根据所述目标障碍物的实时位置信息判断是否触发报警提示信息。

依据本发明的再一方面，提供了一种基于汽车的障碍物检测装置，包括：

校正模块，适于针对位于汽车上的鱼眼摄像头获取到的原始鱼眼图像进行畸变校正处理，得到与所述原始鱼眼图像相对应的待检测图像；

分割模块，适于针对所述待检测图像中包含的各个图像帧进行图像分割，以识别各个图像帧中包含的障碍物区域；

检测模块，适于根据至少两个相邻的图像帧中包含的障碍物区域，检测与所述待检测图像相对应的目标障碍物，将已检测到的目标障碍物添加到追踪障碍物集合；

追踪模块，适于根据实时获取的汽车的行驶状态信息检测所述追踪障碍物集合中包含的目标障碍物的实时位置信息，根据所述目标障碍物的实时位置信息判断是否触发报警提示信息。

依据本发明的再一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的基于汽车的障碍物检测方法对应的操作。

依据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述的基于汽车的障碍物检测方法对应的操作。

在本发明提供的基于汽车的障碍物检测方法及装置中，能够通过鱼眼摄像头进行检测，由于鱼眼摄像头的检测范围大，因而能够全面检测车辆周边的障碍物，并且，通过畸变校正处理等方式能够还原鱼眼摄像头的图像畸变问题。另外，通过至少两个相邻的图像帧中包含的障碍物区域来检测目标障碍物，能够避免因单个图像帧分辨率较低而导致的误判问题，提升障碍物检测的准确性。并且，结合实时获取的汽车的行驶状态信息来检测追踪障碍物集合中包含的目标障碍物的实时位置信息，能够根据汽车的形状状态反推障碍物的实时位置，从而在障碍物暂时离开摄像头视野范围时实现障碍物的持续追踪，以确保行车安全。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例一提供的一种基于汽车的障碍物检测方法的流程图；

图2示出了本发明实施例二提供的一种基于汽车的障碍物检测方法的流程图；

图3示出了本发明实施例三提供的一种基于汽车的障碍物检测装置的结构图；

图4示出了本发明实施例五提供的一种电子设备的结构示意图；

图5示出了本示例中的障碍物追踪方法的流程示意图；

图6示出了前帧信息融合的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

图1示出了本发明实施例一提供的一种基于汽车的障碍物检测方法的流程图。如图1所示，该方法包括：

步骤S110：针对位于汽车上的鱼眼摄像头获取到的原始鱼眼图像进行畸变校正处理，得到与原始鱼眼图像相对应的待检测图像。

具体的，鱼眼摄像头可以为安装在汽车前方的前视摄像头，也可以为安装在汽车后方的后视摄像头，本发明对鱼眼摄像头的具体设置位置不作限定。由于鱼眼摄像头获取到的原始鱼眼图像存在畸变，因此，需要执行畸变校正处理，从而得到校正后的待检测图像。

步骤S120：针对待检测图像中包含的各个图像帧进行图像分割，以识别各个图像帧中包含的障碍物区域。

具体的，针对校正后得到的待检测图像进行图像分割，通过图像分割处理，将待检测图像分割为多个区域。通常，待检测图像中包含地面区域、位于地面上的物体区域、以及背景区域等多个区域。相应的，剔除背景区域后，提取与地面区域相邻的物体区域，从而根据提取到的物体区域识别障碍物区域。

步骤S130：根据至少两个相邻的图像帧中包含的障碍物区域，检测与待检测图像相对应的目标障碍物，将已检测到的目标障碍物添加到追踪障碍物集合。

具体的，为了防止因单个图像帧的像素不清晰等问题而导致的误判问题，在本实施例中，根据至少两个相邻的图像帧中包含的障碍物区域，检测与待检测图像相对应的目标障碍物。其中，由于相邻的图像帧中通常会包含同一障碍物，且障碍物在相邻图像帧中的位移通常不会很大，因此，结合相邻的两个或更多个图像帧，能够对障碍物的合理位移范围进行校验，从而辅助验证障碍物的识别结果是否准确，进而防止误识别的问题。相应的，若结合多个图像帧确定出目标障碍物，则将确定出的目标障碍物添加到追踪障碍物集合中，以便在后续过程中实现针对障碍物的实时追踪。

步骤S140：根据实时获取的汽车的行驶状态信息检测追踪障碍物集合中包含的目标障碍物的实时位置信息，根据目标障碍物的实时位置信息判断是否触发报警提示信息。

具体的，在实现障碍物的实时追踪过程中，考虑到障碍物可能会暂时从摄像头的视野范围内消失，因此，为了确保障碍物的可靠识别，进一步获取汽车的行驶状态信息，从而根据实时获取到的行驶状态信息反向推测障碍物的当前位置，进而实现障碍物的持续追踪，并根据追踪结果判断是否需要出发报警提示消息，以提醒驾驶员规避障碍物。

由此可见，在本发明提供的基于汽车的障碍物检测方法中，能够通过鱼眼摄像头进行检测，由于鱼眼摄像头的检测范围大，因而能够全面检测车辆周边的障碍物，并且，通过畸变校正处理等方式能够还原鱼眼摄像头的图像畸变问题。另外，通过至少两个相邻的图像帧中包含的障碍物区域来检测目标障碍物，能够避免因单个图像帧分辨率较低而导致的误判问题，提升障碍物检测的准确性。并且，结合实时获取的汽车的行驶状态信息来检测追踪障碍物集合中包含的目标障碍物的实时位置信息，能够根据汽车的形状状态反推障碍物的实时位置，从而在障碍物暂时离开摄像头视野范围时实现障碍物的持续追踪，以确保行车安全。

实施例二

图2示出了本发明实施例二提供的一种基于汽车的障碍物检测方法的流程图。如图2所示，该方法包括：

步骤S210：针对位于汽车上的鱼眼摄像头获取到的原始鱼眼图像进行畸变校正处理，得到与原始鱼眼图像相对应的待检测图像。

具体的，鱼眼摄像头可以为安装在汽车前方的前视摄像头，也可以为安装在汽车后方的后视摄像头，本发明对鱼眼摄像头的具体设置位置不作限定。由于鱼眼摄像头获取到的原始鱼眼图像存在畸变，因此，需要执行畸变校正处理，从而得到校正后的待检测图像。具体实施时，可采用基于平面投影或者柱面投影的校正模型进行校正，本发明对具体实现细节不作限定。

步骤S220：针对待检测图像中包含的各个图像帧进行图像分割，以识别各个图像帧中包含的障碍物区域。

具体的，针对校正后得到的待检测图像进行图像分割，通过图像分割处理，将待检测图像分割为多个区域。通常，待检测图像中包含地面区域、位于地面上的物体区域、以及背景区域等多个区域。相应的，剔除背景区域后，提取与地面区域相邻的物体区域，从而根据提取到的物体区域识别障碍物区域。具体实施时，利用图像分割技术进行障碍物检测能够将独立低矮障碍物与地面等背景相分离从而获取汽车的可行驶区域。

步骤S230：根据至少两个相邻的图像帧中包含的障碍物区域，检测与待检测图像相对应的目标障碍物。

具体的，为了防止因单个图像帧的像素不清晰等因素而导致的误判问题，在本实施例中，根据至少两个相邻的图像帧中包含的障碍物区域，检测与待检测图像相对应的目标障碍物。其中，由于相邻的图像帧中通常会包含同一障碍物，且障碍物在相邻图像帧中的位移通常不会很大，因此，结合相邻的两个或更多个图像帧，能够对障碍物的合理位移范围进行校验，从而辅助验证障碍物的识别结果是否准确，进而防止误识别的问题。

具体实施时，根据第M个图像帧中包含的障碍物区域以及实时获取的汽车的行驶状态信息，预测第M+N个图像帧中包含的障碍物预测区域；确定第M+N个图像帧中包含的障碍物实际区域，判断障碍物实际区域与障碍物预测区域是否匹配，根据判断结果检测与待检测图像相对应的目标障碍物；其中，各个图像帧按照采集的时间顺序进行排序，且M、N为自然数。例如，当N等于1时，根据上一个图像帧中包含的障碍物区域预测当前图像帧中包含的障碍物预测区域。又如，当N大于1时，可以结合在前的多个图像帧(简称上帧或前帧)中包含的障碍物区域预测在后的图像帧(简称下帧或后帧)中包含的障碍物预测区域。由此可见，当N为大于1的自然数时，在根据第M个图像帧中包含的障碍物区域以及实时获取的汽车的行驶状态信息，预测第M+N个图像帧中包含的障碍物预测区域时，具体根据第M个图像帧至第M+N-1个图像帧中包含的障碍物区域以及实时获取的汽车的行驶状态信息，预测第M+N个图像帧中包含的障碍物预测区域。相应的，结合多个在前的图像帧能够提升障碍物预测的准确度。

其中，障碍物实际区域是指：通过对待检测的图像帧进行检测，得到的图像帧中包含的障碍物区域。障碍物预测区域是指：通过在前的图像帧中包含的障碍物实际区域的位置，并结合车辆的实时行驶状态信息，预测得到的障碍物位于在后的图像帧中的位置。由此可见，与障碍物实际区域不同，障碍物预测区域是根据在前的图像帧以及车辆的行驶状态信息预测得到的障碍物在后续图像帧中的位置，该位置通过算法预测得到，而并非通过图像检测实际获得，因而可能存在误差。

具体的，在判断障碍物实际区域与障碍物预测区域是否匹配，根据判断结果检测与待检测图像相对应的目标障碍物时，通过以下方式实现：首先，提取与障碍物实际区域相对应的实际特征信息以及与障碍物预测区域相对应的预测特征信息；然后，将实际特征信息与预测特征信息进行特征匹配处理；若特征匹配成功，则根据障碍物实际区域确定与待检测图像相对应的目标障碍物。反之，若特征匹配失败，则提示障碍物实际区域或障碍物预测区域存在误判，需要结合后续图像帧进行核实。其中，当前帧数量为多个时，将各个前帧所对应的障碍物预测区域分别与本帧的障碍物实际区域进行匹配，从而结合多个匹配结果综合确定最终的检测结果。

步骤S240：将已检测到的目标障碍物添加到追踪障碍物集合。

相应的，若结合多个图像帧确定出目标障碍物，则将确定出的目标障碍物添加到追踪障碍物集合中，以便在后续过程中实现针对障碍物的实时追踪。其中，只有当同一个障碍物既出现于由在前的图像帧确定的障碍物预测区域中，又出现于由在后的图像帧确定的障碍物实际区域中时，才将该障碍物确定为目标障碍物。由此可见，通过相邻的多个图像帧能够进行相互校验，从而防止误识别。追踪障碍物集合中包含的目标障碍物是需要在行驶过程中持续追踪的。

步骤S250：根据实时获取的汽车的行驶状态信息检测追踪障碍物集合中包含的目标障碍物的实时位置信息。

其中，发明人在实现本发明的过程中发现，在行车过程中可能会出现类似于马路牙或路边栅栏等连续而低矮的障碍物，对于该类障碍物，因其高度较低且长度连续，因而普通的检测方案中难以有效检测。为了解决上述问题，在本实施例中，预先针对该类连续而低矮的障碍物设置了识别特征，具体定义了预设的高度阈值以及长度阈值，以便于快速而准确地确定该类障碍物。具体实施时，当检测到的目标障碍物的高度低于预设高度阈值且长度大于预设长度阈值时，确定该目标障碍物为连续性障碍物。相应的，依据连续性障碍物的形状特征，连续性障碍物中包含的未检测部分能够根据连续性障碍物中包含的已检测部分预测得到。例如，对于马路牙或栅栏等障碍物而言，其高度固定且长度沿马路方向延伸，因此，根据连续性障碍物中包含的已检测部分的高度、长度、形状等特征，即可预测连续性障碍物中包含的未检测部分的高度、长度、形状等特征，进而能够在未检测部分进入摄像头检测范围之前提前预测车辆周边可能连续出现的障碍物区域。具体预测时，可以预先设置连续性障碍物预测模型，相应的，将实时获取到的连续性障碍物中包含的已检测部分的高度、长度、形状等特征信息输入上述的连续性障碍物预测模型，从而根据模型输出结果预测连续性障碍物中包含的未检测部分的高度、长度、形状等内容。其中，连续性障碍物预测模型可通过机器学习等方式训练得到。由此可见，本实施例能够根据连续性低矮障碍物通常沿路线方向连续排布的特征，提前预测未进入汽车视野范围内的连续性障碍物，从而便于规避风险。相应的，在根据实时获取的汽车的行驶状态信息检测追踪障碍物集合中包含的目标障碍物的实时位置信息时，若当前图像帧中未包含目标障碍物，则根据实时获取的汽车的行驶状态信息预测目标障碍物中包含的未检测部分的当前位置。例如，能够根据汽车的行驶速度、方向盘转速等信息预测目标障碍物中包含的未检测部分的当前位置。在本实施例中，位于汽车上的鱼眼摄像头通常为位于汽车前方的前视鱼眼摄像头，以便于在车辆与障碍物碰撞之前提前检测到障碍物。当然，在车辆倒车的过程中，也可以通过位于汽车后方的后视鱼眼摄像头进行检测。

步骤S260：根据目标障碍物的实时位置信息判断是否触发报警提示信息。

具体的，当判断出目标障碍物的实时位置信息距离车辆较近时，则触发报警提示信息，以提醒驾驶员规避障碍物。其中，报警提示信息可以为语音提示信息、方向盘震动信息等多种类型，本发明对此不作限定。

为了便于理解，下面以一个具体示例为例，详细描述本发明实施例二的具体实现细节：

首先，为了便于理解，先简单介绍本示例的技术背景：为了实现智能驾驶，需要实现车外障碍物的检测和追踪。目前，针对车外障碍物(如隔离柱、人、车辆等)的检测已经有了较多解决方案，而针对低矮的、连续障碍物(如马路牙等)的检测则还存在较多难点。现有的针对车外障碍物检测的算法包括基于雷达和基于前视摄像头或两者结合的方案，针对连续障碍物的检测往往需要结合雷达和视觉传感器。基于雷达的探测技术视野范围有限，单种传感器均存在盲区，而多传感器融合的软硬件开发难度较高。另外，鱼眼摄像头的视野范围大，车前、左、后、右安装的鱼眼摄像头能够覆盖车周围360度的视野，且能够观测到低处近车处出现的障碍物。然而，鱼眼摄像头的畸变对障碍物检测增加了较大难度，往往会存在漏检和误检；另一方面，当使用四路鱼眼摄像头时，每秒由四个摄像头获取的图片会占用车上智能系统大部分的带宽和计算资源，因此难以保证检测的实时性。

为了解决上述问题，本示例提出了一种根据车辆运动状态和车前视鱼眼摄像头对低矮障碍物进行检测与追踪的方法，目的在于克服现有车载视觉障碍物检测方案中的以下几点技术问题：普通前视摄像头无法检测到车近处低矮障碍物的问题；连续低矮障碍物轮廓及位置难以通过视觉方法进行检测的问题；使用四路鱼眼摄像头信号占用带宽和计算资源过高，但单个摄像头视野有限的问题。该示例能够解决上述问题，通过车前视鱼眼摄像头对车外独立/连续低矮障碍物进行检测，并针对进入警戒范围内的障碍物进行报警。该示例主要包括：畸变校正、基于图像分割的障碍物检测、障碍物世界坐标计算、前帧信息融合、障碍物追踪以及障碍物报警及显示等流程。首先，对鱼眼图像进行畸变校正，对校正后的图像进行像素分割获得障碍物的图像轮廓。以障碍物与地面像素接触的轮廓线计算得到障碍物在地面上的位置。结合上一帧的检测结果优化本帧检测结果。当障碍物离开前视鱼眼摄像头的视野范围时，利用车辆运动信息对障碍物进行持续追踪。若障碍物到车辆或行驶轨迹线的最近距离小于预设的警戒距离，向用户进行报警和显示。具体的，本示例提出一种低速行驶中基于前视鱼眼摄像头对低矮障碍物检测及追踪的方法，借助深度学习图像分割技术完成对低矮障碍物的检测，尤其能够检测传统障碍物检测过程中较难检测的连续低矮障碍物，并能够通过前后帧信息融合提供更可靠的检测结果。另外，该示例仅需要使用前视鱼眼摄像头并配合车辆运动信息采集即可实现，硬件成本低，且相较基于四路鱼眼的视觉检测系统更兼具实时性。

具体实施时，本示例可以由车辆中的智能系统实施，该智能系统进一步分为畸变校正、基于图像分割的障碍物检测、障碍物世界坐标计算、前帧信息融合、障碍物追踪以及障碍物报警及显示等多个模块。下面分别针对各个模块的具体实现原理进行详细描述：

(1)畸变校正模块：通过前视鱼眼相机采集到鱼眼图像I。为了使图像分割的效果足够进行特征提取，本方案先对采集到的鱼眼图像进行畸变校正。本方案可采用基于平面投影或者柱面投影的校正模型，其中前者能够较好的消除鱼眼摄像头的径向畸变，后者能够将鱼眼中心位置的图像保持原有的水平、竖直形态。利用上述校正模型MR，可以得到校正后图像IR。

(2)基于图像分割的障碍物检测模块：本方案训练基于深度学习的图像分割模型M_s，利用图像分割技术进行障碍物检测能够将独立低矮障碍物与地面等背景分离以获取可行驶区域，而且能够解决传统方案无法识别连续低矮障碍物的问题。对于第i帧图像I_R ⁱ，将分割得到的障碍物进行边缘提取，获取障碍物的轮廓Cⁱ以及与地面接触的轮廓线C_G ⁱ，后者可以用于后续的距离计算和前帧信息融合。

(3)障碍物世界坐标计算模块：结合障碍物检测模块获取的障碍物地面接触轮廓线C_G ⁱ、图像的畸变校正模型M_R和相机标定参数H，将障碍物地面轮廓线C_G ⁱ投影到地面上，并计算得到障碍物地面轮廓的世界坐标Lⁱ。所有检测到的障碍物形成集合{Lⁱ}。

(4)前帧信息融合模块。为了保证检测的实时性，可能会采用较小分辨率图像进行检测，则每次检测到的障碍物轮廓可能是不完整的或者不准确的，同时也可能存在漏检误检的情况。本方案采用前帧信息融合的方式优化检测结果，使检测到的障碍物轮廓和位置更可靠。前帧信息融合步骤如图6所示，具体如下：

首先，先利用障碍物世界坐标计算模块中计算得到的上一帧障碍物地面坐标集合{L^i-l}结合车辆运动信息(通过车辆OBD采集轮速和方向盘转向信息)预测障碍物轮廓线在下一帧的位置L_P ⁱ，并形成预测集合

通过本帧检测结果计算得到本帧障碍物轮廓坐标集合{Lⁱ}。

然后，对于{Lⁱ}中每一个本帧检测结果Lⁱ，遍历上一帧的障碍物预测集合

中的每一个预测障碍物位置L_P ⁱ。若有满足特征匹配(可以简单利用距离或者IOU进行匹配)的单个或多个预测障碍物L_P ⁱ，则确认当前帧检测障碍物Lⁱ非误检，将Lⁱ和L_P ⁱ的坐标进行加权融合，从/>

中删除预测障碍物L_P，将Lⁱ加入待追踪障碍物集合{T}；若没有满足特征匹配的预测障碍物，则将该检测障碍物Lⁱ暂定为误检障碍物，若未匹配的次数超出预设的阈值，则确认Lⁱ为误检，将其从{Lⁱ}中删除。通过将前帧的障碍物预测结果与本帧的障碍物检测结果的坐标进行加权融合，能够解决因分辨率低而导致的识别不准确的问题，能够结合多个图像帧提升障碍物的检测准确性。

(5)障碍物追踪模块：对于{Lⁱ}中所有已确认追踪的障碍物，当障碍物离开前视鱼眼摄像头的视野范围时，利用车辆运动信息反向计算障碍物的地面位移，以此来追踪障碍物。

(6)障碍物报警及显示模块：通过车辆运动信息计算得到车辆行驶轨迹线，然后计算障碍物到车辆或轨迹线的最近距离，若该距离小于预设的警戒距离，则将该障碍物通过透视变换投影到特定的显示平面上，在车机上向用户进行展示。

为了便于理解上述过程，图5示出了本示例中的障碍物追踪方法的流程示意图，如图5所示，在该障碍物追踪方法中，一方面，通过鱼眼图像获取障碍物的坐标；另一方面，通过车轮的转速或转向等信息获取车辆运动状态，从而结合车辆运动状态、车辆行驶轨迹以及障碍物坐标信息实现障碍物追踪。图6示出了前帧信息融合的流程示意图，如图6所示，根据本帧检测到的障碍物以及多个上帧预测的障碍物进行特征匹配，从而根据特征匹配结果确定目标障碍物。其中，由于上帧的数量为多个，因此，可以分别针对每个上帧预测障碍物与本帧检测障碍物进行匹配，从而获取多个分别与各个上帧(也叫前帧或在前的图像帧)相对应的匹配结果，根据匹配次数来最终确定是否为目标障碍物。例如，若未匹配的次数达到预设阈值，则确认该障碍物为误检。

综上可知，通过本发明实施例中的方式，能够通过鱼眼摄像头进行检测，由于鱼眼摄像头的检测范围大，因而能够全面检测车辆周边的障碍物，并且，通过畸变校正处理等方式能够还原鱼眼摄像头的图像畸变问题。另外，通过至少两个相邻的图像帧中包含的障碍物区域来检测目标障碍物，能够避免因单个图像帧分辨率较低而导致的误判问题，提升障碍物检测的准确性。并且，结合实时获取的汽车的行驶状态信息来检测追踪障碍物集合中包含的目标障碍物的实时位置信息，能够根据汽车的形状状态反推障碍物的实时位置，从而在障碍物暂时离开摄像头视野范围时实现障碍物的持续追踪，以确保行车安全。并且，结合多个上帧的预测结果综合判定本帧检测到的障碍物是否正确，能够显著提升检测的准确性。

实施例三

图3示出了本发明实施例三提供的一种基于汽车的障碍物检测装置的结构示意图，具体包括：

校正模块31，适于针对位于汽车上的鱼眼摄像头获取到的原始鱼眼图像进行畸变校正处理，得到与所述原始鱼眼图像相对应的待检测图像；

分割模块32，适于针对所述待检测图像中包含的各个图像帧进行图像分割，以识别各个图像帧中包含的障碍物区域；

检测模块33，适于根据至少两个相邻的图像帧中包含的障碍物区域，检测与所述待检测图像相对应的目标障碍物，将已检测到的目标障碍物添加到追踪障碍物集合；

追踪模块34，适于根据实时获取的汽车的行驶状态信息检测所述追踪障碍物集合中包含的目标障碍物的实时位置信息，根据所述目标障碍物的实时位置信息判断是否触发报警提示信息。

可选的，所述检测模块具体适于：

根据第M个图像帧中包含的障碍物区域以及实时获取的汽车的行驶状态信息，预测第M+N个图像帧中包含的障碍物预测区域；

确定第M+N个图像帧中包含的障碍物实际区域，判断所述障碍物实际区域与所述障碍物预测区域是否匹配，根据判断结果检测与所述待检测图像相对应的目标障碍物；其中，M、N为自然数。

可选的，所述检测模块具体适于：

提取与所述障碍物实际区域相对应的实际特征信息以及与所述障碍物预测区域相对应的预测特征信息；

将所述实际特征信息与所述预测特征信息进行特征匹配处理；

若特征匹配成功，则根据所述障碍物实际区域确定与所述待检测图像相对应的目标障碍物。

可选的，当N为大于1的自然数时，所述检测模块具体适于：

根据第M个图像帧至第M+N-1个图像帧中包含的障碍物区域以及实时获取的汽车的行驶状态信息，预测第M+N个图像帧中包含的障碍物预测区域。

可选的，当所述目标障碍物的高度低于预设高度阈值且长度大于预设长度阈值时，确定所述目标障碍物为连续性障碍物；其中，所述连续性障碍物中包含的未检测部分能够根据连续性障碍物中包含的已检测部分预测得到。

可选的，所述追踪模块具体适于：

若当前图像帧中未包含所述目标障碍物，则根据实时获取的汽车的行驶状态信息预测所述目标障碍物中包含的未检测部分的当前位置。

可选的，所述位于汽车上的鱼眼摄像头为前视鱼眼摄像头。

上述各个模块的具体实现原理可参照方法实施例中相应部分的描述，此次不再赘述。

实施例四

本申请实施例四提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于汽车的障碍物检测方法。可执行指令具体可以用于使得处理器执行上述方法实施例中对应的各个操作。

实施例五

图4示出了根据本发明实施例五的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)406、存储器(memory)404、以及通信总线408。

其中：

处理器402、通信接口406、以及存储器404通过通信总线408完成相互间的通信。

通信接口406，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述基于汽车的障碍物检测方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(Application Spec如果ic Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器404，用于存放程序410。存储器404可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序510具体可以用于使得处理器502执行上述方法实施例中对应的各个操作。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种基于汽车的障碍物检测方法，其特征在于，包括：

根据实时获取的汽车的行驶状态信息检测所述追踪障碍物集合中包含的目标障碍物的实时位置信息，根据所述目标障碍物的实时位置信息判断是否触发报警提示信息，

当所述目标障碍物的高度低于预设高度阈值且长度大于预设长度阈值时，确定所述目标障碍物为连续性障碍物；其中，所述连续性障碍物中包含的未检测部分能够根据连续性障碍物中包含的已检测部分预测得到。

2.根据权利要求1所述的方法，其特征在于，所述根据至少两个相邻的图像帧中包含的障碍物区域，检测与所述待检测图像相对应的目标障碍物包括：

3.根据权利要求2所述的方法，其特征在于，所述判断所述障碍物实际区域与所述障碍物预测区域是否匹配，根据判断结果检测与所述待检测图像相对应的目标障碍物包括：

4.根据权利要求3所述的方法，其特征在于，当N为大于1的自然数时，所述根据第M个图像帧中包含的障碍物区域以及实时获取的汽车的行驶状态信息，预测第M+N个图像帧中包含的障碍物预测区域包括：

5.根据权利要求1所述的方法，其特征在于，所述根据实时获取的汽车的行驶状态信息检测所述追踪障碍物集合中包含的目标障碍物的实时位置信息包括：

6.根据权利要求1-5任一所述的方法，其特征在于，所述位于汽车上的鱼眼摄像头为前视鱼眼摄像头。

7.一种基于汽车的障碍物检测装置，包括：

当所述目标障碍物的高度低于预设高度阈值且长度大于预设长度阈值时，确定所述目标障碍物为连续性障碍物；其中，所述连续性障碍物中包含的未检测部分能够根据连续性障碍物中包含的已检测部分预测得到；

8.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的基于汽车的障碍物检测方法对应的操作。

9.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-6中任一项所述的基于汽车的障碍物检测方法对应的操作。