CN110641366A - 行车时的障碍物追踪方法、系统、电子设备和存储介质 - Google Patents

Abstract

本公开涉及辅助驾驶技术领域，提供一种行车时的障碍物追踪方法、系统、电子设备和存储介质。其中方法包括：在车辆的行驶过程中，通过AVM采集车辆周围的全景影像信息，根据全景影像信息判断车辆的一预设距离范围内是否有障碍物；当预设距离范围内出现障碍物时，根据障碍物与车辆的位置关系，激活AVM的至少一障碍物侧的摄像头追踪采集障碍物的影像信息；根据全景影像信息和障碍物的影像信息，生成包括障碍物、障碍物侧的车身和路面、以及一预行驶轨迹的障碍物影像图；并根据障碍物与车辆的位置关系，实时调整障碍物影像图，直至车辆驶离障碍物。本公开能够实现自动追踪显示障碍物信息，以辅助驶离障碍物，提高了驾驶的便利性和安全性。

Description

行车时的障碍物追踪方法、系统、电子设备和存储介质

技术领域

本公开涉及辅助驾驶技术领域，具体地说，涉及一种行车时的障碍物追踪方法、系统、电子设备和存储介质。

背景技术

现有的车载AVM(Around View Monitor，全景监控影像系统)可以对车辆进行全景影像的采集，但在显示时通常只能固定地显示全景视图和前视图。在车辆行车过程中，当出现障碍物威胁时，AVM无法自动跳转至可以清楚地显示障碍物与车辆的位置关系的视角影像，无法提供详细的障碍物信息。驾驶员需要手动选择特定的视角，导致驾驶操作时间延误，驾驶员注意力分散。尤其是在车辆周围出现多个障碍物的情况下，驾驶员手动操作分别切换不同障碍物的视角图像，会给行车带来极大的安全隐患。

需要说明的是，在上述背景技术部分申请的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种能实现自动追踪显示障碍物的行车时的障碍物追踪方法、系统、电子设备和存储介质，克服现有技术中需要驾驶员通过手动操作来查看障碍物信息的问题。

本公开的一个实施例提供一种行车时的障碍物追踪方法，包括：在车辆的行驶过程中，通过所述车辆的全景监控影像系统采集车辆周围的全景影像信息，根据所述全景影像信息判断所述车辆的一预设距离范围内是否有障碍物；当所述预设距离范围内出现障碍物时，根据所述障碍物与所述车辆的位置关系，激活所述全景监控影像系统的至少一障碍物侧的摄像头追踪采集所述障碍物的影像信息；根据所述全景影像信息和所述障碍物的影像信息，生成包括所述障碍物、所述障碍物侧的车身和路面、以及一预行驶轨迹的障碍物影像图，所述预行驶轨迹至少根据所述车辆的方向盘转角获得，并至少自所述障碍物侧的前轮外沿延伸至超过所述障碍物；以及，根据所述障碍物与所述车辆的位置关系，实时调整所述障碍物影像图，直至所述车辆驶离所述障碍物。

在一个实施例中，当所述预设距离范围内出现多个障碍物时，生成所述障碍物影像图的步骤包括：根据各障碍物与所述车辆的位置关系，激活所述全景监控影像系统的与各障碍物的位置对应的多个摄像头，分别追踪采集各障碍物的影像信息；以及，根据所述全景影像信息和各障碍物的影像信息，分别生成各障碍物的障碍物影像图，分屏显示于所述车辆的车载信息系统。

在一个实施例中，所述障碍物追踪方法还包括：激活所述全景监控影像系统的至少一障碍物侧的雷达追踪采集所述障碍物与车身之间的间隔距离；当所述间隔距离小于一第一距离阈值时，发出报警音，并收拢所述障碍物侧的后视镜。

在一个实施例中，生成所述障碍物影像图的步骤还包括：根据所述全景影像信息获得所述车辆所在车道的车道线和所述车辆两侧的相邻车道，获得各相邻车道中距离所述车辆最近的邻车，并获得各邻车的行驶轨迹；将所述车辆所在的车道线、各邻车和各行驶轨迹融合至所述障碍物影像图中，并监测所述预行驶轨迹与所述车辆所在的车道线、以及所述预行驶轨迹与各邻车的行驶轨迹之间的距离关系；以及，当所述预行驶轨迹超出所述车辆所在车道的车道线，和/或，在所述车辆的制动距离范围内，当所述预行驶轨迹与一邻车的行驶轨迹的间隔距离小于一第二距离阈值时，发出报警音。

在一个实施例中，当根据所述全景影像信息判断所述车辆的同一侧存在多个障碍物时，至少激活所述障碍物侧的摄像头追踪采集所述多个障碍物的影像信息；根据所述预行驶轨迹和所述车辆的当前车速，判断各障碍物出现在所述预设距离范围内的时间间隔；若所述时间间隔小于一设定值，则在所述障碍物影像图中持续地显示各出现在所述预设距离范围内的障碍物；以及，若所述时间间隔超出所述设定值，则间断地生成各所述障碍物的障碍物影像图。

在一个实施例中，所述障碍物追踪方法还包括：根据所述全景影像信息和所述障碍物的影像信息，生成包括所述车辆的全部车身和车周路面、以及所述障碍物的环视影像图；以及，将所述环视影像图与所述障碍物影像图分屏显示于所述车辆的车载信息系统。

在一个实施例中，当所述预设距离范围内不存在障碍物时，根据所述全景影像信息生成包括所述车辆两侧的车道线、所述车辆的车头和所述预行驶轨迹的前视影像图。

在一个实施例中，所述实时调整所述障碍物影像图的步骤包括：根据所述障碍物与所述车辆的位置关系，对应激活所述全景监控影像系统的与所述障碍物的位置对应的摄像头；以及，根据所述全景影像信息和所述障碍物的影像信息，对应调整所述障碍物影像图中的所述障碍物、所述障碍物侧的车身和路面、以及所述预行驶轨迹之间的位置关系。

在一个实施例中，所述全景式监控影像系统包括一前视摄像头和安装于所述车辆的车头、车尾和两侧车身的多个鱼眼摄像头，以及安装于所述车辆的车头、车尾和两侧车身的多个超声波雷达。

本公开的一个实施例还提供一种行车时的障碍物追踪系统，包括：对象识别模块，用于在车辆的行驶过程中，通过所述车辆的全景监控影像系统采集车辆周围的全景影像信息，根据所述全景影像信息判断所述车辆的一预设距离范围内是否有障碍物；目标追踪模块，用于当所述预设距离范围内出现障碍物时，根据所述障碍物与所述车辆的位置关系，激活所述全景监控影像系统的至少一障碍物侧的摄像头追踪采集所述障碍物的影像信息；影像生成模块，用于根据所述全景影像信息和所述障碍物的影像信息，生成包括所述障碍物、所述障碍物侧的车身和路面、以及一预行驶轨迹的障碍物影像图，所述预行驶轨迹至少根据所述车辆的方向盘转角获得，并至少自所述障碍物侧的前轮外沿延伸至超过所述障碍物；以及根据所述障碍物与所述车辆的位置关系，实时调整所述障碍物影像图，直至所述车辆驶离所述障碍物。

本公开的一个实施例还提供一种电子设备，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的行车时的障碍物追踪方法的步骤。

本公开的一个实施例还提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现上述的行车时的障碍物追踪方法的步骤。

本公开与现有技术相比的有益效果至少包括：

当车辆的预设距离范围内出现障碍物时，根据障碍物与车辆的位置关系激活全景监控影像系统的至少一障碍物侧的摄像头追踪采集障碍物的影像信息，实现障碍物信息的追踪采集；

根据全景影像信息和障碍物的影像信息，生成包括障碍物、障碍物侧的车身和路面、以及预行驶轨迹的障碍物影像图，实现障碍物与车辆的位置关系的清晰显示，以辅助驶离障碍物；

根据障碍物与车辆的位置关系，实时调整障碍物影像图，直至车辆驶离障碍物，实现根据相对位置变化灵活调整障碍物图像；

本公开通过全景监控影像系统辅助识别障碍物，对于路面上的障碍物进行目标和距离识别，弥补人眼难以看到低矮障碍物、难以判断能否驾驶通过的缺陷；并进一步精确辅助驶离障碍物，识别出障碍物后，自动切换至障碍物影像图，并根据驾驶员方向盘转角绘制预行驶轨迹，通过显示障碍物与预行驶轨迹之间准确而清晰的位置关系，为驾驶员提供参照，以辅助驾驶员驶离障碍物。当障碍物出现在车辆的不同方位时，还可以自动切换分屏显示相应方位的障碍物影像图，无需手动操作，提高了驾驶的便利性和安全性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开实施例中一种行车时的障碍物追踪方法的流程图；

图2示出本公开实施例中全景监控影像系统在车辆上的安装示意图；

图3示出本公开实施例中一种障碍物影像图的示意图；

图4示出本公开实施例中两个障碍物影像图分屏显示的示意图；

图5示出本公开实施例中三个障碍物影像图分屏显示的示意图；

图6示出本公开实施例中另一种障碍物影像的示意图；

图7示出本公开实施例中环视影像图与障碍物影像图分屏显示的示意图；

图8示出本公开实施例中环视影像图与前视影像图分屏显示的示意图；

图9示出本公开实施例中一种行车时的障碍物追踪系统的架构图；

图10示出本公开实施例中一种电子设备的结构示意图；以及

图11示出本公开实施例中一种计算机可读存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本公开将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

图1示出实施例中一种行车时的障碍物追踪方法的流程图。参照图1所示，本实施例中行车时的障碍物追踪方法主要包括如下步骤：

S10、在车辆的行驶过程中，通过车辆的全景监控影像系统采集车辆周围的全景影像信息，根据全景影像信息判断车辆的一预设距离范围内是否有障碍物；S20、当预设距离范围内出现障碍物时，根据障碍物与车辆的位置关系，激活全景监控影像系统的至少一障碍物侧的摄像头追踪采集障碍物的影像信息；S30、根据全景影像信息和障碍物的影像信息，生成包括障碍物、障碍物侧的车身和路面、以及一预行驶轨迹的障碍物影像图，预行驶轨迹至少根据车辆的方向盘转角获得，并至少自障碍物侧的前轮外沿延伸至超过障碍物；以及S40、根据障碍物与车辆的位置关系，实时调整障碍物影像图，直至车辆驶离障碍物。

参照图2所示全景监控影像系统在车辆上的安装示意图。全景监控影像系统(Around View Monitor，简称AVM)包括一前视摄像头111和安装于车辆1的车头、车尾和两侧车身的多个鱼眼摄像头112，以及安装于车辆1的车头、车尾和两侧车身的多个超声波雷达121。其中前视摄像头111是ADAS(Advanced Driving Assistant System，高级驾驶辅助系统)摄像头，可以准确地识别障碍物。全景监控影像系统的摄像头用于采集和识别图像信息，雷达用于采集和识别距离信息，摄像头和雷达均与车辆1的处理器连接，以将采集到的信息传输至处理器，供处理器分析和处理。

在车辆的行驶过程中，通过全景监控影像系统可以采集到车辆周围的全景影像信息，进而，处理器根据全景影像信息，通过对象识别和距离识别的方式，判断车辆的预设距离范围内是否有障碍物。其中预设距离范围是车辆的一个安全距离范围，可以根据需要而设定，例如设定为10米。当预设距离范围内出现障碍物时，根据障碍物与车辆的位置关系，处理器激活全景监控影像系统的至少一障碍物侧的摄像头追踪采集障碍物的影像信息。障碍物与车辆的位置关系也可以根据需要设定，例如，在一个实施例中，车头前方的障碍物视为位于车辆前方的障碍物，通过全景监控影像系统的前视摄像头进行该障碍物的追踪采集；车头左侧的障碍物视为位于车辆左侧的障碍物，通过安装于车辆的左侧后视镜上的摄像头进行该障碍物的追踪采集；车头右侧的障碍物视为位于车辆右侧的障碍物，通过安装于车辆的右侧后视镜上的摄像头进行该障碍物的追踪采集。在特定的摄像头追踪采集障碍物信息的同时，其他摄像头采集车辆的全景影像信息，从而处理器可以对该特定的摄像头采集的障碍物信息和其他摄像头采集的全景影像信息进行融合处理，生成可以准确显示障碍物与车辆的位置关系的障碍物影像图。

参照图3所示的障碍物影像图，本实施例中以障碍物位于车辆左侧为例。障碍物影像图中至少包括了障碍物2、障碍物侧的车身和路面(即车辆左侧的车身10和路面)、以及车辆的预行驶轨迹3。其中预行驶轨迹3至少根据车辆的方向盘13的转角获得，如图中方向盘13沿箭头P转动了一定角度，则左前轮14相应地向右转动一定角度，预行驶轨迹3会向右倾斜一定角度。预行驶轨迹3至少自障碍物侧的前轮(即左前轮14)的外沿延伸至超过障碍物2，以清楚地显示车辆的预行驶轨迹3与障碍物2之间的位置关系，辅助车辆驶离障碍物2。

随着车辆的移动，障碍物与车辆的位置关系会不断发生变化，则实时地调整障碍物影像图，直至车辆驶离障碍物。在一个实施例中，实时调整障碍物影像图的步骤包括：根据障碍物与车辆的位置关系，对应激活全景监控影像系统的与障碍物的位置对应的摄像头；例如随着车辆移动障碍物位于车辆前方时，则激活前视摄像头追踪采集障碍物的影像信息。以及根据全景影像信息和障碍物的影像信息，对应调整障碍物影像图中的障碍物、障碍物侧的车身和路面、以及预行驶轨迹之间的位置关系。

通过本实施例的障碍物追踪方法，在行车时无需手动操作即可自动识别障碍物，并自动切换至障碍物影像图，图像视角随着障碍物移动以追踪障碍物；精确显示障碍物与预行驶轨迹之间的位置关系，直至车辆驶离障碍物，大大提高了驾驶的便利性和安全性。

在一个实施例中，当预设距离范围内出现多个障碍物时，生成障碍物影像图的步骤包括：根据各障碍物与车辆的位置关系，激活全景监控影像系统的与各障碍物的位置对应的多个摄像头，分别追踪采集各障碍物的影像信息；以及，根据全景影像信息和各障碍物的影像信息，分别生成各障碍物的障碍物影像图，分屏显示于车辆的车载信息系统(In-Vehicle Infotainment，简称IVI)。

参照图4所示的两个障碍物影像图分屏显示的示意图，当车辆左侧和右侧同时出现障碍物时，分别根据左侧障碍物2和右侧障碍物2’与车辆的位置关系，激活全景监控影像系统的与左侧障碍物2对应的安装于左侧后视镜上的摄像头追踪采集左侧障碍物2的影像信息，以及与右侧障碍物2’对应的安装于右侧后视镜上的摄像头追踪采集右侧障碍物2’的影像信息。然后根据全景影像信息和各障碍物的影像信息，分别生成左侧障碍物2的障碍物影像图和右侧障碍物2’的障碍物影像图，如图4所示分屏显示于车辆的车载信息系统。这样，驾驶员能够在左侧障碍物2的障碍物影像图中清楚直观地看到左侧障碍物2与左侧部分车身10以及预行驶轨迹3的位置关系，同时在右侧障碍物2’的障碍物影像图中清楚直观地看到右侧障碍物2’与右侧部分车身10’以及预行驶轨迹3的位置关系。从而，位于车辆的不同方位的障碍物与车辆和预行驶轨迹的位置关系被清楚直观地展示，帮助驾驶员兼顾到车辆不同方位的障碍物，以安全地规避和驶离。

在一个实施例中，当车辆的左侧、前方、右侧同时出现障碍物，参照图5所示，左侧障碍物2的障碍物影像图、前方侧障碍物2”的障碍物影像图和右侧障碍物2’的障碍物影像图分屏显示于车辆的车载信息系统。其中，左侧障碍物2的障碍物影像图至少示出了左侧障碍物2、左侧车身10和路面以及预行驶轨迹3之间的位置关系，前方侧障碍物2”的障碍物影像图至少示出了前方侧障碍物2”、车头10”和路面以及预行驶轨迹3之间的位置关系，右侧障碍物2’的障碍物影像图至少示出了右侧障碍物2’、右侧车身10’和路面以及预行驶轨迹3之间的位置关系。根据分屏显示的左侧障碍物2的障碍物影像图、前方侧障碍物2”的障碍物影像图和右侧障碍物2’的障碍物影像图，驾驶员可以兼顾到车辆不同方位的障碍物，以安全地规避和驶离。

在一个实施例中，障碍物追踪方法还包括：激活全景监控影像系统的至少一障碍物侧的雷达追踪采集障碍物与车身之间的间隔距离；当间隔距离小于一第一距离阈值时，发出报警音，并收拢障碍物侧的后视镜。当车辆在穿过一个狭窄的巷子时，可以通过全景监控影像系统的雷达监测障碍物与车身的距离，在车辆无法穿过时收拢障碍物侧的后视镜，以提供更多的距离空间。由于障碍物侧的车身与障碍物之间的位置关系被清楚地显示在车辆的显示屏上，因此可以收拢障碍物侧的后视镜，以提供更多的距离空间，同时不会影响驾驶员通过另一侧的后视镜观察另一侧车身与路面和障碍物之间的位置关系。当车辆两侧的车身与障碍物的位置关系都被显示在车辆的显示屏上时，则可以收拢两侧的后视镜，以提供更大的距离空间辅助车辆驶离。其中，第一距离阈值可以根据需要时设定，保证车身不会碰撞到障碍物即可。

在一个实施例中，生成障碍物影像图的步骤还包括：根据全景影像信息获得车辆所在车道的车道线和车辆两侧的相邻车道，获得各相邻车道中距离车辆最近的邻车，并获得各邻车的行驶轨迹；将车辆所在的车道线、各邻车和各邻车的行驶轨迹融合至障碍物影像图中，并监测预行驶轨迹与车辆所在的车道线、以及预行驶轨迹与各邻车的行驶轨迹之间的距离关系；以及，当预行驶轨迹超出车辆所在车道的车道线，和/或，在车辆的制动距离范围内，当预行驶轨迹与一邻车的行驶轨迹的间隔距离小于一第二距离阈值时，发出报警音。

驾驶员在规避障碍物时，很可能因拐角过大与其他车辆发生碰撞。本实施例通过在障碍物影像图中显示邻车的行驶轨迹，帮助驾驶员观察车辆与邻车的位置关系，避免碰撞。参照图6所示的障碍物影像图，当障碍物2”出现在车辆前方且高于底盘高度，车辆需要通过往左或往右借道的方式来规避障碍物2”。此时，车辆的处理器根据全景影像信息获得车辆所在车道的车道线和车辆两侧的相邻车道，获得各相邻车道中距离车辆最近的邻车，如图6中包括左侧邻车4’和右侧邻车4”，并获得左侧邻车4’的行驶轨迹40’和右侧邻车4”的行驶轨迹40”。邻车的行驶轨迹可以根据图像处理的方式获得。将车辆所在的车道线、各邻车和各邻车的行驶轨迹融合至障碍物影像图中，并监测预行驶轨迹与车辆所在的车道线、以及预行驶轨迹与各邻车的行驶轨迹之间的距离关系。当预行驶轨迹超出车辆所在车道的车道线，和/或，在车辆的制动距离范围内，当预行驶轨迹与一邻车的行驶轨迹的间隔距离小于一第二距离阈值时，发出报警音。其中，第二距离阈值可以根据需要设定，保证车辆与邻车不会发生碰撞即可。

在一个实施例中，当根据全景影像信息判断车辆的同一侧存在多个障碍物时，至少激活障碍物侧的摄像头追踪采集多个障碍物的影像信息；根据预行驶轨迹和车辆的当前车速，判断各障碍物出现在预设距离范围内的时间间隔；若时间间隔小于一设定值，则在障碍物影像图中持续地显示各出现在预设距离范围内的障碍物；若时间间隔超出设定值，则间断地生成各障碍物的障碍物影像图。当车前10米开始捕捉到障碍物后，对障碍物进行追踪，随着障碍物离车越来越近，不断将车辆前方图像缩短，待障碍物到达车头，图像显示车前一米至整个车身范围内的图像，整个画面过程平滑过渡。当障碍物包括连续的多个时，随着第一个障碍物视角来到车侧后保持住，图像显示障碍物一个个通过车侧。并且根据车速和预行驶轨迹测算，各个低矮障碍物出现的时间间隔，小于设定的时间间隔(例如10s)，则该障碍物视角画面不关闭，以避免因不断跳转图像导致视觉混乱；大于时间间隔则先关闭再打开，以使车载信息系统显示没有障碍物时的环视图像和前视图像。

在一个实施例中，障碍物追踪方法还包括：根据全景影像信息和障碍物的影像信息，生成包括车辆的全部车身和车周路面、以及障碍物的环视影像图；并将环视影像图与障碍物影像图分屏显示于车辆的车载信息系统。参照图7所示环视影像图与障碍物影像图分屏显示的示意图，当车辆的预设距离范围内出现障碍物时，在车载信息系统分屏显示包括车辆1的全部车身和车周路面、以及障碍物2的环视影像图，和包括障碍物2、障碍物侧的车身10和路面、以及预行驶轨迹3的障碍物影像图。通过分屏显示环视影像图障碍物影像图，帮助驾驶员更清楚地观察到车辆1周围的环境以及车辆1与障碍物2的位置关系。

进一步的，参照图8所示环视影像图与前视影像图分屏显示的示意图，当车辆的预设距离范围内不存在障碍物时，根据全景影像信息生成包括车辆两侧的车道线、车辆的车头10”和预行驶轨迹3的前视影像图，帮助驾驶员在行车时观察车辆1周围的环境以及车辆1前方的路况。

在行车时，用户也可以手动或者语音激活或关闭摄像头或雷达的追踪功能。当打开障碍物自动追踪功能后，处理器将利用摄像头图像进行障碍物目标识别，通过超声波雷达进行障碍物距离识别，通过方向盘转角进行行驶轨迹计算。当障碍物距离行驶轨迹大于设定值，则处理器将AVM环视图像和前视图像传输至IVI进行显示。当障碍物距离行驶轨迹小于设定值，将自动切换至障碍物视图，并随着障碍物相对车辆的移动，连续变换图像视角追踪障碍物。当不同位置同时出现障碍物，则进行分屏显示。除了障碍物追踪视图，用户仍能选择特定视角。当用户关闭自动障碍物追踪功能后，默认显示AVM环视图和前视图，也可以由用户手动选择特定视角。用户也可以手势关闭功能或按关闭键关闭功能。

障碍物追踪功能默认打开。在车辆的显示屏上，障碍物追踪功能标识为绿色。障碍物追踪功能可以手动单击按钮关闭，关闭后按钮变为红色；在功能关闭的情况下可以单击按钮打开障碍物追踪，打开后按钮变回绿色。在AVM视图中，障碍物与车辆的预行驶轨迹之间的间隔距离大于一定值时，超声波雷达框线不显示；间隔距离小于一定值时，超声波雷达框线显示为黄色；当间隔距离更小时，超声波雷达框线显示为红色，同时自动跳出障碍物视图。间隔距离可以设定为0.5m、0.75m、1m等等，随着设定值的变化，AVM中的超声波雷达框线的位置相应调整。

进一步的，出现障碍物时，障碍物在环视影像图和障碍物影像图中都由红色蒙皮覆盖，方便用户识别。当车辆的左侧/右侧/前侧其中一侧有障碍物距离车辆的预行驶轨迹小于设定值，IVI发出两声“嘀嘀”报警音(共1秒)，超声波雷达框线显示红色，同时自动跳出障碍物侧图像，方便用户识别。在功能界面上，用户还可以选择单方向摄像头的图像(无论追踪障碍物功能是否打开)。向内视角模式下包括左侧、右侧、前侧、后侧摄像头图像，和前后侧全屏图像。向外视角模式下包括左侧、右侧、前侧、后侧摄像头图像。如果追踪障碍物功能打开，用户仍可选择查看固定视角图像，当检测到障碍物时，则自动跳到障碍物视图；在障碍物追踪功能打开，且已经检测到障碍物显示障碍物视图时，用户如果想看其他视角也可以打开相应视角，但10s后会自动跳回障碍视图；用户不想看障碍物视图，可以手动将障碍物追踪功能关闭。上述功能均可以根据需要设定。

在一些实施例中，全景监控影像系统的各个摄像头还可以拍摄实车图像，以更直观地观察车辆及周围的环境。例如，点击向内视角，默认显示模拟从后方1m斜45度拍摄的实车图像；点击前摄像头，切换为从前方1m斜45度拍摄的实车图像；点击左摄像头，切换为从左方1m斜45度拍摄的实车图像；点击右摄像头，切换为从右方1m斜45度拍摄的实车图像。

综上，本公开通过全景监控影像系统辅助识别障碍物，对于路面上的障碍物进行目标和距离识别，弥补人眼难以看到低矮障碍物、难以判断能否驾驶通过的缺陷。本公开的障碍物追踪方法能实现障碍物信息的追踪采集，动态显示障碍物与车辆的位置关系，并根据障碍物与车辆的位置变化实时调整障碍物影像图，为驾驶员提供参照，以辅助驾驶员驶离障碍物。当障碍物出现在车辆的不同方位时，还可以自动切换分屏显示相应方位的障碍物影像图，无需手动操作，提高了驾驶的便利性和安全性。

本公开实施例还提供一种行车时的障碍物追踪系统，参照图9所示，障碍物追踪系统包括：

对象识别模块510，用于在车辆的行驶过程中，通过车辆的全景监控影像系统采集车辆周围的全景影像信息，根据全景影像信息判断车辆的一预设距离范围内是否有障碍物。对象识别模块510可用于实现上述障碍物追踪方法实施例中的步骤S10。

目标追踪模块520，用于当预设距离范围内出现障碍物时，根据障碍物与车辆的位置关系，激活全景监控影像系统的至少一障碍物侧的摄像头追踪采集障碍物的影像信息。目标追踪模块520可用于实现上述障碍物追踪方法实施例中的步骤S20。

影像生成模块530，用于根据全景影像信息和障碍物的影像信息，生成包括障碍物、障碍物侧的车身和路面、以及一预行驶轨迹的障碍物影像图，预行驶轨迹至少根据车辆的方向盘转角获得，并至少自障碍物侧的前轮外沿延伸至超过障碍物；以及根据障碍物与车辆的位置关系，实时调整障碍物影像图，直至车辆驶离障碍物。影像生成模块530可用于实现上述障碍物追踪方法实施例中的步骤S30和S40。

其中，对象识别模块510、目标追踪模块520和影像生成模块530可集成于车辆的一处理器50中，处理器50与全景监控影像系统100连接。全景监控影像系统100包括具有多个摄像头的摄像模组110和具有多个超声波雷达的雷达模组120，还可以包括车速传感器130。摄像模组110与处理器50之间通过DSI总线连接，车速传感器130和雷达模组120与处理器50之间通过CAN BUS总线连接。处理器50接收摄像模组110、雷达模组120和车速传感器130采集的信息，进行对象识别、目标跟踪、路径计算、距离识别等处理后，生成相应的图像，通过LVDS总线和CAN BUS总线传输给车辆的IVI SOC芯片和MCU控制单元，进行显示。

上述的障碍物识别系统能够实现障碍物信息的追踪采集，动态显示障碍物与车辆的位置关系，并根据障碍物与车辆的位置变化实时调整障碍物影像图，为驾驶员提供参照，以辅助驾驶员驶离障碍物。当障碍物出现在车辆的不同方位时，还可以自动切换分屏显示相应方位的障碍物影像图，无需手动操作，提高了驾驶的便利性和安全性。

本公开实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，处理器被配置为经由执行可执行指令来执行上述实施例中的行车时的障碍物追踪方法的步骤。

如上所述，本公开的电子设备能够实现障碍物信息的追踪采集，动态显示障碍物与车辆的位置关系，并根据障碍物与车辆的位置变化实时调整障碍物影像图，为驾驶员提供参照，以辅助驾驶员驶离障碍物。当障碍物出现在车辆的不同方位时，还可以自动切换分屏显示相应方位的障碍物影像图，无需手动操作，提高了驾驶的便利性和安全性。

图10是本公开实施例中电子设备的结构示意图，应当理解的是，图10仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本公开的保护范围之内。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图10来描述本公开的电子设备600。图10显示的电子设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行上述实施例中描述的行车时的障碍物追踪方法的步骤。例如，处理单元610可以执行如图1所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本公开实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述实施例描述的行车时的障碍物追踪方法的步骤。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述实施例描述的行车时的障碍物追踪方法的步骤。

如上所述，本公开的计算机可读存储介质能够实现障碍物信息的追踪采集，动态显示障碍物与车辆的位置关系，并根据障碍物与车辆的位置变化实时调整障碍物影像图，为驾驶员提供参照，以辅助驾驶员驶离障碍物。当障碍物出现在车辆的不同方位时，还可以自动切换分屏显示相应方位的障碍物影像图，无需手动操作，提高了驾驶的便利性和安全性。

图11是本公开的计算机可读存储介质的结构示意图。参考图11所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

以上内容是结合具体的优选实施方式对本公开所作的进一步详细说明，不能认定本公开的具体实施只局限于这些说明。对于本公开所属技术领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本公开的保护范围。

Claims (12)

1.一种行车时的障碍物追踪方法，其特征在于，包括：

在车辆的行驶过程中，通过所述车辆的全景监控影像系统采集车辆周围的全景影像信息，根据所述全景影像信息判断所述车辆的一预设距离范围内是否有障碍物；

当所述预设距离范围内出现障碍物时，根据所述障碍物与所述车辆的位置关系，激活所述全景监控影像系统的至少一障碍物侧的摄像头追踪采集所述障碍物的影像信息；

根据所述全景影像信息和所述障碍物的影像信息，生成包括所述障碍物、所述障碍物侧的车身和路面、以及一预行驶轨迹的障碍物影像图，所述预行驶轨迹至少根据所述车辆的方向盘转角获得，并至少自所述障碍物侧的前轮外沿延伸至超过所述障碍物；以及

根据所述障碍物与所述车辆的位置关系，实时调整所述障碍物影像图，直至所述车辆驶离所述障碍物。

2.如权利要求1所述的障碍物追踪方法，其特征在于，当所述预设距离范围内出现多个障碍物时，生成所述障碍物影像图的步骤包括：

根据各障碍物与所述车辆的位置关系，激活所述全景监控影像系统的与各障碍物的位置对应的多个摄像头，分别追踪采集各障碍物的影像信息；以及

根据所述全景影像信息和各障碍物的影像信息，分别生成各障碍物的障碍物影像图，分屏显示于所述车辆的车载信息系统。

3.如权利要求1所述的障碍物追踪方法，其特征在于，还包括：

激活所述全景监控影像系统的至少一障碍物侧的雷达追踪采集所述障碍物与车身之间的间隔距离；

当所述间隔距离小于一第一距离阈值时，发出报警音，并收拢所述障碍物侧的后视镜。

4.如权利要求1所述的障碍物追踪方法，其特征在于，生成所述障碍物影像图的步骤还包括：

根据所述全景影像信息获得所述车辆所在车道的车道线和所述车辆两侧的相邻车道，获得各相邻车道中距离所述车辆最近的邻车，并获得各邻车的行驶轨迹；

将所述车辆所在的车道线、各邻车和各邻车的行驶轨迹融合至所述障碍物影像图中，并监测所述预行驶轨迹与所述车辆所在的车道线、以及所述预行驶轨迹与各邻车的行驶轨迹之间的距离关系；以及

当所述预行驶轨迹超出所述车辆所在车道的车道线，和/或，在所述车辆的制动距离范围内，当所述预行驶轨迹与一邻车的行驶轨迹的间隔距离小于一第二距离阈值时，发出报警音。

5.如权利要求1所述的障碍物追踪方法，其特征在于，当根据所述全景影像信息判断所述车辆的同一侧存在多个障碍物时，至少激活所述障碍物侧的摄像头追踪采集所述多个障碍物的影像信息；

根据所述预行驶轨迹和所述车辆的当前车速，判断各障碍物出现在所述预设距离范围内的时间间隔；

若所述时间间隔小于一设定值，则在所述障碍物影像图中持续地显示各出现在所述预设距离范围内的障碍物；以及

若所述时间间隔超出所述设定值，则间断地生成各所述障碍物的障碍物影像图。

6.如权利要求1所述的障碍物追踪方法，其特征在于，还包括：

根据所述全景影像信息和所述障碍物的影像信息，生成包括所述车辆的全部车身和车周路面、以及所述障碍物的环视影像图；以及

将所述环视影像图与所述障碍物影像图分屏显示于所述车辆的车载信息系统。

7.如权利要求1所述的障碍物追踪方法，其特征在于，当所述预设距离范围内不存在障碍物时，根据所述全景影像信息生成包括所述车辆两侧的车道线、所述车辆的车头和所述预行驶轨迹的前视影像图。

8.如权利要求1所述的障碍物追踪方法，其特征在于，所述实时调整所述障碍物影像图的步骤包括：

根据所述障碍物与所述车辆的位置关系，对应激活所述全景监控影像系统的与所述障碍物的位置对应的摄像头；以及

根据所述全景影像信息和所述障碍物的影像信息，对应调整所述障碍物影像图中的所述障碍物、所述障碍物侧的车身和路面、以及所述预行驶轨迹之间的位置关系。

9.如权利要求1所述的障碍物追踪方法，其特征在于，所述全景式监控影像系统包括一前视摄像头和安装于所述车辆的车头、车尾和两侧车身的多个鱼眼摄像头，以及安装于所述车辆的车头、车尾和两侧车身的多个超声波雷达。

10.一种行车时的障碍物追踪系统，其特征在于，包括：

对象识别模块，用于在车辆的行驶过程中，通过所述车辆的全景监控影像系统采集车辆周围的全景影像信息，根据所述全景影像信息判断所述车辆的一预设距离范围内是否有障碍物；

目标追踪模块，用于当所述预设距离范围内出现障碍物时，根据所述障碍物与所述车辆的位置关系，激活所述全景监控影像系统的至少一障碍物侧的摄像头追踪采集所述障碍物的影像信息；

影像生成模块，用于根据所述全景影像信息和所述障碍物的影像信息，生成包括所述障碍物、所述障碍物侧的车身和路面、以及一预行驶轨迹的障碍物影像图，所述预行驶轨迹至少根据所述车辆的方向盘转角获得，并至少自所述障碍物侧的前轮外沿延伸至超过所述障碍物；以及根据所述障碍物与所述车辆的位置关系，实时调整所述障碍物影像图，直至所述车辆驶离所述障碍物。

11.一种电子设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的行车时的障碍物追踪方法的步骤。

12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至9任一项所述的行车时的障碍物追踪方法的步骤。

Images