CN116679319A - 多传感器联合的隧道预警方法，系统，装置和存储介质 - Google Patents

Abstract

本申请公开多传感器联合的隧道预警方法，系统，装置和存储介质，通过热成像相机和激光雷达设置在车辆上，方法包括：判断车辆是否进入隧道；若车辆进入隧道后，通过热成像相机对隧道进行识别，基于热成像相机的热成像数据判断是否存在突变区域；通过激光雷达对隧道进行识别，基于激光雷达的点云数据得到隧道的感知区域；若感知区域中存在突变区域，在感知区域中划分出目标区域，目标区域包括突变区域；将目标区域上的点云数据和目标区域上的热成像数据进行融合，基于融合结果进行识别，基于识别结果发出预警。本申请通过激光雷达和热成像相机联合识别，可有效识别出隧道中路肩上的活动障碍物。

Description

多传感器联合的隧道预警方法，系统，装置和存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及多传感器联合的隧道预警方法，系统，装置和存储介质。

背景技术

现有的部分隧道没有照明设备（或照明设备较少），导致隧道的亮度很低，车辆在行进的过程中，通过人眼和可见光相机无法准确发现路肩上是否存在活动障碍物。同时，由于活动障碍物可能与隧道壁的距离很接近，导致激光雷达无法准确识别，对车辆在隧道的行驶中造成严重的安全影响。因此，如何提供一种更精准的隧道预警，成为本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本申请实施例提供一种多传感器联合的隧道预警方法，系统，装置和存储介质，可以准确识别隧道上路肩位置的活动障碍物。

第一方面，本申请实施例公开了多传感器联合的隧道预警方法，通过热成像相机和激光雷达设置在车辆上，所述方法包括：

判断所述车辆是否进入隧道；

若所述车辆进入隧道后，通过所述热成像相机对隧道进行识别，基于所述热成像相机的热成像数据判断是否存在突变区域；

通过所述激光雷达对隧道进行识别，基于激光雷达的点云数据得到隧道的感知区域；

若感知区域中存在所述突变区域，在所述感知区域中划分出目标区域，所述目标区域包括突变区域；

将所述目标区域上的点云数据和所述目标区域上的热成像数据进行融合，基于融合结果进行识别，基于所述识别结果发出预警。

在可选的实施方式中，将所述目标区域上的点云数据和所述目标区域上的热成像数据进行融合，基于融合结果进行识别的步骤，包括：

基于单位时间内所述突变区域的热成像数据是否存在变化，判断突变区域中是否存在目标对象；

若突变区域中存在目标对象，则基于所述目标区域上的点云数据和所述目标区域上的热成像数据，得到突变区域的点云数据；

基于突变区域的点云数据，对目标对象进行识别。

在可选的实施方式中，则基于所述目标区域上的点云数据和所述目标区域上的热成像数据，得到突变区域的点云数据的步骤，包括：

根据单位时间段内所述突变区域的热成像的活动痕迹，得到所述突变区域的热成像数据变化；

基于所述突变区域的热成像变化和单位时间段内所述目标区域的点云数据，得到关于所述突变区域的点云数据。

在可选的实施方式中，基于突变区域的点云数据，对目标对象进行识别的步骤，包括：

基于所述目标区域的热成像数据，得到基于热成像数据在突变区域的热成像轮廓；

基于相同时刻的所述目标区域的点云数据和所述热成像轮廓，得到基于点云数据在突变区域的点云轮廓；

基于所述点云轮廓对目标对象进行识别。

在可选的实施方式中，所述车辆上还设置有第一标志物，所述第一标志物设置在热成像相机的采集区域内；若感知区域中存在所述突变区域的步骤，包括：

根据所述第一标志物和所述热成像相机的预设距离，结合热成像图像数据，得到所述突变区域与所述热成像相机的实际距离；

根据所述突变区域与所述热成像相机的实际距离，重复判断所述突变区域是否处于所述激光雷达的扫描区域内。

在可选的实施方式中，根据所述第一标志物和所述热成像相机的预设距离，结合热成像图像数据，得到突变区域与热成像相机的实际距离的步骤，包括：

根据所述第一标志物和所述热成像相机的预设距离，得到当前帧热成像数据中单位像素代表的实际距离，所述当前帧热成像数据中单位像素代表的实际距离定义为第一基准距离；

基于第一基准距离和当前帧热成像数据中突变区域与第一标志物的像素数量，得到突变区域与热成像相机的实际距离。

在可选的实施方式中，根据所述突变区域与所述热成像相机的实际距离，重复判断所述突变区域是否处于所述激光雷达的扫描区域内的步骤，包括：

根据突变区域与热成像相机的实际距离，结合激光雷达的扫描距离，确认突变区域是否处于激光雷达的扫描区域内；

若突变区域不处于激光雷达的扫描区域内，则不断计算之后每帧热成像数据中突变区域与可见光相机的实际距离，直至突变区域处于激光雷达的扫描区域内。

在可选的实施方式中，所述车辆上还设置有可见光相机，判断所述车辆是否进入隧道的步骤，包括：

根据所述可见光相机采集的图像数据，确定当前帧图像是否存在亮度对比超出预设范围的区域，所述区域定义为第一区域；

判断所述的第一区域是否为隧道口；

若第一区域为隧道口，根据车辆和第一区域的距离，判断所述车辆是否进入隧道。

在可选的实施方式中，所述车辆上还设置有第二标志物，所述第二标志物设置在可见光相机的采集区域内；根据所述可见光相机采集的图像数据，确定当前帧图像是否存在亮度对比超出预设范围的区域，所述区域定义为第一区域的步骤，包括：

根据所述第二标志物和所述可见光相机的预设距离，得到当前帧图像中单位像素代表的实际距离，所述当前帧图像中单位像素代表的实际距离定义为第二基准距离；

基于第二基准距离和当前帧图像中第一区域与第二标志物的像素数量，得到第一区域与可见光相机的实际距离。

在可选的实施方式中，判断所述的第一区域是否为隧道口的步骤之前，还包括：

根据所述当前帧图像中第一区域与所述可见光相机的实际距离，结合所述激光雷达的扫描距离，确认所述第一区域是否处于激光雷达的扫描区域内；

若所述第一区域不处于激光雷达的扫描区域内，则不断计算之后每帧图像数据中所述第一区域与所述可见光相机的实际距离，直至所述第一区域处于激光雷达的扫描区域内。

在可选的实施方式中，判断所述车辆是否进入隧道的步骤，包括：

根据所述激光雷达采集的点云数据，确定当前帧点云图像是否存在位置信息连续性变化对比超出预设范围的区域，所述区域定义为第一区域；

判断所述的第一区域是否为隧道口；

若第一区域为隧道口，根据车辆和第一区域的距离，判断所述车辆是否进入隧道。

在可选的实施方式中，所述感知区域划分为至少两个子区域，包括至少一个道路子区域和至少一个路肩子区域，每一所述子区域对应一个权重系数；基于所述识别结果发出预警的步骤，包括：

基于目标区域处于感知区域的子区域所对应的权重系数，结合目标区域的识别结果，发出不同种类的预警信号。

第二方面，本申请实施例公开了多传感器联合的隧道预警系统，通过热成像相机和激光雷达设置在车辆上，包括：

判断模块：用于判断所述车辆是否进入隧道；

热成像感知模块：若所述车辆进入隧道后，通过所述热成像相机对隧道进行识别，基于所述热成像相机的热成像数据判断是否存在突变区域；

点云感知模块：通过所述激光雷达对隧道进行识别，基于激光雷达的点云数据得到隧道的感知区域；

区域划分模块：若感知区域中存在所述突变区域，在所述感知区域中划分出目标区域，所述目标区域包括突变区域；

预警模块：将所述目标区域上的点云数据和所述目标区域上的热成像数据进行融合，基于融合结果进行识别，基于所述识别结果发出预警。

第三方面，本申请实施例公开了计算机存储介质，存储有计算机程序，该程序被处理器执行时实现上述的方法步骤。

第四方面，本申请实施例公开了多传感器联合的隧道预警装置，包括热成像相机、激光雷达和工控机；

所述热成像相机、激光雷达和工控机设置在车辆上；

所述工控机用于执行上述的步骤。

本申请的实施例具有如下有益效果：

本申请的多传感器联合的隧道预警方法通过利用热成像相机的热成像图像数据，得到可能包括活动障碍物的目标区域，然后通过激光雷达在上述目标区域的点云数据和热成像相机在目标区域上的热成像图像数据进行识别，基于识别结果发出预警，本申请通过活动障碍物存在的温差特性，有效避免了在无照明设备的隧道中，通过可见光相机、激光雷达无效准确识别路肩上的活动障碍物的问题，有效保证了车辆在隧道中的安全。

应当理解的是，以上的一般描述和后文的细节描述仅是示范性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例2的流程图；

图2示出了本申请实施例1的结构实体图；

图3示出了本申请实施例的环境图；

图4示出了本申请实施例2中S100的一种实施方式示意图；

图5示出了本申请实施例2中S110的一种实施方式示意图；

图6示出了本申请实施例2中S100的另一种实施方式示意图；

图7示出了本申请实施例2中S100的另一种实施方式示意图；

图8示出了本申请实施例中隧道口外亮度对照示意图。

图9示出了本申请实施例2中S500的一种实施方式示意图；

图10示出了本申请实施例2中S520的一种实施方式示意图；

图11示出了本申请实施例2中S530的一种实施方式示意图；

图12示出了本申请实施例2中S400的一种实施方式示意图；

图13示出了本申请实施例2中S410的一种实施方式示意图；

图14示出了本申请实施例2中S420的一种实施方式示意图；

图15示出了本申请实施例3的结构示意图。

主要元件符号说明：10、热成像相机；20、工控机；30、激光雷达。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下文中，可在本申请的各种实施例中使用的术语“包括”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。

概述

为了方便理解，现对背景技术和特定名词进行详细说明。

现存的隧道中，部分隧道存在没有照明设备（或照明设备较少），导致隧道的亮度很低（铁路隧道上述情况比较常见）。当车辆（机动车或者列车）进入到隧道中时，由于隧道没有照明设备，隧道的可见度很低，通过人眼或者可见光相机无法及时发现活动障碍物，极不利于车辆的驾驶安全。部分车辆可能设置有照明设备，然而普通照明设备的照明范围有限，可能无法覆盖车辆在高速情况下的最短安全距离。如果使用远程照明设备（例如远光灯），可能严重影响对向车辆的驾驶安全，更可能违反相应的法律法规。此外，如果活动障碍物在路肩上，由于活动障碍物与隧道壁的距离很接近（如图3），单纯通过激光雷达同样无法及时发现路肩上的活动障碍物。

在本申请实施例中，车辆并不仅限于机动车，还包括列车、火车等。热成像相机通过非接触探测红外能量（热量），并将其转换为电信号，进而在生成热成像图像数据。激光雷达通过激光对目标区域进行采集，在本申请实施例中，并不仅限于机械式激光雷达，还包括混合固态式激光雷达和固态激光雷达。在本申请实施例中，活动障碍物指如人，野生等动物。

基于此，本实施例提供一种多传感器联合的隧道预警方法，系统，装置和存储介质对活动障碍物进行识别，以避免隧道亮度较低的情况下，车辆无法识别活动障碍无的情况。

实施例1

参见图2，本申请实施例提供了一种多传感器联合的隧道预警装置，包括热成像相机10、激光雷达30和工控机20，其中，热成像相机10、激光雷达20和工控机30设置在车辆上；热成像相机10设置在车辆上，采集车辆前方的热成像图像数据；激光雷达30设置在车辆上，采集车辆前方的点云数据；工控机20用于对热成像相机10所采集的热成像图像数据和激光雷达30所采集的点云数据进行相应处理，以识别隧道中是否存在活动障碍物。

在一实施方式中，该隧道预警装置中热成像相机10和激光雷达20的设置数量不做限定。

在一实施方式中，热成像相机10和激光雷达20存在明确的预设距离，用于计算未来目标区域与激光雷达20的扫描区域的距离，以及目标区域进入激光雷达20的扫描区域的时间。

实施例2

本实施例结合上述的隧道预警装置，对该多传感器联合的隧道预警方法进行详细说明。参见图1，本申请实施例提供了一种多传感器联合的隧道预警方法，包括

S100：判断车辆是否进入隧道；

在一实施方式中，参见图4，车辆上还设置有可见光相机，步骤S100具体包括以下步骤：

S110：根据可见光相机采集的图像数据，确定当前帧图像是否存在亮度对比超出预设范围的区域，上述区域定义为第一区域；

由于可见光相机可以自行调节景深，若无遮挡物的情况下，可见光相机可调节较高的景深。因此，可见光相机在拍摄图像时相较于激光雷达能识别到更大的探测范围，即可见光相机采集的部分区域可能还未处于激光雷达的扫描区域中。因此，可以通过可见光相机采集的图像数据提前感知到第一区域是否即将进入激光雷达的扫描区域中。此外，由于隧道外部的光线很难进入到隧道中，因此从外部看，隧道口内与隧道口外的亮度将会存在明显的差别（参见图8）。基于上述特性，可以基于可见光相机，判断车辆前方是否存在第一区域（即可能是隧道口的区域），为之后车辆进入隧道做准备。

在一实施方式中，参见图5，车辆上设置有第二标志物，第二标志物设置在可见光相机的采集区域内，步骤S110具体包括以下步骤：

S111：根据所第二标志物和可见光相机的预设距离，得到当前帧图像中单位像素代表的实际距离，当前帧图像中单位像素代表的实际距离定义为第二基准距离；

示范性的，第二标志物为可见光相机采集的图像数据中可显示的物品，本申请对此不做任何限制，优选为车辆上的激光雷达。由于第二标志物与可见光相机的预设距离是预先设置好的。因此，可以通过当前帧图像中第二标志物与可见光相机相隔的像素数量，结合第二标志物和可见光相机的预设距离，得到当前帧图像每个像素代表的实际距离（即第二基准距离）。

S112：基于第二基准距离和当前帧图像中第一区域与第二标志物的像素数量，得到第一区域与可见光相机的实际距离。

基于第一区域与可见光相机的实际距离，驾驶员/工控机便可以得知车辆与第一区域的实际距离，为随后的激光雷达扫描识别第一区域进行准备。

在一实施方式中，参见图6，S140之前还包括：

S120：根据当前帧图像中第一区域与可见光相机的实际距离，结合激光雷达的扫描距离，确认第一区域是否处于激光雷达的扫描区域内；

S130：若第一区域不处于激光雷达的扫描区域内，则不断计算之后每帧图像数据中第一区域与可见光相机的实际距离，直至第一区域处于激光雷达的扫描区域内；

前已所述，由于可见光相机在拍摄图像时相较于激光雷达能识别到更高的探测范围。当可见光相机识别到第一区域时，第一区域可能还没进入激光雷达的扫描区域中。因此，需要不断计算第一区域与可见光相机的实际距离，确认第一区域是否处于激光雷达的扫描区域内以及第一区域还需要多长时间才进入到激光雷达的扫描区域内。

S140：判断第一区域是否为隧道口；

由于激光雷达的点云数据自带每个点云的位置信息，因此，通过分析第一区域的轮廓，包括分析轮廓的长度，高度，形状等参数信息，可以判断出第一区域是否为隧道口。

S150：若第一区域为隧道口，根据车辆和第一区域的距离，判断车辆是否进入隧道。

由于通过点云数据得到的距离信息在精度上高于通过第二基准距离得到的距离信息。因此，当确认第一区域是隧道口时，便可切换为通过点云数据确定隧道口和车辆之间的实际距离，结合车辆的实时速度，车辆的行驶路径，得到车辆进入隧道口的时间。

在另一实施方式中，参见图7，步骤S100具体还可以包括以下步骤：

S110’：根据激光雷达采集的点云数据，确定当前帧点云图像是否存在位置信息连续性变化对比超出预设范围的区域，上述区域定义为第一区域；

S120’：判断第一区域是否为隧道口；

S130’：若第一区域为隧道口，根据车辆和第一区域的距离，判断车辆是否进入隧道。

在本次实施方式，通过另外一种获取隧道口的区域信息。基于激光雷达的原理，发射光束到达障碍物会反射回激光雷达的接收模块。因此，当激光雷达扫描到隧道口以及周边区域时，周边区域因为存在遮挡回反射回激光雷达的接收模块。由于现实情况下，周边区域为山体等自然形状，整体点云数据的位置信息变化体现出连续性。而隧道口由于没有障碍物遮挡，发射光束会一直投射到隧道内部。当遇到遮挡发生反射时，接收模块可能会因此反射信号的强度过小（主要是距离的原因），而无法被识别，体现为上述点云数据的丢失。因此，激光雷达的点云图像上，隧道口区域的点云数据存在两种情况，一是反射信号的强度过小而导致的点云数据丢失，二是遇到隧道内的遮挡而反射被激光雷达的接收模块所接受，但上述点云数据的位置信息将会与隧道口周边区域的点云数据的位置信息有较大变化。因此，无论上述哪种情况，隧道口的点云数据都会与隧道口周边的点云数据存在明显差异。基于上述这一特点，通过分析扫描区域的点云数据中位置信息连续性变化是否超出预设范围，分析出扫描区域是否存在隧道口。

S200：若车辆进入隧道后，通过热成像相机对隧道进行识别，基于热成像相机的热成像数据判断是否存在突变区域；

前已所述，在无照明设备的隧道中，可见光相机/人眼无法准确识别隧道中是否隧道中是否存在活动障碍物。此外，单纯的激光雷达对远距离的活动障碍物在路肩的情况也无法有效识别。然而，既然是活动障碍物，其温度和周边温度必然存在较大的温度差，因此可以通过热成像相机进行识别。热成像相机对于温度的敏感度很高，即使是远处的活动障碍物也可以有效的识别发现。虽然，可能由于远距离，疑似活动障碍物的像素点不会很多，但由于其温度差的原因，在热成像图像数据中将会呈现出完全不一样的颜色，因此即使占据的像素点很少，也很容易识别。此外，由于隧道一般设置在山体重，光线照射不进来，外部有山体覆盖，热传导相对比较难。隧道的内部相对于隧道外一般温度会低一些，且隧道内的整体温度变化也会比较均匀。因此，当有活动障碍物时，其温差的程度，相较于活动障碍物在隧道外会更明显，也更有利于识别。另一方面，激光雷达在发射过程中，发射距离越远，点云之间的距离也会越远。同时由于活动障碍物在隧道壁附件，活动障碍物上有的点云数量本就极少，很容易会和隧道壁上的点云混合在一起，无法识别。因此，热成像相机在拍摄热成像图像时相较于激光雷达能识别到更大的探测范围，即热成像相机采集的部分区域可能还未处于激光雷达的扫描区域中。

S300：通过激光雷达对隧道进行识别，基于激光雷达的点云数据得到隧道的感知区域；

前已所述，由于热成像相机对于温度的敏感度极高，因此可能会存在热成像相机所识别的突变区域并不在激光雷达的扫描区域。因此，需要通过激光雷达的扫描，得到激光雷达关于隧道的感知区域，通过激光雷达关于隧道的感知区域和热成像相机识别出来的突变区域做匹配，判断突变区域是否在感知区域中。

S400：若感知区域中存在突变区域，在感知区域中划分出目标区域，目标区域包括突变区域；

在一实施方式中，参见图12，车辆上还设置有第一标志物，第一标志物设置在热成像相机的采集区域内；步骤S400中“若感知区域中存在突变区域”包括以下步骤：

S410：根据第一标志物和热成像相机的预设距离，结合热成像图像数据，得到突变区域与热成像相机的实际距离；

在一实施方式中，参见图13，步骤S410包括以下步骤：

S411：根据第一标志物和热成像相机的预设距离，得到当前帧热成像数据中单位像素代表的实际距离，当前帧热成像数据中单位像素代表的实际距离定义为第一基准距离；

示范性的，第一标志物为热成像相机采集的图像数据中可显示的物品，本申请对此不做任何限制，优选为车辆上的激光雷达。因为激光雷达在工作时，激光雷达内部的发射模块会产生较高的温度，对于热成像数据而言，属于容易区分的物品。且本身也可以被可将光相机所识别，若将第一标志物和第二标志物都统一为车辆上的激光雷达，将可以有效避免车辆设置过多的标志物，也有利于整体方法的简化。由于第一标志物与热成像相机的预设距离是预先设置好的。因此，可以通过当前帧热成像数据中第一标志物与热成像相机相隔的像素数量，结合第一标志物和热成像相机的预设距离，得到当前帧热成像数据每个像素代表的实际距离（即第一基准距离）。

S412：基于第一基准距离和当前帧热成像数据中突变区域与第一标志物的像素数量，得到突变区域与热成像相机的实际距离。

S420：根据突变区域与热成像相机的实际距离，重复判断突变区域是否处于激光雷达的扫描区域内。

在一实施方式中，参见图14，步骤S420包括以下步骤：

S421：根据突变区域与热成像相机的实际距离，结合激光雷达的扫描距离，确认突变区域是否处于激光雷达的扫描区域内；

S422：若突变区域不处于激光雷达的扫描区域内，则不断计算之后每帧热成像数据中突变区域与可见光相机的实际距离，直至突变区域处于激光雷达的扫描区域内。

前已所述，由于热成像相机对温度更为敏感，利用这一特性，相较于激光雷达可以实现对疑似活动障碍物更远的探测。当热成像相机识别到突变区域时，突变区域可能还没进入激光雷达的扫描区域中。因此，需要不断计算突变区域与热成像相机的实际距离，确认突变区域是否处于激光雷达的扫描区域内以及第突变区域还需要多长时间才进入到激光雷达的扫描区域内。

S500：将所目标区域上的点云数据和目标区域上的热成像数据进行融合，基于融合结果进行识别，基于识别结果发出预警。

在一实施方式中，参见图9，步骤S500中的“将所目标区域上的点云数据和目标区域上的热成像数据进行融合，基于融合结果进行识别”具体包括以下步骤：

S510：基于单位时间内突变区域的热成像数据是否存在变化，判断突变区域中是否存在目标对象；

示范性的，可以对单位时间内（例如一秒或者数秒）多帧的热成像图像进行对比，判断其突变区域是否发生变化。一般而言，正常情况，活动障碍物在隧道内会处于运动状态，因此可以通过突变区域的形状是否发生变化，从而确定突变区域中是否有目标对象（即活动障碍物）。

S520：若突变区域中存在目标对象，则基于目标区域上的点云数据和目标区域上的热成像数据，得到突变区域的点云数据；

在一实施方式中，参见图10，步骤S520包括以下步骤：

S521：根据单位时间段内突变区域的热成像的活动痕迹，得到突变区域的热成像数据变化；

S522：基于突变区域的热成像变化和单位时间段内目标区域的点云数据，得到关于突变区域的点云数据。

由于此时目标区域也已经禁止了激光雷达关于隧道的感知区域中，只是由于距离等原因而无法准确识别出突变区域。因此，感知区域中突变区域的划分需要依赖于热成像数据变化，从热成像的数据变化反向将感知区域中的突变区域“勾勒”出来。因此，可以通过单位时间段内得到的热成像数据变化，套用在隧道的感知区域中，从而得到突变区域的点云数据。

S530：基于突变区域的点云数据，对目标对象进行识别。

在一实施方式中，参见图11，步骤S530包括以下步骤：

S531：基于目标区域的热成像数据，得到基于热成像数据在突变区域的热成像轮廓；

由于热成像相机得到的热成像图像的精度不高，数据本身不具备位置信息，无法直接用于进行识别。但可以通过热成像相机得到包括活动障碍物的突变区域，并得到突变区域的轮廓。

S532：基于相同时刻的目标区域的点云数据和热成像轮廓，得到基于点云数据在突变区域的点云轮廓；

在一实施方式中，步骤S532包括以下内容：

将突变区域的热成像轮廓，定义为第一轮廓；计算单位时间段内第一轮廓的方差，并判断第一轮廓的方差是否在预设范围内；若第一轮廓的方差在预设范围内，则将第一轮廓定义为热成像轮廓；基于相同时刻的目标区域的点云数据和热成像轮廓，得到基于点云数据在突变区域的初步轮廓，定义为第二轮廓；计算单位时间段内第二轮廓的方差，并判断单位时间段内不同时刻的第二轮廓的变化是否在预设范围内；若第二轮廓的方差在预设范围内，比较相同时刻内第二轮廓的参数和热成像轮廓的参数，其差值是否在预设范围内；若第二轮廓的参数和热成像轮廓的参数的差值在预设范围内，则将第二轮廓定义为点云轮廓；

在上述实施方式，由于热成像相机得到的热成像图像的精度不高，无法准确得到活动障碍物的轮廓信息，只能得到包含活动障碍物的突变区域的第一轮廓。然而，基于上述第一轮廓和目标区域的点云数据，还是可以得到突变区域的第二轮廓（此时仍然属于突变区域的初步轮廓，并非最终的轮廓）。然而，由于此时的活动障碍物已经同时处于热成像相机和激光雷达的范围内，活动障碍物在活动状态下的变化特征，在热成像数据和点云数据中是是一致的。此外，一般而言，只要肢体的投影没有重叠，无论是热成像相机还是激光雷达，在不同动作下的轮廓的长度是不变的，仅仅是形状发生了改变。基于上述两个特性，可以比较在相同时间段内，基于活动障碍物的运动，第一轮廓的长度是否发生了变化/变化是否超出了预期。如果没有，则基本可以暂时认定上述第一轮廓的选取没有问题；第二轮廓也需要进行相同的处理，如果暂时认定第二轮廓的选取也没有问题。则需要对比在相同的时间点中，第一轮廓和第二轮轮廓的变化趋势是否相同，如果基本相同，则可以将第二轮廓定义为点云轮廓。在上述实施方式中，通过方差体现第一轮廓的长度/第二轮廓的长度在相同时间段内各自的变化程度。因此，还可以通过其他方式体现上述的变化程度，如均差等。本申请对此不做任何限制。

S533：基于点云轮廓对目标对象进行识别。

得到突变区域的点云轮廓后，由于通过周期性的校验，点云轮廓基于活动障碍物的运动特征进行了不断的修正。所以点云轮廓本身可以表征活动障碍物的实际轮廓特征。点云轮廓本身可能和活动障碍物的实际轮廓并不一致，但由于已经表征了活动障碍物的实际轮廓特征。因此即使点云轮廓和活动障碍物的实际轮廓并不一致，但具体表现为等比例放大。但在隧道预警中，对于障碍物本身的尺寸并不需要很高的精确度，通过表征了活动障碍物的实际轮廓特征的点云轮廓，结合点云数据本身具备位置信息，便可得知点云轮廓所覆盖的形状，轮廓的长度等，可以对目标对象进行识别，具体而言，可以是人，野猪，山鸡或者老鼠等。

在一实施方式中，感知区域划分为至少两个子区域，包括至少一个道路子区域和至少一个路肩子区域，每一子区域对应一个权重系数；步骤S500中的“基于所述识别结果发出预警”具体包括以下内容：

基于目标区域处于感知区域的子区域所对应的权重系数，结合目标区域的识别结果，发出不同种类的预警信号。

得到了目标对象的具体信息，根据根据目标对象的具体信息（例如种类）形成不同的预警信号。此外，对于隧道的感知区域，可以分为至少1个道路子区域（供车辆行走的区域）和至少一个路肩子区域（路面上除供车辆行走以外的区域，如路肩）。同理，可以基于左右方向，划分为左右两个路肩子区域，设定不同的权重系数，结合目标对象的种类信息，发出不同优先级的预警信号。

示范性地，若检测到老鼠在路肩上时，可以发出最低级别的预警信号。即使是老鼠误入到路面时，也可以直接通行，基本上不会形成太大的危险。然而，若是检测到野猪在路肩时，可以发出中级的预警信号，提醒驾驶员注意，避免野猪因为惊吓等原因跑到路面上，野猪的体积较大，两者相撞可能会发生事故。除此以外，若是检测到人在路肩时，则需要发出高级预警信号，提醒驾驶员注意前方有人在路肩上。若检测到人在路面上时，且依据车速已经人即将进入或已经进入危险范围，直接启动刹车指令，并立刻告知驾驶员。

实施例3

参见图15，本申请实施例公开了一种多传感器联合的隧道预警系统，通过热成像相机和激光雷达设置在车辆上，包括：

判断模块：用于判断车辆是否进入隧道；

热成像感知模块：若车辆进入隧道后，通过热成像相机对隧道进行识别，基于热成像相机的热成像数据判断是否存在突变区域；

点云感知模块：通过激光雷达对隧道进行识别，基于激光雷达的点云数据得到隧道的感知区域；

区域划分模块：若感知区域中存在所述突变区域，在感知区域中划分出目标区域，目标区域包括突变区域；

预警模块：将目标区域上的点云数据和目标区域上的热成像数据进行融合，基于融合结果进行识别，基于识别结果发出预警。

另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例的方法的步骤。

需要说明的是，本申请实施例中可能会涉及到对地理环境的采集与使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如获得政府部门的允许等)在适用法律法规允许的范围内在本文描述的方案中使用地理环境的采集数据。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (15)

1.多传感器联合的隧道预警方法，其特征在于，通过热成像相机和激光雷达设置在车辆上，所述方法包括：

判断所述车辆是否进入隧道；

若所述车辆进入隧道后，通过所述热成像相机对隧道进行识别，基于所述热成像相机的热成像数据判断是否存在突变区域；

通过所述激光雷达对隧道进行识别，基于激光雷达的点云数据得到隧道的感知区域；

若感知区域中存在所述突变区域，在所述感知区域中划分出目标区域，所述目标区域包括突变区域；

将所述目标区域上的点云数据和所述目标区域上的热成像数据进行融合，基于融合结果进行识别，基于所述识别结果发出预警。

2.根据权利要求1所述的多传感器联合的隧道预警方法，其特征在于，将所述目标区域上的点云数据和所述目标区域上的热成像数据进行融合，基于融合结果进行识别的步骤，包括：

基于单位时间内所述突变区域的热成像数据是否存在变化，判断所述突变区域中是否存在目标对象；

若所述突变区域中存在目标对象，则基于所述目标区域上的点云数据和所述目标区域上的热成像数据，得到所述突变区域的点云数据；

基于所述突变区域的点云数据，对所述目标对象进行识别。

3.根据权利要求2所述的多传感器联合的隧道预警方法，其特征在于，则基于所述目标区域上的点云数据和所述目标区域上的热成像数据，得到所述突变区域的点云数据的步骤，包括：

根据单位时间段内所述突变区域的热成像的活动痕迹，得到所述突变区域的热成像数据变化；

基于所述突变区域的热成像变化和单位时间段内所述目标区域的点云数据，得到关于所述突变区域的点云数据。

4.根据权利要求3所述的多传感器联合的隧道预警方法，其特征在于，基于所述突变区域的点云数据，对所述目标对象进行识别的步骤，包括：

基于所述目标区域的热成像数据，得到基于所述热成像数据在突变区域的热成像轮廓；

基于相同时刻的所述目标区域的点云数据和所述热成像轮廓，得到基于所述点云数据在突变区域的点云轮廓；

基于所述点云轮廓对目标对象进行识别。

5.根据权利要求1至4中任一权利要求所述的多传感器联合的隧道预警方法，其特征在于，所述车辆上还设置有第一标志物，所述第一标志物设置在热成像相机的采集区域内；若感知区域中存在所述突变区域的步骤，包括：

根据所述第一标志物和所述热成像相机的预设距离，结合所述热成像图像数据，得到所述突变区域与所述热成像相机的实际距离；

根据所述突变区域与所述热成像相机的实际距离，重复判断所述突变区域是否处于所述激光雷达的扫描区域内。

6.根据权利要求5所述的多传感器联合的隧道预警方法，其特征在于，根据所述第一标志物和所述热成像相机的预设距离，结合热成像图像数据，得到突变区域与热成像相机的实际距离的步骤，包括：

根据所述第一标志物和所述热成像相机的预设距离，得到当前帧热成像数据中单位像素代表的实际距离，所述当前帧热成像数据中单位像素代表的实际距离定义为第一基准距离；

基于所述第一基准距离和所述当前帧热成像数据中突变区域与第一标志物的像素数量，得到所述突变区域与所述热成像相机的实际距离。

7.根据权利要求5所述的多传感器联合的隧道预警方法，其特征在于，根据所述突变区域与所述热成像相机的实际距离，重复判断所述突变区域是否处于所述激光雷达的扫描区域内的步骤，包括：

根据所述突变区域与所述热成像相机的实际距离，结合所述激光雷达的扫描距离，确认所述突变区域是否处于所述激光雷达的扫描区域内；

若所述突变区域不处于所述激光雷达的扫描区域内，则不断计算之后每帧热成像数据中突变区域与可见光相机的实际距离，直至所述突变区域处于激光雷达的扫描区域内。

8.根据权利要求1至4中任一权利要求所述的多传感器联合的隧道预警方法，其特征在于，所述车辆上还设置有可见光相机，判断所述车辆是否进入隧道的步骤，包括：

根据所述可见光相机采集的图像数据，确定当前帧图像是否存在亮度对比超出预设范围的区域，所述区域定义为第一区域；

判断所述的第一区域是否为隧道口；

若所述第一区域为隧道口，根据车辆和第一区域的距离，判断所述车辆是否进入隧道。

9.根据权利要求8所述的多传感器联合的隧道预警方法，其特征在于，所述车辆上还设置有第二标志物，所述第二标志物设置在可见光相机的采集区域内；根据所述可见光相机采集的图像数据，确定当前帧图像是否存在亮度对比超出预设范围的区域，所述区域定义为第一区域的步骤，包括：

根据所述第二标志物和所述可见光相机的预设距离，得到当前帧图像中单位像素代表的实际距离，所述当前帧图像中单位像素代表的实际距离定义为第二基准距离；

基于所述第二基准距离和所述当前帧图像中第一区域与第二标志物的像素数量，得到第一区域与可见光相机的实际距离。

10.根据权利要求8所述的多传感器联合的隧道预警方法，其特征在于，判断所述的第一区域是否为隧道口的步骤之前，还包括：

根据所述当前帧图像中第一区域与所述可见光相机的实际距离，结合所述激光雷达的扫描距离，确认所述第一区域是否处于激光雷达的扫描区域内；

若所述第一区域不处于激光雷达的扫描区域内，则不断计算之后每帧图像数据中所述第一区域与所述可见光相机的实际距离，直至所述第一区域处于激光雷达的扫描区域内。

11.根据权利要求1至4中任一权利要求所述的多传感器联合的隧道预警方法，其特征在于，判断所述车辆是否进入隧道的步骤，包括：

根据所述激光雷达采集的点云数据，确定当前帧点云图像是否存在位置信息连续性变化对比超出预设范围的区域，所述区域定义为第一区域；

判断所述的第一区域是否为隧道口；

若所述第一区域为隧道口，根据所述车辆和所述第一区域的距离，判断所述车辆是否进入所述隧道。

12.根据权利要求1至4中任一权利要求所述的多传感器联合的隧道预警方法，其特征在于，所述感知区域划分为至少两个子区域，包括至少一个道路子区域和至少一个路肩子区域，每一所述子区域对应一个权重系数；基于所述识别结果发出预警的步骤，包括：

基于所述目标区域处于所述感知区域的子区域所对应的权重系数，结合所述目标区域的识别结果，发出不同种类的预警信号。

13.多传感器联合的隧道预警系统，其特征在于，通过热成像相机和激光雷达设置在车辆上，包括：

判断模块：用于判断所述车辆是否进入隧道；

热成像感知模块：若所述车辆进入隧道后，通过所述热成像相机对隧道进行识别，基于所述热成像相机的热成像数据判断是否存在突变区域；

点云感知模块：通过所述激光雷达对隧道进行识别，基于激光雷达的点云数据得到隧道的感知区域；

区域划分模块：若感知区域中存在所述突变区域，在所述感知区域中划分出目标区域，所述目标区域包括突变区域；

预警模块：将所述目标区域上的点云数据和所述目标区域上的热成像数据进行融合，基于融合结果进行识别，基于所述识别结果发出预警。

14.多传感器联合的隧道预警装置，其特征在于，包括热成像相机、激光雷达和工控机；

所述热成像相机、激光雷达和工控机设置在车辆上；

所述工控机用于执行权利要求1至12中任一权利要求所述的隧道预警方法的步骤。

15.计算机存储介质，其特征在于，其存储有计算机程序，所述计算机程序被执行时，实施根据权利要求1至12中任一权利要求所述的隧道预警方法。