CN110636665A - 一种基于数码成像的隧道照明led缺失自动检测方法 - Google Patents

Abstract

本发明公开了一种基于数码成像智能处理的隧道LED照明灯具缺失自动检测方法。本发明利用数码相机或智能手机等光学传感与成像系统，采集隧道洞内前方道路、周围环境以及隧道顶部LED照明灯具的真实影像，记录LED灯具实际工作发光情况。本发明从隧道LED照明灯具检测结果出发，使用摄像机成像模型所具有的直线交比不变性约束条件，针对LED照明灯具图像区域之间数量关系推导所符合的规律，实现LED灯具缺失情况的深入分析和自动检测。采用本发明的技术方案，可以对公路隧道洞内复杂条件下多种情况的缺失LED照明灯具进行鲁棒检测，对隧道照明高效交工验收以及日常养护具有重要意义。

Description

一种基于数码成像的隧道照明LED缺失自动检测方法

技术领域

本发明属于隧道工程安全防护以及数码成像智能处理技术领域，具体涉及一种基于数码成像的公路隧道照明LED灯具缺失智能检测方法，这为隧道照明系统高效验收以及日常养护提供了新的技术手段。

背景技术

公路隧道照明系统是保障公路隧道行车安全性和舒适性的重要基础设施，也是整个隧道机电工程中总投资最大以及运营开支最大的系统。隧道照明灯具与隧道照明光环境质量的好坏有直接关系。发光二极管(Light-emitting Diode，LED)灯具具有节能、环保、寿命长、体积小、连续可调，色温可选、显色性更佳以维护成本低等特点，能够充分满足公路隧道创造洞内良好的视觉环境以及有效营运管理的要求。LED照明灯具在公路隧道照明领域得到了越来越广泛的应用。

隧道LED照明灯具应用的满意度逐年提高，相关的各种规范与标准(具体包括了照明灯具技术要求、隧道照明系统设计与施工、隧道光环境质量检验和验收以及照明系统养护等多方面内容)也已经获得广泛应用，这进一步加快了公路隧道LED照明系统的建设和发展。但是，目前对于隧道照明交工验收及运营养护的相关规范在实际使用中很难得到切实执行。这是因为当前主要采用人工方式进行验收及养护。由于验收及养护技术落后导致人力投入成本高，使得交工验收只是针对隧道内选定的少数路面区域进行一次性照度简单测量。同样地，日常养护过程也是采用人工巡检与登记的方式进行。然而，由于受检测员步行速度限制和长时间用肉眼直接观察造成的用眼疲劳影响，人工巡检与记录过程的工作强度大、检测效率低。

发明内容

在隧道照明交工验收及运营养护的诸多问题中，无疑照明灯具缺失对于构造隧道良好光环境存在重要的影响。为了提高隧道LED照明灯具交工验收及运营养护的效率，本发明提出一种基于数码成像智能处理的隧道LED照明灯具缺失自动检测方法。本发明利用数码相机或智能手机等光学传感与成像系统，采集隧道洞内前方道路、周围环境以及隧道顶部LED照明灯具的真实影像，记录LED灯具实际工作发光情况。按照公路隧道照明设计规范，隧道内部各照明段的LED灯具都需要按照统一的要求进行布设，即采用相同规格的灯具(包括相同的额定功率及灯头面积)并且等间隔安装。根据摄像机的透视成像过程，同一照明段各LED灯具在图像上不再保持等间隔以及相同灯头面积的特性。射影几何理论决定了摄像机透视成像模型具有一些不变性约束。本发明从隧道LED照明灯具检测集合出发，使用摄像机成像模型所具有的直线交比不变性约束条件，针对LED照明灯具图像区域之间数量关系推导所符合的规律，实现LED灯具缺失情况的深入分析和自动检测。

一种基于数码成像的隧道照明LED灯具缺失智能检测方法，其特征在于包括如下步骤：

步骤1：基于隧道洞内道路环境几何结构的LED照明灯具鲁棒检测

该步骤完全按照发明人已申请专利《一种公路隧道LED照明灯具的鲁棒检测方法》(专利申请号为201910443626.2)。该专利主要围绕隧道洞内道路环境几何结构信息展开分析。首先完成基于LSD算子的线段提取以及前方道路消隐点的鲁棒检测。其次以前方道路消隐点为原点构建新坐标系，准确地分割出隧道顶部深色区域。以此为基础，采用一种自适应直方图分析方法合理选择最优分割阈值，实现LED灯具区域的二值化鲁棒分割。最后，基于隧道 LED灯具的共线假设，采用随机采样一致性算法鲁棒地拟合隧道洞内左右两侧LED灯具排列而成的两条直线，这在屏蔽高亮干扰方面起到尤为突出的作用。最终保证所有LED灯具检测结果在各自拟合直线上都按照由近及远的顺序依序排列，具体表示为

Ψ＝{Q₁,Q₂,…,Q_N}

其中，Q_i＝{i,c_i,σ_i}是一个三元组，i＝1,2,…,N。三元组Q_i各元素依次为LED灯具区域的排列顺序i，中心点坐标c_i以及面积大小σ_i。这些信息为接下来的LED灯具缺失检测做好了充分准备。

步骤2：隧道LED照明灯具缺失类型分析及灯具排列基本数量关系推导

针对隧道LED照明系统的实际工作情况，本发明主要考虑两种典型的LED灯具缺失类型(涵盖了大多数LED缺失问题)：1)LED灯具发生故障不能发光或者根本没有安装的完全缺失类型(类型1)；2)虽然LED灯具处于发光工作状态，但是发光区域有所欠缺而形成不完全缺失类型(类型2)。

步骤2.1：根据直线交比不变性约束条件，推导LED灯具相邻间隔所满足的数量关系

根据隧道照明LED灯具的成像过程(如图1所示)，设P₁,P₂,P₃和P₄是实际安装在隧道顶部的四盏LED灯具的真实位置。P₁,P₂,P₃按照由近及远的顺序依次排列，P₄是其它距离拍摄位置更远的LED灯具。p₁,p₂,p₃和p₄是这四盏灯具对应的图像位置点。根据直线交比不变性约束条件，可有

设是两点P_j,P_k之间的距离，因此若将P₄移动到无穷远处则

无穷远处的P₄对应的p₄实际为步骤1中得到的前方道路消隐点v。设l₁,l₂,l₃分别是依次排列的多个LED灯具对应图像点的相邻间距： 为p₁到消隐点v的距离。将这些关系带入以上公式，可得

经过简单推导，三盏LED灯具之间的相邻间距l₁和l₂满足

即

利用以上推导的LED灯具相邻间隔所满足的数量关系，可以有效检测属于类型1的LED照明灯具完全缺失。

步骤2.2：根据隧道洞内道路环境几何结构，推导LED灯具区域面积所满足的数量关系

即使在某一位置已检测到LED灯具，即该位置不存在灯具完全缺失，仍然需要根据LED 灯具区域面积大小进一步检测是否存在发光不完全灯具缺失。由于隧道LED照明灯具区域的外接包络线也相交于前方道路的消隐点v。因此各LED灯具区域与每条外接直线相交的端点p_a、LED灯具区域中心点p_c以及前方道路消隐点v组成了多个相似多边形(如图2所示)。两个相邻LED灯具区域R_i和R_j的面积之比应该满足如下条件：

其中，l_iv和l_jv分别是这两个灯具区域中心点与前方道路消隐点v之间的距离。

经过简单推导，可以得到：

即各LED区域面积与其到前方道路消隐点距离的平方之比是一个常数。利用以上推导的LED 灯具区域面积所满足的数量关系，可以有效检测属于类型2的LED照明灯具不完全缺失。

应用以上分析结论，得出以下具体技术方案：

步骤3：基于相邻间距的LED灯具完全缺失检测

后向检测：

已知两个连续LED的准确位置(已知相邻间距l₁)，检测在下一个位置处LED是否有缺失。后向检测主要考虑计算l₂，从而确定第三个LED灯具的位置，并判断是否存在完全缺失。

随着与拍摄位置之间距离不断增加，各LED灯具之间的相邻间隔l_i不断减少。一旦出现不符合这一规律情况，那么在该相邻间隔l_i内必定存在了LED灯具完全缺失。

前向检测：

已知两个连续LED的位置(已知l₂)，检测在上一个位置处LED是否有缺失。前向检测主要考虑计算l₁，从而确定第一个LED灯具的位置，并判断是否存在完全缺失。

本发明从当前LED灯具位置p₂开始，沿着p₂与前方道路消隐点v连线的相反方向依次不断访问各像素坐标，从而获得每个可能的l₁(l_v也一起变化)，直至到达图像空间的边沿。如果在此过程中，至少找到一个l₁符合以上推导的相邻间隔所满足的数量关系，则确定第一个LED灯具的位置。

步骤4：基于面积距离²比的LED灯具非完全缺失检测

在同一帧中多个LED灯具区域之间计算的λ(面积距离²比)应该保持恒定。因为相对于隧道内部断面而言，摄像机所处的位置和姿态并没有发生改变因此，检测已经存在的LED 区域是否发生了属于类型2的非完全缺失类型的情况，只需要由该区域计算的λ满足如下条件

λ＜λ_min

与现有技术相比，本发明具有以下明显优势：

(1)本发明提出了一种基于数码成像的隧道LED照明灯具缺失智能检测方法，对隧道照明高效交工验收以及日常养护具有重要意义。

(2)本发明采用数码相机或智能手机等光学传感与成像系统，记录隧道顶部LED灯具实际工作发光情况，采用数码图像智能分析方法实现两种典型的隧道LED照明灯具缺失情况的快速分析。

(3)本发明从隧道LED照明灯具检测集合出发，使用摄像机成像模型所具有的直线交比不变性约束条件，针对LED照明灯具图像区域之间数量关系推导所符合的规律，实现LED灯具缺失情况的自动检测。

附图说明

图1隧道LED照明灯具成像过程以及直线交比不变性约束条件；

图2隧道LED照明灯具的外接包络线以及面积距离²比不变性约束条件；

图3本发明所涉及方法的总体框图；

图4a-4f青岛胶州湾海底隧道LED照明车载视频及隧道内部复杂环境：(a)入口加强段； (b)入口段；(c)过渡段；(d)中间段；(e)洞内道路通行电子指示牌；(f)用于数码摄像机抓拍补光的LED频闪灯；

图5a-5b隧道LED照明灯具的两种典型缺失类型：(a)类型1(完全缺失类型)；(b)类型2(不完全缺失类型)；

图6隧道LED照明灯具检测过程及相应结果：(a)前方道路的有效平行线段集合以及消隐点；(b)隧道顶部深色区域；(c)基于自适应阈值分割的LED灯具候选区域；(d)LED灯具候选区域的后处理及直线拟合；(e)LED灯具分割结果；(f)原始图像。

图7a-7b隧道LED照明灯具缺失检测以及位置估计结果：(a)针对类型1的完全缺失LED 灯具检测结果；(b)针对类型2的不完全缺失LED灯具检测结果。

具体实施方式

下面结合附图和实施例对本发明具体内容做进一步说明。

本发明实施例在安装VC2013和OpenCV3.4的PC机上实现，总体框图如图3所示。本发明实施例所用的隧道LED照明灯具数码图像拍摄于2017年7月，是拍摄者乘车途径青岛胶州湾海底隧道时利用智能手机拍摄的，如图4所示。该视频记录了主体车辆在隧道内的完整行车过程，不但能够观察到车辆前方较远处的道路情况，而且包括隧道顶部左右两侧排列的LED照明灯具。该视频的帧率是每秒25帧，图像分辨率为720×404，总时长达到8分钟 48秒。

青岛胶州湾海底隧道为双向6车道设计，日均通行量高达5.3万辆(2016年统计数据)。该隧道全长7800米，洞内照明分为多个照明段，具体包括入口加强段(见图4a)，入口段(见图4b)，过渡段(见图4c)以及中间段(见图4d)。本发明实施例总共获取了7929帧隧道LED照明数码图像。主体车辆从第1222帧开始进入隧道，直至第7830帧完全离开隧道。

本发明主要针对中间照明段进行LED灯具缺失检测。因为中间照明段占据隧道内部最长的距离，安装了最多的LED照明灯具(单洞单侧大约有3000盏)，车辆需要花费较长时间才能通过。而且在中间照明段LED灯具并不需要排列得很密集，在图像上很容易对每个LED 灯具进行有效分割。公路隧道的内部环境比较复杂，包括动态可变信息标志(发布警告信息)，电子指示牌等呈现高亮的监控及安全设施，如图4e和图4f所示。在乘车通过隧道时正值交通高峰期，周围正在行驶的其它车辆的前后车灯同样会造成比较严重的影响。通过删掉首末两端的非隧道场景以及其它照明段数码图像帧，本次实施例试验最终获取的中间照明段有效数据包括了从第1449帧到第7017帧的连续图像帧。

本发明实施例通过人工方式挑选出分别属于两种典型缺失类型的隧道LED灯具照明图像数据集。随着主体车辆的不断前移，一盏LED灯具会连续出现在多帧图像中，造成同一盏 LED灯具不可避免地被重复检测。但是，在不同图像中同一盏LED灯具的实际位置和大小已经发生改变。本发明使用单帧图像完成LED灯具的缺失检测，因此包含同一盏LED灯具的多帧图像仍然可以作为有效的待检测样本。本文引入这些图像数据，能更好地检测本文算法针对隧道内部复杂场景的鲁棒性。本文所用的中间照明段有效图像数据总共5657帧。其中，属于类型1的LED灯具完全缺失总共有10处，包括了232帧存在完全没有发光LED灯具的图像(见图5(a))。属于类型2的LED灯具不完全缺失总共有139处，包括了552帧存在部分发光LED灯具的图像(见图5(b))。

图6显示了隧道LED灯具自动检测的处理过程及相应结果。图6a表示了经过简单筛选的车辆前方有效平行线段集合M(由黑色线段表示)以及车前消隐点v检测结果(由各图像处于中间位置的黑点所示)。各图像同时也表示了隧道顶部深色区域与白色侧壁区域的两条关键分界线(由黑色粗线段表示)。图6b表示了隧道顶部深色区域的鲁棒检测结果，这有效限制了检测LED灯具的图像范围，大大减少后续处理的复杂程度。图6c表示了基于自适应阈值分割的LED灯具候选区域检测结果。可以看到，隧道内部各种电子监控及安全设备造成的高亮干扰已对LED灯具的准确检测造成严重的影响。图6d表示了针对LED灯具候选区域的直线拟合结果。两条绿色直线表示针对LED灯具前景区域进行直线拟合的结果。这些直线较好地穿过了LED区域的中心点。经过是否共线的判断，复杂隧道场景的很多高亮干扰得以彻底屏蔽。只有隧道洞内左右两侧依序排列的距离主体车辆较近并且具有较高分辨率的LED灯具区域才能最终保留下来。图6e表示了LED灯具分割结果。即使是发光面积很小的LED灯具，本发明方法仍然能够实现准确检测。

本发明根据任意两个相邻灯具(两灯具之间是否存在缺失并没有影响)的间距推测其它可能的LED缺失灯具位置。将可能的LED缺失灯具位置与现有的LED灯具检测位置相比较，可以检测到是否存在LED灯具完全缺失(类型1)并确定缺失LED灯具的具体位置。

后向检测具体过程：

(1)通过步骤一获取两个连续LED的准确位置，并计算两个连续LED的相邻间距l₁；

(2)根据连续三盏LED灯具之间的相邻间距关系公式，计算靠近消隐点v上的第三盏 LED与第二盏LED的距离l₂，进而得到第三盏LED的位置，所述l₂的具体计算公式如下；

其中，l_v为第一盏LED到消隐点v的距离；

(3)将步骤一得到的LED的中心位置与前述所得的第三盏LED的位置进行比较，如果两者之间的距离大于阈值A，则认为第三盏LED的位置上存在缺失，否则认为不存在缺失；

前向检测具体过程：

(1)通过步骤一获取两个连续LED的准确位置，并计算两个连续LED的相邻间距l₂；

(2)根据连续三盏LED灯具之间的相邻间距关系公式，计算远离消隐点v上的第三盏 LED与第二盏LED的距离l₂，进而得到第一盏LED的位置，其中连续三盏LED灯具之间的相邻间距关系公式如下：

其中，l₁表示第一、二盏LED的相邻间距，l₂表示第二、三盏LED的距离，l_v为第一盏LED 到消隐点v的距离；

(3)将步骤一得到的LED的中心位置与前述所得的第一盏LED的位置进行比较，如果两者之间的距离大于阈值B，则认为第三盏LED的位置上存在缺失，否则认为不存在缺失；

无论后向检测还是前向检测都可以用于预测完全缺失类型，具体实施时可以只利用其中的一种检测方法进行LED灯具完全缺失检测，也可以都使用。

在实现属于类型2的LED灯具不完全缺失检测时，本发明只在LED区域最为清晰的时刻(将要移出车载摄像机视野范围的时候)进行，从而保证该类型LED灯具缺失检测的性能。本发明实施例使用两个阈值分别对应隧道左右两侧LED灯具的面积距离²比。对于左侧LED 灯具而言，该阈值λ_min选定为500。对于右侧而言，该阈值λ_min则选定为300。阈值的取值范围可以通过反复实验进行确定。

图7显示了隧道LED照明灯具缺失检测以及位置估计结果。图7a表示了针对完全缺失 LED灯具(类型1)的检测结果(即位置估计结果)。由本文方法估计得到的完全缺失LED灯具准确位置由蓝色矩形框内的天蓝色圆点表示。图7b表示了针对不完全缺失LED灯具(类型2)的检测结果。其中，各天蓝色区域具体表示不完全缺失LED灯具。可以看出，利用车载移动视频智能分析算法在隧道洞内复杂条件下能够成功检测多种类型的缺失LED灯具。

本实施例计算了检出率(Detection Rate，DR)和误检率(False Alarm Rate，FAR)两项统计参数进行性能分析：

其中，TP(True Positives)为本发明方法正确检测的LED灯具缺失图像帧数；FN(False Negatives)为没有被正确检测的LED灯具缺失图像帧数；FP(False Positives)为本文方法误检的LED灯具缺失图像帧数。TP和FN相加之和N就是隧道照明车载视频数据集中LED 灯具缺失图像帧的总数。

表1本文方法的试验统计结果

表1表示了本文方法针对两种典型的LED灯具缺失类型进行智能自动检测的统计结果。针对类型1的LED灯具完全缺失情况，本发明方法可以保持96％以上准确率的较高水平，总共10处的LED灯具完全缺失无一遗漏，都能准确估计出具体的缺失位置。针对类型2的LED 灯具不完全缺失情况(总共552处)，本发明方法同样表现良好，准确率高达91％。

最后应说明的是：以上示例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于数码成像的隧道照明LED缺失智能检测方法，包括如下步骤：

步骤1：基于隧道洞内道路环境几何结构的LED照明灯具鲁棒检测，获取所有LED灯具检测结果Ψ及前方道路消隐点v，所述的LED灯具在各自拟合直线上按照由近及远的顺序依序排列，Ψ的具体表示为

Ψ＝{Q₁,Q₂,…,Q_N}

其中，Q_i＝{i,c_i,σ_i}是一个三元组，i＝1,2,…,N，三元组Q_i各元素依次为LED灯具区域的排列顺序i，中心点坐标c_i以及面积大小σ_i；

其特征在于还包含了：

步骤2：基于相邻间距的LED灯具完全缺失检测，所述的完全缺失类型指LED灯具发生故障不能发光或者根本没有安装的情况，完全缺失类型检测方法有后向检测和前向检测两种，具体如下:

后向检测用于检测靠近消隐点v的方向上LED是否有缺失，所述的消隐点v由步骤一得到，具体检测方法为：

获取两个连续LED的准确位置，即第一、第二LED的位置，得到两者之间的相邻间距l₁，根据连续三盏LED灯具之间的相邻间距关系公式，确定第三个LED灯具的位置，并与步骤一中得到的LED位置进行比较，判断是否存在完全缺失，其中连续三盏LED灯具之间的相邻间距关系公式如下：

其中，l₁表示第一、二盏LED的相邻间距，l₂表示第二、三盏LED的距离，l_v为第一盏LED到消隐点v的距离；

前向检测用于检测远离消隐点v的方向上LED是否有缺失，检测方法具体为：获取两个连续LED的位置，即第二、第三LED的位置，得到两者之间的相邻间距l₂，根据连续三盏LED灯具之间的相邻间距关系公式，确定第一个LED灯具的位置，并与步骤一中得到的LED位置进行比较，判断是否存在完全缺失，其中连续三盏LED灯具之间的相邻间距关系公式如下：

其中，l₁表示第一、二盏LED的相邻间距，l₂表示第二、三盏LED的距离，l_v为第一盏LED到消隐点v的距离；

步骤3：基于面积距离²比的LED灯具非完全缺失检测，所述的非完全缺失类型指虽然LED灯具处于发光工作状态，但是发光区域有所欠缺而形成不完全缺失情况，具体检测方法如下：根据步骤1得到的各盏LED的面积大小σ_i，计算每盏LED的面积距离²比λ，具体公式如下：

其中，σ_i表示步骤1中识别出的第i盏LED灯具区域的面积大小，l_iv表示第i盏LED灯具区域中心点与前方道路消隐点v之间的距离。

如果该区域计算的λ满足如下条件

λ＜λ_min

则认为第i盏LED灯具区域没有发生非完全缺失。否则，认为发生非完全缺失。