CN111815556B - 基于纹理提取和小波变换的车载鱼眼相机自诊断方法 - Google Patents

基于纹理提取和小波变换的车载鱼眼相机自诊断方法 Download PDF

Info

Publication number
CN111815556B
CN111815556B CN202010469295.2A CN202010469295A CN111815556B CN 111815556 B CN111815556 B CN 111815556B CN 202010469295 A CN202010469295 A CN 202010469295A CN 111815556 B CN111815556 B CN 111815556B
Authority
CN
China
Prior art keywords
region
area
vehicle
shielding
wavelet transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010469295.2A
Other languages
English (en)
Other versions
CN111815556A (zh
Inventor
殷佳豪
陈禹行
范圣印
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202010469295.2A priority Critical patent/CN111815556B/zh
Publication of CN111815556A publication Critical patent/CN111815556A/zh
Application granted granted Critical
Publication of CN111815556B publication Critical patent/CN111815556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于纹理提取和小波变换的车载鱼眼相机自诊断方法及装置，直接对鱼眼相机采集到的存在畸变的原始图片进行自动检测，无需去畸变的过程，保证系统的实时性；同时考虑遮挡物的时域、频域、空域特征，将上述特征相结合，实现对多种不同遮挡情况的检测；对于频域中低频部分和高频部分做不同的处理，且这两部分可以并行运行，大大提高了系统实时性；结合IMU和轮速计的相关信息，根据车辆运动状态进行自适应调节，自动调整车辆静止/低速行驶和高速行驶的检测策略，提高了检测的准确性；使用HSV特征、区域融合、区域生长等方法对非遮挡区域进行了抑制，考虑选出区域附近的局部特征，有效地抑制了局部光照不足造成的遮挡误判。

Description

基于纹理提取和小波变换的车载鱼眼相机自诊断方法
技术领域
本发明涉及自动检测领域，特别涉及一种基于纹理提取和小波变换的车载鱼眼相机自诊断方法。
背景技术
随着科学进步和技术发展，自动驾驶技术依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，取得了长足的进步，也是驾驶领域未来发展的一大趋势。现如今，无论是基于L4的自动驾驶还是基于L2的驾驶辅助系统，都或多或少地需要视觉模块的支持，需要根据车载相机采集的视觉信息进行反馈判断从而实现自动驾驶。车载相机所采集信息的完整性、真实性和实时性直接决定了视觉反馈信息的可靠性，成为影响自动驾驶性能的主要因素。因此，为了采集更多的信息，通常采用视角范围更大的鱼眼相机作为车载相机。
为了达到较大的摄影视角，鱼眼相机的前镜片直径很短且呈抛物状向镜头前部凸出，类似鱼的眼睛，“鱼眼相机”因此而得名，其视角能够接近或等于180°。然而，较大的视角也伴随着较大的畸变，不可避免地，鱼眼相机获取的景象与真实世界的景象存在很大的差别，这给车载鱼眼相机的自诊断带来了额外的困难。传统的车载相机自诊断方法难于直接应用于车载鱼眼相机的自诊断并达到相同的检测效果。
车载鱼眼相机工作过程中，光照异常、模糊、外部遮挡、黑屏/蓝屏、较大面积雨水覆盖等的出现将极大地影响基于视觉的自动驾驶功能的正常开启，甚至危及乘客的生命安全，尤其是驾驶过程中突然被外来的异物遮挡，遮挡的异物包括溅射的泥渍、油污、雨水、树叶、雪花覆盖、人为颜料喷涂、车上其他部件(如雨刮器)遮挡等；一旦发生遮挡，需要发出警告，甚至需要关闭基于视觉的自动驾驶功能，提醒驾驶员接管，以保障驾驶安全。因此车载鱼眼相机需要具备自动诊断的功能。
对于传统车载相机自动诊断问题，模糊、光照异常、信号丢失(蓝屏或黑屏)等问题检测起来较为方便。目前已有的车载相机遮挡自检测方案主要有基于背景建模、基于直方图距离、基于边缘纹理、基于时域差分或平均背景、基于模糊边缘检测等方法，其中基于背景建模和直方图距离的方法更适用于单一场景下的固定摄像头，不适用于高速行驶的车载相机；基于边缘纹理的方法能检测出遮挡，但对地面、天空、墙壁等无纹理区域存在误判；基于时域差分或平均背景的方法对透明物遮挡以及准静态区域的检测效果有限；基于模糊边缘检测方法可以用于普通相机的检测，但因为鱼眼相机存在较大的畸变，导致这种方法的检测精度较低。其他现有的技术有的是对于特定场景下相机遮挡的检测，如监控视频、旋转扫描仪等，有的是对特定遮挡物的检测，如雨水、积雪等，但对于车载相机的遮挡检测，发生遮挡的情况更为复杂，遮挡的种类也更为繁多，而且车载相机获得图像内容的变换与车速紧密相关，进一步地，车载鱼眼相机采集到的图像又存在畸变，因此，直接使用普通的遮挡检测方法不能有效检测出镜头是否被遮挡。
中国专利文献CN103854023A(名称：基于小波变换和时域模式识别的摄像头遮挡检测方法)通过小波变换提取频域特征，然后划分成若干小块后统计每一小块内的边缘特征，对相邻且边缘信息少的小块进行聚类得到遮挡候选区域，最后用评分的方法进行判定。但这种方法应用于车载相机时不能排除环境中引入的高频噪声，而且划分很多小块再对小块进行逐一操作并聚类，时间复杂度较高，不能达到车载相机尤其是车载鱼眼相机对遮挡检测的实时性要求。
论文Zhang Y,Yang J,Liu K,et al.Self-detection of opticalcontamination or occlusion in vehicle vision systems[J].Optical Engineering,2008,47(6):067006.通过对帧间差分结果图像求或运算，然后比较当前帧和前一帧或运算结果图像中像素值为0所构成区域的面积，当面积相差不大时作为遮挡可疑区域，然后对大约300帧图像的上述区域统计符合小波特征的像素点占整个图像的比例从而判断是否有遮挡。首先，该方法由帧间差分选出的区域作为遮挡可疑区域，由于其主要使用或运算选择区域，会遗漏掉一部分遮挡的区域，如发生遮挡时遇到车辆颠簸造成镜头轻微抖动时会认为不是遮挡，并且不能有效检测半透明的遮挡。其次，其需要使用多达300帧左右的图像作为检测数据再判断是否遮挡，占用系统资源多，不能满足车载相机对遮挡检测的实时性要求，而且，该方法并未考虑车辆是否静止、车辆速度等状态，在车辆静止、大幅度变速运动等情况下不能取得较好的检测效果。
美国专利文献US10089540B2(名称Vehicle vision system with dirtdetection)提出了一种基于帧间差分检测镜头上的黑点和光亮点的方法，通过边缘提取结合对污染物的建模进行检测。该方法可以检测污渍、油渍、小雪花等遮挡造成的污点和光亮点，但对于暴露在外部环境中的车载摄像头，异物造成的遮挡情况复杂，不仅仅只限于附着泥渍造成的污点和透明雨水造成的光亮点这两种情况，还需要检测更复杂的其他异物遮挡情形，比如树叶、人为油漆喷涂、车上其他部件(如雨刮器)遮挡等。
中国专利文献CN102111532B(名称：相机镜头遮挡检测系统及方法)提出了一种在静态情况下，提取图像高频分量再进行边缘提取并卷积，最后使用横向、纵向投影的方法进行遮挡检测，该方法能检测树叶、大块泥渍等遮挡，但会有一定程度地漏检水滴、灰尘等情况造成的遮挡模糊，尤其是对于透明的遮挡物，采用投影的方法进行判定准确率不高；其次其预处理过程中背景提取建立的过程更适用于固定监控摄像头，不适用于车载移动相机。
对于车载相机的遮挡检测，尤其是对于外形和视角均与普通相机有所不同的车载鱼眼相机的遮挡检测，发生遮挡的情况十分复杂，遮挡的种类繁多，对于存在较大畸变的车载鱼眼相机的遮挡检测，如果使用去畸变再检测的方法，不仅耗时更大，而且去畸变的结果往往还带来额外的模糊、拉伸现象，不能满足自动驾驶过程中对视觉模块的实时性和准确性要求。直接使用传统的车载相机遮挡检测方法不能有效检测出车载鱼眼相机镜头是否被遮挡。因此，需要寻找新的方法实现车载鱼眼相机的实时有效自诊断。
发明内容
为了在自动驾驶过程中采集更多的信息，本发明使用车载鱼眼相机替代车载普通相机以达到更大的视角。针对车载鱼眼相机相较于车载普通相机存在的遮挡情况更加复杂、采集图像畸变较大造成的遮挡检测难度更大的问题，本发明专门针对车载鱼眼相机采集的原始图像提出一种新的自诊断方法，无需去畸变的过程，直接对鱼眼相机采集到的存在畸变的原始图片进行自动检测，将遮挡物的时域、频域、空域上的特征同时进行考虑，对频域中低频部分和高频部分分别同时并行进行不同的处理，保证系统实时性的同时大大提高了检测的准确性。
为解决上述技术问题，根据本发明的一个方面，提供了一种基于纹理提取和小波变换的车载鱼眼相机自诊断方法，包括如下步骤：
步骤1、获取当前相机图像；
步骤2、输入获取的所述当前相机图像，对输入图像检测模糊和光照异常；
步骤3、对所述当前相机图像进行小波变换；
步骤4、基于纹理提取计算第一遮挡备选区域；
步骤5、在高频分量上基于模糊点检测计算第二遮挡备选区域；
步骤6、基于惯性测量单元(IMU)/轮速计获取车辆运动状态；
步骤7、结合时域信息对所述第一和第二遮挡备选区域进行融合；
步骤8、在小波变换中LL分量上基于区域生长对非遮挡区域进行抑制；
步骤9、结合车辆运动状态进行遮挡判定，得到相机自诊断结果。
优选地，所述获取当前相机图像包括使用鱼眼相机获取图像。
优选地，对所述输入图像检测模糊和光照异常包括：
步骤2.1、将所述输入图像转换为灰度图，并添加鱼眼相机的掩膜；
步骤2.2、图片模糊、信号丢失(即蓝屏/黑屏)检测：将所述输入图像与三阶拉普拉斯算子进行卷积，对卷积结果求绝对值后再计算整个结果图像的方差，若方差小于第一阈值T1，则认为模糊，发出警报不能开启自动驾驶；
步骤2.2、光照异常检测：计算灰度图像的均值，若均值小于第二阈值T2或大于第三阈值T3，则认为光照异常，发出警报不能开启自动驾驶。
优选地，所述三阶拉普拉斯算子如公式(1)所示：
优选地，所述第一阈值T1在[15,35]之间；所述第二阈值T2在[10,30]之间；所述第三阈值T3在[210,240]之间。
优选地，对所述当前相机图像进行小波变换包括：
将相机得到的原始图像转换为灰度图像，然后按公式(2)进行三阶离散小波变换：
其中为近似小波系数，/>为细节小波系数，f(x,y)为原始图像，M，N分别为原始图像的长和宽；/>为尺度函数；ψj,m,n(x,y)为小波函数，H,V,D分别代表三种不同的方向小波。
优选地，所述尺度函数为哈尔尺度函数。
优选地，所述小波函数为二维哈尔小波函数。
优选地，所述基于纹理提取计算第一遮挡备选区域包括：
步骤4.1、图像金字塔变换；
将获取的所述当前相机图像分别缩小2倍、4倍，加上原始图像共三个层次。
步骤4.2、图像边缘提取；
在所述三个层次上分别采用canny算法对灰度图像进行边缘提取，按照公式(3)分别计算像素点的灰度值梯度；
其中，grad(x,y)为像素点梯度值，基于L1范式进行计算，分别计算沿x轴和y轴一阶导的绝对值再相加。
优选地，若所述灰度值梯度大于第四阈值T4，则该像素点作为纹理被选出；若灰度值梯度小于第五阈值T5，则该像素点被抛弃；若灰度值梯度介于第四阈值T4、第五阈值T5之间，则当其与梯度大于第四阈值T4的像素点相邻时才被选出；之后对提取的边缘图像进行膨胀，连通内部纹理。
优选地，所述第四阈值T4在[15,45]之间，所述第五阈值T5在[5,15]之间。
优选地，步骤4.3、构建遮挡可疑区域；
先对步骤4.2中结果图像进行二值化操作；首先，为了消除一些细小的边缘区域并合并邻近的连通域，采用形态学闭操作；然后，对结果在所述三个层次上进行比对，将图像大小统一到图像金字塔最上层图像的大小，对所述三个层次的边缘二值化图像进行与运算，即只有在图像金字塔三个维度上都提取到的边缘才认为是真正的边缘纹理；最后，进行轮廓提取，从而将每个连通域单独区分开来，作为遮挡可疑区域。
优选地，步骤4.4、筛选出遮挡备选区域；
对每个所述遮挡可疑区域计算面积，去除小于3％图像总面积的区域；将原始图像转为HSV图像，使用HSV特征去除非遮挡区域，所述非遮挡区域包括天空背景区域和地面背景区域，如公式(4)、(5)、(6)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255 (4)
其中d1代表所述遮挡可疑区域与天空的HSV距离，d2代表所述遮挡可疑区域与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空/地面的参考H值、S值和V值；同时计算遮挡可疑区域的在y轴上的质心位置，记为y0。
优选地，所述d1用于天空背景区域的去除，利用S、V通道计算与正常天空的距离，当质心y0处于图片上半部分且所述d1小于第六阈值T6时，则此区域为天空背景区域，将此区域从遮挡可疑区域中去除。
优选地，所述第六阈值T6在[3,15]之间。
优选地，所述d2用于地面背景区域的去除，当质心y0处于图片下半部分且所述d2小于第七阈值T7时，则此区域为地面背景区域，将此区域从遮挡可疑区域中去除。
优选地，所述第七阈值T7在[10,40]之间。
优选地，所述第一遮挡备选区域为去除天空背景区域和地面背景区域后剩下的所有遮挡可疑区域。
优选地，所述在高频分量上基于模糊点检测计算第二遮挡备选区域包括：
提取出小波变换结果中的三个子图，即对每一阶小波变换结果提取HL，LH，HH分量，并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算每一阶的小波特征F(i)(i＝1，2，3)，如公式(7)所示：
得到三张大小分别为原图1/4，1/16，1/64大小的特征图像；其中 为按照公式(2)计算第i阶小波变换得到的三个子图，分别代表行高通列低通、行低通列高通、行高通列高通。
优选地，对F(1)使用4×4、对F(2)使用2×2、对F(3)使用1×1的滑动窗口提取局部最大值，结果得到三张大小相同的图像，分别记为Z1、Z2、Z3；提取在Z1(x,y)中小于第八阈值T8且满足Z1(x,y)<Z2(x,y)<Z3(x,y)的像素点(x,y)，令所述像素点的灰度值为255，其他不符合上述条件的像素点灰度值为0，并构成图片P1，即所述图片P1中白色部分构成第二遮挡备选区域。
优选地，所述第八阈值T8在[1,5]之间。
优选地，所述基于惯性测量单元(IMU)/轮速计获取车辆运动状态包括：
通过轮速计/IMU模块获得车辆的运动状态，所述运动状态包括当前车速信息；若当前车速不为0，则进行时域上的动态监测。
优选地，所述时域上的监测以k1帧图像划分为一个检测周期，即每隔k1帧图像进行一次遮挡判定。
优选地，k1随着车速动态调整，以适应车辆缓慢前移、低俗行驶、高速行驶的不同情况，如公式(8)所示：
其中fc代表车载相机帧率，v代表车速，T代表处理一帧所需时间，c为固定常数；δ为一个较小的常数，防止车辆静止时公式(8)的分母为0。
优选地，为了防止过度抑制，在应用区域生长算法之前，结合时域信息对所述第一和第二遮挡备选区域进行融合。
优选地，所述结合时域信息对所述第一和第二遮挡备选区域进行融合包括：
以k1帧图像划分为一个检测周期；若当前帧数大于第九阈值T9且此前k1/3中平均车速大于第十阈值T10，则统计第一遮挡备选区域，记为区域1，统计其中的像素总数count1；并求出该区域对应于据模糊点检测得到的遮挡备选区域图(即图片P1)中的区域，记该区域为区域2；根据区域2在图片P1中的连通性，求出与区域2中像素点八连通的所有像素点并构成区域3，统计区域3中的像素总数count3，若符合公式(9)的条件：
其中，T11为第十一阈值，T12为第十二阈值；则用融合后区域3代替区域1，并不进行区域生长的过程；
若不满足公式(9)条件或者当前帧数小于等于第九阈值T9或者此前k1/3中平均车速小于等于第十阈值T10，则保留区域1并接着进行区域生长的过程。
优选地，第九阈值T9在[30,80]之间，第十阈值T10在[10,30]之间，第十一阈值T11在[0.5,0.8]之间，第十二阈值T12在[1.4,1.8]之间。
优选地，所述在小波变换中LL分量上基于区域生长对非遮挡区域进行抑制包括：
首先获得小波变换提取的LL分量(即横轴低通、纵轴低通)；
在LL分量图上依次对所述区域1中的每个像素进行深度搜索，搜索其所在八邻域内与其颜色距离d3小于第十三阈值T13的像素点，并对符合条件的像素点递归地进行同样的深度搜索，最后所有符合条件的像素点构成区域生长后的遮挡备选区域，记为区域B，原来的遮挡备选区域记为区域A；颜色距离d3如公式(10)所示：
d3＝(Rs-Rn)2+(Gs-Gn)2+(Bs-Bn)2 (10)
其中R、G、B为像素RGB颜色模型中各自通道的值，下标n代表当前像素点(已在区域B中)，下标s代表当前像素点所在八邻域中的像素点；
根据区域生长结果，去除符合公式(11)的条件的区域：
其中S为整个图片像素点总数，countA为区域A的像素点个数，countB为区域B的像素点个数。
优选地，第十三阈值阈值T13在[1,5]之间。
优选地，所述结合车辆运动状态进行遮挡判定包括：
在时域上分别对基于纹理提取计算的所述第一遮挡备选区域和在高频分量上基于模糊点检测计算的所述第二遮挡备选区域进行平均，以去除非静态的区域。
优选地，记当前帧数为k2，提取出前0.75×k2帧都位于所述第一遮挡备选区域和所述第二遮挡备选区域中的像素点，分别得到k2帧时的纹理遮挡备选区域(记为区域xt)和模糊点遮挡备选区域(记为区域yf)；
根据车速的快慢自动调节遮挡判定周期内帧数k1；根据车辆的运动状态，每隔k1/3帧按照前述判断条件选择对区域xt进行一次区域融合，调整区域xt大小，或者进行一次区域生长，去除干扰区域；
优选地，根据车辆的运动状态，每隔k1帧进行一次遮挡判定，对于区域xt，如果在这一个判定周期内进行了两次及两次以上的区域融合，则直接认为融合后的区域xt即为遮挡区域，若遮挡区域不为空，则发出遮挡警报，提醒驾驶员接管。
优选地，根据车辆的运动状态，每隔k1帧进行一次遮挡判定，如果在这一个判定周期内进行了两次以下的区域融合，即进行了两次及两次以上的区域生长抑制，只进行了0次或1次区域融合，则对当前帧获得区域xt和区域yf进行与运算，提取同时属于区域xt和区域yf中的像素点构成区域zi，对区域zi进行一次形态学闭操作，以消除内部空洞并连通紧邻的区域，若最终区域zi中存在面积大于3％总面积的连通区域，则认为存在遮挡区域，发出遮挡警报，提醒驾驶员接管。
优选地，基于纹理提取得到的第一遮挡备选区域每隔k3帧进行一次清零，基于模糊点检测计算得到的第二遮挡备选区域每隔k4帧进行一次清零。
优选地，所述k3在[250,400]之间，所述k4在[350,500]之间。
为解决上述技术问题，根据本发明的另一个方面，提供了一种基于纹理提取和小波变换的车载鱼眼相机自诊断装置，包括：
图像获取装置，获取当前相机图像；
检测模糊和光照异常判断装置，输入获取的所述当前相机图像，对输入图像检测模糊和光照异常；
小波变换装置，对所述当前相机图像进行小波变换；
第一遮挡备选区域计算装置，基于纹理提取计算第一遮挡备选区域；
第二遮挡备选区域计算装置，在高频分量上基于模糊点检测计算第二遮挡备选区域；
车辆运动状态获取装置，基于惯性测量单元(IMU)/轮速计获取车辆运动状态；
区域融合装置，结合时域信息对所述第一和第二遮挡备选区域进行融合；
区域抑制装置，在小波变换中LL分量上基于区域生长对非遮挡区域进行抑制；
遮挡判断装置，结合车辆运动状态进行遮挡判定，得到相机自诊断结果。
优选地，所述获取当前相机图像包括使用鱼眼相机获取图像。
优选地，所述检测模糊和光照异常判断装置包括：
灰度转换装置，将所述输入图像转换为灰度图，并添加鱼眼相机的掩膜；
图片模糊、信号丢失(即蓝屏/黑屏)检测装置：将所述输入图像与三阶拉普拉斯算子进行卷积，对卷积结果求绝对值后再计算整个结果图像的方差，若方差小于第一阈值T1，则认为模糊，发出警报不能开启自动驾驶；
光照异常检测装置：计算灰度图像的均值，若均值小于第二阈值T2或大于第三阈值T3，则认为光照异常，发出警报不能开启自动驾驶。
优选地，所述三阶拉普拉斯算子如公式(1)所示：
优选地，所述第一阈值T1在[15,35]之间；所述第二阈值T2在[10,30]之间；所述第三阈值T3在[210,240]之间。
优选地，对所述当前相机图像进行小波变换包括：
将相机得到的原始图像转换为灰度图像，然后按公式(2)进行三阶离散小波变换：
其中为近似小波系数，/>为细节小波系数，f(x,y)为原始图像，M，N分别为原始图像的长和宽；/>为尺度函数；ψj,m,n(x,y)为小波函数，H,V,D分别代表三种不同的方向小波。
优选地，所述尺度函数为哈尔尺度函数。
优选地，所述小波函数为二维哈尔小波函数。
优选地，所述第一遮挡备选区域计算装置包括：
图像金字塔变换装置，
将获取的所述当前相机图像分别缩小2倍、4倍，加上原始图像共三个层次。
图像边缘提取装置，
在所述三个层次上分别采用canny算法对灰度图像进行边缘提取，按照公式(3)分别计算像素点的灰度值梯度；
其中，grad(x,y)为像素点梯度值，基于L1范式进行计算，分别计算沿x轴和y轴一阶导的绝对值再相加。
优选地，若所述灰度值梯度大于第四阈值T4，则该像素点作为纹理被选出；若灰度值梯度小于第五阈值T5，则该像素点被抛弃；若灰度值梯度介于第四阈值T4、第五阈值T5之间，则当其与梯度大于第四阈值T4的像素点相邻时才被选出；之后对提取的边缘图像进行膨胀，连通内部纹理。
优选地，所述第四阈值T4在[15,45]之间，所述第五阈值T5在[5,15]之间。
优选地，所述第一遮挡备选区域计算装置包括：
遮挡可疑区域构建装置，
先对图像边缘提取的结果图像进行二值化操作；首先，为了消除一些细小的边缘区域并合并邻近的连通域，采用形态学闭操作；然后，对结果在所述三个层次上进行比对，将图像大小统一到图像金字塔最上层图像的大小，对所述三个层次的边缘二值化图像进行与运算，即只有在图像金字塔三个维度上都提取到的边缘才认为是真正的边缘纹理；最后，进行轮廓提取，从而将每个连通域单独区分开来，作为遮挡可疑区域。
优选地，所述第一遮挡备选区域计算装置包括：
遮挡备选区域筛选装置；
对每个所述遮挡可疑区域计算面积，去除小于3％图像总面积的区域；将原始图像转为HSV图像，使用HSV特征去除非遮挡区域，所述非遮挡区域包括天空背景区域和地面背景区域，如公式(4)、(5)、(6)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255 (4)
其中d1代表所述遮挡可疑区域与天空的HSV距离，d2代表所述遮挡可疑区域与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空/地面的参考H值、S值和V值；同时计算遮挡可疑区域的在y轴上的质心位置，记为y0。
优选地，所述d1用于天空背景区域的去除，利用S、V通道计算与正常天空的距离，当质心y0处于图片上半部分且所述d1小于第六阈值T6时，则此区域为天空背景区域，将此区域从遮挡可疑区域中去除。
优选地，所述第六阈值T6在[3,15]之间。
优选地，所述d2用于地面背景区域的去除，当质心y0处于图片下半部分且所述d2小于第七阈值T7时，则此区域为地面背景区域，将此区域从遮挡可疑区域中去除。
优选地，所述第七阈值T7在[10,40]之间。
优选地，所述第一遮挡备选区域为去除天空背景区域和地面背景区域后剩下的所有遮挡可疑区域。
优选地，所述在高频分量上基于模糊点检测计算第二遮挡备选区域包括：
提取出小波变换结果中的三个子图，即对每一阶小波变换结果提取HL，LH，HH分量，并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算每一阶的小波特征F(i)(i＝1，2，3)，如公式(7)所示：
得到三张大小分别为原图1/4，1/16，1/64大小的特征图像；其中 为按照公式(2)计算第i阶小波变换得到的三个子图，分别代表行高通列低通、行低通列高通、行高通列高通。
优选地，对F(1)使用4×4、对F(2)使用2×2、对F(3)使用1×1的滑动窗口提取局部最大值，结果得到三张大小相同的图像，分别记为Z1、Z2、Z3；提取在Z1(x,y)中小于第八阈值T8且满足Z1(x,y)<Z2(x,y)<Z3(x,y)的像素点(x,y)，令所述像素点的灰度值为255，其他不符合上述条件的像素点灰度值为0，并构成图片P1，即所述图片P1中白色部分构成第二遮挡备选区域。
优选地，所述第八阈值T8在[1,5]之间。
优选地，所述基于惯性测量单元(IMU)/轮速计获取车辆运动状态包括：
通过轮速计/IMU模块获得车辆的运动状态，所述运动状态包括当前车速信息；若当前车速不为0，则进行时域上的动态监测。
优选地，所述时域上的监测以k1帧图像划分为一个检测周期，即每隔k1帧图像进行一次遮挡判定。
优选地，k1随着车速动态调整，以适应车辆缓慢前移、低俗行驶、高速行驶的不同情况，如公式(8)所示：
其中fc代表车载相机帧率，v代表车速，T代表处理一帧所需时间，c为固定常数；δ为一个较小的常数，防止车辆静止时公式(8)的分母为0。
优选地，为了防止过度抑制，在应用区域生长算法之前，结合时域信息对所述第一和第二遮挡备选区域进行融合。
优选地，所述结合时域信息对所述第一和第二遮挡备选区域进行融合包括：
以k1帧图像划分为一个检测周期；若当前帧数大于第九阈值T9且此前k1/3中平均车速大于第十阈值T10，则统计第一遮挡备选区域，记为区域1，统计其中的像素总数count1；并求出该区域对应于据模糊点检测得到的遮挡备选区域图(即图片P1)中的区域，记该区域为区域2；根据区域2在图片P1中的连通性，求出与区域2中像素点八连通的所有像素点并构成区域3，统计区域3中的像素总数count3，若符合公式(9)的条件：
其中，T11为第十一阈值，T12为第十二阈值；则用融合后区域3代替区域1，并不进行区域生长的过程；
若不满足公式(9)条件或者当前帧数小于等于第九阈值T9或者此前k1/3中平均车速小于等于第十阈值T10，则保留区域1并接着进行区域生长的过程。
优选地，第九阈值T9在[30,80]之间，第十阈值T10在[10,30]之间，第十一阈值T11在[0.5,0.8]之间，第十二阈值T12在[1.4,1.8]之间。
优选地，所述在小波变换中LL分量上基于区域生长对非遮挡区域进行抑制包括：
首先获得小波变换提取的LL分量(即横轴低通、纵轴低通)；
在LL分量图上依次对所述区域1中的每个像素进行深度搜索，搜索其所在八邻域内与其颜色距离d3小于第十三阈值T13的像素点，并对符合条件的像素点递归地进行同样的深度搜索，最后所有符合条件的像素点构成区域生长后的遮挡备选区域，记为区域B，原来的遮挡备选区域记为区域A；颜色距离d3如公式(10)所示：
d3＝(Rs-Rn)2+(Gs-Gn)2+(Bs-Bn)2 (10)
其中R、G、B为像素RGB颜色模型中各自通道的值，下标n代表当前像素点(已在区域B中)，下标s代表当前像素点所在八邻域中的像素点；
根据区域生长结果，去除符合公式(11)的条件的区域：
其中S为整个图片像素点总数，countA为区域A的像素点个数，countB为区域B的像素点个数。
优选地，第十三阈值阈值T13在[1,5]之间。
优选地，所述结合车辆运动状态进行遮挡判定包括：
在时域上分别对基于纹理提取计算的所述第一遮挡备选区域和在高频分量上基于模糊点检测计算的所述第二遮挡备选区域进行平均，以去除非静态的区域。
优选地，记当前帧数为k2，提取出前0.75×k2帧都位于所述第一遮挡备选区域和所述第二遮挡备选区域中的像素点，分别得到k2帧时的纹理遮挡备选区域(记为区域xt)和模糊点遮挡备选区域(记为区域yf)；
根据车速的快慢自动调节遮挡判定周期内帧数k1；根据车辆的运动状态，每隔k1/3帧按照前述判断条件选择对区域xt进行一次区域融合，调整区域xt大小，或者进行一次区域生长，去除干扰区域；
优选地，根据车辆的运动状态，每隔k1帧进行一次遮挡判定，对于区域xt，如果在这一个判定周期内进行了两次及两次以上的区域融合，则直接认为融合后的区域xt即为遮挡区域，若遮挡区域不为空，则发出遮挡警报，提醒驾驶员接管。
优选地，根据车辆的运动状态，每隔k1帧进行一次遮挡判定，如果在这一个判定周期内进行了两次以下的区域融合，即进行了两次及两次以上的区域生长抑制，只进行了0次或1次区域融合，则对当前帧获得区域xt和区域yf进行与运算，提取同时属于区域xt和区域yf中的像素点构成区域zi，对区域zi进行一次形态学闭操作，以消除内部空洞并连通紧邻的区域，若最终区域zi中存在面积大于3％总面积的连通区域，则认为存在遮挡区域，发出遮挡警报，提醒驾驶员接管。
优选地，基于纹理提取得到的第一遮挡备选区域每隔k3帧进行一次清零，基于模糊点检测计算得到的第二遮挡备选区域每隔k4帧进行一次清零。
优选地，所述k3在[250,400]之间，所述k4在[350,500]之间。
本发明提出的自动检测鱼眼相机采集到的图片是否正常的方法，能在车辆启动前和车辆行驶过程中自动检测是否存在光照异常、模糊、外部遮挡、黑屏/蓝屏、较大面积雨水、积雪、异物遮挡等。
本发明的有益效果：
1、在本发明装置中结合了IMU和轮速计的相关信息，能够根据车辆运动状态进行自适应调节，自动调整车辆静止/低速行驶和高速行驶的检测策略，提高了检测的准确性；
2、直接对鱼眼相机采集到的存在畸变的原始图片进行自动检测，不需要去畸变的步骤，实时性和准确性更强；
3、同时考虑了遮挡物的时域、频域、空域上的特征，可以更好地检测更多不同的遮挡情况；在晚上光线很差或前方有灯光直射的情况下会发出光照异常警告；在大雾天气、大量雨水/水蒸气造成镜头模糊等情况下会发出镜头模糊警告，提醒驾驶员接管，禁止开启自动驾驶功能；
4、对于频域中低频部分和高频部分做了不同的处理，且这两部分可以并行运行，满足了车载鱼眼相机遮挡检测的实时性要求；
5、使用了HSV特征、区域融合、区域生长等方法对非遮挡区域进行了抑制，考虑了选出区域附近的局部特征，能够抑制局部光照不足造成的遮挡误判；
6、能在车辆启动前进行相机自诊断，判断基于车载鱼眼相机的自动驾驶辅助功能能否正常开启，是否存在光照异常、模糊、黑屏/蓝屏、较大面积雨水、积雪、异物遮挡等情况；若车辆开启了基于车载相机的自动驾驶辅助功能并且处于行驶过程中，若相机被异物突然遮挡或出现突然信号丢失、模糊、光照异常等情况，能够自动在短时间内发出警告，提醒驾驶员接管，保证了驾驶的安全性。
附图说明
附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将更加清楚。
图1是整体检测流程图；
图2是基于内部纹理计算遮挡备选区域的步骤图；
图3是本发明检测结果图。
具体实施方式
下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。
针对现有的车载相机镜头遮挡检测方法不能有效检测出车载鱼眼相机镜头是否被遮挡的技术问题，本发明提出新的自动车载鱼眼相机遮挡检测方法，无需去畸变的过程，直接对鱼眼相机采集到的存在畸变的原始图片进行自动检测，保证系统的实时性；同时考虑遮挡物的时域、频域、空域特征，将遮挡物的时域、频域、空域特征相结合，实现对多种不同遮挡情况的检测；对于频域中低频部分和高频部分做不同的处理，且这两部分可以并行运行，大大提高了系统实时性；结合IMU和轮速计的相关信息，根据车辆运动状态进行自适应调节，自动调整车辆静止/低速行驶和高速行驶的检测策略，提高了检测的准确性；使用HSV特征、区域融合、区域生长等方法对非遮挡区域进行了抑制，考虑选出区域附近的局部特征，有效地抑制了局部光照不足造成的遮挡误判。本发明能够实时准确地检测出车载鱼眼相机镜头的遮挡情况，自动检测鱼眼相机采集到的图片是否正常，实现车载鱼眼相机的自诊断，能在车辆启动前和车辆行驶过程中自动检测是否存在光照异常、模糊、外部遮挡、黑屏/蓝屏、较大面积雨水、积雪、异物遮挡等，大大提高自动驾驶或辅助驾驶系统的感知系统的可靠性。
本发明技术方案的整体检测流程图如图1所示。本发明的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，包括：
步骤1、获取当前相机图像：包括使用鱼眼相机获取图像；
步骤2、检测模糊和光照异常；
首先将输入图像转换为灰度图，并添加鱼眼相机的掩膜，然后按下列方式进行评估：
图片模糊、信号丢失(蓝屏/黑屏)检测方式：将输入图像与三阶拉普拉斯算子进行卷积，对卷积结果求绝对值后再计算整个结果图像的方差，若方差小于阈值T1，则认为模糊，发出警报不能开启自动驾驶，T1在[15,35]之间。
所述三阶拉普拉斯算子如公式(1)所示：
光照异常检测方式：计算灰度图像的均值，若均值小于阈值T2或大于阈值T3，则认为光照异常，发出警报不能开启自动驾驶，其中，T2在[10,30]之间，T3在[210,240]之间。
步骤3、小波变换；
将相机得到的原始图像转换为灰度图像，然后按公式(2)进行三阶离散小波变换：
其中为近似小波系数，/>为细节小波系数，f(x,y)为原始图像，M，N分别为原始图像的长和宽；/>为尺度函数，我们选择哈尔尺度函数；ψj,m,n(x,y)为小波函数，我们选择二维哈尔小波函数，H,V,D分别代表三种不同的方向小波。
步骤4、基于纹理提取计算遮挡备选区域；
基于内部纹理计算遮挡备选区域的步骤如图2所示。包括如下步骤：
步骤4.1、图像金字塔变换；
获取当前相机拍摄图片后，为了增强模型的鲁棒性，对灰度化后的图片采用图像金字塔的方法进行处理，即将原始图像分别缩小2倍、4倍，加上原始图像共三个层次。
步骤4.2、边缘提取；
在所述三个层次上分别采用canny算法对灰度图像进行边缘提取，按照公式(3)分别计算像素点的灰度值梯度；若灰度值梯度大于阈值T4，则该像素点作为纹理被选出；若灰度值梯度小于阈值T5，则该像素点被抛弃；若灰度值梯度介于T4、T5之间，则当其与梯度大于T4的像素点相邻时才被选出。之后对提取的边缘图像进行膨胀，连通内部纹理。其中，T4在[15,45]之间，T5在[5,15]之间。
其中，grad(x,y)为像素点梯度值，基于L1范式进行计算，分别计算沿x轴和y轴一阶导的绝对值再相加。
步骤4.3、构建遮挡可疑区域；
先对步骤4.2中结果图像进行二值化操作；首先，为了消除一些细小的边缘区域并合并邻近的连通域，采用形态学闭操作；然后，对结果在三个层次上进行比对，将图像大小统一到图像金字塔最上层图像的大小，对三个层次的边缘二值化图像进行与运算，即只有在图像金字塔三个维度上都提取到的边缘才认为是真正的边缘纹理；最后，进行轮廓提取，从而将每个连通域单独区分开来，作为遮挡可疑区域。
步骤4.4、筛选出遮挡备选区域：
首先对每个遮挡可疑区域计算面积，去除小于3％图像总面积的区域；为了减少误判，在此对最常见的两种非遮挡区域使用HSV特征进行初步去除，即天空和地面背景，同时减少了需要后续进行区域生长再判定的遮挡可疑区域个数，以便提高实时性，如公式(4)、(5)、(6)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255 (4)
首先将原始图像转为HSV图像，其中d1代表该区域与天空的HSV距离，d2代表与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空/地面的参考H值、S值和V值；同时计算遮挡可疑区域的在y轴上的质心位置y0。
d1用于天空背景区域的去除，由于H受时辰、天气等因素影响变化较大，因此利用S、V通道计算与正常天空的距离，当质心y0处于图片上半部分且d1小于阈值T6时，将该区域从遮挡可疑区域中去除，其中T6在[3,15]之间。d2用于地面背景的去除，当质心y0处于图片下半部分且d2小于阈值T7时，将该区域从遮挡可疑区域中去除，其中T7在[10,40]之间。之后剩下的所有遮挡可疑区域构成遮挡备选区域。
步骤5、在高频分量上基于模糊点检测计算遮挡备选区域；
首先提取出小波变换结果中的三个子图，即对每一阶小波变换结果提取HL，LH，HH分量，并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算每一阶的小波特征F(i)(i＝1，2，3)，得到三张大小分别为原图1/4，1/16，1/64大小的特征图像，如公式(7)所示：/>
得到三张大小分别为原图1/4，1/16，1/64大小的特征图像；其中 为按照公式(2)计算第i阶小波变换得到的三个子图，分别代表行高通列低通、行低通列高通、行高通列高通。
接着对F(1)使用4×4、对F(2)使用2×2、对F(3)使用1×1的滑动窗口提取局部最大值，结果得到三张大小相同的图像，分别记为Z1、Z2、Z3；提取在Z1(x,y)中小于阈值T8且满足Z1(x,y)<Z2(x,y)<Z3(x,y)的像素点(x,y)，阈值T8在[1,5]之间。对于鱼眼相机采集的图片，我们发现在高频分量上符合上述条件的像素点位于模糊区域内，令该点灰度值为255，其他不符合上述条件的像素点灰度值为0，并构成图片P1，即P1中白色部分构成遮挡备选区域。
步骤6、基于IMU/轮速计获取车辆运动状态；
为了降低误报率，同时确定遮挡备选区域是否为静态区域，需要结合时域特征进一步进行检测。因此我们先通过轮速计/IMU模块获得车辆的运动状态，主要获取当前车速信息。若当前车速不为0，则继续进行时域上的动态监测，时域上的监测以k1帧图像划分为一个检测周期，即每隔k1帧图像进行一次遮挡判定。
k1随着车速动态调整，以适应车辆缓慢前移、低俗行驶、高速行驶等不同情况，其参考公式如公式(8)所示：
其中fc代表车载相机帧率，v代表车速，T代表处理一帧所需时间，c为固定常数。δ为一个较小的常数，防止车辆静止时分母为0，此时k1为一个较大的数。
步骤7、结合时域信息对遮挡备选区域进行融合；
在这个步骤中，我们需要对根据纹理提取得到的遮挡备选区域以及根据模糊点检测得到的遮挡备选区域进行融合。
对于根据纹理提取得到的遮挡备选区域，为了去除无纹理但并非遮挡的情况(如天空、墙壁、地面等)，每隔k1/3帧应用一次区域生长算法，若遮挡备选区域生长之后的像素总数与原遮挡备选区域像素总数之比大于步骤8中描述的阈值则认为该区域并非遮挡，将其从遮挡备选区域中去除(详见步骤8)，但同时为了防止过度抑制，在应用区域生长算法之前，将该遮挡备选区域与在高频分量上根据模糊点检测得到的遮挡备选区域进行融合，具体方法如下：
若当前帧数大于阈值T9且此前k1/3中平均车速大于阈值T10：首先统计根据纹理提取得到的一个遮挡备选区域(记为区域1)中的像素总数count1，并求出该区域对应于图片P1(即据模糊点检测得到的遮挡备选区域图)中的区域，记该区域为区域2，根据区域2在图片P1中的连通性，求出与区域2中像素点八连通的所有像素点并构成区域3，统计区域3中的像素总数count3，若符合公式(9)的条件：
则用融合后区域3代替区域1，并跳过步骤8中进行区域生长的过程；若不符合上述条件，则保留区域1并接着进行步骤8中的流程。其中阈值T9在[30,80]之间，阈值T10在[10,30]之间，阈值T11在[0.5,0.8]之间，阈值T12在[1.4,1.8]之间。
若当前帧数小于等于阈值T9或者此前k1/3中平均车速小于等于阈值T10，直接进行步骤8中的流程。
步骤8、在LL分量上基于区域生长对非遮挡区域进行抑制；
由于基于内部纹理提取计算的遮挡备选区域会对天空、地面、墙壁等无纹理区域造成误判，而且会对局部光照不足引起的局部黑暗小块造成误判，因此需要对这些区域造成的干扰进行去除。这些遮挡备选区域的一个特点是，尽管当前所在的区域没有纹理特征，但与其连通的周围一片区域纹理比较少(如地面上的沟壑等)，并且其与周围区域的颜色特征基本相同，因此可以利用区域生长的方法进行抑制。
为了防止细小纹理的干扰，首先获得之前小波变换提取的LL分量(横轴低通、纵轴低通)，其去除了大部分高频噪声，在低频分量上进行区域生长可以更好地连通颜色特征相似的像素点，不易受细小边缘像素点的截断，具体如下：
在LL分量图上依次对区域1(即根据纹理提取得到的遮挡备选区域)中的每个像素进行深度搜索，搜索其所在八邻域内与其颜色距离d3小于阈值T13的像素点，并对符合条件的像素点递归地进行同样的深度搜索，最后所有符合条件的像素点构成区域生长后的遮挡备选区域，记为区域B，原来的遮挡备选区域记为区域A。
d3＝(Rs-Rn)2+(Gs-Gn)2+(Bs-Bn)2 (10)
其中R、G、B为像素RGB颜色模型中各自通道的值，下标n代表当前像素点(已在区域B中)，下标s代表当前像素点所在八邻域中的像素点。阈值T13在[1,5]之间。
根据区域生长结果，去除符合公式(11)的条件的区域：
其中S为整个图片像素点总数，countA为区域A的像素点个数，countB为区域B的像素点个数。
步骤9、结合车辆运动状态进行遮挡判定；
首先对车载鱼眼相机采集的每一帧图片按照上述流程分别根据纹理提取和模糊点检测计算各自的遮挡备选区域，然后在时域上分别对各自的遮挡备选区域进行平均，以便去除非静态的区域。记当前帧数为k2，提取出前0.75×k2帧都位于各自遮挡备选区域中的像素点，分别得到k2帧时的纹理遮挡备选区域(记为区域xt)和模糊点遮挡备选区域(记为区域yf)。
由步骤6中描述可知，本发明提出的方法会根据车速的快慢自动调节遮挡判定周期内帧数k1。根据车辆的运动状态，每隔k1/3帧按照步骤7所述条件选择对区域xt按照步骤7中的方法进行一次区域融合，调整区域xt大小，或者按照步骤8中的方法进行一次区域生长，去除干扰区域。
根据车辆的运动状态，每隔k1帧进行一次遮挡判定，对于区域xt，如果在这一个判定周期内进行了两次及两次以上的区域融合，则直接认为融合后的区域xt即为遮挡区域，若遮挡区域不为空，则发出遮挡警报，提醒驾驶员接管；如果在这一个判定周期内进行了两次以下的区域融合(即进行了两次及两次以上的区域生长抑制算法，只进行了0次或1次区域融合)，则对当前帧获得区域xt和区域yf进行与运算，提取同时属于区域xt和区域yf中的像素点(无纹理且存在模糊)，构成区域zi，对区域zi进行一次形态学闭操作，以便消除内部空洞并连通紧邻的区域，若最终区域zi中存在面积大于3％总面积的连通区域，则认为存在遮挡区域，发出遮挡警报，提醒驾驶员接管。
此外，为了同时保证实时性，需要每过一定的帧数对之前的遮挡备选区域平均结果清零，根据我们的实验，基于纹理提取得到的遮挡备选区域每隔k3帧进行一次清零，基于模糊点检测计算得到的遮挡备选区域每隔k4帧进行一次清零，k3在[250,400]之间，k4在[350,500]之间。
图3为本发明检测结果图。如图3所示，本发明所述方法能有效地检测车载相机的遮挡。该方法可应用于车载鱼眼相机、RGB相机等设备，其对于模糊、光照异常的检测耗时小于8毫秒，可以实时地进行，准确率大于95％；本发明所述方法对于遮挡的检测，单次检测耗时小于20毫秒，由于本发明根据车速融合时域多帧信息再进行遮挡判定，当相机帧率为30fps，车速为30km/h时，进行一个遮挡检测周期耗时小于1秒，可以实时进行，白天对于非透明遮挡物检测准确率大于90％，对于透明遮挡物检测准确率大于80％。
由此可见，本发明的基于纹理提取和小波变换的车载鱼眼相机自诊断方法和装置，能在车辆启动前进行相机自诊断，判断基于车载鱼眼相机的自动驾驶辅助功能能否正常开启，是否存在光照异常、模糊、黑屏/蓝屏、较大面积雨水、积雪、异物遮挡等情况；若车辆开启了基于车载相机的自动驾驶辅助功能并且处于行驶过程中，若相机被异物突然遮挡或出现突然信号丢失、模糊、光照异常等情况，能够自动实时地发出警告，提醒驾驶员接管；此外，在大雾天气、大量雨水/水蒸气造成镜头模糊等情况下会发出镜头模糊警告，提醒驾驶员接管，禁止开启自动驾驶功能，保证驾驶安全；能够识别出车载鱼眼相机的工作环境光线，在晚上光线很差或前方有灯光直射的情况下会发出光照异常警告；同时，在进行遮挡检测时兼顾了遮挡的时域、空域、频域特征；可以更好地检测到多种遮挡情况，利用了HSV特征、区域融合、区域生长等多种方法对非遮挡区域进行抑制，降低误报率，能够抑制局部光照异常造成的误报，提高了自诊断的准确性。
至此，已经结合附图所示的优选实施方法描述了本发明的技术方案，但是，本领域技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (70)

1.一种基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，包括如下步骤：
步骤1、获取当前相机图像；
步骤2、输入获取的所述当前相机图像，对输入图像检测模糊和光照异常；
步骤3、对所述当前相机图像进行小波变换；
步骤4、基于纹理提取计算第一遮挡备选区域；
步骤5、在高频分量上基于模糊点检测计算第二遮挡备选区域；
步骤6、基于惯性测量单元/轮速计获取车辆运动状态；
步骤7、结合时域信息对所述第一遮挡备选区域和第二遮挡备选区域进行融合；
步骤8、在小波变换中LL分量上基于区域生长对非遮挡区域进行抑制；
步骤9、结合车辆运动状态进行遮挡判定，得到相机自诊断结果。
2.根据权利要求1所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述获取当前相机图像包括使用鱼眼相机获取图像。
3.根据权利要求1所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
对所述输入图像检测模糊和光照异常包括：
步骤2.1、将所述输入图像转换为灰度图，并添加鱼眼相机的掩膜；
步骤2.2、图片模糊、信号丢失检测：将所述输入图像与三阶拉普拉斯算子进行卷积，对卷积结果求绝对值后再计算整个结果图像的方差，若方差小于第一阈值T1，则认为模糊，发出警报不能开启自动驾驶；
步骤2.2、光照异常检测：计算灰度图像的均值，若均值小于第二阈值T2或大于第三阈值T3，则认为光照异常，发出警报不能开启自动驾驶。
4.根据权利要求3所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述三阶拉普拉斯算子如公式(1)所示：
5.根据权利要求3所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述第一阈值T1在[15,35]之间；所述第二阈值T2在[10,30]之间；所述第三阈值T3在[210,240]之间。
6.根据权利要求1所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
对所述当前相机图像进行小波变换包括：
将相机得到的原始图像转换为灰度图像，然后按公式(2)进行三阶离散小波变换：
其中为近似小波系数，/>为细节小波系数，f(x,y)为原始图像，M，N分别为原始图像的长和宽；/>为尺度函数；ψj,m,n(x,y)为小波函数，H、V、D分别代表三种不同的方向小波。
7.根据权利要求6所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述尺度函数为哈尔尺度函数。
8.根据权利要求6所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述小波函数为二维哈尔小波函数。
9.根据权利要求1所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述基于纹理提取计算第一遮挡备选区域包括：
步骤4.1、图像金字塔变换；
将获取的所述当前相机图像分别缩小2倍、4倍，加上原始图像共三个层次；
步骤4.2、图像边缘提取；
在所述三个层次上分别采用canny算法对灰度图像进行边缘提取，按照公式(3)分别计算像素点的灰度值梯度；
其中，grad(x,y)为像素点梯度值，基于L1范式进行计算，分别计算沿x轴和y轴一阶导的绝对值再相加。
10.根据权利要求9所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
若所述灰度值梯度大于第四阈值T4，则该像素点作为纹理被选出；若灰度值梯度小于第五阈值T5，则该像素点被抛弃；若灰度值梯度介于第四阈值T4、第五阈值T5之间，则当其与梯度大于第四阈值T4的像素点相邻时才被选出；之后对提取的边缘图像进行膨胀，连通内部纹理。
11.根据权利要求10所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述第四阈值T4在[15,45]之间，所述第五阈值T5在[5,15]之间。
12.根据权利要求9所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，包括：
步骤4.3、构建遮挡可疑区域；
先对步骤4.2中结果图像进行二值化操作；首先，为了消除一些细小的边缘区域并合并邻近的连通域，采用形态学闭操作；然后，对结果在所述三个层次上进行比对，将图像大小统一到图像金字塔最上层图像的大小，对所述三个层次的边缘二值化图像进行与运算，即只有在图像金字塔三个维度上都提取到的边缘才认为是真正的边缘纹理；最后，进行轮廓提取，从而将每个连通域单独区分开来，作为遮挡可疑区域。
13.根据权利要求12所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，包括：
步骤4.4、筛选出遮挡备选区域；
对每个所述遮挡可疑区域计算面积，去除小于3％图像总面积的区域；将原始图像转为HSV图像，使用HSV特征去除非遮挡区域，所述非遮挡区域包括天空背景区域和地面背景区域，如公式(4)、(5)、(6)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255 (4)
其中d1代表所述遮挡可疑区域与天空的HSV距离，d2代表所述遮挡可疑区域与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空/地面的参考H值、S值和V值；同时计算遮挡可疑区域的在y轴上的质心位置，记为y0。
14.根据权利要求13所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述d1用于天空背景区域的去除，利用S、V通道计算与正常天空的距离，当质心y0处于图片上半部分且所述d1小于第六阈值T6时，则此区域为天空背景区域，将此区域从遮挡可疑区域中去除。
15.根据权利要求14所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述第六阈值T6在[3,15]之间。
16.根据权利要求13所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述d2用于地面背景区域的去除，当质心y0处于图片下半部分且所述d2小于第七阈值T7时，则此区域为地面背景区域，将此区域从遮挡可疑区域中去除。
17.根据权利要求16所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述第七阈值T7在[10,40]之间。
18.根据权利要求13-17中任一项所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述第一遮挡备选区域为去除天空背景区域和地面背景区域后剩下的所有遮挡可疑区域。
19.根据权利要求6-8中任一项所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述在高频分量上基于模糊点检测计算第二遮挡备选区域包括：
提取出小波变换结果中的三个子图，即对每一阶小波变换结果提取HL，LH，HH分量，并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算每一阶的小波特征F(i)(i＝1，2，3)，如公式(7)所示：
得到三张大小分别为原图1/4，1/16，1/64大小的特征图像；其中 为按照公式(2)计算第i阶小波变换得到的三个子图，分别代表行高通列低通、行低通列高通、行高通列高通。
20.根据权利要求19所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
对F(1)使用4×4、对F(2)使用2×2、对F(3)使用1×1的滑动窗口提取局部最大值，结果得到三张大小相同的图像，分别记为Z1、Z2、Z3；提取在Z1(x,y)中小于第八阈值T8且满足Z1(x,y)<Z2(x,y)<Z3(x,y)的像素点(x,y)，令所述像素点的灰度值为255，其他不符合上述条件的像素点灰度值为0，并构成图片P1，即所述图片P1中白色部分构成第二遮挡备选区域。
21.根据权利要求20所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述第八阈值T8在[1,5]之间。
22.根据权利要求1所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述基于惯性测量单元(IMU)/轮速计获取车辆运动状态包括：
通过轮速计/IMU模块获得车辆的运动状态，所述运动状态包括当前车速信息；若当前车速不为0，则进行时域上的动态监测。
23.根据权利要求22所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述时域上的监测以k1帧图像划分为一个检测周期，即每隔k1帧图像进行一次遮挡判定。
24.根据权利要求23所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
k1随着车速动态调整，以适应车辆缓慢前移、低俗行驶、高速行驶的不同情况，如公式(8)所示：
其中fc代表车载相机帧率，v代表车速，T代表处理一帧所需时间，c为固定常数；δ为一个较小的常数，防止车辆静止时公式(8)的分母为0。
25.根据权利要求9所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
为了防止过度抑制，在应用区域生长算法之前，结合时域信息对所述第一遮挡备选区域和第二遮挡备选区域进行融合。
26.根据权利要求25所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述结合时域信息对所述第一遮挡备选区域和第二遮挡备选区域进行融合包括：
以k1帧图像划分为一个检测周期；若当前帧数大于第九阈值T9且此前k1/3中平均车速大于第十阈值T10，则统计第一遮挡备选区域，记为区域1，统计其中的像素总数count1；并求出该区域对应于据模糊点检测得到的遮挡备选区域图即图片P1中的区域，记该区域为区域2；根据区域2在图片P1中的连通性，求出与区域2中像素点八连通的所有像素点并构成区域3，统计区域3中的像素总数count3，若符合公式(9)的条件：
其中，T11为第十一阈值，T12为第十二阈值；则用融合后区域3代替区域1，并不进行区域生长的过程；
若不满足公式(9)条件或者当前帧数小于等于第九阈值T9或者此前k1/3中平均车速小于等于第十阈值T10，则保留区域1并接着进行区域生长的过程。
27.根据权利要求26所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
第九阈值T9在[30,80]之间，第十阈值T10在[10,30]之间，第十一阈值T11在[0.5,0.8]之间，第十二阈值T12在[1.4,1.8]之间。
28.根据权利要求26或27所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述在小波变换中LL分量上基于区域生长对非遮挡区域进行抑制包括：
首先获得小波变换提取的LL分量，即横轴低通、纵轴低通；
在LL分量图上依次对所述区域1中的每个像素进行深度搜索，搜索其所在八邻域内与其颜色距离d3小于第十三阈值T13的像素点，并对符合条件的像素点递归地进行同样的深度搜索，最后所有符合条件的像素点构成区域生长后的遮挡备选区域，记为区域B，原来的遮挡备选区域记为区域A；颜色距离d3如公式(10)所示：
d3＝(Rs-Rn)2+(Gs-Gn)2+(Bs-Bn)2 (10)
其中R、G、B为像素RGB颜色模型中各自通道的值，下标n代表已在区域B中当前像素点，下标s代表当前像素点所在八邻域中的像素点；
根据区域生长结果，去除符合公式(11)的条件的区域：
其中S为整个图片像素点总数，countA为区域A的像素点个数，countB为区域B的像素点个数。
29.根据权利要求28所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
第十三阈值T13在[1,5]之间。
30.根据权利要求1所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述结合车辆运动状态进行遮挡判定包括：
在时域上分别对基于纹理提取计算的所述第一遮挡备选区域和在高频分量上基于模糊点检测计算的所述第二遮挡备选区域进行平均，以去除非静态的区域。
31.根据权利要求30所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
记当前帧数为k2，提取出前0.75×k2帧都位于所述第一遮挡备选区域和所述第二遮挡备选区域中的像素点，分别得到k2帧时的纹理遮挡备选区域，记为区域xt、和模糊点遮挡备选区域，记为区域yf；
根据车速的快慢自动调节遮挡判定周期内帧数k1；根据车辆的运动状态，每隔k1/3帧对区域xt进行一次区域融合，调整区域xt大小，或者进行一次区域生长，去除干扰区域。
32.根据权利要求31所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
根据车辆的运动状态，每隔k1帧进行一次遮挡判定，对于区域xt，如果在这一个判定周期内进行了两次及两次以上的区域融合，则直接认为融合后的区域xt即为遮挡区域，若遮挡区域不为空，则发出遮挡警报，提醒驾驶员接管。
33.根据权利要求31所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
根据车辆的运动状态，每隔k1帧进行一次遮挡判定，如果在这一个判定周期内进行了两次以下的区域融合，即进行了两次及两次以上的区域生长抑制，只进行了0次或1次区域融合，则对当前帧获得区域xt和区域yf进行与运算，提取同时属于区域xt和区域yf中的像素点构成区域zi，对区域zi进行一次形态学闭操作，以消除内部空洞并连通紧邻的区域，若最终区域zi中存在面积大于3％总面积的连通区域，则认为存在遮挡区域，发出遮挡警报，提醒驾驶员接管。
34.根据权利要求1所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
基于纹理提取得到的第一遮挡备选区域每隔k3帧进行一次清零，基于模糊点检测计算得到的第二遮挡备选区域每隔k4帧进行一次清零。
35.根据权利要求34所述的基于纹理提取和小波变换的车载鱼眼相机自诊断方法，其特征在于，
所述k3在[250,400]之间，所述k4在[350,500]之间。
36.一种基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，包括：
图像获取装置，获取当前相机图像；
检测模糊和光照异常判断装置，输入获取的所述当前相机图像，对输入图像检测模糊和光照异常；
小波变换装置，对所述当前相机图像进行小波变换；
第一遮挡备选区域计算装置，基于纹理提取计算第一遮挡备选区域；
第二遮挡备选区域计算装置，在高频分量上基于模糊点检测计算第二遮挡备选区域；
车辆运动状态获取装置，基于惯性测量单元/轮速计获取车辆运动状态；
区域融合装置，结合时域信息对所述第一遮挡备选区域和第二遮挡备选区域进行融合；
区域抑制装置，在小波变换中LL分量上基于区域生长对非遮挡区域进行抑制；
遮挡判断装置，结合车辆运动状态进行遮挡判定，得到相机自诊断结果。
37.根据权利要求36所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述获取当前相机图像包括使用鱼眼相机获取图像。
38.根据权利要求36所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述检测模糊和光照异常判断装置包括：
灰度转换装置，将所述输入图像转换为灰度图，并添加鱼眼相机的掩膜；
图片模糊、信号丢失检测装置：将所述输入图像与三阶拉普拉斯算子进行卷积，对卷积结果求绝对值后再计算整个结果图像的方差，若方差小于第一阈值T1，则认为模糊，发出警报不能开启自动驾驶；
光照异常检测装置：计算灰度图像的均值，若均值小于第二阈值T2或大于第三阈值T3，则认为光照异常，发出警报不能开启自动驾驶。
39.根据权利要求38所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述三阶拉普拉斯算子如公式(1)所示：
40.根据权利要求38所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述第一阈值T1在[15,35]之间；所述第二阈值T2在[10,30]之间；所述第三阈值T3在[210,240]之间。
41.根据权利要求36所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
对所述当前相机图像进行小波变换包括：
将相机得到的原始图像转换为灰度图像，然后按公式(2)进行三阶离散小波变换：
其中为近似小波系数，/>为细节小波系数，f(x,y)为原始图像，M，N分别为原始图像的长和宽；/>为尺度函数；ψj,m,n(x,y)为小波函数，H,V,D分别代表三种不同的方向小波。
42.根据权利要求41所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述尺度函数为哈尔尺度函数。
43.根据权利要求41所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述小波函数为二维哈尔小波函数。
44.根据权利要求36所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述第一遮挡备选区域计算装置包括：
图像金字塔变换装置，
将获取的所述当前相机图像分别缩小2倍、4倍，加上原始图像共三个层次；
图像边缘提取装置，
在所述三个层次上分别采用canny算法对灰度图像进行边缘提取，按照公式(3)分别计算像素点的灰度值梯度；
其中，grad(x,y)为像素点梯度值，基于L1范式进行计算，分别计算沿x轴和y轴一阶导的绝对值再相加。
45.根据权利要求44所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
若所述灰度值梯度大于第四阈值T4，则该像素点作为纹理被选出；若灰度值梯度小于第五阈值T5，则该像素点被抛弃；若灰度值梯度介于第四阈值T4、第五阈值T5之间，则当其与梯度大于第四阈值T4的像素点相邻时才被选出；之后对提取的边缘图像进行膨胀，连通内部纹理。
46.根据权利要求45所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述第四阈值T4在[15,45]之间，所述第五阈值T5在[5,15]之间。
47.根据权利要求44所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，所述第一遮挡备选区域计算装置包括：
遮挡可疑区域构建装置，
先对图像边缘提取的结果图像进行二值化操作；首先，为了消除一些细小的边缘区域并合并邻近的连通域，采用形态学闭操作；然后，对结果在所述三个层次上进行比对，将图像大小统一到图像金字塔最上层图像的大小，对所述三个层次的边缘二值化图像进行与运算，即只有在图像金字塔三个维度上都提取到的边缘才认为是真正的边缘纹理；最后，进行轮廓提取，从而将每个连通域单独区分开来，作为遮挡可疑区域。
48.根据权利要求47所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，所述第一遮挡备选区域计算装置包括：
遮挡备选区域筛选装置；
对每个所述遮挡可疑区域计算面积，去除小于3％图像总面积的区域；将原始图像转为HSV图像，使用HSV特征去除非遮挡区域，所述非遮挡区域包括天空背景区域和地面背景区域，如公式(4)、(5)、(6)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255 (4)
其中d1代表所述遮挡可疑区域与天空的HSV距离，d2代表所述遮挡可疑区域与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空/地面的参考H值、S值和V值；同时计算遮挡可疑区域的在y轴上的质心位置，记为y0。
49.根据权利要求48所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述d1用于天空背景区域的去除，利用S、V通道计算与正常天空的距离，当质心y0处于图片上半部分且所述d1小于第六阈值T6时，则此区域为天空背景区域，将此区域从遮挡可疑区域中去除。
50.根据权利要求49所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述第六阈值T6在[3,15]之间。
51.根据权利要求48所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述d2用于地面背景区域的去除，当质心y0处于图片下半部分且所述d2小于第七阈值T7时，则此区域为地面背景区域，将此区域从遮挡可疑区域中去除。
52.根据权利要求51所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述第七阈值T7在[10,40]之间。
53.根据权利要求48-52中任一项所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述第一遮挡备选区域为去除天空背景区域和地面背景区域后剩下的所有遮挡可疑区域。
54.根据权利要求41-43中任一项所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述在高频分量上基于模糊点检测计算第二遮挡备选区域包括：
提取出小波变换结果中的三个子图，即对每一阶小波变换结果提取HL，LH，HH分量，并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算每一阶的小波特征F(i)(i＝1，2，3)，如公式(7)所示：
得到三张大小分别为原图1/4，1/16，1/64大小的特征图像；其中 为按照公式(2)计算第i阶小波变换得到的三个子图，分别代表行高通列低通、行低通列高通、行高通列高通。
55.根据权利要求54所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
对F(1)使用4×4、对F(2)使用2×2、对F(3)使用1×1的滑动窗口提取局部最大值，结果得到三张大小相同的图像，分别记为Z1、Z2、Z3；提取在Z1(x,y)中小于第八阈值T8且满足Z1(x,y)<Z2(x,y)<Z3(x,y)的像素点(x,y)，令所述像素点的灰度值为255，其他不符合上述条件的像素点灰度值为0，并构成图片P1，即所述图片P1中白色部分构成第二遮挡备选区域。
56.根据权利要求55所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述第八阈值T8在[1,5]之间。
57.根据权利要求36所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述基于惯性测量单元(IMU)/轮速计获取车辆运动状态包括：
通过轮速计/IMU模块获得车辆的运动状态，所述运动状态包括当前车速信息；若当前车速不为0，则进行时域上的动态监测。
58.根据权利要求57所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述时域上的监测以k1帧图像划分为一个检测周期，即每隔k1帧图像进行一次遮挡判定。
59.根据权利要求58所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
k1随着车速动态调整，以适应车辆缓慢前移、低俗行驶、高速行驶的不同情况，如公式(8)所示：
其中fc代表车载相机帧率，v代表车速，T代表处理一帧所需时间，c为固定常数；δ为一个较小的常数，防止车辆静止时公式(8)的分母为0。
60.根据权利要求44所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
为了防止过度抑制，在应用区域生长算法之前，结合时域信息对所述第一遮挡备选区域和第二遮挡备选区域进行融合。
61.根据权利要求60所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述结合时域信息对所述第一遮挡备选区域和第二遮挡备选区域进行融合包括：
以k1帧图像划分为一个检测周期；若当前帧数大于第九阈值T9且此前k1/3中平均车速大于第十阈值T10，则统计第一遮挡备选区域，记为区域1，统计其中的像素总数count1；并求出该区域对应于据模糊点检测得到的遮挡备选区域图即图片P1中的区域，记该区域为区域2；根据区域2在图片P1中的连通性，求出与区域2中像素点八连通的所有像素点并构成区域3，统计区域3中的像素总数count3，若符合公式(9)的条件：
其中，T11为第十一阈值，T12为第十二阈值；则用融合后区域3代替区域1，并不进行区域生长的过程；
若不满足公式(9)条件或者当前帧数小于等于第九阈值T9或者此前k1/3中平均车速小于等于第十阈值T10，则保留区域1并接着进行区域生长的过程。
62.根据权利要求61所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
第九阈值T9在[30,80]之间，第十阈值T10在[10,30]之间，第十一阈值T11在[0.5,0.8]之间，第十二阈值T12在[1.4,1.8]之间。
63.根据权利要求61或62所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述在小波变换中LL分量上基于区域生长对非遮挡区域进行抑制包括：
首先获得小波变换提取的LL分量，即横轴低通、纵轴低通；
在LL分量图上依次对所述区域1中的每个像素进行深度搜索，搜索其所在八邻域内与其颜色距离d3小于第十三阈值T13的像素点，并对符合条件的像素点递归地进行同样的深度搜索，最后所有符合条件的像素点构成区域生长后的遮挡备选区域，记为区域B，原来的遮挡备选区域记为区域A；颜色距离d3如公式(10)所示：
d3＝(Rs-Rn)2+(Gs-Gn)2+(Bs-Bn)2 (10)
其中R、G、B为像素RGB颜色模型中各自通道的值，下标n代表当前像素点(已在区域B中)，下标s代表当前像素点所在八邻域中的像素点；
根据区域生长结果，去除符合公式(11)的条件的区域：
其中S为整个图片像素点总数，countA为区域A的像素点个数，countB为区域B的像素点个数。
64.根据权利要求63所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
第十三阈值T13在[1,5]之间。
65.根据权利要求36所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述结合车辆运动状态进行遮挡判定包括：
在时域上分别对基于纹理提取计算的所述第一遮挡备选区域和在高频分量上基于模糊点检测计算的所述第二遮挡备选区域进行平均，以去除非静态的区域。
66.根据权利要求65所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
记当前帧数为k2，提取出前0.75×k2帧都位于所述第一遮挡备选区域和所述第二遮挡备选区域中的像素点，分别得到k2帧时的纹理遮挡备选区域，记为区域xt、和模糊点遮挡备选区域，记为区域yf)；
根据车速的快慢自动调节遮挡判定周期内帧数k1；根据车辆的运动状态，每隔k1/3帧对区域xt进行一次区域融合，调整区域xt大小，或者进行一次区域生长，去除干扰区域。
67.根据权利要求66所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
根据车辆的运动状态，每隔k1帧进行一次遮挡判定，对于区域xt，如果在这一个判定周期内进行了两次及两次以上的区域融合，则直接认为融合后的区域xt即为遮挡区域，若遮挡区域不为空，则发出遮挡警报，提醒驾驶员接管。
68.根据权利要求66所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
根据车辆的运动状态，每隔k1帧进行一次遮挡判定，如果在这一个判定周期内进行了两次以下的区域融合，即进行了两次及两次以上的区域生长抑制，只进行了0次或1次区域融合，则对当前帧获得区域xt和区域yf进行与运算，提取同时属于区域xt和区域yf中的像素点构成区域zi，对区域zi进行一次形态学闭操作，以消除内部空洞并连通紧邻的区域，若最终区域zi中存在面积大于3％总面积的连通区域，则认为存在遮挡区域，发出遮挡警报，提醒驾驶员接管。
69.根据权利要求66所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
基于纹理提取得到的第一遮挡备选区域每隔k3帧进行一次清零，基于模糊点检测计算得到的第二遮挡备选区域每隔k4帧进行一次清零。
70.根据权利要求69所述的基于纹理提取和小波变换的车载鱼眼相机自诊断装置，其特征在于，
所述k3在[250,400]之间，所述k4在[350,500]之间。
CN202010469295.2A 2020-05-28 2020-05-28 基于纹理提取和小波变换的车载鱼眼相机自诊断方法 Active CN111815556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010469295.2A CN111815556B (zh) 2020-05-28 2020-05-28 基于纹理提取和小波变换的车载鱼眼相机自诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010469295.2A CN111815556B (zh) 2020-05-28 2020-05-28 基于纹理提取和小波变换的车载鱼眼相机自诊断方法

Publications (2)

Publication Number Publication Date
CN111815556A CN111815556A (zh) 2020-10-23
CN111815556B true CN111815556B (zh) 2024-01-16

Family

ID=72847763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010469295.2A Active CN111815556B (zh) 2020-05-28 2020-05-28 基于纹理提取和小波变换的车载鱼眼相机自诊断方法

Country Status (1)

Country Link
CN (1) CN111815556B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112242045A (zh) * 2020-12-18 2021-01-19 宁波视控汽车电子有限公司 故障报警方法和装置
CN115484453B (zh) * 2022-08-31 2024-04-30 重庆长安汽车股份有限公司 车载影像系统的自检方法、装置、车辆及存储介质
CN117095411B (zh) * 2023-10-16 2024-01-23 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111532A (zh) * 2010-05-27 2011-06-29 周渝斌 相机镜头遮挡检测系统及方法
KR20120070961A (ko) * 2010-12-22 2012-07-02 중앙대학교 산학협력단 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법
CN103854023A (zh) * 2012-11-28 2014-06-11 德尔福电子(苏州)有限公司 基于小波变换和时域模式识别的摄像头遮挡检测方法
CN106780313A (zh) * 2016-12-28 2017-05-31 网易（杭州）网络有限公司 图像处理方法及装置
CN107423737A (zh) * 2017-05-03 2017-12-01 武汉东智科技股份有限公司 异物遮挡的视频质量诊断方法
CN110532875A (zh) * 2019-07-26 2019-12-03 纵目科技（上海）股份有限公司 夜晚模式镜头付着物的检测系统、终端和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
US10896348B2 (en) * 2019-01-29 2021-01-19 Intel Corporation End to end framework for geometry-aware multi-scale keypoint detection and matching in fisheye images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111532A (zh) * 2010-05-27 2011-06-29 周渝斌 相机镜头遮挡检测系统及方法
KR20120070961A (ko) * 2010-12-22 2012-07-02 중앙대학교 산학협력단 베이글릿-웨이블릿 분해에 의한 실시간 영상 복원 장치 및 방법
CN103854023A (zh) * 2012-11-28 2014-06-11 德尔福电子(苏州)有限公司 基于小波变换和时域模式识别的摄像头遮挡检测方法
CN106780313A (zh) * 2016-12-28 2017-05-31 网易（杭州）网络有限公司 图像处理方法及装置
CN107423737A (zh) * 2017-05-03 2017-12-01 武汉东智科技股份有限公司 异物遮挡的视频质量诊断方法
CN110532875A (zh) * 2019-07-26 2019-12-03 纵目科技（上海）股份有限公司 夜晚模式镜头付着物的检测系统、终端和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种实时检测遮挡阴影的算法;韩梅;纪明;史志富;肖君;刘亚琴;;应用光学(05);全文 *

Also Published As

Publication number Publication date
CN111815556A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111860120B (zh) 车载相机自动遮挡检测方法和装置
CN111815556B (zh) 基于纹理提取和小波变换的车载鱼眼相机自诊断方法
CN110999273B (zh) 附着物检测装置和具有其的车辆系统
US8045761B2 (en) Detection of environmental conditions in a sequence of images
CN110544211B (zh) 一种镜头付着物的检测方法、系统、终端和存储介质
TW201716266A (zh) 影像修補系統及其方法
KR101717613B1 (ko) 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
CN108596169B (zh) 基于视频流图像的分块信号转换与目标检测方法及装置
CN109359593B (zh) 一种基于图像局部栅格的雨雪环境画面模糊监测预警方法
US7873235B2 (en) Fog isolation and rejection filter
JP2018071994A (ja) 付着物検出装置および付着物検出方法
US20120162425A1 (en) Device and method for securing visibility for driver
CN109584176A (zh) 机动车驾驶视觉增强系统
KR101522757B1 (ko) 영상의 노이즈 제거 방법
US20140226908A1 (en) Object detection apparatus, object detection method, storage medium, and integrated circuit
CN112950589A (zh) 一种多尺度卷积神经网络的暗通道先验去雾算法
JP2008112349A (ja) 移動物体検知装置
CN110544232A (zh) 一种镜头付着物的检测系统、终端和存储介质
Alcantarilla et al. Automatic daytime road traffic control and monitoring system
Phan et al. Improved shadow removal algorithm for vehicle classification in traffic surveillance system
JP3886573B2 (ja) 降雨雪検出方法およびその装置
Alluhaidan et al. Retinex-based framework for visibility enhancement during inclement weather with tracking and estimating distance of vehicles
CN103226813B (zh) 一种提高雨天视频图像质量的处理方法
EP3329419A1 (en) Method for capturing an object on a road in the environment of a motor vehicle, camera system and motor vehicle using the same
Hautière et al. Free Space Detection for Autonomous Navigation in Daytime Foggy Weather.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant