CN111860120B - 车载相机自动遮挡检测方法和装置 - Google Patents
车载相机自动遮挡检测方法和装置 Download PDFInfo
- Publication number
- CN111860120B CN111860120B CN202010496194.4A CN202010496194A CN111860120B CN 111860120 B CN111860120 B CN 111860120B CN 202010496194 A CN202010496194 A CN 202010496194A CN 111860120 B CN111860120 B CN 111860120B
- Authority
- CN
- China
- Prior art keywords
- shielding
- detection
- vehicle
- wavelet
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 217
- 230000003068 static effect Effects 0.000 claims abstract description 74
- 238000012544 monitoring process Methods 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 45
- 230000000903 blocking effect Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000012935 Averaging Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 abstract description 6
- 241000533950 Leucojum Species 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005507 spraying Methods 0.000 description 3
- 208000006440 Open Bite Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一种新的自适应车载相机自动遮挡检测方法，同时考虑遮挡物的时域、频域、空域特征，将遮挡物的时域、频域、空域特征相结合，包括静态检测和动态检测两种检测模式，结合IMU和轮速计的相关信息，检测时将静态检测和动态检测相融合，静态检测中选出的遮挡可疑区域可以作为动态检测的输入，上一个检测周期的部分输出也可以作为下一个检测周期的输入；在检测中同时兼顾当前帧静态情况和一个检测周期内的时域变化情况，能够实时准确地检测出车载相机镜头的遮挡情况，检测精度高、效率高，大大提高了自动驾驶或辅助驾驶系统的感知系统的可靠性。
Description
技术领域
本发明涉及自动检测领域，特别涉及一种车载相机自动遮挡检测方法和装置。
背景技术
智能时代来临，无论是自动驾驶还是驾驶辅助系统，都或多或少地需要视觉模块的支持。视觉模块中相机被遮挡将极大地影响这些功能的正常开启，甚至危及乘客的生命安全，尤其是驾驶过程中突然被外来的异物遮挡，因此需要自动检测相机是否被遮挡。相机遮挡尤其是车载相机遮挡的情况复杂，场景多样，遮挡的异物包括溅射的泥渍、油污、雨水、树叶、雪花覆盖、人为颜料喷涂、车上其他部件(如雨刮器)遮挡等；一旦发生遮挡，需要发出警告，甚至需要关闭基于视觉的自动驾驶功能，提醒驾驶员接管，以保障驾驶安全。
对于摄像头遮挡的检测问题，目前已有的方案主要有基于背景建模、基于边缘纹理、基于清晰度/亮度/模糊度，基于时域差分或平均背景、基于直方图评估方法等。基于背景建模的方法主要适用于单一场景下的固定摄像头，基于时域差分或平均背景的方法对透明物遮挡的检测效果有限，其余的几种方法也仅能检测出某几种特定类型的遮挡，上述方法并不适合针对车载相机的遮挡检测。
中国专利文献CN102111532B(名称：相机镜头遮挡检测系统及方法)提出了一种在静态情况下，通过与预先建立的背景进行差分，提取图像高频分量再进行边缘检测并进行卷积，最后使用横向、纵向投影进行遮挡检测的方法。该方法能检测树叶、大块泥渍等遮挡，但对于水滴、灰尘等情况造成的遮挡模糊的检测效果不理想；并且其预处理过程中背景提取建立的过程适用于固定监控摄像头，不能满足车载相机的实时遮挡检测。
中国专利文献CN103854023A(名称：基于小波变换和时域模式识别的摄像头遮挡检测方法)通过小波变换提取频域特征，然后划分成若干小块后统计每一小块内的边缘特征，对相邻且边缘信息少的小块进行聚类得到遮挡候选区域，最后用评分的方法进行判定。但这种方法应用于车载相机时不能排除环境中引入的高频噪声，而且划分很多小块再对小块进行逐一操作并聚类，时间复杂度较高，不能达到车载相机对遮挡检测的实时性要求。
论文Zhang Y,Yang J,Liu K,et al.Self-detection of opticalcontamination or occlusion in vehicle vision systems[J].Optical Engineering,2008,47(6):067006.通过对帧间差分结果图像求或运算，然后比较当前帧和前一帧或运算结果图像中像素值为0所构成区域的面积，当面积相差不大时作为遮挡可疑区域，然后对大约300帧图像的上述区域统计符合小波特征的像素点占整个图像的比例从而判断是否有遮挡。首先，该方法由帧间差分选出的区域作为遮挡可疑区域，由于其主要使用或运算选择区域，会遗漏掉一部分遮挡的区域，如发生遮挡时遇到车辆颠簸造成镜头轻微抖动时会认为不是遮挡，并且不能有效检测半透明的遮挡。其次，其需要使用多达300帧左右的图像作为检测数据再判断是否遮挡，占用系统资源多，不能满足对车载相机对遮挡检测的实时性要求，而且，该方法并未考虑车辆是否静止、车辆速度等状态，在车里静止、大幅度变速运动等情况下不能取得较好的检测效果。
美国专利文献US10089540B2(名称Vehicle vision system with dirtdetection)提出了一种基于帧间差分检测镜头上的黑点和光亮点的方法，通过边缘提取结合对污染物的建模进行检测。该方法可以检测污渍、油渍、小雪花等遮挡造成的污点和光亮点，但对于暴露在外部环境中的车载摄像头，异物造成的遮挡情况复杂，不仅仅只限于附着泥渍造成的污点和透明雨水造成的光亮点这两种情况，还需要检测更复杂的其他异物遮挡情形，比如树叶、人为油漆喷涂、车上其他部件(如雨刮器)遮挡等。
对于车载相机的遮挡检测，发生遮挡的情况十分复杂，遮挡的种类繁多，而且相机获得图像内容的变换与车速紧密相关，直接使用传统的遮挡检测方法不能有效检测出相机镜头是否被遮挡。
因此，需要寻找新的有效的检测方法检测车载移动相机是否被遮挡。
发明内容
本发明针对传统的相机镜头遮挡检测方法不能有效检测出车载相机镜头是否被遮挡的技术问题，提出一种新的自动检测方法，能够有效检测出车载相机和车载摄像头是否被遮挡。
为解决上述技术问题，根据本发明的一个方面，提供了一种车载相机自动遮挡检测方法，包括以下步骤：
步骤1、获取当前相机图像；
步骤2、静态检测：基于内部纹理检测空域图像是否存在严重遮挡；
步骤3、根据步骤2的静态检测结果，如果存在严重遮挡，则实时输出静态遮挡检测结果；
步骤4、基于轮速计/惯性测量单元(IMU)获取车辆运动状态；
步骤5、根据获取的车辆运动状态，自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测；
步骤6、根据动态实时监测结果实时输出动态遮挡监测结果。
优选地，所述步骤5中根据获取的车辆运动状态，自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测，包括：
步骤5.1、获取上一检测周期小波变换特征图像的平均结果图；
步骤5.2、计算小波特征平均图的遮挡备选区域；
步骤5.3、对当前帧(即空域)和小波特征平均图(即频域)获得的遮挡区域进行融合；
步骤5.4、基于帧间差分和计数器统计的方法判断步骤5.3中融合后的遮挡区域在时域上是否静止；
步骤5.5、对当前检测周期的每一帧计算小波特征图像并平均；
步骤5.6、重复执行步骤5.1-步骤5.5，进行动态实时监测。
优选地，所述步骤2中所述基于内部纹理检测空域图像是否存在严重遮挡包括如下步骤：
步骤2.1、进行图片质量预评估：
步骤2.2、图像金字塔变换：
步骤2.3、边缘提取：
步骤2.4、构建遮挡可疑区域：
步骤2.5、筛选出遮挡备选区域：
步骤2.6、利用小波特征判断遮挡备选区域是否存在严重遮挡。
优选地，所述步骤2.5、筛选出遮挡备选区域包括：
首先对步骤2.4中每个遮挡可疑区域计算面积，去除小于3％图像总面积的区域，去除天空和地面背景；之后剩下的所有区域构成遮挡备选区域，如公式(3)、(4)、(5)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255 (3)
首先将原始图像转为HSV图像，其中d1代表该区域与天空的HSV距离，d2代表与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空/地面的参考H值、S值和V值；同时计算步骤2.4中遮挡可疑区域的在y轴上的质心位置y0。
优选地，步骤2.6、利用小波特征判断遮挡备选区域是否存在严重遮挡包括：
将相机得到的原始图像转换为灰度图像，然后按公式(6)进行离散小波变换：
其中为近似小波系数，/>为细节小波系数，f(x,y)为原始图像，M，N分别为原始图像的长和宽；/>为尺度函数，我们选择哈尔尺度函数；ψ为小波函数，我们选择二维哈尔小波函数，H,V,D分别代表三种不同的方向小波；提取出结果中的三个子图，并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算公式(6)的小波特征如公式(7)所示：
其中F1代表计算得到的F1小波特征图，分别计算遮挡备选区域在小波特征图对应区域的均值和方差，当均值小于阈值T8并且方差小于阈值T9时，认为该区域内存在遮挡，否则认为该区域内没有遮挡；阈值T8、T9均在[5,30]之间。
优选地，所述步骤4中所述基于轮速计/IMU获取车辆运动状态，包括车辆当前速度等：
获取当前车速信息；若当前车速不为0，则继续进行时域上的动态监测，时域上的动态监测以k帧图像划分为一个检测周期，即通过k帧图像判断是否遮挡，其中，若在这之中某一帧未通过静态检测，则直接输出存在遮挡的检测结果，向遮挡报警模块发出警报，无需等待动态一个检测周期之后的结果。
优选地，其中，k随着车速动态调整，以适应车辆缓慢前移、低速行驶、高速行驶的不同情况，k随着车速动态调整如公式(8)所示：
其中fc代表车载相机帧率，v代表车速，T代表处理一帧所需时间，c为固定常数。
优选地，所述步骤5.4中所述基于帧间差分和计数器统计的方法判断上述区域在时域上是否静止包括：
将每一帧相机得到的图片转换为灰度图片，然后对相邻的两帧灰度图片使用公式(9)进行差分：
其中，Gi(x,y)为转化后灰度图片像素点(x,y)的取值，fi(x,y)为当前帧中像素点(x,y)处灰度值，fi-1(x,y)为上一帧帧中像素点(x,y)处灰度值，阈值T10在[10,40]之间；
在一个检测周期内对灰度图片依次进行前后两帧的差分，对每个像素点设置一个计数器，连续两帧该像素点灰度值之差若大于T10则计数器自增一，最后统计计数器小于阈值T11的像素点作为静态像素点，阈值T11在[k/6,k/3]之间。
优选地，所述步骤1中的相机包括测距的RGB相机、鱼眼相机或双目相机。
优选地，每一帧按照步骤5.3进行区域融合，然后得到一个检测周期的静态像素点后，逐一对融合后的所有遮挡备选区域进行判断，统计遮挡备选区域中静态像素点的个数，若静态像素点个数占该区域像素点总个数大于阈值T12，则判定该区域内存在遮挡，否则认为该区域内不存在遮挡，阈值T12在[0.6,1]之间。
优选地，所述步骤5.5中所述对当前检测周期的每一帧计算小波特征图像并平均包括：
使用公式(6)进行三阶离散小波变换，提取出结果中的 三个子图，并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算每一阶的F2小波特征，得到三张大小分别为原图1/4，1/16，1/64大小的特征图像
其中F2代表F2小波特征图，括号j代表该变量对应于第j阶小波变换。
优选地，所述三阶离散小波变换，使用二维哈尔小波基。
优选地，对F2(1)使用4×4、对F2(2)使用2×2、对F2(3)使用1×1的滑动窗口提取局部最大值，结果得到三张大小相同的图像，分别记为Z1、Z2、Z3；提取在Z1(x,y)中小于阈值T13且满足Z1(x,y)<Z2(x,y)<Z3(x,y)的像素点(x,y)，并构成图片P1，阈值T13在[1,5]之间；在一个检测周期内对每一帧得到的图片P1进行平均，去除多余的高频噪声，即得到小波特征平均图P2，作为下一个检测周期动态监测的输入之一。
为解决上述技术问题，根据本发明的另一个方面，提供了一种车载相机自动遮挡检测装置，包括：
车载相机模块、当前拍摄图片获取模块、静态检测处理模块、轮速计/IMU模块、车辆运动状态获取模块、检测周期自适应调整模块、动态监测处理结果暂存模块、动态监测处理模块和遮挡报警模块；其中所述车载相机模块拍摄图片；所述当前拍摄图片获取模块实时获取车载相机模块拍摄的图像数据，并将所述图像数据传输给所述静态检测输出模块；所述静态检测处理模块对所述数据进行处理，基于内部纹理检测空域图像是否存在严重遮挡；所述处理包括图片质量预评估、图像金字塔变换、边缘提取、构建遮挡可疑区域、筛选出遮挡备选区域和利用小波特征判断是否存在严重遮挡；所述轮速计/IMU模块使用轮速计或者惯性测量单元(IMU)检测当前车速信息；所述车辆运动状态获取模块实时获取车辆的运动状态，所述运动状态包括当前车速、加速度；所述检测周期自适应调整模块根据所述车辆运动状态获取模块实时获取的车辆运动状态，通过自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测；所述检测周期自适应调整模块的自适应处理包括：获取上一检测周期小波变换特征图像的平均结果图、计算小波特征平均图的遮挡备选区域、对当前帧(即空域)和小波特征平均图(即频域)获得的遮挡区域进行融合、基于帧间差分和计数器统计的方法判断融合后的遮挡区域在时域上是否静止、对当前检测周期的每一帧计算小波特征图像并平均。所述动态监测处理模块在所述检测周期自适应调整模块计算得到的一个检测周期内基于小波特征平均图和帧间差分进行动态监测；所述动态监测处理模块将处理结果暂存在所述动态监测结果暂存模块并调用所述动态监测处理结果暂存模块的数据以用于实时动态监测处理；所述静态检测处理模块和动态监测处理模块根据处理结果实时将报警信息发送给遮挡报警模块，所述遮挡报警模块接收所述报警信息并进行实时报警处理。
本发明的有益效果：
1、能在车辆启动前进行遮挡检测，判断基于车载相机的自动驾驶辅助功能能否正常开启；
2、若车辆开启了基于车载相机的自动驾驶辅助功能并且处于行驶过程中，若相机被异物突然遮挡，能够自动立即发出遮挡警告，提醒驾驶员接管；
3、能根据车辆是否静止自动切换静态检测方式和动态监测方式，并且能够根据车速信息自动调节动态中一个检测周期内图片数量；
4、对当前帧的遮挡检测包含了当前帧空域上获得的遮挡备选区域以及上一检测周期频域上获得了遮挡备选区域，再对其融合后在时域上进行跟踪，由区域是否静态判断是否为遮挡，兼顾了遮挡的时域、空域、频域特征，可以更好地检测更多不同的遮挡情况；
5、在本发明装置中结合了IMU和轮速计的相关信息，更好地适配自动驾驶车辆配置，设计了两种检测模式，当车辆静止时使用静态检测方式，当车辆运动时使用动态检测方式，会自动选择检测方式；
6、考虑了实际车辆行驶过程中低速行驶和高速行驶的区别，可以动态调节一个检测周期中图片数量，从而使模型鲁棒性更强；
7、在遮挡检测时进行了动静态检测的融合，静态检测中选出的遮挡可疑区域可以作为动态检测的输入，上一个检测周期的部分输出也可以作为下一个检测周期的输入；
8、在检测中兼顾了当前帧静态情况和一个检测周期内时域变化情况，兼顾了实时性和准确性。
附图说明
附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将更加清楚。
图1整体装置图；
图2是整体检测流程图；
图3是静态检测获取遮挡备选区域流程图。
具体实施方式
下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。
针对传统的相机镜头遮挡检测方法不能有效检测出车载相机镜头是否被遮挡的技术问题，本发明提出新的自动车载相机遮挡检测方法，同时考虑遮挡物的时域、频域、空域特征，将遮挡物的时域、频域、空域特征相结合，包括静态检测和动态检测两种检测模式，结合IMU和轮速计的相关信息，检测时将静态检测和动态检测相融合，静态检测中选出的遮挡可疑区域还可以作为动态检测的输入，上一个检测周期的部分输出也可以作为下一个检测周期的输入；在检测中同时兼顾当前帧静态情况和一个检测周期内的时域变化情况，能够实时准确地检测出车载相机镜头的遮挡情况，大大提高自动驾驶或辅助驾驶系统的感知系统的可靠性。
整体装置图如图1所示。本发明的车载相机自动遮挡检测装置包括：车载相机模块、当前拍摄图片获取模块、静态检测处理模块、轮速计/IMU模块、车辆运动状态获取模块、检测周期自适应调整模块、动态监测处理结果暂存模块、动态监测处理模块和遮挡报警模块。所述车载相机模块拍摄图片。所述当前拍摄图片获取模块实时获取车载相机模块拍摄的图像数据，并将所述图像数据传输给所述静态检测输出模块。所述静态检测处理模块对所述数据进行处理，所述处理包括图片质量预评估、图像金字塔变换、边缘提取、构建遮挡可疑区域、筛选出遮挡备选区域和利用小波特征判断是否存在严重遮挡。所述轮速计/IMU模块使用轮速计或者惯性测量单元(IMU)检测当前车速信息；所述车辆运动状态获取模块实时获取车辆的运动状态，所述运动状态包括当前车速、加速度；所述检测周期自适应调整模块根据所述车辆运动状态获取模块实时获取的车辆运动信息，通过自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测。所述检测周期自适应调整模块的自适应处理包括：获取上一检测周期小波变换特征图像的平均结果图、计算小波特征平均图的遮挡备选区域、对当前帧(空域)和小波特征平均图(频域)获得的遮挡区域进行融合、基于帧间差分和计数器统计的方法判断融合后的遮挡区域在时域上是否静止、对当前检测周期的每一帧计算小波特征图像并平均。所述动态监测处理模块在所述检测周期自适应调整模块计算得到的一个检测周期内基于小波特征平均图和帧间差分进行动态监测。所述动态监测处理模块将处理结果暂存在所述动态监测结果暂存模块并调用所述动态监测处理结果暂存模块的数据以用于实时动态监测处理。所述静态检测处理模块和动态监测处理模块根据处理结果实时将报警信息发送给遮挡报警模块，所述遮挡报警模块接收所述报警信息并进行实时报警处理。
图2是整体检测流程图。如图2所示，所述自适应车载相机镜头遮挡检测方法包括如下步骤：
步骤1、获取当前相机图像；
步骤2、静态检测：基于内部纹理检测空域图像是否存在严重遮挡；
步骤3、根据步骤2的静态检测结果，如果存在严重遮挡，则实时输出静态遮挡检测结果；
步骤4、基于轮速计/IMU获取车辆运动状态；
步骤5、根据获取的车辆运动状态，自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测；具体包括：
步骤5.1、获取上一检测周期小波变换特征图像的平均结果图；
步骤5.2、计算小波特征平均图的遮挡备选区域；
步骤5.3、对当前帧(空域)和小波特征平均图(频域)获得的遮挡区域进行融合；
步骤5.4、基于帧间差分和计数器统计的方法判断融合后的遮挡区域在时域上是否静止；
步骤5.5、对当前检测周期的每一帧计算小波特征图像并平均；
步骤5.6、重复执行步骤5.1-步骤5.5，进行动态实时监测；
步骤6、根据动态实时监测结果实时输出动态遮挡监测结果。
其中，
所述步骤1中的相机包括测距的RGB相机、鱼眼相机、双目相机等；
图3是静态检测获取遮挡备选区域流程图，如图3所示，所述步骤2中所述基于内部纹理检测空域图像是否存在严重遮挡包括如下步骤：
步骤2.1、进行图片质量预评估：
主要包括图片模糊度检测和光照异常检测，首先将输入图像转换为灰度图，然后按下列方式进行评估：
模糊度检测方式：将输入图像与三阶拉普拉斯算子进行卷积，对卷积结果求绝对值后再计算整个结果图像的方差，若方差小于阈值T1，则认为模糊，发出警报不能开启自动驾驶，T1在[15,35]之间。
所述三阶拉普拉斯算子如公式(1)所示：
光照异常检测方式：计算灰度图像的均值，若均值小于阈值T2或大于阈值T3，则认为光照异常，发出警报不能开启自动驾驶，其中，T2在[10,30]之间，T3在[210,240]之间。
步骤2.2、图像金字塔变换：
获取当前相机拍摄图片后，为了增强模型的鲁棒性，采用图像金字塔的方法进行处理，即将原始图像分别缩小2倍、4倍，加上原始图像共三个层次。
步骤2.3、边缘提取：
在三个层次上分别采用canny算法对灰度图像进行边缘提取，按照公式(2)分别计算像素点的灰度值梯度；若灰度值梯度大于阈值T4，则该像素点作为纹理被选出；若灰度值梯度小于阈值T5，则该像素点被抛弃；若灰度值梯度介于T4、T5之间，则当其与梯度大于T4的像素点相邻时才被选出。之后对提取的边缘图像进行膨胀，连通内部纹理。其中，T4在[15,45]之间，T5在[5,15]之间。
其中，grad(x,y)为像素点梯度值，基于L1范式进行计算，分别计算图像I沿x轴和y轴一阶导的绝对值再相加。
步骤2.4、构建遮挡可疑区域：
先对步骤2.3中结果图像进行二值化操作；首先，为了消除一些细小的边缘区域并合并邻近的连通域，采用形态学闭操作；然后，对结果在三个层次上进行比对，将图像大小统一到图像金字塔最上层图像的大小，对三个层次的边缘二值化图像进行与运算，即只有在图像金字塔三个维度上都提取到的边缘才认为是真正的边缘纹理；最后，进行轮廓提取，从而将每个连通域单独区分开来，作为遮挡可疑区域。
步骤2.5、筛选出遮挡备选区域：
首先对步骤2.4中每个遮挡可疑区域计算面积，去除小于3％图像总面积的区域，去除天空和地面背景；之后剩下的所有区域构成遮挡备选区域，如公式(3)、(4)、(5)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255 (3)
首先将原始图像转为HSV图像，其中d1代表该区域与天空的HSV距离，d2代表与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空/地面的参考H值、S值和V值；同时计算步骤2.4中遮挡可疑区域的在y轴上的质心位置y0。
d1用于天空背景区域的去除，由于H受时辰、天气等因素影响变化较大，因此利用S、V通道计算与正常天空的距离，当质心y0处于图片上半部分且d1小于阈值T6时，将该区域从遮挡可疑区域中去除，其中T6在[3,15]之间。d2用于地面背景的去除，当质心y0处于图片下半部分且d2小于阈值T7时，将该区域从遮挡可疑区域中去除，其中T7在[10,40]之间。
步骤2.6、利用小波特征判断遮挡备选区域是否存在严重遮挡：
将相机得到的原始图像转换为灰度图像，然后按公式(6)进行离散小波变换：
其中为近似小波系数，/>为细节小波系数，f(x,y)为原始图像，M，N分别为原始图像的长和宽；/>为尺度函数，我们选择哈尔尺度函数；ψ为小波函数，我们选择二维哈尔小波函数，H,V,D分别代表三种不同的方向小波；提取出结果中的/>三个子图，并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算公式(6)的小波特征，如公式(7)所示：
其中F1代表计算得到的F1小波特征图，分别计算遮挡备选区域在小波特征图对应区域的均值和方差，当均值小于阈值T8并且方差小于阈值T9时，认为该区域内存在遮挡，否则认为该区域内没有遮挡。阈值T8、T9均在[5,30]之间。
至此，静态检测完成。
所述步骤3根据上述静态检测的结果，如果存在严重遮挡，则实时输出静态遮挡检测结果；此前部分能在车辆启动前进行遮挡检测，能够判断基于车载相机的自动驾驶辅助功能能否正常开启；此外当车辆开启了基于车载相机的自动驾驶辅助功能并且处于行驶过程中，若相机被异物突然遮挡，能够自动立即发出遮挡警告，提醒驾驶员接管。
所述静态检测可以检测出较大面积的遮挡，避免车辆运动后引发危险，但静态检测对于小雨滴，细小泥渍等情况会存在漏检，因此，本发明结合时域特征进一步进行检测。
所述步骤4中所述基于轮速计/IMU获取车辆运动状态包括：
通过轮速计/IMU模块获得车辆的运动状态，主要获取当前车速信息。若当前车速不为0，则继续进行时域上的动态监测，时域上的动态监测以k帧图像划分为一个检测周期，即通过k帧图像判断是否遮挡，其中，若在这之中某一帧未通过静态检测，则直接输出存在遮挡的检测结果，向遮挡报警模块发出警报，无需等待动态一个检测周期之后的结果，比如车辆在行驶中相机镜头遭飘落的树叶覆盖的情况，这样便可以弥补静态检测的缺陷，准确检测出诸如小雨滴、泥渍等小块遮挡，兼顾了实时性和准确性。
其中，k随着车速动态调整，以适应车辆缓慢前移、低速行驶、高速行驶等不同情况，优选地，k随着车速动态调整如公式(8)所示：
其中fc代表车载相机帧率，v代表车速，T代表处理一帧所需时间，c为固定常数。
本发明能够根据车辆是否静止自动切换静态检测方式和动态监测方式，并且能够根据车速信息自动调节动态中一个检测周期内图片数量；这是基于实际车辆行驶过程中低速行驶和高速行驶的区别进行的实际情况考量，设计动态调节一个检测周期中图片的数量，从而使模型鲁棒性更强，计算效率更高。
为了更好地适配自动驾驶车辆配置，在本发明装置中结合了IMU或轮速计的相关信息，设计了两种检测模式，当车辆静止时使用静态检测方式，当车辆运动时使用动态检测方式，根据车辆运动状态获取模块获取的车辆运动状态自动选择检测方式。
所述步骤5.1中所述获取上一周期的小波变换特征图像的平均结果图包括：
动态监测的输入包括2个部分，一个是当前帧静态检测获得的遮挡备选区域(步骤2.5所得)，另一个是上一检测周期准备的小波特征平均图P2(详见步骤5.5)，这是对上一检测周期每一帧得到的小波特征图进行平均的图像。当上一检测周期为静态时，输入空图像，即此时不考虑频域上的动态监测。
所述步骤5.2中所述计算小波特征平均图的遮挡备选区域包括：
对小波特征平均图P2进行类似于步骤2.3和步骤2.4中的方式获得遮挡备选区域，即先进行膨胀操作紧接着进行二值化，将图片变为黑白两色图片，然后进行形态学的闭操作，合并临近的连通域并消除一些细小的噪声干扰，然后进行轮廓提取并计算轮廓内区域的面积，去除小于整个图像2％的区域，剩下的区域即作为遮挡备选区域。
所述步骤5.3中所述对当前帧(空域)和小波特征平均图(频域)获得的遮挡区域进行融合包括：
在这一步需要将步骤2.5中获得的当前帧静态检测获得的遮挡备选区域以及步骤5.2中计算的小波特征平均图的遮挡备选区域进行融合，首先将二者的二值化图片缩放到统一的尺寸，统一使用灰度值0代表遮挡备选区域，灰度值255代表非遮挡备选区域，然后对二者进行与运算，即二者任一一个检测到遮挡即作为遮挡备选区域，将其融合为一张新的二值图像，灰度值为0的区域即作为新的遮挡备选区域。
所述步骤5.4中所述基于帧间差分和计数器统计的方法判断上述区域在时域上是否静止包括：
将每一帧相机得到的图片转换为灰度图片，然后对相邻的两帧灰度图片使用如下公式(9)进行差分：
其中，Gi(x,y)为转化后灰度图片像素点(x,y)的取值，fi(x,y)为当前帧中像素点(x,y)处灰度值，fi-1(x,y)为上一帧中像素点(x,y)处灰度值，阈值T10在[10,40]之间。
在一个检测周期内对灰度图片依次进行前后两帧的差分，对每个像素点设置一个计数器，连续两帧该像素点灰度值之差若大于T10则计数器自增一，最后统计计数器小于阈值T11的像素点作为静态像素点，阈值T11在[k/6,k/3]之间。
每一帧按照步骤5.3进行区域融合，然后按照上述步骤得到一个检测周期的静态像素点后，逐一对融合后的所有遮挡备选区域进行判断，统计遮挡备选区域中静态像素点的个数，若静态像素点个数占该区域像素点总个数大于阈值T12，则判定该区域内存在遮挡，否则认为该区域内不存在遮挡，阈值T12在[0.6,1]之间。
所述步骤5.5中所述对当前检测周期的每一帧计算小波特征图像并平均包括：
使用公式(6)进行三阶离散小波变换，依旧使用二维哈尔小波基，提取出结果中的三个子图，并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算每一阶的F2小波特征，得到三张大小分别为原图1/4，1/16，1/64大小的特征图像/>
其中F2代表F2小波特征图，括号j代表该变量对应于第j阶小波变换。
接着对F2(1)使用4×4、对F2(2)使用2×2、对F2(3)使用1×1的滑动窗口提取局部最大值，结果得到三张大小相同的图像，分别记为Z1、Z2、Z3；提取在Z1(x,y)中小于阈值T13且满足Z1(x,y)<Z2(x,y)<Z3(x,y)的像素点(x,y)，并构成图片P1，阈值T13在[1,5]之间。在一个检测周期内对每一帧得到的图片P1进行平均，去除多余的高频噪声，即得到小波特征平均图P2，作为下一个检测周期动态监测的输入之一。
由于对当前帧的遮挡检测包含了当前帧空域上获得的遮挡备选区域以及上一检测周期频域上获得了遮挡备选区域，再对其融合后在时域上进行跟踪，由区域是否静态判断是否为遮挡，兼顾了遮挡的时域、空域、频域特征，能够更好地检测更多不同的遮挡情况，包括溅射的泥渍、油污、雨水、树叶、雪花覆盖、人为颜料喷涂、车上其他部件(如雨刮器)遮挡等；适用于遮挡情况复杂、遮挡种类繁多实际车载相机遮挡检测。
在遮挡检测时进行了动静态检测的融合，静态检测中选出的遮挡可疑区域可以作为动态检测的输入，上一个检测周期的部分输出也可以作为下一个检测周期的输入；在检测中兼顾了当前帧静态情况和一个检测周期内时域变化情况，兼顾了实时性和准确性。并且能够根据车速变化鉴别真假遮挡，有效防止自动驾驶系统的误操作。
由此可见，本发明的车载相机自动遮挡检测方法和装置能在车辆启动前进行遮挡检测，判断基于车载相机的自动驾驶辅助功能能否正常开启；若车辆开启了基于车载相机的自动驾驶辅助功能并且处于行驶过程中，若相机被异物突然遮挡，能够自动立即发出遮挡警告，提醒驾驶员接管；能根据车辆是否静止自动切换静态检测方式和动态监测方式，并且能够根据车速信息自动调节动态中一个检测周期内图片数量；对当前帧的遮挡检测包含了当前帧空域上获得的遮挡备选区域以及上一检测周期频域上获得了遮挡备选区域，再对其融合后在时域上进行跟踪，由区域是否静态判断是否为遮挡，兼顾了遮挡的时域、空域、频域特征，可以更好地检测更多不同的遮挡情况；在本发明装置中结合了IMU和轮速计的相关信息，更好地适配自动驾驶车辆配置，设计了两种检测模式，当车辆静止时使用静态检测方式，当车辆运动时使用动态检测方式，会自动选择检测方式；考虑了实际车辆行驶过程中低速行驶和高速行驶的区别，可以动态调节一个检测周期中图片数量，从而使模型鲁棒性更强；在遮挡检测时进行了动静态检测的融合，静态检测中选出的遮挡可疑区域可以作为动态检测的输入，上一个检测周期的部分输出也可以作为下一个检测周期的输入；在检测中兼顾了当前帧静态情况和一个检测周期内时域变化情况，兼顾了实时性和准确性。
至此，已经结合附图所示的优选实施方法描述了本发明的技术方案，但是，本领域技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种车载相机自动遮挡检测方法，其特征在于，包括以下步骤：
步骤1、获取当前相机图像；
步骤2、静态检测：基于内部纹理检测空域图像是否存在严重遮挡；
步骤3、根据步骤2的静态检测结果，如果存在严重遮挡，则实时输出静态遮挡检测结果；
步骤4、基于轮速计和惯性测量单元获取车辆运动状态；
步骤5、根据获取的车辆运动状态，自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测；
步骤6、根据动态实时监测结果实时输出动态遮挡监测结果；
其中，
所述步骤2中所述基于内部纹理检测空域图像是否存在严重遮挡包括如下步骤：
步骤2.1、进行图片质量预评估：
步骤2.2、图像金字塔变换：
步骤2.3、边缘提取：
步骤2.4、构建遮挡可疑区域：
步骤2.5、筛选出遮挡备选区域：
步骤2.6、利用小波特征判断遮挡备选区域是否存在严重遮挡；
所述步骤2.5、筛选出遮挡备选区域包括：
首先对步骤2.4中每个遮挡可疑区域计算面积，去除小于3％图像总面积的区域，去除天空和地面背景；之后剩下的所有区域构成遮挡备选区域，如公式(3)、(4)、(5)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255 (3)
首先将原始图像转为HSV图像，其中d1代表该区域与天空的HSV距离，d2代表与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空或地面的参考H值、S值和V值；同时计算步骤2.4中遮挡可疑区域的在y轴上的质心位置y0；
所述步骤2.6、利用小波特征判断遮挡备选区域是否存在严重遮挡包括：
将相机得到的原始图像转换为灰度图像，然后按公式(6)进行离散小波变换：
其中为近似小波系数，/>为细节小波系数，f(x,y)为原始图像，M，N分别为原始图像的长和宽；/>为尺度函数；ψ为小波函数，H、V、D分别代表三种不同的方向小波；提取出结果中高频部分的三个子图，记为/>并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算公式(6)的小波特征，如公式(7)所示：
其中F1代表计算得到的F1小波特征图，为三个子图；分别计算遮挡备选区域在小波特征图对应区域的均值和方差，当均值小于阈值T8并且方差小于阈值T9时，认为该区域内存在遮挡，否则认为该区域内没有遮挡；阈值T8、T9均在[5,30]之间。
2.根据权利要求1所述的车载相机自动遮挡检测方法，其特征在于，
所述步骤5中根据获取的车辆运动状态，自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测，包括：
步骤5.1、获取上一检测周期小波变换特征图像的平均结果图；
步骤5.2、计算小波特征平均图的遮挡备选区域；
步骤5.3、对当前帧即空域和小波特征平均图即频域获得的遮挡区域进行融合；
步骤5.4、基于帧间差分和计数器统计的方法判断步骤5.3中融合后的遮挡区域在时域上是否静止；
步骤5.5、对当前检测周期的每一帧计算小波特征图像并平均；
步骤5.6、重复执行步骤5.1-步骤5.5，进行动态实时监测。
3.根据权利要求1所述的车载相机自动遮挡检测方法，其特征在于，
所述尺度函数为哈尔尺度函数。
4.根据权利要求1所述的车载相机自动遮挡检测方法，其特征在于，
所述小波函数为二维哈尔小波函数。
5.根据权利要求1所述的车载相机自动遮挡检测方法，其特征在于，
所述步骤4中所述基于轮速计和惯性测量单元获取车辆运动状态包括：
获取当前车速信息；若当前车速不为0，则继续进行时域上的动态监测，时域上的动态监测以k帧图像划分为一个检测周期，即通过k帧图像判断是否遮挡，其中，若在这之中某一帧未通过静态检测，则直接输出存在遮挡的检测结果，向遮挡报警模块发出警报，无需等待动态一个检测周期之后的结果。
6.根据权利要求5所述的车载相机自动遮挡检测方法，其特征在于，
其中，k随着车速动态调整，以适应车辆缓慢前移、低速行驶、高速行驶的不同情况，k随着车速动态调整如公式(8)所示：
其中fc代表车载相机帧率，v代表车速，T代表处理一帧所需时间，c为固定常数。
7.一种车载相机自动遮挡检测装置，其特征在于，包括：
车载相机模块、当前拍摄图片获取模块、静态检测处理模块、轮速计和惯性测量单元模块、车辆运动状态获取模块、检测周期自适应调整模块、动态监测处理结果暂存模块、动态监测处理模块和遮挡报警模块；
其中，
所述车载相机模块拍摄图片；
所述当前拍摄图片获取模块实时获取车载相机模块拍摄的图像数据，并将所述图像数据传输给所述静态检测处理模块；
所述静态检测处理模块对所述数据进行处理，基于内部纹理检测空域图像是否存在严重遮挡；
所述轮速计和惯性测量单元模块检测当前车速信息；
所述车辆运动状态获取模块实时获取车辆的运动状态；
所述检测周期自适应调整模块根据所述车辆运动状态获取模块实时获取的车辆运动状态，通过自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测；
所述动态监测处理模块在所述检测周期自适应调整模块计算得到的一个检测周期内基于小波特征平均图和帧间差分进行动态监测；
所述动态监测处理模块将处理结果暂存在所述动态监测结果暂存模块并调用所述动态监测处理结果暂存模块的数据以用于实时动态监测处理；
所述静态检测处理模块和动态监测处理模块根据处理结果实时将报警信息发送给遮挡报警模块，所述遮挡报警模块接收所述报警信息并进行实时报警处理；
其中，
所述基于内部纹理检测空域图像是否存在严重遮挡包括如下步骤：
步骤2.1、进行图片质量预评估：
步骤2.2、图像金字塔变换：
步骤2.3、边缘提取：
步骤2.4、构建遮挡可疑区域：
步骤2.5、筛选出遮挡备选区域：
步骤2.6、利用小波特征判断遮挡备选区域是否存在严重遮挡；
所述步骤2.5、筛选出遮挡备选区域包括：
首先对步骤2.4中每个遮挡可疑区域计算面积，去除小于3％图像总面积的区域，去除天空和地面背景；之后剩下的所有区域构成遮挡备选区域，如公式(3)、(4)、(5)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255 (3)
首先将原始图像转为HSV图像，其中d1代表该区域与天空的HSV距离，d2代表与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空或地面的参考H值、S值和V值；同时计算步骤2.4中遮挡可疑区域的在y轴上的质心位置y0；
所述步骤2.6、利用小波特征判断遮挡备选区域是否存在严重遮挡包括：
将相机得到的原始图像转换为灰度图像，然后按公式(6)进行离散小波变换：
其中为近似小波系数，/>为细节小波系数，f(x,y)为原始图像，M，N分别为原始图像的长和宽；/>为尺度函数；ψ为小波函数，H、V、D分别代表三种不同的方向小波；提取出结果中高频部分的三个子图，记为/>并分别进行图像增强，使其高频纹理信息更加地清晰，接着计算公式(6)的小波特征，如公式(7)所示：
其中F1代表计算得到的F1小波特征图，为三个子图；分别计算遮挡备选区域在小波特征图对应区域的均值和方差，当均值小于阈值T8并且方差小于阈值T9时，认为该区域内存在遮挡，否则认为该区域内没有遮挡；阈值T8、T9均在[5,30]之间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010496194.4A CN111860120B (zh) | 2020-06-03 | 2020-06-03 | 车载相机自动遮挡检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010496194.4A CN111860120B (zh) | 2020-06-03 | 2020-06-03 | 车载相机自动遮挡检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860120A CN111860120A (zh) | 2020-10-30 |
| CN111860120B true CN111860120B (zh) | 2023-11-17 |
Family
ID=72985873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010496194.4A Active CN111860120B (zh) | 2020-06-03 | 2020-06-03 | 车载相机自动遮挡检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860120B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465781A (zh) * | 2020-11-26 | 2021-03-09 | 华能通辽风力发电有限公司 | 一种基于视频的风电机组主要部件缺陷识别方法 |
| CN112802346B (zh) * | 2020-12-28 | 2022-04-15 | 苏州易航远智智能科技有限公司 | 基于云端共享和地图融合的自主泊车系统和方法 |
| CN113628236A (zh) * | 2021-08-16 | 2021-11-09 | 北京百度网讯科技有限公司 | 摄像头遮挡检测方法、装置、设备、存储介质及程序产品 |
| CN114257800B (zh) * | 2021-12-21 | 2023-08-18 | 重庆杰夫与友文化创意有限公司 | 一种智能投影方法、系统及智能投影设备 |
| CN114440081A (zh) * | 2022-04-11 | 2022-05-06 | 西南交通大学 | 一种城轨列车车载定位测速装置 |
| CN114998317B (zh) * | 2022-07-18 | 2022-11-04 | 福思(杭州)智能科技有限公司 | 镜头遮挡检测方法、装置、摄像装置和存储介质 |
| CN117148308B (zh) * | 2023-10-30 | 2024-02-02 | 南京航空航天大学 | 一种舱内生命体征雷达遮挡检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103854023A (zh) * | 2012-11-28 | 2014-06-11 | 德尔福电子(苏州)有限公司 | 基于小波变换和时域模式识别的摄像头遮挡检测方法 |
| CN109118498A (zh) * | 2018-08-22 | 2019-01-01 | 科大讯飞股份有限公司 | 一种摄像头污点检测方法、装置、设备及存储介质 |
| CN110321819A (zh) * | 2019-06-21 | 2019-10-11 | 浙江大华技术股份有限公司 | 摄像设备的遮挡检测方法、装置及存储装置 |
| CN110913212A (zh) * | 2019-12-27 | 2020-03-24 | 上海智驾汽车科技有限公司 | 基于光流的智能车载摄像头遮挡监测方法及装置、辅助驾驶系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9445057B2 (en) * | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
-
2020
- 2020-06-03 CN CN202010496194.4A patent/CN111860120B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103854023A (zh) * | 2012-11-28 | 2014-06-11 | 德尔福电子(苏州)有限公司 | 基于小波变换和时域模式识别的摄像头遮挡检测方法 |
| CN109118498A (zh) * | 2018-08-22 | 2019-01-01 | 科大讯飞股份有限公司 | 一种摄像头污点检测方法、装置、设备及存储介质 |
| CN110321819A (zh) * | 2019-06-21 | 2019-10-11 | 浙江大华技术股份有限公司 | 摄像设备的遮挡检测方法、装置及存储装置 |
| CN110913212A (zh) * | 2019-12-27 | 2020-03-24 | 上海智驾汽车科技有限公司 | 基于光流的智能车载摄像头遮挡监测方法及装置、辅助驾驶系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860120A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860120B (zh) | 车载相机自动遮挡检测方法和装置 | |
| CN110999273B (zh) | 附着物检测装置和具有其的车辆系统 | |
| TWI607901B (zh) | 影像修補系統及其方法 | |
| CN110544211B (zh) | 一种镜头付着物的检测方法、系统、终端和存储介质 | |
| You et al. | Adherent raindrop detection and removal in video | |
| KR101717613B1 (ko) | 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법 | |
| CN109359593B (zh) | 一种基于图像局部栅格的雨雪环境画面模糊监测预警方法 | |
| CN107808392B (zh) | 开放场景的安检车辆自动跟踪定位方法及系统 | |
| CN102665034A (zh) | 一种针对摄像机采集视频的夜间效果去除方法 | |
| CN111815556B (zh) | 基于纹理提取和小波变换的车载鱼眼相机自诊断方法 | |
| US20090174773A1 (en) | Camera diagnostics | |
| JPH10512694A (ja) | 連続画像内での物体の移動を検知する方法及び装置 | |
| AU2009295350A1 (en) | Detection of vehicles in an image | |
| CN110532875B (zh) | 夜晚模式镜头付着物的检测系统、终端和存储介质 | |
| CN107710279B (zh) | 静态脏污检测与校正 | |
| JP2018071994A (ja) | 付着物検出装置および付着物検出方法 | |
| CN110619651B (zh) | 一种基于监控视频的行车道路分割方法 | |
| CN114127784A (zh) | 用于生成相机流的掩模的方法、计算机程序产品和计算机可读介质 | |
| CN110276318A (zh) | 夜间公路下雨识别方法、装置、计算机设备及存储介质 | |
| KR100965800B1 (ko) | 차량 영상 검지 및 속도 산출방법 | |
| CN107122732B (zh) | 一种监控场景下高鲁棒性的快速车牌定位方法 | |
| CN109766846B (zh) | 一种基于视频的自适应多车道车流检测方法及系统 | |
| Balisavira et al. | Real-time object detection by road plane segmentation technique for ADAS | |
| Zhu et al. | Optimization of image processing in video-based traffic monitoring | |
| CN112052768A (zh) | 基于无人机的城市违章停车检测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |