CN109840911A - 确定干净或脏污的拍摄图像的方法、系统和计算机可读存储介质 - Google Patents
确定干净或脏污的拍摄图像的方法、系统和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109840911A CN109840911A CN201811407473.8A CN201811407473A CN109840911A CN 109840911 A CN109840911 A CN 109840911A CN 201811407473 A CN201811407473 A CN 201811407473A CN 109840911 A CN109840911 A CN 109840911A
- Authority
- CN
- China
- Prior art keywords
- dirty
- clean
- image
- index
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 55
- 238000010801 machine learning Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 230000035772 mutation Effects 0.000 claims description 11
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 210000005056 cell body Anatomy 0.000 claims 2
- 238000004590 computer program Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- IXKSXJFAGXLQOQ-XISFHERQSA-N WHWLQLKPGQPMY Chemical compound C([C@@H](C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(C)C)C(=O)N1CCC[C@H]1C(=O)NCC(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(O)=O)C(=O)N1CCC[C@H]1C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CC=1C=CC(O)=CC=1)C(O)=O)NC(=O)[C@@H](N)CC=1C2=CC=CC=C2NC=1)C1=CNC=N1 IXKSXJFAGXLQOQ-XISFHERQSA-N 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
确定干净或脏污的拍摄图像的方法、系统和计算机可读存储介质。提供了用于确定由拍摄装置拍摄的图像是干净还是脏污的方法。这些方法包括：接收由图像拍摄装置拍摄的图像；根据预定义分割准则将接收到的图像分割成多个图像部分；针对图像部分中的至少一些中的每一个，执行图像部分的拉普拉斯滤波以产生包括图像部分的拉普拉斯滤波特征的特征向量；将特征向量提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净/脏污指标，该干净/脏污指标包括对应的图像部分的干净或脏污的概率值；以及根据由第一机器学习模块产生的干净/脏污指标来确定图像是干净的还是脏污的。还提供了适合于执行此类方法的系统和计算机程序。
Description
技术领域
本公开涉及确定由拍摄装置拍摄的图像是干净的还是脏污的方法，并且涉及适合于执行此类方法的计算机程序、系统和计算系统。
背景技术
现有技术中已知用于监控拍摄装置(例如摄像机)的操作的不同方法和系统，其目的是确定例如由拍摄装置拍摄的图像是干净的还是脏污的。脏污的拍摄的图像(由于例如对应的摄像机的脏污的“外部”镜头而导致)可能不是可靠的，并且因此，在对应的应用中不可用。例如，仅仅因为用来拍摄图像的镜头不够干净，所以交通工具中的障碍物检测系统由于来自对应的车载摄像机的图像的差质量而可能变得不可用。作为例如灰尘积聚、泥浆飞溅、恶意绘画等的结果，镜头可能变脏污。脏污的拍摄的图像也可能由摄像机中的异常内部条件(例如湿度)负面地影响摄像机的内部元件而产生。例如，内部拍摄传感器可能由于由例如摄像机的水密性不足所引起的异常条件而失真地起作用。
车载摄像机也可以被用作后视镜。在这种情况下，在显示器上示出拍摄的图像，当驾驶员处于驾驶位置时，驾驶员可以看到该显示器。汽车可以具有至少两个这种类型的后视镜(带有对应的摄像机)。在这些后视镜系统中由摄像机拍摄的图像相当干净同样很重要。
摄像机的镜头的干净或脏污可以指例如镜头的外表面(即，镜头的暴露于可能使镜头变脏的环境条件的表面)的干净或脏污。如果镜头提供有外部保护膜，则镜头的干净或脏污理解为这种保护膜的干净或脏污。
已知成像系统包括图像传感器和形成在图像传感器的视场内的透明保护层。此类成像系统包括按照预定图案发出光的光源。这些成像系统包括由图像传感器拍摄的图像数据中的光的预定图案的反射版本的检测。成像系统然后根据预定图案的反射版本来确定在图像传感器的视场内是否存在障碍物。
用于对环境的区域进行成像的成像装置也是已知的。所述装置在存在于成像装置的视场内的物体和纹理(texture)上获取信息。然后成像装置识别存在于视场内的物体或纹理。所识别的物体的形状或纹理的失真度是基于所识别的物体的形状或纹理以及在物体或纹理上先前获取的信息来计算出的。然后可以基于根据所识别的物体的形状或纹理计算出的失真度来确定对应的镜头的干净或脏污。
其它已知的检测装置关注如下事实：摄像机上的镜头越脏污，图像的复合波中的变化越大。这些装置通过提取复合波的各个图像频率分量以及分析这些频率分量之间的大小关系的变化(图像频率功率的分布)来检测摄像机上的镜头脏污的存在或不存在，而不管背景图像。
本公开的目的是改进旨在确定由拍摄装置拍摄的图像是干净的还是脏污的现有技术的方法、计算机程序和系统。
发明内容
在第一方面中，提供了一种确定由拍摄装置拍摄的图像是干净的还是脏污的方法。该方法包括接收由图像拍摄装置拍摄的图像以及根据预定义分割准则将所接收到的图像分割成多个图像部分。
该方法还包括针对所述多个图像部分中的至少一些图像部分中的每一个图像部分，执行该每一个图像部分的拉普拉斯滤波以产生包括该每一个图像部分的拉普拉斯滤波特征的特征向量。
该方法还进一步包括将所产生的特征向量中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净/脏污指标，该干净/脏污指标包括对应的图像部分的干净或脏污的概率值。
该方法再进一步包括根据由第一机器学习模块产生的干净/脏污指标来确定图像是干净的还是脏污的。
如之前评论的，拍摄的图像中的脏污可能是由于多种原因(诸如对应的摄像机的镜头上的灰尘积聚、泥浆飞溅、恶意画作等)而导致的。脏污的拍摄的图像也可能由摄像机中的异常内部条件(例如湿度)负面地影响摄像机的内部元件而产生。例如，内部拍摄传感器可能由于由例如摄像机的水密性不足所引起的异常条件而失真地起作用。在这个意义上，可以在整个本公开中假定表述之间的以下等同。
| 本文所使用的表述 | 等同表述 |
| 确定拍摄的图像是干净的还是脏污的 | 确定拍摄的图像的无斑点性 |
| 干净的拍摄的图像 | 无斑点的拍摄的图像 |
| 脏污的拍摄的图像 | 非无斑点的拍摄的图像 |
| 干净/脏污指标 | 斑点指标 |
| 干净/脏污阈值 | 斑点阈值 |
| 干净部分/单元格 | 无斑点部分/单元格 |
| 脏污部分/单元格 | 非无斑点部分/单元格 |
| 干净块 | 无斑点块 |
| 脏污块 | 非无斑点块 |
| 干净/脏污 | 无斑点性 |
| 等等....... |
发明人发现诸如根据图像计算出的峰度、均值、方差、矩、平均灰度值等的拉普拉斯滤波特征可以令人惊讶地提供对应的图像(的部分)的干净/脏污的可靠指示。发明人还发现可以通过机器学习技术来有效地且灵活地实现拉普拉斯滤波特征与干净/脏污条件之间的可靠相关性或对应。所提出的方法因此提供了自动地检测由摄像机拍摄的图像的干净/脏污水平的可靠方式。此外，所建议的方法允许通过定期地或准时地训练第一机器学习模块来递增地改进其可靠性，该第一机器学习模块可以包括例如线性分类器、支持向量机(SVM)等。
通过将所拍摄的图像分割成单独地施以拉普拉斯滤波的部分，在所提出的方法中应用分而治之策略。然后，将得到的拉普拉斯滤波特征提供给分类器(或类似的模块)以在部分级别下产生干净/脏污指标。最后，根据干净/脏污指标来确定整个图像的状态。可以将图像划分成(或多或少)较大的或较小的部分，使得可以实现准确性与效率之间的良好平衡。较小的部分可以提高方法的准确性，而较大的部分可以提高其效率(执行时间)。可以实施所述方法的实验性的执行以找到满足期望的准确性和效率要求的最适合的分割准则。可以根据需要多次重新调整分割准则，以沿着方法(和对应的软件)的生命周期确保准确性与效率之间的最佳平衡。
可以考虑不同的方法或其组合以确定所拍摄的图像整体而言的干净/脏污状态。在第一方法中，可以聚合(aggregate)部分级别下的干净/脏污指标，并且可以将得到的聚合与对应的阈值相比较以确定图像的干净或脏污。在第二方法中，可以根据部分级别下的干净/脏污指标来确定干净部分(或脏污部分)的个数，并且可以将所述干净部分(或脏污部分)的个数与对应的阈值相比较以确定图像的干净或脏污。在第三方法中，可以使用第二机器学习模块来根据干净/脏污指标生成图像的状态。在本公开的其它部分中提供了关于这些方法的细节。
在根据本公开的方法中，可以在像素或部分/指标级别下对所拍摄的图像应用不同的滤波以便改进处理图像的条件。可以基于边缘/锐度分析在部分/指标级别下应用基于上下文的滤波以校正潜在假脏污检测。可以在部分/指标级别下执行时间滤波以将干净/脏污指标标识为异常值并且随后校正/丢弃所述异常值。可以在像素级别下执行拉普拉斯滤波以便于进行前述边缘/锐度分析。在本公开的其它部分中提供了关于这些滤波的细节。
在第二方面中，提供了一种计算机可读存储介质，该计算机可读存储介质包括用于使系统(例如计算系统)执行确定由拍摄装置拍摄的图像是干净的还是脏污的以上方法中的任一种的程序指令。
在第三方面中，提供了一种用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统。该系统包括：接受器模块，该接受器模块用于接收由图像拍摄装置拍摄的图像；以及分割器模块，该分割器模块用于根据预定义分割准则将所接收到的图像分割成多个图像部分。
该系统还包括滤波器模块，该滤波器模块用于针对多个多个图像部分中的至少一些图形部分中的每一个图像部分，执行该每一个图像部分的拉普拉斯滤波以产生包括该每一个图像部分的拉普拉斯滤波特征的特征向量。
该系统还包括提供器模块，该提供器模块用于将所产生的特征向量中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净/脏污指标，该干净/脏污指标包括对应的图像部分的干净或脏污的概率值。
该系统还进一步包括状态确定器模块，该状态确定器模块用于根据由第一机器学习模块产生的干净/脏污指标来确定图像是干净的还是脏污的。
如在本公开的其它部分中更详细地描述的，系统(即，其中包含的模块)可以通过计算手段、电子手段或其组合来实现。
如本文所使用的，术语“模块”可以理解为指软件、固件、硬件和/或其各种组合。注意的是，模块是示例性的。模块可以组合、集成、分离和/或重复以支持各种应用。另外，替代在所描述的特定模块处执行的功能或者除了在所描述的特定模块处执行的功能之外，还可以在一个或更多个其它模块处和/或由一个或更多个其它装置执行在本文中描述为在特定模块处执行的功能。
此外，可以跨越本地或彼此远离的多个装置和/或其它元件实现模块。此外，模块可以从一个装置移动并添加到另一装置，并且/或者可以包括在两个装置中。可以将任何软件实施方式有形地具体实现在一个或更多个存储介质(诸如存储器装置、软盘、光盘(CD)、数字通用盘(DVD)或可以存储计算机代码的其它装置)中。
在一些示例中，可以提供包括先前描述的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统中的任一个的交通工具视觉系统。还可以提供包括这种视觉系统的交通工具。交通工具可以是汽车。图像拍摄装置可以是摄像机或激光雷达或类似的装置。
鉴于详细描述和附图，这些及其它优点和特征将变得显而易见。
附图说明
将在下文中参照附图描述本公开的非限制性示例，在附图中：
图1是可以包括根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统的监视或视觉系统的示意表示；
图2是示意性地表示根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统的框图；
图3是示意性地例示了根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的方法的流程图；以及
图4a和图4b示意性地例示了适合于根据本公开的方法的示例的基于上下文的滤波。
具体实施方式
图1是可以包括根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统的监视或视觉系统的示意表示。拍摄装置(例如摄像机)100可以被配置为通过对应的镜头101来拍摄环境的图像(例如照片、视频)。摄像机100在图中被示出为监视摄像机。然而，也可以考虑其它应用，诸如在交通工具中旨在检测障碍物、监控该交通工具的其它系统的检测/视觉摄像机、驾驶辅助、后视镜系统等。此类视觉系统可以适合于任何类型的以及在任何介质上可移动的交通工具，诸如道路、铁路、船只、飞机、汽车等。
在任何所提及的应用和其它应用中，摄像机100的镜头101可能由于例如灰尘积聚、泥浆飞溅、恶意绘画等而变脏污。当镜头的脏污过度时，摄像机100可能产生质量欠佳的图像。因此，可能关注确定镜头101何时变得过度脏污以便着手对应的校正动作，诸如自动清洁系统的激活、手动清洁警报的触发等。
摄像机100可以是与计算系统可连接的，使得来自摄像机的图像可以由计算系统处理以确定镜头101是干净的还是脏污的。在一些示例中，可以相对于摄像机100在本地布置计算系统，如通过编号102所指示的。特别地，计算系统102可以在摄像机内部。在其它示例中，计算系统可以是可通过适合的连接107与摄像机100连接的云系统104。在另一些示例中，计算系统可以是可通过通信网络103(例如因特网)与摄像机100连接的远程系统105。在这种情况下，可以实现摄像机100与网络103之间的对应的连接106以及网络103与远程系统105之间的对应的连接108。
计算系统102、104、105可以包括根据本公开的用于确定镜头干净/脏污的系统。用于确定镜头干净/脏污的系统可以完全包括在所述计算系统102、104、105中的任何一个中，或者可以分布在所述系统102、104、105中的若干个中。在后者情况下，例如，用于确定镜头干净/脏污的系统的一些模块可以设置在系统102、104、105中的一个中并且其它模块可以包含在系统102、104、105中的另一个中。在此分布式方法中，系统102、104、105因此可以协作以执行确定镜头干净/脏污的对应功能。
用于确定镜头干净/脏污的系统可以通过计算手段、电子手段或其组合来实现。计算手段可以是指令集(即，计算机程序)，然后用于确定镜头干净/脏污的系统可以包括存储器和处理器，从而嵌入存储在存储器中并可由处理器执行的所述指令集。指令可以包括执行用于确定镜头干净/脏污的方法的功能。
在用于确定镜头干净/脏污的系统仅通过电子手段来实现的情况下，控制器可以是例如CPLD(复杂可编程逻辑器件)、FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
在用于确定镜头干净/脏污的系统是电子手段和计算手段的组合的情况下，计算手段可以是指令集(例如计算机程序)并且电子手段可以是能够实现用于确定镜头干净/脏污的方法的一个或更多个对应的步骤的任何电子电路。
计算机程序可以嵌入在存储介质(例如，CD-ROM、DVD、USB驱动器、计算机存储器或只读存储器)上或者承载在载体信号上(例如，在电或光载体信号上)。
计算机程序可以是以源代码、目标代码、中间源代码(code intermediatesource)以及诸如具有部分编译形式或者具有适合于在用于确定镜头干净/脏污的方法的实施方式中使用的任何其它形式的目标代码的形式。载体可以是能够承载计算机程序的任何实体或装置。
例如，载体可以包括存储介质，诸如ROM(例如CD ROM或半导体ROM)或磁记录介质(例如硬盘)。此外，载体可以是诸如电信号或光信号的可传输载体，其可以经由电缆或光缆或者通过无线电或其它手段来输送。
当计算机程序用可以通过电缆或其它装置或手段直接地输送的信号具体实现时，载体可以由此类电缆或其它装置或手段构成。
另选地，载体可以是嵌入有计算机程序的集成电路，该集成电路被配置用于执行确定镜头干净/脏污的方法，或者用于在执行该方法时使用。
图2是示意性地表示根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统200的框图。可以在与图1所例示的场景类似的场景中使用此系统200，所以可以在图2的以下描述中使用来自图1的编号。此系统200可以包括接受器模块201、分割器模块202、滤波器模块203、提供器模块204和状态确定器模块205。
接受器模块201可以被配置为接收由图像拍摄装置100通过镜头101拍摄的图像。如果系统200相对于摄像机100在远程/云位置处，则接受器模块201可以包括通信功能。如果系统200相对于摄像机100布置在本地，则接受器模块201可以包括摄像机100与系统200之间的物理连接功能。如果系统200在摄像机100内部，则接受器模块201可以包括图像拍摄硬件/软件与干净/脏污确定软件/硬件之间的接口功能。摄像机100与系统200之间的连接可以是任何已知的无线或有线类型的。一旦已经接收到图像，接受器模块201就可以将该图像提供给分割器模块202。
分割器模块202可以被配置为根据预定义分割准则来将所接收到的图像分割成多个图像部分。可以将任何分割准则用于该目的，诸如分割成可以为四边形、矩形等的n×m个图像部分的矩阵。可以使用较小的部分来提高确定镜头101的干净/脏污时的准确性。可以利用较大的部分来减少确定镜头101的干净/脏污时的执行时间。图像部分的大小可以是预定义的，使得实现准确性与执行时间(效率)之间的良好平衡。一旦图像已经分割，分割器模块202就可以将图像部分提供给滤波器模块203。
滤波器模块203可以被配置为针对图像部分(的至少一些)中的每一个执行图像部分的拉普拉斯滤波，以产生包括图像部分的拉普拉斯滤波特征的特征向量。特征向量可以包括拉普拉斯滤波特征，诸如图像部分的拉普拉斯滤波的峰度、均值、方差、矩等。发明人实施的多种实验令人惊讶地揭示了图像部分的拉普拉斯滤波特征与干净/脏污条件之间的良好准确的相关性。发明人还发现所述良好的相关性可通过机器学习技术(例如分类技术)有效地实现。一旦已经产生图像部分的特征向量，滤波器模块203就可以将所述特征向量提供给提供器模块204。
提供器模块204可以被配置为将所产生的特征向量中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净/脏污指标。干净/脏污指标可以包括对应的图像部分的干净或脏污的概率值。第一机器学习模块可以包含在提供器模块204中或者可以在提供器模块204外部。第一机器学习模块可以包括诸如线性分类器、支持向量机(SVM)等或它们的组合。可以使用任何已知的机器学习方法来根据满足拉普拉斯滤波特征与干净/脏污概率指标/值之间的预知相关性的样本数据来离线训练第一机器学习模块。一旦已经产生干净/脏污指标，提供器模块204就可以将所述指标提供给状态确定器模块205。
状态确定器模块205可以被配置为根据由第一机器学习模块产生的干净/脏污指标来确定图像是干净的还是脏污的。状态确定器模块205因此可以根据由第一机器学习模块生成的(在部分级别下的)干净/脏污指标产生指示整个镜头是干净还是脏污的总体概率值。状态确定器模块205可以基于以下状态确定方法中的任一种。
在第一状态确定方法中，可以聚合(相加、累加)由第一机器学习模块提供的干净/脏污指标以产生图像/镜头的总体干净/脏污指标，其可以与总体干净/脏污阈值相比较。如果总体干净/脏污指标超过总体干净/脏污阈值，则脏污状态可以归因于镜头。否则，干净状态可以归因于镜头。可以根据新的已知输入数据和对应的预期输出数据定期地或准时地调整总体干净/脏污阈值。这样，可以沿着方法(以及对应的系统和软件)的生命周期持续地提高方法的准确性。
在第二状态确定方法中，可以根据部分是否被确定为干净的或脏污的来对由第一机器学习模块提供的干净/脏污指标进行计数。此计数因此可以产生干净部分的个数和/或脏污部分的个数。可以根据所述干净部分的个数和/或脏污部分的个数将整个镜头确定为干净的或脏污的。在示例中，如果脏污部分的个数超过脏污部分阈值，则脏污状态可以归因于镜头。否则，干净状态可以归因于镜头。在另一示例中，如果干净部分的个数超过干净部分阈值，则干净状态可以归因于镜头。否则，脏污状态可以归因于镜头。可以根据新的已知输入数据和对应的预期输出数据定期地或准时地细化这些干净/脏污部分阈值。这样，可以沿着方法(以及对应的系统和软件)的生命周期持续地提高方法的准确性。
在第三状态确定方法中，可以将由第一机器学习模块产生的干净/脏污指标提供给第二机器学习模块，该第二机器学习模块已被训练为根据图像部分的对应的干净/脏污指标产生图像的总体干净/脏污指标。在一些示例中，可以将由第二机器学习模块输出的图像的总体干净/脏污指标直接地假定为镜头的状态。在其它示例中，可以通过根据情况对由第二机器学习模块输出的总体干净/脏污指标执行某种变换来获得镜头的状态。
第二机器学习模块可以包含在状态确定器模块205中或者可以在状态确定器模块205外部。第二机器学习模块可以包括例如线性分类器、支持向量机(SVM)等或它们的组合。可以使用任何已知的机器学习方法来根据满足部分级别下的干净/脏污指标与整个图像/镜头的全局干净/脏污指标之间的预知相关性的样本数据来离线训练第二机器学习模块。这样，可以沿着方法(以及对应的系统和软件)的生命周期持续地提高方法的准确性。
前述状态确定方法的任何组合可以在状态确定器模块205的实施方式中协作以产生更准确的结果。例如，可以组合来自实施不同状态确定方法的不同子模块的结果以产生整个图像/镜头的组合干净/脏污指标。此组合可以基于例如计算平均指标，该平均指标可以被假定为最终归因于镜头的状态。平均指标的此计算可以是加权计算，其中可以根据例如归因于对应的状态确定方法的预定义置信度来对与每个状态确定方法关联的指标进行加权。
系统200还可以包括基于上下文的滤波模块(未示出)，该基于上下文的滤波模块被配置为确定具有表示脏污的干净/脏污指标的邻近(邻接)图像部分(脏污部分)的一个或更多个脏污块，并且检测一个或更多个脏污块的一个或更多个边缘。基于上下文的滤波模块可以进一步配置为确定一个或更多个边缘中的锐度。基于上下文的滤波模块可以再进一步配置为根据锐度和/或与边缘相邻的干净部分的干净/脏污指标来调整脏污块中的脏污部分的干净/脏污指标。干净部分是具有表示干净的干净/脏污指标的部分。
发明人发现在镜头上从干净到脏污或者反之亦然的成像变化是渐进的而不是突变的。因此，过度的锐度可以表示突变变化，该突变变化可能通常不对应于镜头上的脏污。例如，由车载摄像机拍摄的图像中的明显锐度(突变性)可能更可能对应于例如道路边缘、道路线等，而不是对应于镜头上的脏污。当检测到过度的突变变化/边缘时，所提出的基于上下文的滤波因此可以允许基于减少脏污概率(干净/脏污指标)来校正或者减弱脏污的假检测。
可以根据例如包括在脏污块的边缘中的脏污部分的峰度来确定锐度。可以将所述锐度输入到第三机器学习模块(例如线性分类器、SVM等)，该第三机器学习模块已被训练为根据锐度输出干净/脏污概率变化。然后，可以通过根据由第三机器学习模块产生的干净/脏污概率变化来改变脏污块中的脏污部分的干净/脏污指标而调整这些干净/脏污指标。干净/脏污概率的变化可以包括要与对应的干净/脏污指标相加或相减的概率值。考虑到这个，作为所建议的基于上下文的滤波的结果，可以将先前已被分类为脏污的图像部分重新分类为干净的。可以根据包含在由滤波器模块203产生的图像部分的特征向量中的拉普拉斯滤波特征来确定图像部分的锐度。
干净/脏污概率变化的前述确定可以(附加地或可选地)包括确定与边缘相邻的干净部分的总体干净。此总体干净可以对应于例如相邻干净部分的干净/脏污指标的平均值、均值、最大值、聚合等。可以例如由前述第三机器学习模块考虑此总体干净，以产生要传送到脏污块中的脏污部分的对应的干净/脏污概率变化。通过总体干净表示的干净越高，相邻干净部分在干净/脏污概率变化中的影响可以越高。通过总体干净表示的干净越低，相邻干净部分在干净/脏污概率变化中的影响可以越低。
图4a和图4b示意性地例示了适合于根据本公开的方法的示例的基于上下文的滤波。图4a例示了接收到的具有确定的干净部分403、404(白色方块)和确定的脏污部分401、402(阴影方块)的图像400。干净部分是具有表示干净的干净/脏污指标的图像部分，而脏污部分是具有表示脏污的干净/脏污指标的图像部分。可以在所示的特定示例中确定具有表示脏污的干净/脏污指标的邻近图像部分的两个块401、402。还可以将脏污部分的所述块命名为ROI(感兴趣区域)401、402。
为了简单起见，图4b关注来自前图的邻近脏污部分(或单元格)的块或ROI 401、402中的一个。特别地，更详细地示意性地例示了脏污部分401的块。可以通过选择在块401中具有多于一个相邻干净部分/单元格的那些脏污部分(或单元格)来确定块401的边缘。对具有多于一个相邻干净部分的脏污部分的这种选择可以忽视图像400的最外部分。还可以将包括在脏污部分/单元格的ROI中的(图像的)最外部分/单元格命名为ROI边界单元格。
在所示的特定示例中，脏污单元格410具有两个相邻干净单元格413、414，脏污单元格411具有三个相邻干净单元格413-415，并且脏污单元格412具有三个相邻干净单元格414-416。类似地，脏污部分/单元格407被示出为具有三个相邻干净部分/单元格。脏污部分410-412因此可以形成块/ROI 401的边缘409并且单个脏污部分407可以形成块/ROI 401的另一边缘。还可以将形成ROI的边缘的部分/单元格命名为ROI轮廓单元格。
图像400的最外部分可以是包含在图像400中各部分的最左列417、最右列418、顶行419和底行420中的任一个中的那些部分。在所示的特定示例中，可以在选择具有多于一个相邻干净部分的脏污部分时丢弃形成区域405的三个部分和形成区域406的八个部分。因此，区域405和406的各部分中的任一个都不会被包括在块401的边缘中。换句话说，ROI边界单元格405、406中的任一个都不会被认为是ROI轮廓单元格407、409。类似地，可以丢弃边缘407，因为三个相邻干净单元格中的两个是图像的最外单元格。特别地，所述两个相邻干净单元格被包括在图像400的顶行419中。
一旦已经确定块401的边缘409，就可以针对所述边缘中的图像部分来确定对应的锐度。可以根据旨在该目的的任何已知方法(例如以说明书的其它部分中提出的方式)确定这种锐度。对于所确定的锐度的(全部或一部分)中的每一个，可以执行锐度是否高于预定义突变阈值的验证。在所述验证的肯定/真实结果的情况下，可以将具有这种锐度的图像部分保持为要调整其干净/脏污指标的候选。否则，可以丢弃具有这种锐度的图像部分。
可以预先确定突变阈值以在锐度高于所述阈值时表示从干净到脏污(或者反之亦然)的突变/明显转变，或者在锐度不高于所述阈值时表示平滑/渐变转变。可以将锐度与阈值之间的相等解释为模糊地表示突变或渐变转变。可以通过例如用尽可能详尽地表示多种突变和渐变变化的预知输入和输出训练的线性分类器来预先确定突变阈值。
可以根据与边缘/轮廓409相邻的干净部分413-416的总体干净来调整ROI 401中的单元格的干净/脏污指标(即，干净/脏污概率/置信度值)。
可以取决于通过以下公式(针对轮廓/边缘中的每一个或一些)计算出的α因子根据上述原理调整ROI 401中的单元格的干净/脏污指标：
其中：
调整后的权重轮廓是对应的轮廓/边缘的α因子，
#单元格区域轮廓对应于轮廓中的单元格的个数(在图4b的示例中，轮廓409具有三个单元格410-412)，
#单元格ROI的边界对应于ROI的边界中的单元格的个数(在图4b的示例中，ROI中的边界单元格的个数是十一，因为边界405具有三个单元格并且边界406具有八个单元格)，以及
权重_轮廓对应于可能已经通过用表示多种示例性情形的预知输入和输出训练例如线性分类器来(重新)定义的训练的因子。
一旦已经针对对应的ROI 401计算出α因子(调整后的权重轮廓)，就可以确定相邻干净单元格的最大/较高干净/脏污指标的测量值。确定所述测量值可以包括为对应的轮廓中的单元格中的每一个(或一些)选择表示最大/较高干净的相邻干净单元格的干净/脏污指标/置信度。在所示的特定示例中，可以为脏污单元格410选择干净单元格413-414的最大/较高干净/脏污指标，可以为脏污单元格411选择干净单元格413-415的最大/较高干净/脏污指标，并且可以为脏污单元格412选择干净单元格414-416的最大/较高干净/脏污指标。
一旦已经完成最大/较高干净/脏污指标的以上选择，就可以加上所选择的最大/较高干净/脏污指标(或概率/置信度)。然后可以将所述加法的结果除以在轮廓/边缘中已经考虑的单元格/部分的个数，从而获得相邻干净单元格的干净由对应的轮廓继承的置信度。以下公式因此可以被用于该目的：
其中：
干净置信度轮廓是轮廓继承其相邻干净单元格的干净的置信度，
#单元格区域轮廓是对应的轮廓中的单元格的个数(在图4b的示例中，轮廓409具有三个单元格410-412)，
最大干净置信度i是与在轮廓中已经选择的第i个脏污单元格相邻的干净单元格的干净/脏污指标/置信度，因为该单元格与和第i个脏污单元格相邻的其它干净单元格相比，反映最大/较高干净，以及
∑i∈区域轮廓最大干净置信度i是为轮廓中的脏污单元格中的每一个(或一些)选择的相邻干净单元格的干净/脏污指标/置信度的加法。
一旦已经确定干净置信度轮廓，就可以根据对应的调整后的权重轮廓按较高或较低效果而调整ROI中的单元格的干净/脏污指标/置信度。可以通过以下公式来确定这种调整：
校正后的干净置信度内单元格
＝干净置信度内单元格×(1-调整后的权重轮廓)
+干净置信度轮廓×调整后的权重轮廓
其中：
校正后的干净置信度内单元格是ROI中的对应的单元格的调整后的干净/脏污指标或置信度，并且
干净置信度内单元格是单元格(在调整之前)的当前干净/脏污指标或置信度。
系统200还可以包括时间滤波模块(未示出)，该时间滤波模块被配置为对由拍摄装置随着时间的推移而拍摄的不同图像中的图像部分的干净/脏污指标执行时间滤波。当摄像机100已经拍摄一系列图像时，特定图像部分可以揭示在该图像系列中从一个图像到另一图像的变化条件(干净/脏污指标)。所提出的时间滤波可以包括检测异常值指标，该异常值指标可以被丢弃、校正、存储以供后续分析等。
异常值的检测可以包括确定对应的图像部分的干净/脏污指标的摘要值(digestvalue)(例如最大值、平均值、中值等)，以及确定干净/脏污指标相对于摘要值的偏差是否超过预定义偏差阈值。然后可以将超过预定义偏差阈值的那些干净/脏污指标分类为异常值。当在时间T拍摄的图像中的一部分的干净/脏污指标相对于摘要值具有大偏差，并且在时间T+Δ和/或T-Δ拍摄的其它图像中的该部分的干净/脏污指标具有小得多的偏差时，这可能指示已经发生某种异常。在这种情况下，可以执行校正动作，诸如丢弃异常或异常值指标、(基于例如插值技术)校正异常值指标、存储异常值指标以供以后分析和解析等。
可以将所提出的时间滤波应用于由摄像机100拍摄的图像系列中的图像的所有图像部分。可以考虑包括预定数量图像的系列中的图像间隔/范围以在部分级别下执行这种时间滤波。
系统200还可以包括拉普拉斯滤波模块(未示出)，该拉普拉斯滤波模块被配置为在像素级别下对对应的图像执行拉普拉斯滤波。此滤波可以包括确定拉普拉斯算子卷积核并且将所述拉普拉斯卷积核应用于图像的每个像素。可以以例如[0 1 0；1 -4 1；0 1 0]的典型矩阵配置的形式预定义拉普拉斯卷积核。可以利用图像中的每个像素的值对此矩阵(或类似)进行卷积，从而对连续像素产生影响。拉普拉斯滤波是可以促进在图像中找到快速变化(边缘)的区域的导数滤波。因此，可以执行拉普拉斯滤波以促进由基于上下文的滤波模块执行的边缘(和锐度)检测(如在本公开的其它部分中所描述的)。可以对由摄像机100拍摄的所有图像单独地(在像素级别下)执行拉普拉斯滤波。
图3是示意性地例示了根据示例的用于确定由拍摄装置拍摄的图像是干净的还是脏污的方法的流程图。这些方法可以由诸如相对于前图所描述的系统来执行。因此可以在图3的以下描述中使用来自图1和图2的附图标记。
在块300处，作为例如由系统200接收到请求启动方法的请求的结果，可以开始该方法。例如当对应的交通工具、监视系统、视觉系统等已经开启时，可以自动地生成此请求。
在块301处，可以由系统200接收由摄像机100通过镜头101拍摄的图像。此功能可以由系统200的接受器模块201执行。可以相对于此块301类似地考虑关于所述模块201评论的功能原理。
在块302处，可以根据预定义分割准则将所接收到的图像分割成多个图像部分。此功能可以由系统200的分割器模块202执行。可以相对于此块302类似地考虑关于所述模块202评论的功能细节。
在块303处，可以执行图像部分(来自块302)中的至少一些中的每一个的拉普拉斯滤波以产生包括该图像部分的拉普拉斯滤波特征的特征向量。此功能(图像部分级别下的拉普拉斯滤波)可以由系统200的滤波器模块203执行。关于此方法块303可以类似地设想对于所述模块203说明的基本原理。
在块304处，可以将所产生的特征向量(来自块303)中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净/脏污指标。此功能可以由系统200的提供器模块204执行。相对于所述模块204讨论的功能细节可以类似地应用于此块304。
在块305处，可以根据由第一机器学习模块输出的干净/脏污指标来确定指示镜头是干净的还是脏污的镜头的状态。此功能可以由系统200的状态确定器模块205实现。相对于所述模块205提供的功能说明可以类似地应用于此块305。
在块306处，方法可以包括是否满足预定义结束条件的验证。在所述验证的肯定(或真实)结果的情况下，可以执行到块307的转变以便结束方法的执行。否则，方法可以循环回到块301以便接收新图像并且因此开始方法的新迭代。
最终条件可以包括请求完成方法的请求，在此情况下可以完全把方法(计算机程序)最后定下来(在块307处)。最终条件可以考虑例如在未接收到任何图像的情况下的最大经过时间，在此情况下可以将方法/程序转变(在块307处)到例如待机状态。在块307处，待机状态可以在等待新图像的同时使计算机程序停用并且在接收到新图像时使其重新激活。当例如交通工具、监视系统、视觉系统等已经关闭时可以满足最终条件。
方法可以附加地包括在第一另外的块(未示出)处，对由摄像机100拍摄的对应的图像的图像部分和关联的干净/脏污指标执行基于上下文的滤波。此滤波可以由先前描述的基于上下文的滤波模块考虑到如关于所述模块描述的相同或类似的功能原理来执行。
方法还可以附加地包括在第二另外的块(未示出)处，对由拍摄装置随着时间的推移而拍摄的不同图像中的图像部分的干净/脏污指标执行时间滤波。此滤波可以由先前描述的时间滤波模块基于如相对于所述模块描述的相同或类似的功能细节来执行。
方法可以附加地包括在第三另外的块(未示出)处，在像素级别下对由摄像机100通过镜头101所拍摄的对应的图像执行拉普拉斯滤波。此滤波可以由之前所描述的拉普拉斯滤波模块根据如相对于所述模块评论的相同或类似的功能要点来执行。
在(示例的)本详细描述中公开的方法旨在确定由摄像机(或类似装置)拍摄的图像由于摄像机的镜头的干净或脏污而是干净的还是脏污的。然而，如在说明书的其它部分中所评论的，脏污的拍摄的图像可能由各种其它情形产生。例如，(由于例如水密性不足而导致的)摄像机中的水分可以负面地影响摄像机的内部元件(例如拍摄传感器)，这也可以在拍摄的图像上引起脏污。因此可以使用所公开的方法来确定可以在拍摄的图像上引起脏污的摄像机的任何元件(诸如镜头、传感器等)中/上的脏污。
尽管已经在本文中公开了仅若干示例，然而其它另选方案、修改、用途和/或其等同物是可能的。此外，也涵盖了所描述的示例的所有可能的组合。因此，本公开的范围不应该受特定示例限制，而是应该仅通过对所附权利要求的正确阅读来确定。
Claims (14)
1.一种确定由拍摄装置拍摄的图像是干净的还是脏污的方法，该方法包括：
接收由所述图像拍摄装置拍摄的所述图像；
根据预定义分割准则将所接收到的图像分割成多个图像部分；
针对所述多个图像部分中的至少一些图像部分中的每一个图像部分，执行该每一个图像部分的拉普拉斯滤波以产生包括该每一个图像部分的拉普拉斯滤波特征的特征向量；
将所产生的特征向量中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净/脏污指标，该干净/脏污指标包括对应的图像部分的干净或脏污的概率值；
根据由所述第一机器学习模块产生的所述干净/脏污指标来确定所述图像是干净的还是脏污的。
2.根据权利要求1所述的方法，其中，所述第一机器学习模块包括线性分类器。
3.根据权利要求1和2中的任一项所述的方法，其中，确定所述图像是干净的还是脏污的包括：
聚合由所述第一机器学习模块提供的所述干净/脏污指标以产生所述图像的总体干净/脏污指标；以及
根据所述图像的所述总体干净/脏污指标是否超过总体干净/脏污阈值来确定所述图像是干净的还是脏污的。
4.根据权利要求1至3中的任一项所述的方法，其中，确定所述图像是干净的还是脏污的包括：
对由所述第一机器学习模块提供的所述干净/脏污指标进行计数以确定干净部分的个数和/或脏污部分的个数；以及
根据所述干净部分的个数是否超过干净部分阈值并且/或者所述脏污部分的个数是否超过脏污部分阈值来确定所述图像是干净的还是脏污的。
5.根据权利要求1至4中的任一项所述的方法，其中，确定所述图像是干净的还是脏污的包括：
将由所述第一机器学习模块产生的所述干净/脏污指标提供给第二机器学习模块，该第二机器学习模块已被训练为根据图像部分的对应的干净/脏污指标来产生所述图像的总体干净/脏污指标；以及
根据由所述第二机器学习模块产生的所述图像的所述总体干净/脏污指标来确定所述图像是干净的还是脏污的。
6.根据权利要求1至5中的任一项所述的方法，其中，由对应的图像部分的所述拉普拉斯滤波产生的所述拉普拉斯滤波特征包括该对应的图像部分的所述拉普拉斯滤波的峰度、均值、方差、平均灰度值和一个或更多个矩中的至少一个。
7.根据权利要求1至6中的任一项所述的方法，该方法还包括对由所述拍摄装置随着时间的推移而拍摄的不同图像中的对应的图像部分的干净/脏污指标执行时间滤波。
8.根据权利要求7所述的方法，其中，执行所述时间滤波包括根据对应的图像部分的多个干净/脏污指标确定摘要值，并且根据所述干净/脏污指标与所述摘要值之间的偏差来确定一个或更多个异常值。
9.根据权利要求8所述的方法，其中，所述摘要值是对应的图像部分的所述多个干净/脏污指标的最大值或平均值或中值。
10.根据权利要求1至9中的任一项所述的方法，该方法还包括对对应的图像作为整体执行基于上下文的滤波，所述滤波包括：
确定包括邻近脏污部分的一个或更多个脏污块，其中，脏污部分是具有表示脏污的干净/脏污指标的部分；
检测所述一个或更多个脏污块的一个或更多个边缘；
确定所述一个或更多个边缘中的锐度；以及
根据所述锐度和/或与所述边缘相邻的干净部分的干净/脏污指标来调整所述脏污块中的所述脏污部分的干净/脏污指标，其中，干净部分是具有表示干净的干净/脏污指标的部分。
11.根据权利要求10所述的方法，其中，调整所述脏污块中的所述图像部分的所述干净/脏污指标包括：
选择高于突变阈值的所述锐度并且根据表示从干净到脏污或者从脏污到干净的突变变化的所选择的锐度来调整所述干净/脏污指标；以及/或者
确定所述相邻的干净部分的总体干净并且根据所述相邻的干净部分的所述总体干净来调整所述干净/脏污指标。
12.根据权利要求1至11中的任一项所述的方法，该方法还包括在像素级别下对对应的图像执行拉普拉斯滤波，所述滤波包括确定拉普拉斯卷积核并且将所述拉普拉斯卷积核应用于该对应的图像的每个像素。
13.一种计算机可读存储介质，该计算机可读存储介质包括用于使计算系统执行根据权利要求1至12中的任一项的用于确定由拍摄装置拍摄的图像是干净的还是脏污的方法的程序指令。
14.一种用于确定由拍摄装置拍摄的图像是干净的还是脏污的系统，该系统包括：
接受器模块，该接受器模块用于接收由所述图像拍摄装置拍摄的所述图像；
分割器模块，该分割器模块用于根据预定义分割准则将所接收到的图像分割成多个图像部分；
滤波器模块，该滤波器模块用于针对所述多个图像部分中的至少一些图像部分中的每一个图像部分，执行该每一个图像部分的拉普拉斯滤波以产生包括该每一个图像部分的拉普拉斯滤波特征的特征向量；
提供器模块，该提供器模块用于将所产生的特征向量中的至少一些中的每一个提供给第一机器学习模块，该第一机器学习模块已被训练为根据对应的特征向量来产生干净/脏污指标，该干净/脏污指标包括对应的图像部分的干净或脏污的概率值；
状态确定器模块，该状态确定器模块用于根据由所述第一机器学习模块产生的所述干净/脏污指标来确定所述图像是干净的还是脏污的。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17382793.2A EP3489892B1 (en) | 2017-11-24 | 2017-11-24 | Determining clean or dirty captured images |
| EP17382793.2 | 2017-11-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109840911A true CN109840911A (zh) | 2019-06-04 |
| CN109840911B CN109840911B (zh) | 2024-07-16 |
Family
ID=60543482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811407473.8A Active CN109840911B (zh) | 2017-11-24 | 2018-11-23 | 确定干净或脏污的拍摄图像的方法、系统和计算机可读存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10922803B2 (zh) |
| EP (1) | EP3489892B1 (zh) |
| JP (1) | JP7164417B2 (zh) |
| CN (1) | CN109840911B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110572636A (zh) * | 2019-07-23 | 2019-12-13 | RealMe重庆移动通信有限公司 | 摄像头脏污检测方法、装置、存储介质及电子设备 |
| CN111724349A (zh) * | 2020-05-29 | 2020-09-29 | 同济大学 | 一种基于hsv和svm的图像脏污识别方法 |
| CN112824926A (zh) * | 2019-11-20 | 2021-05-21 | 上海为彪汽配制造有限公司 | 一种无人机雷达清洁方法和无人机 |
| CN113600525A (zh) * | 2021-07-29 | 2021-11-05 | 河北白沙烟草有限责任公司保定卷烟厂 | 一种基于智能识别技术的铜排链在线清洁装置 |
| CN115082473A (zh) * | 2022-08-22 | 2022-09-20 | 小米汽车科技有限公司 | 脏污检测方法、装置及电子设备 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020175589A1 (ja) * | 2019-02-27 | 2020-09-03 | ダイキン工業株式会社 | 情報提供システム |
| US11209282B2 (en) * | 2019-07-02 | 2021-12-28 | Ford Global Technologies, Llc | Vehicle cleanliness detection and carwash recommendation |
| US11328428B2 (en) | 2019-12-18 | 2022-05-10 | Clarion Co., Ltd. | Technologies for detection of occlusions on a camera |
| US11113580B2 (en) | 2019-12-30 | 2021-09-07 | Industrial Technology Research Institute | Image classification system and method |
| DE102020209198A1 (de) * | 2020-07-22 | 2022-01-27 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Bestimmung einer Abbildungs-Degradation eines bildgebenden Sensors |
| CN111787315A (zh) * | 2020-08-05 | 2020-10-16 | 昆山软龙格自动化技术有限公司 | 一种基于fpga的嵌入式高速运算网卡装置 |
| US11341682B2 (en) | 2020-08-13 | 2022-05-24 | Argo AI, LLC | Testing and validation of a camera under electromagnetic interference |
| US11368672B2 (en) | 2020-09-14 | 2022-06-21 | Argo AI, LLC | Validation of a camera cleaning system |
| CN112261403B (zh) * | 2020-09-22 | 2022-06-28 | 深圳市豪恩汽车电子装备股份有限公司 | 车载摄像头的脏污物检测装置及方法 |
| CN111970506B (zh) * | 2020-10-20 | 2020-12-29 | 常州市瑞泰光电有限公司 | 镜头脏污检测方法、装置和设备 |
| CN112455396B (zh) * | 2020-12-18 | 2022-05-27 | 青海慧洗智能科技有限公司 | 面向自动洗车的车轮定位系统、方法和装置 |
| US20230068848A1 (en) * | 2021-08-25 | 2023-03-02 | Argo AI, LLC | Systems and methods for vehicle camera obstruction detection |
| WO2023079593A1 (ja) * | 2021-11-02 | 2023-05-11 | 三菱電機ビルソリューションズ株式会社 | 汚れ判定装置、汚れ判定方法、および汚れ判定プログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10322087A1 (de) * | 2003-05-15 | 2004-12-02 | Daimlerchrysler Ag | Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems |
| US20090174773A1 (en) * | 2007-09-13 | 2009-07-09 | Gowdy Jay W | Camera diagnostics |
| US20160034780A1 (en) * | 2013-04-12 | 2016-02-04 | Peking University | Method and device for detecting interest points in image |
| US20170249769A1 (en) * | 2015-07-29 | 2017-08-31 | Adobe Systems Incorporated | Image Distractor Detection and Processing |
| CN107292869A (zh) * | 2017-06-07 | 2017-10-24 | 西安电子科技大学 | 基于各向异性高斯核和梯度搜索的图像斑点检测方法 |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5923027A (en) * | 1997-09-16 | 1999-07-13 | Gentex Corporation | Moisture sensor and windshield fog detector using an image sensor |
| US7545985B2 (en) * | 2005-01-04 | 2009-06-09 | Microsoft Corporation | Method and system for learning-based quality assessment of images |
| US20070280552A1 (en) * | 2006-06-06 | 2007-12-06 | Samsung Electronics Co., Ltd. | Method and device for measuring MPEG noise strength of compressed digital image |
| US8295565B2 (en) * | 2007-03-16 | 2012-10-23 | Sti Medical Systems, Llc | Method of image quality assessment to produce standardized imaging data |
| US8208043B2 (en) | 2008-05-09 | 2012-06-26 | Aptina Imaging Corporation | Lens cleaning warning system and method |
| RU2653461C2 (ru) * | 2014-01-21 | 2018-05-08 | Общество с ограниченной ответственностью "Аби Девелопмент" | Обнаружение блика в кадре данных изображения |
| US20110182495A1 (en) * | 2010-01-26 | 2011-07-28 | General Electric Company | System and method for automatic defect recognition of an inspection image |
| US9445057B2 (en) | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
| CN104346622A (zh) * | 2013-07-31 | 2015-02-11 | 富士通株式会社 | 卷积神经网络分类器及其分类方法和训练方法 |
| US10185892B1 (en) * | 2014-05-30 | 2019-01-22 | Amazon Technologies, Inc. | Automatic large-scale imaging device diagnostics |
| US10289962B2 (en) * | 2014-06-06 | 2019-05-14 | Google Llc | Training distilled machine learning models |
| US10453098B2 (en) * | 2015-03-04 | 2019-10-22 | Google Llc | Privacy-aware personalized content for the smart home |
| EP3113108B1 (en) | 2015-07-02 | 2020-03-11 | Continental Automotive GmbH | Detection of lens contamination using expected edge trajectories |
| US9576219B2 (en) * | 2015-07-14 | 2017-02-21 | ADANI Systems, Inc. | Method and system for detection of contraband narcotics in human digestive tract |
| US10186026B2 (en) * | 2015-11-17 | 2019-01-22 | Kla-Tencor Corp. | Single image detection |
| DE102016204206A1 (de) | 2016-03-15 | 2017-09-21 | Robert Bosch Gmbh | Verfahren zum Detektieren einer Verschmutzung einer optischen Komponente eines Umfeldsensors zum Erfassen eines Umfelds eines Fahrzeugs, Verfahren zum maschinellen Anlernen eines Klassifikators und Detektionssystem |
| US10347294B2 (en) * | 2016-06-30 | 2019-07-09 | Google Llc | Generating moving thumbnails for videos |
| US10102423B2 (en) * | 2016-06-30 | 2018-10-16 | Snap Inc. | Object modeling and replacement in a video stream |
| US10115040B2 (en) * | 2016-09-14 | 2018-10-30 | Kla-Tencor Corporation | Convolutional neural network-based mode selection and defect classification for image fusion |
| CN109792829B (zh) * | 2016-10-11 | 2021-12-10 | 昕诺飞控股有限公司 | 监控系统的控制系统、监控系统和控制监控系统的方法 |
| US11580398B2 (en) * | 2016-10-14 | 2023-02-14 | KLA-Tenor Corp. | Diagnostic systems and methods for deep learning models configured for semiconductor applications |
| US10410084B2 (en) * | 2016-10-26 | 2019-09-10 | Canon Virginia, Inc. | Devices, systems, and methods for anomaly detection |
| EP3655923B1 (en) * | 2016-12-06 | 2022-06-08 | Siemens Energy, Inc. | Weakly supervised anomaly detection and segmentation in images |
| US10402688B2 (en) * | 2016-12-07 | 2019-09-03 | Kla-Tencor Corporation | Data augmentation for convolutional neural network-based defect inspection |
| US10417524B2 (en) * | 2017-02-16 | 2019-09-17 | Mitsubishi Electric Research Laboratories, Inc. | Deep active learning method for civil infrastructure defect detection |
| WO2018165753A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| GB201704373D0 (en) * | 2017-03-20 | 2017-05-03 | Rolls-Royce Ltd | Surface defect detection |
| US20200096454A1 (en) * | 2017-03-27 | 2020-03-26 | Mitsubishi Heavy Industries, Ltd. | Defect detection system for aircraft component and defect detection method for aircraft component |
| CN114972180A (zh) * | 2017-04-13 | 2022-08-30 | 英卓美特公司 | 用于预测在装配单元中的缺陷的方法 |
| US10453366B2 (en) * | 2017-04-18 | 2019-10-22 | Samsung Display Co., Ltd. | System and method for white spot mura detection |
| US10949872B2 (en) * | 2017-04-28 | 2021-03-16 | Snap Inc. | Methods and systems for server generation of interactive advertising with content collections |
| US10929945B2 (en) * | 2017-07-28 | 2021-02-23 | Google Llc | Image capture devices featuring intelligent use of lightweight hardware-generated statistics |
| EP3451284A1 (de) * | 2017-09-05 | 2019-03-06 | Siemens Healthcare GmbH | Verfahren zur automatischen artefakterkennung in computertomographischen bilddaten |
| JP6936958B2 (ja) * | 2017-11-08 | 2021-09-22 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
| US10755133B2 (en) * | 2018-02-22 | 2020-08-25 | Samsung Display Co., Ltd. | System and method for line Mura detection with preprocessing |
| US10607331B1 (en) * | 2019-06-28 | 2020-03-31 | Corning Incorporated | Image segmentation into overlapping tiles |
-
2017
- 2017-11-24 EP EP17382793.2A patent/EP3489892B1/en active Active
-
2018
- 2018-11-21 US US16/198,499 patent/US10922803B2/en active Active
- 2018-11-22 JP JP2018219101A patent/JP7164417B2/ja active Active
- 2018-11-23 CN CN201811407473.8A patent/CN109840911B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10322087A1 (de) * | 2003-05-15 | 2004-12-02 | Daimlerchrysler Ag | Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems |
| US20090174773A1 (en) * | 2007-09-13 | 2009-07-09 | Gowdy Jay W | Camera diagnostics |
| US20160034780A1 (en) * | 2013-04-12 | 2016-02-04 | Peking University | Method and device for detecting interest points in image |
| US20170249769A1 (en) * | 2015-07-29 | 2017-08-31 | Adobe Systems Incorporated | Image Distractor Detection and Processing |
| CN107292869A (zh) * | 2017-06-07 | 2017-10-24 | 西安电子科技大学 | 基于各向异性高斯核和梯度搜索的图像斑点检测方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110572636A (zh) * | 2019-07-23 | 2019-12-13 | RealMe重庆移动通信有限公司 | 摄像头脏污检测方法、装置、存储介质及电子设备 |
| CN110572636B (zh) * | 2019-07-23 | 2020-08-04 | RealMe重庆移动通信有限公司 | 摄像头脏污检测方法、装置、存储介质及电子设备 |
| CN112824926A (zh) * | 2019-11-20 | 2021-05-21 | 上海为彪汽配制造有限公司 | 一种无人机雷达清洁方法和无人机 |
| CN112824926B (zh) * | 2019-11-20 | 2024-06-28 | 上海为彪汽配制造有限公司 | 一种无人机雷达清洁方法 |
| CN111724349A (zh) * | 2020-05-29 | 2020-09-29 | 同济大学 | 一种基于hsv和svm的图像脏污识别方法 |
| CN111724349B (zh) * | 2020-05-29 | 2022-09-20 | 同济大学 | 一种基于hsv和svm的图像脏污识别方法 |
| CN113600525A (zh) * | 2021-07-29 | 2021-11-05 | 河北白沙烟草有限责任公司保定卷烟厂 | 一种基于智能识别技术的铜排链在线清洁装置 |
| CN113600525B (zh) * | 2021-07-29 | 2022-09-16 | 河北白沙烟草有限责任公司保定卷烟厂 | 一种基于智能识别技术的铜排链在线清洁装置 |
| CN115082473A (zh) * | 2022-08-22 | 2022-09-20 | 小米汽车科技有限公司 | 脏污检测方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3489892B1 (en) | 2022-01-05 |
| US20190164271A1 (en) | 2019-05-30 |
| JP7164417B2 (ja) | 2022-11-01 |
| US10922803B2 (en) | 2021-02-16 |
| JP2019096320A (ja) | 2019-06-20 |
| CN109840911B (zh) | 2024-07-16 |
| EP3489892A1 (en) | 2019-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840911A (zh) | 确定干净或脏污的拍摄图像的方法、系统和计算机可读存储介质 | |
| CN111308448B (zh) | 图像采集设备与雷达的外参确定方法及装置 | |
| CN103455812B (zh) | 目标识别系统和目标识别方法 | |
| KR101848019B1 (ko) | 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치 | |
| EP2851841A2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| US10423843B2 (en) | Vehicle vision system with enhanced traffic sign recognition | |
| WO2013121357A1 (en) | Time to collision using a camera | |
| WO2014002692A1 (ja) | ステレオカメラ | |
| JP7091686B2 (ja) | 立体物認識装置、撮像装置および車両 | |
| KR102606931B1 (ko) | 정적 오염 감지 및 보정 | |
| CN111027535A (zh) | 一种车牌识别方法及相关设备 | |
| CN115331191B (zh) | 车型识别方法、装置、系统和存储介质 | |
| JP7371053B2 (ja) | 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体 | |
| US20070223785A1 (en) | Image processor and method | |
| JP2023548127A (ja) | 雨、侵入光および汚れがある場合のカメラの画像の補正 | |
| US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
| Barua et al. | An Efficient Method of Lane Detection and Tracking for Highway Safety | |
| WO2017153372A1 (en) | Method for recognizing a deposit on an optical element of a camera by a feature space and a hyperplane as well as camera system and motor vehicle | |
| JP7003972B2 (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
| JP6701905B2 (ja) | 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム | |
| JP5587852B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2021051377A (ja) | 付着物検出装置および付着物検出方法 | |
| Tourani et al. | Challenges of video-based vehicle detection and tracking in intelligent transportation systems | |
| JP2021052235A (ja) | 付着物検出装置および付着物検出方法 | |
| JP2021052234A (ja) | 付着物検出装置および付着物検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |