CN113313016B - 摄像头脏污识别方法、电子设备及车辆 - Google Patents

摄像头脏污识别方法、电子设备及车辆 Download PDF

Info

Publication number
CN113313016B
CN113313016B CN202110583143.XA CN202110583143A CN113313016B CN 113313016 B CN113313016 B CN 113313016B CN 202110583143 A CN202110583143 A CN 202110583143A CN 113313016 B CN113313016 B CN 113313016B
Authority
CN
China
Prior art keywords
picture
pictures
information entropy
region
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110583143.XA
Other languages
English (en)
Other versions
CN113313016A (zh
Inventor
陈江林
虞正华
张如高
李发成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202110583143.XA priority Critical patent/CN113313016B/zh
Publication of CN113313016A publication Critical patent/CN113313016A/zh
Application granted granted Critical
Publication of CN113313016B publication Critical patent/CN113313016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种摄像头脏污识别方法、电子设备及车辆，本发明基于多帧图片对摄像头脏污进行识别，首先从前后两帧图片中初步定位图片潜在脏污区域，并利用在一段时间内，脏污区域图像属性变化很少的特点，针对多帧图片进行进一步判断，如果在一段时间内，在相同位置一直存在疑似的脏污区域，则大致可判断摄像头有脏污，最后，为减少误判，进一步通过分类器对前面的脏污区域进行分类，确定摄像头是否脏污，容错性好，识别准确度高。

Description

摄像头脏污识别方法、电子设备及车辆
技术领域
本发明属于自动驾驶和辅助驾驶技术领域，尤其涉及一种摄像头脏污识别方法、电子设备及车辆。
背景技术
自动驾驶领域应用了大量先进的传感器，使车辆具备智能的环境感知能力，能够自动分析车辆行驶的安全及危险状态，但这些传感器大多暴露在车辆外部，在一些极端路况下行驶会受到不同程度的污染，尤其是摄像头，比如路面上的泥浆飞溅到摄像头表面造成摄像头污染，使得图像清晰度下降，不能反映真实的路况信息，导致控制单元做出错误判读，对汽车驾驶安全造成很大的影响。
目前,针对摄像头脏污的识别手段较少，并且仅仅使用单帧图片来做判断，容错性太差，识别精度低。
发明内容
基于此，针对上述技术问题，提供一种摄像头脏污识别方法、电子设备及车辆。
本发明采用的技术方案如下：
一方面，提供一种摄像头脏污识别方法，其特征在于，包括：
S101、从摄像头采集的图片中，取前后两帧图片；
S102、利用脏污区域的图像信息熵较低，分别确定所述前后两帧图片中的潜在脏污区域的位置；
S103、对所述前后两帧图片中的潜在脏污区域的位置进行匹配，确定存在相同的位置，并执行步骤S104，若不存在相同的位置，则返回步骤S101；
S104、从摄像头采集的图片中，取所述前后两帧图片之后的预设数量帧的连续图片，进一步确定潜在脏污区域的位置：
根据步骤S103所确定的位置，判断所述连续图片中每帧图片的各相应区域的信息熵相对于周围区域是否最小；
根据步骤S103所确定的位置，计算所述连续图片的各相邻帧图片的各相应区域的皮尔逊相关系数，对相同区域的皮尔逊相关系数求平均值；
若所述连续图片中，满足某位置的相应区域的信息熵相对于周围区域最小的图片数量超过第一阈值，且该位置对应的皮尔逊相关系数平均值大于第二阈值，则保留所述位置,并执行S105，反之，则返回步骤S101；
S105、从所述连续图片中，取一帧图片，根据步骤S104保留的位置，通过分类器判断所取的一帧图片中相应的区域是否为脏污区域，若是，则摄像头存在脏污，若否，则返回步骤S101。
另一方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种摄像头脏污识别方法。
再一方面，提供一种车辆，该车辆具有上述一种电子设备。
本发明基于多帧图片对摄像头脏污进行识别，首先从前后两帧图片中初步定位图片潜在脏污区域，并利用在一段时间内，脏污区域图像属性变化很少的特点，针对多帧图片进行进一步判断，如果在一段时间内，在相同位置一直存在疑似的脏污区域，则大致可判断摄像头有脏污，最后，为减少误判，进一步通过分类器对前面的脏污区域进行分类，确定摄像头是否脏污，容错性好，识别准确度高。
附图说明
下面结合附图和具体实施方式对本发明进行详细说明：
图1为本发明的流程图。
具体实施方式
如图1所示，本说明书实施例提供一种摄像头脏污识别方法，包括：
S101、从摄像头采集的图片中，取前后两帧图片。
为了提高识别准确度，在本实施例中，还需要对图片进行预处理：
1、剪切掉图片中保持不变的部分(crop处理)，如图片中车的部分，这部分图片区域容易对脏污识别造成干扰。
2、将图片调整至预设寸尺(resize处理)：将图片的尺寸缩小，提升识别速度，如resize到320*160的尺寸，以下均以320*160尺寸的图片进行说明。
3、将图片灰度化，便于计算信息熵和皮尔逊相关系数。
S102、利用脏污区域的图像信息熵较低，分别确定上述前后两帧图片中的潜在脏污区域的位置；
1、将图片视为由尺寸相同的多个矩形区域构成，求每个区域的信息熵。
求信息熵的公式如下：
Figure BDA0003086870720000031
其中，H代表信息熵，k代表像素值，p(k)代表像素值为k的像素点出现的频率，k的取值为1-256。
在本实施例中，可以先将图片网格化，形成尺寸相同的多个矩形区域，即一个网格就是一个矩形区域，然后，对各区域求信息熵。
2、将每个区域的信息熵与周边区域的信息熵进行比较，确定满足信息熵小于周边区域的信息熵的多个区域。
3、将多个区域的每个区域向周边8个方向移动，形成n个扩展区域，求每个扩展区域中各区域的信息熵，将每个区域的信息熵与周边区域的信息熵进行比较，确定每个扩展区域中信息熵最小的区域，并记录各信息熵最小的区域的位置。
上述的步骤1和2是先粗略定位信息熵低的区域，步骤3则再进一步精确定位，以尺寸320*160的图片为例，将图片网格化，每个网格尺寸16*16，共200个网格，求每个网格的信息熵，获得满足信息熵小于周边八个网格的信息熵的n个网格，n一般在10以内，然后，再把这每一个网格向周边8个方向移动，如向上移动6个像素，向右向上分别移动6像素，将一个网格扩展为9个网格，在这9个网格中求最小的信息熵网格，如n为9时，需要计算9*8个扩展网格的信息熵，这样总共只需要计算大约300个网格的信息熵，最后获得位置更精确的多个网格，并记录各网格的位置，这种从粗到精的定位方法效率比较高。
当然，也可以通过滑动窗的方式，依次求每个区域的信息熵,然后再来确定满足信息熵小于周边区域的信息熵的多个区域。
在本实施例中，可以通过标志位来记录各网格的位置，标志位为网格中的点，用该点的坐标来表示该网格的位置，如将某个网格左上角坐标(48，48)的点作为标志位，扩展后，其上方的网格位置为(48，42)，右上方为(54，42)，右方为(54，48)，以此类推，如果右方网格的信息熵最低，则这个网格的位置为(54，48)。
S103、对前后两帧图片中的潜在脏污区域的位置进行匹配，确定相同的位置，并执行步骤S104，若不存在相同的位置，则返回步骤S101。
S104、从摄像头采集的图片中，取上述前后两帧图片之后的预设数量帧的连续图片，进一步确定潜在脏污区域的位置：
1、根据步骤S103所确定的位置，判断上述连续图片中每帧图片的各相应区域的信息熵相对于周围区域是否最小：
a、将各相应区域向周边8个方向移动，形成n个扩展区域。
b、求每个扩展区域中各区域的信息熵，判断各相应区域在对应的扩展区域中是否信息熵最小。
2、根据步骤S103所确定的位置，计算连续图片的各相邻帧图片的各相应区域的皮尔逊相关系数，对相同区域的皮尔逊相关系数求平均值。
皮尔逊相关系数公式如下：
Figure BDA0003086870720000041
其中，rk为连续图片中第k张图片和第k-1张图片之间的皮尔逊相关系数，Ak和Ak-1分别代表第k张和第k-1张图片的像素值矩阵，m和n分别代表像素值矩阵的行数和列数，
Figure BDA0003086870720000042
和/>
Figure BDA0003086870720000043
分别代表第k张和第k-1张图片中所有像素点的像素值的平均值。
3、若上述连续图片中，满足某位置的相应区域的信息熵相对于周围区域最小的图片数量超过第一阈值，且该位置对应的皮尔逊相关系数平均值大于第二阈值，则保留这个位置,并执行S105，反之，则返回步骤S101。
如在10帧图片中，满足某位置所对应区域的信息熵相对于周围区域最小的图片有8帧以上，且该位置对应的皮尔逊相关系数平均值大于>0.4，则保留这个位置，如果最后保留的位置为0个，则返回步骤S101。
S105、从上述连续图片中，取一帧图片，根据步骤S104保留的位置，通过分类器判断所取的一帧图片中相应的区域是否为脏污区域，若是，则摄像头存在脏污，若否，则返回步骤S101。
优选地，为了方便可以取连续图片中的最后一帧图片，将相应的图片区域crop出来，送到分类器进一步判断。
在本实施例中，分类器采用svm分类器。
步骤S105保留下来的位置对于的网格区域仍有可能不是脏污区域，可能该位置连续帧中都是路面，或者树木之类，变化较少，导致识别错误，需要训练一个简单的分类器对这些情况进行分类，提高准确度。
可以获取一些有镜头脏污的图片，经过步骤S101中的预处理手段，提取那些镜头脏污区域的网格，并适当做一些数据扩展(如crop图片的时候网格往各个方向稍微移动一下，这样crop出来的图片有些许不同，从而扩充样本)，将这些提取出来的图片作为正样本，而负样本的提取则是可先获取大量图片序列，经上述步骤S101-S104，获取那些容易出错，没有脏污最后却确定为脏污区域的网格图片，然后再从其它图片中寻找类似的网格图片进行扩充，作为负样本，最后将正样本以及负样本送入svm中进行训练。
本发明基于多帧图片对摄像头脏污进行识别，首先通过步骤S101以及S102从前后两帧图片中初步定位图片潜在脏污区域，并利用在一段时间内，脏污区域图像属性变化很少的特点，针对多帧图片进行进一步判断，如果在一段时间内，在相同位置一直存在疑似的脏污区域，则大致可判断摄像头有脏污，最后，为减少误判，进一步通过分类器对前面的脏污区域进行分类，确定摄像头是否脏污，容错性好，识别准确度高。
基于同一发明构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种摄像头脏污识别方法部分中描述的根据本发明各种示例性实施方式的步骤。
其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
在本实施例中，电子设备可以为车载嵌入式设备，其还包含存储模块和处理器之外，用于实现车载嵌入式设备各种功能(如中控功能、导航功能、娱乐功能、自动驾驶功能等)的模块。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
基于同一发明构思，本说明书实施例还提供一种车辆，该车辆具有上述一种电子设备，使该车辆具有摄像头脏污识别功能，此处不再具体赘述。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (9)

1.一种摄像头脏污识别方法，其特征在于，包括：
S101、从摄像头采集的图片中，取前后两帧图片；
S102、利用脏污区域的图像信息熵较低，分别确定所述前后两帧图片中的潜在脏污区域的位置；
S103、对所述前后两帧图片中的潜在脏污区域的位置进行匹配，确定相同的位置，并执行步骤S104，若不存在相同的位置，则返回步骤S101；
S104、从摄像头采集的图片中，取所述前后两帧图片之后的预设数量帧的连续图片，进一步确定潜在脏污区域的位置：
根据步骤S103所确定的位置，判断所述连续图片中每帧图片的各相应区域的信息熵相对于周围区域是否最小；
根据步骤S103所确定的位置，计算所述连续图片的各相邻帧图片的各相应区域的皮尔逊相关系数，对相同区域的皮尔逊相关系数求平均值；
若所述连续图片中，满足某位置的相应区域的信息熵相对于周围区域最小的图片数量超过第一阈值，且该位置对应的皮尔逊相关系数平均值大于第二阈值，则保留所述位置,并执行S105，反之，则返回步骤S101；
S105、从所述连续图片中，取一帧图片，根据步骤S104保留的位置，通过分类器判断所取的一帧图片中相应的区域是否为脏污区域，若是，则摄像头存在脏污，若否，则返回步骤S101。
2.根据权利要求1所述的一种摄像头脏污识别方法，其特征在于，所述步骤S101进一步包括：对图片进行预处理：
剪切掉图片中保持不变的部分；
将图片调整至预设寸尺；
将图片灰度化。
3.根据权利要求2所述的一种摄像头脏污识别方法，其特征在于，所述步骤S102进一步包括：
将图片视为由尺寸相同的多个矩形区域构成，求每个区域的信息熵；
将每个区域的信息熵与周边区域的信息熵进行比较，确定满足信息熵小于周边区域的信息熵的多个区域；
将所述多个区域的每个区域向周边8个方向移动，形成n个扩展区域，求每个扩展区域中各区域的信息熵，将每个区域的信息熵与周边区域的信息熵进行比较，确定每个扩展区域中信息熵最小的区域，并记录各信息熵最小的区域的位置。
4.根据权利要求3所述的一种摄像头脏污识别方法，其特征在于，所述将图片视为由尺寸相同的多个矩形区域构成，求每个区域的信息熵，进一步包括：
将所述图片网格化，形成尺寸相同的多个矩形区域；
同时对各区域求信息熵。
5.根据权利要求3所述的一种摄像头脏污识别方法，其特征在于，所述将图片视为由尺寸相同的多个矩形区域构成，求每个区域的信息熵，进一步包括：
通过滑动窗的方式，求每个区域的信息熵。
6.根据权利要求4或5所述的一种摄像头脏污识别方法，其特征在于，所述根据步骤S103所确定的位置，判断所述连续图片中每帧图片的各相应区域的信息熵相对于周围区域是否最小，进一步包括：
将各相应区域向周边8个方向移动，形成多个扩展区域；
求每个扩展区域中各区域的信息熵，判断所述各相应区域在对应的扩展区域中是否信息熵最小。
7.根据权利要求6所述的一种摄像头脏污识别方法，其特征在于，所述分类器采用svm分类器。
8.一种电子设备，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的指令,所述指令在被执行时使所述处理器执行根据权利要求1-7任一项所述的一种摄像头脏污识别方法。
9.一种车辆，其特征在于，具有根据权利要求8所述的一种电子设备。
CN202110583143.XA 2021-05-27 2021-05-27 摄像头脏污识别方法、电子设备及车辆 Active CN113313016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110583143.XA CN113313016B (zh) 2021-05-27 2021-05-27 摄像头脏污识别方法、电子设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110583143.XA CN113313016B (zh) 2021-05-27 2021-05-27 摄像头脏污识别方法、电子设备及车辆

Publications (2)

Publication Number Publication Date
CN113313016A CN113313016A (zh) 2021-08-27
CN113313016B true CN113313016B (zh) 2023-07-04

Family

ID=77375284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110583143.XA Active CN113313016B (zh) 2021-05-27 2021-05-27 摄像头脏污识别方法、电子设备及车辆

Country Status (1)

Country Link
CN (1) CN113313016B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114589160B (zh) * 2022-01-25 2023-05-16 深圳大方智能科技有限公司 一种室内施工用摄像头防护方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104093016A (zh) * 2014-06-12 2014-10-08 华南理工大学 一种摄像头模组脏污检测方法及系统
CN111246204A (zh) * 2020-03-24 2020-06-05 昆山丘钛微电子科技有限公司 一种基于相对亮度偏差的脏污检测方法和装置
CN112215794A (zh) * 2020-09-01 2021-01-12 北京中科慧眼科技有限公司 一种双目adas摄像头脏污检测的方法及装置
CN112261403A (zh) * 2020-09-22 2021-01-22 深圳市豪恩汽车电子装备股份有限公司 车载摄像头的脏污物检测装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104093016A (zh) * 2014-06-12 2014-10-08 华南理工大学 一种摄像头模组脏污检测方法及系统
CN111246204A (zh) * 2020-03-24 2020-06-05 昆山丘钛微电子科技有限公司 一种基于相对亮度偏差的脏污检测方法和装置
CN112215794A (zh) * 2020-09-01 2021-01-12 北京中科慧眼科技有限公司 一种双目adas摄像头脏污检测的方法及装置
CN112261403A (zh) * 2020-09-22 2021-01-22 深圳市豪恩汽车电子装备股份有限公司 车载摄像头的脏污物检测装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于条形码跟踪管理系统的模式识别技术研究及应用;王琼;康凯;朱永波;;自动化与仪表(第08期);全文 *

Also Published As

Publication number Publication date
CN113313016A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
CN107564034A (zh) 一种监控视频中多目标的行人检测与跟踪方法
US20100124358A1 (en) Method for tracking moving object
CN111898491B (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN111275040B (zh) 定位方法及装置、电子设备、计算机可读存储介质
CN110532875B (zh) 夜晚模式镜头付着物的检测系统、终端和存储介质
CN111832410B (zh) 一种基于视觉与激光雷达融合的前向列车检测方法
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN112037268B (zh) 一种动态场景下的基于概率传递模型的环境感知方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN107247967B (zh) 一种基于r-cnn的车窗年检标检测方法
CN113313016B (zh) 摄像头脏污识别方法、电子设备及车辆
CN112349150A (zh) 一种机场航班保障时间节点的视频采集方法和系统
CN113743163A (zh) 交通目标识别模型训练方法、交通目标定位方法、装置
CN111126327A (zh) 车道线检测方法、系统、车载系统及车辆
CN111753610A (zh) 天气识别方法及装置
CN111476314A (zh) 一种融合光流算法与深度学习的模糊视频检测方法
KR102283053B1 (ko) 영상 기반 객체 검출 정보를 이용한 실시간 다중 클래스 다중 객체 추적 방법
CN112906424B (zh) 图像识别方法、装置及设备
WO2023068034A1 (ja) 画像処理装置
US20230419522A1 (en) Method for obtaining depth images, electronic device, and storage medium
CN113139984B (zh) 检测与跟踪融合的长时间无人机目标跟踪方法及系统
CN113505653B (zh) 目标检测方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant