CN117974542A - 一种无人矿卡摄像头镜头脏污的检测方法及系统 - Google Patents

一种无人矿卡摄像头镜头脏污的检测方法及系统 Download PDF

Info

Publication number
CN117974542A
CN117974542A CN202311179004.6A CN202311179004A CN117974542A CN 117974542 A CN117974542 A CN 117974542A CN 202311179004 A CN202311179004 A CN 202311179004A CN 117974542 A CN117974542 A CN 117974542A
Authority
CN
China
Prior art keywords
region
image
gradient
sub
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311179004.6A
Other languages
English (en)
Inventor
赵耀忠
刘强
曹鋆程
王喜贤
高树军
陈志松
林杨
房圆武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uaneng Yimin Coal Power Co Ltd
Original Assignee
Uaneng Yimin Coal Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uaneng Yimin Coal Power Co Ltd filed Critical Uaneng Yimin Coal Power Co Ltd
Priority to CN202311179004.6A priority Critical patent/CN117974542A/zh
Publication of CN117974542A publication Critical patent/CN117974542A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人矿卡摄像头镜头脏污的检测方法及系统，涉及图像处理与计算机视觉技术领域，包括：读取组合惯导的定位信息获取车辆运动状态和速度；对车辆运动时相邻图像帧相关性及梯度灰度进行计算；根据累积融合多帧运动图像的分析特征，对融合特征进行多尺度的分析；根据融合的相关性梯度灰度特征进行分析，对不同大小的脏污区域进行检测。通过提取图像的相关性、梯度、亮度三种特征能有效检测出地面背景区域的镜头脏污以及天空背景区域的镜头脏污，本发明使用了不同尺度图像子区域特征统计方法能检测不同尺寸的镜头脏污区域，本发明在特征检测过程中使用滑动窗口进行二值化，能更准确的提取脏污区域，减少使用全局二值化方法的不稳定性。

Description

一种无人矿卡摄像头镜头脏污的检测方法及系统
技术领域
本发明涉及图像处理与计算机视觉的技术领域，具体为一种无人矿卡摄像头镜头脏污的检测方法及系统。
背景技术
智能无人驾驶汽车装载了大量的传感器，使车辆具备了环境感知能力，能够自动分析车辆周边路况及目标障碍物情况，确保车辆行驶安全和路径规划提供了依据。车载传感器如摄像机、雷达等大都暴露在车辆外部，在行驶过程中，这些传感器会受到不同程度的污染，尤其恶劣环境路况下，以摄像机为例，车辆行驶到泥泞路段上，泥浆可能飞溅到摄像机表面，造成镜头脏污，使得拍摄图像清晰度下降，造成图像识别感知的结果下降，会对自动驾驶安全造成很大影响。所以，对摄像头脏污进行准确检测，并在检测到摄像头脏污后进行及时处理非常重要。
对摄像头脏污进行检测的方法有基于图像特征的传统方法和基于深度学习的模型检测方法。基于图像特征的传统检测方法，比较常见的是通过信息熵计算摄像头拍摄到图像的质量，根据图像质量是否大于预设的判定阈值，确定摄像头存在脏污。这种方法在图像质量较好时，检测效果比较准确，但是对夜晚或雾天、扬尘等场景，摄像机图像质量本身就很差，并非是真的摄像头脏污，比较容易存在误检的情况，另外脏污区域的大小也对检测结果的准确性存在影响；基于深度学习的检测方法有基于分类模型直接进行判定，也有基于检测/分割模型+后处理分析的，基于深度学习模型的方法检测效果需要收集大量样本收集和标定工作的支持，同时模型检测会占用大量的计算资源，对于车端有设备有限的在计算资源是很大的负担。
发明内容
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：现有基于图像特征的摄像头脏污的检测方法存在检测不准确、很难适应不同环境，鲁棒性较差的技术问题。基于模型的方法存在样本需求量大，计算负载占用多的情况，这对车端紧缺的计算资源是一个挑战。
为解决上述技术问题，本发明提供如下技术方案：一种无人矿卡摄像头镜头脏污的检测方法，其包括如下步骤，
读取组合惯导的定位信息获取车辆运动状态和速度；对车辆运动时相邻图像帧相关性及梯度灰度进行计算；根据累积融合多帧运动图像的分析特征，对融合特征进行多尺度的分析；根据融合的相关性梯度灰度特征进行分析，对不同大小的脏污区域进行检测。
作为本发明所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述获取车辆运动状态和速度包括，实时对车辆进行运动检测，检测车辆是否处于运动状态，所述进行运动检测包括，利用摄像机图像数据以及组合惯导定位数据，若车辆搭载定位设备，则通过定位数据直接判断车辆运动状态，若车辆未搭载定位设备则无定位数据，即使用摄像机图像进行运动检测。
当获取定位数据后，读取定位信息的空间坐标位置和X轴、Y轴以及Z轴的速度信息，当X轴、Y轴以及Z轴的速度向量模值任一大于阈值，则判断车辆为运动状态，若小于等于阈值，则判断为未运动。
所述使用摄像机图像进行运动检测包括读取图像数据，获取摄像机采集的图像数据，通过图像帧差进行运行判断。
作为本发明所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述通过图像帧差进行运行判断包括，利用帧间插分法计算相邻两帧图像差值，当相邻两帧图像差值大于阈值，则判定为车辆运动，若当相邻两帧图像差值小于等于阈值，则判定为车辆静止。
根据车辆的运动判定状态判断是否需要对图像进行处理。
作为本发明所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述根据车辆的运动判定状态判断是否需要对图像进行处理包括，若车辆运动，则进行后续处理，若车辆静止，则不进行操作。
所述后续操作包括图像降频、图像子区域划分以及图像特征的计算。
所述图像特征的计算包括，对每个子区域进行图像相关性均值计算、对每个子区域进行图像梯度均值计算以及灰度均值计算。
所述图像相关性均值计算包括计算每个像素点局部WINDOW内的相关值，将子区域内的相关性值取平均值。
所述图像梯度均值计算包括，分别使用SOBEL水平和垂直方向的两个3*3的矩阵算子与原始图片作卷积，得到横向G(x)和纵向G(y)的梯度值，取横向G(x)和纵向G(y)的梯度值的最大值为梯度值，将子区域内的梯度值取平均值。
所述灰度均值计算包括，将彩色图像转换为灰度图像，根据灰度图计算每个子区域的灰度平均值。
作为本发明所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述对融合特征进行多尺度的分析包括，将每帧得到的子区域相关性均值、梯度均值、灰度均值按照区域进行多帧数值累加，得到多帧累加子区域相关性均值和、累加子区域梯度均值和以及累加子区域灰度均值和，累计，累计到帧数阈值后，对每个子区域的多帧累加相关性均值和、多帧累加梯度均值和、多帧累加灰度均值和求取帧平均值，得到原始M*N个子区域尺度的帧均值，得到帧均值后，进行上采样均值求取，上采样子区域数量为在上采样子区域内计算相关性帧均值、梯度帧均值、灰度帧均值。
作为本发明所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述根据融合的相关性梯度灰度特征进行分析包括，在原始子区域和上采样子区域尺度上，选取梯度阈值Tgrad对子区域梯度帧均值进行二值化，对二值化后的图像进行连通域提取和空洞填充，得到高梯度区域和低梯度区域两类联通区域。
在原始子区域和上采样子区域尺度上，选取G*H的滑动窗口，在滑动窗口区域内，使用窗口均值Varv+Tcorr对滑动窗口中心的子区域的相关性帧均值进行二极化，取高于阈值的区域得到高梯度区域。
在原始子区域和上采样子区域尺度上，选取G*H的滑动窗口，在滑动窗口区域内，使用窗口均值Varv—Tgray对滑动窗口中心的子区域的相关性帧均值进行二极化，取低于阈值的区域得到低梯度区域。
将相关性提取区域和高梯度区域进行相交运算，得到原始子区域和上采样子区域尺度上高梯度区域的脏污区域。
在原始子区域和上采样子区域尺度上，将低灰度区域和低梯度区域进行相交运算，得到原始子区域和上采样子区域尺度上低梯度区域的脏污区域。
作为本发明所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述对不同大小的脏污区域进行检测包括，将原始子区域尺度提取的高梯度区域的脏污区域和原始子区域尺度提取低梯度脏污区域进行合并得到原始子区域的脏污检测结果。
将上采样子区域提取的高梯度脏污区域和上采样子区域提取的低梯度脏污区域合并得到上采样子区域的脏污检测结果。
将原始子区域的脏污检测结果和上采样子区域的脏污检测结果进行尺度对齐后融合，融合采用保守融合方式，即原始子区域和上采样子区域检测的结果都保留下来，得到融合后的子区域检测结果。
对融合后的子区域检测结果进行分析，计算脏污区域数量，当数量大于设定阈值时，输出脏污信息及脏污位置，当数量小于设定阈值时，输出正常无脏污状态。
本发明的另外一个目的是提供一种无人矿卡摄像头镜头脏污的检测系统，其能通过实时读取组合惯导的定位信息以及对车辆运动时的相邻图像帧进行深度分析，解决了现有传统的脏污检测方法依赖于固定的环境条件、对动态变化的场景适应性差、以及检测准确率不高的问题。
为解决上述技术问题，本发明提供如下技术方案：一种无人矿卡摄像头镜头脏污的检测系统，包括：组合惯导定位模块、图像帧处理模块、多帧运动图像融合分析模块、脏污区域检测模块、车辆运动状态判定模块、图像特征计算模块。
所述组合惯导定位模块负责读取组合惯导的定位信息，以获取车辆的运动状态和速度。
所述图像帧处理模块对车辆运动时的相邻图像帧的相关性及梯度灰度进行计算。
所述多帧运动图像融合分析模块根据累积融合的多帧运动图像的分析特征，对融合特征进行多尺度的分析。
所述脏污区域检测模块根据融合的相关性梯度灰度特征进行分析，对不同大小的脏污区域进行检测。
所述车辆运动状态判定模块实时对车辆进行运动检测，检测车辆是否处于运动状态，它利用摄像机图像数据以及组合惯导定位数据来进行判断。
所述图像特征计算模块包括图像相关性均值计算、图像梯度均值计算以及灰度均值计算。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述一种无人矿卡摄像头镜头脏污的检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述一种无人矿卡摄像头镜头脏污的检测方法的步骤。
本发明的有益效果：本发明提出一种组合多种图像特征的镜头脏污检测方法，为了能对天空区域和地面区域的脏污进行有效检测，本发明提取图像的相关性、梯度、亮度三种特征，组合检测能有效检测出地面背景区域的镜头脏污，以及天空背景区域的镜头脏污，本发明使用了不同尺度图像子区域特征统计方法，不同尺度检测组合能有效检测不同尺寸的镜头脏污区域，本发明在特征检测过程中使用滑动窗口进行二值化，能更准确的提取脏污区域，减少使用全局二值化方法的不稳定性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例提供的一种无人矿卡摄像头镜头脏污的检测方法的整体流程图。
图2为本发明第二个实施例提供的一种无人矿卡摄像头镜头脏污的检测系统的整体框架图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的一个实施例，提供了一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：
S1：读取组合惯导的定位信息获取车辆运动状态和速度。
进一步的，获取车辆运动状态和速度包括，实时对车辆进行运动检测，检测车辆是否处于运动状态，所述进行运动检测包括，利用摄像机图像数据以及组合惯导定位数据，若车辆搭载定位设备，则通过定位数据直接判断车辆运动状态，若车辆未搭载定位设备则无定位数据，即使用摄像机图像进行运动检测。
当获取定位数据后，读取定位信息的空间坐标位置和X轴、Y轴以及Z轴的速度信息，当X轴、Y轴以及Z轴的速度向量模值任一大于阈值，则判断为运动，若小于等于阈值，则判断未运动。
所述使用摄像机图像进行运动检测包括读取图像数据，获取摄像机采集的图像数据，通过图像帧差进行运行判断。
更进一步的，通过图像帧差进行运行判断包括，利用帧间插分法计算相邻两帧图像差值，当相邻两帧图像差值大于阈值，则判定为车辆运动，若当相邻两帧图像差值小于等于阈值，则判定为车辆静止。
根据车辆的运动判定状态判断是否需要对图像进行处理。
进一步解释的是，利用帧间插分法计算相邻两帧图像差值，帧间差分法实现简单，程序杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。
S2：对车辆运动时相邻图像帧相关性及梯度灰度进行计算。
进一步的，根据车辆的运动判定状态判断是否需要对图像进行处理包括，若车辆运动，则进行后续处理，若车辆静止，则不进行操作。
所述后续操作包括图像降频、图像子区域划分以及图像特征的计算。
在图像降频中，相机帧率一般比较高，相邻两帧时间间隔短空间变换小，本发明以一定频率对采集图像帧进行降频，每N帧取1帧，降帧可以减少计算频率，提高相邻帧图像内容的变化。降频后处理过程中缓存上一帧图像数据。
在图像子区域划分中，将图像均匀分成M*N个子区域，每个子区域宽高相同，后续处理以子区域为基础单位进行统计分析。为了在不同尺度上检测脏污，本发明对原始子区域进行金字塔上采样，在上采样区域上做同样的分析。
所述图像特征的计算包括，对每个子区域进行图像相关性均值计算、对每个子区域进行图像梯度均值计算以及灰度均值计算。
所述图像相关性均值计算包括计算每个像素点局部WINDOW内的相关值，将子区域内的相关性值取平均值。
所述图像梯度均值计算包括，分别使用SOBEL水平和垂直方向的两个3*3的矩阵算子与原始图片作卷积，得到横向G(x)和纵向G(y)的梯度值，取横向G(x)和纵向G(y)的梯度值的最大值为梯度值，将子区域内的梯度值取平均值。
所述灰度均值计算包括，将彩色图像转换为灰度图像，根据灰度图计算每个子区域的灰度平均值。
进一步说明的是，本发明处理的是运动状态的抽帧图像，由于脏污区域的持续性特征，本发明使用多帧累计图像特征，可以更稳定的区分脏污区域和正常区域的。将每帧得到得子区域相关性均值、梯度均值、灰度均值按区域区域进行多帧数值累加，得到多帧累加子区域相关性均值和，累加子区域梯度均值和，累加子区域灰度均值和。
S3：根据累积融合多帧运动图像的分析特征，对融合特征进行多尺度的分析。
进一步的，对融合特征进行多尺度的分析包括，将每帧得到的子区域相关性均值、梯度均值、灰度均值按照区域进行多帧数值累加，得到多帧累加子区域相关性均值和、累加子区域梯度均值和以及累加子区域灰度均值和，累计，累计到帧数阈值后，对每个子区域的多帧累加相关性均值和、多帧累加梯度均值和、多帧累加灰度均值和求取帧平均值，得到原始M*N个子区域尺度的帧均值，得到帧均值后，进行上采样均值求取，上采样子区域数量为在上采样子区域内计算相关性帧均值、梯度帧均值、灰度帧均值。
S4：根据融合的相关性梯度灰度特征进行分析，对不同大小的脏污区域进行检测。
进一步的，根据融合的相关性梯度灰度特征进行分析包括，在原始子区域和上采样子区域尺度上，选取梯度阈值Tgrad对子区域梯度帧均值进行二值化，对二值化后的图像进行连通域提取和空洞填充，得到高梯度区域和低梯度区域两类联通区域，梯度计算用来区分天空区域和地面区域，高梯度区域对应地面区域，低梯度区域对应天空区域。
在原始子区域和上采样子区域尺度上，选取G*H的滑动窗口，在滑动窗口区域内，使用窗口均值Varv+Tcorr对滑动窗口中心的子区域的相关性帧均值进行二极化，取高于阈值的区域得到高梯度区域。
在原始子区域和上采样子区域尺度上，选取G*H的滑动窗口，在滑动窗口区域内，使用窗口均值Varv—Tgray对滑动窗口中心的子区域的相关性帧均值进行二极化，取低于阈值的区域得到低梯度区域。
将相关性提取区域和高梯度区域进行相交运算，得到原始子区域和上采样子区域尺度上高梯度区域的脏污区域。
灰度特征用来检测天空区域的脏污，脏污区域的灰度值要比正常天空区域低，在原始子区域和上采样子区域尺度上，将低灰度区域和低梯度区域进行相交运算，得到原始子区域和上采样子区域尺度上低梯度区域的脏污区域。
更进一步的，对不同大小的脏污区域进行检测包括，将原始子区域尺度提取的高梯度区域的脏污区域和原始子区域尺度提取低梯度脏污区域进行合并得到原始子区域的脏污检测结果。
将上采样子区域提取的高梯度脏污区域和上采样子区域提取的低梯度脏污区域合并得到上采样子区域的脏污检测结果。
将原始子区域的脏污检测结果和上采样子区域的脏污检测结果进行尺度对齐后融合，融合采用保守融合方式，即原始子区域和上采样子区域检测的结果都保留下来，得到融合后的子区域检测结果。
对融合后的子区域检测结果进行分析，计算脏污区域数量，当数量大于设定阈值时，输出脏污信息及脏污位置，当数量小于设定阈值时，输出正常无脏污状态。
实施例2
参照图2，为本发明的一个实施例，提供了一种无人矿卡摄像头镜头脏污的检测方法的系统，一种无人矿卡摄像头镜头脏污的检测系统包括组合惯导定位模块、图像帧处理模块、多帧运动图像融合分析模块、脏污区域检测模块、车辆运动状态判定模块、图像特征计算模块。
组合惯导定位模块负责读取组合惯导的定位信息，以获取车辆的运动状态和速度；图像帧处理模块对车辆运动时的相邻图像帧的相关性及梯度灰度进行计算；多帧运动图像融合分析模块根据累积融合的多帧运动图像的分析特征，对融合特征进行多尺度的分析；脏污区域检测模块根据融合的相关性梯度灰度特征进行分析，对不同大小的脏污区域进行检测；车辆运动状态判定模块实时对车辆进行运动检测，检测车辆是否处于运动状态，它利用摄像机图像数据以及组合惯导定位数据来进行判断；图像特征计算模块包括图像相关性均值计算、图像梯度均值计算以及灰度均值计算。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
实施例3
本实施例中，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。本实施例分别对现有传统的方法、本实施例的方法进行了实验。
在一个大型露天矿山中，一队无人矿卡正在进行矿石的运输工作。由于矿山的环境尘土飞扬，摄像头镜头脏污的情况时常发生，这对于无人矿卡的自动驾驶和导航带来了很大的挑战。
为了解决这一问题，矿山决定采用本发明提供的无人矿卡摄像头镜头脏污的检测系统。系统的主要组成部分包括一个组合惯导定位模块、一个图像帧处理模块、一个多帧运动图像融合分析模块以及一个脏污区域检测模块。
当无人矿卡开始工作时，组合惯导定位模块首先读取车辆的运动状态和速度信息。与此同时，图像帧处理模块开始对摄像头捕获的连续图像帧进行处理，计算其相关性和梯度灰度。
随后，多帧运动图像融合分析模块开始工作，它根据累积融合的多帧运动图像的分析特征，对融合特征进行多尺度的分析。这一步骤确保了系统能够在不同的尺度上准确地检测到脏污。
最后，脏污区域检测模块根据融合的相关性梯度灰度特征进行分析，对不同大小的脏污区域进行检测。一旦检测到脏污，系统会立即发出警告，并指导无人矿卡进行必要的清洁或其他应对措施。
通过使用本发明的系统，矿山成功地确保了无人矿卡在尘土飞扬的环境中也能够保持摄像头镜头的清晰度，从而大大提高了矿卡的工作效率和安全性。本实施例分别对现有传统的方法、本实施例的方法进行了实验。如表1所述。
表1实验效果对比图
通过上述对比结果可以看出，我方在脏污检测准确率为95％，传统方明为80％，提升了15％，我方发明的响应时间30ms，传统发明为50ms，我方发明较之降低了40％，我方发明的系统稳定性500小时，传统发明为100小时，我方发明较之提升了400％，我方发明对复杂环境的适应性为90％，传统发明为70％，我方发明较之提升了20％。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种无人矿卡摄像头镜头脏污的检测方法，其特征在于，包括：
读取组合惯导的定位信息获取车辆运动状态和速度；
对车辆运动时相邻图像帧相关性及梯度灰度进行计算；
根据累积融合多帧运动图像的分析特征，对融合特征进行多尺度的分析；
根据融合的相关性梯度灰度特征进行分析，对不同大小的脏污区域进行检测。
2.如权利要求1所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述获取车辆运动状态和速度包括，实时对车辆进行运动检测，检测车辆是否处于运动状态，所述进行运动检测包括，利用摄像机图像数据以及组合惯导定位数据，若车辆搭载定位设备，则通过定位数据直接判断车辆运动状态，若车辆未搭载定位设备则无定位数据，即使用摄像机图像进行运动检测；
当获取定位数据后，读取定位信息的空间坐标位置和X轴、Y轴以及Z轴的速度信息，当X轴、Y轴以及Z轴的速度向量模值任一大于阈值时，则判断车辆为运动状态，若小于等于阈值，则判断为未运动；
所述使用摄像机图像进行运动检测包括读取图像数据，获取摄像机采集的图像数据，通过图像帧差进行运行判断。
3.如权利要求2所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述通过图像帧差进行运行判断包括，利用帧间插分法计算相邻两帧图像差值，当相邻两帧图像差值大于阈值，则判定为车辆运动，若当相邻两帧图像差值小于等于阈值，则判定为车辆静止；
根据车辆的运动判定状态判断是否需要对图像进行处理。
4.如权利要求3所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述根据车辆的运动判定状态判断是否需要对图像进行处理包括，若车辆运动，则进行后续处理，若车辆静止，则不进行操作；
所述后续操作包括图像降频、图像子区域划分以及图像特征的计算；
所述图像特征的计算包括，对每个子区域进行图像相关性均值计算、对每个子区域进行图像梯度均值计算以及灰度均值计算；
所述图像相关性均值计算包括计算每个像素点局部WINDOW内的相关值，将子区域内的相关性值取平均值；
所述图像梯度均值计算包括，分别使用SOBEL水平和垂直方向的两个3*3的矩阵算子与原始图片作卷积，得到横向G(x)和纵向G(y)的梯度值，取横向G(x)和纵向G(y)的梯度值的最大值为梯度值，将子区域内的梯度值取平均值；
所述灰度均值计算包括，将彩色图像转换为灰度图像，根据灰度图计算每个子区域的灰度平均值。
5.如权利要求4所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述对融合特征进行多尺度的分析包括，将每帧得到的子区域相关性均值、梯度均值、灰度均值按照区域进行多帧数值累加，得到多帧累加子区域相关性均值和、累加子区域梯度均值和以及累加子区域灰度均值和，累计，累计到帧数阈值后，对每个子区域的多帧累加相关性均值和、多帧累加梯度均值和、多帧累加灰度均值和求取帧平均值，得到原始M*N个子区域尺度的帧均值，得到帧均值后，进行上采样均值求取，上采样子区域数量为在上采样子区域内计算相关性帧均值、梯度帧均值、灰度帧均值。
6.如权利要求5所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述根据融合的相关性梯度灰度特征进行分析包括，在原始子区域和上采样子区域尺度上，选取梯度阈值Tgrad对子区域梯度帧均值进行二值化，对二值化后的图像进行连通域提取和空洞填充，得到高梯度区域和低梯度区域两类联通区域；
在原始子区域和上采样子区域尺度上，选取G*H的滑动窗口，在滑动窗口区域内，使用窗口均值Varv+Tcorr对滑动窗口中心的子区域的相关性帧均值进行二极化，取高于阈值的区域得到高梯度区域；
在原始子区域和上采样子区域尺度上，选取G*H的滑动窗口，在滑动窗口区域内，使用窗口均值Varv—Tgray对滑动窗口中心的子区域的相关性帧均值进行二极化，取低于阈值的区域得到低梯度区域；
将相关性提取区域和高梯度区域进行相交运算，得到原始子区域和上采样子区域尺度上高梯度区域的脏污区域；
在原始子区域和上采样子区域尺度上，将低灰度区域和低梯度区域进行相交运算，得到原始子区域和上采样子区域尺度上低梯度区域的脏污区域。
7.如权利要求6所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述对不同大小的脏污区域进行检测包括，将原始子区域尺度提取的高梯度区域的脏污区域和原始子区域尺度提取低梯度脏污区域进行合并得到原始子区域的脏污检测结果；
将上采样子区域提取的高梯度脏污区域和上采样子区域提取的低梯度脏污区域合并得到上采样子区域的脏污检测结果；
将原始子区域的脏污检测结果和上采样子区域的脏污检测结果进行尺度对齐后融合，融合采用保守融合方式，即原始子区域和上采样子区域检测的结果都保留下来，得到融合后的子区域检测结果；
对融合后的子区域检测结果进行分析，计算脏污区域数量，当数量大于设定阈值时，输出脏污信息及脏污位置，当数量小于设定阈值时，输出正常无脏污状态。
8.一种采用如权利要求1～7任一所述的一种无人矿卡摄像头镜头脏污的检测方法的系统，其特征在于：包括组合惯导定位模块、图像帧处理模块、多帧运动图像融合分析模块、脏污区域检测模块、车辆运动状态判定模块、图像特征计算模块；
所述组合惯导定位模块负责读取组合惯导的定位信息，以获取车辆的运动状态和速度；
所述图像帧处理模块对车辆运动时的相邻图像帧的相关性及梯度灰度进行计算；
所述多帧运动图像融合分析模块根据累积融合的多帧运动图像的分析特征，对融合特征进行多尺度的分析；
所述脏污区域检测模块根据融合的相关性梯度灰度特征进行分析，对不同大小的脏污区域进行检测；
所述车辆运动状态判定模块实时对车辆进行运动检测，检测车辆是否处于运动状态，它利用摄像机图像数据以及组合惯导定位数据来进行判断；
所述图像特征计算模块包括图像相关性均值计算、图像梯度均值计算以及灰度均值计算。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的一种无人矿卡摄像头镜头脏污的检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述一种无人矿卡摄像头镜头脏污的检测方法的步骤。
CN202311179004.6A 2023-09-12 2023-09-12 一种无人矿卡摄像头镜头脏污的检测方法及系统 Pending CN117974542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311179004.6A CN117974542A (zh) 2023-09-12 2023-09-12 一种无人矿卡摄像头镜头脏污的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311179004.6A CN117974542A (zh) 2023-09-12 2023-09-12 一种无人矿卡摄像头镜头脏污的检测方法及系统

Publications (1)

Publication Number Publication Date
CN117974542A true CN117974542A (zh) 2024-05-03

Family

ID=90846726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311179004.6A Pending CN117974542A (zh) 2023-09-12 2023-09-12 一种无人矿卡摄像头镜头脏污的检测方法及系统

Country Status (1)

Country Link
CN (1) CN117974542A (zh)

Similar Documents

Publication Publication Date Title
US9846946B2 (en) Objection recognition in a 3D scene
US7231288B2 (en) System to determine distance to a lead vehicle
Wu et al. Lane-mark extraction for automobiles under complex conditions
US8797417B2 (en) Image restoration method in computer vision system, including method and apparatus for identifying raindrops on a windshield
Geiger et al. Are we ready for autonomous driving? the kitti vision benchmark suite
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
US9449236B2 (en) Method for object size calibration to aid vehicle detection for video-based on-street parking technology
CN101633356B (zh) 检测行人的系统及方法
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
JP5019375B2 (ja) 物体検出装置および物体検出方法
CN110544211B (zh) 一种镜头付着物的检测方法、系统、终端和存储介质
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
CN112036385B (zh) 库位修正方法、装置、电子设备及可读存储介质
JP2022516183A (ja) 指示灯検出方法、装置、デバイス、及びコンピュータ可読記録媒体
Nur et al. Vehicle detection based on underneath vehicle shadow using edge features
CN110532875B (zh) 夜晚模式镜头付着物的检测系统、终端和存储介质
WO2021000948A1 (zh) 配重重量的检测方法与系统、获取方法与系统及起重机
JP4674179B2 (ja) 影認識方法及び影境界抽出方法
CN113239733B (zh) 一种多车道车道线检测方法
Rotaru et al. Extracting road features from color images using a cognitive approach
Balisavira et al. Real-time object detection by road plane segmentation technique for ADAS
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
CN117974542A (zh) 一种无人矿卡摄像头镜头脏污的检测方法及系统
WO2017077261A1 (en) A monocular camera cognitive imaging system for a vehicle
CN110544232A (zh) 一种镜头付着物的检测系统、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination