CN114882468A - 清扫车清扫刷角度自适应调整方法 - Google Patents

清扫车清扫刷角度自适应调整方法 Download PDF

Info

Publication number
CN114882468A
CN114882468A CN202210817517.4A CN202210817517A CN114882468A CN 114882468 A CN114882468 A CN 114882468A CN 202210817517 A CN202210817517 A CN 202210817517A CN 114882468 A CN114882468 A CN 114882468A
Authority
CN
China
Prior art keywords
pixel
road surface
superpixel
size
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210817517.4A
Other languages
English (en)
Other versions
CN114882468B (zh
Inventor
焦兴健
孟庆辰
崔红光
宋宁宁
张宝生
田国政
祝玉鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shiweipu Environmental Protection Technology Co ltd
Original Assignee
Shandong Shiweipu Environmental Protection Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shiweipu Environmental Protection Technology Co ltd filed Critical Shandong Shiweipu Environmental Protection Technology Co ltd
Priority to CN202210817517.4A priority Critical patent/CN114882468B/zh
Publication of CN114882468A publication Critical patent/CN114882468A/zh
Application granted granted Critical
Publication of CN114882468B publication Critical patent/CN114882468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H1/00—Removing undesirable matter from roads or like surfaces, with or without moistening of the surface
    • E01H1/02—Brushing apparatus, e.g. with auxiliary instruments for mechanically loosening dirt
    • E01H1/05—Brushing apparatus, e.g. with auxiliary instruments for mechanically loosening dirt with driven brushes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及清扫车清扫刷角度自适应调整方法，获取多帧路面图像分为多个图像区域，获取图像区域的像素点的Lab色差，根据Lab色差获取局部颜色异常程度及整体颜色异常程度，根据局部颜色异常程度和整体颜色异常程度获取关注度，根据关注度确定初始种子点，根据初始种子点对路面图像进行超像素分割并选取小尺寸超像素，根据小尺寸超像素与其后一帧图像内对应位置的目标超像素获取小尺寸超像素的异常率，根据异常率对超像素进行重新分配得到最终超像素图像，根据最终超像素图像获取路面特征类别及置信度，根据路面特征类别及置信度控制清扫刷进行调整，本发明方法能对路面特征类别准确识别，进而实现对清扫刷的控制。

Description

清扫车清扫刷角度自适应调整方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种清扫车清扫刷角度自适应调整方法。
背景技术
现有的清扫车均是通过车架底部的清扫刷对垃圾进行清扫，大部分清扫车的清扫刷角度与高度固定，在面对复杂路况时，清扫刷可能会存在与地面接触不良或与障碍物碰撞的情况，此时会导致垃圾漏扫或清扫刷磨损，小部分清扫车的清扫刷角度与高度可调节，但需要操作人员根据经验判断路面状况，手动对清扫刷角度与高度进行调整。
然而路面情况比较复杂，不仅仅包括路面本身及垃圾这些路面特征，当路面出现坑洼、障碍物特征时，由于手动调整依赖于驾驶员的观察能力与反应速度，出现坑洼特征时可能会导致垃圾漏扫、出现障碍物特征时可能会导致清扫刷磨损。
因此，需要提供一种清扫车清扫刷角度自适应调整方法，予以解决上述问题。
发明内容
发明提供一种清扫车清扫刷角度自适应调整方法，以解决现有的问题。
本发明的一种清扫车清扫刷角度自适应调整方法采用如下技术方案：该方法包括：
获取多帧路面图像并将路面图像分割为多个相同尺寸的图像区域；
获取每个图像区域内每个像素点与其他像素点的Lab色差，根据Lab色差获取每个像素点的在其邻域内的局部颜色异常程度、每个像素点的在图像区域内的整体颜色异常程度；
根据整体颜色异常程度和局部颜色异常程度计算每个像素点的关注度，根据关注度确定每个图像区域内的初始种子点；
根据初始种子点对路面图像进行超像素分割得到多个超像素，根据每个超像素的尺寸及预设的尺寸阈值获取多个超像素中的小尺寸超像素；
获取小尺寸超像素在后一帧路面图像对应的目标超像素，根据获取图像区域内像素点的整体颜色异常程度的步骤获取小尺寸超像素、目标超像素在其8邻域内对应的最终颜色异常程度，获取小尺寸超像素与目标超像素的目标Lab色差，根据两个最终颜色异常程度、小尺寸超像素及目标超像素内像素点个数、目标Lab色差计算小尺寸超像素的异常率；
根据异常率与预设的异常率阈值对小尺寸超像素进行重新分配得到最终超像素图像；
根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度，根据相邻两帧路面图像对应的最终超像素图像中相对应的超像素的路面特征类别及置信度控制清扫刷进行调整。
进一步的，根据Lab色差获取每个像素点的在其邻域内的局部颜色异常程度、每个像素点的在图像区域内的整体颜色异常程度的步骤包括：
获取每个像素点的邻域内像素点的个数、图像区域内像素点的总数；
根据每个像素点的邻域内像素点的个数及该像素点与其邻域内其他像素点的Lab色差获取局部颜色异常程度；
根据图像区域内像素点的总数及该像素点与图像区域内其他像素点的Lab色差获取整体颜色异常程度。
进一步的，获取每个像素点的邻域内像素点的个数的步骤包括：
在Lab图像上建立坐标系；
获取每个图像区域的中心点纵坐标；
去除所有中心点中纵坐标重复的纵坐标，并对去重后的纵坐标排序得到每个图像区域的中心点纵坐标对应的序号；
根据序号利用下式（1）获取对应图像区域内每个像素点的邻域内像素点的个数：
Figure DEST_PATH_IMAGE001
（1）
其中，
Figure 707523DEST_PATH_IMAGE002
表示第
Figure DEST_PATH_IMAGE003
个区域内某个像素点的邻域内像素点的个数，
Figure DEST_PATH_IMAGE005
表示第
Figure 854340DEST_PATH_IMAGE003
个区域中心点的纵坐标对应的序号；
Figure 771480DEST_PATH_IMAGE006
表示第
Figure 82376DEST_PATH_IMAGE003
个区域内像素点的总数。
进一步的，获取每个图像区域内每个像素点与其他像素点的Lab色差的步骤包括：
获取图像区域内每个像素点的亮度值；
获取图像区域内每个像素点对应的通道值；
根据图像区域内每个像素点的亮度值及每个像素点对应的通道值计算像素点与其他像素点的Lab色差。
进一步的，根据关注度确定每个图像区域内的初始种子点的步骤包括：
根据每个图像区域内每个像素点的关注度建立关注度图；
获取关注度图中每个峰值对应的像素点；
将每个峰值对应的像素点作为该图像区域的初始种子点。
进一步的，根据初始种子点对路面图像进行超像素分割得到多个超像素的步骤包括：
计算每个像素点到每个初始种子点的距离；
获取最小距离对应的初始种子点为该像素点的聚类中心，并得到一个聚类，每个聚类即为一个超像素；
计算每个超像素内所有像素点的坐标重心，将坐标重心作为该超像素的新种子点，根据新种子点获取新的聚类，直至聚类中心不再发生变动，则这时的聚类即为分割后的超像素。
进一步的，根据异常率与预设的异常率阈值对小尺寸超像素进行重新分配得到最终超像素图像的步骤包括：
当异常率小于预设的异常率阈值时，将该小尺寸超像素重新分配给邻近的超像素；
当异常率大于预设的异常率阈值时，将该小尺寸超像素保留，不进行分配；
根据分配合后的小尺寸超像素和保留的小尺寸超像素得到最终超像素图像。
进一步的，获取小尺寸超像素与目标超像素的目标Lab色差的步骤包括：
分别获取小尺寸超像素、目标超像素内所有像素点的通道值的均值、所有像素点的亮度值的均值；
将小尺寸超像素、目标超像素对应的通道值的均值作为小尺寸超像素、目标超像素的通道值；
将小尺寸超像素、目标超像素对应的亮度值的均值作为小尺寸超像素、目标超像素的亮度值；
根据小尺寸超像素、目标超像素对应的通道值、亮度值计算小尺寸超像素与目标超像素的目标Lab色差。
进一步的，根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度的步骤包括：
构建神经网络；
对神经网络进行训练，每一帧路面图像作为神经网络的输入，每一帧路面图像对应的最终超像素图像中的超像素的路面特征类别及路面特征类别的置信度作为神经网络的输出，得到训练好的神经网络；
将相邻两帧路面图像分别输入训练好的神经网络，得到相邻两帧路面图像对应的超像素的路面特征类别、每个路面特征类别的置信度。
进一步的，根据相邻两帧路面图像对应的最终超像素图像中相对应的超像素的路面特征类别及置信度控制清扫刷进行调整的步骤包括：
若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别一致，则该路面特征类别即为该超像素的最终路面特征类别；若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别不一致，则选择两个路面特征类别中置信度大的超像素对应的路面特征类别作为该超像素的最终路面特征类别；
当最终路面特征类别为垃圾路面特征类别时，则根据垃圾的位置，调整清扫刷的高度、角度；当最终路面特征类别为坑洼路面特征类别时，则根据坑洼的位置，降低清扫刷的高度；当最终路面特征类别为障碍物路面特征类别时，则根据障碍物的位置，升高清扫刷的高度。
本发明的有益效果是：本发明的一种清扫车清扫刷角度自适应调整方法，通过获取像素点的关注度获取初始种子点，根据初始种子点进行超像素分割，然后在结合不同帧路面图像对应路面特征对超像素分割后的超像素进行重新分配，以便能够将路面图像上的路面特征与路面图像其他特征分类，进而实现对路面特征类别准确识别，从而精确实现对清扫刷的清扫角度及高度调整。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种清扫车清扫刷角度自适应调整方法的实施例总体步骤的流程图；
图2为实施例S2步骤中获取Lab色差的流程图；
图3为实施例S2步骤中获取局部颜色异常程度的流程图；
图4为实施例S3步骤中获取初始种子点的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种清扫车清扫刷角度自适应调整方法的实施例，如图1所示，该方法包括：
S1、获取多帧路面图像并将路面图像分割为多个相同尺寸的图像区域，具体的，在清扫车车头位置安装相机，在清扫车行驶过程中拍摄清扫车前方路面图像，将路面图像转换为Lab图像，将Lab图像分割为多个相同尺寸的图像区域。
S2、获取每个图像区域内每个像素点与其他像素点的Lab色差，根据Lab色差获取每个像素点的在其邻域内的局部颜色异常程度、每个像素点的在图像区域内的整体颜色异常程度。
具体的，如图2所示，获取每个图像区域内每个像素点与其他像素点的Lab色差的步骤包括：具体的，S211、获取图像区域内每个像素点的亮度值；S212、获取图像区域内每个像素点对应的通道值；S213、根据图像区域内每个像素点的亮度值及每个像素点对应的通道值计算像素点与其他像素点的Lab色差，其中，根据图像区域内每个像素点的邻域内的像素点的亮度值及其邻域内像素点对应的通道值计算像素点与其邻域内其他像素点的Lab色差。
具体的，如图3所示，根据Lab色差获取每个像素点的在其邻域内的局部颜色异常程度的步骤包括：S221、在Lab图像上建立坐标系；S222、获取每个图像区域的中心点的纵坐标；S223去除所有中心点中纵坐标重复的纵坐标，并对去除重复后的纵坐标排序得到每个图像区域的中心点纵坐标对应的序号；具体的，S224、根据每个图像区域的中心点纵坐标对应的序号获取对应图像区域内每个像素点的邻域内像素点的个数，具体的，根据序号利用下式（1）获取对应图像区域内每个像素点的邻域内像素点的个数：
Figure 743164DEST_PATH_IMAGE001
（1）
其中，
Figure 557537DEST_PATH_IMAGE002
表示第
Figure DEST_PATH_IMAGE008A
个区域内某个像素点的邻域内像素点的个数，
Figure DEST_PATH_IMAGE009
表示第
Figure 442316DEST_PATH_IMAGE003
个区域中心点的纵坐标对应的序号；
Figure 986647DEST_PATH_IMAGE006
表示第
Figure 451127DEST_PATH_IMAGE003
个区域内像素点的总数；
Figure 120005DEST_PATH_IMAGE010
表示第
Figure 644528DEST_PATH_IMAGE003
个区域的前
Figure DEST_PATH_IMAGE011
区域中像素点邻域大小设为1，且第
Figure 930015DEST_PATH_IMAGE003
个区域内剩余区域像素点邻域大小以4为倍数递增。
S225、根据每个像素点的邻域内像素点的个数及像素点与其邻域内其他像素点的Lab色差计算局部颜色异常程度，具体的根据下式（A）计算每个像素点的局部颜色异常程度：
Figure 667027DEST_PATH_IMAGE012
（A）
其中，
Figure DEST_PATH_IMAGE013
表示第
Figure 721571DEST_PATH_IMAGE003
个区域内第
Figure 416994DEST_PATH_IMAGE014
个像素点的局部颜色异常程度；
Figure DEST_PATH_IMAGE015
表示第
Figure 924199DEST_PATH_IMAGE003
个区域内第
Figure 730481DEST_PATH_IMAGE014
个像素点的邻域内像素点的个数；
Figure 639531DEST_PATH_IMAGE016
为第
Figure 240277DEST_PATH_IMAGE003
个区域内第
Figure 234778DEST_PATH_IMAGE014
个像素点的邻域内的第
Figure DEST_PATH_IMAGE018A
个像素点；
Figure DEST_PATH_IMAGE019
为第
Figure 375909DEST_PATH_IMAGE003
个区域内第
Figure 873887DEST_PATH_IMAGE014
个像素点；
Figure 645533DEST_PATH_IMAGE020
为归一化系数；
Figure DEST_PATH_IMAGE021
表示第
Figure 392910DEST_PATH_IMAGE003
个区域内第
Figure 540994DEST_PATH_IMAGE014
个像素点与其邻域内的第
Figure 159057DEST_PATH_IMAGE022
个像素点的Lab色差，其中，获取Lab色差根据图像区域内每个像素点邻域内的像素点的亮度值及每个像素点对应的通道值计算像素点与其邻域内其他像素点的Lab色差，具体的，获取图像区域内每个像素点的亮度值，并获取图像区域内每个像素点对应的通道值；根据图像区域内每个像素点的亮度值及每个像素点对应的通道值计算像素点与其他像素点的Lab色差，具体的，根据下式（A1）获取Lab色差：
Figure DEST_PATH_IMAGE023
（A1）
其中，
Figure 367185DEST_PATH_IMAGE024
表示图像区域内像素点
Figure DEST_PATH_IMAGE025
与其他像素点
Figure 336278DEST_PATH_IMAGE026
的Lab色差；
Figure DEST_PATH_IMAGE027
为像素点
Figure 288053DEST_PATH_IMAGE025
的亮度值；
Figure 26202DEST_PATH_IMAGE028
为像素点
Figure 139652DEST_PATH_IMAGE026
的亮度值；
Figure 330462DEST_PATH_IMAGE030
表示像素点
Figure 820349DEST_PATH_IMAGE025
在
Figure 413004DEST_PATH_IMAGE032
通道的通道值；
Figure DEST_PATH_IMAGE033
表示像素点
Figure 228513DEST_PATH_IMAGE026
在
Figure 906619DEST_PATH_IMAGE034
通道的通道值；
Figure DEST_PATH_IMAGE035
表示像素点
Figure 200197DEST_PATH_IMAGE025
在
Figure 381780DEST_PATH_IMAGE036
通道的通道值；
Figure DEST_PATH_IMAGE037
表示像素点
Figure 368191DEST_PATH_IMAGE026
在
Figure DEST_PATH_IMAGE039
通道的通道值，其中，获取每个图像区域内像素点与其邻域内其他像素点的Lab色差也采用式（A1）。
根据Lab色差获取每个像素点在图像区域内的整体颜色异常程度的步骤包括：
根据下式（B）计算每个像素点的整体颜色异常程度；
Figure 64751DEST_PATH_IMAGE040
（B）
其中，
Figure 896441DEST_PATH_IMAGE006
为第
Figure 198109DEST_PATH_IMAGE003
个区域内像素点的总数；
Figure DEST_PATH_IMAGE042A
为第
Figure 621000DEST_PATH_IMAGE003
个区域内第
Figure DEST_PATH_IMAGE043
个像素点；
Figure 539278DEST_PATH_IMAGE019
为第
Figure 909079DEST_PATH_IMAGE003
个区域内第
Figure 330833DEST_PATH_IMAGE014
个像素点；
Figure 127888DEST_PATH_IMAGE020
为归一化系数；
Figure 2303DEST_PATH_IMAGE044
表示第
Figure 972533DEST_PATH_IMAGE003
个区域内第
Figure 248794DEST_PATH_IMAGE014
个像素点与第
Figure 482329DEST_PATH_IMAGE043
个像素点的Lab色差。
S3、现有超像素分割技术是根据超像素个数在图像内均匀分配种子，根据种子邻域内像素点梯度值选择新种子作为初始种子点，避免种子点落在轮廓边界上，但由于距离清扫车较远的路面特征在路面图像中较小，使用该方法选择种子点会避开这些路面特征，从而导致这些路面异常与图像其他特征分割到同一个超像素块内，为避免这种情况出现，根据整体颜色异常程度和局部颜色异常程度计算每个像素点的关注度，根据关注度确定每个图像区域内的初始种子点。
具体的，根据下式（2）计算每个像素点的关注度：
Figure DEST_PATH_IMAGE045
（2）
其中，
Figure 844040DEST_PATH_IMAGE013
表示第
Figure 555644DEST_PATH_IMAGE003
个区域内第
Figure DEST_PATH_IMAGE047
个像素点的局部颜色异常程度；
Figure 217570DEST_PATH_IMAGE048
表示第
Figure 622006DEST_PATH_IMAGE003
个区域第
Figure 471014DEST_PATH_IMAGE014
个像素点的整体颜色异常程度。
如图4所示，根据关注度确定每个图像区域内的初始种子点的步骤包括：S31、根据每个图像区域内每个像素点的关注度建立关注度图；S32、获取关注度图中每个峰值对应的像素点；S33、将每个峰值对应的像素点作为该图像区域的初始种子点。
S4、根据初始种子点对路面图像进行超像素分割得到多个超像素，根据每个超像素的尺寸及预设的尺寸阈值获取多个超像素中的小尺寸超像素。
具体的，根据超像素分割方法的距离度量、迭代优化得到路面图像的多个超像素，计算每个像素点到每个初始种子点的距离，具体的，现有超像素分割是在一定搜索范围内，计算像素点到初始种子点的距离，距离包含颜色距离和空间距离，距离
Figure DEST_PATH_IMAGE049
，
Figure 251888DEST_PATH_IMAGE050
代表颜色距离；
Figure DEST_PATH_IMAGE051
代表空间距离；
Figure 502741DEST_PATH_IMAGE052
是类内最大空间距离，本方案中
Figure DEST_PATH_IMAGE053
，
Figure 343658DEST_PATH_IMAGE054
为像素点个数，
Figure DEST_PATH_IMAGE055
为分割区域的个数；
Figure 945540DEST_PATH_IMAGE056
为最大的颜色距离，通常取一个固定常数（取值范围[1,40]），由于距离清扫车较远的路面异常较小，因此，在距离度量中，空间距离的决定性要较小，颜色距离的决定性要较大，因此本方案将
Figure 998947DEST_PATH_IMAGE056
取1，使得在整体距离度量中，对于颜色距离更加敏感，然后获取最小距离对应的初始种子点为该像素点的聚类中心，并得到一个聚类，每个聚类即为一个超像素；计算每个超像素内所有像素点的坐标重心，将坐标重心作为该超像素的新种子点，根据新种子点获取新的聚类，直至聚类中心不再发生变动，则这时的聚类即为分割后的超像素。
S5、获取小尺寸超像素在后一帧路面图像对应的目标超像素，根据获取图像区域内像素点的整体颜色异常程度的步骤获取小尺寸超像素、目标超像素在其8邻域内对应的最终颜色异常程度，获取小尺寸超像素与目标超像素的目标Lab色差，根据两个最终颜色异常程度、小尺寸超像素及目标超像素内像素点个数、目标Lab色差计算小尺寸超像素的异常率；
具体的，根据获取图像区域内像素点的整体颜色异常程度的步骤获取小尺寸超像素、目标超像素在其8邻域内对应的最终颜色异常程度，其中，根据下式（D1）计算小尺寸超像素在其8邻域内的最终颜色异常程度：
Figure DEST_PATH_IMAGE057
（D1）
其中，
Figure 635465DEST_PATH_IMAGE058
表示小尺寸超像素
Figure DEST_PATH_IMAGE059
的最终颜色异常程度；
Figure 37496DEST_PATH_IMAGE020
为归一化系数；
Figure 595516DEST_PATH_IMAGE060
表示小尺寸超像素
Figure 718193DEST_PATH_IMAGE059
与其8邻域内的第
Figure 176594DEST_PATH_IMAGE043
个超像素的Lab色差，
Figure DEST_PATH_IMAGE062A
为小尺寸超像素
Figure 624893DEST_PATH_IMAGE059
超像素8邻域内第
Figure 935788DEST_PATH_IMAGE043
个超像素。
根据下式（D2）目标超像素在其8邻域内的最终颜色异常程度：
Figure DEST_PATH_IMAGE063
（D2）
其中，
Figure 862156DEST_PATH_IMAGE064
表示目标超像素
Figure DEST_PATH_IMAGE065
的最终颜色异常程度；
Figure 953826DEST_PATH_IMAGE020
为归一化系数；
Figure 307447DEST_PATH_IMAGE066
表示目标超像素
Figure 840060DEST_PATH_IMAGE065
与其8邻域内的第
Figure 38960DEST_PATH_IMAGE043
个超像素的Lab色差，
Figure DEST_PATH_IMAGE062AA
为目标超像素
Figure 504576DEST_PATH_IMAGE065
超像素8邻域内第
Figure 29099DEST_PATH_IMAGE043
个超像素。
具体的，获取小尺寸超像素与目标超像素的目标Lab色差的步骤包括：分别获取小尺寸超像素、目标超像素内所有像素点的通道值的均值、所有像素点的亮度值的均值；将小尺寸超像素、目标超像素对应的通道值的均值作为小尺寸超像素、目标超像素的通道值；将小尺寸超像素、目标超像素对应的亮度值的均值作为小尺寸超像素、目标超像素的亮度值；根据小尺寸超像素、目标超像素对应的通道值、亮度值计算小尺寸超像素与目标超像素的目标Lab色差。
根据两个最终颜色异常程度、小尺寸超像素及目标超像素内的像素点个数、目标Lab色差计算小尺寸超像素的异常率的步骤包括：具体的，根据下式（3）计算异常率：
Figure DEST_PATH_IMAGE067
（3）
其中，
Figure 49007DEST_PATH_IMAGE068
为小尺寸超像素
Figure 317178DEST_PATH_IMAGE059
中的像素点个数；
Figure DEST_PATH_IMAGE069
为目标超像素
Figure 371721DEST_PATH_IMAGE070
中的像素点个数；
Figure 801566DEST_PATH_IMAGE058
表示小尺寸超像素
Figure 43191DEST_PATH_IMAGE059
的最终颜色异常程度；
Figure 115052DEST_PATH_IMAGE064
表示目标超像素
Figure 758523DEST_PATH_IMAGE065
的最终颜色异常程度；
Figure DEST_PATH_IMAGE071
表示小尺寸超像素
Figure 624848DEST_PATH_IMAGE059
与目标超像素
Figure DEST_PATH_IMAGE073
的目标Lab色差；
Figure 884928DEST_PATH_IMAGE074
为小尺寸超像素
Figure 494901DEST_PATH_IMAGE059
与目标超像素
Figure 258458DEST_PATH_IMAGE070
的整体异常程度差异；
Figure DEST_PATH_IMAGE075
用于将小尺寸超像素
Figure 30105DEST_PATH_IMAGE059
与目标超像素
Figure 511901DEST_PATH_IMAGE070
的整体异常程度差异进行负相关归一化，若小尺寸超像素
Figure 659986DEST_PATH_IMAGE059
与目标超像素
Figure 278049DEST_PATH_IMAGE070
整体异常程度基本一致，即整体异常程度差异越小，则小尺寸超像素
Figure 220597DEST_PATH_IMAGE059
与目标超像素
Figure 924111DEST_PATH_IMAGE070
为同一特征的概率越大，此时根据
Figure 875887DEST_PATH_IMAGE076
获取小尺寸超像素的异常率越可信。
S6、对于距离清扫车较远的路面特征，其在路面图像中较小，超像素分割可能将其与图像其他特征分割到同一个超像素块内，在后续结合超像素图像对路面异常识别的过程中，对于距离清扫车较远的路面异常识别不准确，若只对于距离清扫车近的路面异常进行识别，清扫车清扫刷角度可能来不及进行调整，根据异常率与预设的异常率阈值对小尺寸超像素进行重新分配得到最终超像素图像。
具体的，当异常率小于预设的异常率阈值时，将该小尺寸超像素重新分配给邻近的超像素；当异常率大于预设的异常率阈值时，将该小尺寸超像素保留，不进行分配；根据分配合后的小尺寸超像素和保留的小尺寸超像素得到最终超像素图像。
S7、根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度，根据相邻两帧路面图像对应的最终超像素图像中相对应的超像素的路面特征类别及置信度控制清扫刷进行调整。
具体的，根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度的步骤包括：构建神经网络；对神经网络进行训练，每一帧路面图像作为神经网络的输入，每一帧路面图像对应的最终超像素图像中的超像素的路面特征类别及路面特征类别的置信度作为神经网络的输出，得到训练好的神经网络；其中，神经网络选择DNN网络，将需要分割的超像素分为4类，即标签标注过程为：选择单通道的语义标签，对应位置超像素属于垃圾路面特征类别的标注为1，属于坑洼路面特征类别的标注为2，属于障碍物路面特征类别的标注为3，属于路面及背景类的标注为0，网络的任务是分类，所以使用的loss函数为交叉熵损失函数，将相邻两帧路面图像分别输入训练好的神经网络，得到相邻两帧路面图像对应的超像素的路面特征类别、每个路面特征类别的置信度。
具体的，根据相邻两帧路面图像对应的最终超像素图像中相对应超像素的路面特征类别及置信度控制清扫刷进行调整的步骤包括：若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别一致，则该路面特征类别即为该超像素的最终路面特征类别；若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别不一致，则选择两个路面特征类别中置信度大的超像素对应的路面特征类别作为该超像素的最终路面特征类别；当最终路面特征类别为垃圾路面特征类别时，则根据垃圾的位置，调整清扫刷的高度和角度，垃圾能够被清扫刷扫除；当最终路面特征类别为坑洼路面特征类别时，则根据坑洼的位置，降低清扫刷的高度，使得清扫刷能够对坑洼中的垃圾进行扫除；当最终路面特征类别为障碍物路面特征类别时，则根据障碍物的位置，升高清扫刷的高度，避免清扫刷与障碍物碰撞。
综上所述，本发明提供一种清扫车清扫刷角度自适应调整方法，通过获取像素点的关注度获取初始种子点，根据初始种子点进行超像素分割，然后在结合不同帧路面图像对应路面特征对超像素分割后的超像素进行重新分配，以便能够将路面图像上的路面特征与路面图像其他特征分类，进而实现对路面特征类别准确识别，从而精确实现对清扫刷的清扫角度及高度调整。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种清扫车清扫刷角度自适应调整方法，其特征在于，该方法包括：
获取多帧路面图像并将路面图像分割为多个相同尺寸的图像区域；
获取每个图像区域内每个像素点与其他像素点的Lab色差，根据Lab色差获取每个像素点的在其邻域内的局部颜色异常程度、每个像素点的在图像区域内的整体颜色异常程度；
根据整体颜色异常程度和局部颜色异常程度计算每个像素点的关注度，根据关注度确定每个图像区域内的初始种子点；
根据初始种子点对路面图像进行超像素分割得到多个超像素，根据每个超像素的尺寸及预设的尺寸阈值获取多个超像素中的小尺寸超像素；
获取小尺寸超像素在后一帧路面图像对应的目标超像素，根据获取图像区域内像素点的整体颜色异常程度的步骤获取小尺寸超像素、目标超像素在其8邻域内对应的最终颜色异常程度，获取小尺寸超像素与目标超像素的目标Lab色差，根据两个最终颜色异常程度、小尺寸超像素及目标超像素内像素点个数、目标Lab色差计算小尺寸超像素的异常率；
根据异常率与预设的异常率阈值对小尺寸超像素进行重新分配得到最终超像素图像；
根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度，根据相邻两帧路面图像对应的最终超像素图像中相对应的超像素的路面特征类别及置信度控制清扫刷进行调整。
2.根据权利要求1所述的一种清扫车清扫刷角度自适应调整方法，其特征在于，根据Lab色差获取每个像素点的在其邻域内的局部颜色异常程度、每个像素点的在图像区域内的整体颜色异常程度的步骤包括：
获取每个像素点的邻域内像素点的个数、图像区域内像素点的总数；
根据每个像素点的邻域内像素点的个数及该像素点与其邻域内其他像素点的Lab色差获取局部颜色异常程度；
根据图像区域内像素点的总数及该像素点与图像区域内其他像素点的Lab色差获取整体颜色异常程度。
3.根据权利要求2所述的一种清扫车清扫刷角度自适应调整方法，其特征在于，获取每个像素点的邻域内像素点的个数的步骤包括：
在Lab图像上建立坐标系；
获取每个图像区域的中心点纵坐标；
去除所有中心点中纵坐标重复的纵坐标，并对去重后的纵坐标排序得到每个图像区域的中心点纵坐标对应的序号；
根据序号利用下式（1）获取对应图像区域内每个像素点的邻域内像素点的个数：
Figure 798044DEST_PATH_IMAGE001
（1）
其中，
Figure 390700DEST_PATH_IMAGE002
表示第
Figure 940630DEST_PATH_IMAGE003
个区域内某个像素点的邻域内像素点的个数，
Figure 353156DEST_PATH_IMAGE004
表示第
Figure 646734DEST_PATH_IMAGE006
个区域中心点的纵坐标对应的序号；
Figure DEST_PATH_IMAGE007
表示第
Figure 93896DEST_PATH_IMAGE003
个区域内像素点的总数。
4.根据权利要求1所述的一种清扫车清扫刷角度自适应调整方法，其特征在于，获取每个图像区域内每个像素点与其他像素点的Lab色差的步骤包括：
获取图像区域内每个像素点的亮度值；
获取图像区域内每个像素点对应的通道值；
根据图像区域内每个像素点的亮度值及每个像素点对应的通道值计算像素点与其他像素点的Lab色差。
5.根据权利要求1所述的一种清扫车清扫刷角度自适应调整方法，其特征在于，根据关注度确定每个图像区域内的初始种子点的步骤包括：
根据每个图像区域内每个像素点的关注度建立关注度图；
获取关注度图中每个峰值对应的像素点；
将每个峰值对应的像素点作为该图像区域的初始种子点。
6.根据权利要求1所述的一种清扫车清扫刷角度自适应调整方法，其特征在于，根据初始种子点对路面图像进行超像素分割得到多个超像素的步骤包括：
计算每个像素点到每个初始种子点的距离；
获取最小距离对应的初始种子点为该像素点的聚类中心，并得到一个聚类，每个聚类即为一个超像素；
计算每个超像素内所有像素点的坐标重心，将坐标重心作为该超像素的新种子点，根据新种子点获取新的聚类，直至聚类中心不再发生变动，则这时的聚类即为分割后的超像素。
7.根据权利要求1所述的一种清扫车清扫刷角度自适应调整方法，其特征在于，根据异常率与预设的异常率阈值对小尺寸超像素进行重新分配得到最终超像素图像的步骤包括：
当异常率小于预设的异常率阈值时，将该小尺寸超像素重新分配给邻近的超像素；
当异常率大于预设的异常率阈值时，将该小尺寸超像素保留，不进行分配；
根据分配合后的小尺寸超像素和保留的小尺寸超像素得到最终超像素图像。
8.根据权利要求1所述的一种清扫车清扫刷角度自适应调整方法，其特征在于，获取小尺寸超像素与目标超像素的目标Lab色差的步骤包括：
分别获取小尺寸超像素、目标超像素内所有像素点的通道值的均值、所有像素点的亮度值的均值；
将小尺寸超像素、目标超像素对应的通道值的均值作为小尺寸超像素、目标超像素的通道值；
将小尺寸超像素、目标超像素对应的亮度值的均值作为小尺寸超像素、目标超像素的亮度值；
根据小尺寸超像素、目标超像素对应的通道值、亮度值计算小尺寸超像素与目标超像素的目标Lab色差。
9.根据权利要求1所述的一种清扫车清扫刷角度自适应调整方法，其特征在于，根据每一帧路面图像对应的最终超像素图像获取每个超像素对应的路面特征类别及置信度的步骤包括：
构建神经网络；
对神经网络进行训练，每一帧路面图像作为神经网络的输入，每一帧路面图像对应的最终超像素图像中的超像素的路面特征类别及路面特征类别的置信度作为神经网络的输出，得到训练好的神经网络；
将相邻两帧路面图像分别输入训练好的神经网络，得到相邻两帧路面图像对应的超像素的路面特征类别、每个路面特征类别的置信度。
10.根据权利要求1所述的一种清扫车清扫刷角度自适应调整方法，其特征在于，根据相邻两帧路面图像对应的最终超像素图像中相对应的超像素的路面特征类别及置信度控制清扫刷进行调整的步骤包括：
若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别一致，则该路面特征类别即为该超像素的最终路面特征类别；若相邻两帧路面图像的最终超像素图像中相对应的两个超像素的路面特征类别不一致，则选择两个路面特征类别中置信度大的超像素对应的路面特征类别作为该超像素的最终路面特征类别；
当最终路面特征类别为垃圾路面特征类别时，则根据垃圾的位置，调整清扫刷的高度、角度；当最终路面特征类别为坑洼路面特征类别时，则根据坑洼的位置，降低清扫刷的高度；当最终路面特征类别为障碍物路面特征类别时，则根据障碍物的位置，升高清扫刷的高度。
CN202210817517.4A 2022-07-13 2022-07-13 清扫车清扫刷角度自适应调整方法 Active CN114882468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210817517.4A CN114882468B (zh) 2022-07-13 2022-07-13 清扫车清扫刷角度自适应调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210817517.4A CN114882468B (zh) 2022-07-13 2022-07-13 清扫车清扫刷角度自适应调整方法

Publications (2)

Publication Number Publication Date
CN114882468A true CN114882468A (zh) 2022-08-09
CN114882468B CN114882468B (zh) 2022-09-23

Family

ID=82683520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210817517.4A Active CN114882468B (zh) 2022-07-13 2022-07-13 清扫车清扫刷角度自适应调整方法

Country Status (1)

Country Link
CN (1) CN114882468B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049649A (zh) * 2022-08-12 2022-09-13 山东振鹏建筑钢品科技有限公司 基于锈蚀程度的钢筋打磨除锈控制方法
CN115311286A (zh) * 2022-10-12 2022-11-08 南通佳布鲁服装有限公司 一种染色纺织品的染色缺陷识别方法
CN115601630A (zh) * 2022-12-15 2023-01-13 山东天意装配式建筑装备研究院有限公司（Cn） 用于墙板模具自动清理机的污渍识别方法
CN117442895A (zh) * 2023-12-26 2024-01-26 广州中科医疗美容仪器有限公司 基于机器学习的超声自动控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140119656A1 (en) * 2012-10-31 2014-05-01 Environmental Systems Research Institute Scale-invariant superpixel region edges
WO2021077847A1 (zh) * 2019-10-23 2021-04-29 北京建筑大学 一种基于高分遥感影像的海水污染区域识别方法和设备
CN113362293A (zh) * 2021-05-27 2021-09-07 西安理工大学 一种基于显著性的sar图像舰船目标快速检测方法
JP2021144253A (ja) * 2018-05-22 2021-09-24 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
CN114481920A (zh) * 2022-02-28 2022-05-13 华侨大学 一种盘刷系统及扫洗车
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140119656A1 (en) * 2012-10-31 2014-05-01 Environmental Systems Research Institute Scale-invariant superpixel region edges
JP2021144253A (ja) * 2018-05-22 2021-09-24 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
WO2021077847A1 (zh) * 2019-10-23 2021-04-29 北京建筑大学 一种基于高分遥感影像的海水污染区域识别方法和设备
CN113362293A (zh) * 2021-05-27 2021-09-07 西安理工大学 一种基于显著性的sar图像舰船目标快速检测方法
CN114481920A (zh) * 2022-02-28 2022-05-13 华侨大学 一种盘刷系统及扫洗车
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何冰等: "基于超像素和深度神经网络的高压输电线路环境检测", 《计算机系统应用》 *
张慧珍等: "基于超像素分割与闪频特征判别的视频火焰检测", 《数据采集与处理》 *
雷涛等: "基于快速SLIC的图像超像素算法", 《计算机科学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049649A (zh) * 2022-08-12 2022-09-13 山东振鹏建筑钢品科技有限公司 基于锈蚀程度的钢筋打磨除锈控制方法
CN115311286A (zh) * 2022-10-12 2022-11-08 南通佳布鲁服装有限公司 一种染色纺织品的染色缺陷识别方法
CN115601630A (zh) * 2022-12-15 2023-01-13 山东天意装配式建筑装备研究院有限公司（Cn） 用于墙板模具自动清理机的污渍识别方法
CN117442895A (zh) * 2023-12-26 2024-01-26 广州中科医疗美容仪器有限公司 基于机器学习的超声自动控制方法及系统
CN117442895B (zh) * 2023-12-26 2024-03-05 广州中科医疗美容仪器有限公司 基于机器学习的超声自动控制方法及系统

Also Published As

Publication number Publication date
CN114882468B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN114882468B (zh) 清扫车清扫刷角度自适应调整方法
AU2009295350B2 (en) Detection of vehicles in an image
CN114708464B (zh) 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
JP2019096320A (ja) きれい又はよごれたキャプチャ画像判定
CN108876797B (zh) 一种基于Spiking-SOM神经网络聚类的图像分割系统及方法
CN102883175B (zh) 深度图提取、判断视频场景切换及深度图边缘优化方法
CN107045629A (zh) 一种多车道线检测方法
CN1897015A (zh) 基于机器视觉的车辆检测和跟踪方法及系统
CN115018801A (zh) 一种道路清洁度检测方法以及智能清扫方法
CN101383004A (zh) 一种红外和可见光图像相结合的乘客目标检测方法
CN106056165B (zh) 一种基于超像素关联性增强Adaboost分类学习的显著性检测方法
CN112750106A (zh) 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质
CN111027475A (zh) 一种基于视觉的实时交通信号灯识别方法
CN113706566B (zh) 一种基于边缘检测的加香喷雾性能检测方法
CN110276764A (zh) 基于K值估计的K-Means水下图像背景分割改进算法
CN106327488A (zh) 一种自适应的前景检测方法及其检测装置
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN112069985A (zh) 基于深度学习的高分辨率大田图像稻穗检测与计数方法
CN115131325A (zh) 一种基于图像识别分析的断路器故障运维监测方法及系统
CN111753749A (zh) 一种基于特征匹配的车道线检测方法
CN110648330A (zh) 摄像头玻璃的缺陷检测方法
CN114881869A (zh) 一种巡检视频图像预处理方法
CN109766846B (zh) 一种基于视频的自适应多车道车流检测方法及系统
CN107784258A (zh) 地铁人流密度实时监测方法
CN109191482B (zh) 一种基于区域自适应光谱角阈值的图像合并分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant