CN108205324B - 一种智能道路清理装置 - Google Patents

一种智能道路清理装置 Download PDF

Info

Publication number
CN108205324B
CN108205324B CN201810005623.6A CN201810005623A CN108205324B CN 108205324 B CN108205324 B CN 108205324B CN 201810005623 A CN201810005623 A CN 201810005623A CN 108205324 B CN108205324 B CN 108205324B
Authority
CN
China
Prior art keywords
image
pixel
pixel point
target
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810005623.6A
Other languages
English (en)
Other versions
CN108205324A (zh
Inventor
张丽
万徽
李泊辰
李文清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaowei Technology Nanjing Co ltd
Original Assignee
Yaowei Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaowei Technology Nanjing Co ltd filed Critical Yaowei Technology Nanjing Co ltd
Priority to CN201810005623.6A priority Critical patent/CN108205324B/zh
Publication of CN108205324A publication Critical patent/CN108205324A/zh
Application granted granted Critical
Publication of CN108205324B publication Critical patent/CN108205324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H1/00—Removing undesirable matter from roads or like surfaces, with or without moistening of the surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种智能道路清理装置，包括信息采集模块、控制器、中央处理模块、移动机构和清理机构，其中：所述信息采集模块用于采集清理装置前方的信息，并将采集到的信息上传至所述中央处理模块；所述中央处理模块用于根据从所述信息采集模块采集到的信息，识别出装置前方的障碍物以或垃圾所在的位置及距离，确定装置的移动和清理动作，并将相应的动作指令发送至所述控制器；所述控制器用于根据接收到的动作指令控制所述移动模块和清理模块进行移动和道路清理；所述清理机构设置于装置下方，用于在所述控制器的控制下进行垃圾的清理和收集；所述移动机构设置于所述清理机构下方，用于在所述控制器的控制下实现整个装置的移动。

Description

一种智能道路清理装置
技术领域
本发明涉及道路检测技术领域，特别是一种智能道路清理装置。
背景技术
随室外道路街道的清扫，历来是一项繁重、危险、又脏又累的工作，要消耗大量的人力物力。特别是在清扫过程中如果会有垃圾出现在公路上，环卫工人清扫时会与高速行驶的车辆产生近距离接触，容易发生被撞事故，对道路清洁人员的生命安全造成了严重威胁。在人均车辆不断增加的情况下，如何在道路清洁的同时保证道路清洁人员的生命安全是一个急需解决的问题。
随着传感器技术及处理器技术的发展，智能设备技术朝着越来越智能化的方向发展。计算机视觉理论的形成和发展，让智能设备具备了类似人类双眼的视觉系统，让智能设备可以根据视觉系统得更多的环境信息。立体视觉技术主要利用由两幅或两幅以上的图像重构得到的三维信息，在此基础上进行障碍物检测和路况检测，最终实现避障和导航等功能。
发明内容
针对上述问题，本发明旨在提供一种智能道路清理装置。
本发明的目的采用以下技术方案来实现：
一种智能道路清理装置，包括信息采集模块、控制器模块、中央处理模块、移动机构和清理机构，其中：
所述信息采集模块用于采集清理装置前方的信息，并将采集到的信息上传至所述中央处理模块；
所述中央处理模块用于根据从所述信息采集模块采集到的信息，识别出装置前方的障碍物以或垃圾所在的位置及距离，确定装置的移动和清理动作，并将相应的动作指令发送至所述控制器；
所述控制器用于根据接收到的动作指令控制所述移动模块和清理模块进行移动和道路清理；
所述清理机构设置于装置下方，用于在所述控制器的控制下进行垃圾的清理和收集；
所述移动机构设置于所述清理机构下方，用于在所述控制器的控制下实现整个装置的移动。
优选地，所述信息采集模块包括双目摄像头和超声波传感器，其中：
所述双目摄像头用于采集清理装置前方的目标区域图像；
所述超声波传感器用于探测清理装置前方的障碍物或垃圾的位置和距离。
优选地，所述中央处理模块包括探测单元和决策单元，其中：
所述探测单元用于根据从所述超声波传感器探测到的障碍物或垃圾的位置标记感兴趣区域，通过对从所述双目摄像头获取的目标区域图像进行处理，识别出感兴趣区域中障碍物或垃圾的具体位置，并传输到所述决策单元；
所述决策单元用于根据障碍物或垃圾的具体位置，生成合适的动作指令，并将所述指令发送到控制器中。
本发明的有益效果为：本发明通过设置信息采集模块获取装置前方的信息，经过处理后自动获取装置前方的障碍物或垃圾的位置信息，并自动生成相应的控制指令控制装置到达垃圾所在的位置进行清理或者避开装置前方的障碍物，达到道路智能清理的目的，自动化程度高，能够有效地降低了人力成本。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的框架结构图；
图2为本发明信息采集模块的框架结构图；
图3为本发明中央处理模块的框架结构图；
图4为本发明探测单元的框架结构图。
附图标记：
信息采集模块1、中央处理模块2、控制器3、移动机构4、清理机构5、双目摄像头10、超声波传感器11、探测单元20、决策单元21、三维地图建立子单元200、图像标定子单元202、图像预处理子单元204、目标分割子单元206和目标识别子单元208
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1，一种智能道路清理装置，其特征在于，包括信息采集模块1、中央处理模块2、控制器3、移动机构4和清理机构5，其中：
所述信息采集模块1用于采集清理装置前方的信息，并将采集到的信息上传至所述中央处理模块2；
所述中央处理模块2用于根据从所述信息采集模块1采集到的信息，识别出装置前方的障碍物以或垃圾所在的位置及距离，确定装置的移动和清理动作，并将相应的动作指令发送至所述控制器3；
所述控制器3用于根据接收到的动作指令控制所述移动模块和清理模块进行移动和道路清理；
所述清理机构5设置于装置下方，用于在所述控制器3的控制下进行垃圾的清理和收集；
所述移动机构4设置于所述清理机构5下方，用于在所述控制器3的控制下实现整个装置的移动。
优选地，参见图2，所述信息采集模块1包括双目摄像头10和超声波传感器11，
所述双目摄像头10用于采集清理装置前方的目标区域图像；
所述超声波传感器11用于探测清理装置前方的障碍物或垃圾的位置和距离。
优选地，参见图3，所述中央处理模块2包括探测单元20和决策单元21，其中
所述探测单元20用于根据从所述超声波传感器11探测到的障碍物或垃圾的位置标记感兴趣区域，通过对从所述双目摄像头10获取的目标区域图像进行处理，识别出感兴趣区域中障碍物或垃圾的具体位置，并传输到所述决策单元21；
所述决策单元21用于根据障碍物或垃圾的具体位置，生成合适的动作指令，并将所述指令发送到控制器3中。
本发明上述实施例，通过设置信息采集模块获取装置前方的信息，经过处理后自动获取装置前方的障碍物或垃圾的位置信息，并自动生成相应的控制指令控制装置到达垃圾所在的位置进行清理或者避开装置前方的障碍物，达到道路智能清理的目的，自动化程度高，能够有效地降低了人力成本。
优选地，参见图4，所述探测单元20包括三维地图建立子单元200、图像标定子单元202、图像预处理子单元204、目标分割子单元206和目标识别子单元208，其中：
所述地图建立子单元用于根据从所述超声波传感器11获取的信息建立三维地图，并标记感兴趣区域；
所述图像标定子单元202用于对从所述双目摄像头10采集的目标区域图像进行标定处理，将目标区域图像的二维坐标转化成与所述三维地图对应的三维坐标；
所述图像预处理子单元204用于对从所述双目摄像头10采集的目标区域图像进行预处理，获取预处理后的目标区域图像；
所述目标分割子单元206用于对所述预处理后的目标区域图像中的障碍物或垃圾进行分割处理，获取分割目标图像；
所述目标识别子单元208用于对所述目标分割图像进行识别处理，并根据分割目标在图像中所在的坐标位置、标定处理结果及目视觉视差原理，获取障碍物或垃圾的具体位置。
本优选实施例，通过设置地图建立子单元，根据从超声波传感器获取的信息建立三维地图，并且根据从超声波传感器反馈的信息在三维地图上标记感兴趣区域，然后结合从双目摄像头获取的图像信息对感兴趣区域的目标进行进一步的判断识别，进而获取障碍物或垃圾的准确位置，有助于智能清理装置在工作过程中不断调整运动路径，提高了装置的智能程度。
优选地，所述图像预处理子单元204用于对从所述双目摄像头10采集的目标区域图像进行预处理，获取预处理后的目标区域图像，具体为：
(1)将目标区域图像中每个像素点(x,y)的RGB灰度值转换到HSV颜色空间；
(2)对目标区域图像中每个像素点(x,y)，选择以像素点(x,y)为中心的一个12×12邻域图像块，对这个邻域图像块进行小波变换，获取像素点(x,y)的局部噪声水平Nn(x,y)：
Figure BDA0001538523950000041
式中，Nn(x,y)表示局部噪声水平，Median{·}表示中值函数，{|γHH|}表示邻域图像块进行小波变换获取的第一层HH子带系数绝对值集合；
(3)获取像素点(x,y)的背景值R(x,y)和梯度值T(x,y)
Figure BDA0001538523950000042
Figure BDA0001538523950000043
式中，R(x,y)表示像素点(x,y)的背景值，V(x+α,y+β)表示HSV颜色空间中像素点(x+α,y+β)的亮度值，T(x,y)表示像素点(x,y)的梯度值，Tx(x,y)表示像素点(x,y)的水平方向梯度，Ty(x,y)示像素点(x,y)的竖直方向梯度；
如果
Figure BDA0001538523950000045
则利用经验函数获取增强后的背景值R′(x,y)和梯度值T′(x,y)：
Figure BDA0001538523950000044
式中，μ表示设定的增强阈值，η表示设定的增强效果调整因子，Nn(x,y)表示像素点(x,y)的局部噪声水平，R′(x,y)表示像素点(x,y)增强后的背景值，T′(x,y)表示像素点(x,y)增强后的梯度值，θαβ表示设定的经验标量系数，其中θαβ表示2×1的系数向量，则θαβ中总共包括20个经验标量系数；
否则，则设定R′(x,y)＝R(x,y)，T′(x,y)＝T(x,y)；
优选地，μ＝1，η＝3；
(4)获取对比度增强模型参数P(x,y)和Q(x,y)
Figure BDA0001538523950000051
Figure BDA0001538523950000052
其中，
Figure BDA0001538523950000053
式中，ω(x,y,x′,y′)表示权重系数，Φ(x,y)表示以像素点(x,y)为中心的4×4的矩形区域的像素点集合，T(x′,y′)和T′(x′,y′)分别表示像素点(x′,y′)增强前后的梯度值，R(x′,y′)和R′(x′,y′)分别表示像素点(x′,y′)增强前后的背景值，θ(x,y)表示归一化系数，
Figure BDA0001538523950000054
和
Figure BDA0001538523950000055
分别表示空间域和值域的模糊程度控制因子；
(5)利用下列对比度增强模型对目标区域图像进行对比度增强：
V′(x,y)＝P(x,y)·V(x,y)+Q(x,y)
式中，V′(x,y)表示对比度增强后像素点(x,y)在HSV颜色空间中的亮度值，V(x,y)表示对比度增强前像素点(x,y)在HSV颜色空间中的亮度值，P(x,y)和Q(x,y)分别表示对比度增强模型参数；
(6)将增强后的每个像素点从HSV颜色空间变换到RGB颜色空间，得到预处理后的目标区域图像。
本优选实施例，采用上述方法对目标区域图像进行预处理，根据图像中每个像素点的亮度情况，自适应地对图像进行亮度增强处理，同时能够有效地去除图像中的噪声干扰，使得目标区域图像的对比度更高，有助于后续对目标区域图像的进一步处理。
优选地，所述目标分割子单元206用于对所述预处理后的目标区域图像中的障碍物或垃圾进行分割处理，获取分割目标图像，具体包括：
(1)将从双目摄像头10的两个摄像头分别获取的对应的两幅预处理后的目标区域图像分别标记为S’1和S’2；
(2)采用图像分割算法对预处理后的目标区域图像S’1进行目标分割，其中预处理后的目标区域图像S’1中每个像素点可以表示为
Figure BDA0001538523950000069
其中x＝1,2,…,X，X表示像素点的总数，
Figure BDA00015385239500000610
表示该像素点为表示目标的前景，
Figure BDA00015385239500000611
表示该像素点为背景；
(3)采用轮廓抽取算法提取出目标的轮廓集合为Ψ＝{Ψ1,Ψ2,…,ΨC}，其中每个轮廓Ψc表示一条封闭曲线，c＝1,2,…,C，C表示轮廓集合中轮廓的总数，该向量记录了目标边界上的像素点位置
Figure BDA0001538523950000068
其中Lc表示轮廓Ψc中像素点的总数；
(4)将预处理后的目标区域图像S’1中轮廓集合Ψ中的每一个轮廓Ψc映射到预处理后的目标区域图像S’2中，获取目标在图像S’2的边界轮廓，具体为：
(41)构建状态迁移矩阵
Figure BDA00015385239500000612
，其中状态迁移矩阵
Figure BDA00015385239500000613
的尺寸为Lc×H，H表示视差的取值范围，H∈[dmin,dmax]，dmin和dmax分别表示视差取值的最小值和最大值，状态迁移矩阵
Figure BDA00015385239500000614
中每个元素
Figure BDA00015385239500000615
的取值为Est(x,e)，Est(x,e)表示S’1中像素点yx与S’2中视差为de的对应像素点的状态能量；
(42)采用自定义状态能量公式获取状态迁移矩阵
Figure BDA00015385239500000616
中每个元素
Figure BDA00015385239500000617
的状态能量Est(x,e)：
Figure BDA0001538523950000061
其中，
Figure BDA0001538523950000062
式中，Est(x,e)表示S’1中像素点yx与S’2中视差为de的对应像素点的状态能量，ve表示在S’2中与S’1中像素点yx视差为de的对应像素点，ve＝yx-de，E(yx,ve)表示像素点yx与像素点ve的目标能量函数，Ψs(yx,ve)表示像素点yx与像素点ve的视觉匹配代价，其中
Figure BDA0001538523950000063
Figure BDA0001538523950000064
Φ(yx)表示以像素点yx为中心的一个局部窗口其大小为w×w，Q(ym)＝1表示像素点ym属于前景，vn＝ym-de，Bh(ym)和Bh(vn)分别表示像素点ym和vn的R/G/B色度值，ω0表示对象边界权重，ω1表示对象平滑权重，ΨO(yx,ve)表示对象边界匹配代价，其中
Figure BDA0001538523950000065
Pr(O|yn)表示像素点vn属于前景的后岩概率，N(yx-yx-1)表示像素点yx和yx-1的平滑度代价，其中
Figure BDA0001538523950000066
Figure BDA0001538523950000067
βd表示设定的视差不连续阈值；
(43)对状态迁移矩阵
Figure BDA0001538523950000076
采用回溯算法，获取最优能量路径，将最优能量路径上的每个
Figure BDA0001538523950000077
对应的像素点yx映射到S’2中得到唯一对应轮廓点yx-de，得到预处理后的目标区域图像S’1中轮廓Ψc映射到预处理后的目标区域图像S’2后的最佳匹配轮廓Ψc‘；
(44)在预处理后的目标区域图像S’2中获取目标所有轮廓边界的最佳匹配轮廓，并根据映射的最佳匹配轮廓分割出目标，获取分割目标图像。
其中，由于从双目摄像头获取的图像为分别从两个摄像头获取的两幅图像，因此把从双目摄像头同时获取的两幅图像标记为对应的两幅图像。
本优选实施例，对预处理后对应的两幅目标区域图像进行目标分割处理，首先对其中一副目标区域图像进行目标分割，然后采用上述的方法在另外一副目标区域图像中获取分割目标的对应轮廓，能够保持目标轮廓在两幅对应的图像中的高度匹配，为之后根据双目视觉视差原理将目标在图像中的二维坐标准确地转换到三维地图的对应三维坐标，从而获取障碍物或垃圾的具体位置奠定了基础。
优选地，所述采用图像分割算法对预处理后的目标区域图像S’1进行目标分割，具体为：
(1)对预处理后的目标区域图像S’1进行阈值分割，获取目标的外接矩形作为初始图像轮廓，并在外接矩形上每隔4个像素点设置一个控制点p，作为初始轮廓控制点S＝(p1,p2,…,pK)，并将外接矩形的中心设定为动态轮廓中心η＝(Xη,Yη)；
(2)采用自定义能量方程获取每个轮廓控制点到其邻域位置的能量值：
Em,n＝α1(m)Emh1(m,n)+α2(m)Emh2(m,n)+α3(m)Eed(m,n)+η(m)Er(m,n)
式中，Em,n表示轮廓控制点pm到其邻域位置的能量值，m表示第m个轮廓控制点，n＝1,2,3,4，分别表示与轮廓控制点pm四周相邻的4个邻域像素点pm,n，Emh1(m,n)表示一阶连续性强制力，其中
Figure BDA0001538523950000075
表示各轮廓控制点之间的平均距离，|pm,n-pm-1|表示邻域像素点pm,n和轮廓控制点pm-1之间的距离，α1(m)表示设定的离散一阶系数，Emh2(m)表示二阶连续性强制力，其中Emh2(m,n)＝(|pm-1-pm,n|+|pm,n-pm+1|)2，|pm-pm+1|表示邻域像素点pm,n和轮廓控制点pm+1之间的距离，α2(m)表示设定的离散二阶系数，Eed(m,n)表示边缘能量，其中
Figure BDA0001538523950000073
L(pm,n,pm-1)表示邻域像素点pm,n和轮廓控制点pm-1之间轮廓线，I(x,y)表示像素点(x,y)的梯度值，
Figure BDA0001538523950000074
表示邻域像素点pm,n和轮廓控制点pm-1之间轮廓线上所有像素点的平均梯度值，K表示邻域像素点pm,n和轮廓控制点pm-1之间轮廓线上像素点的总数，γ表示设定的边缘能量因子，α3(m)表示边缘能量系数，Er(m,n)表示外加控制力，其中Er(m,n)＝|R(pm,n)-R(pm)|2，R(pm,n)和R(pm)分别表示邻域像素点pm,n和轮廓控制点pm的灰度值，η(m)表示外加控制力系数，其中
Figure BDA0001538523950000081
表示轮廓控制点pm的邻域灰度平均值，
Figure BDA0001538523950000082
和λ2分别表示整个图像的灰度平均值和方差，δ1和δ2表示设定的灰度判定因子，其中δ1>δ2；
(3)若存在轮廓控制点pm到其邻域位置的能量值Em,n小于设定的能量阈值EmQ，则使轮廓控制点pm移动到对应的邻域像素点pm,n所在的位置，并且设定能量阈值EmQ＝Em,n；
(4)统计所有发生移动的轮廓控制点的数目N；
(5)若N小于设定的阈值，或者达到设定最大迭代次数，则依次连接当前所有轮廓控制点，作为目标的轮廓并进行分割处理；否则，重复(2)-(5)。
本优选实施例，采用上述的方法对其中一副预处理后的目标区域图像进行目标分割处理，首先通过简单的阈值处理获取目标的外接矩形，通过在外接矩形上设置轮廓控制点，并且控制轮廓控制点的一步一步收缩最终获取目标的轮廓，能够适应不同目标的外部轮廓特征准确地获取目标轮廓并进行分割。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (2)

1.一种智能道路清理装置，其特征在于，包括信息采集模块、控制器、中央处理模块、移动机构和清理机构，其中：
所述信息采集模块用于采集清理装置前方的信息，并将采集到的信息上传至所述中央处理模块；
所述中央处理模块用于根据从所述信息采集模块采集到的信息，识别出装置前方的障碍物以或垃圾所在的位置及距离，确定装置的移动和清理动作，并将相应的动作指令发送至所述控制器；
所述控制器用于根据接收到的动作指令控制所述移动模块和清理模块进行移动和道路清理；
所述清理机构设置于装置下方，用于在所述控制器的控制下进行垃圾的清理和收集；
所述移动机构设置于所述清理机构下方，用于在所述控制器的控制下实现整个装置的移动；
其中，所述信息采集模块包括双目摄像头和超声波传感器，
所述双目摄像头用于采集清理装置前方的目标区域图像；
所述超声波传感器用于探测清理装置前方的障碍物或垃圾的位置和距离；
所述中央处理模块包括探测单元和决策单元，其中
所述探测单元用于根据从所述超声波传感器探测到的障碍物或垃圾的位置标记感兴趣区域，通过对从所述双目摄像头获取的目标区域图像进行处理，识别出感兴趣区域中障碍物或垃圾的具体位置，并传输到所述决策单元；
所述决策单元用于根据障碍物或垃圾的具体位置，生成合适的动作指令，并将所述指令发送到控制器中；
其中，所述探测单元包括三维地图建立子单元、图像标定子单元、图像预处理子单元、目标分割子单元和目标识别子单元，其中：
所述地图建立子单元用于根据从所述超声波传感器获取的信息建立三维地图，并标记感兴趣区域；
所述图像标定子单元用于对从所述双目摄像头采集的目标区域图像进行标定处理，将目标区域图像的二维坐标转化成与所述三维地图对应的三维坐标；
所述图像预处理子单元用于对从所述双目摄像头采集的目标区域图像进行预处理，获取预处理后的目标区域图像；
所述目标分割子单元用于对所述预处理后的目标区域图像中的障碍物或垃圾进行分割处理，获取分割目标图像；
所述目标识别子单元用于对所述目标分割图像进行识别处理，并根据分割目标在图像中所在的坐标位置、标定处理结果及目视觉视差原理，获取障碍物或垃圾的具体位置；
所述目标分割子单元用于对所述预处理后的目标区域图像中的障碍物或垃圾进行分割处理，获取分割目标图像，具体包括：
(1)将从双目摄像头的两个摄像头分别获取的对应的两幅预处理后的目标区域图像分别标记为S’1和S’2；
(2)采用图像分割算法对预处理后的目标区域图像S’1进行目标分割，其中预处理后的目标区域图像S’1中每个像素点可以表示为
Figure FDA0002635871900000025
其中x＝1,2,…,X，X表示像素点的总数，
Figure FDA0002635871900000026
表示该像素点为表示目标的前景，
Figure FDA0002635871900000024
表示该像素点为背景；
(3)采用轮廓抽取算法提取出目标的轮廓集合为Ψ＝{Ψ1,Ψ2,…,ΨC}，其中每个轮廓Ψc表示一条封闭曲线，c＝1,2,…,C，C表示轮廓集合中轮廓的总数，该向量记录了目标边界上的像素点位置
Figure FDA0002635871900000023
其中Lc表示轮廓Ψc中像素点的总数；
(4)将预处理后的目标区域图像S’1中轮廓集合Ψ中的每一个轮廓Ψc映射到预处理后的目标区域图像S’2中，获取目标在图像S’2的边界轮廓，具体为：
(41)构建状态迁移矩阵
Figure FDA0002635871900000029
其中状态迁移矩阵
Figure FDA00026358719000000210
的尺寸为Lc×H，H表示视差的取值范围，H∈[dmin,dmax]，dmin和dmax分别表示视差取值的最小值和最大值，状态迁移矩阵
Figure FDA00026358719000000214
中每个元素
Figure FDA00026358719000000213
的取值为Est(x,e)，Est(x,e)表示S’1中像素点yx与S’2中视差为de的对应像素点的状态能量；
(42)采用自定义状态能量公式获取状态迁移矩阵
Figure FDA0002635871900000027
中每个元素
Figure FDA0002635871900000028
的状态能量Est(x,e)：
Figure FDA0002635871900000021
其中，
Figure FDA0002635871900000022
式中，Est(x,e)表示S’1中像素点yx与S’2中视差为de的对应像素点的状态能量，ve表示在S’2中与S’1中像素点yx视差为de的对应像素点，ve＝yx-de，E(yx,ve)表示像素点yx与像素点ve的目标能量函数，Ψs(yx,ve)表示像素点yx与像素点ve的视觉匹配代价，其中
Figure FDA00026358719000000211
Figure FDA00026358719000000212
Φ(yx)表示以像素点yx为中心的一个局部窗口，其大小为w×w，Q(ym)＝1表示像素点ym属于前景，vn＝ym-de，Bh(ym)和Bh(vn)分别表示像素点ym和vn的R/G/B色度值，ω0表示对象边界权重，ω1表示对象平滑权重，ΨO(yx,ve)表示对象边界匹配代价，其中
Figure FDA0002635871900000034
Pr(O|yn)表示像素点vn属于前景的后验 概率，N(yx-yx-1)表示像素点yx和yx-1的平滑度代价，其中
Figure FDA0002635871900000035
Figure FDA0002635871900000036
βd表示设定的视差不连续阈值；
(43)对状态迁移矩阵
Figure FDA0002635871900000039
采用回溯算法，获取最优能量路径，将最优能量路径上的每个
Figure FDA0002635871900000037
对应的像素点yx映射到S’2中得到唯一对应轮廓点yx-de，得到预处理后的目标区域图像S’1中轮廓Ψc映射到预处理后的目标区域图像S’2后的最佳匹配轮廓Ψc ‘；
(44)在预处理后的目标区域图像S’2中获取目标所有轮廓边界的最佳匹配轮廓，并根据映射的最佳匹配轮廓分割出目标，获取分割目标图像。
2.根据权利要求1所述的一种智能道路清理装置，其特征在于，所述图像预处理子单元用于对从所述双目摄像头采集的目标区域图像进行预处理，获取预处理后的目标区域图像，具体为：
(1)将目标区域图像中每个像素点(x,y)的RGB灰度值转换到HSV颜色空间；
(2)对目标区域图像中每个像素点(x,y)，选择以像素点(x,y)为中心的一个12×12邻域图像块，对这个邻域图像块进行小波变换，获取像素点(x,y)的局部噪声水平Nn(x,y)：
Figure FDA0002635871900000031
式中，Nn(x,y)表示局部噪声水平，Mediαn{·}表示中值函数，{|γHH|}表示邻域图像块进行小波变换获取的第一层HH子带系数绝对值集合；
(3)获取像素点(x,y)的背景值R(x,y)和梯度值T(x,y)
Figure FDA0002635871900000032
Figure FDA0002635871900000033
式中，R(x,y)表示像素点(x,y)的背景值，V(x+α,y+β)表示HSV颜色空间中像素点(x+α,y+β)的亮度值，T(x,y)表示像素点(x,y)的梯度值，Tx(x,y)表示像素点(x,y)的水平方向梯度，Ty(x,y)示像素点(x,y)的竖直方向梯度；
如果
Figure FDA0002635871900000038
则利用经验函数获取增强后的背景值R′(x,y)和梯度值T′(x,y)：
Figure FDA0002635871900000041
式中，μ表示设定的增强阈值，η表示设定的增强效果调整因子，Nn(x,y)表示像素点(x,y)的局部噪声水平，R′(x,y)表示像素点(x,y)增强后的背景值，T′(x,y)表示像素点(x,y)增强后的梯度值，θαβ表示设定的经验标量系数，其中θαβ表示2×1的系数向量，则θαβ中总共包括20个经验标量系数；
否则，则设定R′(x,y)＝R(x,y)，T′(x,y)＝T(x,y)；
(4)获取对比度增强模型参数P(x,y)和Q(x,y)
Figure FDA0002635871900000042
Figure FDA0002635871900000043
其中，
Figure FDA0002635871900000044
式中，ω(x,y,x′,y′)表示权重系数，Φ(x,y)表示以像素点(x,y)为中心的4×4的矩形区域的像素点集合，T(x′,y′)和T′(x′,y′)分别表示像素点(x′,y′)增强前后的梯度值，R(x′,y′)和R′(x′,y′)分别表示像素点(x′,y′)增强前后的背景值，θ(x,y)表示归一化系数，
Figure FDA0002635871900000045
和
Figure FDA0002635871900000046
分别表示空间域和值域的模糊程度控制因子；
(5)利用下列对比度增强模型对目标区域图像进行对比度增强：
V′(x,y)＝P(x,y)·V(x,y)+Q(x,y)
式中，V′(x,y)表示对比度增强后像素点(x,y)在HSV颜色空间中的亮度值，V(x,y)表示对比度增强前像素点(x,y)在HSV颜色空间中的亮度值，P(x,y)和Q(x,y)分别表示对比度增强模型参数；
(6)将增强后的每个像素点从HSV颜色空间变换到RGB颜色空间，得到处理后的目标区域图像。
CN201810005623.6A 2018-01-03 2018-01-03 一种智能道路清理装置 Active CN108205324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810005623.6A CN108205324B (zh) 2018-01-03 2018-01-03 一种智能道路清理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810005623.6A CN108205324B (zh) 2018-01-03 2018-01-03 一种智能道路清理装置

Publications (2)

Publication Number Publication Date
CN108205324A CN108205324A (zh) 2018-06-26
CN108205324B true CN108205324B (zh) 2021-01-15

Family

ID=62606167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810005623.6A Active CN108205324B (zh) 2018-01-03 2018-01-03 一种智能道路清理装置

Country Status (1)

Country Link
CN (1) CN108205324B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400325B (zh) * 2019-03-26 2020-06-02 杭州天水环境工程有限公司 智能化河道管控平台
CN110378188A (zh) * 2019-04-20 2019-10-25 绿桥(泰州)生态修复有限公司 双重目标检测平台
CN111832362A (zh) * 2019-04-20 2020-10-27 绿桥(泰州)生态修复有限公司 双重目标检测方法
CN110863460A (zh) * 2019-11-21 2020-03-06 苏州溪能环保科技有限公司 一种路面清洁的智能机器人控制系统
CN110989590B (zh) * 2019-11-30 2020-10-27 江苏悦达专用车有限公司 一种扫洗车智能清洁管理系统及其清洁方法
CN112306065A (zh) * 2019-11-30 2021-02-02 江苏悦达专用车有限公司 一种扫洗车智能环境识别控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127082A (zh) * 2007-08-06 2008-02-20 北京航空航天大学 一种快速退火的基于mrf的sar图像分割方法
CN102750711A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于图像分割和运动估计的双目视频深度图求取方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110086990A (ko) * 2010-01-25 2011-08-02 금오공과대학교 산학협력단 컬러 레이저 프린터 판별 방법
CN102768022B (zh) * 2012-07-20 2015-04-15 长安大学 采用数码照相技术的隧道围岩变形检测方法
CN103853724B (zh) * 2012-11-29 2017-10-17 三星电子（中国）研发中心 多媒体数据分类方法及装置
CN103194991B (zh) * 2013-04-03 2016-01-13 西安电子科技大学 智能机器人道路清理系统及清理方法
CN105562361B (zh) * 2015-12-23 2017-12-22 西安工程大学 一种织物分拣机器人自主分拣方法
CN106548461B (zh) * 2016-10-25 2020-02-07 湘潭大学 图像去雾方法
CN107480643B (zh) * 2017-08-18 2020-06-26 浙江爱源环境工程有限公司 一种智能垃圾分类处理的机器人

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127082A (zh) * 2007-08-06 2008-02-20 北京航空航天大学 一种快速退火的基于mrf的sar图像分割方法
CN102750711A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于图像分割和运动估计的双目视频深度图求取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Active contours driven by region-scalable fitting and optimized Laplacian of Gaussian energy for image segmentation;Keyan Ding, Linfang Xiao, Guirong Weng;《Signal Processing》;20170531;第134卷;全文 *
基于像素聚类的彩色图像分割技术研究;司马海峰;《中国博士学位论文全文数据库》;20160415(第4期);全文 *
基于图割优化的能量最小化模型图像分割方法;兰红，柳显涛;《计算机应用研究》;20121130;第29卷(第11期);全文 *

Also Published As

Publication number Publication date
CN108205324A (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
CN108205324B (zh) 一种智能道路清理装置
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN108830819B (zh) 一种深度图像与红外图像的图像融合方法及装置
CN107045629B (zh) 一种多车道线检测方法
CN104408460B (zh) 一种车道线检测及跟踪检测方法
CN111360780A (zh) 一种基于视觉语义slam的垃圾捡拾机器人
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN109903328B (zh) 一种应用于智能手机的物体体积测量的装置及方法
CN108189757B (zh) 一种行车安全提示系统
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN102938057B (zh) 一种车辆阴影消除方法及装置
CN108217045B (zh) 一种用于数据中心物理设备上下架的智能机器人
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN111368797A (zh) 一种基于路端单目摄像头的目标实时测距方法
CN109784216B (zh) 基于概率图的车载热成像行人检测RoIs提取方法
CN111652033A (zh) 基于OpenCV的车道线检测方法
CN111783675A (zh) 基于车辆语义感知的智慧城市视频自适应hdr控制方法
CN105426928B (zh) 一种基于Haar特征和EOH特征的行人检测方法
CN115166717A (zh) 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法
Jiang et al. Foreign object recognition technology for port transportation channel based on automatic image recognition
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN111432172A (zh) 基于图像融合的围栏报警方法及系统
Chen et al. Autonomous recognition and positioning of shield segments based on red, green, blue and depth information
CN112395985B (zh) 基于无人飞行器图像的地面无人车辆视觉道路检测方法
CN111783580B (zh) 基于人腿检测的行人识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhang Li

Inventor after: Wan Hui

Inventor after: Li Bochen

Inventor after: Li Wenqing

Inventor before: Li Wenqing

CB03 Change of inventor or designer information
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201230

Address after: Room 609, block B, Chuangzhi building, 17 Xinghuo Road, Jiangbei new district, Nanjing City, Jiangsu Province, 211500

Applicant after: Yaowei Technology Nanjing Co.,Ltd.

Address before: 234000 North pass street, Suzhou, Anhui

Applicant before: Li Wenqing

GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Room 1020, 10 / F, tower C, Tengfei building, 88 Jiangmiao Road, yanchuangyuan, Nanjing area, China (Jiangsu) pilot Free Trade Zone, Nanjing 211800, Jiangsu Province

Patentee after: Yaowei Technology Nanjing Co.,Ltd.

Address before: Room 609, block B, Chuangzhi building, 17 Xinghuo Road, Jiangbei new district, Nanjing City, Jiangsu Province, 211500

Patentee before: Yaowei Technology Nanjing Co.,Ltd.

CP02 Change in the address of a patent holder
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An intelligent road cleaning device

Effective date of registration: 20230608

Granted publication date: 20210115

Pledgee: Bank of Nanjing Jiangbei District branch of Limited by Share Ltd.

Pledgor: Yaowei Technology Nanjing Co.,Ltd.

Registration number: Y2023320000314

PE01 Entry into force of the registration of the contract for pledge of patent right