CN103161133A - 基于机器视觉的智能道路清扫车及其控制方法 - Google Patents
基于机器视觉的智能道路清扫车及其控制方法 Download PDFInfo
- Publication number
- CN103161133A CN103161133A CN2013100575860A CN201310057586A CN103161133A CN 103161133 A CN103161133 A CN 103161133A CN 2013100575860 A CN2013100575860 A CN 2013100575860A CN 201310057586 A CN201310057586 A CN 201310057586A CN 103161133 A CN103161133 A CN 103161133A
- Authority
- CN
- China
- Prior art keywords
- image
- car body
- value
- light source
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000004140 cleaning Methods 0.000 title abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000005286 illumination Methods 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 20
- 230000002000 scavenging effect Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 235000013361 beverage Nutrition 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 241000208140 Acer Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 208000037805 labour Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000105 evaporative light scattering detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于机器视觉的智能道路清扫车，包括设置有清扫机的车体，还包括装置：第一光源；第二光源；图像获取装置；图像提取装置，用于从所述路面图像中提取出目标区域的图像；图像处理装置，用于对所述目标区域的图像进行灰度调整并二值化处理后生成二值图像，然后遍历所述二值图像对应的二维数组以统计二维数组中值为1的元素个数；第一判断装置，用于判断所述值为1的元素个数是否大于预定值；自主转向装置，用于当第一判断装置的判断结果为是时向车体发出车体右转指令，当第一判断装置的判断结果为否时向车体发出车体左转指令。本发明基于机器视觉，能够自主转向和变速，具有实际推广的价值。
Description
技术领域
本发明涉及机器视觉系统，具体地，涉及基于机器视觉的智能道路清扫车及其控制方法。
背景技术
眼睛是人类视觉的重要组成部分，人眼视网膜表面分布着众多光接收细胞，他们可以接收光的能量，并转化成电信号传递给大脑皮质视区的接收器，形成视觉。一般人眼中有三种不同的锥状细胞：第一种主要感受红色，其最敏感点在565nm左右；第二种主要感受绿色，其最敏感点在535nm左右；第三种主要感受蓝色，其最敏感点在420nm左右。为了科学地定量描述和使用颜色，人们提出了各种颜色模型。RGB（Red，Green，Blue）颜色空间最常用的用途就是显示器系统。RGB模型用三维空间中的一个点来表示一种颜色。每个点有三个分量，分别代表红、绿、蓝亮度值，亮度值限定在[0,1]。在RGB模型立方体中，原点所对应的颜色为黑色，它的三个分量值都为0。距离原点最远的顶点对应的颜色为白色，它的三个分量值都为1。从黑到白的灰度值分布在这两个点的连线上，该线称为灰色线。立方体内其余各点对应不同的颜色。彩色立方体中有3个角分别对应于三基色——红、绿、蓝。
机器视觉主要研究用计算机来模拟人的视觉功能从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机器视觉应用系统包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块，如图1所示。首先采用CCD摄像机或其它图像拍摄装置将目标转换成图像信号，然后转变成数字化信号传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，进行各种运算来抽取目标的特征，根据预设的容许度和其他条件输出判断结果。
值得一提的是，广义的机器视觉的概念与计算机视觉没有多大区别，泛指使用计算机和数字图像处理技术达到对客观事物图像的识别、理解和控制。而工业应用中的机器视觉概念与普通计算机视觉、模式识别、数字图像处理有着明显区别，其特点是：
(1)机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、电光源照明技术、光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。这些技术在机器视觉中是并列关系，相互协调应用才能构成一个成功的工业机器视觉应用系统。
(2)机器视觉更强调实用性，要求能够适应工业生产中恶劣的环境，要有合理的性价比，要有通用的工业接口，能够由普通工作来操作，有较高的容错能力，和安全性，不会破坏工业产品必须有较强的通用性和可移植性。
(3)对机器视觉工程师来说，不仅要具有研究数学理论和编制计算机软件的能力，更需要的是光、机、电一体化的综合能力。
(4)机器视觉更强调实时性，要求高速度和高精度，因而计算机视觉和数字图像处理中的许多技术目前还难以应用于机器视觉，它们的发展速度远远超过其在工业生产中的实际应用速度。
在工业和实际生活中，机器视觉技术有着广阔的应用空间。而MATLAB是当今世界上使用最为广泛的数学软件之一，具有相当强大的数值运算、数据处理、系统分析、图形显示、以及符号运算等功能，是一个完整的数学平台。MATLAB是一个交互式系统，其基本的数据元素为阵列。摄像头所拍摄的图像基本以二维矩阵存储，MATLAB本来的名称含义就是矩阵实验室（Matrix Laboratory），在本质上提供了对图像的支持，所以在图像处理方面有很大优势。MATLAB为从事图像处理的工程师和研究人员提供了直观可靠的一体化开发工具，这些开发工具在医学、公安、国防、遥感遥测、显微镜技术、半导体测试、图像传感器设计等涉及图像处理的领域得到了广泛的应用。
机器视觉不会有人眼的疲劳，有着比人眼更高的精度和速度，借助红外线，紫外线，X射线，超声波等高新探测技术，机器视觉在探测不可视物体和高危险场景时，更具有其突出的优点。机器视觉技术现已得到广泛的应用。
目前，机器视觉已成功地应用于工业检测领域，大幅度地提高了产品的质量和可靠性，保证了生产的速度。例如产品包装印刷质量的检测、饮料行业的容器质量检测、饮料填充检测、饮料品封口检测、木材厂木料检测、半导体集成块封装质量检测、卷钢质量检测和水果分级检测等。在制药生产线上，使用机器视觉技术可以对药品包装进行检测，以确定是否装入正确的药粒。
进一步地，随着生活水平的提高，人们对空气质量的要求愈来愈高，都开始关注PM2.5等指标。另一方面，随着工业化的迅速发展，空气污染正日趋严重。缓解这一问题的重要途径之一，就是派遣清扫车洒扫路面的灰尘垃圾，以免扬入空中。既然清扫车如此重要，不免心生改进之念。第一个角度，清扫车司机一职占用了大量的劳动力，若能解放这一部分劳动力，就能有跟多的人投入到社会建设的其他方面中去。第二个角度，清扫车主要采取匀速缓慢行驶，对目标路面“一视同仁”，可以优化。第一个问题可以通过自动驾驶解决。对于第二个，如果路面非常干净，清扫车就快速通过，清扫机慢转。如果布满垃圾，就缓慢通过，清扫机快转。以上述两点为核心目标，本发明提出了一种利用安装有MATLAB的工控机作为上位机实时采集图像，控制清扫车沿人行道边缘并实现与垃圾数量负相关变速的方案。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于机器视觉的智能道路清扫车。
根据本发明的一个方面，提供一种基于机器视觉的智能道路清扫车，包括设置有清扫机的车体，还包括设置于车体上的如下装置：
第一光源，第一光源的照射方向垂直向下；
第二光源，第二光源的照射方向斜向向下；
图像获取装置，用于获取路面图像；
图像提取装置，用于从所述路面图像中提取出目标区域的图像，其中，所述第一光源和第二光源的照射方向均指向所述目标区域；
图像处理装置，用于对所述目标区域的图像进行灰度调整并二值化处理后生成二值图像，然后遍历所述二值图像对应的二维数组以统计二维数组中值为1的元素个数；
第一判断装置，用于判断所述值为1的元素个数是否大于预定值；
自主转向装置，用于当第一判断装置的判断结果为是时向车体发出车体右转指令，当第一判断装置的判断结果为否时向车体发出车体左转指令。
优选地，还包括设置于车体上的如下装置：
背景图像生成装置，用于生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
图像差分装置，用于将当前路面图像与背景图像进行差分处理得到垃圾图像；
统计装置，用于统计垃圾图像的二值图像中值为1的像素的数量；
自主变速装置，用于根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
优选地，所述图像提取装置将所述路面图像的中央部分提取出作为所述目标区域的图像。
根据本发明的另一个方面，还提供一种基于机器视觉的智能道路清扫车的控制方法，包括如下步骤：
-设置第一光源和第二光源，其中，第一光源的照射方向垂直向下，第二光源的照射方向斜向向下；
-获取路面图像；
-从所述路面图像中提取出目标区域的图像，其中，所述第一光源和第二光源的照射方向均指向所述目标区域；
-对所述目标区域的图像进行灰度调整并二值化处理后生成二值图像，然后遍历所述二值图像对应的二维数组以统计二维数组中值为1的元素个数；
-判断所述值为1的元素个数是否大于预定值；
-当第一判断装置的判断结果为是时向车体发出车体右转指令，当第一判断装置的判断结果为否时向车体发出车体左转指令。
优选地，还包括如下步骤：
-生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
-将当前路面图像与背景图像进行差分处理得到垃圾图像；
-统计垃圾图像的二值图像中值为1的像素的数量；
-根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
优选地，将所述路面图像的中央部分提取出作为所述目标区域的图像。
根据本发明的又一个方面，还提供一种基于机器视觉的智能道路清扫车，包括设置有清扫机的车体，还包括设置于车体上的如下装置：
第一光源，第一光源的照射方向垂直向下；
图像获取装置，用于获取路面图像；
图像提取装置，用于从所述路面图像中提取出目标区域的图像，其中，所述第一光源的照射方向指向所述目标区域；
图像处理装置，用于对所述目标区域的图像进行灰度调整并提取出路沿边缘；
自主转向装置，用于根据路沿边缘在目标区域的图像中的位置向车体发出车体右转指令或者车体左转指令。
优选地，还包括设置于车体上的如下装置：
背景图像生成装置，用于生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
图像差分装置，用于将当前路面图像与背景图像进行差分处理得到垃圾图像；
统计装置，用于统计垃圾图像的二值图像中值为1的像素的数量；
自主变速装置，用于根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
优选地，将所述路面图像的中央部分提取出作为所述目标区域的图像
根据本发明的再一个方面，还提供一种基于机器视觉的智能道路清扫车的控制方法，其特征在于，包括如下步骤：
-设置第一光源，其中，第一光源的照射方向垂直向下；
-获取路面图像；
-从所述路面图像中提取出目标区域的图像，其中，所述第一光源的照射方向指向所述目标区域；
-对所述目标区域的图像进行灰度调整并并提取出路沿边缘；
-根据路沿边缘在目标区域的图像中的位置向车体发出车体右转指令或者车体左转指令。
优选地，还包括如下步骤：
-生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
-将当前路面图像与背景图像进行差分处理得到垃圾图像；
-统计垃圾图像的二值图像中值为1的像素的数量；
-根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
优选地，将所述路面图像的中央部分提取出作为所述目标区域的图像
与现有技术相比，本发明基于机器视觉、通过下位机实现街道清扫车智能清扫的方法。上位机配有两个摄像头进行图像的实时采集，其中右侧的摄像头为自主转向系统的传感器；前方的为自主变速系统的传感器。自主转向系统用于控制小车沿人行道边缘行驶，自主变速系统调节车速与垃圾速度负相关。实验表明，具有实际推广的价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为典型工业机器视觉系统结构；
图2为本发明的一个实施例中的自主转向功能的原理示意图；
图3为图像获取、图像提取、图像处理、以及自主转向指令发送的流程示意图；
图4为下位机自主转向指令执行的原理示意图；
图5为背景图像生成的流程示意图；
图6为背景差分与自主变速指令发送的流程示意图；
图7为本发明的另一个实施例中的自主转向功能的原理示意图。
图中：
1为目标区域；
2为目标区域的明亮部分；
3为目标区域的黑暗部分；
4为第一光源；
5为第二光源。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图2所示，在一个实施例中，根据本发明提供的基于机器视觉的智能道路清扫车，包括设置有清扫机的车体，还包括设置于车体上的如下装置：
第一光源，第一光源的照射方向垂直向下；
第二光源，第二光源的照射方向斜向向下；
图像获取装置，用于获取路面图像；
图像提取装置，用于从所述路面图像中提取出目标区域的图像，其中，所述第一光源和第二光源的照射方向均指向所述目标区域，优选地，将所述路面图像的中央部分提取出作为所述目标区域的图像；
图像处理装置，用于对所述目标区域的图像进行灰度调整并二值化处理后生成二值图像，然后遍历所述二值图像对应的二维数组以统计二维数组中值为1的元素个数；
第一判断装置，用于判断所述值为1的元素个数是否大于预定值；
自主转向装置，用于当第一判断装置的判断结果为是时向车体发出车体右转指令，当第一判断装置的判断结果为否时向车体发出车体左转指令；
背景图像生成装置，用于生成背景图像，其中，所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值；
图像差分装置，用于将当前路面图像与背景图像进行差分处理得到垃圾图像；
统计装置，用于统计垃圾图像的二值图像中值为1的像素的数量；
自主变速装置，用于根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
如图7所示，在本发明的另一个实施例中，根据本发明提供的基于机器视觉的智能道路清扫车，包括设置有清扫机的车体，还包括设置于车体上的如下装置：
第一光源，第一光源的照射方向垂直向下；
图像获取装置，用于获取路面图像；
图像提取装置，用于从所述路面图像中提取出目标区域的图像，其中，所述第一光源的照射方向指向所述目标区域；
图像处理装置，用于对所述目标区域的图像进行灰度调整并提取出路沿边缘；
自主转向装置，用于根据路沿边缘在目标区域的图像中的位置向车体发出车体右转指令或者车体左转指令；
背景图像生成装置，用于生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
图像差分装置，用于将当前路面图像与背景图像进行差分处理得到垃圾图像；
统计装置，用于统计垃圾图像的二值图像中值为1的像素的数量；
自主变速装置，用于根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
具体地，所述基于机器视觉的智能道路清扫车的硬件可以通过埃克莫APPC-12T-N2600工业平板电脑、AVR公司出品的MEGA128单片机、USB摄像头、GUCEE6645数码高清摄像头实现。
其中，工业平板电脑就是工业上常说的触摸屏，整机性能完善，具备市场常见的商用电脑的性能。区别在于内部的硬件，多数针对工业方面的产品选择都是工业主板，它与商用主板的区别在于非量产，产品型号比较稳定。由此也可以看到，工业主板的价格也较商用主板价格高，另外就是RISC架构。工业方面需求比较简单单一，性能要求也不高，但是稳定性特别好。
MEGA128单片机作为下位机，具有如下特点：128K字节的系统内可编程Flash(具有在写的过程中还可以读的能力，即RWW)、4K字节的EEPROM、4K字节的SRAM、53个通用I/O口线、32个通用工作寄存器、实时时钟RTC、4个灵活的具有比较模式和PWM功能的定时器/计数器(T/C)、两个USART、面向字节的两线接口TWI、8通道10位ADC(具有可选的可编程增益)、具有片内振荡器的可编程看门狗定时器、SPI串行端口、与IEEE1149.1规范兼容的JTAG测试接口，以及六种可以通过软件选择的省电模式。空闲模式时CPU停止工作，而SRAM、T/C、SPI端口以及中断系统继续工作；掉电模式时晶体振荡器停止振荡，所有功能除了中断和硬件复位之外都停止工作，寄存器的内容则一直保持；省电模式时异步定时器继续运行，以允许用户维持时间基准，器件的其他部分则处于睡眠状态；ADC噪声抑制模式时CPU和所有的I/O模块停止运行，而异步定时器和ADC继续工作，以减少ADC转换时的开关噪声；Standby模式时振荡器工作而其他部分睡眠，使得器件只消耗极少的电流，同时具有快速启动能力；扩展Standby模式则允许振荡器和异步定时器继续工作。器件是以Atmel的高密度非易失性内存技术生产的。片内ISP Flash可以通过SPI接口、通用编程器，或引导程序多次编程。引导程序可以使用任何接口来下载应用程序到应用Flash存储器。在更新应用Flash存储器时引导Flash区的程序继续运行，实现RWW操作。
更为具体地，所述基于机器视觉的智能道路清扫车的软件系统可以通过MATLAB软件和ELECTRONIC公司的BASCOM（Beginner’s All-purpose Symbolic InstructionCode）AVR单片机开发平台实现。
其中，利用MATLAB软件实现图像处理功能，将采集到的图片灰度化、对比度强化、二值化。MATLAB是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言（如C、Fortran）的编辑模式，代表了当今国际科学计算软件的先进水平。MATLAB和Mathematica、Maple、MathCAD并称为四大数学软件。它在数学类科技应用软件中在数值计算方面首屈一指。MATLAB可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。MATLAB的基本数据单位是矩阵，它的指令表达式与数学、工程中常用的形式十分相似，故用MATLAB来解算问题要比用C，FORTRAN等语言完成相同的事情简捷得多，并且MATLAB也吸收了像Maple等软件的优点，使MATLAB成为一个强大的数学软件。在新的版本中也加入了对C，FORTRAN，C++，JAVA的支持。可以直接调用,用户也可以将自己编写的实用程序导入到MATLAB函数库中方便自己以后调用，此外许多的MATLAB爱好者都编写了一些经典的程序，用户可以直接进行下载就可以用。MATLAB包括拥有数百个内部函数的主包和三十几种工具包(Toolbox)。工具包又可以分为功能性工具包和学科工具包。功能工具包用来扩充MATLAB的符号计算，可视化建模仿真，文字处理及实时控制等功能。学科工具包是专业性比较强的工具包，控制工具包、信号处理工具包、通信工具包等都属于此类。开放性使MATLAB广受用户欢迎.除内部函数外，所有MATLAB主包文件和各种工具包都是可读可修改的文件，用户通过对源程序的修改或加入自己编写程序构造新的专用工具包。
AVR单片机开发平台使用basic语言，简单易学，是国际上通用的一种计算机高级语言。具有程序设计简单易学、用简单的语句可实现较复杂的功能等特点。其开发平台的使用简洁方便，并具有实物图形化的仿真平台，可以直观地仿真程序的运行结果，是AVR单片机初学者快速入门的最佳工具。
进一步地，自主转向功能的原理如图2所示，粗线矩形框内的区域为目标区域，自给光源（包括第一光源和第二光源）在人行道作用下在目标区域内形成明亮部分与黑暗部分两部分。设目标区内光亮面积比上综合面积为k，当车体与路沿距离减小时，k减小；反之k增大。控制k为一定值即控制车体与路沿距离一定，从而实现自主转向沿着人行道行驶。
在一个实施例中，根据本发明提供的基于机器视觉的智能道路清扫车的控制方法，包括如下步骤：
-设置第一光源和第二光源，其中，第一光源的照射方向垂直向下，第二光源的照射方向斜向向下；
-获取路面图像；
-从所述路面图像中提取出目标区域的图像，其中，所述第一光源和第二光源的照射方向均指向所述目标区域；
-对所述目标区域的图像进行灰度调整并二值化处理后生成二值图像，然后遍历所述二值图像对应的二维数组以统计二维数组中值为1的元素个数；
-判断所述值为1的元素个数是否大于预定值；
-当第一判断装置的判断结果为是时向车体发出车体右转指令，当第一判断装置的判断结果为否时向车体发出车体左转指令。
优选地，还包括如下步骤：
-生成背景图像，其中，所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值；
-将当前路面图像与背景图像进行差分处理得到垃圾图像；
-统计垃圾图像的二值图像中值为1的像素的数量；
-根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
优选地，将所述路面图像的中央部分提取出作为所述目标区域的图像。
在另一个实施例中，根据本发明提供的基于机器视觉的智能道路清扫车的控制方法，包括如下步骤：
-设置第一光源，其中，第一光源的照射方向垂直向下；
-获取路面图像；
-从所述路面图像中提取出目标区域的图像，其中，所述第一光源的照射方向指向所述目标区域；
-对所述目标区域的图像进行灰度调整并并提取出路沿边缘；
-根据路沿边缘在目标区域的图像中的位置向车体发出车体右转指令或者车体左转指令。
优选地，还包括如下步骤：
-生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
-将当前路面图像与背景图像进行差分处理得到垃圾图像；
-统计垃圾图像的二值图像中值为1的像素的数量；
-根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (10)
1.一种基于机器视觉的智能道路清扫车，包括设置有清扫机的车体，其特征在于，还包括设置于车体上的如下装置：
第一光源，第一光源的照射方向垂直向下；
第二光源，第二光源的照射方向斜向向下；
图像获取装置，用于获取路面图像；
图像提取装置，用于从所述路面图像中提取出目标区域的图像，其中，所述第一光源和第二光源的照射方向均指向所述目标区域；
图像处理装置，用于对所述目标区域的图像进行灰度调整并二值化处理后生成二值图像，然后遍历所述二值图像对应的二维数组以统计二维数组中值为1的元素个数；
第一判断装置，用于判断所述值为1的元素个数是否大于预定值；
自主转向装置，用于当第一判断装置的判断结果为是时向车体发出车体右转指令，当第一判断装置的判断结果为否时向车体发出车体左转指令。
2.根据权利要求1所述的基于机器视觉的智能道路清扫车，其特征在于，还包括设置于车体上的如下装置：
背景图像生成装置，用于生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
图像差分装置，用于将当前路面图像与背景图像进行差分处理得到垃圾图像；
统计装置，用于统计垃圾图像的二值图像中值为1的像素的数量；
自主变速装置，用于根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
3.根据权利要求1所述的基于机器视觉的智能道路清扫车，其特征在于，所述图像提取装置将所述路面图像的中央部分提取出作为所述目标区域的图像。
4.一种基于机器视觉的智能道路清扫车的控制方法，其特征在于，包括如下步骤：
-设置第一光源和第二光源，其中，第一光源的照射方向垂直向下，第二光源的照射方向斜向向下；
-获取路面图像；
-从所述路面图像中提取出目标区域的图像，其中，所述第一光源和第二光源的照射方向均指向所述目标区域；
-对所述目标区域的图像进行灰度调整并二值化处理后生成二值图像，然后遍历所述二值图像对应的二维数组以统计二维数组中值为1的元素个数；
-判断所述值为1的元素个数是否大于预定值；
-当第一判断装置的判断结果为是时向车体发出车体右转指令，当第一判断装置的判断结果为否时向车体发出车体左转指令。
5.根据权利要求4所述的基于机器视觉的智能道路清扫车的控制方法，其特征在于，还包括如下步骤：
-生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
-将当前路面图像与背景图像进行差分处理得到垃圾图像；
-统计垃圾图像的二值图像中值为1的像素的数量；
-根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
6.根据权利要求4所述的基于机器视觉的智能道路清扫车的控制方法，其特征在于，将所述路面图像的中央部分提取出作为所述目标区域的图像。
7.一种基于机器视觉的智能道路清扫车，包括设置有清扫机的车体，其特征在于，还包括设置于车体上的如下装置：
第一光源，第一光源的照射方向垂直向下；
图像获取装置，用于获取路面图像；
图像提取装置，用于从所述路面图像中提取出目标区域的图像，其中，所述第一光源的照射方向指向所述目标区域；
图像处理装置，用于对所述目标区域的图像进行灰度调整并提取出路沿边缘；
自主转向装置，用于根据路沿边缘在目标区域的图像中的位置向车体发出车体右转指令或者车体左转指令。
8.根据权利要求7所述的基于机器视觉的智能道路清扫车，其特征在于，还包括设置于车体上的如下装置：
背景图像生成装置，用于生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
图像差分装置，用于将当前路面图像与背景图像进行差分处理得到垃圾图像；
统计装置，用于统计垃圾图像的二值图像中值为1的像素的数量；
自主变速装置，用于根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
9.一种基于机器视觉的智能道路清扫车的控制方法，其特征在于，包括如下步骤：
-设置第一光源，其中，第一光源的照射方向垂直向下；
-获取路面图像；
-从所述路面图像中提取出目标区域的图像，其中，所述第一光源的照射方向指向所述目标区域；
-对所述目标区域的图像进行灰度调整并并提取出路沿边缘；
-根据路沿边缘在目标区域的图像中的位置向车体发出车体右转指令或者车体左转指令。
10.根据权利要求9所述的基于机器视觉的智能道路清扫车的控制方法，其特征在于，还包括如下步骤：
-生成背景图像，其中：所述背景图像中各个像素的值为之前多张路面图像中对应像素的值的平均值、或者所述背景图像中各个像素的值为前一张路面图像中对应像素的值；
-将当前路面图像与背景图像进行差分处理得到垃圾图像；
-统计垃圾图像的二值图像中值为1的像素的数量；
-根据垃圾图像的二值图像中值为1的像素的数量控制车体的车速和清扫机的转速。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310057586.0A CN103161133B (zh) | 2013-02-22 | 2013-02-22 | 基于机器视觉的智能道路清扫车及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310057586.0A CN103161133B (zh) | 2013-02-22 | 2013-02-22 | 基于机器视觉的智能道路清扫车及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103161133A true CN103161133A (zh) | 2013-06-19 |
| CN103161133B CN103161133B (zh) | 2015-08-05 |
Family
ID=48584642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310057586.0A Expired - Fee Related CN103161133B (zh) | 2013-02-22 | 2013-02-22 | 基于机器视觉的智能道路清扫车及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103161133B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103696381A (zh) * | 2013-12-20 | 2014-04-02 | 长沙中联重科环卫机械有限公司 | 一种路缘清扫控制方法、控制装置、控制系统及其清扫车 |
| CN105549091A (zh) * | 2015-12-17 | 2016-05-04 | 无锡信大气象传感网科技有限公司 | 一种基于方向自动校准的车载金属探测装置 |
| CN105759820A (zh) * | 2016-04-08 | 2016-07-13 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统及控制方法 |
| CN106245567A (zh) * | 2016-08-31 | 2016-12-21 | 重庆广播电视大学 | 一种基于云平台的道路清扫系统与方法 |
| CN107881958A (zh) * | 2017-11-06 | 2018-04-06 | 徐工集团工程机械有限公司 | 环卫作业控制方法、系统及洗扫车 |
| CN108490941A (zh) * | 2018-03-29 | 2018-09-04 | 奇瑞汽车股份有限公司 | 应用于道路清扫车的自动驾驶系统及其控制方法、装置 |
| CN108625317A (zh) * | 2018-04-13 | 2018-10-09 | 合加新能源汽车有限公司 | 一种用于环卫清扫车的路面识别系统 |
| CN108776439A (zh) * | 2018-06-01 | 2018-11-09 | 徐工集团工程机械有限公司 | 环卫车作业装置控制方法、控制系统、作业装置及环卫车 |
| CN111501636A (zh) * | 2020-04-26 | 2020-08-07 | 徐州徐工环境技术有限公司 | 一种扫路车节能控制系统及其控制方法 |
| WO2021118341A1 (en) | 2019-12-13 | 2021-06-17 | Ravo B.V. | Cleaning machine for a road or pavement or gutter |
| CN113591814A (zh) * | 2021-09-29 | 2021-11-02 | 深圳市图元科技有限公司 | 一种基于动态视觉的道路干净度检测方法及检测系统 |
| WO2023113593A1 (en) | 2021-12-15 | 2023-06-22 | Ravo B.V. | Cleaning machine with suction power control |
| WO2023113594A1 (en) | 2021-12-15 | 2023-06-22 | Ravo B.V. | Cleaning machine with improved curb follow system |
| EP3914775B1 (en) | 2019-01-25 | 2023-12-27 | DULEVO INTERNATIONAL S.p.A. | Automated road sweeper and road cleaning method using said road sweeper |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955188B (zh) * | 2016-06-24 | 2018-05-01 | 长春思瑶科技有限公司 | 基于机器视觉的车辆清洗机仿形控制方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02147846A (ja) * | 1988-11-29 | 1990-06-06 | Kubota Ltd | 汚れ状態判別装置及びそれを利用する掃除機 |
| JP2002157676A (ja) * | 2000-11-21 | 2002-05-31 | Natl Inst For Land & Infrastructure Management Mlit | 可視画像式路面状況把握装置における路面状況判定方法 |
| CN1878915A (zh) * | 2003-11-13 | 2006-12-13 | 三机工业株式会社 | 清洗路面灯或反射镜的玻璃表面的方法及系统 |
| CN101864745A (zh) * | 2010-04-29 | 2010-10-20 | 哈尔滨理工大学 | 基于视觉辅助的地面广告清除机器人控制系统及控制设备 |
| CN103194991A (zh) * | 2013-04-03 | 2013-07-10 | 西安电子科技大学 | 智能机器人道路清理系统及清理方法 |
-
2013
- 2013-02-22 CN CN201310057586.0A patent/CN103161133B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02147846A (ja) * | 1988-11-29 | 1990-06-06 | Kubota Ltd | 汚れ状態判別装置及びそれを利用する掃除機 |
| JP2002157676A (ja) * | 2000-11-21 | 2002-05-31 | Natl Inst For Land & Infrastructure Management Mlit | 可視画像式路面状況把握装置における路面状況判定方法 |
| CN1878915A (zh) * | 2003-11-13 | 2006-12-13 | 三机工业株式会社 | 清洗路面灯或反射镜的玻璃表面的方法及系统 |
| CN101864745A (zh) * | 2010-04-29 | 2010-10-20 | 哈尔滨理工大学 | 基于视觉辅助的地面广告清除机器人控制系统及控制设备 |
| CN103194991A (zh) * | 2013-04-03 | 2013-07-10 | 西安电子科技大学 | 智能机器人道路清理系统及清理方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103696381B (zh) * | 2013-12-20 | 2016-02-03 | 长沙中联重科环卫机械有限公司 | 一种路缘清扫控制方法、控制装置、控制系统及其清扫车 |
| CN103696381A (zh) * | 2013-12-20 | 2014-04-02 | 长沙中联重科环卫机械有限公司 | 一种路缘清扫控制方法、控制装置、控制系统及其清扫车 |
| CN105549091A (zh) * | 2015-12-17 | 2016-05-04 | 无锡信大气象传感网科技有限公司 | 一种基于方向自动校准的车载金属探测装置 |
| CN105759820A (zh) * | 2016-04-08 | 2016-07-13 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统及控制方法 |
| CN106245567A (zh) * | 2016-08-31 | 2016-12-21 | 重庆广播电视大学 | 一种基于云平台的道路清扫系统与方法 |
| CN107881958A (zh) * | 2017-11-06 | 2018-04-06 | 徐工集团工程机械有限公司 | 环卫作业控制方法、系统及洗扫车 |
| CN108490941A (zh) * | 2018-03-29 | 2018-09-04 | 奇瑞汽车股份有限公司 | 应用于道路清扫车的自动驾驶系统及其控制方法、装置 |
| CN108625317B (zh) * | 2018-04-13 | 2023-11-14 | 启迪合加新能源汽车有限公司 | 一种用于环卫清扫车的路面识别系统 |
| CN108625317A (zh) * | 2018-04-13 | 2018-10-09 | 合加新能源汽车有限公司 | 一种用于环卫清扫车的路面识别系统 |
| CN108776439A (zh) * | 2018-06-01 | 2018-11-09 | 徐工集团工程机械有限公司 | 环卫车作业装置控制方法、控制系统、作业装置及环卫车 |
| EP3914775B1 (en) | 2019-01-25 | 2023-12-27 | DULEVO INTERNATIONAL S.p.A. | Automated road sweeper and road cleaning method using said road sweeper |
| WO2021118341A1 (en) | 2019-12-13 | 2021-06-17 | Ravo B.V. | Cleaning machine for a road or pavement or gutter |
| NL2024447B1 (en) * | 2019-12-13 | 2021-09-01 | Ravo B V | Cleaning machine for a road or pavement or gutter |
| CN111501636A (zh) * | 2020-04-26 | 2020-08-07 | 徐州徐工环境技术有限公司 | 一种扫路车节能控制系统及其控制方法 |
| CN113591814A (zh) * | 2021-09-29 | 2021-11-02 | 深圳市图元科技有限公司 | 一种基于动态视觉的道路干净度检测方法及检测系统 |
| CN113591814B (zh) * | 2021-09-29 | 2022-02-22 | 深圳市图元科技有限公司 | 一种基于动态视觉的道路干净度检测方法及检测系统 |
| WO2023113593A1 (en) | 2021-12-15 | 2023-06-22 | Ravo B.V. | Cleaning machine with suction power control |
| WO2023113594A1 (en) | 2021-12-15 | 2023-06-22 | Ravo B.V. | Cleaning machine with improved curb follow system |
| NL2030142B1 (en) | 2021-12-15 | 2023-06-27 | Ravo B V | Cleaning machine with suction power control |
| NL2030143B1 (en) | 2021-12-15 | 2023-06-27 | Ravo B V | Cleaning machine with improved curb follow system |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103161133B (zh) | 2015-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103161133B (zh) | 基于机器视觉的智能道路清扫车及其控制方法 | |
| CN104093016B (zh) | 一种摄像头模组脏污检测方法及系统 | |
| CN105488816B (zh) | 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法 | |
| CN109360396A (zh) | 基于图像识别技术和NB-IoT技术的远程抄表方法及系统 | |
| CN102622108B (zh) | 一种交互式投影系统及其实现方法 | |
| CN103176607B (zh) | 一种眼控鼠标实现方法及系统 | |
| CN108491844A (zh) | 基于图像处理的水表自动检测系统及其图像处理方法 | |
| CN102707817B (zh) | 激光书写系统 | |
| CN108305243A (zh) | 一种基于深度学习的磁瓦表面缺陷检测方法 | |
| CN111974704A (zh) | 基于计算机视觉的垃圾分类检测系统及方法 | |
| CN102878647B (zh) | 空调运行状态的自动监控系统及自动监控方法 | |
| CN107589832A (zh) | 一种基于光电感应的隔空手势识别方法及其控制装置 | |
| CN107749055A (zh) | 一种led交通诱导屏的故障检测方法、系统及装置 | |
| CN205246547U (zh) | 基于颜色传感器的尿液分析检测系统 | |
| CN101639747A (zh) | 一种空间三维定位方法 | |
| CN101706875A (zh) | 一种手持式的复杂背景下的激光喷码字符识别仪 | |
| CN106251567A (zh) | 一种智能火灾预警系统 | |
| CN106594644A (zh) | 太阳能监控路灯及太阳能监控路灯控制方法 | |
| CN111507325B (zh) | 基于深度学习的工业视觉ocr识别系统及方法 | |
| CN203213049U (zh) | 基于机器视觉的智能道路清扫车 | |
| CN203298726U (zh) | 一种零部件尺寸检测系统 | |
| CN104123728A (zh) | 基于Hough变换的圆管检测方法 | |
| CN201269744Y (zh) | 嵌入式视觉检测系统 | |
| CN103631470A (zh) | 基于红外反射式光电探测点阵的隔空输入系统与输入方法 | |
| CN208537982U (zh) | 一种基于全向视觉的全向移动智能小车 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150805 |