CN110499802A - 一种用于挖掘机的图像识别方法和设备 - Google Patents

一种用于挖掘机的图像识别方法和设备 Download PDF

Info

Publication number
CN110499802A
CN110499802A CN201910646300.XA CN201910646300A CN110499802A CN 110499802 A CN110499802 A CN 110499802A CN 201910646300 A CN201910646300 A CN 201910646300A CN 110499802 A CN110499802 A CN 110499802A
Authority
CN
China
Prior art keywords
image
excavator
stone
camera
recognizing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910646300.XA
Other languages
English (en)
Inventor
张彦群
朱玉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axwell Intelligent Technology (suzhou) Co Ltd
Original Assignee
Axwell Intelligent Technology (suzhou) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axwell Intelligent Technology (suzhou) Co Ltd filed Critical Axwell Intelligent Technology (suzhou) Co Ltd
Priority to CN201910646300.XA priority Critical patent/CN110499802A/zh
Publication of CN110499802A publication Critical patent/CN110499802A/zh
Pending legal-status Critical Current

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像识别技术领域，特别是涉及一种用于挖掘机的图像识别方法及设备，该图像识别方法包括步骤：(1)通过摄像头获取挖掘机周围环境的图像；(2)采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块；(3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面；(4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。本发明有效解决了挖掘机在复杂环境下的破碎工况中石块难以识别的技术问题，使挖掘机能够完成智能驾驶和自动化破碎作业，提高了生产效率。

Description

一种用于挖掘机的图像识别方法和设备
技术领域
本发明涉及图像识别技术领域，特别是涉及一种用于挖掘机的图像识别方法和设备。
背景技术
挖掘机被广泛应用于在矿山开采、楼房建筑、路桥修建等工程的施工工地。现有技术中，挖掘机普遍采用液压系统驱动，人工操控的方式进行施工；但是由于施工工地环境较为恶劣，使得工作人员的工作舒适性较差；而且随着用工成本提高，受工人体力和外界天气等的影响，挖掘机不能全天候工作，给企业和业主带来巨大的资源浪费。
对于挖掘机破碎作业而言，为了实现破碎锤自动化施工，机器视觉识别待碎石块是其中重要一环。只有能够准确地识别待破碎石块，才能顺利地引导破碎锤将石块破碎，完成自动化施工。然而，由于石块的结构比较复杂多样，而且是多面体，不同的表面对于接受光照度不同，导致石块的灰度分布非常复杂，这就增大了识别难度。且由于不同光照环境下的被测物的反光现象，使得图像识别工作更加难以精确。因此，目前还未公开或报道过任何一种专门用于挖掘机的图像识别方法和设备，来针对石块破碎作业这一应用场景，以解决挖掘机不能准确识别待破碎石块及工作面的问题。
发明内容
有鉴于此，本发明的目的是提供一种用于挖掘机的图像识别方法和设备，以实现自动识别挖掘机周围的待破碎石块，确定工作面，以及对目标作业石块的位置定位。
为了达到上述目的，本发明提供一种用于挖掘机的图像识别方法，包括以下步骤：
(1)通过摄像头获取挖掘机周围环境的图像；
(2)图像处理器采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块；
(3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面；
(4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。
优选地，所述步骤(1)中，采用相机曝光自动调节算法，根据目标拍摄图像的灰度值进行实时曝光量的调整，提高图像的对比度和清晰度。采用自动调节相机曝光量有多种方式，包括调整相机光圈，相机增加滤光片以及调节CCD相机曝光时间的方式。本发明中主要依靠增加滤光片和调整CCD相机曝光时间的方式来实时调整曝光量。
进一步优选地，所述相机曝光自动调节算法为均值法AE。
根据曝光分区系统，将人对于从黑到白渐进的变化分为11阶(即0，I，II，III，IV，V，VI，VII，VIII，IX，X；其中，全黑为0阶，全白为X阶)，将处于当中的块V认为是适中的曝光强度，称为中灰。而V阶区块的光照反射率是18％，也就是定义的18％灰。
均值法AE是计算测光区域的曝光强度的一种方法，基于下面这个公式，Output是我们期望的曝光输出值，也就是18％灰的曝光强度，Gamma一般都是2.2。根据公式
Input＝255x(Output/255)gamma
在灰度卡上以0～255为计算区域的话，那么18％灰的Ouput就是122，Input就是50。也就是测光区域的实际曝光强度应该为50。从而计算出所需的曝光量和曝光时间。
根据目标拍摄图片的灰度值进行实时曝光量的调整，提高图像的对比度和清晰度，这样首先在照片来源上进行了质量的保证，有利于后续识别准确性的提升。
优选地，所述步骤(2)中，对于石块的识别采用Canny边缘检测算法去检测石块的边缘。由于石块与背景灰度存在一定的差异性，可以通过Canny边缘检测算法初步描绘出石块的边缘，具体包括以下步骤：
a)滤波
CANNY边缘检测算法主要是基于图像强度的一阶和二阶导数，但是导数对于噪声很敏感，因此需要采用滤波器来改善与噪声有关的边缘检测器的性能。应用高斯滤波器与图像卷积降噪，以平滑图像；所述高斯滤波器的模板K(size＝5)为：
b)增强
增强边缘的基础是确定图像各点邻域强度的变化值。应用增强算法，可以将图像中的石块边缘与背景图案有显著变化的点凸显出来；
c)检测
应用双阈值检测，获得石块的边缘。邻域中有很多的点的梯度值较大，但是在特定的应用中，这些点并不是要找的石块边缘点，需要取舍。标准为：
a.若某一像素位置的幅值超过高阈值，该像素被保留为边缘像素；
b.若某一像素位置的幅值小于低阈值，该像素被排除；
c.若某一像素位置的幅值在两个阈值之间，该像素仅仅在连接一个高于高阈值的像素时被保留。
优选地，本发明中，经过上述处理后的图像采用先腐蚀后膨胀的处理方式，也就是开运算，可以比较清晰地描绘出石块边缘。该处理方式具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用。
其中，腐蚀为求局部最小值的操作，将图像与核进行卷积，即计算核覆盖区域的像素点最小值，并赋值给参考点指定的像素，这样就会使图像中高亮区域逐渐增长。
而膨胀为求局部最大值的操作，将图像与核进行卷积，即计算核覆盖区域的像素点最大值，并把最大值赋值给参考点指定像素，这样就会使图像中高亮区域逐渐增长。
优选地，所述步骤(4)中，所述相机标定具体为通过OpenCV使用平面黑白棋盘来标定双目视觉系统的摄像机，具体方法为调用findChessboardCorners()函数获得棋盘格角点的像素坐标，再调用findcornerSubpix函数获得棋盘格角点的亚像素坐标；调用drawChessboardCorners()函数绘制出检测到的棋盘角点，然后使用stereoCalibrate()函数完成双目标定。
所述立体校正具体为通过OpenCV的stereoRectify函数得到图像校正所需的映射矩阵来完成校正功能。输入参数为摄像机矩阵，畸变向量，左右旋转矩阵R和平移向量T。输出参数为左右投影矩阵P，以及重投影矩阵Q。可调用函数InitUndistortRectifyMap()生成图像校正所需的映射矩阵。
其中，所述立体匹配和三维重建的方法具体为：利用所述双目视觉系统的左右摄像机分别获取作业目标石块的左右图像，根据左摄像机图像和右摄像机图像的图像坐标，通过OpenCV的立体匹配算法SGBM(semi-global block matching)进行三维坐标计算，得到工作面中的作业目标石块的三维坐标和距离信息。
具体地，所述双目视觉系统的左右摄像机获取的左右图像经过立体匹配后得到视差图，再通过三角形相似原理计算得到作业目标石块的距离。
在一些实施例中，还通过激光测距方法对图像识别和作业目标石块的定位进行辅助。
本发明还提供一种用于挖掘机的图像识别设备，包括与挖掘机的中央处理器连接的视觉模块，所述视觉模块包括：
双目视觉系统，其包括左摄像头和右摄像头，用于获取挖掘机周围环境的图像；
图像处理器，用于执行上述的图像识别方法，其与中央处理器连接。
该图像识别设备通过摄像头拍摄图像，然后传送至图像处理器，由图像处理器对图像进行上述的各个运算，图像处理器将图像运算处理结果转换为数字格式后发送给中央处理器，中央控制器根据处理后的图像信号信息发出控制指令给挖掘机工作模块，操作挖掘机工作。中央处理器可通过网络通讯模块传送至远程监控显示屏和/或手机APP客户端，实现远程监控。
在一些具体实施例中双目视觉系统的左摄像头和右摄像头被安装于挖掘机的驾驶室上部的正前方，用于识别挖掘机前方的石块和确定前方的工作面。
在一些具体实施例中，为了使上述图像识别设备能够在弱光环境下实现其功能，还包括与所述中央处理器连接的补光光源。补光光源优选地被安装在挖掘机的上车部，譬如驾驶室的上方。补光光源也可以同时被安装在挖掘机的动臂和/或斗杆上。
在一些实施例中，本发明的图像识别方法还包括对挖掘机的工作模块的工作状态检测，通过在工作模块的动臂、斗杆和工作头上设置识别部，视觉模块的摄像头设置为可拍摄到工作模块，图像处理器对摄像头拍摄到的识别部的形状随着动臂、斗杆和工作头的运动而变化时的变化量进行运算，从而检测出工作模块的工作状态。摄像头拍摄到的工作模块的图片以及图像处理器检测的工作模块的工作状态结果通过远程监控显示屏和/或手机APP客户端进行显示，从而操作者可以快速了解挖掘机的工作状态，并进行下一步的操控。由此，可实现操作者一边观察显示屏一边实时远程控制挖掘机的工作模块工作。另外，还可以利用使用了视觉模块检测到的工作模块的工作状态数据的反馈控制，使液压挖掘机可以自动运转。
通过上述的图像识别方法和设备，相较于现有技术，本发明达到以下有益效果在于：
1、采用了曝光自动调节算法，保证了图像摄取的质量；通过边缘检测算法和高斯滤波降噪实现了对石块各种特殊形状边缘的抽取；通过膨胀和腐蚀算法进一步抽取石块的边缘，克服了石块形状复杂的情况下降噪难度增大的困难；
2、能够准确地识别出挖掘机周围环境中的石块，并准确地确定工作面，为后续的自动化破碎工作做好准备；
3、能够准确地定位作业目标石块的位置，测算出作业目标石块的距离，为后续的挖掘机智能行走和破碎该作业目标石块做好准备；
4、本发明的挖掘机智能行走系统具有更高的主动避险的智能驾驶水平，为无人驾驶挖掘机提供了更高水平的安全保障。
附图说明
图1为采用本发明的一种实施例的挖掘机智能挖掘系统的控制系统图；
图2为本实施例挖掘机的结构示意采用本发明的一种实施例的挖掘机智能挖掘系统的结构示意图；
图3为双目立体视觉系统测距的视差原理图；
图中，1、GPS定位模块1；2、网络通讯模块；3、报警器；4、摄像头；5、补光光源；6、角位移传感器；7、图像处理器；8、中央控制器；9、动臂倾角传感器；10、斗杆倾角传感器。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
参照图1和2，本实施例的图像识别设备应用于一种液压挖掘机智能挖掘系统，一种液压挖掘机智能挖掘系统，包括中央控制器8、视觉模块、工作模块、动力模块、电比例控制多路阀、与所述电比例控制多路阀连接的挖掘机主阀，所述电比例控制多路阀与所述中央控制器8连接。视觉模块用于为中央控制器8提供图像信号，其包括与中央控制器8连接的图像处理器7以及设置于挖掘机本体上的摄像头4，摄像头4与图像处理器7连接。工作模块为执行机构，用于完成挖掘机控制指令的动作，其包括回转装置、动臂、斗杆和工作头，中央控制器8通过角位移传感器6获得所述回转装置的转动角度，并通过动臂倾角传感器9获得动臂的倾角，通过斗杆倾角传感器10获得斗杆的倾角，通过工作头倾角传感器(图中未示)获得工作头的倾角。动力模块包括发动机、液压变量泵和挖掘机主阀，所述挖掘机主阀为所述工作模块提供动力。
角位移传感器6、动臂倾角传感器9、斗杆倾角传感器10以及工作头倾角传感器均与所述中央控制器8连接，用于将回转装置、动臂、斗杆以及工作头的工作信号传递给中央控制器8，方便中央控制器8对工作模块的下一步的工作路径的计算。这里的回转装置、动臂、斗杆以及工作头均可以采用现有的结构。例如，工作头可采用诸如如图所示的破碎锤。所述工作模块还包括行走装置，所述行走装置与所述动力模块中的挖掘机主阀连接。
本实施例的液压挖掘机智能挖掘系统还包括与中央控制器连接的电控挡位器、与电控档位器连接的挖掘机控制器，挖掘机控制器与发动机和液压变量泵连接。
同时，在本实施例中，挖掘机的本体上还设置有GPS定位模块1，将GPS定位模块1与中央控制器8连接，使得中央控制器8在控制挖掘机行走时能精确定位。安装在挖掘机本体上的GPS定位模块能够获取挖掘机本体的实时三维坐标(x，y，z)以及挖掘机本体上车部的方向角。
所述液压挖掘机智能挖掘系统还包括与所述中央控制器8连接的报警器3以及扬声器。报警器3采用光电装置，通过醒目的灯光闪烁起到报警作用。
本实施例中的液压挖掘机智能挖掘系统还包括与所述中央控制器8连接的补光光源5。补光光源5的作用在于针对部分光照度较低的区域，中央控制器8根据图像的信息，能控制补光光源5的工作，从而提高工作区域的光照强度，便于挖掘机作业，也便于视觉模块获取清洗的图像。
另外所述液压挖掘机智能挖掘系统还包括与所护中央控制器8连接的网络通讯模块，所述网络通讯模块与远程监控显示屏和手机APP客户端通信。这种设置方式，一是可以直接通过网络通讯模块给中央控制器8提供工作信号，另一方面，也可以将现场的工作信息及时传递给手机APP客户端与远程监控显示屏，使得即使人不在现场也能实施监控挖掘机的挖掘工作。
所述液压挖掘机智能挖掘系统还包括手动控制系统，所述手动控制系统包括电控先导手柄，所述电控先导手柄与所述电比例控制多路阀连接。在自动工作模块出现故障时，依然可以通过电控先导手柄进行人工控制。
本实施例中，为了增加安全性，挖掘机本体上还设有多个毫米微波雷达，譬如4个，挖掘机的中央控制器8实时获取毫米微波雷达测量挖掘机到周围障碍物的距离信息，当挖掘机到障碍物的距离小于设定的安全距离时，在监控显示屏上显示警报信息，并通过报警器3和扬声器进行警报提醒。同时挖掘机的中央控制器8还可以发出控制指令，使工作模块动作，调整挖掘机的位置，进行主动避险。
该液压挖掘机智能挖掘系统中的图像处理器7、左右两个摄像头4和补光光源5组合形成本发明的图像识别设备，用于与中央控制器8连接，实现对挖掘机周围的石块和障碍物的识别，并进一步确定工作面和作业目标石块，以及对作业目标石块实现测距。
具体的图像识别方法包括以下步骤：
(1)通过摄像头4获取挖掘机周围环境的图像。左摄像头和右摄像头分别活动左摄像机图像和右摄像机图像，之后进行后续处理。
为了提升对工作场地的障碍物和石块进行更准确的识别，采用均值法AE作为相机曝光自动调节算法，根据目标拍摄图像的灰度值进行实时曝光量的调整，提高图像的对比度和清晰度。即主要依靠增加滤光片和调整CCD相机曝光时间的方式来实时调整曝光量，这样首先在图像来源上进行了质量的保证，有利于后续识别准确性的提升。
(2)采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块。具体包括以下步骤：
a)滤波
应用高斯滤波器与图像卷积降噪，以平滑图像；本实施例中高斯滤波器的模板K(size＝5)为：
b)增强
应用增强算法，可以将图像中的石块边缘与背景图案有显著变化的点凸显出来。
c)检测
应用双阈值检测，获得石块的边缘。
邻域中有很多的点的梯度值较大，但是在特定的应用中，这些点并不是要找的石块边缘点，需要取舍。标准为：
a.若某一像素位置的幅值超过高阈值，该像素被保留为边缘像素；
b.若某一像素位置的幅值小于低阈值，该像素被排除；
c.若某一像素位置的幅值在两个阈值之间，该像素仅仅在连接一个高于高阈值的像素时被保留。
(3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面。
其中，腐蚀为求局部最小值的操作，将图像与核进行卷积，即计算核覆盖区域的像素点最小值，并赋值给参考点指定的像素，这样就会使图像中高亮区域逐渐增长。
而膨胀为求局部最大值的操作，将图像与核进行卷积，即计算核覆盖区域的像素点最大值，并把最大值赋值给参考点指定像素，这样就会使图像中高亮区域逐渐增长。
经过先腐蚀后膨胀的处理方式，可以比较清晰地描绘出石块边缘。
(4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。具体步骤为：
相机标定
通过OpenCV使用平面黑白棋盘来标定双目视觉系统的摄像机，具体方法为调用findChessboardCorners()函数获得棋盘格角点的像素坐标，再调用findcornerSubpix函数获得棋盘格角点的亚像素坐标；调用drawChessboardCorners()函数绘制出检测到的棋盘角点，然后使用stereoCalibrate()函数完成双目标定。
立体校正
通过OpenCV的stereoRectify函数得到图像校正所需的映射矩阵来完成校正功能。输入参数为摄像机矩阵，畸变向量，左右旋转矩阵R和平移向量T。输出参数为左右投影矩阵P，以及重投影矩阵Q。可调用函数InitUndistortRectifyMap()生成图像校正所需的映射矩阵。
立体匹配和三维重建
利用所述双目视觉系统的左右两个摄像头4分别获取作业目标石块的左右图像，根据左摄像机图像和右摄像机图像的图像坐标，通过OpenCV的立体匹配算法SGBM进行三维坐标计算，得到工作面中的作业目标石块的三维坐标和距离信息。
双目立体视觉是基于视差原理，从双目相机中获取的多幅图像中恢复被测物体三维几何信息的方法。如图3所示，对于空间物体表面任意一点P，如果从左右2个摄像机同时观察P，在左摄像机图像I1上的点Pl与右摄像机图像Ir上的点Pr是空间同一点P的图像点(称Pl与Pr，为共轭对应点)，Pl在左摄像机坐标系(原点为O1)的坐标为(X1，Y1)，Pr在右摄像机坐标系(原点为O2)的坐标为(X2，Y3)，根据摄像机参数，则通过左摄像机可计算出空间点P的三维坐标(x1，y1，z1)，通过右摄像机可计算出空间点P的三维坐标(xr，yr，zr)，再通过三角形相似原理计算得到作业目标石块距离，同时得到世界坐标系中的作业目标石块的三维坐标(x，y，z)。
完成上述图像识别后，挖掘机即可确定周围环境的工作面及其中的待破碎石块，然后通过人为选定作业目标石块或自动选定作业目标石块，挖掘机的中央控制器即可发出控制信号，使行走装置工作，挖掘机移动至工作面中的目标作业石块，然后控制工作模块及其破碎锤对目标作业石块进行破碎，破碎完成后，根据摄像头实时获得的图像，对下一个目标作业石块进行识别和破碎，直至整个工作面的破碎作业完成。
在挖掘机工作过程中，摄像头4将工作场地的拍摄的图片传送到图像处理器，图像处理器将所接收的图像信息转换为数字格式进行运算和处理，同时可以传送到远程监控显示屏和手机APP客户端上进行显示。摄像头4拍摄的图片可以是单张拍摄的静止图像，也可以是实时拍摄的动画中提取一帧作为静止图像用于运算和处理。
图像处理器7包括运算部和检测部，运算部对接收的图像执行上述的相机曝光自动调节算法和边缘检测算法等数据，检测部用于执行上述图像识别方法的步骤，对图像进行运算和处理后，确定挖掘机工作面，识别作业目标石块，测算目标作业石块的距离和位置。为挖掘机后续的智能行走和自主作业做好准备。
在自主智能作业时，挖掘机的视觉模块将图像处理器7接收并处理的图像信息传送到中央控制器8，再由中央控制器8通过网络通讯模块2将图像信息传送到远程监控显示屏和/或手机APP客户端后，同时，中央控制器8根据图像信息发出控制指令，挖掘机的行走装置向目标作业石块移动，然后工作模块对目标作业石块进行破碎作业。作业完成后，再由视觉模块的摄像头4拍摄图片，图像处理器7重复执行上述图像识别方法的步骤，确定下一个目标作业石块，继续作业直至工作面的作业全部完成。
在遥控作业时，操作者可通过在远程监控显示屏和/或手机APP客户端上选择下一个目标作业石块的位置，然后中央控制器8发出控制指令，控制行走装置和工作模块进行移动行走和破碎作业，直到目标作业石块的破碎作业完成，视觉模块的摄像头4拍摄挖掘机周围环境的图片后，挖掘机暂停，等待操作者选择下一个工作点位置。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种用于挖掘机的图像识别方法，其特征在于，包括：
(1)通过摄像头获取挖掘机周围环境的图像；
(2)图像处理器接收所述图像并采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块；
(3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面；
(4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。
2.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(1)中，采用相机曝光自动调节算法，根据目标拍摄图像的灰度值进行实时曝光量的调整，提高图像的对比度和清晰度。
3.根据权利要求2所述的用于挖掘机的图像识别方法，其特征在于，所述相机曝光自动调节算法为均值法AE。
4.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(2)中，所述Canny边缘检测算法具体包括以下步骤：
a)应用高斯滤波器与图像卷积降噪，以平滑图像；所述高斯滤波器的模板K为：
b)应用增强算法，将图像中的石块边缘与背景图案有显著变化的点凸显出来；
c)应用双阈值检测，获得石块的边缘。
5.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(3)中，所述相机标定具体为通过OpenCV使用平面黑白棋盘来标定摄像机，具体方法为调用findChessboardCorners函数获得棋盘格角点的像素坐标，再调用findcornerSubpix函数获得棋盘格角点的亚像素坐标；调用drawChessboardCorners函数绘制出检测到的棋盘角点，然后使用stereoCalibrate函数完成双目标定。
6.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(4)中，所述立体校正具体为通过OpenCV的stereoRectify函数得到图像校正所需的映射矩阵来完成校正功能；通过调用OpenCV的InitUndistortRectifyMap函数生成图像校正所需的映射矩阵。
7.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(4)中，所述立体匹配和三维重建的方法具体为：利用所述双目视觉系统的左右摄像机分别获取作业目标石块的左右图像，根据左摄像机图像和右摄像机图像的图像坐标，通过OpenCV的立体匹配算法SGBM进行三维坐标计算，得到工作面中的作业目标石块的三维坐标和距离信息。
8.根据权利要求7所述的用于挖掘机的图像识别方法，其特征在于，所述距离信息的获取方法为：所述双目视觉系统的左右摄像机获取的左右图像经过立体匹配后得到视差图，再通过三角形相似原理计算得到作业目标石块的距离。
9.一种用于挖掘机的图像识别设备，包括与挖掘机的中央处理器连接的视觉模块，其特征在于，所述视觉模块包括：
双目立体视觉系统，其包括左摄像头和右摄像头，用于获取挖掘机周围环境的图像；
图像处理器，用于执行如权利要求1-9任意一项所述的图像识别方法，所述图像处理器与所述中央处理器连接。
10.根据权利要求9所述的一种用于挖掘机的图像识别设备，其特征在于，还包括与所述中央处理器连接的补光光源。
CN201910646300.XA 2019-07-17 2019-07-17 一种用于挖掘机的图像识别方法和设备 Pending CN110499802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910646300.XA CN110499802A (zh) 2019-07-17 2019-07-17 一种用于挖掘机的图像识别方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910646300.XA CN110499802A (zh) 2019-07-17 2019-07-17 一种用于挖掘机的图像识别方法和设备

Publications (1)

Publication Number Publication Date
CN110499802A true CN110499802A (zh) 2019-11-26

Family

ID=68585377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910646300.XA Pending CN110499802A (zh) 2019-07-17 2019-07-17 一种用于挖掘机的图像识别方法和设备

Country Status (1)

Country Link
CN (1) CN110499802A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219801A (zh) * 2021-12-30 2022-03-22 爱克斯维智能科技(苏州)有限公司 用于挖掘机无人化破碎的石块智能识别方法及装置
CN114442616A (zh) * 2022-01-05 2022-05-06 中联重科土方机械有限公司 用于挖掘机的控制方法、装置、处理器及挖掘机
CN115110598A (zh) * 2022-08-10 2022-09-27 安徽建工集团股份有限公司总承包分公司 一种三维拟合现场挖掘破碎装置
CN115541285A (zh) * 2022-10-31 2022-12-30 扬州明泰机械有限公司 破碎机反击板的智能检测调节系统及方法
CN117181406A (zh) * 2023-09-18 2023-12-08 山东黄金矿业(莱州)有限公司三山岛金矿 一种矿山井下自主作业岩石破碎机及远程遥控控制方法
CN117635984A (zh) * 2023-11-08 2024-03-01 爱克斯维智能科技(苏州)有限公司 转向控制图像识别方法、装置及挖掘机
CN117686011A (zh) * 2023-12-14 2024-03-12 北京市测绘设计研究院 一种新型管井测量仪器
CN117742276A (zh) * 2023-12-27 2024-03-22 爱克斯维智能科技(苏州)有限公司 挖掘机无人作业控制系统、挖掘机及控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559703A (zh) * 2013-10-08 2014-02-05 中南大学 基于双目视觉的起重机障碍物监测及预警方法及系统
CN107368792A (zh) * 2017-06-29 2017-11-21 广州智慧城市发展研究院 一种基于滤波器以及主干边缘的指静脉识别方法及系统
US20180211129A1 (en) * 2017-01-26 2018-07-26 Nice Ltd. System and method for enabling graphic-based interoperability with a run-time application
CN109410234A (zh) * 2018-10-12 2019-03-01 南京理工大学 一种基于双目视觉避障的控制方法及控制系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559703A (zh) * 2013-10-08 2014-02-05 中南大学 基于双目视觉的起重机障碍物监测及预警方法及系统
US20180211129A1 (en) * 2017-01-26 2018-07-26 Nice Ltd. System and method for enabling graphic-based interoperability with a run-time application
CN107368792A (zh) * 2017-06-29 2017-11-21 广州智慧城市发展研究院 一种基于滤波器以及主干边缘的指静脉识别方法及系统
CN109410234A (zh) * 2018-10-12 2019-03-01 南京理工大学 一种基于双目视觉避障的控制方法及控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔吉,崔建国: "《工业视觉实用教程》", 1 October 2018, 上海交大出版社 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219801A (zh) * 2021-12-30 2022-03-22 爱克斯维智能科技(苏州)有限公司 用于挖掘机无人化破碎的石块智能识别方法及装置
CN114442616A (zh) * 2022-01-05 2022-05-06 中联重科土方机械有限公司 用于挖掘机的控制方法、装置、处理器及挖掘机
CN115110598A (zh) * 2022-08-10 2022-09-27 安徽建工集团股份有限公司总承包分公司 一种三维拟合现场挖掘破碎装置
CN115110598B (zh) * 2022-08-10 2023-11-28 安徽建工集团股份有限公司总承包分公司 一种三维拟合现场挖掘破碎装置
CN115541285A (zh) * 2022-10-31 2022-12-30 扬州明泰机械有限公司 破碎机反击板的智能检测调节系统及方法
CN115541285B (zh) * 2022-10-31 2023-12-01 扬州明都环境工程机械有限公司 破碎机反击板的智能检测调节系统及方法
CN117181406A (zh) * 2023-09-18 2023-12-08 山东黄金矿业(莱州)有限公司三山岛金矿 一种矿山井下自主作业岩石破碎机及远程遥控控制方法
CN117181406B (zh) * 2023-09-18 2024-05-17 山东黄金矿业(莱州)有限公司三山岛金矿 一种矿山井下自主作业岩石破碎机及远程遥控控制方法
CN117635984A (zh) * 2023-11-08 2024-03-01 爱克斯维智能科技(苏州)有限公司 转向控制图像识别方法、装置及挖掘机
CN117686011A (zh) * 2023-12-14 2024-03-12 北京市测绘设计研究院 一种新型管井测量仪器
CN117742276A (zh) * 2023-12-27 2024-03-22 爱克斯维智能科技(苏州)有限公司 挖掘机无人作业控制系统、挖掘机及控制方法

Similar Documents

Publication Publication Date Title
CN110499802A (zh) 一种用于挖掘机的图像识别方法和设备
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN110825101B (zh) 一种基于深度卷积神经网络的无人机自主降落方法
CN112793564B (zh) 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统
US8412418B2 (en) Industrial machine
CN109872372B (zh) 一种小型四足机器人全局视觉定位方法和系统
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN112967345B (zh) 鱼眼相机的外参标定方法、装置以及系统
CN105225230A (zh) 一种识别前景目标对象的方法及装置
CN111105347B (zh) 一种生成带深度信息的全景图的方法、装置及存储介质
CN207517196U (zh) 桥梁主动防船撞监测预警系统
CN110399807B (zh) 检测地面障碍物的方法、装置、可读存储介质及电子设备
CN103167270A (zh) 人员头部拍摄方法、系统及服务器
WO2023025262A1 (zh) 一种挖掘机运行模式切换的控制方法、装置和挖掘机
JP2016181148A (ja) 仮想監視画像作成システム、情報設定システム並びにシミュレーションシステム
CN113696180A (zh) 机器人自动回充方法、装置、存储介质及机器人系统
GB2627610A (en) Tailing dam surface deformation patrol method based on rail-mounted robot
CN114782810A (zh) 一种基于全景视觉的农业机械远程辅助驾驶系统及方法
WO2021217403A1 (zh) 可移动平台的控制方法、装置、设备及存储介质
JP2020021368A (ja) 画像解析システム、画像解析方法及び画像解析プログラム
CN117548210A (zh) 一种基于视频分析的堵塞检测及自动破碎处理系统
CN113033470B (zh) 一种轻量型目标检测方法
CN115354708A (zh) 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法
CN115902977A (zh) 基于视觉和gps的变电站机器人双重定位方法及系统
JP2023093109A (ja) 建設機械、及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191126

RJ01 Rejection of invention patent application after publication