CN111444891A - 一种基于机载视觉的无人碾压机作业场景感知系统及方法 - Google Patents
一种基于机载视觉的无人碾压机作业场景感知系统及方法 Download PDFInfo
- Publication number
- CN111444891A CN111444891A CN202010365993.8A CN202010365993A CN111444891A CN 111444891 A CN111444891 A CN 111444891A CN 202010365993 A CN202010365993 A CN 202010365993A CN 111444891 A CN111444891 A CN 111444891A
- Authority
- CN
- China
- Prior art keywords
- rolling machine
- image
- target
- detection network
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005096 rolling process Methods 0.000 title claims abstract description 71
- 230000004438 eyesight Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000008447 perception Effects 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000010276 construction Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机载视觉的无人碾压机作业场景感知系统，包括图像采集系统及图像处理系统；所述图像采集系统包括位于碾压机本体上且成对设置的多对视觉相机及采集控制器，所述采集控制器用于控制多对视觉相机同步采集且及采集间隔一致；所述图像采集系统采集碾压机本体四周360度全景图像，并将采集的图像信号发送给所述图像处理系统；所述图像处理系统内设目标检测网络，所述目标检测网络对输入的图像信号进行处理，识别出目标物体，并输出目标物体的位置信息。本发明还公开了一种基于机载视觉的无人碾压机作业场景感知方法。本发明可快速精确识别碾压机四周360度的施工现场的多种目标物体，保证无人碾压机作业的安全。
Description
技术领域
本发明涉及一种无人碾压机作业领域，特别涉及一种基于机载视觉的无人碾压机作业场景感知系统及方法。
背景技术
目前，无人驾驶技术在逐步商业化应用在城市交通领域中，而其他行业也在慢慢发展应用此项技术，无人驾驶地下铲在矿山开采中减少了井下作业的人工危险，无人驾驶战车在军事战争中可以减少士兵的伤亡，无人驾驶拖拉机可以提高农机驾驶安全性等等。在大坝施工中，随着高海拔地区工程的增多，越发恶劣的碾压作业条件容易给驾驶员身心造成不可逆的损伤，无人碾压机将驾驶员从重复的碾压作业中解放出来。然而要实现无人碾压机的安全作业首先就需要对碾压机当前工作场景有个全面的感知。传统的一些感知手段如GPS，RFID，UWB等都需要安装在每一个需要感知的对象上，当工作场景中存在大量需要感知的对象时，这种方式并不经济。而雷达作为一种常见的感知手段则存在无法同时获得目标物类别的缺陷。视觉感知却是一种能够获得目标物信息基础上保证大范围场景中使用经济性的手段。
在视觉感知中包含了多种计算机视觉和机器视觉的任务，如图像分类，目标检测，目标分割，视觉测量等。在无人碾压机通过机载视觉感知作业场景的任务中需要获得至少两类信息，一类是大坝施工特定场景中的物体自身的信息，如物体的种类，另一类是在大坝施工场景中各个物体距离观测碾压机的方向和距离。第一类信息可以通过目标检测方法进行分析采集，第二类信息可以通过机器视觉方法进行分析测量。一些研究人员已经在其相应的领域对类似的任务进行了探索，比如，胡颖在他的无人驾驶车辆双目视觉障碍物检测研究中提出了非对称核心-孪生卷积目标检测网络来改进双目视觉测距中立体匹配的视差计算，同时提出道路行驶中路面斜线自适应阈值提取算法改进V视差法从而有效检测出障碍物区域。从博文提出了一种基于深度学习和双目立体视觉的车辆行驶三维环境感知方法，对车辆行驶环境图片通过全卷积神经网路进行语义分割，包括以下9个目标：汽车、行人、自行车、天空、建筑物、柱杆、道路、人行道、树木，同时根据双摄像机结构光测量对道路环境进行三维重建。刘红星提出了基于协方差矩阵融合多特征的粒子滤波算法来识别和跟踪道路上的车辆和行人。朱世威对比了最大类间方差法、最小误差法、最大熵法及遗传算法对农田道路图像进行阈值分割的结果与人眼识别的路面区域之间的差别情况，证明了遗传算法提取的农田路面更加完整，边线更加光滑。肖大鹏提出了基于局部特征描述子融合的方法对三维建模软件中人和车的三维模型的 3D目标识别。但这些研究未能针对在高海拔地区进行碾压施工作业的无人碾压机，提出一种高效的作业方法，缺乏针对施工现场各目标的基于视觉的有效感知的训练方法和训练数据集，以及应用于碾压作业环境下的碾压机行驶视野的监控图像到真实世界的距离转换方法。
发明内容
本发明为解决公知技术中存在的技术问题而提供一种基于机载视觉的无人碾压机作业场景感知系统及方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于机载视觉的无人碾压机作业场景感知系统，包括图像采集系统及图像处理系统；所述图像采集系统包括位于碾压机本体上且成对设置的多对视觉相机及采集控制器，所述采集控制器用于控制多对视觉相机同步采集图像；所述图像采集系统采集碾压机本体四周360度全景图像，并将采集的图像信号发送给所述图像处理系统；所述图像处理系统内设目标检测网络，所述目标检测网络对输入的图像信号进行处理，识别出目标物体，并输出目标物体的位置信息。
进一步地，所述视觉相机为工业相机或者深度相机。
进一步地，所述目标物体包括多种类物体。
进一步地，所述目标物体包括碾压机、挖掘机、装载机、推土机、料车、汽车以及人。
本发明还提供了一种利用上述的基于机载视觉的无人碾压机作业场景感知系统的基于机载视觉的无人碾压机作业场景感知方法，该方法为：
在图像处理系统中建立目标检测网络，制作施工现场近景多类别的目标物体的图像样本集；用所述图像样本集对所述目标检测网络进行训练；在碾压机本体的四周侧安装若干成对设置的所述视觉相机，所述采集控制器输出信号同步触发多对视觉相机采集图像，所述图像采集系统将采集的图像信息输入至训练完成的所述目标检测网络中，目标检测网络对目标物体进行识别，输出目标物体的类别和位置。
进一步地，制作施工现场近景多类别的目标物体的图像样本集的具体方法为：采用相机在不同角度和焦距下采集目标物体的图像；采集的目标物体的图像对应不同的尺寸、角度、光照和遮挡关系。
进一步地，所述目标检测网络为Faster R-CNN型目标检测网络。
进一步地，制作施工现场近景多类别的目标物体的图像样本集；用所述图像样本集对所述目标检测网络进行训练的具体步骤为：
步骤1，采用相机拍摄采集各种目标物体的图像，将拍摄的图像编制成图像样本集，并将图像样本集分为训练样本集和测试样本集；
步骤2，将训练样本集中的训练样本输入到所述Faster R-CNN的通用卷积层中进行特征提取；
步骤3，初始化RPN和Fast R-CNN，将提取的特征，交叉训练RPN和Fast R-CNN；
步骤4，将测试样本集中的测试样本输入到训练后的Faster R-CNN型目标检测网络中，输出测试图片中概率最大的目标物体的种类及其边框；
步骤5，判断Faster R-CNN型目标检测网络的总误差是否达到精度要求；如果没有达到精度要求；则调整目标检测网络参数，重复步骤2至步骤4；如果达到精度要求，则训练结束。
进一步地，所述图像处理系统输出目标物体的世界坐标及相对碾压机本体的相对坐标。
进一步地，所述图像处理系统内设安全间距阈值；当目标物体与碾压机本体的距离低于设定的安全间距阈值时，所述图像处理系统发出警示信号。
本发明具有的优点和积极效果是：
本发明的一种基于机载视觉的无人碾压机作业场景感知系统，通过在无人碾压机上安装多对视觉相机实时采集碾压机四周360度的施工现场图像，实现其作业场景的实时主动感知，通过图像处理系统识别作业场景中存在的目标物体类别，感知与目标物体的相对距离，相对速度等，将这些信息发出，提供至管理中心等监控装置，可以有效保证无人碾压机作业的安全，同时为无人碾压机最优作业的路径规划等提供更全面的信息。
本发明的一种基于机载视觉的无人碾压机作业场景感知方法，基于上述系统，通过在图像处理系统建立目标检测网络，可以更迅速准确的识别作业场景中存在的目标物体及其类别。可以为更多无人化施工作业的工程应用提供有效的功能扩展和支持。
附图说明
图1是本发明的一种基于机载视觉的无人碾压机作业场景感知系统的结构示意图。
图2是本发明的一种在碾压机本体的前后位置布置成对相机示意图；
图3是本发明的一种在碾压机本体的左右位置布置成对相机示意图；
图4是本发明的一种Faster R-CNN型目标检测网络工作原理框图；
图5是本发明的一种基于机载视觉的无人碾压机作业场景感知系统工作流程图。
图中：1、前侧成对相机；2、右侧成对相机；3、后侧成对相机；4、左侧成对相机。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：
请参见图1至图5，一种基于机载视觉的无人碾压机作业场景感知系统，包括图像采集系统及图像处理系统；所述图像采集系统包括位于碾压机本体上且成对设置的多对视觉相机及采集控制器，所述采集控制器用于控制多对视觉相机同步采集图像；所述图像采集系统采集碾压机本体四周360度全景图像，并将采集的图像信号发送给所述图像处理系统；所述图像处理系统内设目标检测网络，所述目标检测网络对输入的图像信号进行处理，识别出目标物体，并输出目标物体的位置信息。
视觉相机成对设置的工作原理为：双目视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目视觉融合两个相机获得的图像并观察两者的差别，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来。上述的差别被称为视差(Disparity)。
双目视觉基于视差，由三角法原理进行物体三维信息的获取，即由两个左右放置摄像机的图像平面和被测物体之间构成一个三角形。已知两个摄像机之间的位置关系，便可以获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。假设两摄像机投影中心连线的距离为基线距离B，f为摄像机的焦距，设物体P在左右摄像机上的投影点的坐标分为为Pleft＝(Xleft,Yleft)，Pright＝(Xright,Yright)。其中，Xleft表示物体P在左摄像机上的投影点的X轴坐标；Yleft表示物体P在左摄像机上的投影点的Y轴坐标；Xright表示物体P在右摄像机上的投影点的X轴坐标；Yright表示物体P 在右摄像机上的投影点的Y轴坐标；将两摄像机投影平面置于同一平面内，则Yleft＝ Yright，设Y＝Yleft＝Yright，由三角形相似原理可得如下关系式:
其中，记视差D＝Xleft-Xright，化简上式可得：
上式中，基线B和f由双目摄像机本身决定，通过立体匹配算法将左视图中的任意一点在右摄像机投影平面中找到对应的匹配点，即(Xleft,Yleft)和(Xright,Yright)已知，视差D即可求出，目标点c的坐标(Xc,Yc,Zc)即可通过公式得出，Zc即被测物体的距离。
目标检测网络为基于深度学习的一种神经网络，其采用基于深度学习的目标检测算法。目标检测任务可分为两个关键的子任务：目标分类和目标定位。目标分类任务负责判断输入图像或所选择图像区域(Proposals)中是否有感兴趣类别的物体出现，输出一系列带分数的标签表明感兴趣类别的物体出现在输入图像或所选择图像区域 (Proposals)中的可能性。目标定位任务负责确定输入图像或所选择图像区域 (Proposals)中感兴趣类别的物体的位置和范围，输出物体的包围盒、或物体中心、或物体的闭合边界等，通常使用方形包围盒(Bounding Box)用来表示物体的位置信息。
所述目标检测网络可采用现有技术中适用的目标检测网络，如Yolo、SSD、YoloV2、R-CNN、Fast R-CNN、Faster R-CNN等各种类型的目标检测网络；优选Faster R-CNN型目标检测网络。Fast R-CNN整个网络包含特征提取器、分类器和边界框回归器，整个网络能通过多任务损失函数进行端到端的训练，这种多任务损失即结合了分类损失和定位损失的方法，大大提升了模型准确度。Faster R-CNN在Fast R-CNN的基础上进行了改进，提高了模型检测速度。
采集控制器，可采用现有技术中的单片机、PLC等控制器。采集控制器可同步输出信号来触发多对视觉相机同步采集图像。
可在碾压机本体上的前侧、后侧、左侧、右侧各设有一对所述视觉相机。便于实时采集碾压机四周360度的施工现场图像，实现其作业场景的实时主动感知。
所述视觉相机可为工业相机或者深度相机。工业相机或者深度相机均可采用现有技术中的适用产品。
所述目标物体可包括多种类物体。所述目标物体可包括碾压机、挖掘机、装载机、推土机、料车、汽车、人，以及在施工现场可能出现的对碾压工作有影响的其他目标物体。这样便于全面地检出各类目标物体，可以有效保证无人碾压机作业的安全。
本发明还提供了一种利用上述的基于机载视觉的无人碾压机作业场景感知系统的基于机载视觉的无人碾压机作业场景感知方法，该方法包括如下步骤：
在图像处理系统中建立目标检测网络，制作施工现场近景多类别的目标物体的图像样本集；用所述图像样本集对所述目标检测网络进行训练；在碾压机本体的四周侧安装若干成对设置的所述视觉相机，所述采集控制器输出信号同步触发多对视觉相机采集图像，所述图像采集系统将采集的图像信息输入至训练完成的所述目标检测网络中，目标检测网络对目标物体进行识别，输出目标物体的类别和位置。
可在采集控制器内设置拍摄时间间隔和起始拍摄时刻，采集控制器输出信号触发多对视觉相机，使多对视觉相机同步采集图像，多对视觉相机同步采集的图像可拼接成该碾压机本体四周环境的360度全景图像；所述图像采集系统将多对视觉相机同步采集的图像信息同步输入至训练完成的目标检测网络中，目标检测网络对目标物体进行识别，输出目标物体的类别和位置，并可对目标物体尺寸进行标注。
进一步地，制作施工现场近景多类别的目标物体的图像样本集的具体方法可为：采用相机可在不同角度和焦距下采集目标物体的图像；采集的目标物体的图像可对应不同的尺寸、角度、光照和遮挡关系。采集不同的尺寸、角度、光照和遮挡关系的目标物体的图像样本，使训练后目标检测网络的准确度更高。
进一步地，所述目标检测网络可为Faster R-CNN型目标检测网络。该Faster R-CNN 型目标检测网络包括RPN(区域建议网络)及Fast R-CNN主干网络。Fast R-CNN整个网络包含特征提取器、分类器和边界框回归器，整个网络能通过多任务损失函数进行端到端的训练，这种多任务损失即结合了分类损失和定位损失的方法，大大提升了模型准确度。Faster R-CNN在Fast R-CNN的基础上进行了改进，提高了模型检测速度。
进一步地，制作施工现场近景多类别的目标物体的图像样本集；用所述图像样本集对所述目标检测网络进行训练的具体步骤可为：
步骤1，可采用相机拍摄采集各种目标物体的图像，将拍摄的图像编制成图像样本集，并可将图像样本集分为训练样本集和测试样本集；
步骤2，可将训练样本集中的训练样本输入到所述Faster R-CNN的通用卷积层中进行特征提取；
步骤3，初始化RPN和Fast R-CNN，可将提取的特征，交叉训练RPN和Fast R-CNN；
步骤4，将测试样本集中的测试样本输入到训练后的Faster R-CNN型目标检测网络中，可输出测试图片中概率最大的目标物体的种类及概率最大的目标物体的边框；也就是将测试样本输入到Faster R-CNN网络中，计算测试图片中存在的各个目标的概率最大分类和概率最大目标边框即在图像上的位置，然后输出。
步骤5，判断Faster R-CNN型目标检测网络的总误差是否达到精度要求；如果没有达到精度要求；则可调整目标检测网络参数，重复步骤2至步骤4；如果达到精度要求，则训练结束。
所述图像处理系统可输出目标物体的世界坐标及相对碾压机本体的相对坐标。便于为更多无人化施工作业的工程应用提供有效的功能扩展和支持。
所述图像处理系统内可设安全间距阈值；当目标物体与碾压机本体的距离低于设定的安全间距阈值时，所述图像处理系统可发出警示信号。将目标物体的世界坐标及相对碾压机本体的相对坐标，提供至其他施工监控装置及行车控制装置等，可以有效保证无人碾压机作业的安全，同时为无人碾压机最优作业的路径规划等提供更全面的信息。
本发明以大坝坝面施工场景为例，结合附图，对本发明的工作流程及工作原理作进一步的说明。
首先在无人碾压机的机身四周安装若干成对的工业相机或者深度相机，构建图像采集系统，如图2和图3所示，在无人作业碾压机正前方、正后方及左右两侧各安装一对工业相机或者深度相机的摄像头，保证所有相机画面涵盖该碾压机四周的360度全景图像。
其次，收集制作无人碾压机作业环境中存在的感知对象的目标物体的图像，编制用于训练目标检测网络的样本集。感知对象包括7类目标，碾压机、挖掘机、装载机、摊铺机、料车、汽车、人。要求相机采集在不同角度和焦距下的画面图像，画面图像包括不同尺度大小、角度、光照和遮挡关系情况下的目标物体图像。样本集所用数据集参照 VOC2007的格式制作，保存原始图片和xml标签文件。
再次，设置图像处理系统，在图像处理系统内设目标检测网络，优选Faster R-CNN型目标检测网络作为目标检测网络，通过制作的样本集训练Faster R-CNN型目标检测网络，将样本集中图像输入到Faster R-CNN网络中。如图4所示，Faster R-CNN由两部分组成，一部分是RPN(区域建议网络)，一部分是Fast RCNN主干网络。先通过RPN和Fast R-CNN 两者共用的卷积层对输入样本进行特征提取，然后初始化RPN和Fast RCNN主干网络，利用输出的特征图交叉训练RPN网络和Fast RCNN主干网络。训练完成后，将测试样本输入训练后的Faster R-CNN网络，逐一计算测试图片中概率最大的目标物体的种类和概率最大的目标物体边框，实现对画面中所有的目标物体检出。
再次，确定碾压机本体与各个目标物体的相对距离与相对方向。若是成对的工业相机，则可根据成熟的双目视觉技术，建立成对相机图像中的目标物体相对无人碾压机本体的位置关系模型，进而计算目标物体相对无人碾压机本体的距离与相对方向。若是成对的深度相机，还可直接根据所配置相机功能，得到目标物体相对无人碾压机本体的距离与相对方向。
最后，将图像处理系统处理后得到的目标检出结果发送给其他装置，比如发送给碾压机本体上的行车控制装置如行车控制器/车载控制器，以及施工监控装置等。无人碾压机四周所有识别的目标物体的位置及与无人碾压机本体的距离等等信息，可在这些装置上进行显示，同时这些信息可用于指导无人碾压机作业，比如调节行进速度及行进角度调节等，比如采取加速，减速或匀速行驶，是否拐弯，该方向如何变化等，这些都对保证无人碾压机的安全作业具有关键性作用。
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。
Claims (10)
1.一种基于机载视觉的无人碾压机作业场景感知系统，其特征在于，包括图像采集系统及图像处理系统；所述图像采集系统包括位于碾压机本体上且成对设置的多对视觉相机及采集控制器，所述采集控制器用于控制多对视觉相机同步采集图像；所述图像采集系统采集碾压机本体四周360度全景图像，并将采集的图像信号发送给所述图像处理系统；所述图像处理系统内设目标检测网络，所述目标检测网络对输入的图像信号进行处理，识别出目标物体，并输出目标物体的位置信息。
2.根据权利要求1所述的基于机载视觉的无人碾压机作业场景感知系统，其特征在于，所述视觉相机为工业相机或者深度相机。
3.根据权利要求1所述的基于机载视觉的无人碾压机作业场景感知系统，其特征在于，所述目标物体包括多种类物体。
4.根据权利要求3所述的基于机载视觉的无人碾压机作业场景感知系统，其特征在于，所述目标物体包括碾压机、挖掘机、装载机、推土机、料车、汽车以及人。
5.一种利用权利要求1至4任一所述的基于机载视觉的无人碾压机作业场景感知系统的基于机载视觉的无人碾压机作业场景感知方法，该方法为：
在图像处理系统中建立目标检测网络，制作施工现场近景多类别的目标物体的图像样本集；用所述图像样本集对所述目标检测网络进行训练；在碾压机本体的四周侧安装若干成对设置的所述视觉相机，所述采集控制器输出信号同步触发多对视觉相机采集图像，所述图像采集系统将采集的图像信息输入至训练完成的所述目标检测网络中，目标检测网络对目标物体进行识别，输出目标物体的类别和位置。
6.根据权利要求5所述的基于机载视觉的无人碾压机作业场景感知方法，其特征在于，制作施工现场近景多类别的目标物体的图像样本集的具体方法为：采用相机在不同角度和焦距下采集目标物体的图像；采集的目标物体的图像对应不同的尺寸、角度、光照和遮挡关系。
7.根据权利要求5所述的基于机载视觉的无人碾压机作业场景感知方法，其特征在于，所述目标检测网络为Faster R-CNN型目标检测网络。
8.根据权利要求7所述的基于机载视觉的无人碾压机作业场景感知方法，其特征在于，制作施工现场近景多类别的目标物体的图像样本集；用所述图像样本集对所述目标检测网络进行训练的具体步骤为：
步骤1，采用相机拍摄采集各种目标物体的图像，将拍摄的图像编制成图像样本集，并将图像样本集分为训练样本集和测试样本集；
步骤2，将训练样本集中的训练样本输入到所述Faster R-CNN的通用卷积层中进行特征提取；
步骤3，初始化RPN和Fast R-CNN，将提取的特征，交叉训练RPN和Fast R-CNN；
步骤4，将测试样本集中的测试样本输入到训练后的Faster R-CNN型目标检测网络中，输出测试图片中概率最大的目标物体的种类及其边框；
步骤5，判断Faster R-CNN型目标检测网络的总误差是否达到精度要求；如果没有达到精度要求；则调整目标检测网络参数，重复步骤2至步骤4；如果达到精度要求，则训练结束。
9.根据权利要求5所述的基于机载视觉的无人碾压机作业场景感知方法，其特征在于，所述图像处理系统输出目标物体的世界坐标及相对碾压机本体的相对坐标。
10.根据权利要求9所述的基于机载视觉的无人碾压机作业场景感知方法，其特征在于，所述图像处理系统内设安全间距阈值；当目标物体与碾压机本体的距离低于设定的安全间距阈值时，所述图像处理系统发出警示信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010365993.8A CN111444891A (zh) | 2020-04-30 | 2020-04-30 | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010365993.8A CN111444891A (zh) | 2020-04-30 | 2020-04-30 | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111444891A true CN111444891A (zh) | 2020-07-24 |
Family
ID=71653572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010365993.8A Pending CN111444891A (zh) | 2020-04-30 | 2020-04-30 | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111444891A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131964A (zh) * | 2020-08-31 | 2020-12-25 | 南京汽车集团有限公司 | 一种道路作业车辆视觉感知系统及其使用方法 |
| CN112668585A (zh) * | 2020-11-26 | 2021-04-16 | 厦门大学 | 一种动态环境下的物体辨识与定位方法 |
| CN114998357A (zh) * | 2022-08-08 | 2022-09-02 | 长春摩诺维智能光电科技有限公司 | 基于多信息分析的工业检测方法、系统、终端和介质 |
| CN117830646A (zh) * | 2024-03-06 | 2024-04-05 | 陕西天润科技股份有限公司 | 一种基于立体影像快速提取建筑物顶部高程的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102205342A (zh) * | 2011-05-05 | 2011-10-05 | 郑州蓝德环保科技有限公司 | 电子垃圾综合处理装置 |
| CN106878687A (zh) * | 2017-04-12 | 2017-06-20 | 吉林大学 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
| CN110602449A (zh) * | 2019-09-01 | 2019-12-20 | 天津大学 | 一种基于视觉的大场景下施工安全智能监控系统方法 |
| CN212873508U (zh) * | 2020-04-30 | 2021-04-02 | 天津大学 | 一种基于机载视觉的无人碾压机作业场景感知系统 |
-
2020
- 2020-04-30 CN CN202010365993.8A patent/CN111444891A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102205342A (zh) * | 2011-05-05 | 2011-10-05 | 郑州蓝德环保科技有限公司 | 电子垃圾综合处理装置 |
| CN106878687A (zh) * | 2017-04-12 | 2017-06-20 | 吉林大学 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
| CN110602449A (zh) * | 2019-09-01 | 2019-12-20 | 天津大学 | 一种基于视觉的大场景下施工安全智能监控系统方法 |
| CN212873508U (zh) * | 2020-04-30 | 2021-04-02 | 天津大学 | 一种基于机载视觉的无人碾压机作业场景感知系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131964A (zh) * | 2020-08-31 | 2020-12-25 | 南京汽车集团有限公司 | 一种道路作业车辆视觉感知系统及其使用方法 |
| CN112668585A (zh) * | 2020-11-26 | 2021-04-16 | 厦门大学 | 一种动态环境下的物体辨识与定位方法 |
| CN112668585B (zh) * | 2020-11-26 | 2024-04-09 | 厦门大学 | 一种动态环境下的物体辨识与定位方法 |
| CN114998357A (zh) * | 2022-08-08 | 2022-09-02 | 长春摩诺维智能光电科技有限公司 | 基于多信息分析的工业检测方法、系统、终端和介质 |
| CN117830646A (zh) * | 2024-03-06 | 2024-04-05 | 陕西天润科技股份有限公司 | 一种基于立体影像快速提取建筑物顶部高程的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10137890B2 (en) | Occluded obstacle classification for vehicles | |
| CN111444891A (zh) | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 | |
| CN110531376B (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
| CN102944224B (zh) | 一种无人驾驶车的自动环境感知系统的工作方法 | |
| US10878288B2 (en) | Database construction system for machine-learning | |
| DE102020112314A1 (de) | Verifizierung von fahrzeugbildern | |
| CN101941438B (zh) | 安全车距智能检控装置与方法 | |
| JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
| CN103455144A (zh) | 车载人机交互系统及方法 | |
| CN110602449A (zh) | 一种基于视觉的大场景下施工安全智能监控系统方法 | |
| GB2621048A (en) | Vehicle-road laser radar point cloud dynamic segmentation and fusion method based on driving safety risk field | |
| CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| DE102021132853A1 (de) | Auf deep learning basierende kamerakalibrierung | |
| DE112021006101T5 (de) | Systeme und Verfahren zur Objektdetektion mit LiDAR-Dekorrelation | |
| DE102023104789A1 (de) | Verfolgung mehrerer objekte | |
| DE112021005607T5 (de) | Systeme und Verfahren für kamera-LiDAR-fusionierte Objektdetektion | |
| CN212873508U (zh) | 一种基于机载视觉的无人碾压机作业场景感知系统 | |
| US11314974B2 (en) | Detecting debris in a vehicle path | |
| Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
| US20230230317A1 (en) | Method for generating at least one ground truth from a bird's eye view | |
| Álvarez et al. | Perception advances in outdoor vehicle detection for automatic cruise control | |
| DE102022132847A1 (de) | Dreidimensionale objektdetektion | |
| Savino et al. | Obstacle detection test in real-word traffic contexts for the purposes of motorcycle autonomous emergency braking (MAEB) | |
| Fu et al. | Computer vision based object detection and recognition for vehicle driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |