CN116309445A - 一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法 - Google Patents

一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法 Download PDF

Info

Publication number
CN116309445A
CN116309445A CN202310261096.6A CN202310261096A CN116309445A CN 116309445 A CN116309445 A CN 116309445A CN 202310261096 A CN202310261096 A CN 202310261096A CN 116309445 A CN116309445 A CN 116309445A
Authority
CN
China
Prior art keywords
point
point cloud
digging
coordinate system
shovel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310261096.6A
Other languages
English (en)
Inventor
胡永彪
赵江营
谭鹏
刘承硕
田明锐
夏晓华
李超凡
王志强
黄浩
岳鹏举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202310261096.6A priority Critical patent/CN116309445A/zh
Publication of CN116309445A publication Critical patent/CN116309445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法，涉及挖掘铲入点检测技术领域，所述系统包括交通锥、双目相机、处理模块；所述方法包括获取挖掘场地点云，对获取的挖掘场地点云进行坐标变换、预处理、分割、提取沟槽区域，得到沟槽区域点云，基于所述沟槽区域点云，采用全局梯度一致度函数设计沟槽挖掘的铲入点的特征信息，基于所述铲入点的特征信息，检测所述铲入点，并获取所述铲入点3D坐标。本发明能够快速计算挖掘参数，方便分析铲入点的误差，提高铲入点检测精度，提高铲入点计算效率。

Description

一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法
技术领域
本发明涉及挖掘铲入点检测技术领域，具体而言，涉及一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法。
背景技术
挖掘机是一种应用最为广泛的工程机械，自主挖掘作业的一个关键技术在于对挖掘过程中关键区域的感知，特别是挖掘作业循环起始状态铲入点等关键目标的检测及3D定位信息，才能够实现后续的运动规划。
目前，沟槽挖掘铲入点检测方法基本采用人工建立铲入位置标记，通过人工肉眼来确定铲入点来实现的，现有技术的方法并不能提供准确的环境信息，会造成铲入点的误差，降低了铲入点检测精度。
发明内容
为了解决上述问题，本发明的目的提出了一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法，能够快速计算挖掘参数，方便分析铲入点的误差，提高铲入点检测精度，提高铲入点计算效率。
为了实现上述技术目的，本发明提供了一种基于视觉点云处理的沟槽挖掘铲入点检测系统，包括：交通锥、双目相机、处理模块；
所述交通锥放置在沟槽挖掘铲入点区域，所述双目相机安装于挖掘机的驾驶室上方且与所述驾驶室的顶部平面成设定角度，所述双目相机采集所述交通锥的图像信息，获取挖掘场地点云，所述处理模块与所述双目相机电连接，所述处理模块对所述双目相机采集到的所述交通锥的图像信息进行处理，检测沟槽挖掘铲入点。
一种基于视觉点云处理的沟槽挖掘铲入点检测方法，应用于所述的基于视觉点云处理的沟槽挖掘铲入点检测系统，包括以下步骤：
S1，获取挖掘场地点云；
S2，对获取的挖掘场地点云进行坐标变换、预处理、分割、提取沟槽区域，得到沟槽区域点云；
S3，基于所述沟槽区域点云，采用全局梯度一致度函数设计沟槽挖掘的铲入点的特征信息；
S4，基于所述铲入点的特征信息，检测所述铲入点，并获取所述铲入点3D坐标。
优选地，所述步骤S1，获取挖掘场地区域点云，包括：
采用双目相机获取挖掘场地的三维点云数据，包括获取左图像和右图像，使用CNN网络从左图像和右图像中提取特征点，计算特征点在每个图像中的视差，基于相机参数与三角化技术得到相机空间的每个特征点的3D深度和三维点云坐标。
优选地，所述步骤S2，获取挖掘场地区域点云，还包括：
建立挖掘机的基坐标系、挖掘机的工作装置坐标系、相机坐标系，所述挖掘机的基坐标系为O0-X0Y0Z0，所述挖掘机的基坐标系是以挖掘机底盘回转中心与履带接地平面的交点为原点的全局坐标系，挖掘作业运动过程中，坐标系始终与地面固定且保持不变，其中X0轴为指向履带正前方，Y0轴为垂直履带长度方向向外；
挖掘机的工作装置坐标系为O1-X1Y1Z1，是以动臂旋转中心与车体的铰接点为原点的局部坐标系；
相机坐标系为OC-XCYCZC，指的是双目相机中以左相机为基准的坐标系，挖掘作业过程中相机坐标系随上车回转变化。
优选地，所述步骤S2中，对获取的挖掘场地点云进行坐标变换，包括：
将相机坐标系OC-XCYCZC下3D点的坐标通过工作装置坐标系O1-X1Y1Z1变换至全局基坐标系O0-X0Y0Z0，此过程的坐标变换通过齐次变换矩阵实现，所述齐次变换矩阵如下形式：
Figure SMS_1
式中，(x0,y0,z0)表示全局基坐标系下点的坐标，(XC,YC,ZC)表示相机坐标系下点的坐标，(cx,cy,cz)表示相机坐标系的原点OC在工作装置坐标系O1-X1Y1Z1下的坐标，a1表示回转关节轴Z0与轴Z1之间的连杆长度，d1表示轴X0到轴X1之间的连杆偏距。
优选地，在所述步骤S2中，对获取的挖掘场地点云进行预处理，包括：
采用布料滤波算法对所述挖掘场地点云进行滤波；
基于采用布料滤波算法对所述挖掘场地点云进行滤波的结果，通过统计滤波器去除异常值，形成新的挖掘场地点云，具体包括：设定在点p最接近的k个邻居P内，每个点的位置服从标准差为σk和均值为uk的高斯分布，对于给定的点集P，计算每个点pi∈P到邻居点的平均距离di，若点pi的平均距离
Figure SMS_2
大于给定的阈值时，则此点被判定为异常值并去除，其余点/>
Figure SMS_3
的组成的点集P*记作如下：
Figure SMS_4
式中，lb＝(uk-α·σk)和ub＝(uk+α·σk)，α是影响点云所需密度的因素，根据经验，k设置为8，α设置为3；
在通过统计滤波器去除异常值后，使用体素滤波器对所述新的挖掘场地点云进行采样。
优选地，在所述步骤S2中，对获取的挖掘场地点云进行分割，包括：
对挖掘场地点云进行体素化，所述对挖掘场地点云进行体素化包括将挖掘场地点云划分为小块的三维立方体，在每个体素中，其中的点形成了一个具有不同形状的表面，包括平面、曲面或相交的表面，对所述面片进行全局聚类，提取分割后的平面。
优选地，在所述步骤S2中，对获取的挖掘场地点云进行提取沟槽区域，包括：
对所述获取的挖掘场地点云进行分割后，将挖掘场地点云的平面部分分割出来，将提取的地面平面部分点云P**去除掉，则得到沟槽区域的点云PC，记作：
PC＝P*\P** (3)
基于提取的沟槽区域点云，就进行后续的铲入点的检测以及其他挖掘参数计算。
优选地，S3，基于所述沟槽区域点云，采用全局梯度一致度函数设计沟槽挖掘的铲入点的特征信息，包括：
建立全局梯度一致度函数描述挖掘区域铲入点，具体包括当铲入点为真实铲入点时，k点两侧的挖掘区域轮廓点的分布相对于直线
Figure SMS_5
和直线/>
Figure SMS_6
具有最小的整体偏离度，在铲入点k两侧分别计算左右区域内各点j和i与端点n和端点0形成的直线/>
Figure SMS_7
和直线/>
Figure SMS_8
的梯度
Figure SMS_9
和/>
Figure SMS_10
通过下式(11)计算k点两侧数据点的梯度偏差累计值，得到k点的全局梯度一致度函数/>
Figure SMS_11
为
Figure SMS_12
式中，
Figure SMS_13
和/>
Figure SMS_14
为k点两侧直线/>
Figure SMS_15
和直线/>
Figure SMS_16
的梯度；
最后，结合前面的分析，则满足条件
Figure SMS_17
最小的情况下的数据点k即为铲入点的检测结果，表示如下
Figure SMS_18
由式(11)和式(12)，则可以确定沟槽挖掘作业的铲入点的索引k，然后根据索引确定铲入点及其三维坐标。
与现有技术相比，本发明的有益效果为：本发明通过提出了一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法，包括：交通锥、双目相机、处理模块；通过获取挖掘场地点云，对获取的挖掘场地点云进行坐标变换、预处理、分割、提取沟槽区域，得到沟槽区域点云，基于所述沟槽区域点云，采用全局梯度一致度函数设计沟槽挖掘的铲入点的特征信息，基于所述铲入点的特征信息，检测所述铲入点，并获取所述铲入点3D坐标，能够快速计算挖掘参数，方便分析铲入点的误差，提高铲入点检测精度，提高铲入点计算效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的基于视觉点云处理的沟槽挖掘铲入点检测方法流程示意图；
图2为本发明立体相机与挖掘坐标系示意图；
图3为本发明铲入点检测方法流程图；
图4为本发明沟槽挖掘区域轮廓点的全局梯度变化量示意图；
图5为本发明挖掘作业的铲入点定位误差示意图；
图6为本发明挖掘区域三维点云图；
图7为本发明所述的基于视觉点云处理的沟槽挖掘铲入点检测系统的结构框图。
具体实施方式
下为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图7所示，本发明提供了一种基于视觉点云处理的沟槽挖掘铲入点检测系统12，包括：交通锥1202、双目相机1201、处理模块1203；
所述交通锥放置在沟槽挖掘铲入点区域，所述双目相机安装于挖掘机的驾驶室上方且与所述驾驶室的顶部平面成设定角度，所述双目相机采集所述交通锥的图像信息，获取挖掘场地点云，所述处理模块与所述双目相机电连接，所述处理模块对所述双目相机采集到的所述交通锥的图像信息进行处理，检测沟槽挖掘铲入点。
由于沟槽挖掘区域难以布置辅助信息标识，因此可以考虑构造稳健的特征用于描述铲入点，并且可以使用双目相机获取其位置信息。首先，通过双目相机获取作业环境的三维点云，并根据挖掘作业特点与作业范围去除数据中的离群点；然后，融合二维图像数据及挖掘作业工况特点对挖掘区域状态做出判别，在图像中实时提取挖掘区域铲入点并得到其相应的三维空间坐标，并且修正铲入点的位置坐标；最后，结合挖掘运动约束对铲入点进行确定，并根据挖掘任务将挖掘目标在相机系下的位置坐标转换至当前挖掘机的全局基坐标系中，得到挖掘机位姿空间和关节空间的路径点和关节角等运动参数。
结合沟槽作业工况的“沟槽挖掘+侧方卸料”模式，以及双目视觉所具有的深度感知能力，提出沟槽挖掘区域点云处理算法分割出沟槽区域，通过构造铲入点检测特征实现铲入点的检测，最后通过现场试验，分析比较该方案与实际测量的误差。
如图1所示，本发明还提供了一种基于视觉点云处理的沟槽挖掘铲入点检测方法，应用于所述的基于视觉点云处理的沟槽挖掘铲入点检测系统，包括以下步骤：
S1，获取挖掘场地点云；
进一步地，所述步骤S1，获取挖掘场地区域点云，包括：
通过双目相机利用双目视觉技术获取挖掘场地的三维点云数据，包括获取左图像和右图像，使用CNN网络从左图像和右图像中提取特征点，计算特征点在每个图像中的视差，基于相机参数与三角化技术得到相机空间的每个特征点的3D深度和三维点云坐标；
利用双目视觉技术可以获取沟槽挖掘场地的三维点云数据，首先获取左右图像，使用改进的CNN网络(Neural Depth技术)从左图像和右图像中提取特征点，此方法是在低分辨率代价容量中计算视差的，通过使用紧凑的像素到像素细化网络学习上采样函数重新分层地引入高频细节，从而更好的实现特征提取。然后，计算此特征在每个图像中的视差。最后，基于相机参数与三角化技术得到相机空间的每个特征点的3D深度和三维点云坐标。
进一步地，所述步骤S1，获取挖掘场地区域点云，还包括：
建立挖掘机的基坐标系、挖掘机的工作装置坐标系、相机坐标系，包括所述挖掘机的基坐标系为O0-X0Y0Z0，所述挖掘机的基坐标系是以挖掘机底盘回转中心与履带接地平面的交点为原点的全局坐标系，挖掘作业运动过程中，坐标系始终与地面固定且保持不变，其中X0轴为指向履带正前方，Y0轴为垂直履带长度方向向外；
挖掘机的工作装置坐标系为O1-X1Y1Z1，是以动臂旋转中心与车体的铰接点为原点的局部坐标系；
相机坐标系为OC-XCYCZC，指的是双目相机中以左相机为基准的坐标系，挖掘作业过程中相机坐标系随上车回转变化。
在实验平台中，相机安装在驾驶室上方且与驾驶室顶部平面成一固定角度，在使用前需要提前调整好角度，使得在挖掘过程中相机视场完全覆盖沟槽与卸料区域及相应的前方区域。如图2所示，挖掘机中各坐标系定义为：挖掘机的基坐标系O0-X0Y0Z0是以挖掘机底盘回转中心与履带接地平面的交点为原点的全局坐标系(挖掘作业运动过程中，坐标系始终与地面固定且保持不变)，其中X0轴为指向履带正前方，Y0轴为垂直履带长度方向向外。挖掘机的工作装置坐标系O1-X1Y1Z1是以动臂旋转中心与车体的铰接点为原点的局部坐标系，相机坐标系OC-XCYCZC指的是双目相机中以左相机为基准的坐标系，挖掘作业过程中相机坐标系随上车回转变化。
S2，对获取的挖掘场地点云进行坐标变换、预处理、分割、提取沟槽区域，得到沟槽区域点云；
进一步地，在所述步骤S2中，对获取的挖掘场地点云进行坐标变换，包括：为了便于计算挖掘过程中的关键点位置坐标与工作装置关节空间参数，需将相机坐标系OC-XCYCZC下3D点的坐标通过工作装置坐标系O1-X1Y1Z1变换至全局基坐标系O0-X0Y0Z0，此过程的坐标变换通过齐次变换矩阵写作如下形式：
Figure SMS_19
式中，(x0,y0,z0)表示全局基坐标系下点的坐标，(XC,YC,ZC)表示相机坐标系下点的坐标，(cx,cy,cz)表示相机坐标系的原点OC在工作装置坐标系O1-X1Y1Z1下的坐标，a1表示回转关节轴Z0与轴Z1之间的连杆长度，d1表示轴X0到轴X1之间的连杆偏距。
通过上述的齐次坐标变化，可以实现挖掘作业过程中卸料点的坐标从相机坐标系下转换为全局基坐标系。
进一步地，在所述步骤S2中，对获取的挖掘场地点云进行预处理，包括：
采用布料滤波算法对所述挖掘场地点云进行滤波；
基于采用布料滤波算法对所述挖掘场地点云进行滤波的结果，通过统计滤波器去除异常值，形成新的挖掘场地点云，具体包括：设定在点p最接近的k个邻居P内，每个点的位置服从标准差为σk和均值为uk的高斯分布，对于给定的点集P，计算每个点pi∈P到邻居点的平均距离di，若点pi的平均距离
Figure SMS_20
大于给定的阈值时，则此点被判定为异常值并去除，其余点/>
Figure SMS_21
的组成的点集P*记作如下：
Figure SMS_22
式中，lb＝(uk-α·σk)和ub＝(uk+α·σk)，α是影响点云所需密度的因素，根据经验，k设置为8，α设置为3；
在通过统计滤波器去除异常值后，使用体素滤波器对所述新的挖掘场地点云进行采样。
通常得到的挖掘场地点云包含地面、挖掘沟槽、挖掘机的工作装置部分以及其它设备，直接对原始点云处理会产生很大的误差，因此需要对原始点云进行预处理。
为了有效的分割沟槽区域，首先对地面以外的物体进行滤波去除，传统的滤波算法大多是基于坡度与高程变化的不同来进行区分地面点与非地面点，而布料滤波算法是基于“弹簧-质点”模型进行滤波的，首先把点云进行翻转，然后假设有一块布料受到重力从上方落下，则最终落下的布料就是当前的地形。本文设置不了网格的大小为0.1m，分类高程差阈值设置为0.9m。
在统计滤波去除异常点后，为了提高后续处理的计算效率以及保持点云的几何结构信息，本文使用体素滤波器对过滤后的点云进行下采样。在本文中，3D体素的分辨率vr设置为0.06m。
进一步地，在所述步骤S2中，对获取的挖掘场地点云进行分割，包括：
对挖掘场地点云进行体素化，所述对挖掘场地点云进行体素化包括将挖掘场地点云划分为小块的三维立方体，在每个体素中，其中的点形成了一个具有不同形状的表面，如平面、曲面或相交的表面，对所述面片进行全局聚类，提取分割后的平面。
进一步地，在所述步骤S2中，对获取的挖掘场地点云进行提取沟槽区域，包括：对所述获取的挖掘场地点云进行分割后，将挖掘场地点云的平面部分分割出来，将提取的地面平面部分点云P**去除掉，则得到沟槽区域的点云PC，记作：
PC＝P*\P** (3)
基于提取的沟槽区域点云，就进行后续的铲入点的检测以及其他挖掘参数计算。
体素是三维空间网格化的基本单位，体素化是将物体的几何形式表示转换成最接近该物体的体素表示形式。它以一定的空间分辨率实现了对物体几何形状的近似。为了实现体素化，利用八叉树结构将整个点云离散为同等大小的三维体素v∈V(V是整个点云)，这样可以用八叉树来索引未组织的点，并通过网格化表示来简化点云集。由于体素的颗粒度影响分割的性能，八叉树结构的生成完全仅仅是为了创建不同级别的体素分辨率(即大小)。与基于点的数据结构相比，点云的体素结构简化了复杂场景的表示，在某种程度上，体素化也是一种降维采样。用于划分空间的树状结构可以加速搜索过程，提高点的遍历效率。
平面面片的选择:体素化之后，整个点云已经被划分为小块的三维立方体。在每个体素中，其中的点形成了一个具有不同形状的表面，如平面、曲面或相交的表面。对于平面分割，有两个条件：(1)一个平面只能由具有平面的体素组成；(2)一个平面模型可以由不连续的平面聚类来表示。很明显，通过选择具有平面的体素，这些体素可能不是连续的，但是可以得到更好的平面拟合结果。在这种点云处理的方法中，符合上述两个条件的体素被称为面片。
面片f∈F是由体素的中心和法向量表示，通过平面拟合体素的表面来实现面片的选择。对于体素v内的点集Pv，使用k个3D点{p1,p1,…,pk}的坐标来计算该邻域中点的3D结构张量M，其表示为给定3D点的位置协方差矩阵M[5]：
Figure SMS_23
式中，
Figure SMS_24
是体素内点的几何中心，通过下式计算：
Figure SMS_25
M的特征值和特征向量提供了V内的点p∈Pv几何信息，最小的特征值对应的特征向量表示曲面的法向量，可以用来区分p点处的表面类型。
在对平面面片进行全局聚类时，平面的面片集f∈F是由是所有点到平面的残差r小于给定阈值Δr的体素v*∈V组成的，记作：
Figure SMS_26
式中，阈值Δr是根据经验设置为体素大小的四分之一，残差
Figure SMS_27
di是点pi到拟合平面的距离。
面片的全局聚类:一旦从体素中选择了面片，它们就会被聚类成团，同一团中所有的点用于估计平面模型。面片的聚类被转换为构建和划分点云的图模型问题。图模型的主要优势在于：可以用数学上的结构明确地表示点与点之间的关系，并从已知的信息中推断出潜在的分布。由于局部图模型仅仅包含点云的局部几何结构信息，因此需要通过全局图模型来构造面片的结构特征。
在全局图形模型G(N,W,E)中，所有面片F都作为节点N，并且相邻的面片由具有权重W的边E连接。假设节点(即面片)是相互独立的，节点Ni和Nj之间边Eij的权重w(i,j)∈W是通过以乘法形式测量法向量
Figure SMS_28
和位置差(即空间距离)/>
Figure SMS_29
之间的角度差来定义的：
Figure SMS_30
式中，δa和δp分别是控制角度差和空间距离重要性的参数。并且确保w(i,j)∈[0,1]。
一种高效的图分割算法用于3D点云分割，分割S将节点N(即面片)划分为对应于图中连接面的簇C∈S。首先，每个节点Ni都被认为是一个团Ci，按照权重的升序对连接两个节点的边进行排序。然后，通过评估分割Si内的最大内部差别Ii以及团Ci和Cj之间的外部差别，迭代进行图分割。团中的最大内部差异与团中包括的节点之间边的最大权重有关。外部差异是连接图中不同派系的两个面的边的最小权重。如果两个团间的差异小于一个团内部的最大差异，那么合并这两个团。在合并两个团之后，更新团的最大内部差I，并将其增加与新合并团中的面的数量相关联的项Cij。具体而言，对于边Eij的节点Ni∈Cm和Nj∈Cn，如果Eij具有连接不同的簇Cm和Cn的节点的所有可能边的最小权重，并且Eij的权重wij大于阈值τmn，则Cm和Cn被合并。权重w(i,j)与Cm和Cn之间的外部差异有关，如下：
Figure SMS_31
式中，|C|表示C中节点的数量，δ表示确定初始阈值的常数。若|Cm|＝1且|Cn|＝1，则定义τmn＝δ。
平面的定位:一旦提取了一个分割平面，可以通过OBB或AABB包围盒描述其位置和方向[8]。空间中的AABB使用平行六面体定义的，其基向量与坐标轴对齐；OBB也是一个平行六面体，但是其面和边平行于点集的主特征向量，比AABB更加逼近物体，能显著减少包围盒的个数，因此采用OBB盒描述分割平面。
OBB的构造需要指定中心点p(xc,yc,zc)和三个正交特征向量n(nx,ny,nz)分别用于确定位置和方向。对于OBB的尺寸，需要确定宽度、高度和深度。OBB是一个最小的封闭3D包围盒，在X、Y、Z维度上具有最小的度量。因此，当从分割中提取平面时，OBB就限制了平面可能的方向和位置。
平面模型的估计:3D HT算法常用于平面检测，通常给定的一组点P，估计参数化的平面模型。Hesse法线式的平面模型是用平面上的点p(xp,yp,zp)、平面的法向量np(nx,ny,nz)以及坐标系的原点O到平面的带符号距离ρ来定义[9]：
ρ＝xpnx+ypny+zpnz (9)
式中，nx、ny、nz由下式计算：
Figure SMS_32
式中，α是法向量np的在XY平面上的投影轴与X轴的夹角，γ是法向量np与Z轴的夹角。
对于笛卡尔空间中的点p，有m个通过该点的平面Ak(αk,γk,ρk),k＝{1,2,…,m}，这些平面可以表示为霍夫空间(α,γ,ρ)中的点，即笛卡尔空间中的一个点被转换为霍夫空间中的多个点形成的曲面。如果霍夫空间中的多张曲面相交于同一点，则意味着多个点在笛卡尔空间中共面，其中最多曲面相交的点Am对应于包含点数最多的平面，即目标平面。
对于霍夫空间的三个参数α，γ和ρ，前两个参数的范围是[0,2π]，第三个参数的范围是包围盒B(xc,yc,zc,w,h,d)中的任一点到原点的距离，(xc,yc,zc)是包围盒的中心，(w,h,d)是包围盒的尺寸。分割点云的OBB也近似表示平面的尺寸，即可能的平面方向被限定在OBB截面中两条对角线之间的范围。对于沿着X轴和Y轴的平面方向两个范围，沿Y轴的可能平面的方向从αmin到αmax，差值为Δα，沿X轴的可能平面的方向范围为从γmin到γmax，差值为Δγ。因此对于霍夫空间的三个参数(α,γ,ρ)，前两个参数的范围则分别设置为[αmin,αmax]和[γmin,γmax]。
平面模型是使用面片中的点来估计的，由于一些点没有被划分给任何平面，因此点云的平面分割并不完全。为了优化分割的平面，需要对未划分给平面但位于其OBB中的点进行局部聚类。首先将之前未划分的点分配给初始估计的平面模型，然后使用更多的点来估计平面模型。这样出处理之后，就将平面部分点云分割完毕。
沟槽区域点云的提取:经过点云分割之后，可以将挖掘区域点云中的平面部分分割出来。在不严格的平面拟合阈值约束下，分割的平面部分点云在挖掘区域点云中占据多数，因此可以将沟槽区域提取出来。通常挖掘场地点云主要是由近似平面部分的地面、斜坡以及坑槽底部平面组成，而所需要的是由斜坡以及沟槽底部组成的沟槽区域。因此，需要将提取的地面平面部分点云P**去除掉，则得到沟槽区域的点云PC，记作：
PC＝P*\P** (3)
基于提取的沟槽区域点云，就可以进行后续的铲入点的检测以及其他挖掘参数计算。
S3，基于所述沟槽区域点云，采用全局梯度一致度函数设计沟槽挖掘的铲入点的特征信息；
进一步地，S3，基于所述沟槽区域点云，采用全局梯度一致度函数设计沟槽挖掘的铲入点的特征信息，包括：
建立全局梯度一致度函数描述挖掘区域铲入点，具体包括当铲入点为真实铲入点时，k点两侧的挖掘区域轮廓点的分布相对于直线
Figure SMS_33
和直线/>
Figure SMS_34
具有最小的整体偏离度，在铲入点k两侧分别计算左右区域内各点j和i与端点n和端点0形成的直线/>
Figure SMS_35
和直线/>
Figure SMS_36
的梯度
Figure SMS_37
和/>
Figure SMS_38
通过下式(11)计算k点两侧数据点的梯度偏差累计值，得到k点的全局梯度一致度函数/>
Figure SMS_39
为
Figure SMS_40
式中，
Figure SMS_41
和/>
Figure SMS_42
为k点两侧直线/>
Figure SMS_43
和直线/>
Figure SMS_44
的梯度；
最后，结合前面的分析，则满足条件
Figure SMS_45
最小的情况下的数据点k即为铲入点的检测结果，表示如下
Figure SMS_46
由式(11)和式(12)，则可以确定沟槽挖掘作业的铲入点的索引k，然后根据索引确定铲入点及其三维坐标。
沟槽挖掘铲入点的检测:在人工操作挖掘机作业过程中，通常根据挖掘作业工况和要求，人工判断挖掘点。而对于自主挖掘作业，需要提出了一种针对挖掘作业过程工作装置平面中的初始挖掘点(即铲入点)的检测算法，以帮助系统在沟槽作业环境过程中完成挖掘点的检测。铲入点检测的总体流程如图3所示。
铲入点的检测特征构造:在人工操作挖掘机进行沟槽作业过程中，通常根据挖掘作业工况和要求，人工判断挖掘点。在自主挖掘作业中，需要能够自动检测挖掘作业过程中的初始挖掘点(即铲入点)，以帮助自主系统在沟槽挖掘任务中完成挖掘点的检测。
如图4所示，理想情况下挖掘区域轮廓大致由沟槽底部、挖掘区域坡面(红色轮廓)和地面三部分组成。在本文中，铲入点在此定义为在O0-X0Z0平面内挖掘区域坡面与沟槽底面相交的位置。
通过现场试验及数据分析后，提出了全局梯度一致度函数来描述挖掘区域铲入点。当可能的铲入点为真实铲入点时，k点两侧的挖掘区域轮廓点的分布相对于直线
Figure SMS_48
和直线/>
Figure SMS_51
具有最小的整体偏离度。为了便于计算，采用k点两侧挖掘区域轮廓点的局部梯度/>
Figure SMS_53
和/>
Figure SMS_49
的累计偏差值用于评价挖掘作业区域坡面轮廓数据点的整体偏离度。首先，在可能的铲入点k两侧分别计算左右区域内各点j和i与端点n和端点0形成的直线/>
Figure SMS_52
和直线/>
Figure SMS_54
的梯度
Figure SMS_55
和/>
Figure SMS_47
然后，通过下式(13)计算k点两侧数据点的梯度偏差累计值，得到k点的全局梯度一致度函数/>
Figure SMS_50
为
Figure SMS_56
式中，
Figure SMS_57
和/>
Figure SMS_58
为k点两侧直线/>
Figure SMS_59
和直线/>
Figure SMS_60
的梯度。
最后，结合前面的分析，则满足条件
Figure SMS_61
最小的情况下的数据点k即为铲入点的检测结果，表示如下
Figure SMS_62
由式(13)和式(14)，则可以确定沟槽挖掘作业的铲入点的索引k，然后根据索引就可以确定铲入点及其三维坐标。
S4，基于所述铲入点的特征信息，检测所述铲入点，并获取所述铲入点3D坐标。
铲入点检测精度评估:在得到挖掘作业铲入点的定位坐标后，就需要分析其定位误差。铲入点的定位误差定义为实际铲入点的位置与检测铲入点的位置之差，如图5所示。实际铲入点位置通过激光测距仪人工测量得到；视觉检测的铲入点位置即为通过定位算法计算出来的。为了便于分析铲入点的误差，仅在测量距离上分析定位误差，计算如下式所示
εp＝|Pp-Pg| (15)
式中，εp表示铲入点的定位误差，Pp表示视觉检测的铲入点三维位置坐标，Pg表示实际测量的铲入点三维位置坐标。
试验结果及分析
挖掘区域的3D点云重建:本节的铲入点检测试验是在自主研发的SWE50E型自主作业挖掘机平台上完成的，使用ZED 2i立体相机进行铲入点检测，图像的分辨率为1920×1080pixels。
挖掘区域的3D点云与铲入点检测算法验证效果如图6所示。三维点云通过式(2)已经转化到基坐标系下，三维点云完整的表现出挖掘区域的三个重要组成部分，即上部地面、挖掘区域坡面和坑槽地面。其中A线表示工作装置所在的平面，即搜索铲入点的平面。从图中可以看到挖掘深度从0m增加到-1m，这代表坑槽深度的变化。
铲入点的检测结果及分析:为了方便评价铲入点检测精度，试验通过找到铲入点的图像检测结果在实际环境中的对应点，通过式(15)计算铲入点的实际值与视觉检测值的偏差。人工测量结果是采用激光测距仪(精度1mm)进行获取，七帧图像是采集的一轮挖掘循环(包含7铲挖掘)不同形态作业区域轮廓的图像。如表1所示，在5m范围内，随着距离的增加，双目测距误差增大，并且最大测量误差小于80mm，平均误差为46.2mm。对于一般的挖掘作业要求，定位结果能够满足应用要求。
表1铲入点的双目绝对定位误差
Figure SMS_63
Figure SMS_64
本发明通过提出了一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法，包括：交通锥、双目相机、处理模块；通过获取挖掘场地点云，对获取的挖掘场地点云进行坐标变换、预处理、分割、提取沟槽区域，得到沟槽区域点云，基于所述沟槽区域点云，采用全局梯度一致度函数设计沟槽挖掘的铲入点的特征信息，基于所述铲入点的特征信息，检测所述铲入点，并获取所述铲入点3D坐标，能够快速计算挖掘参数，方便分析铲入点的误差，提高铲入点检测精度，提高铲入点计算效率。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种基于视觉点云处理的沟槽挖掘铲入点检测系统，其特征在于，包括：交通锥、双目相机、处理模块；
所述交通锥放置在沟槽挖掘铲入点区域，所述双目相机安装于挖掘机的驾驶室上方且与所述驾驶室的顶部平面成设定角度，所述双目相机采集所述交通锥的图像信息，获取挖掘场地点云，所述处理模块与所述双目相机电连接，所述处理模块对所述双目相机采集到的所述交通锥的图像信息进行处理，检测沟槽挖掘铲入点。
2.一种基于视觉点云处理的沟槽挖掘铲入点检测方法，应用于权利要求1所述的基于视觉点云处理的沟槽挖掘铲入点检测系统，其特征在于，包括以下步骤：
S1，获取挖掘场地点云；
S2，对获取的挖掘场地点云进行坐标变换、预处理、分割、提取沟槽区域，得到沟槽区域点云；
S3，基于所述沟槽区域点云，采用全局梯度一致度函数设计沟槽挖掘的铲入点的特征信息；
S4，基于所述铲入点的特征信息，检测所述铲入点，并获取所述铲入点3D坐标。
3.根据权利要求2所述的基于视觉点云处理的沟槽挖掘铲入点检测方法，其特征在于，所述步骤S1，获取挖掘场地区域点云，包括：
采用双目相机获取挖掘场地的三维点云数据，包括获取左图像和右图像，使用CNN网络从左图像和右图像中提取特征点，计算特征点在每个图像中的视差，基于相机参数与三角化技术得到相机空间的每个特征点的3D深度和三维点云坐标。
4.根据权利要求2所述的基于视觉点云处理的沟槽挖掘铲入点检测方法，其特征在于，所述步骤S2，获取挖掘场地区域点云，还包括：
建立挖掘机的基坐标系、挖掘机的工作装置坐标系、相机坐标系，所述挖掘机的基坐标系为O0-X0Y0Z0，所述挖掘机的基坐标系是以挖掘机底盘回转中心与履带接地平面的交点为原点的全局坐标系，挖掘作业运动过程中，坐标系始终与地面固定且保持不变，其中X0轴为指向履带正前方，Y0轴为垂直履带长度方向向外；
挖掘机的工作装置坐标系为O1-X1Y1Z1，是以动臂旋转中心与车体的铰接点为原点的局部坐标系；
相机坐标系为OC-XCYCZC，指的是双目相机中以左相机为基准的坐标系，挖掘作业过程中相机坐标系随上车回转变化。
5.根据权利要求4所述的基于视觉点云处理的沟槽挖掘铲入点检测方法，其特征在于，所述步骤S2中，对获取的挖掘场地点云进行坐标变换，包括：
将相机坐标系OC-XCYCZC下3D点的坐标通过工作装置坐标系O1-X1Y1Z1变换至全局基坐标系O0-X0Y0Z0，此过程的坐标变换通过齐次变换矩阵实现，所述齐次变换矩阵如下形式：
Figure FDA0004131264030000031
式中，(x0,y0,z0)表示全局基坐标系下点的坐标，(XC,YC,ZC)表示相机坐标系下点的坐标，(cx,cy,cz)表示相机坐标系的原点OC在工作装置坐标系O1-X1Y1Z1下的坐标，a1表示回转关节轴Z0与轴Z1之间的连杆长度，d1表示轴X0到轴X1之间的连杆偏距。
6.根据权利要求2所述的基于视觉点云处理的沟槽挖掘铲入点检测方法，其特征在于，在所述步骤S2中，对获取的挖掘场地点云进行预处理，包括：
采用布料滤波算法对所述挖掘场地点云进行滤波；
基于采用布料滤波算法对所述挖掘场地点云进行滤波的结果，通过统计滤波器去除异常值，形成新的挖掘场地点云，具体包括：设定在点p最接近的k个邻居P内，每个点的位置服从标准差为σk和均值为uk的高斯分布，对于给定的点集P，计算每个点pi∈P到邻居点的平均距离di，若点pi的平均距离
Figure FDA0004131264030000032
大于给定的阈值时，则此点被判定为异常值并去除，其余点/>
Figure FDA0004131264030000033
的组成的点集P*记作如下：
Figure FDA0004131264030000034
式中，lb＝(uk-α·σk)和ub＝(uk+α·σk)，α是影响点云所需密度的因素，根据经验，k设置为8，α设置为3；
在通过统计滤波器去除异常值后，使用体素滤波器对所述新的挖掘场地点云进行采样。
7.根据权利要求2所述的基于视觉点云处理的沟槽挖掘铲入点检测方法，其特征在于，在所述步骤S2中，对获取的挖掘场地点云进行分割，包括：
对挖掘场地点云进行体素化，所述对挖掘场地点云进行体素化包括将挖掘场地点云划分为小块的三维立方体，在每个体素中，其中的点形成了一个具有不同形状的表面，包括平面、曲面或相交的表面，对所述面片进行全局聚类，提取分割后的平面。
8.根据权利要求6所述的基于视觉点云处理的沟槽挖掘铲入点检测方法，其特征在于，在所述步骤S2中，对获取的挖掘场地点云进行提取沟槽区域，包括：
对所述获取的挖掘场地点云进行分割后，将挖掘场地点云的平面部分分割出来，将提取的地面平面部分点云P**去除掉，则得到沟槽区域的点云PC，记作：
PC＝P*\P** (3)
基于提取的沟槽区域点云，就进行后续的铲入点的检测以及其他挖掘参数计算。
9.根据权利要求2所述的基于视觉点云处理的沟槽挖掘铲入点检测方法，其特征在于，S3，基于所述沟槽区域点云，采用全局梯度一致度函数设计沟槽挖掘的铲入点的特征信息，包括：
建立全局梯度一致度函数描述挖掘区域铲入点，具体包括当铲入点为真实铲入点时，k点两侧的挖掘区域轮廓点的分布相对于直线
Figure FDA0004131264030000041
和直线/>
Figure FDA0004131264030000042
具有最小的整体偏离度，在铲入点k两侧分别计算左右区域内各点j和i与端点n和端点0形成的直线/>
Figure FDA0004131264030000043
和直线/>
Figure FDA0004131264030000044
的梯度/>
Figure FDA0004131264030000045
和
Figure FDA0004131264030000046
通过下式(11)计算k点两侧数据点的梯度偏差累计值，得到k点的全局梯度一致度函数
Figure FDA0004131264030000047
为
Figure FDA0004131264030000051
式中，
Figure FDA0004131264030000052
和/>
Figure FDA0004131264030000053
为k点两侧直线/>
Figure FDA0004131264030000054
和直线/>
Figure FDA0004131264030000055
的梯度；
最后，结合前面的分析，则满足条件
Figure FDA0004131264030000056
最小的情况下的数据点k即为铲入点的检测结果，表示如下
Figure FDA0004131264030000057
由式(11)和式(12)，则可以确定沟槽挖掘作业的铲入点的索引k，然后根据索引确定铲入点及其三维坐标。
CN202310261096.6A 2023-03-17 2023-03-17 一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法 Pending CN116309445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310261096.6A CN116309445A (zh) 2023-03-17 2023-03-17 一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310261096.6A CN116309445A (zh) 2023-03-17 2023-03-17 一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法

Publications (1)

Publication Number Publication Date
CN116309445A true CN116309445A (zh) 2023-06-23

Family

ID=86788314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310261096.6A Pending CN116309445A (zh) 2023-03-17 2023-03-17 一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法

Country Status (1)

Country Link
CN (1) CN116309445A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663761A (zh) * 2023-06-25 2023-08-29 昆明理工大学 一种三七中药材低损挖掘系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663761A (zh) * 2023-06-25 2023-08-29 昆明理工大学 一种三七中药材低损挖掘系统
CN116663761B (zh) * 2023-06-25 2024-04-23 昆明理工大学 一种三七中药材低损挖掘系统

Similar Documents

Publication Publication Date Title
Wang et al. Computational methods of acquisition and processing of 3D point cloud data for construction applications
CN109948189B (zh) 一种挖掘机铲斗物料体积与重量测量系统
Rottensteiner et al. Automatic generation of building models from LIDAR data and the integration of aerial images
CN110805093B (zh) 利用视觉传感器进行反馈回路控制的容器角度感测
Overby et al. Automatic 3D building reconstruction from airborne laser scanning and cadastral data using Hough transform
Chaperon et al. Extracting cylinders in full 3D data using a random sampling method and the Gaussian image
Broggi et al. A full-3D voxel-based dynamic obstacle detection for urban scenario using stereo vision
Yang et al. Ransac matching: Simultaneous registration and segmentation
US9133600B2 (en) Method for selecting an attack pose for a working machine having a bucket
CN112464812B (zh) 一种基于车辆的凹陷类障碍物检测方法
Donoso et al. How do ICP variants perform when used for scan matching terrain point clouds?
CN116309445A (zh) 一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法
CN111932669A (zh) 一种基于边坡岩体特征对象的变形监测方法
CN111489416A (zh) 隧道轴线拟合方法及在超欠挖方量计算上的应用
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN113933859A (zh) 一种无人矿卡行驶场景的路面及两侧挡墙检测方法
Lu et al. Estimation of fill factor for earth-moving machines based on 3D point clouds
Dhiman et al. A multi-frame stereo vision-based road profiling technique for distress analysis
Pan et al. One-stage 3D profile-based pavement crack detection and quantification
Nedevschi et al. Increased accuracy stereo approach for 3D lane detection
van der Mark et al. Stereo based obstacle detection with uncertainty in rough terrain
Afghantoloee et al. Coevrage Estimation of Geosensor in 3d Vector Environments
CN116740307A (zh) 智慧城市三维模型构建方法
Arav et al. Content-aware point cloud simplification of natural scenes
Xiao Automatic building outlining from multi-view oblique images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination