CN117058315A - 一种基于三维重建的无人矿车召唤系统 - Google Patents

一种基于三维重建的无人矿车召唤系统 Download PDF

Info

Publication number
CN117058315A
CN117058315A CN202311041339.1A CN202311041339A CN117058315A CN 117058315 A CN117058315 A CN 117058315A CN 202311041339 A CN202311041339 A CN 202311041339A CN 117058315 A CN117058315 A CN 117058315A
Authority
CN
China
Prior art keywords
pose
rtk
mine car
point cloud
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311041339.1A
Other languages
English (en)
Inventor
李建刚
顾圣骏
胡心怡
杨扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Boonray Intelligent Technology Co Ltd
Original Assignee
Shanghai Boonray Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Boonray Intelligent Technology Co Ltd filed Critical Shanghai Boonray Intelligent Technology Co Ltd
Priority to CN202311041339.1A priority Critical patent/CN117058315A/zh
Publication of CN117058315A publication Critical patent/CN117058315A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于三维重建的无人矿车召唤系统，本发明涉及智慧矿山技术领域，包括由GNSS、计算单元、触摸屏和通讯设备组成的系统硬件架构。该基于三维重建的无人矿车召唤系统，在挖机周围，自动实时重建一个三维模型呈现给挖机司机，司机想让无人矿车停靠在什么位置上装料，只需要在三维模型上用手势画一个位置和朝向就行，这样一种所见及所得的打点方式，在矿车实际到达该位置以前，就直观的表示了需要矿车停靠的位置，而并不需要移动矿车和挖斗来确定停靠的位置。方便了司机打点的操作，提高了挖机的作业效率，保障了无人矿车和挖机之间的高效配合。

Description

一种基于三维重建的无人矿车召唤系统
技术领域
本发明涉及智慧矿山技术领域，具体为一种基于三维重建的无人矿车召唤系统。
背景技术
目前的智慧矿山中，矿车是无人驾驶的，挖机或电铲是有人操作或远程遥控操作的，挖机/电铲随时在移动，作业人员需要在挖机附近指定一个合适的位置，作为无人矿车停靠并装料的位置。而无人矿车收到挖机给出的位置后，需要自主移动到该位置处，为了给出无人矿车停靠的位置，现有方案中都是在挖机上装一个高精度定位系统，该定位系统给出挖机本身的位置和朝向，通过对该位置和朝向增加一定的偏移量，确定挖机附近的一个位置作为无人矿车的停靠位置。
其主要缺陷在于：1、由于在挖机定位上增加的偏移量是个固定值，导致矿车的停靠位置选择不灵活，有时候按偏移量算出的位置可能并不适合现场的场地情况；
2、在开始装料前，司机大部分时候都在操作挖机整理爆堆，为了把停靠位置打在合适的位置上，不得不中断爆堆整理工作，移动挖机到合适的位置再打点，降低了工作效率；
3、打出的停靠位置点，无法用一个直观的视觉表示呈现给挖机司机，在无人矿车停靠到位以前，很难评估该位置是否准确合理。
发明内容
本发明的目的是提供一种基于三维重建的无人矿车召唤系统，在挖机周围，自动实时重建一个三维模型呈现给挖机司机，司机想让无人矿车停靠在什么位置上装料，只需要在三维模型上用手势画一个位置和朝向就行，这样一种所见及所得的打点方式，在矿车实际到达该位置以前，就直观的表示了需要矿车停靠的位置，而并不需要移动矿车和挖斗来确定停靠的位置。方便了司机打点的操作，提高了挖机的作业效率，保障了无人矿车和挖机之间的高效配合。
为了达到上述目的，本发明采用的主要技术方案包括：
一种基于三维重建的无人矿车召唤系统，包括由GNSS、计算单元、触摸屏和通讯设备组成的系统硬件架构；
所述GNSS适配有两根天线，所述计算单元电性连接有相机、激光雷达和IMU惯性测量单元；
所述GNSS、计算单元和通讯设备电性连接，所述计算单元和触摸屏电性连接，且计算单元和触摸屏之间可以是有线连接，也可以是无线或者网络连接。
一种基于三维重建的无人矿车召唤系统，包括如下步骤：
S1，SLAM实时建图，通过系统硬件架构对挖机周围的环境进行信息采集；
S2，点云图转换模型图，采集信息图像进行转换，构建模型图；
S3，触摸屏呈现，将构建的模型图着色后发送至触摸屏，驾驶者可以查看选取；
S4，选取停靠区和朝向，人员通过触摸屏选取矿车停靠位置和矿车停靠朝向；
S5，发送至调度系统，选取后的位置和朝向信息由调度系统整合，发送给无人矿车；
S6，调度发送至车端，无人矿车接受信息后，根据指令进行停靠。
进一步的，所述步骤S1包括以下具体步骤：
S11，位姿预测，位姿预测利用两帧激光雷达之间的imu数据进行预积分，预测出当前雷达的位姿；
S12，点云配准，以预测的位姿作为初始值，再通过NDT方法进行配准优化，得到准确位姿；
S13，整体优化，点云配准具有相对精确的位姿，但在长时间运行或者受到干扰以后可能会有累积误差，通过和RTK的融合可以消除累积误差，从而得到更精确的位姿；
S14，RGB着色，通过相机和激光雷达的信息对比，可以根据坐标信息进行图像着色。
进一步的，所述步骤S11中，设在i和i+1两个时刻两帧imu数据的加速度ai，ai+1，角速度wi,wi+1，时间间隔为t，加速度偏置为ba，角速度偏置为bg,重力加速度为grav，i时刻位置为Pi，i时刻姿态为Ri，i时刻速度为Vi，则可以预测出i+1时刻的位置，姿态，速度：
Ri+1＝Ri*Exp(((wi+wi+1)/2-bg)*t)
Vi+1＝Vi+Ri*((ai+ai+1)/2-ba)*t)
Pi+1＝Pi+(Vi+Vi+1)/2*t
进一步的，所述S12步骤中，初始值是将第i+1帧点云变换到第i帧点云上，同时准确位姿即为第i+1帧点云的准确位姿。
进一步的，所述S12步骤中NDT方法具体为：
1、将第i帧点云分成若干m*m*m大小的网格，统计每个网格内的所有点，在x,y,z三轴上分别统计其分布，用均值和协方差表示：
均值协方差/>
2、在每个网格内对应一个概率密度函数：
3、将变换以后的第i+1帧点云也分成m*m*m大小的网格，对网格内的每个点计算其概率密度值，概率密度的总和越大说明两帧点云配准得越好，概率密度的总和即为点云配准的得分：
4、由于第i+1帧中的点云是经过了变换得到，设该变换为T，则S可以对T求导从而对T进行优化，得到一个使S值最大的T，即为配准以后的最优变换。
进一步的，所述步骤S13中具体方法如下：
1、雷达和RTK有不同的工作频率和时间戳，首先对RTK插值，得到在雷达时间下的RTK位姿,用Rrtk,trtk表示，
2、雷达和RTK安装在电铲上不同的位置，这两个位置在安装时刻进行标定，得到它们之间的姿态差Rex和位置差tex，
3、将RTK位姿变换到雷达位置，得到在雷达时间和雷达坐标下RTK表示的位姿：
R′rtk＝Rrtk*Rex
t′rtk＝Rrtk*tex+trtk
4、设雷达的位姿为RL,tL，该位姿和RTK表示的位姿之差为TL：
5、电铲每移动一段距离L，即和RTK作一次整体优化，让Terror的值优化到最小，从而得到一个在全局坐标系下的点云。设第i帧点云PCi优化以后的全局位姿为Ri,ti，
6、将最近N帧点云通过全局位姿进行变换以后合在一起，即为点云地图，
进一步的，所述S14步骤中具体方法如下：
1、相机和激光雷达并不是完全重合，安装以后相互之间有一个旋转Rc2L,tc2L,同时，雷达和相机也不是相同的频率，有不同的时间戳。首先对相机时间戳上的位姿进行插值，得到Rci,tci，则可知相机和雷达之间的位姿差距：
2、则在相机位姿下的点云PC′i为：
PC′i＝Tdiff*PCi
3、PC'i中的每一个点都和PCi中的点对应，将PC'i的点投影到相机图像上，即可查询到RGB颜色，即PCi中的点也得到了颜色。PC'i中的点是3维点，而图像上的点为2维点，将3维投影到2维的方法：
4、假设相机经过标定以后，内参为fx,fy,cx,cy,畸变参数为k1,k2,k3,p1,p2设3维点为X，Y，Z，该3维点在z＝1处的像平面上的点为：
xo＝X/Z
yo＝Y/Z
(xo，yo)离相机原点的距离r,则
5、去畸变以后的点为：
xd＝xo(1+k1r2+k2r4+k3r6)+2p1xoyo+p2(r2+2xo2)
yd＝yo(1+k1r2+k2r4+k3r6)+2p2xoyo+p1(r2+2yo2)
6、通过内参投影到图像上即为：
u＝fxxd+cx
v＝fyyd+cy
通过坐标(u,v)即可查询到图像上的RGB颜色。
有益效果
本发明提供了基于三维重建的无人矿车召唤系统。与现有技术相比具备以下有益效果：
该基于三维重建的无人矿车召唤系统，在挖机周围，自动实时重建一个三维模型呈现给挖机司机，司机想让无人矿车停靠在什么位置上装料，只需要在三维模型上用手势画一个位置和朝向就行。这样一种所见及所得的打点方式，在矿车实际到达该位置以前，就直观的表示了需要矿车停靠的位置，而并不需要移动矿车和挖斗来确定停靠的位置。方便了司机打点的操作，提高了挖机的作业效率，保障了无人矿车和挖机之间的高效配合。
附图说明
图1为本发明的硬件架构结构示意图；
图2为本发明的停靠位打点流程图；
图3为本发明的SLAM实时建图原理图。
图中：1、地锚座；2、地锚杆；3、固定座；4、固定环；5、限位组件；51、连接杆；52、抓地座；53、钉座；6、钻头；7、传动杆；71、传动盘；8、调节柄；9、活动槽；10、定位杆；11、延展板；111、定位槽。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示为本发明一种基于三维重建的无人矿车召唤系统的实施例。一种基于三维重建的无人矿车召唤系统，包括由GNSS、计算单元、触摸屏和通讯设备组成的系统硬件架构；
所述GNSS适配有两根天线，所述计算单元电性连接有相机、激光雷达和IMU惯性测量单元；
所述GNSS、计算单元和通讯设备电性连接，所述计算单元和触摸屏电性连接，且计算单元和触摸屏之间可以是有线连接，也可以是无线或者网络连接。
实施例2：
如图2所示为本发明一种基于三维重建的无人矿车召唤系统的实施例。一种基于三维重建的无人矿车召唤系统，包括如下步骤：
S1，SLAM实时建图，通过系统硬件架构对挖机周围的环境进行信息采集；
S2，点云图转换模型图，采集信息图像进行转换，构建模型图；
S3，触摸屏呈现，将构建的模型图着色后发送至触摸屏，驾驶者可以查看选取；
S4，选取停靠区和朝向，人员通过触摸屏选取矿车停靠位置和矿车停靠朝向；
S5，发送至调度系统，选取后的位置和朝向信息由调度系统整合，发送给无人矿车；
S6，调度发送至车端，无人矿车接受信息后，根据指令进行停靠。
实施例3；
如图1-图3所示，一种基于三维重建的无人矿车召唤系统，包括如下具体步骤：
由于挖机周围的环境一直都在变化，所以地图需要进行实时更新，更新的频率可以在软件参数里面进行设置，一是根据时间更新，每隔N分钟更新一次，另一种设置是根据任务来更新，每装完一车更新一次，根据现场实际情况进行设置。
1、位姿预测
位姿预测利用两帧激光雷达之间的imu数据进行预积分，预测出当前雷达的位姿。
设在i和i+1两个时刻两帧imu数据的加速度ai，ai+1,角速度wi,wi+1,时间间隔为t,加速度偏置为ba，角速度偏置为bg,重力加速度为grav,i时刻位置为Pi，i时刻姿态为Ri，i时刻速度为Vi，则可以预测出i+1时刻的位置，姿态，速度：
Ri+1＝Ri*Exp(((wi+wi+1)/2-bg)*t)
Vi+1＝Vi+Ri*((ai+ai+1)/2-ba)*t)
Pi+1＝Pi+(Vi+Vi+1)/2*t
2、点云配准
以预测的位姿作为初始值，将第i+1帧点云变换到第i帧点云上，再通过如下NDT(NormalDistributionTransform)方法进行配准优化，得到第i+1帧点云的准确位姿：
1)将第i帧点云分成若干m*m*m大小的网格，统计每个网格内的所有点，在x,y,z三轴上分别统计其分布，用均值和协方差表示：
均值协方差/>
2)在每个网格内对应一个概率密度函数：
3)将变换以后的第i+1帧点云也分成m*m*m大小的网格，对网格内的每个点计算其概率密度值，概率密度的总和越大说明两帧点云配准得越好，概率密度的总和即为点云配准的得分：
4)由于第i+1帧中的点云是经过了变换得到，设该变换为T，则S可以对T求导从而对T进行优化，得到一个使S值最大的T，即为配准以后的最优变换。
3、整体优化
点云配准具有相对精确的位姿，但在长时间运行或者受到干扰以后可能会有累积误差。通过和RTK的融合可以消除累积误差，从而得到更精确的位姿。
1)雷达和RTK有不同的工作频率和时间戳，首先对RTK插值，得到在雷达时间下的RTK位姿,用Rrtk,trtk表示，
2)雷达和RTK安装在电铲上不同的位置，这两个位置在安装时刻进行标定，得到它们之间的姿态差Rex和位置差tex，
3)将RTK位姿变换到雷达位置，得到在雷达时间和雷达坐标下RTK表示的位姿：
4)设雷达的位姿为RL,tL，该位姿和RTK表示的位姿之差为TL：
5)电铲每移动一段距离L，即和RTK作一次整体优化，让Terror的值优化到最小，从而得到一个在全局坐标系下的点云。设第i帧点云PCi优化以后的全局位姿为Ri,ti；
6)将最近N帧点云通过全局位姿进行变换以后合在一起，即为点云地图。
4、RGB着色
相机和激光雷达并不是完全重合，安装以后相互之间有一个旋转Rc2L,tc2L,同时，雷达和相机也不是相同的频率，有不同的时间戳。首先对相机时间戳上的位姿进行插值，得到Rci,tci，则可知相机和雷达之间的位姿差距：
则在相机位姿下的点云PC'i为：
PC′i＝Tdiff*PCi
PC'i中的每一个点都和PCi中的点对应，将PC'i的点投影到相机图像上，即可查询到RGB颜色，即PCi中的点也得到了颜色。PC'i中的点是3维点，而图像上的点为2维点，将3维投影到2维的方法：
假设相机经过标定以后，内参为fx,fy,cx,cy,畸变参数为k1,k2,k3,p1,p2设3维点为X，Y，Z，该3维点在z＝1处的像平面上的点为：
xo＝X/Z
yo＝Y/Z
(xo，yo)离相机原点的距离r,则
去畸变以后的点为：
xd＝xo(1+k1r2+k2r4+k3r6)+2p1xoyo+p2(r2+2xo2)
yd＝yo(1+k1r2+k2r4+k3r6)+2p2xoyo+p1(r2+2yo2)
通过内参投影到图像上即为：
u＝fxxd+cx
v＝fyyd+cy
通过坐标(u,v)即可查询到图像上的RGB颜色。
四、选取停靠位和朝向
1、数据格式
2、选取操作
在触摸屏上可以用2指或3指操作。
用2指操作时，第一指先按下固定不动，第二指按下以后可以移动以选取合适的朝向。同时屏幕上实时画一条从第一指到第二指的带箭头线条，用来实时呈现朝向。箭头出现以后，第一指也可以移动，用来调整停靠位置，两个手指也可以随时离开屏幕，离开之前的箭头位置和朝向就代表了停靠位的位置和朝向。
当用3指操作时，第一指先按下固定不动，第二指和第三指依次按下，屏幕上实时画出从第一指到第二指以及从第一指到第三指的箭头，表示车辆朝向可以停靠在这两个箭头之间；第一指也可以移动，用来调整停靠位置；三个手指也可以随时离开屏幕，离开之前的箭头位置和朝向就代表了停靠位的位置和朝向。
五、发送到调度系统和车端
通过udp或mqtt报文格式将选取的停靠位和朝向传输到调度系统和车端。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于三维重建的无人矿车召唤系统，其特征在于：包括由GNSS、计算单元、触摸屏和通讯设备组成的系统硬件架构；
所述GNSS适配有两根天线，所述计算单元电性连接有相机、激光雷达和IMU惯性测量单元；
所述GNSS、计算单元和通讯设备电性连接，所述计算单元和触摸屏电性连接，且计算单元和触摸屏之间可以是有线连接，也可以是无线或者网络连接。
2.一种基于三维重建的无人矿车召唤系统，其特征在于包括如下步骤：
S1，SLAM实时建图，通过系统硬件架构对挖机周围的环境进行信息采集；
S2，点云图转换模型图，采集信息图像进行转换，构建模型图；
S3，触摸屏呈现，将构建的模型图着色后发送至触摸屏，驾驶者可以查看选取；
S4，选取停靠区和朝向，人员通过触摸屏选取矿车停靠位置和矿车停靠朝向；
S5，发送至调度系统，选取后的位置和朝向信息由调度系统整合，发送给无人矿车；
S6，调度发送至车端，无人矿车接受信息后，根据指令进行停靠。
3.根据权利要求1-2所述的一种基于三维重建的无人矿车召唤系统，其特征在于，所述步骤S1包括以下具体步骤：
S11，位姿预测，位姿预测利用两帧激光雷达之间的imu数据进行预积分，预测出当前雷达的位姿；
S12，点云配准，以预测的位姿作为初始值，再通过NDT方法进行配准优化，得到准确位姿；
S13，整体优化，点云配准具有相对精确的位姿，但在长时间运行或者受到干扰以后可能会有累积误差，通过和RTK的融合可以消除累积误差，从而得到更精确的位姿；
S14，RGB着色，通过相机和激光雷达的信息对比，可以根据坐标信息进行图像着色。
4.根据权利要求3所述的一种基于三维重建的无人矿车召唤系统，其特征在于：所述步骤S11中，设在i和i+1两个时刻两帧imu数据的加速度ai，ai+1，角速度wi,wi+1，时间间隔为t，加速度偏置为ba，角速度偏置为bg,重力加速度为grav，i时刻位置为Pi，i时刻姿态为Ri，i时刻速度为Vi，则可以预测出i+1时刻的位置，姿态，速度：
Ri+1＝Ri*Exp(((wi+wi+1)/2-bg)*t)
Vi+1＝Vi+Ri*((ai+ai+1)/2-ba)*t)
Pi+1＝Pi+(Vi+Vi+1)/2*t
5.根据权利要求4所述的一种基于三维重建的无人矿车召唤系统，其特征在于：所述S12步骤中，初始值是将第i+1帧点云变换到第i帧点云上，同时准确位姿即为第i+1帧点云的准确位姿。
6.根据权利要求3所述的一种基于三维重建的无人矿车召唤系统，其特征在于：所述S12步骤中NDT方法具体为：
1、将第i帧点云分成若干m*m*m大小的网格，统计每个网格内的所有点，在x,y,z三轴上分别统计其分布，用均值和协方差表示：
均值协方差/>
2、在每个网格内对应一个概率密度函数：
3、将变换以后的第i+1帧点云也分成m*m*m大小的网格，对网格内的每个点计算其概率密度值，概率密度的总和越大说明两帧点云配准得越好，概率密度的总和即为点云配准的得分：
4、由于第i+1帧中的点云是经过了变换得到，设该变换为T，则S可以对T求导从而对T进行优化，得到一个使S值最大的T，即为配准以后的最优变换。
7.根据权利要求3所述的一种基于三维重建的无人矿车召唤系统，其特征在于：所述步骤S13中具体方法如下：
1、雷达和RTK有不同的工作频率和时间戳，首先对RTK插值，得到在雷达时间下的RTK位姿,用Rrtk,trtk表示，
2、雷达和RTK安装在电铲上不同的位置，这两个位置在安装时刻进行标定，得到它们之间的姿态差Rex和位置差tex，
3、将RTK位姿变换到雷达位置，得到在雷达时间和雷达坐标下RTK表示的位姿：
R′rtk＝Rrtk*Rex
t′rtk＝Rrtk*tex+trtk
4、设雷达的位姿为RL,tL，该位姿和RTK表示的位姿之差为TL：
5、电铲每移动一段距离L，即和RTK作一次整体优化，让Terror的值优化到最小，从而得到一个在全局坐标系下的点云。设第i帧点云PCi优化以后的全局位姿为Ri,ti，
6、将最近N帧点云通过全局位姿进行变换以后合在一起，即为点云地图，
8.根据权利要求3所述的一种基于三维重建的无人矿车召唤系统，其特征在于：所述S14步骤中具体方法如下：
1、相机和激光雷达并不是完全重合，安装以后相互之间有一个旋转Rc2L,tc2L,同时，雷达和相机也不是相同的频率，有不同的时间戳。首先对相机时间戳上的位姿进行插值，得到Rci,tci，则可知相机和雷达之间的位姿差距：
2、则在相机位姿下的点云PC'i为：
PC′i＝Tdiff*PCi
3、PC'i中的每一个点都和PCi中的点对应，将PC'i的点投影到相机图像上，即可查询到RGB颜色，即PCi中的点也得到了颜色。PC'i中的点是3维点，而图像上的点为2维点，将3维投影到2维的方法：
4、假设相机经过标定以后，内参为fx,fy,cx,cy,畸变参数为k1,k2,k3,p1,p2设3维点为X，Y，Z，该3维点在z＝1处的像平面上的点为：
xo＝X/Z
yo＝Y/Z
(xo，yo)离相机原点的距离r,则
5、去畸变以后的点为：
xd＝xo(1+k1r2+k2r4+k3r6)+2p1xoyo+p2(r2+2xo2)
yd＝yo(1+k1r2+k2r4+k3r6)+2p2xoyo+p1(r2+2yo2)
6、通过内参投影到图像上即为：
u＝fxxd+cx
v＝fyyd+cy
7、通过坐标(u,v)即可查询到图像上的RGB颜色。
CN202311041339.1A 2023-08-17 2023-08-17 一种基于三维重建的无人矿车召唤系统 Pending CN117058315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311041339.1A CN117058315A (zh) 2023-08-17 2023-08-17 一种基于三维重建的无人矿车召唤系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311041339.1A CN117058315A (zh) 2023-08-17 2023-08-17 一种基于三维重建的无人矿车召唤系统

Publications (1)

Publication Number Publication Date
CN117058315A true CN117058315A (zh) 2023-11-14

Family

ID=88667294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311041339.1A Pending CN117058315A (zh) 2023-08-17 2023-08-17 一种基于三维重建的无人矿车召唤系统

Country Status (1)

Country Link
CN (1) CN117058315A (zh)

Similar Documents

Publication Publication Date Title
US20230205221A1 (en) Worksite plan execution
US9206589B2 (en) System and method for controlling machines remotely
CN100465999C (zh) 基于激光扫描的沉箱三维场景重建与挖掘机避碰系统
AU2017276225B2 (en) Systems and methods for preparing a worksite for additive construction
AU2014274650A1 (en) Processing of terrain data
WO2023036994A1 (en) Mining worksite mapping
Yoo et al. Development of a 3D local terrain modeling system of intelligent excavation robot
US20220343585A1 (en) Positioning of mobile device in underground worksite
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
CN117058315A (zh) 一种基于三维重建的无人矿车召唤系统
AU2014274649A1 (en) System and method for modelling worksite terrain
EP3754157A1 (en) Underground worksite passage and model generation for path planning
WO2022215898A1 (ko) 건설기계를 위한 센서 퓨전 시스템 및 센싱 방법
EP3660266B1 (en) Model generation for route planning or positioning of mobile object in underground worksite
AU2022287567A1 (en) Autonomous control of on-site movement of powered earth-moving construction or mining vehicles
EP4131128A1 (en) Information communication system for construction machines, display device for construction machines, and machine learning device
US20240077329A1 (en) Underground worksite model generation
CN112859882A (zh) 作业机械集群的控制系统及方法
US20230094845A1 (en) On-machine remote control
EP4148524A1 (en) Mining vehicle task control
US11994397B2 (en) Shovel and assist device for shovel
WO2024049813A1 (en) Autonomous control of operations of powered earth-moving vehicles using data from on-vehicle perception systems
AU2014274648B2 (en) Determining terrain of a worksite
CN115164764A (zh) 测量系统、测量方法以及存储有测量程序的存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination