CN115423958A - 一种基于视觉三维重建的矿区可行驶区域边界更新方法 - Google Patents

一种基于视觉三维重建的矿区可行驶区域边界更新方法 Download PDF

Info

Publication number
CN115423958A
CN115423958A CN202211067663.6A CN202211067663A CN115423958A CN 115423958 A CN115423958 A CN 115423958A CN 202211067663 A CN202211067663 A CN 202211067663A CN 115423958 A CN115423958 A CN 115423958A
Authority
CN
China
Prior art keywords
boundary
area
point
visual
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211067663.6A
Other languages
English (en)
Inventor
席鹏
邬海杰
周华生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tage Idriver Technology Co Ltd
Original Assignee
Beijing Tage Idriver Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tage Idriver Technology Co Ltd filed Critical Beijing Tage Idriver Technology Co Ltd
Priority to CN202211067663.6A priority Critical patent/CN115423958A/zh
Publication of CN115423958A publication Critical patent/CN115423958A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Agronomy & Crop Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Animal Husbandry (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉三维重建的矿区可行驶区域边界更新方法，通过视觉三维重建快速采集矿区区域边界数据，由于矿区区域的边界具有高频度变更的特点，矿区的无人驾驶要求边界数据具有一定的实时性，因此，为了提高矿区里装载区、排土场等工作区域的边界的采集效率，本发明提出一种新的采集更新方案。在作业区周围架设高分辨率摄像机作为数据采集端，采集的原始数据是多视角图像，结合视觉三维重建作为还原空间关系后处理方案，采用航测数据转换真实坐标来实现数据定位。

Description

一种基于视觉三维重建的矿区可行驶区域边界更新方法
技术领域
本发明涉及无人驾驶矿区高精度地图采集技术领域，尤其涉及一种基于视觉三维重建的矿区可行驶区域边界更新方法。
背景技术
无人驾驶是指车辆通过车载传感系统感知道路环境，依靠计算机系统自行规划行车路线并达到目的地的智能无人驾驶控制技术。它是利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。无人驾驶是集自动控制、体系结构、人工智能、视觉计算等众多技术于一体，是计算机科学、模式识别和智能控制技术高度发展的产物。矿区无人驾驶是自动驾驶的一种，它应用到特定的场地和特定的车辆，实现特定的目的。矿区特指露天矿，比如铁矿、煤矿等，应用的车辆为大型的矿卡、宽体车，目的是实现矿区无人驾驶和矿物无人化运输。
摄影测量学是利用光学摄影机摄取像片，通过像片来研究和确定被摄物体的形状、大小、位置和相互关系的一门科学技术。它包括的内容有获取被摄物体的影像、研究单张像片或多张像片影像的处理方法(包括理论、设备和技术)以及将所测得的结果以图解的形式或数字形式输出的方法和设备。其主要任务是测制各种比例尺的地形图，建立地形数据库，为地理信息系统、各种工程应用提供基础测绘数据。
三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此，三维重建需要利用经验知识，而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图象坐标系与世界坐标系的关系，然后利用多个二维图象中的信息重建出三维信息。
视觉SLAM(同时定位与建图)是指仅仅利用图片这一外部信息来确定环境中机器人、车辆或者移动相机的位置，同时能够建立已探索区域的一种表示法(地图)。相比于摄影测量学和三维重建，视觉SLAM更加追求实时性。
以上三种技术的背景理论基本相同，都是需要相机模型、多视角特征点匹配以及BA优化，只是侧重的方向不同。
传统的航测技术虽然能得到很好的数据质量，但由于采集条件受限制，主要包括飞行天气和数据后处理的时效性，而不满足要求。在视觉SLAM方案中存在摄像头载体需要不断移动、此领域技术的成熟性还有待提高等现实问题，也很难得到理想的效果。
例如，RTK测量方案，需要不断地架设仪器，采集现场来往的无人驾驶车辆，安全性能较差。车载GPS寻边界采集方案，需要采集车随时准备采集，并且采集需要一定的时间，采集车辆与无人驾驶矿卡混合在一个区域，这些都会给无人驾驶安全可控带来一定的挑战。车载激光雷达扫描方案，存在和车载GPS方案同样的缺点，并且激光雷达比较昂贵也是一个考虑的因素。
为此提出一种基于视觉三维重建的矿区可行驶区域边界更新方法，以解决上述提出的问题。
发明内容
有鉴于此，本发明提供了一种基于视觉三维重建的矿区可行驶区域边界更新方法，用以提高矿区里装载区、排土场等工作区域的边界的采集效率。
本发明提供的一种基于视觉三维重建的矿区可行驶区域边界更新方法，包括如下步骤：
S1：在待测量工作区域的周围架设多台高分辨率摄像机，并对各台摄像机的内方位元素和外方位元素进行标定；
S2：将多台摄像机采集的多视角图像数据实时传到云端数据处理平台，按照采集时间和摄像机ID将多视角图像数据存贮在云端数据处理平台；
S3：消除多视角图像在同一视角上的动态物体，保留多视角图像在同一视角上的静态物体；
S4：对只包含静态物体的多视角图像依次进行稀疏重建SFM、稠密重建MVS以及点云模型化；
S5：利用点云设置高程阈值的方法，求解待测量工作区域的边界，并将求得的边界的坐标系转化为地理坐标系；
S6：将待测量工作区域的现有边界与步骤S5得到的地理坐标系下待测量工作区域的边界融合，更新待测量工作区域的边界；其中，待测量工作区域的现有边界为上一次更新结果。
在一种可能的实现方式中，在本发明提供的上述基于视觉三维重建的矿区可行驶区域边界更新方法中，步骤S4中，对只包含静态物体的多视角图像进行稀疏重建SFM，具体包括：
S41：利用SIFT算法对只包含静态物体的多视角图像进行特征点检测与特征点匹配；
S42：保留满足x1 TFx2＝0条件的特征点匹配对，构造外极几何图；其中，矩阵F为计算机视觉中的基础矩阵，x1和x2分别表示特征点在配对的两张图像中的齐次坐标；
S43：根据外极几何图得到每个摄像机的位姿；
S44：对每个摄像机的位姿进行捆绑调整优化。
在一种可能的实现方式中，在本发明提供的上述基于视觉三维重建的矿区可行驶区域边界更新方法中，步骤S41，利用SIFT算法对只包含静态物体的多视角图像进行特征点检测与特征点匹配，具体包括：
SS1：在只包含静态物体的多视角图像中，针对每张图像创建高斯差分尺度空间，在每张图像的尺度空间中的每一尺度上，通过高斯差分函数检测出关键点；
SS2：删除关键点中对比度低于阈值的关键点和边缘梯度方向的主曲率不稳定的关键点，通过拟合精细模型，确定保留下来的关键点的位置和尺度；
SS3：计算保留下来的关键点基于局部梯度的方向，为保留下来的关键点分配一个或多个方向；
SS4：利用保留下来的关键点的位置、尺度和方向，计算用于描述关键点的关键点描述子，保留下来的关键点及其对应的关键点描述子构成特征点。
在一种可能的实现方式中，在本发明提供的上述基于视觉三维重建的矿区可行驶区域边界更新方法中，步骤S5中，利用点云设置高程阈值的方法，求解待测量工作区域的边界，具体包括：
S51：将稠密的点云作为输入数据；
S52：获取输入的点云数据的最小高程值；
S53：基于获取的最小高程值，计算其他点的高程值与最小高程值的差值；
S54：判断每个点与周围各点间的高程差值是否大于阈值；若是，则该点发生突变；若否，则该点没有发生突变；
S55：将发生突变的点连接起来形成线，作为待测量工作区域的边界。
本发明提供的上述基于视觉三维重建的矿区可行驶区域边界更新方法，通过视觉三维重建快速采集矿区区域边界数据，由于矿区区域的边界具有高频度变更的特点，矿区的无人驾驶要求边界数据具有一定的实时性，因此，为了提高矿区里装载区、排土场等工作区域的边界的采集效率，本发明提出一种新的采集更新方案。在作业区周围架设高分辨率摄像机作为数据采集端，采集的原始数据是多视角图像，结合视觉三维重建作为还原空间关系后处理方案，采用航测数据转换真实坐标来实现数据定位；
此方案具有成本低，快速更新边界，非介入采集，安全性高等优点，可以很好的满足矿区边界的需求。
附图说明
图1为本发明的一种基于视觉三维重建的矿区可行驶区域边界更新方法的流程图；
图2为本发明的摄像机架设在装载区位置的示意图；
图3为本发明的架设的摄像机视域范围示意图；
图4为本发明的图像处理中涉及四个坐标系统的示意图；
图5为本发明的图像坐标系和相机坐标系的转化示意图；
图6为本发明的像素坐标系和图像坐标系的转化示意图；
图7为本发明的摄像机、信号塔和数据处理平台的照片数据传输链路示意图；
图8为本发明的图像处理中滤除移动障碍物的前后对比图；
图9为本发明的多视角几何示意图；
图10为本发明的获取边界的流程图；
图11为本发明的新旧边界对比示意图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
为了提高矿区内装载区、排土场等工作区域的边界的采集效率，对这些区域的边界的采集工艺提出两个明确要求，第一，采集应具有高频度变更的特点，第二，边界数据采集应具有一定实时性。
基于此，本发明提供一种基于视觉三维重建的矿区可行驶区域边界更新方法，如图1所示，包括如下步骤：
S1：在待测量工作区域的周围架设多台高分辨率摄像机，并对各台摄像机的内方位元素和外方位元素进行标定；
S2：将多台摄像机采集的多视角图像数据实时传到云端数据处理平台，按照采集时间和摄像机ID将多视角图像数据存贮在云端数据处理平台；
S3：消除多视角图像在同一视角上的动态物体，保留多视角图像在同一视角上的静态物体；
S4：对只包含静态物体的多视角图像依次进行稀疏重建SFM、稠密重建MVS以及点云模型化；
S5：利用点云设置高程阈值的方法，求解待测量工作区域的边界，并将求得的边界的坐标系转化为地理坐标系；
S6：将待测量工作区域的现有边界与步骤S5得到的地理坐标系下待测量工作区域的边界融合，更新待测量工作区域的边界；其中，待测量工作区域的现有边界为上一次更新结果。
在具体实施时，在执行本发明提供的上述基于视觉三维重建的矿区可行驶区域边界更新方法中的步骤S4时，对只包含静态物体的多视角图像进行稀疏重建SFM，具体可以包括如下步骤：
S41：利用SIFT算法对只包含静态物体的多视角图像进行特征点检测与特征点匹配；
S42：保留满足x1 TFx2＝0条件的特征点匹配对，构造外极几何图；其中，矩阵F为计算机视觉中的基础矩阵，x1和x2分别表示特征点在配对的两张图像中的齐次坐标；
S43：根据外极几何图得到每个摄像机的位姿；
S44：对每个摄像机的位姿进行捆绑调整优化。
在具体实施时，在执行本发明提供的上述基于视觉三维重建的矿区可行驶区域边界更新方法中的步骤S41时，具体可以包括如下步骤：
SS1：在只包含静态物体的多视角图像中，针对每张图像创建高斯差分尺度空间，在每张图像的尺度空间中的每一尺度上，通过高斯差分函数检测出关键点；
SS2：删除关键点中对比度低于阈值的关键点和边缘梯度方向的主曲率不稳定的关键点，通过拟合精细模型，确定保留下来的关键点的位置和尺度；
SS3：计算保留下来的关键点基于局部梯度的方向，为保留下来的关键点分配一个或多个方向；
SS4：利用保留下来的关键点的位置、尺度和方向，计算用于描述关键点的关键点描述子，保留下来的关键点及其对应的关键点描述子构成特征点。
在具体实施时，在执行本发明提供的上述基于视觉三维重建的矿区可行驶区域边界更新方法中的步骤S5时，利用点云设置高程阈值的方法，求解待测量工作区域的边界，具体可以包括如下步骤：
S51：将稠密的点云作为输入数据；
S52：获取输入的点云数据的最小高程值；
S53：基于获取的最小高程值，计算其他点的高程值与最小高程值的差值；
S54：判断每个点与周围各点间的高程差值是否大于阈值；若是，则该点发生突变；若否，则该点没有发生突变；
S55：将发生突变的点连接起来形成线，作为待测量工作区域的边界。
工作区域是指特定露天矿的特定区域，这些特定区域是在矿物质的采挖中实现不同作业目的的场地。根据作业目的，将露天矿划分为：装载区，主要用于装载矿物的区域；卸载区，用于把运输的矿物卸下车的区域；破碎站，用于将天然采集来的矿物块打碎成细小的区域；排土场，用于倾倒一些辅助土方的地方；停车场，用于停放车辆的地方；、维修厂，用于维修车辆的地方；以及加油区，用于实现无人驾驶加油的区域。工作区域边界是指：工作区域的有效范围的界限，用于区分工作区域和非工作区域。工作区域的边界按材质一般分为人工建设具有围墙性质的边界和自然形成的有区分度的边界。按照边界的变换程度，又可以分为固定工作区域边界和可变工作区域边界。其中，装载区、部分卸载区、排土场的边界属于动态可变工作区边界，这类边界数据如何保持时效性和实时性是本发明研究的对象。
下面通过一个具体的实施例对本发明提供的上述基于视觉三维重建的矿区可行驶区域边界更新方法的具体实施进行详细说明。
实施例1：装载区是典型的动态边界场景，本实施例以装载区作为待测量工作区域为例进行详细阐述。
第一步：架设高分辨率摄像机。
如图2所示，为某一矿区的装载区，需要采集识别的是电铲不断挖掘的自然边界，图2中白色的圆点1～4为摄像机的架设位置。摄像机架设的设施要求：1、数量上尽量能覆盖电铲采集推进线，本实施例采用4个摄像机，根据摄像机的FOV(FOV的全称是Field of View(视场角))已经能够覆盖整个采集推进线，如图3所示；2、各个摄像机要保证有60％的图像重叠度；3、摄像机应该架设在装载区固定边界的一侧；4、摄像机应当架设在坚实的地基上，并且具备一定的高度，稳定可靠。
第二步：摄像机标定。
摄像机主要是利用小孔成像原理进行图像成像，若要从图像中获得真实的三维坐标，需要进行四个坐标系的转换：世界坐标系Ow-XwYwZw、摄像机坐标系Oc-XcYcZc、像素坐标系o-xy和图像坐标系o-uv，如图4所示。图4中点P(Xw,Yw,Zw)为世界坐标系中的一点，即生活中真实的一点。世界坐标系Ow-XwYwZW用于描述相机位置，为地理投影坐标。相机坐标系Oc-XcYcZc的原点为摄像机的光心，单位为m。像素坐标系o-uv的原点为图像的左上角，单位为像素。图像坐标系o-xy的原点为成像平面中点，单位为mm。
将世界坐标系转化为相机坐标系的公式如下：
Figure BDA0003828543360000091
其中，Xc表示相机坐标系的横坐标，Yc表示相机坐标系的纵坐标，Zc表示相机坐标系的高度，xw表示世界坐标系的横坐标，yw表示世界坐标系的纵坐标，zw表示世界坐标系的高度，R表示表示相机的旋转矩阵，t表示表示相机的平移向量；
如图5所示，P(Xc,Yc,Zc)为相机坐标系中的一点，P(x,y)为图像坐标系的一点，将相机坐标系转化为图像坐标系的公式如下：
Figure BDA0003828543360000092
其中，x表示图像坐标系的横坐标，y表示图像坐标系的纵坐标，f表示相机的焦距；
如图6所示，
Figure BDA0003828543360000093
将像素坐标系转化为图像坐标系的公式如下：
Figure BDA0003828543360000101
其中，u表示像素坐标系的像素所在的横坐标，v表示像素坐标系的像素所在的纵坐标，u0表示图像坐标系的原点在像素坐标系中的横坐标，v0表示图像坐标系的原点在像素坐标系的纵坐标；
由上面的公式可以得出，若要完成上述一系列转化，需要9个参数，摄像机标定就是确定这9个参数。这9个参数分别是3个内方位元素和6个外方位元素。摄像机标定方法有：传统相机标定法、主动视觉相机标定方法和相机自标定法。
第三步：数据传回平台。
将多台摄像机采集的多视角图像数据实时传到云端数据处理平台，按照采集时间和摄像机ID将多视角图像数据存贮在云端数据处理平台，如图7所示。
第四步：数据预处理。
过滤掉同一角度上一系列照片上的动态物体只保留静态物体，其中主要的原理是：对于连续拍摄的时间照片，动态的车辆只会出现在多张照片的某些区域，静态的物体每一张照片上都会存在，我们根据多照片像素比对，就可以保留静态画面，再将相片合成，最后输出只有静态图像的照片。这里做数据预处理的原因主要是为了移除动态作业的矿卡。预处理前后的图像分别如图8中的(a)和(b)所示。
第五步：稀疏重建SFM。
(1)利用SIFT算法对只包含静态物体的多视角图像进行特征点检测与特征点匹配。
具体地，从多视角几何来说，同一个物体的某一个点会出现在多个视角图像上，如何从多个视角找到同名的位置点，称为特征点匹配，如图9所示。
图9的解释：对于图9中的正方体应该有8个角，图9中只能看到7个角，分别是X1、X2、X3、X4、X5、X6和X7。从不同的角度拍摄正方体会得到3张照片，分别是image1,image2,image3,其中对于X1,在三张照片中对应的点分别是image1中的
Figure BDA0003828543360000111
image2中的
Figure BDA0003828543360000112
image3中的
Figure BDA0003828543360000113
由于
Figure BDA0003828543360000114
都是对应实际物体的正方体的X1，所以这三个点称之为同名点。
具体步骤如下：首先，在只包含静态物体的多视角图像中，针对每张图像创建高斯差分尺度空间，在每张图像的尺度空间中的每一尺度上，通过高斯差分函数检测出关键点；然后，删除关键点中对比度低于阈值的关键点和边缘梯度方向的主曲率不稳定的关键点，通过拟合精细模型，确定保留下来的关键点的位置和尺度；之后，计算保留下来的关键点基于局部梯度的方向，为保留下来的关键点分配一个或多个方向；最后，利用保留下来的关键点的位置、尺度和方向，计算用于描述关键点的关键点描述子，保留下来的关键点及其对应的关键点描述子构成特征点。
(2)保留满足x1 TFx2＝0条件的特征点匹配对，构造外极几何图；其中，矩阵F为计算机视觉中的基础矩阵，x1和x2分别表示特征点在配对的两张图像中的齐次坐标。
(3)根据外极几何图得到每个摄像机的位姿。
(4)对每个摄像机的位姿进行捆绑调整(BA)优化。
第六步：稠密重建MVS。
MVS是Multi View Stereo(多视图立体)，SFM生成的是稀疏点云，恢复摄像机之间的几何关系，MVS生成的是密集点云，是由SFM获得的一些摄像机参数和摄像机之间的几何关系，而MVS是对上面步骤的细化从而产生所谓的密集重构。
MVS算法主要分为如下三种：基于体素的Voxel based MVS方法、基于点云扩散的Feature point growing based MVS方法和基于深度图融合的Depth-map merging basedMVS方法。本实施例采用基于点云扩散的Feature point growing based MVS方法。
第七步：点云模型化。
高程提取作业区边界算法的设计原理是，作业区的边界往往突变明显，可以利用点云设置高程阈值的方法来求解，如图10所示，具体方法流程如下：
(1)将稠密的点云作为输入数据。
(2)获取输入的点云数据的最小高程值。
(3)基于获取的最小高程值，计算其他点的高程值与最小高程值的差值。
(4)判断每个点与周围各点间的高程差值是否大于阈值；若是，则该点发生突变；若否，则该点没有发生突变。
(5)将发生突变的点连接起来形成线，作为待测量工作区域的边界。
第八步：坐标系转化。
将第七步求得的边界的坐标系转化为地理坐标系。
第九步：数据融合及边界更新。
将待测量工作区域的现有边界(如图11所示的实线)与第八步得到的地理坐标系下待测量工作区域的边界(如图11所示的虚线)融合，如图11所示，融合算法原理为线段切割线段，更新待测量工作区域的边界。待测量工作区域的现有边界为上一次更新结果。
本发明提供的上述基于视觉三维重建的矿区可行驶区域边界更新方法，具有如下七个方面的优点：
(1)安全方面。采用计算机视觉的解决思路，是一种非接触式的采集方式，既不需要现场定位打点测量，也不需要派采集车去现场循迹或者雷达扫描，因此不存在正常作业的矿卡和采集作业的车辆发生碰撞的情况，安全性大大提高，并且使整个矿区无人驾驶总体方案的复杂程度也大大降低。
(2)采集数据的连续性方面(即抗天气干扰方面)。主要是指采集数据的稳定性，可以在大多数的矿区环境采集，具有一定的抗干扰能力。矿区现场一般条件恶劣，比如风大、温度低。无人机采集方式在矿区现场不具备起飞条件而无法采集测量。本发明具备抗风、抗低温的特点。
(3)数据精度方面。主要指两个方面，第一方面指数据的密度，也就是分辨率，第二方面指采集数据值与真值的接近程度。由于可行驶区域边界是保障车辆安全驾驶的一种手段，在无人驾驶中，可行驶区域边界内的区域是安全区域。可行驶区域可以为动态停靠场景的动态路径规划提供先验的地图数据。基于以上目的，边界数据不需要很高的精度和很高的分辨率。本发明基于此目标能够很好地保证数据用途所具有的精度，而不至于精度过低或者过高。
(4)边界更新速度方面。主要是指从现场的边界数据发生变更开始到新的边界数据生成这个过程所花费的时间。现有方案中，人工采集、无人机航摄、激光雷扫描都需要采集设备调度和派遣的过程，并且尽量不干扰正在正常作业的运输无人驾驶矿卡，因此更新的实时性就无法保证。本发明中，由于高分辨率摄像机是提前架设在现场的，因此没有派遣的问题和避障的考虑，只需要将变更前后的数字图像数据回传即可。因此，本发明在更新速度方面大大优于现有方案，更新时间快且可控可指标性量化。
(5)成本方面。主要是指完成可行驶区域边界的目标所需要软硬件的资金成本。现有方案中，资金成本主要有三部分组成：采集设备成本、人工成本和设备运行成本。采集设备成本是指由于现有采集方案都需要采集设备的支撑，比如RTK、无人机、激光雷达的购买费用。人工成本是指现有方案都需要具有一定专业知识的技术人员去操作采集设备，这些人工需要一定薪资待遇。设备运行成本是指采集设备的正常运转需要一定辅助性的支持，这里尤其需要指出的是车载激光雷达，需要定期加油。综上各方面的考虑，本发明摄像机在这三个方面都具有一定的优势。
(6)测量范围方面。主要是指在不移动测量设备的情况下的有效测绘范围。无人机适合大范围测量，RTK人工测量需要不断的打点，范围可以保证但数据分辨率很难保证。激光雷达的有效探测距离一般为60m～70m，而本发明的视觉技术可以克服上述问题，这取决于摄像机的分辨率和基线距离。
(7)自动化程度方面(即人工干预)。主要是指人为干预的程度。由于现有采集方案的人为干预的比重比较大，必然一定程度地影响了无人驾驶对数据更新实时性的要求。本发明基本上很少有人为介入，自动化程度高，大大提高了作业效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于视觉三维重建的矿区可行驶区域边界更新方法，其特征在于，包括如下步骤：
S1：在待测量工作区域的周围架设多台高分辨率摄像机，并对各台摄像机的内方位元素和外方位元素进行标定；
S2：将多台摄像机采集的多视角图像数据实时传到云端数据处理平台，按照采集时间和摄像机ID将多视角图像数据存贮在云端数据处理平台；
S3：消除多视角图像在同一视角上的动态物体，保留多视角图像在同一视角上的静态物体；
S4：对只包含静态物体的多视角图像依次进行稀疏重建SFM、稠密重建MVS以及点云模型化；
S5：利用点云设置高程阈值的方法，求解待测量工作区域的边界，并将求得的边界的坐标系转化为地理坐标系；
S6：将待测量工作区域的现有边界与步骤S5得到的地理坐标系下待测量工作区域的边界融合，更新待测量工作区域的边界；其中，待测量工作区域的现有边界为上一次更新结果。
2.如权利要求1所述的基于视觉三维重建的矿区可行驶区域边界更新方法，其特征在于，步骤S4中，对只包含静态物体的多视角图像进行稀疏重建SFM，具体包括：
S41：利用SIFT算法对只包含静态物体的多视角图像进行特征点检测与特征点匹配；
S42：保留满足x1 TFx2＝0条件的特征点匹配对，构造外极几何图；其中，矩阵F为计算机视觉中的基础矩阵，x1和x2分别表示特征点在配对的两张图像中的齐次坐标；
S43：根据外极几何图得到每个摄像机的位姿；
S44：对每个摄像机的位姿进行捆绑调整优化。
3.如权利要求2所述的基于视觉三维重建的矿区可行驶区域边界更新方法，其特征在于，步骤S41，利用SIFT算法对只包含静态物体的多视角图像进行特征点检测与特征点匹配，具体包括：
SS1：在只包含静态物体的多视角图像中，针对每张图像创建高斯差分尺度空间，在每张图像的尺度空间中的每一尺度上，通过高斯差分函数检测出关键点；
SS2：删除关键点中对比度低于阈值的关键点和边缘梯度方向的主曲率不稳定的关键点，通过拟合精细模型，确定保留下来的关键点的位置和尺度；
SS3：计算保留下来的关键点基于局部梯度的方向，为保留下来的关键点分配一个或多个方向；
SS4：利用保留下来的关键点的位置、尺度和方向，计算用于描述关键点的关键点描述子，保留下来的关键点及其对应的关键点描述子构成特征点。
4.如权利要求1所述的基于视觉三维重建的矿区可行驶区域边界更新方法，其特征在于，步骤S5中，利用点云设置高程阈值的方法，求解待测量工作区域的边界，具体包括：
S51：将稠密的点云作为输入数据；
S52：获取输入的点云数据的最小高程值；
S53：基于获取的最小高程值，计算其他点的高程值与最小高程值的差值；
S54：判断每个点与周围各点间的高程差值是否大于阈值；若是，则该点发生突变；若否，则该点没有发生突变；
S55：将发生突变的点连接起来形成线，作为待测量工作区域的边界。
CN202211067663.6A 2022-09-01 2022-09-01 一种基于视觉三维重建的矿区可行驶区域边界更新方法 Pending CN115423958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211067663.6A CN115423958A (zh) 2022-09-01 2022-09-01 一种基于视觉三维重建的矿区可行驶区域边界更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211067663.6A CN115423958A (zh) 2022-09-01 2022-09-01 一种基于视觉三维重建的矿区可行驶区域边界更新方法

Publications (1)

Publication Number Publication Date
CN115423958A true CN115423958A (zh) 2022-12-02

Family

ID=84202901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211067663.6A Pending CN115423958A (zh) 2022-09-01 2022-09-01 一种基于视觉三维重建的矿区可行驶区域边界更新方法

Country Status (1)

Country Link
CN (1) CN115423958A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115930954A (zh) * 2023-03-09 2023-04-07 青岛慧拓智能机器有限公司 一种矿区高精度地图构建和更新方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115930954A (zh) * 2023-03-09 2023-04-07 青岛慧拓智能机器有限公司 一种矿区高精度地图构建和更新方法

Similar Documents

Publication Publication Date Title
Moon et al. Comparison and utilization of point cloud generated from photogrammetry and laser scanning: 3D world model for smart heavy equipment planning
CN111599001A (zh) 基于图像三维重建技术的无人机导航地图构建系统及方法
CN111527467A (zh) 使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置
CN105160702A (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN112465976B (zh) 堆场三维地图建立方法、库存管理方法、设备及介质
CN107850449A (zh) 用于生成及使用定位参考数据的方法及系统
CA2678156A1 (en) Measurement apparatus, measurement method, and feature identification apparatus
CN114842438A (zh) 用于自动驾驶汽车的地形检测方法、系统及可读存储介质
Scaioni et al. Close-range photogrammetric techniques for deformation measurement: Applications to landslides
Orthuber et al. 3D building reconstruction from lidar point clouds by adaptive dual contouring
US20230419501A1 (en) Image analysis for aerial images
CN115423958A (zh) 一种基于视觉三维重建的矿区可行驶区域边界更新方法
Jiang et al. Low–high orthoimage pairs-based 3D reconstruction for elevation determination using drone
Xiao et al. Monitoring excavation slope stability using drones
CN112197773B (zh) 基于平面信息的视觉和激光定位建图方法
CN116578081A (zh) 一种基于感知的无人驾驶运输车辆指点停靠方法
Ahmed et al. High-quality building information models (BIMs) using geospatial datasets
Zhu A pipeline of 3D scene reconstruction from point clouds
Naguib et al. 3D environmental modeling and drivable road identification for a long-range rover
Loutfia et al. 3D model reconstruction from aerial ortho-imagery and LiDAR data
Hu et al. Autonomous Obstacle Detection and Avoidance of Lunar Landing Based on Active and Passive Sensors
Jiang Determination of Elevations for Excavation Operations Using Drone Technologies
Yu et al. Advanced approach for automatic reconstruction of 3d buildings from aerial images
Barsi et al. Environmental data delivery for automotive simulations by laser scanning
Han et al. Construction Site Top-View Generation Using Drone Imagery: The Automatic Stitching Algorithm Design and Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination