CN113240801B - 一种物料堆三维重构方法、装置、电子设备及存储介质 - Google Patents

一种物料堆三维重构方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113240801B
CN113240801B CN202110636012.3A CN202110636012A CN113240801B CN 113240801 B CN113240801 B CN 113240801B CN 202110636012 A CN202110636012 A CN 202110636012A CN 113240801 B CN113240801 B CN 113240801B
Authority
CN
China
Prior art keywords
grid
laser
points
material pile
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110636012.3A
Other languages
English (en)
Other versions
CN113240801A (zh
Inventor
张元生
李若熙
吕潇
李越
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Beikuang Intelligent Technology Co ltd
BGRIMM Technology Group Co Ltd
Original Assignee
Beijing Beikuang Intelligent Technology Co ltd
BGRIMM Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Beikuang Intelligent Technology Co ltd, BGRIMM Technology Group Co Ltd filed Critical Beijing Beikuang Intelligent Technology Co ltd
Priority to CN202110636012.3A priority Critical patent/CN113240801B/zh
Publication of CN113240801A publication Critical patent/CN113240801A/zh
Application granted granted Critical
Publication of CN113240801B publication Critical patent/CN113240801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供了一种物料堆三维重构方法、装置、电子设备及存储介质，控制激光发射器朝向物料堆发射激光网格，激光网格能够全面覆盖物料堆；采集设备采集在激光网格的照射下，物料堆在不同角度下的两张网格图像；获取两张网格图像中的目标像素点分别在每张网格图像中的像素坐标；将目标像素点分别在每张网格图像中的像素坐标输入到训练好的坐标预测模型中，得到物料堆的世界坐标；根据物料堆的世界坐标，建立物料堆的三维模型。本申请借助激光网格覆盖着物料面，两个采集设备采集到激光网格进行特征提取后进行匹配，坐标预测模型通过采集到的特征点进行料面的三维重构，减少了标定参数繁多的弊端，准确度更高，且具有在昏暗环境中操作性强。

Description

一种物料堆三维重构方法、装置、电子设备及存储介质
技术领域
本申请涉及三维重构技术领域，具体而言，涉及一种物料堆三维重构方法、装置、电子设备及存储介质。
背景技术
在工程领域，大型的固体物料堆需要测量三维地貌参数、质量、体积等其他有效参数，例如高炉里的炉料堆、港口所堆放的物料、储存粮仓的粮食、发电厂的煤堆、矿山的矿石岩石等。
以资源型为发展途径的企业，例如火电厂、钢铁场、粮仓等，物料的盘存管理步骤是评估企业效益的重要环节，直接影响企业的生产成本。为了提高企业的经济效益,需要精确且快速地测量生产过程中或是盘存所需的固态物料堆的体积。
目前大部分企业依旧采用人工测量的方式获取物料堆表面。例如在矿山场中测量矿石物料堆积的体积，人工操作利用推土机将石头堆积成固定规则的形状，再利用测量工具人工进行测量，最后估算出矿石料堆的近似体积。另一种目测法，根据经验人工得出堆位情况，但只适用于小型的堆料，干扰因素十分多，耗时费力，精确度低。
发明内容
有鉴于此，本申请的目的在于提供一种物料堆三维重构方法、装置、电子设备及存储介质，利用参数优化后的坐标预测模型进行预测，使用参数少，预测准确度高。
第一方面，本申请实施例提供了一种物料堆三维重构方法，所述方法包括：
控制激光发射器朝向物料堆发射激光网格，所述激光网格能够全面覆盖所述物料堆；
通过采集设备采集在所述激光网格的照射下，所述物料堆在不同角度下的两张网格图像；
获取所述两张网格图像中的目标像素点分别在每张网格图像中的像素坐标；其中，所述目标像素点为所述两张网格图像中对应同一区域的像素点；
将所述目标像素点分别在每张网格图像中的像素坐标输入到训练好的坐标预测模型中，得到所述物料堆的世界坐标；其中，所述坐标预测模型通过以下方式构建：构建包括核函数参数和惩戒因子的支持向量机模型，并根据遗传算法和瑞利分布函数优化所述支持向量机模型中的核函数参数和惩戒因子；根据所述目标像素点分别在每张网格图像中的像素坐标和与该目标像素点映射在所述物料堆的目标点的世界坐标构建训练数据集，通过所述训练数据集对优化后的所述支持向量机模型进行训练，得到训练好的坐标预测模型；
根据所述物料堆的世界坐标，建立所述物料堆的三维模型。
在本申请较佳的技术方案中，上述所述激光发射器朝向所述物料堆设置，且所述激光发射器的设置高度与所述物料堆的高度具有预设高度差；其中，所述预设高度差根据所述物料堆的高度确定；
所述采集设备为两个，两个所述采集设备分别位于所述物料堆相对的两侧，且每个所述采集设备相对于水平面的绝对俯角为位于预设角度范围内；其中，所述预设角度范围能够使所述采集设备采集覆盖所述物料堆的网格图像。
在本申请较佳的技术方案中，上述获取所述两张网格图像中的目标像素点分别在每张网格图像中的像素坐标，包括：
根据激光网格的交叉点信息，提取激光网格图像的激光特征点；
根据两张网格图像中灰度变化程度，从所述激光特征点中检测出目标角点；
根据两张网格图像中目标角点的对应关系，确定目标像素点；
根据目标像素点在每张网格图像中的位置，确定所述目标像素点在每张网格图像中的像素坐标。
在本申请较佳的技术方案中，上述根据激光网格的交叉点信息，提取激光网格图像的激光特征点，包括：
在每条激光网格宽度的不同方向查找预设阈值范围的不同像素点；
根据每条激光网格上预设阈值范围的不同像素点，确定该行激光网格的中线；
提取不同激光网格的中线的交叉点作为激光网格图像的激光特征点。
在本申请较佳的技术方案中，上述根据两张网格图像中灰度变化程度，从所述激光特征点中检测出目标角点，包括：
计算激光特征点中每个像素点的角点量；
选择在预设范围的角点量对应同一区域的像素点为目标角点。
在本申请较佳的技术方案中，上述根据两张网格图像中目标角点的对应关系，确定目标像素点，包括：
根据目标角点判断像素点之间的对应关系；当两个角点描述的是同一像素点时，该像素点为目标像素点。
在本申请较佳的技术方案中，上述根据遗传算法和瑞利分布函数优化所述支持向量机模型中的核函数参数和惩戒因子，包括：
初始化种群，随机生成初始种群个体；
将种群中各个个体基因串解码为相应核函数参数和错误惩罚因子；所述个体基因串由核函数参数和错误惩罚因子编码组成；
将核函数参数和错误惩罚因子代入支持向量机预测模型，根据瑞利分布函数计算得到第一适应度；
当第一适应度不满足要求时，再次将核函数参数和错误惩罚因子编码为个体基因串，对各个个体基因串进行复制、交叉、变得形成新一代群体,将所述新一代群体作为新的初始种群个体，返回将种群中各个体基因串解码为相应核函数参数和错误惩罚因子的步骤，直至对应的第一适应度满足要求。
第二方面，本申请实施例提供了一种物料堆三维重构装置，所述装置包括：
激光发射器，用于朝向物料堆发射激光网格，所述激光网格能够全面覆盖所述物料堆；
采集设备，用于采集在所述激光网格的照射下，所述物料堆在不同角度下的两张网格图像；
获取模块，用于获取所述两张网格图像中的目标像素点分别在每张网格图像中的像素坐标；其中，所述目标像素点为所述两张网格图像中对应同一区域的像素点；
转换模块，用于将所述目标像素点分别在每张网格图像中的像素坐标输入到训练好的坐标预测模型中，得到所述物料堆的世界坐标；其中，所述坐标预测模型通过以下方式构建：构建包括核函数参数和惩戒因子的支持向量机模型，并根据遗传算法和瑞利分布函数优化所述支持向量机模型中的核函数参数和惩戒因子；根据所述目标像素点分别在每张网格图像中的像素坐标和与该目标像素点映射在所述物料堆的目标点的世界坐标构建训练数据集，通过所述训练数据集对优化后的所述支持向量机模型进行训练，得到训练好的坐标预测模型；
建立模块，用于根据所述物料堆的世界坐标，建立所述物料堆的三维模型。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的物料堆三维重构的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的物料堆三维重构的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
控制激光发射器朝向物料堆发射激光网格，所述激光网格能够全面覆盖所述物料堆；通过采集设备采集在所述激光网格的照射下，所述物料堆在不同角度下的两张网格图像；获取所述两张网格图像中的目标像素点分别在每张网格图像中的像素坐标；其中，所述目标像素点为所述两张网格图像中对应同一区域的像素点；将所述目标像素点分别在每张网格图像中的像素坐标输入到训练好的坐标预测模型中，得到所述物料堆的世界坐标；根据所述物料堆的世界坐标，建立所述物料堆的三维模型。本申请借助激光网格覆盖着物料面，通过左右两个采集设备采集到的激光网格进行特征提取后进行匹配，坐标预测模型通过采集到的特征点进行料面的三维重构，减少了求解标定参数繁多的弊端，准确度更高，且具有在昏暗环境中操作性强的优点。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种物料堆三维重构方法的流程示意图；
图2示出了本申请实施例所提供的一种像素坐标系与图像坐标系示意图；
图3示出了本申请实施例所提供的一种相机坐标系与图像坐标系示意图；
图4示出了本申请实施例所提供的一种相机坐标系与世界坐标系示意图；
图5为本申请实施例提供的一种物料堆三维重构装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，计算机视觉测量中最受欢迎的测量方式为摄像测量法，在堆料场四周安装多组摄像头获取图像数据，将采得的图像特征进行分析研究，根据双目视觉的原理，对目标物体的特征点进行坐标测量，可对物料堆进行三维重建。该系统的标定过程十分繁琐，若标定准确，则坐标对应准确，图像的深度信息完整，三维重建的精度高。复杂环境中，对图像的影响非常大，去掉噪声等影响因素在图像处理中十分重要，影响三维重建的工作。
现今研究料面三维重构系统的步骤分为图像采集、相机标定、特征提取、立体匹配以及三维重建。每个步骤都存在一定弊端。
(1)相机标定中大部分采用张正友标定，需要拍摄多幅黑白网格图片获取相机内外参数，操作性差，对环境要求高，标定参数多。
(2)图像预处理过程中特征提取时大都选用边缘检测算子，忽略了激光与自然光难分割的现象。若没有考虑到提取光斑中心线的情况，在角点匹配过程中容易出现图像的一个像素对应多个像素，难以保证角点匹配的准确性。
基于此，本申请实施例提供了一种物料堆三维重构方法、装置、电子设备及存储介质，不同角度的两张图像，利用参数优化后的坐标预测模型对图像进行物料堆的世界坐标预测，提高预测结果的准确度，根据物料堆的世界坐标，也提高三维模型构建的准确度。下面通过实施例进行描述。
图1示出了本申请实施例所提供的一种物料堆三维重构方法的流程示意图，其中，该方法包括步骤S101-S105；具体的：
步骤S101、控制激光发射器朝向物料堆发射激光网格，激光网格能够全面覆盖物料堆；
步骤S102、通过采集设备采集在激光网格的照射下，物料堆在不同角度下的两张网格图像；
步骤S103、获取两张网格图像中的目标像素点分别在每张网格图像中的像素坐标；其中，目标像素点为两张网格图像中对应同一区域的像素点；
步骤S104、将目标像素点分别在每张网格图像中的像素坐标输入到训练好的坐标预测模型中，得到物料堆的世界坐标；其中，坐标预测模型通过以下方式构建：构建包括核函数参数和惩戒因子的支持向量机模型，并根据遗传算法和瑞利分布函数优化支持向量机模型中的核函数参数和惩戒因子；根据目标像素点分别在每张网格图像中的像素坐标和与该目标像素点映射在物料堆的目标点的世界坐标构建训练数据集，通过训练数据集对优化后的支持向量机模型进行训练，得到训练好的坐标预测模型；
步骤S105、根据物料堆的世界坐标，建立物料堆的三维模型。
本申请从不同角度的两张图像，利用参数优化后的坐标预测模型对图像进行物料堆的世界坐标预测，提高预测结果的准确度，根据物料堆的世界坐标，也提高三维模型构建的准确度。
下面对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
在执行方法之前，需要先搭建一个物料堆三维重构系统，三维重构系统包括激光发射器、采集设备、计算机；激光发射器用于朝向物料堆发射激光网格，采集设备用于采集物料堆的网格图像，计算机用于根据物料堆的预测坐标进行三维重建。
激光发射器朝向物料堆设置，且激光发射器的设置高度与物料堆的高度具有预设高度差；其中，预设高度差根据物料堆的高度确定；
采集设备为两个，两个采集设备分别位于物料堆相对的两侧，且每个采集设备相对于水平面的绝对俯角为位于预设角度范围内；其中，预设角度范围能够使采集设备采集覆盖物料堆的网格图像。
步骤S101、控制激光发射器朝向物料堆发射激光网格，激光网格能够全面覆盖物料堆。
物料堆重构的本质是根据获取的物料堆图像的空间信息，确定物料堆实际空间信息的过程。在确定物料堆图像的空间信息时，用物料堆图像相对的坐标系表示。
通过激光发射器朝向物料所在位置发射激光网格，激光网格覆盖在物料堆的表面。此时，物料堆表面与激光网格就存在相对位置，物料堆表面与激光网格的相对位置不会因为拍摄角度变化而改变。
具体的，采用两个工业摄像头采集图像，将激光发射器固定在云台的一端，地面到激光发射器的高度为料堆高度的二倍，保证发射处的激光网格完全覆盖在物体的表面，在一定范围内拍摄到激光网格信息的料堆，设置摄像机绝对俯角为60°。左右相机视觉中虚拟摄像机位于两个相机投射的交点处。因此，发射的激光与物体之间的距离需要固定并且要覆盖全面物体，保证在左右两个相机之中完整成像。两个相机摆放位置及角度尽可能保证拍摄的目标物体的范围广，拍摄的两幅图像需要20％以上的重合，为之后的图像匹配提供基础。
步骤S102、通过采集设备采集在激光网格的照射下，物料堆在不同角度下的两张网格图像。
基于双目相机标定原理，通过两张物料堆不同角度的图像就可以确定出物料堆的三维空间信息。
例如，设置两台相机，一台相机设置在物料堆的左侧，一台相机设置在物料堆的右侧，分别拍摄激光网格照射下的物料堆图像。
步骤S103、获取两张网格图像中的目标像素点分别在每张网格图像中的像素坐标；其中，目标像素点为两张网格图像中对应同一区域的像素点。
在对物料堆进行三维重构时，根据两张网格图像中对应同一区域的像素点的像素坐标，根据像素坐标、图像坐标、相机坐标、世界坐标的关系，进行转换，将其转换为物料堆对应的世界坐标。
像素坐标是指像素在像素坐标系中的坐标。
像素坐标系：图像的基本组成为像素，而像素点在整幅图像中有固定且明确的位置。摄像机拍摄的图像具有分辨率M*N﹐其意义指的是M行以及N列像素组成的图像。像素坐标系为平面直角坐标系，通常以一幅图像的左上角定义坐标系的原点o-uv。图2中表现图像的左上顶点为像素坐标系的原点，光轴为uv。假设其中一点的像素坐标为(u，v)，其意义指的是像素点位于图像第u行v列。
图像坐标系：图像坐标系与像素坐标系之间关系密切，像素坐标系中图像的单位为像素，明确且直观的表示像素点在图像中的位置。依据拍摄图像的设备不同，像素大小不固定。图像坐标系以摄像机光轴和成像平面的交点建立图像坐标系o-xy，原点规定为图像的中心处，x轴平行于u，y轴平行于v。图像的坐标的单位是像素，是一种相对单位，这是与像素坐标不同的地方。二者所对应的具体位置关系如图2所示。
相机坐标系：根据笛卡尔坐标系所示，即右手坐标系，其跟四个坐标系之间有不同的联系，对于相机坐标系而言是为了明确物体的成像几何关系。相机坐标系中的关键点Oc、Xc、Yc和Zc，其中，Oc是相机的光心，相机坐标系与图像坐标系之间的关系在于Xc轴平行于图像坐标系中的x轴，Yc轴平行于图像坐标系中的y轴，Zc轴为相机的光轴，垂直于图像坐标系平面，如图3所示。图像坐标系的原点与相机光轴与图像坐标系的交点O1。OcO1指的是相机的焦距，形如小孔成像中的f。
世界坐标系：世界坐标是描述摄像机与其他物体的位置关系，摄像机的摆放位置是随机任意的，描述不同于其他坐标系，是独立存在的坐标系。世界坐标系与相机坐标系都是三维坐标系。以世界坐标系为基准坐标系，如图4所示。找到三个坐标系之间的关系和位置，建立三维直角坐标系Ow-XwYwZw。世界坐标系转换成相机坐标系的过程属于刚体变化，物体不会发生形变，只能旋转和平移。
物料堆三维重构方法实质是上述各个坐标系之间转换关系的过程，我们获取目标像素点的像素坐标，经过上述各个坐标系之间的转换，最终得到目标像素点在世界坐标的位置。目标像素点为两张网格图像中对应同一区域的像素点，也就是两张网格图像中表示物料堆同一位置的像素点。
获取两张网格图像中的目标像素点分别在每张网格图像中的像素坐标，包括：
根据激光网格的交叉点信息，提取激光网格图像的激光特征点；
根据两张网格图像中灰度变化程度，从激光特征点中检测出目标角点；
根据两张网格图像中目标角点的对应关系，确定目标像素点；
根据目标像素点相对于所在图像的位置，确定目标像素点的像素坐标。
找到两张图像中表示物料堆同一位置的像素点，根据该像素点的像素坐标转换为物料堆该位置的世界坐标。再找两张图像中表示物料堆同一位置的像素点时，首先，根据激光网格的交叉点信息，提取激光网格图像的激光特征点，然后，根据两张网格图像中灰度变化程度，从激光特征点中检测出目标角点；最后，根据两张网格图像中目标角点的对应关系，确定目标像素点。
其中，根据激光网格的交叉点信息，提取激光网格图像的激光特征点，包括：
在每条激光网格宽度的不同方向查找预设阈值范围的不同像素点；
根据每条激光网格上预设阈值范围的不同像素点，确定该行激光网格的中线；
提取不同激光网格的中线的交叉点作为激光网格图像的激光特征点。
料堆图像的特征提取依靠激光网格。激光网格红色交叉点信息的提取是像素坐标转换成世界坐标的基础。激光特征点(包含角点)、线、边界等数值信息的描述。
具体的，激光网格投射在目标物体上呈现物体的表面，网格线会有一定的宽度，而这一宽度内有多个像素点。通常，理想的激光光束横截面上光强按高斯函数分布。
采用阈值法进行中心线提取，首先确定好阈值K＝200，按照相反的方向在网格分布的像素值进行查找,确定两个方向搜索时与K接近的两个点像素位置A、B的坐标(Xa,Ya)和(Xb,Yb,)，以(Xa+Xb)/2，(Ya+Yb)/2为中心所在的位置。
经过中心线的提取后，避免了多个像素对应同一角点的问题，为角点检测以及匹配提供了初步处理。
在进行角点匹配之前，需要确定目标角点。
根据两张网格图像中灰度变化程度，从激光特征点中检测出目标角点，包括：
计算激光特征点中每个像素点的角点量；
选择在预设范围的角点量对应同一区域的像素点为目标角点。
具体的，采用Harris角点检测，分别对两个方向中像素Ix,Iy各个像素滤波：
离散二维高斯函数进行卷积滤波:
获得各个像素角点量cim:
式中cim值(R)称为响应函数,只与m有关,当R的值比较大且为正数时，特征点为角点。
符合cim大于阈值以及cim属于一定范围内局部极大值。
在具体处理时，删除冗余节点，程序输出的角点坐标为亚像素，为操作方便并且符合精度的条件下，将省略小数点。
根据检测得到的目标角点，确定目标像素点。
其中，根据两张网格图像中目标角点的对应关系，确定目标像素点，包括：
根据目标角点判断像素点之间的对应关系；当两个角点描述的是同一像素点时，该像素点为目标像素点。
具体的，左右两幅图匹配是根据一定的匹配准则,两幅图像上的像素点匹配过后才能确定同一个物理坐标。若是匹配有误，会影响之后摄像机标定的操作。角点匹配分为四个基本步骤:提取检测子:提取角点，用Harris角点检测出两幅图像的角点。提取描述子:检测出的角点需要用数学表达的特征进行SIFT描述。匹配:采用描述子判断像素之间的对应关系。去除干扰点:去掉错误的匹配的外点，保留内点。
本申请采集用快速最近邻搜索包(Fast library for approximate nearestneighbors，Flann)角点匹配。Flann角点匹配核心是通过欧几里得距离寻找与实例点。输入参数IndexParams、SearchParams，目的为确定要使用的算法和其他所需的参数。
步骤S104、将目标像素点分别在每张网格图像中的像素坐标输入到训练好的坐标预测模型中，得到物料堆的世界坐标；其中，坐标预测模型通过以下方式构建：构建包括核函数参数和惩戒因子的支持向量机模型，并根据遗传算法和瑞利分布函数优化支持向量机模型中的核函数参数和惩戒因子；根据目标像素点分别在每张网格图像中的像素坐标和与该目标像素点映射在物料堆的目标点的世界坐标构建训练数据集，通过训练数据集对优化后的支持向量机模型进行训练，得到训练好的坐标预测模型。
这里的坐标预测模型为根据遗传算法和瑞利分布函数优化了核函数参数和惩戒因子的支持向量机模型。
根据遗传算法和瑞利分布函数优化支持向量机模型中的核函数参数和惩戒因子，包括：
初始化种群，随机生成初始种群个体；
将种群中各个个体基因串解码为相应核函数参数和错误惩罚因子；个体基因串由核函数参数和错误惩罚因子编码组成；
将核函数参数和错误惩罚因子代入支持向量机预测模型，根据瑞利分布函数计算得到第一适应度；
当第一适应度不满足要求时，再次将核函数参数和错误惩罚因子编码为个体基因串，对各个个体基因串进行复制、交叉、变得形成新一代群体,将新一代群体作为新的初始种群个体，返回将种群中各个体基因串解码为相应核函数参数和错误惩罚因子的步骤，直至对应的第一适应度满足要求。
具体的，初始化种群，随机生成初始种群个体。
本申请，核函数采用RBF核函数。编码时：核函数参数和错误惩罚因子为实数，采用二进制编码。核函数参数和错误惩罚因子在取值范围采用二进制编码,编码分别为X1位和X2位的二进制串,将X1+X2位二进制编码组合就得到个体染色体基因串。
将上述的核函数参数和错误惩罚因子带入支持向量机(support vectormachines,SVM)，以训练数据和测试数据对其进行训练和测试。
根据照适应度计算法则计算种群的适应度值。在计算种群的适应度值时，引入瑞利分布函数Ranlrnd(0,1)，计算得到第一适应度。
如果计算得到的第一适应度值满足条件，则选择最优的种群。
当第一适应度不满足要求时，需要选取新的种群。当第一适应度不满足要求时，再次将核函数参数和错误惩罚因子编码为个体基因串，对各个个体基因串进行复制、交叉、变得形成新一代群体。
为了确保进化向优化的方向进行，选择复制算子采用最优保存，最差取代的原则。所谓最优保存策略即是通过计算某代种群个体的适应度值，将适应度最优的个体作为该代种群的最优染色体保存下来。具体方法是令最优染色体为下一代种群第一个染色体，且在后续交叉、变异运算中不对第一个染色体实施。最差取代策略是将计算出的适应度最差的染色体用最优染色体取代。该算法不仅能够保存最有染色体避免退化现象的发生，还能因剔出最差染色体而加快遗传进化速度。
交叉算子是在选择算子选中用于繁殖下一代的个体中，对两个不同染色体相同位置上的基因进行交换，从而产生新的染色体。它在遗传算法中起核心作用。交叉算子又称重组算子。染色体重组分两个步骤:首先进行随机配对，然后再执行交叉操作。本申请采用两点交叉的方法，即在个体编码串中设置两个交叉点，然后进行部分基因交换。将基因串中第二个编码位作为第一个交叉点，而后在余下二进制编码部分随机产生一个交叉点，交换两个交叉点之间相应的基因段。
变异算子增加了遗传算法找寻全局最优解的能力。变异算子以一定的概率随机改变字符串某个位置上的值，针对本申请中的基因串，随机将二进制编码基因串某个位置0变为1，或将1变为0。
将所述新一代群体作为新的初始种群个体，返回将种群中各个体基因串解码为相应核函数参数和错误惩罚因子的步骤，直至对应的第一适应度满足要求。
步骤S105、根据物料堆的世界坐标，建立物料堆的三维模型。
根据物料堆的真实坐标即可对物料堆进行重建。
图5示出了本申请实施例所提供的一种物料堆三维重构装置的结构示意图，所述装置包括：
激光发射器，用于朝向物料堆发射激光网格，激光网格能够全面覆盖物料堆；
采集设备，用于采集在激光网格的照射下，物料堆在不同角度下的两张网格图像；
获取模块，用于获取两张网格图像中的目标像素点分别在每张网格图像中的像素坐标；其中，目标像素点为两张网格图像中对应同一区域的像素点；
转换模块，用于将目标像素点分别在每张网格图像中的像素坐标输入到训练好的坐标预测模型中，得到物料堆的世界坐标；其中，坐标预测模型通过以下方式构建：构建包括核函数参数和惩戒因子的支持向量机模型，并根据遗传算法和瑞利分布函数优化支持向量机模型中的核函数参数和惩戒因子；根据目标像素点分别在每张网格图像中的像素坐标和与该目标像素点映射在物料堆的目标点的世界坐标构建训练数据集，通过训练数据集对优化后的支持向量机模型进行训练，得到训练好的坐标预测模型；
建立模块，用于根据物料堆的世界坐标，建立物料堆的三维模型。
获取模块，在用于获取两张网格图像中的目标像素点分别在每张网格图像中的像素坐标，包括：
根据激光网格的交叉点信息，提取激光网格图像的激光特征点；
根据两张网格图像中灰度变化程度，从激光特征点中检测出目标角点；
根据两张网格图像中目标角点的对应关系，确定目标像素点；
根据目标像素点相对于所在图像的位置，确定目标像素点的像素坐标。
获取模块，在用于根据激光网格的交叉点信息，提取激光网格图像的激光特征点，包括：
在每条激光网格宽度的不同方向查找预设阈值范围的不同像素点；
根据每条激光网格上预设阈值范围的不同像素点，确定该行激光网格的中线；
提取不同激光网格的中线的交叉点作为激光网格图像的激光特征点。
获取模块，在用于根据两张网格图像中灰度变化程度，从激光特征点中检测出目标角点，包括：
计算激光特征点中每个像素点的角点量；
选择在预设范围的角点量对应同一区域的像素点为目标角点。
获取模块，在用于根据两张网格图像中目标角点的对应关系，确定目标像素点，包括：
根据目标角点判断像素点之间的对应关系；当两个角点描述的是同一像素点时，该像素点为目标像素点。
转换模块，在用于根据遗传算法和瑞利分布函数优化支持向量机模型中的核函数参数和惩戒因子，包括：
初始化种群，随机生成初始种群个体；
将种群中各个个体基因串解码为相应核函数参数和错误惩罚因子；个体基因串由核函数参数和错误惩罚因子编码组成；
将核函数参数和错误惩罚因子代入支持向量机预测模型，根据瑞利分布函数计算得到第一适应度；
当第一适应度不满足要求时，再次将核函数参数和错误惩罚因子编码为个体基因串，对各个个体基因串进行复制、交叉、变得形成新一代群体,将新一代群体作为新的初始种群个体，返回将种群中各个体基因串解码为相应核函数参数和错误惩罚因子的步骤，直至对应的第一适应度满足要求。
如图6所示，本申请实施例提供了一种电子设备，用于执行本申请中的物料堆三维重构，该设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，其中，上述处理器执行上述计算机程序时实现上述的物料堆三维重构的步骤。
具体地，上述存储器和处理器可以为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述的物料堆三维重构。
对应于本申请中的物料堆三维重构，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的物料堆三维重构的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的物料堆三维重构。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种物料堆三维重构方法，其特征在于，所述方法包括：
控制激光发射器朝向物料堆发射激光网格，所述激光网格能够全面覆盖所述物料堆；
通过采集设备采集在所述激光网格的照射下，所述物料堆在不同角度下的两张网格图像；
获取所述两张网格图像中的目标像素点分别在每张网格图像中的像素坐标；其中，所述目标像素点为所述两张网格图像中对应同一区域的像素点；
将所述目标像素点分别在每张网格图像中的像素坐标输入到训练好的坐标预测模型中，得到所述物料堆的世界坐标；其中，所述坐标预测模型通过以下方式构建：构建包括核函数参数和惩戒因子的支持向量机模型，并根据遗传算法和瑞利分布函数优化所述支持向量机模型中的核函数参数和惩戒因子；根据所述目标像素点分别在每张网格图像中的像素坐标和与该目标像素点映射在所述物料堆的目标点的世界坐标构建训练数据集，通过所述训练数据集对优化后的所述支持向量机模型进行训练，得到训练好的坐标预测模型；
根据所述物料堆的世界坐标，建立所述物料堆的三维模型；
所述获取所述两张网格图像中的目标像素点分别在每张网格图像中的像素坐标，包括：
根据激光网格的交叉点信息，提取激光网格图像的激光特征点；
根据两张网格图像中灰度变化程度，从所述激光特征点中检测出目标角点；
根据两张网格图像中目标角点的对应关系，确定目标像素点；
根据目标像素点在每张网格图像中的位置，确定所述目标像素点在每张网格图像中的像素坐标。
2.根据权利要求1所述的方法，其特征在于，
所述激光发射器朝向所述物料堆设置，且所述激光发射器的设置高度与所述物料堆的高度具有预设高度差；其中，所述预设高度差根据所述物料堆的高度确定；
所述采集设备为两个，两个所述采集设备分别位于所述物料堆相对的两侧，且每个所述采集设备相对于水平面的绝对俯角为位于预设角度范围内；其中，所述预设角度范围能够使所述采集设备采集覆盖所述物料堆的网格图像。
3.根据权利要求1所述的方法，其特征在于，所述根据激光网格的交叉点信息，提取激光网格图像的激光特征点，包括：
在每条激光网格宽度的不同方向查找预设阈值范围的不同像素点；
根据每条激光网格上预设阈值范围的不同像素点，确定该行激光网格的中线；
提取不同激光网格的中线的交叉点作为激光网格图像的激光特征点。
4.根据权利要求1所述的方法，其特征在于，所述根据两张网格图像中灰度变化程度，从所述激光特征点中检测出目标角点，包括：
计算激光特征点中每个像素点的角点量；
选择在预设范围的角点量对应同一区域的像素点为目标角点。
5.根据权利要求1所述的方法，其特征在于，所述根据两张网格图像中目标角点的对应关系，确定目标像素点，包括：
根据目标角点判断像素点之间的对应关系；当两个角点描述的是同一像素点时，该像素点为目标像素点。
6.根据权利要求1所述的方法，其特征在于，所述根据遗传算法和瑞利分布函数优化所述支持向量机模型中的核函数参数和惩戒因子，包括：
初始化种群，随机生成初始种群个体；
将种群中各个个体基因串解码为相应核函数参数和错误惩罚因子；所述个体基因串由核函数参数和错误惩罚因子编码组成；
将核函数参数和错误惩罚因子代入支持向量机预测模型，根据瑞利分布函数计算得到第一适应度；
当第一适应度不满足要求时，再次将核函数参数和错误惩罚因子编码为个体基因串，对各个个体基因串进行复制、交叉、变得形成新一代群体,将所述新一代群体作为新的初始种群个体，返回将种群中各个体基因串解码为相应核函数参数和错误惩罚因子的步骤，直至对应的第一适应度满足要求。
7.一种物料堆三维重构装置，其特征在于，所述装置包括：
激光发射器，用于朝向物料堆发射激光网格，所述激光网格能够全面覆盖所述物料堆；
采集设备，用于采集在所述激光网格的照射下，所述物料堆在不同角度下的两张网格图像；
获取模块，用于获取所述两张网格图像中的目标像素点分别在每张网格图像中的像素坐标；其中，所述目标像素点为所述两张网格图像中对应同一区域的像素点；
转换模块，用于将所述目标像素点分别在每张网格图像中的像素坐标输入到训练好的坐标预测模型中，得到所述物料堆的世界坐标；其中，所述坐标预测模型通过以下方式构建：构建包括核函数参数和惩戒因子的支持向量机模型，并根据遗传算法和瑞利分布函数优化所述支持向量机模型中的核函数参数和惩戒因子；根据所述目标像素点分别在每张网格图像中的像素坐标和与该目标像素点映射在所述物料堆的目标点的世界坐标构建训练数据集，通过所述训练数据集对优化后的所述支持向量机模型进行训练，得到训练好的坐标预测模型；
建立模块，用于根据所述物料堆的世界坐标，建立所述物料堆的三维模型；
获取模块，在用于获取所述两张网格图像中的目标像素点分别在每张网格图像中的像素坐标时，包括：
根据激光网格的交叉点信息，提取激光网格图像的激光特征点；
根据两张网格图像中灰度变化程度，从所述激光特征点中检测出目标角点；
根据两张网格图像中目标角点的对应关系，确定目标像素点；
根据目标像素点在每张网格图像中的位置，确定所述目标像素点在每张网格图像中的像素坐标。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的物料堆三维重构的步骤。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的物料堆三维重构的步骤。
CN202110636012.3A 2021-06-08 2021-06-08 一种物料堆三维重构方法、装置、电子设备及存储介质 Active CN113240801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110636012.3A CN113240801B (zh) 2021-06-08 2021-06-08 一种物料堆三维重构方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110636012.3A CN113240801B (zh) 2021-06-08 2021-06-08 一种物料堆三维重构方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113240801A CN113240801A (zh) 2021-08-10
CN113240801B true CN113240801B (zh) 2023-09-19

Family

ID=77137230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110636012.3A Active CN113240801B (zh) 2021-06-08 2021-06-08 一种物料堆三维重构方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113240801B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109788B (zh) * 2023-02-15 2023-07-04 张春阳 一种实体件建模重构的方法
CN116665139B (zh) * 2023-08-02 2023-12-22 中建八局第一数字科技有限公司 堆状物料体积识别方法、装置、电子设备及存储介质
CN117132590B (zh) * 2023-10-24 2024-03-01 威海天拓合创电子工程有限公司 一种基于图像的多板卡缺陷检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680585A (zh) * 2013-11-29 2015-06-03 深圳先进技术研究院 物料堆三维重建系统及方法
CN106949851A (zh) * 2017-03-29 2017-07-14 沈阳建筑大学 一种基于支持向量机的线结构光视觉传感器标定方法
CN109377555A (zh) * 2018-11-14 2019-02-22 江苏科技大学 自主水下机器人前景视场三维重建目标特征提取识别方法
CN110798275A (zh) * 2019-10-16 2020-02-14 西安科技大学 一种矿井多模无线信号精确识别方法
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680585A (zh) * 2013-11-29 2015-06-03 深圳先进技术研究院 物料堆三维重建系统及方法
CN106949851A (zh) * 2017-03-29 2017-07-14 沈阳建筑大学 一种基于支持向量机的线结构光视觉传感器标定方法
CN109377555A (zh) * 2018-11-14 2019-02-22 江苏科技大学 自主水下机器人前景视场三维重建目标特征提取识别方法
CN110798275A (zh) * 2019-10-16 2020-02-14 西安科技大学 一种矿井多模无线信号精确识别方法
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于SVM-UPF的雷达弱小目标检测前跟踪算法;秦占师;张智军;曹晓英;陈稳;;火力与指挥控制(第03期);全文 *
粒子群算法用于局部放电小波阈值去噪;李蓝青;赵刚;;电气自动化(第01期);全文 *

Also Published As

Publication number Publication date
CN113240801A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113240801B (zh) 一种物料堆三维重构方法、装置、电子设备及存储介质
CN104816306A (zh) 机器人、机器人系统、控制装置、以及控制方法
Gao et al. An approach to combine progressively captured point clouds for BIM update
CN104408055B (zh) 一种激光雷达点云数据的存储方法及装置
CN107918953B (zh) 基于三维空间的激光扫描电力线点云的提取方法及装置
CN103162818B (zh) 基于矩不变性的激光光束束宽评价方法
CN113920081A (zh) 一种刀具磨损度检测方法
US20120033873A1 (en) Method and device for determining a shape match in three dimensions
CN111932669A (zh) 一种基于边坡岩体特征对象的变形监测方法
CN111488683A (zh) 一种基于图像处理技术的破片飞散参数确定方法
CN113487633A (zh) 一种点云轮廓提取方法、装置、计算机设备及存储介质
CN101814197A (zh) 空间实体视图模型及其处理方法
CN112257721A (zh) 一种基于Fast ICP的图像目标区域匹配方法
CN116228684A (zh) 一种电池壳体外观缺陷图像处理方法及装置
Mitropoulou et al. An automated process to detect edges in unorganized point clouds
CN111260714A (zh) 一种洪涝受灾评估方法、装置、设备及计算机存储介质
CN114998397B (zh) 一种多视角卫星影像立体像对优化选择方法
CN113362296B (zh) 一种隧道裂缝提取方法及系统
CN113920269A (zh) 工程进度获取方法、装置、电子设备及介质
Kumar et al. Efficient volume estimation for dynamic environments using deep learning on the edge
CN111428530B (zh) 一种二维码图像检测识别设备、装置及方法
Vasil’eva et al. Approximation of probabilistic constraints in stochastic programming problems with a probability measure kernel
CN113627548A (zh) 一种平面工件模板匹配方法、装置、介质及计算机设备
Al-Mestarehi et al. Creating a Complete Model of the Wooden Pattern from Laser Scanner Point Clouds Using Alpha Shapes.
CN117592633B (zh) 一种智慧巡检优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant