CN111340834A - 基于激光雷达和双目相机数据融合的衬板装配系统及方法 - Google Patents
基于激光雷达和双目相机数据融合的衬板装配系统及方法 Download PDFInfo
- Publication number
- CN111340834A CN111340834A CN202010161093.1A CN202010161093A CN111340834A CN 111340834 A CN111340834 A CN 111340834A CN 202010161093 A CN202010161093 A CN 202010161093A CN 111340834 A CN111340834 A CN 111340834A
- Authority
- CN
- China
- Prior art keywords
- lining plate
- point cloud
- real
- laser radar
- binocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000004927 fusion Effects 0.000 title claims abstract description 22
- 238000000227 grinding Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000009616 inductively coupled plasma Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Manipulator (AREA)
- Laser Beam Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开提供了一种基于激光雷达和双目相机数据融合的衬板装配系统及方法，本公开基于激光雷达获取的磨机内部实时点云，以及包含衬板信息的深度图像，进而确定衬板的实时位姿信息和耳部位姿，生成重载机械臂调整衬板位姿的控制指令，以进行衬板装配，直至完成装配。能够完成对于磨机内部的实时环境建模，并自动完成衬板的装配，节约了大量人工；本公开具有良好的可移植性，可以直接移植到多种恶劣情况下使用。
Description
技术领域
本公开属于衬板装配技术领域，涉及一种基于激光雷达和双目相机数据融合的衬板装配系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
近年来，重载机械臂在全球工业领域中的重型工件装配以及重型装备的维护作业等方面愈发呈现出不可替代的作用，在矿山冶金等领域更是成为大负载作业效率提升、生产安全保障、人工成本降低等重大需求的核心必备装备。同时，国内外也普遍缺乏领域相关的高性能大负载特种机器人，其集成、制造与测试一体化解决方案极为匮乏，相关研究极为不足，液压重载机械臂视觉伺服等关键技术尚未取得重大突破，严重制约了重载机械臂的发展。
发明内容
本公开为了解决上述问题，提出了一种基于激光雷达和双目相机数据融合的衬板装配系统及方法，本公开能够自动完成衬板的装配，节约了大量人工。
根据一些实施例，本公开采用如下技术方案：
一种基于激光雷达和双目相机数据融合的衬板装配系统，包括：激光雷达、双目相机、磨机内部环境建模模块、衬板抓举模块和衬板装配模块，其中：
所述激光雷达设置于重载机械臂的前端，被配置为能够跟随机械臂进入磨机内部，获取磨机内部实时点云；
所述双目相机设置于重载机械臂的前端，被配置为获取包含衬板信息的深度图像；
所述磨机内部环境建模模块，被配置为获取激光雷达的实时点云数据，进行校准，得到不同帧下经过校准的实时点云集，拼接出实时的磨机内部的三维点云，并进行点云配准，使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云；通过模板匹配从三维点云模型中进行分割，并拟合衬板的待装配区域，得出待装配区域的世界坐标系坐标；
所述衬板抓举模块，被配置为获取重载机械臂抵达抓举衬板区域时采集到的深度图像，进行图像预处理，提取出衬板的耳部的精确区域，解算出耳部位姿，以供机械臂基于耳部位姿信息抓举衬板；
衬板装配模块，被配置为通过提取磨机内部环境建模模块确定的位姿信息，估计衬板的实时位姿信息，结合衬板抓举模块确定的耳部位姿，生成重载机械臂调整衬板位姿的控制指令，以进行衬板装配，直至完成装配。
作为可选择的实施方式，所述磨机内部环境建模模块、所述衬板抓举模块与衬板装配模块通信，且三个模块均与重载机械臂的工控机通信。
一种基于激光雷达和双目相机数据融合的衬板装配方法，包括：
获取包含衬板的图像数据，以及进入磨机内部时获取的实时点云数据；
对获取激光雷达的实时点云数据进行校准，得到不同帧下经过校准的实时点云集，拼接出实时的磨机内部的三维点云，并进行点云配准，使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云；通过模板匹配从三维点云模型中进行分割，并拟合衬板的待装配区域，得出待装配区域的世界坐标系坐标；
根据重载机械臂抵达抓举衬板区域时采集到的深度图像，进行图像预处理，提取出衬板的耳部的精确区域，解算出耳部位姿，以供机械臂基于耳部位姿信息抓举衬板；
利用确定的位姿信息，估计衬板的实时位姿信息，结合耳部位姿，生成重载机械臂调整衬板位姿的控制指令，以进行衬板装配，直至完成装配。
作为可选择的实施方式，拼接实时的磨机内部的三维点云的具体操作步骤包括：
对实时点云进行校准，得到不同帧下经过校准的实时点云集，点云集中存储返回的各个点的三维坐标(x,y,z),通过前一帧的点云集A，与后一帧的点云集B，通过两个点云数据集中的临近点迭代，拼接出实时的磨机内部的三维点云。
作为可选择的实施方式，点云配准的具体过程包括：
对于每一帧的点云数据首先进行分割处理，以区分不同类型的点云数据，从分割完成的点云之中识别出正方体的靶标，将正方体点云集合从点云集合中分割出来，标注目标靶标，估计出不同帧下的点云的变换矩阵，通过ICP匹配算法对于不同帧的点云集合进行匹配，使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云。
作为可选择的实施方式，对深度图像进行预处理的过程包括：
采用双边滤波去除图像中噪声，基于轮廓的canny算法检测出衬板的轮廓信息，找到图像灰度沿着两个方向的导数，计算得出各个梯度的幅值以及方向，确定了边缘的方向，对图像进行遍历，对每个像素点进行判断，为边缘点保留，非边缘点剔除，分割出仅包含衬板上深度图像。
作为可选择的实施方式，利用CNN+FCN网络的深度学习算法识别衬板耳部。
作为可选择的实施方式，重载机械臂通过待装配区域的大概区域以及位姿信息，抵达待装配区域，结合待装配区域的实时位姿，并与提取待装配区域进行对比，若误差大于阈值，则重新进行磨机内部建模。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于激光雷达和双目相机数据融合的衬板装配方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于激光雷达和双目相机数据融合的衬板装配方法。
与现有技术相比，本公开的有益效果为：
本公开能够完成对于磨机内部的实时环境建模，并自动完成衬板的装配，节约了大量人工；本公开具有良好的可移植性，可以直接移植到多种恶劣情况下使用。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开的工作流程图；
图2是本公开的点云配准流程图；
图3是本公开识别出正方体的靶标的流程图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本公开设计了基于双目相机和多线激光雷达融合的视觉伺服系统。系统主要包括三个模块，分别是：磨机内部环境建模模块、衬板抓举模块、衬板装配模块，完成对于磨机内部的实时环境建模，进行衬板的装配。
具体的，如图1所示，磨机内部环境建模模块，执行以下：
步骤一：多线激光雷达放置于重载液压臂前端，液压臂进入磨机内部，获取磨机内部实时点云。由激光雷达获取N帧的实时点云数据，获取的每个帧实时点云集合为Q＝{Q1,Q2,…,Qn}，其中Qi为第i个时刻的点云数据。
步骤二：点云匹配过程：首先对于步骤一中的实时点云进行校准，得到不同帧下经过校准的实时点云集，点云集中存储返回的各个点的三维坐标(x,y,z),通过前一帧的点云集A，与后一帧的点云集B，中的临近点迭代，拼接出实时的磨机内部的三维点云。为提高点云匹配处理速度，研究基于固定正方形靶向标的点云匹配算法，识别正方体的靶向标快速估计变换矩阵，完成点云配准，算法具体流程如图2所示。
对于每一帧的点云数据首先进行分割处理，即区分不同类型的点云数据，这里采用基于欧式距离的区域分割算法，其中：
定义对于某一帧的点云数据集合Qi，将某个形状的子点云定义为Li＝{Qi∈Q}而另外一个形状的点云则为Lj＝{Qj∈Q}，其中有：
式中F表示给定的最大距离，即俩个点云集合中的最小距离大于这个阈值，那么Qi∈Q中的点就是Li的点，反之就是Qj∈Q中的点就是属于Lj中的点。
完成点云的分割后，需要从分割完成的点云之中识别出正方体的靶标，其流程如图3所示。
将正方体点云集合从点云集合中分割出来，手动标明目标靶标，估计出不同帧下的点云的变换矩阵，通过ICP匹配算法对于不同帧的点云集合进行匹配，其中ICP算法目标函数如下：
其中R、t分别表示不同帧点云的旋转矩阵和转移矩阵，最终使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云。
步骤三：根据步骤二中的实时磨机内部三维点云重建模型，通过模板匹配从三维点云模型中进行分割，并拟合衬板的待装配区域，得出待装配区域的世界坐标系坐标(X,Y,Z)传递给工控机。
模块二(衬板抓举模块)执行以下步骤：
步骤一：重载液压臂抵达抓举衬板区域。
步骤二：液压臂前端双目相机获取包含衬板信息的深度图像，采用双边滤波去除图像中噪声，基于轮廓的canny算法检测出衬板的轮廓信息，找到图像灰度沿着两个方向的导数f1、f2,通过：
其中计算得出各个梯度的幅值以及方向，确定了边缘的方向，对图像进行遍历，对每个像素点进行判断，为边缘点保留，非边缘点剔除，分割出仅包含衬板上深度图像。
步骤三：提出基于CNN+FCN网络的深度学习算法精准识别衬板耳部的方法解决了重载液压臂控制精度不足问题：提取出衬板的耳部的精确区域，解算出耳部位姿，传递给机械臂，机械臂基于耳部位姿信息抓举衬板。
步骤四：机械臂通过模块一提供的待装配区域的大概区域以及位姿信息，抵达待装配区域，通过双目相机检测待装配区域的实时位姿，并于模块一的提取待装配区域进行对比，误差大于阈值，重新进行磨机内部建模，反之进入模块三。
模块三(装配模块)，执行以下步骤：
步骤一：引入了靶向标的方法来进行位姿检测，通过提取靶向标的位姿信息，直接估计出衬板的实时位姿信息。
步骤二：由实时衬板位姿信息，运动重载机械臂末端，调整衬板位姿，进行衬板装配，直至完成装配。
步骤三：完成装配过程，重载液压机械臂返回初始区域。
还提供以下产品实施例：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于激光雷达和双目相机数据融合的衬板装配方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于激光雷达和双目相机数据融合的衬板装配方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种基于激光雷达和双目相机数据融合的衬板装配系统，其特征是：包括：激光雷达、双目相机、磨机内部环境建模模块、衬板抓举模块和衬板装配模块，其中：
所述激光雷达设置于重载机械臂的前端，被配置为能够跟随机械臂进入磨机内部，获取磨机内部实时点云；
所述双目相机设置于重载机械臂的前端，被配置为获取包含衬板信息的深度图像；
所述磨机内部环境建模模块，被配置为获取激光雷达的实时点云数据，进行校准，得到不同帧下经过校准的实时点云集，拼接出实时的磨机内部的三维点云，并进行点云配准，使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云；通过模板匹配从三维点云模型中进行分割，并拟合衬板的待装配区域，得出待装配区域的世界坐标系坐标；
所述衬板抓举模块，被配置为获取重载机械臂抵达抓举衬板区域时采集到的深度图像，进行图像预处理，提取出衬板的耳部的精确区域，解算出耳部位姿，以供机械臂基于耳部位姿信息抓举衬板；
衬板装配模块，被配置为通过提取磨机内部环境建模模块确定的位姿信息，估计衬板的实时位姿信息，结合衬板抓举模块确定的耳部位姿，生成重载机械臂调整衬板位姿的控制指令，以进行衬板装配，直至完成装配。
2.如权利要求1所述的一种基于激光雷达和双目相机数据融合的衬板装配系统，其特征是：所述磨机内部环境建模模块、所述衬板抓举模块与衬板装配模块通信，且三个模块均与重载机械臂的工控机通信。
3.一种基于激光雷达和双目相机数据融合的衬板装配方法，其特征是：包括：
获取包含衬板的图像数据，以及进入磨机内部时获取的实时点云数据；
对获取激光雷达的实时点云数据进行校准，得到不同帧下经过校准的实时点云集，拼接出实时的磨机内部的三维点云，并进行点云配准，使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云；通过模板匹配从三维点云模型中进行分割，并拟合衬板的待装配区域，得出待装配区域的世界坐标系坐标；
根据重载机械臂抵达抓举衬板区域时采集到的深度图像，进行图像预处理，提取出衬板的耳部的精确区域，解算出耳部位姿，以供机械臂基于耳部位姿信息抓举衬板；
利用确定的位姿信息，估计衬板的实时位姿信息，结合耳部位姿，生成重载机械臂调整衬板位姿的控制指令，以进行衬板装配，直至完成装配。
4.如权利要求3所述的一种基于激光雷达和双目相机数据融合的衬板装配方法，其特征是：拼接实时的磨机内部的三维点云的具体操作步骤包括：
对实时点云进行校准，得到不同帧下经过校准的实时点云集，点云集中存储返回的各个点的三维坐标(x,y,z),通过前一帧的点云集A，与后一帧的点云集B，通过两个点云数据集中的临近点迭代，拼接出实时的磨机内部的三维点云。
5.如权利要求3所述的一种基于激光雷达和双目相机数据融合的衬板装配方法，其特征是：点云配准的具体过程包括：
对于每一帧的点云数据首先进行分割处理，以区分不同类型的点云数据，从分割完成的点云之中识别出正方体的靶标，将正方体点云集合从点云集合中分割出来，标注目标靶标，估计出不同帧下的点云的变换矩阵，通过ICP匹配算法对于不同帧的点云集合进行匹配，使得点云收敛在同一个坐标系下，重建出整个磨机内部的实时点云。
6.如权利要求3所述的一种基于激光雷达和双目相机数据融合的衬板装配方法，其特征是：对深度图像进行预处理的过程包括：
采用双边滤波去除图像中噪声，基于轮廓的canny算法检测出衬板的轮廓信息，找到图像灰度沿着两个方向的导数，计算得出各个梯度的幅值以及方向，确定了边缘的方向，对图像进行遍历，对每个像素点进行判断，为边缘点保留，非边缘点剔除，分割出仅包含衬板上深度图像。
7.如权利要求3所述的一种基于激光雷达和双目相机数据融合的衬板装配方法，其特征是：利用CNN+FCN网络的深度学习算法识别衬板耳部。
8.如权利要求3所述的一种基于激光雷达和双目相机数据融合的衬板装配方法，其特征是：重载机械臂通过待装配区域的大概区域以及位姿信息，抵达待装配区域，结合待装配区域的实时位姿，并与提取待装配区域进行对比，若误差大于阈值，则重新进行磨机内部建模。
9.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求3-8中任一项所述的一种基于激光雷达和双目相机数据融合的衬板装配方法。
10.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求3-8中任一项所述的一种基于激光雷达和双目相机数据融合的衬板装配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010161093.1A CN111340834B (zh) | 2020-03-10 | 2020-03-10 | 基于激光雷达和双目相机数据融合的衬板装配系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010161093.1A CN111340834B (zh) | 2020-03-10 | 2020-03-10 | 基于激光雷达和双目相机数据融合的衬板装配系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340834A true CN111340834A (zh) | 2020-06-26 |
| CN111340834B CN111340834B (zh) | 2023-05-12 |
Family
ID=71184030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010161093.1A Active CN111340834B (zh) | 2020-03-10 | 2020-03-10 | 基于激光雷达和双目相机数据融合的衬板装配系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340834B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113751981A (zh) * | 2021-08-19 | 2021-12-07 | 哈尔滨工业大学（深圳） | 基于双目视觉伺服的空间高精度装配方法和系统 |
| WO2022217737A1 (zh) * | 2021-04-14 | 2022-10-20 | 广景视睿科技（深圳）有限公司 | 组装棱镜的方法、组装棱镜的装置以及组装棱镜的设备 |
| CN117464692A (zh) * | 2023-12-27 | 2024-01-30 | 中信重工机械股份有限公司 | 一种基于结构光视觉系统的衬板抓取机械臂控制方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017197617A1 (zh) * | 2016-05-19 | 2017-11-23 | 深圳市速腾聚创科技有限公司 | 移动式三维激光扫描系统及移动式三维激光扫描方法 |
| US20180211399A1 (en) * | 2017-01-26 | 2018-07-26 | Samsung Electronics Co., Ltd. | Modeling method and apparatus using three-dimensional (3d) point cloud |
| CN108401461A (zh) * | 2017-12-29 | 2018-08-14 | 深圳前海达闼云端智能科技有限公司 | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 |
| CN108932736A (zh) * | 2018-05-30 | 2018-12-04 | 南昌大学 | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 |
| US20190206123A1 (en) * | 2017-12-29 | 2019-07-04 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for fusing point cloud data |
| CN110163968A (zh) * | 2019-05-28 | 2019-08-23 | 山东大学 | Rgbd相机大型三维场景构建方法及系统 |
| CN110389348A (zh) * | 2019-07-30 | 2019-10-29 | 四川大学 | 基于激光雷达与双目相机的定位与导航方法及装置 |
-
2020
- 2020-03-10 CN CN202010161093.1A patent/CN111340834B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017197617A1 (zh) * | 2016-05-19 | 2017-11-23 | 深圳市速腾聚创科技有限公司 | 移动式三维激光扫描系统及移动式三维激光扫描方法 |
| US20180211399A1 (en) * | 2017-01-26 | 2018-07-26 | Samsung Electronics Co., Ltd. | Modeling method and apparatus using three-dimensional (3d) point cloud |
| CN108401461A (zh) * | 2017-12-29 | 2018-08-14 | 深圳前海达闼云端智能科技有限公司 | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 |
| US20190206123A1 (en) * | 2017-12-29 | 2019-07-04 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for fusing point cloud data |
| CN108932736A (zh) * | 2018-05-30 | 2018-12-04 | 南昌大学 | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 |
| CN110163968A (zh) * | 2019-05-28 | 2019-08-23 | 山东大学 | Rgbd相机大型三维场景构建方法及系统 |
| CN110389348A (zh) * | 2019-07-30 | 2019-10-29 | 四川大学 | 基于激光雷达与双目相机的定位与导航方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 丁筱玲等: "基于模板匹配的改进型目标识别算法" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022217737A1 (zh) * | 2021-04-14 | 2022-10-20 | 广景视睿科技（深圳）有限公司 | 组装棱镜的方法、组装棱镜的装置以及组装棱镜的设备 |
| CN113751981A (zh) * | 2021-08-19 | 2021-12-07 | 哈尔滨工业大学（深圳） | 基于双目视觉伺服的空间高精度装配方法和系统 |
| CN113751981B (zh) * | 2021-08-19 | 2022-08-19 | 哈尔滨工业大学（深圳） | 基于双目视觉伺服的空间高精度装配方法和系统 |
| CN117464692A (zh) * | 2023-12-27 | 2024-01-30 | 中信重工机械股份有限公司 | 一种基于结构光视觉系统的衬板抓取机械臂控制方法 |
| CN117464692B (zh) * | 2023-12-27 | 2024-03-08 | 中信重工机械股份有限公司 | 一种基于结构光视觉系统的衬板抓取机械臂控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340834B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN111325843B (zh) | 一种基于语义逆深度滤波的实时语义地图构建方法 | |
| CN110426051B (zh) | 一种车道线绘制方法、装置及存储介质 | |
| CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN111340834A (zh) | 基于激光雷达和双目相机数据融合的衬板装配系统及方法 | |
| CN107636727A (zh) | 一种目标检测的方法及装置 | |
| CN112070818A (zh) | 基于机器视觉的机器人无序抓取方法和系统及存储介质 | |
| CN106251353A (zh) | 弱纹理工件及其三维位姿的识别检测方法及系统 | |
| CN111553949B (zh) | 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法 | |
| CN110281231B (zh) | 无人化fdm增材制造的移动机器人三维视觉抓取方法 | |
| CN106650701B (zh) | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 | |
| CN110634161A (zh) | 一种基于点云数据的工件位姿快速高精度估算方法及装置 | |
| CN113920134B (zh) | 一种基于多线激光雷达的斜坡地面点云分割方法及系统 | |
| CN114972377A (zh) | 基于移动最小二乘法与超体素的3d点云分割方法和装置 | |
| CN112288815B (zh) | 一种目标模位置测量方法、系统、存储介质及设备 | |
| CN113936210A (zh) | 塔吊防撞方法 | |
| CN107871315B (zh) | 一种视频图像运动检测方法和装置 | |
| CN114863250A (zh) | 集装箱锁孔识别定位方法、系统及存储介质 | |
| CN116429082A (zh) | 一种基于st-orb特征提取的视觉slam方法 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统 | |
| CN108122249A (zh) | 一种基于gan网络深度学习模型的光流估计方法 | |
| CN107030690A (zh) | 一种基于视觉的机械臂避障方法 | |
| CN113628170A (zh) | 一种基于深度学习的激光线提取方法及系统 | |
| CN117292076A (zh) | 工程机械局部作业场景动态三维重构方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |