CN111178138A - 基于激光点云和双目视觉的配网导线作业点检测方法及装置 - Google Patents

基于激光点云和双目视觉的配网导线作业点检测方法及装置 Download PDF

Info

Publication number
CN111178138A
CN111178138A CN201911226884.1A CN201911226884A CN111178138A CN 111178138 A CN111178138 A CN 111178138A CN 201911226884 A CN201911226884 A CN 201911226884A CN 111178138 A CN111178138 A CN 111178138A
Authority
CN
China
Prior art keywords
point
point cloud
image
lead
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911226884.1A
Other languages
English (en)
Other versions
CN111178138B (zh
Inventor
黄国方
张静
单超
杨浩胜
刘晓铭
汤济民
陈向志
甘志坚
王文政
陆盛资
谢永麟
彭奕
谢芬
郝永奇
廖志勇
周兴俊
杨明鑫
吴嵩青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Nari Technology Co Ltd
State Grid Electric Power Research Institute
Original Assignee
State Grid Tianjin Electric Power Co Ltd
Nari Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Tianjin Electric Power Co Ltd, Nari Technology Co Ltd filed Critical State Grid Tianjin Electric Power Co Ltd
Priority to CN201911226884.1A priority Critical patent/CN111178138B/zh
Publication of CN111178138A publication Critical patent/CN111178138A/zh
Application granted granted Critical
Publication of CN111178138B publication Critical patent/CN111178138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于激光点云和双目视觉的配网导线作业点检测方法及装置，属于电工作业技术领域。方法包括以下过程：获取预计作业点周围的激光雷达点云图像和双目深度图像；对双目深度图像与激光雷达点云图像进行预融合，获得预融合后的双目深度图像；对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像；从融合后的激光雷达点云图像中识别出行线和引线；根据行线和引线计算最佳作业点；计算作业点的位姿。本发明通过对二种技术获取数据的匹配和融合处理，得到分辨率与双目相当而距离精度与激光雷达相当的三维精细图像。

Description

基于激光点云和双目视觉的配网导线作业点检测方法及装置
技术领域
本发明具体涉及一种基于激光点云和双目视觉的配网导线作业点检测方法及装置，属于电工作业技术领域。
背景技术
配网检修带电作业机器人已成为供电企业加强配网检修作业能力建设的必要途径。带电作业机器人可以运行在复杂、危险的环境下，可将作业人员从高空、高危、高强度作业的危险环境中解放出来，扩大带电作业范围，保障带电作业人员不受伤害，降低带电作业危险系数，配合带电剥线、搭火、绝缘罩安装等专用执行装置可以简化操作流程，提升作业水平，使带电作业更加安全。
目前，配网检修带电作业机器人存在作业的自主化、智能化程度不高的问题，作业中需要人工介入进行决策的环节较多。降低了带电作业机器人的作业效率，迟滞了带电作业机器人的推广使用。
机器视觉是实现移动机器人对环境感知的重要模块，它能够辅助机器人完成目标的识别和跟踪等工作。基于配网检修带电作业机器人上的视觉传感器实现机器视觉，可以使带电作业机器人具有自主感知作业场景和作业目标的能力。
基于视觉的目标检测是图像处理和计算机视觉领域的重要研究方向之一，可应用于自动驾驶系统中的车辆、行人、交通标志等目标检测、视频监控中的异常事件分析，以及机器人等诸多领域。二维目标检测只用于回归目标的像素坐标，缺乏深度、尺寸等物理世界参数信息，在实际应用中存在一定局限性。三维目标检测旨在获取三维空间中的目标位置、尺寸以及姿态等几何信息。现有的三维目标检测算法根据传感器不同，大致可以分为视觉、激光点云和多模态融合三类。
视觉方法由于其成本低、纹理特征丰富等优势，在目标检测领域中被广泛使用，并且可根据相机类型分为单目视觉和双目/深度视觉两类。前者关键问题在于无法直接获取深度信息，从而导致目标在三维空间中的定位误差较大。而后者不仅提供了丰富的纹理信息，还具有较为准确的深度信息，目前相比前者具有更高的检测精度。但双目/深度视觉对光照条件等因素更加敏感，容易导致深度计算的偏差。相比于视觉数据，激光点云数据具有准确的深度信息，并且具有明显的三维空间特征，也被广泛应用于三维目标检测中。但是，单独激光点云信息缺少纹理特征，因而较难实现目标的检测分类，特别是当激光点云较为稀疏时，甚至无法提供有效的空间特征。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于激光点云和双目视觉的配网导线作业点检测方法及装置，解决激光雷达距离测量精度高而空间分辨率低以及双目视觉距离测量精度受纹理、光照、远近距离等因素影响严重而空间分辨率高的技术问题。
为解决上述技术问题，本发明提供了一种基于激光点云和双目视觉的配网导线作业点检测方法，包括以下过程：
获取预计作业点周围的激光雷达点云图像和双目深度图像；
对双目深度图像与激光雷达点云图像进行预融合，获得预融合后的双目深度图像；
对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像；
从融合后的激光雷达点云图像中识别出行线和引线；
选取作业目标中对应的行线和引线，根据行线和引线的位置关系计算作业点；
根据作业点位置计算位姿。
进一步的，所述对双目深度图像与激光雷达点云图像进行预融合，获得预融合后的双目深度图像包括：
获取激光雷达点云图像与双目深度图像中对应物体完全重合时的变换矩阵；
根据变换矩阵逆变换对双目深度图像进行转换，得到预融合后的双目深度图像。
进一步的，所述对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像包括：
1)分别计算出预融合后的双目深度图像与激光雷达点云图像中的特征点；
2)对两幅图像的特征点进行特征点配准；
3)采用最近迭代算法进行迭代匹配特征点，获取两幅图像的转换关系；
4)根据转换关系将双目深度图像转换到激光雷达点云图像中，得到融合后的点云图像。
进一步的，所述采用最近迭代算法进行迭代匹配特征点，获取两幅图像的转换关系包括：
记待配准的特征点集为X1和X2，X1和X2的配准步骤如下：
1)，计算X2中的每一个点在X1点集中的对应点；
2)，求得使上述对应点对平均距离最小的刚体变换，得到变换关系；
3)，对X2使用上一步求得的变换关系进行变换，得到新的变换点集；
4)，如果新的变换点集与X1点集满足两点集的平均距离小于给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续以上配准过程。
进一步的，从融合后的激光雷达点云图像中识别出行线和引线包括：
1)对融合后的激光雷达点云图像进行滤波；
2)对滤波后的点云图像进行体素下采样；
3)对点云图像进行连通性分割，将点云图像分割成多个子块；
4)对每个子块基于图论算法获得最小生成树，取最小生成树中最长路径作为导线的逼近折线；
5)根据行线和引线的弯曲度区别，识别出行线或引线。
进一步的，所述根据行线和引线的弯曲度区别，识别出行线或引线包括：
将每个逼近折线中的点，使用最小二乘方法拟合成直线，然后判断逼近折线中的点到直线的平均距离，如果平均距离大于给定阈值，则判断为引线，否则为行线。
进一步的，所述选取作业目标中对应的行线和引线包括：
对每个引线，随机选取其中一点，判断此点到每个行线的距离，选取距离最小的行线，作为此引线作业目标中对应的行线。
进一步的，所述根据行线和引线的位置关系计算最佳作业点包括：
根据引线的逼近折线计算出引线的近似长度；
根据行线的逼近折线，依次取每个中心点作为预作业点，判断引线的长度与引线起始点到该预作业点的距离关系：如果等于，则该中心点为作业点；如果小于，在取逼近折线上前一中心点为作业点。
进一步的，所述根据作业点位置计算位姿包括：
根据作业点位置获取作业点的局部拟合直线；
计算局部拟合直线的斜率作为作业点的位姿。
进一步的，所述根据作业点位置获取作业点的局部拟合直线包括：
(1)以作业点为中心，在预定半径内，选择所有落在球内的点，组成新的点集S，从S中随机选择两个点(xj1,yj1,zj1),(xj2,yj2,zj2)，其中，j代表选择的次数；
(2)通过这两个点，计算出这两个点所表示的模型方程Lj:
Figure BDA0002302486490000051
Figure BDA0002302486490000052
(3)计算所有S中的数据点到这个直线模型的误差距离：
Figure BDA0002302486490000053
其中||代表求欧式距离，pi代表S中的点，Lj代表直线，εi为误差距离；
(4)找到所有满足误差阈值的点集
Figure BDA0002302486490000054
(5)然后令j＝j+1，重复(1)～(4)这个过程，直到达到一定迭代次数后，选出误差距离在误差阈值范围内的点的个数最多的直线模型，将此直线模型作为作业点的局部拟合直线。
相应的，本发明还提供了一种基于激光点云和双目视觉的配网导线作业点检测装置，包括图像获取模块、图像预融合模块、图像精确融合模块、导线识别模块、作业点计算模块和作业位姿计算模块；
图像获取模块，用于获取预计作业点周围的激光雷达点云图像和双目深度图像；
图像预融合模块，用于对双目深度图像与激光雷达点云图像进行预融合，获得预融合后的双目深度图像；
图像精确融合模块，用于对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像；
导线识别模块，用于从融合后的激光雷达点云图像中识别出行线和引线；
作业点计算模块，用于选取作业目标中对应的行线和引线，根据行线和引线的位置关系计算作业点；
作业位姿计算模块，用于根据作业点位置计算作业位姿。
进一步的，图像精确融合模块中，所述对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像包括：
1)分别计算出预融合后的双目深度图像与激光雷达点云图像中的特征点；
2)对两幅图像的特征点进行特征点配准；
3)采用最近迭代算法进行迭代匹配特征点，获取两幅图像的转换关系；
4)根据转换关系将双目深度图像转换到激光雷达点云图像中，得到融合后的点云图像。
进一步的，所述采用最近迭代算法进行迭代匹配特征点，获取两幅图像的转换关系包括：
记待配准的特征点集为X1和X2，X1和X2的配准步骤如下：
1)，计算X2中的每一个点在X1点集中的对应点；
2)，求得使上述对应点对平均距离最小的刚体变换，得到变换关系；
3)，对X2使用上一步求得的变换关系进行变换，得到新的变换点集；
4)，如果新的变换点集与X1点集满足两点集的平均距离小于给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续以上配准过程。
进一步的，导线识别模块中，所述从融合后的激光雷达点云图像中识别出行线和引线包括：
1)对融合后的激光雷达点云图像进行滤波；
2)对滤波后的点云图像进行体素下采样；
3)对点云图像进行连通性分割，将点云图像分割成多个子块；
4)对每个子块基于图论算法获得最小生成树，取最小生成树中最长路径作为导线的逼近折线；
5)根据行线和引线的弯曲度区别，识别出行线或引线。
进一步的，作业点计算模块中，所述选取作业目标中对应的行线和引线包括：
对每个引线，随机选取其中一点，判断此点到每个行线的距离，选取距离最小的行线，作为此引线作业目标中对应的行线。
进一步的，作业点计算模块中，所述根据行线和引线的位置关系计算最佳作业点包括：
根据引线的逼近折线计算出引线的近似长度；
根据行线的逼近折线，依次取每个中心点作为预作业点，判断引线的长度与引线起始点到该预作业点的距离关系：如果等于，则该中心点为作业点；如果小于，在取逼近折线上前一中心点为作业点。
进一步的，作业位姿计算模块中，所述根据作业点位置计算作业位姿包括：
根据作业点位置获取作业点的局部拟合直线；
计算局部拟合直线的斜率作为作业点的作业位姿。
进一步的，作业位姿计算模块中，所述根据作业点位置获取作业点的局部拟合直线包括：
(1)以作业点为中心，在预定半径内，选择所有落在球内的点，组成新的点集S，从S中随机选择两个点(xj1,yj1,zj1),(xj2,yj2,zj2)，其中，j代表选择的次数；
(2)通过这两个点，计算出这两个点所表示的模型方程Lj:
Figure BDA0002302486490000081
Figure BDA0002302486490000082
(3)计算所有S中的数据点到这个直线模型的误差距离：
Figure BDA0002302486490000083
其中||代表求欧式距离，pi代表S中的点，Lj代表直线，εi为误差距离；
(4)找到所有满足误差阈值的点集
Figure BDA0002302486490000084
(5)然后令j＝j+1，重复(1)～(4)这个过程，直到达到一定迭代次数后，选出误差距离在误差阈值范围内的点的个数最多的直线模型，将此直线模型作为作业点的局部拟合直线。
与现有技术相比，本发明所达到的有益效果是：通过对二种技术获取数据的匹配和融合处理，得到分辨率与双目相当而距离精度与激光雷达相当的三维精细图像。实现这两种信息的优势互补，以保证配网检修带电作业机器人对环境认知的充分性和系统运行的安全、稳定性。
附图说明
图1为本发明方法的流程图；
图2为本发明中导线识别的流程图；
图3为本发明中位姿计算的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
在配电网中导线有行线和引线两种，配网带电作业机器人作业目标是将引线接到对应的行线上去。为了实现此作业目标，本发明提出了一种基于激光点云和双目视觉信息的配网导线检测方法。本发明根据激光雷达距离测量精度高而空间分辨率低以及双目视觉距离测量精度受纹理、光照、远近距离等因素影响严重而空间分辨率高的特点，提出将这两种技术融合检测配网导线的方法，通过对二种技术获取数据的匹配和融合处理，得到分辨率与双目相当而距离精度与激光雷达相当的三维精细图像，实现这两种信息的优势互补，以保证配网检修带电作业机器人对环境认知的充分性和系统运行的安全、稳定性。
本发明的一种基于激光点云和双目视觉的配网导线作业点检测方法，参见图1所示，包括以下过程：
A、首先作业人员操作机械斗臂移动配网带电作业机器人到预计作业点周围，然后开启机器人平台上的激光雷达，激光雷达旋转扫描360度，扫描半径5米，从而获取作业点周围(包含待作业的行线、引线以及电线塔杆等)的激光雷达点云图像(简称点云图像，或点云)。
B、同时开启双目视觉相机(双目视觉相机的位置固定，并与激光雷达的相对位置已知)，对作业目标(包含待作业的行线、引线以及电线塔杆等)进行拍摄采图，获取双目深度图像(简称深度图像)。
C、对双目深度图像与激光雷达点云图像进行预融合。
预融合的工作原理：激光雷达和双目相机的位置相对固定，所以各自的成像结果理论上只差一个刚性变换，而此刚性变换固定不变。但实际上由于抖动、变形和畸变等误差，在预融合的基础上仍然有一些小范围的误差，所以后续需要精确融合的步骤。
首先手动匹配图像：将雷达雷达点云图像与双目深度图像在同一窗口显示，固定双目深度图像，对雷达点云图像进行3维平移、旋转操作，使得两个图像中对应物体完全重合，记录此时的平移和旋转量，记为变换矩阵1。
其次自动匹配图像：对于后续采集的新的激光雷达点云图像和双目深度图像直接使用变换矩阵1逆变换，得到双目深度图像2，使得两个图像达到预融合的效果。
D、对预融合后的双目深度图像与激光雷达点云图像进行精确融合。
精确融合原理：对于初始的双目深度图像和激光雷达点云图像，直接进行特征点计算和匹配，会由于错误匹配的点而导致匹配精确度下降。但是在预融合的结果的基础上，理论上双目深度图像2和激光雷达点云图像对应的点误差在很小的阈值范围内，由此可以排除超过阈值的错误匹配，从而增加匹配精确度。
1)首先分别计算出双目深度图像2与激光雷达点云图像的SIFT(尺度不变特征变换)特征点。
2)然后对两幅图像的SIFT特征点进行特征点配准。
3)对上述配准的特征点，计算每两个配准的特征点的距离，如果距离大于给定阈值，则认为是错误匹配。删除错误匹配特征点，最终得到准确的配准特征点。
4)接着使用最近迭代算法(ICP，Iterative Closest Point)精确迭代匹配。假设配准的特征点集为X1和X2，ICP方法的配准步骤如下：
第一步，计算X2中的每一个点在X1点集中的对应近点；
第二步，求得使上述对应点对平均距离最小的刚体变换，求得变换关系(平移参数和旋转参数)；
第三步，对X2使用上一步求得的平移和旋转参数，得到新的变换点集；
第四步，如果新的变换点集与X1点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续迭代。
5)最后根据上述的转换关系(最后一步的平移和旋转参数)将双目深度图像2精准的转换到激光雷达点云图像中，得到点云图像2。
激光雷达图像具有精度高，立体化，盲点少的特点，但是在可视化当中没有层次感，对于用户使用起来造成了一定的障碍；双目视觉的点云图像具有现实的色彩，但是却因为视点单一，造成盲点多的问题。两者融合起来，有效的结合起了彼此的优点，既能高效的进行算法处理，同时在可视化中提高了用户使用的舒适度，也降低了一些错误出现的概率。
E、对点云图像2，识别出行线和引线。
现实环境中，作业现场的环境比较复杂，容易受到其他物体的影响，导致行线的自动检测目前没有特别好的算法。本发明中基于使用PCL(Point Clound Libray)库和图论算法，提出一种导线(包含行线和引线)的识别方法：
1)对点云图像2使用passThough方法滤波，去掉地面等无用范围；
2)对滤波后的点云图像2进行体素下采样，使得导线的点云像素点急剧下降；
3)对上一步结果使用PCL中连通性分割方法，将点云图像分割成多个子块；
4)将上一步结果中每个子块图像看做一个图，其中每个点为图中的顶点，并与其他所有的点连接，且连接权重为两点的欧式距离；然后使用最小生成树算法，得到每个子块的最小生成树，用其代表导线的中心线(中心点连成的曲线)：因为理论上，如果最小生成树中选取了非中心线上的点，那么生成树就不是最小，因此选取最小生成树可以代表导线的中心线。
5)取最小生成树中最长路径，作为导线的最佳逼近折线。
6)计算宽度和长度，过滤掉错误的区域，剩下导线。
宽度过滤：将上述逼近折线，代入到原始点云图像中，依次取折线中两个相邻点，记这两点确定的直线为L；同时分别取原始点云中，此两点附近K(预先固定)个点，组成点集S，计算S中点到L的平均欧式距离，记为导线在这两个邻近点的处的宽度。如果宽度小于阈值(预先固定，导线的实际宽度)，则保留；否则，记为无效，删除此两点，同时逼近折线在此两点处分割，分成亮度。
长度过滤：上述过程执行完成后，实际上已经过滤掉电线杆、绝缘子等物体，剩下的逼近折线都是宽度符合导线特征的，可能还会存在其他的干扰项，为此，利用导线的长度可以有效的筛选出导线。导线长度的计算方法见下(F)步骤。
7)根据直线相似度，识别出行线或引线。
行线和引线的唯一区别，就是行线接近直线，引线弯曲度大。对上述结果，将每个逼近折线中的点，使用最小二乘方法拟合成直线，然后判断逼近折线中的点到直线的平均距离，如果平均距离大于给定阈值，则判断为引线，否则，为行线。
使用折线逼近实际导线的方法，经过实践，鲁棒性高，速度快，能够满足精度的同时，可以实时计算出最佳作业点，极大的提高了机器人智能化的程度。
F、自动计算最佳作业点。
具体包括以下过程：
确定行线、引线对应关系：确定方法为，对每个引线，随机选取其中一点，判断此点到每个行线的距离，选取距离最小的行线，作为此引线作业目标中对应的行线；
引线起始点和行线起始点固定，且为对应逼近折线的起始点；
根据引线的逼近折线计算出引线的近似长度；
根据行线的逼近折线，依次取每个中心点作为预作业点，判断引线的长度与引线起始点到该预作业点的距离之间关系：如果前者大于后者，则继续判断行线的逼近折线的下一中心点；如果等于，则该中心点为作业点；如果小于，取前一中心点为作业点。
其中计算引线长度：
Figure BDA0002302486490000131
其中N为引线逼近折线中点的个数，||代表求欧式距离；
最后，充分考虑了导线的一些物理性质，比如弯曲度、硬度等；这些因素都会导致实际作业点并不是根据引线长度计算得到，即引线并不会被拉直，而是有一定的弧度。针对此情况，提出了引线弯曲因子θ，其取值区间为0-1，最终使用Lq1＝Lq*θ，来替代上面算法中的Lq。通过调节弯曲因子θ，可以有效模拟现实情形，得到更加准确的结果；而弯曲因子θ的参数值，建议根据经验值获得：建议作业大于10次左右，根据实际引线长度以及最终作业点位置，算出弯曲因子，从而得到弯曲因子经验值。
G、计算作业点的位姿。
作业点确定好后，最重要的是确定作业点的位姿。位姿的计算，使用了局部拟合直线，并计算作业点的切向斜率，作为作业点的位姿结果，传给机器人机械臂。
局部拟合直线使用了RANSAC(RANdom SAmple Consensus随机抽样一致)直线拟合的方法：
(1)首先，令j＝0，要得到一个直线模型需要两个点唯一确定一个直线方程。所以第一步，以作业点为中心，在固定半径(预定)内，选择逼近折线中所有落在球内的点，组成新的点集S，从S中随机选择两个点(xj1,yj1,zj1),(xj2,yj2,zj2)，其中，j代表选择的次数；
(2)通过这两个点，可以计算出这两个点所表示的直线模型方程Lj:
Figure BDA0002302486490000141
(3)计算所有S中的数据点，到这个直线模型的误差距离：
Figure BDA0002302486490000142
其中||代表求欧式距离，pi代表S中的点，Lj代表直线，εi为误差距离；
(4)找到所有满足误差阈值μ的点集
Figure BDA0002302486490000143
(5)然后令j＝j+1，重复(1)～(4)这个过程，直到达到一定迭代次数后，选出点集Sj(误差距离在误差阈值范围内)的点的个数最多的直线模型，并计算局部拟合直线的斜率:(xj2-xj1,yj2-yj1,zj2-zj1)，作为作业点的位姿。
经过实践，此方法鲁棒性高，达到作业的精度需求。
在上面步骤中导线采用折线逼近模型(只关注中心点)。虽然物理上导线有厚度，但是在作业点选取的过程中，最关心的特征有两个，位姿和长度。使用折线逼近模型，对后续位姿的计算没有影响，而且不影响长度的计算，所以完全符合需求，同时简化了操作。注意的是，在折线逼近模型的过程中，中心点作为目标对象，中心点是无序且相对固定的，而逼近线是有序且相对庞杂的，将无序的中心点有序化的方法是创新性的使用了图论算法中的最小生成树的思想。
相应的，本发明还提供了一种基于激光点云和双目视觉的配网导线作业点检测装置，包括图像获取模块、图像预融合模块、图像精确融合模块、导线识别模块、作业点计算模块和作业位姿计算模块；
图像获取模块，用于获取预计作业点周围的激光雷达点云图像和双目深度图像；
图像预融合模块，用于对双目深度图像与激光雷达点云图像进行预融合，获得预融合后的双目深度图像；
图像精确融合模块，用于对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像；
导线识别模块，用于从融合后的激光雷达点云图像中识别出行线和引线；
作业点计算模块，用于选取作业目标中对应的行线和引线，根据行线和引线的位置关系计算作业点；
作业位姿计算模块，用于根据作业点位置计算作业位姿。
进一步的，图像精确融合模块中，所述对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像包括：
1)分别计算出预融合后的双目深度图像与激光雷达点云图像中的特征点；
2)对两幅图像的特征点进行特征点配准；
3)采用最近迭代算法进行迭代匹配特征点，获取两幅图像的转换关系；
4)根据转换关系将双目深度图像转换到激光雷达点云图像中，得到融合后的点云图像。
进一步的，所述采用最近迭代算法进行迭代匹配特征点，获取两幅图像的转换关系包括：
记待配准的特征点集为X1和X2，X1和X2的配准步骤如下：
1)，计算X2中的每一个点在X1点集中的对应点；
2)，求得使上述对应点对平均距离最小的刚体变换，得到变换关系；
3)，对X2使用上一步求得的变换关系进行变换，得到新的变换点集；
4)，如果新的变换点集与X1点集满足两点集的平均距离小于给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续以上配准过程。
进一步的，导线识别模块中，所述从融合后的激光雷达点云图像中识别出行线和引线包括：
1)对融合后的激光雷达点云图像进行滤波；
2)对滤波后的点云图像进行体素下采样；
3)对点云图像进行连通性分割，将点云图像分割成多个子块；
4)对每个子块基于图论算法获得最小生成树，取最小生成树中最长路径作为导线的逼近折线；
5)根据行线和引线的弯曲度区别，识别出行线或引线。
进一步的，作业点计算模块中，所述选取作业目标中对应的行线和引线包括：
对每个引线，随机选取其中一点，判断此点到每个行线的距离，选取距离最小的行线，作为此引线作业目标中对应的行线。
进一步的，作业点计算模块中，所述根据行线和引线的位置关系计算最佳作业点包括：
根据引线的逼近折线计算出引线的近似长度；
根据行线的逼近折线，依次取每个中心点作为预作业点，判断引线的长度与引线起始点到该预作业点的距离关系：如果等于，则该中心点为作业点；如果小于，在取逼近折线上前一中心点为作业点。
进一步的，作业位姿计算模块中，所述根据作业点位置计算作业位姿包括：
根据作业点位置获取作业点的局部拟合直线；
计算局部拟合直线的斜率作为作业点的作业位姿。
进一步的，作业位姿计算模块中，所述根据作业点位置获取作业点的局部拟合直线包括：
(1)以作业点为中心，在预定半径内，选择所有落在球内的点，组成新的点集S，从S中随机选择两个点(xj1,yj1,zj1),(xj2,yj2,zj2)，其中，j代表选择的次数；
(2)通过这两个点，计算出这两个点所表示的模型方程Lj:
Figure BDA0002302486490000171
Figure BDA0002302486490000172
(3)计算所有S中的数据点到这个直线模型的误差距离：
Figure BDA0002302486490000173
其中||代表求欧式距离，pi代表S中的点，Lj代表直线，εi为误差距离；
(4)找到所有满足误差阈值的点集
Figure BDA0002302486490000174
(5)然后令j＝j+1，重复(1)～(4)这个过程，直到达到一定迭代次数后，选出误差距离在误差阈值范围内的点的个数最多的直线模型，将此直线模型作为作业点的局部拟合直线。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (15)

1.一种基于激光点云和双目视觉的配网导线作业点检测方法，其特征是，包括以下过程：
获取预计作业点周围的激光雷达点云图像和双目深度图像；
对双目深度图像与激光雷达点云图像进行预融合，获得预融合后的双目深度图像；
对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像；
从融合后的激光雷达点云图像中识别出行线和引线；
选取作业目标中对应的行线和引线，根据行线和引线的位置关系计算作业点；
根据作业点位置计算作业位姿。
2.根据权利要求1所述的一种基于激光点云和双目视觉的配网导线作业点检测方法，其特征是，所述对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像包括：
1)分别计算出预融合后的双目深度图像与激光雷达点云图像中的特征点；
2)对两幅图像的特征点进行特征点配准；
3)采用最近迭代算法进行迭代匹配特征点，获取两幅图像的转换关系；
4)根据转换关系将双目深度图像转换到激光雷达点云图像中，得到融合后的点云图像。
3.根据权利要求2所述的一种基于激光点云和双目视觉的配网导线作业点检测方法，其特征是，所述采用最近迭代算法进行迭代匹配特征点，获取两幅图像的转换关系包括：
记待配准的特征点集为X1和X2，X1和X2的配准步骤如下：
1)，计算X2中的每一个点在X1点集中的对应点；
2)，求得使上述对应点对平均距离最小的刚体变换，得到变换关系；
3)，对X2使用上一步求得的变换关系进行变换，得到新的变换点集；
4)，如果新的变换点集与X1点集满足两点集的平均距离小于给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续以上配准过程。
4.根据权利要求1所述的一种基于激光点云和双目视觉的配网导线作业点检测方法，其特征是，所述从融合后的激光雷达点云图像中识别出行线和引线包括：
1)对融合后的激光雷达点云图像进行滤波；
2)对滤波后的点云图像进行体素下采样；
3)对点云图像进行连通性分割，将点云图像分割成多个子块；
4)对每个子块基于图论算法获得最小生成树，取最小生成树中最长路径作为导线的逼近折线；
5)根据行线和引线的弯曲度区别，识别出行线或引线。
5.根据权利要求1所述的一种基于激光点云和双目视觉的配网导线作业点检测方法，其特征是，所述选取作业目标中对应的行线和引线包括：
对每个引线，随机选取其中一点，判断此点到每个行线的距离，选取距离最小的行线，作为此引线作业目标中对应的行线。
6.根据权利要求1所述的一种基于激光点云和双目视觉的配网导线作业点检测方法，其特征是，所述根据行线和引线的位置关系计算最佳作业点包括：
根据引线的逼近折线计算出引线的近似长度；
根据行线的逼近折线，依次取每个中心点作为预作业点，判断引线的长度与引线起始点到该预作业点的距离关系：如果等于，则该中心点为作业点；如果小于，在取逼近折线上前一中心点为作业点。
7.根据权利要求1所述的一种基于激光点云和双目视觉的配网导线作业点检测方法，其特征是，所述根据作业点位置计算作业位姿包括：
根据作业点位置获取作业点的局部拟合直线；
计算局部拟合直线的斜率作为作业点的作业位姿。
8.根据权利要求7所述的一种基于激光点云和双目视觉的配网导线作业点检测方法，其特征是，所述根据作业点位置获取作业点的局部拟合直线包括：
(1)以作业点为中心，在预定半径内，选择所有落在球内的点，组成新的点集S，从S中随机选择两个点(xj1,yj1,zj1),(xj2,yj2,zj2)，其中，j代表选择的次数；
(2)通过这两个点，计算出这两个点所表示的模型方程Lj:
Figure FDA0002302486480000031
Figure FDA0002302486480000032
(3)计算所有S中的数据点到这个直线模型的误差距离：
Figure FDA0002302486480000033
其中||代表求欧式距离，pi代表S中的点，Lj代表直线，εi为误差距离；
(4)找到所有满足误差阈值的点集
Figure FDA0002302486480000034
(5)然后令j＝j+1，重复(1)～(4)这个过程，直到达到一定迭代次数后，选出误差距离在误差阈值范围内的点的个数最多的直线模型，将此直线模型作为作业点的局部拟合直线。
9.一种基于激光点云和双目视觉的配网导线作业点检测装置，其特征是，包括图像获取模块、图像预融合模块、图像精确融合模块、导线识别模块、作业点计算模块和作业位姿计算模块；
图像获取模块，用于获取预计作业点周围的激光雷达点云图像和双目深度图像；
图像预融合模块，用于对双目深度图像与激光雷达点云图像进行预融合，获得预融合后的双目深度图像；
图像精确融合模块，用于对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像；
导线识别模块，用于从融合后的激光雷达点云图像中识别出行线和引线；
作业点计算模块，用于选取作业目标中对应的行线和引线，根据行线和引线的位置关系计算作业点；
作业位姿计算模块，用于根据作业点位置计算作业位姿。
10.根据权利要求9所述的一种基于激光点云和双目视觉的配网导线作业点检测装置，其特征是，图像精确融合模块中，所述对预融合后的双目深度图像与激光雷达点云图像进行精确融合，获得融合后的激光雷达点云图像包括：
1)分别计算出预融合后的双目深度图像与激光雷达点云图像中的特征点；
2)对两幅图像的特征点进行特征点配准；
3)采用最近迭代算法进行迭代匹配特征点，获取两幅图像的转换关系；
4)根据转换关系将双目深度图像转换到激光雷达点云图像中，得到融合后的点云图像。
11.根据权利要求9所述的一种基于激光点云和双目视觉的配网导线作业点检测装置，其特征是，导线识别模块中，所述从融合后的激光雷达点云图像中识别出行线和引线包括：
1)对融合后的激光雷达点云图像进行滤波；
2)对滤波后的点云图像进行体素下采样；
3)对点云图像进行连通性分割，将点云图像分割成多个子块；
4)对每个子块基于图论算法获得最小生成树，取最小生成树中最长路径作为导线的逼近折线；
5)根据行线和引线的弯曲度区别，识别出行线或引线。
12.根据权利要求9所述的一种基于激光点云和双目视觉的配网导线作业点检测装置，其特征是，作业点计算模块中，所述选取作业目标中对应的行线和引线包括：
对每个引线，随机选取其中一点，判断此点到每个行线的距离，选取距离最小的行线，作为此引线作业目标中对应的行线。
13.根据权利要求9所述的一种基于激光点云和双目视觉的配网导线作业点检测装置，其特征是，作业点计算模块中，所述根据行线和引线的位置关系计算最佳作业点包括：
根据引线的逼近折线计算出引线的近似长度；
根据行线的逼近折线，依次取每个中心点作为预作业点，判断引线的长度与引线起始点到该预作业点的距离关系：如果等于，则该中心点为作业点；如果小于，在取逼近折线上前一中心点为作业点。
14.根据权利要求9所述的一种基于激光点云和双目视觉的配网导线作业点检测装置，其特征是，作业位姿计算模块中，所述根据作业点位置计算作业位姿包括：
根据作业点位置获取作业点的局部拟合直线；
计算局部拟合直线的斜率作为作业点的作业位姿。
15.根据权利要求14所述的一种基于激光点云和双目视觉的配网导线作业点检测装置，其特征是，作业位姿计算模块中，所述根据作业点位置获取作业点的局部拟合直线包括：
(1)以作业点为中心，在预定半径内，选择所有落在球内的点，组成新的点集S，从S中随机选择两个点(xj1,yj1,zj1),(xj2,yj2,zj2)，其中，j代表选择的次数；
(2)通过这两个点，计算出这两个点所表示的模型方程Lj:
Figure FDA0002302486480000061
Figure FDA0002302486480000062
(3)计算所有S中的数据点到这个直线模型的误差距离：
Figure FDA0002302486480000063
其中||代表求欧式距离，pi代表S中的点，Lj代表直线，εi为误差距离；
(4)找到所有满足误差阈值的点集
Figure FDA0002302486480000064
(5)然后令j＝j+1，重复(1)～(4)这个过程，直到达到一定迭代次数后，选出误差距离在误差阈值范围内的点的个数最多的直线模型，将此直线模型作为作业点的局部拟合直线。
CN201911226884.1A 2019-12-04 2019-12-04 基于激光点云和双目视觉的配网导线作业点检测方法及装置 Active CN111178138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911226884.1A CN111178138B (zh) 2019-12-04 2019-12-04 基于激光点云和双目视觉的配网导线作业点检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911226884.1A CN111178138B (zh) 2019-12-04 2019-12-04 基于激光点云和双目视觉的配网导线作业点检测方法及装置

Publications (2)

Publication Number Publication Date
CN111178138A true CN111178138A (zh) 2020-05-19
CN111178138B CN111178138B (zh) 2021-01-12

Family

ID=70650117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911226884.1A Active CN111178138B (zh) 2019-12-04 2019-12-04 基于激光点云和双目视觉的配网导线作业点检测方法及装置

Country Status (1)

Country Link
CN (1) CN111178138B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753757A (zh) * 2020-06-28 2020-10-09 浙江大华技术股份有限公司 一种图像识别处理方法及装置
CN111947647A (zh) * 2020-08-26 2020-11-17 四川阿泰因机器人智能装备有限公司 一种视觉与激光雷达融合的机器人精准定位方法
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN112465899A (zh) * 2020-11-25 2021-03-09 国网福建省电力有限公司电力科学研究院 基于双目视觉的导线自动剥皮定位方法
CN112712129A (zh) * 2021-01-11 2021-04-27 深圳力维智联技术有限公司 多传感器融合方法、装置、设备及存储介质
CN113671527A (zh) * 2021-07-23 2021-11-19 国电南瑞科技股份有限公司 一种提高配网带电作业机器人的精准作业方法及装置
CN111947647B (zh) * 2020-08-26 2024-05-17 四川阿泰因机器人智能装备有限公司 一种视觉与激光雷达融合的机器人精准定位方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398886A (zh) * 2008-03-17 2009-04-01 杭州大清智能技术开发有限公司 一种基于双目被动立体视觉的快速三维人脸识别方法
CN103017739A (zh) * 2012-11-20 2013-04-03 武汉大学 基于激光雷达点云与航空影像的真正射影像的制作方法
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
US20140316763A1 (en) * 2010-06-04 2014-10-23 Microsoft Corporation Machine based sign language interpreter
CN106097334A (zh) * 2016-06-08 2016-11-09 北京航空航天大学 基于深度学习的点云配准方法
CN106485737A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于线特征的点云数据与光学影像的自动配准融合方法
US20170193299A1 (en) * 2016-01-05 2017-07-06 Electronics And Telecommunications Research Institute Augmented reality device based on recognition of spatial structure and method thereof
US20170266491A1 (en) * 2016-03-21 2017-09-21 Ying Chieh Mitchell Method and system for authoring animated human movement examples with scored movements
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN108133458A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种基于目标物体空间点云特征的自动拼接方法
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398886A (zh) * 2008-03-17 2009-04-01 杭州大清智能技术开发有限公司 一种基于双目被动立体视觉的快速三维人脸识别方法
US20140316763A1 (en) * 2010-06-04 2014-10-23 Microsoft Corporation Machine based sign language interpreter
CN103017739A (zh) * 2012-11-20 2013-04-03 武汉大学 基于激光雷达点云与航空影像的真正射影像的制作方法
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN106485737A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于线特征的点云数据与光学影像的自动配准融合方法
US20170193299A1 (en) * 2016-01-05 2017-07-06 Electronics And Telecommunications Research Institute Augmented reality device based on recognition of spatial structure and method thereof
US20170266491A1 (en) * 2016-03-21 2017-09-21 Ying Chieh Mitchell Method and system for authoring animated human movement examples with scored movements
CN106097334A (zh) * 2016-06-08 2016-11-09 北京航空航天大学 基于深度学习的点云配准方法
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN108133458A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种基于目标物体空间点云特征的自动拼接方法
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHANG G X等: "Building a 3-D line-based map using stereo SLAM", 《IEEE TRANSACTIONS ON ROBOTICS》 *
戚晖: "高压带电作业机器人及其跟踪装配系统的研究", 《中国博士学位论文全文数据库 信息科技辑》 *
高铭泽: "基于深度图像的三维重建技术研究及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753757A (zh) * 2020-06-28 2020-10-09 浙江大华技术股份有限公司 一种图像识别处理方法及装置
CN111753757B (zh) * 2020-06-28 2021-06-18 浙江大华技术股份有限公司 一种图像识别处理方法及装置
CN111947647A (zh) * 2020-08-26 2020-11-17 四川阿泰因机器人智能装备有限公司 一种视觉与激光雷达融合的机器人精准定位方法
CN111947647B (zh) * 2020-08-26 2024-05-17 四川阿泰因机器人智能装备有限公司 一种视觉与激光雷达融合的机器人精准定位方法
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN112465899A (zh) * 2020-11-25 2021-03-09 国网福建省电力有限公司电力科学研究院 基于双目视觉的导线自动剥皮定位方法
CN112712129A (zh) * 2021-01-11 2021-04-27 深圳力维智联技术有限公司 多传感器融合方法、装置、设备及存储介质
CN112712129B (zh) * 2021-01-11 2024-04-19 深圳力维智联技术有限公司 多传感器融合方法、装置、设备及存储介质
CN113671527A (zh) * 2021-07-23 2021-11-19 国电南瑞科技股份有限公司 一种提高配网带电作业机器人的精准作业方法及装置

Also Published As

Publication number Publication date
CN111178138B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN111178138B (zh) 基于激光点云和双目视觉的配网导线作业点检测方法及装置
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
Guindel et al. Automatic extrinsic calibration for lidar-stereo vehicle sensor setups
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN100573388C (zh) 实时颜色自动采集的机器人控制方法及机器人
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
WO2022188663A1 (zh) 一种目标检测方法及装置
CN111627072A (zh) 一种对多传感器进行标定的方法、装置和存储介质
CA3020069A1 (en) Spatial data analysis
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
Kurban et al. Plane segmentation of kinect point clouds using RANSAC
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN112683228A (zh) 单目相机测距方法及装置
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
Sun et al. High-accuracy three-dimensional measurement based on multi-directional cooperative target with weighted SfM algorithm
CN109313708B (zh) 图像匹配方法和视觉系统
TW202017784A (zh) 基於光學雷達之汽車偵測方法
CN112990049A (zh) 用于车辆自动驾驶的aeb紧急制动方法、装置
CN111157012B (zh) 一种机器人导航方法、装置、可读存储介质及机器人
Li et al. Feature point extraction and tracking based on a local adaptive threshold
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN112598699A (zh) 一种针对机器人工作场景中提取障碍物运动信息的方法
CN112991327A (zh) 基于机器视觉的钢格网焊接系统、方法和终端设备
CN112149687A (zh) 目标识别的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220610

Address after: No. 19, Jiangning District, Jiangning District, Nanjing, Jiangsu

Patentee after: NARI TECHNOLOGY Co.,Ltd.

Patentee after: STATE GRID TIANJIN ELECTRIC POWER Co.

Patentee after: STATE GRID ELECTRIC POWER RESEARCH INSTITUTE Co.,Ltd.

Patentee after: STATE GRID CORPORATION OF CHINA

Address before: No. 19, Jiangning District, Jiangning District, Nanjing, Jiangsu

Patentee before: NARI TECHNOLOGY Co.,Ltd.

Patentee before: State Grid Tianjin electric power company

TR01 Transfer of patent right