CN115359021A - 一种基于激光雷达和相机信息融合的目标定位检测方法 - Google Patents

一种基于激光雷达和相机信息融合的目标定位检测方法 Download PDF

Info

Publication number
CN115359021A
CN115359021A CN202211050420.1A CN202211050420A CN115359021A CN 115359021 A CN115359021 A CN 115359021A CN 202211050420 A CN202211050420 A CN 202211050420A CN 115359021 A CN115359021 A CN 115359021A
Authority
CN
China
Prior art keywords
point
target object
point cloud
key
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211050420.1A
Other languages
English (en)
Inventor
陈金波
张进
徐凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202211050420.1A priority Critical patent/CN115359021A/zh
Publication of CN115359021A publication Critical patent/CN115359021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域，公开了一种基于激光雷达和相机信息融合的目标定位检测方法，步骤为：S1、对检测场景3D点云数据进行预处理，得到可视化场景点云图；S2、采用点云分割算法对可视化场景点云图进行分割，得到3D目标物体区域点云图；S3、从3D目标物体区域点云图中挑选出模板目标物体点云图；S4、实时采集检测场景的3D点云数据和2D图像，按步骤S1、S2的操作对待检测3D点云数据进行处理，得到待检测3D目标物体区域点云图；采用神经网络对2D图像进行目标物体检测，生成目标物体检测检测结果图；S5、将目标物体检测结果图与待检测3D目标物体区域点云图融合，得到待检目标物体区域融合点云图；S6、将待检目标物体区域融合点云图与模板目标物体点云图配准，得到待检目标物体区域融合点云图中目标物体的位姿信息。

Description

一种基于激光雷达和相机信息融合的目标定位检测方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于激光雷达和相机信息融合的目标定位检测方法。
背景技术
无人渣罐吊运系统中，采用目标检测技术，可以准确感知渣罐的实际位置，进而实现渣罐的自动吊运，可以减少人工辅助，特别是避免人工介入危险性较大的作业环境。在钢铁公司中，钢铁产量是其关键的技术指标，包含造渣、出渣、精炼、出钢等一系列工艺，这其中涉及了大量的钢渣转运操作。钢渣转运是钢铁生产中的突出环节，目前绝大部分钢渣的运输过程主要采用人工操作和监测的方法。一方面因为高温环境和钢渣飞溅，存在极大安全风险；另一方面，人工操作主要依靠人眼观测，存在误判的可能，导致行车不必要的启停，而且某些操作需要多次尝试才能完成，效率十分低下。为了提高钢铁公司的生产效率，加强工人的安全保障，最好是减少和无需地面辅助及监控人员的参与。因此，在智能钢渣处理流程中，能够自动确认板钩的状态，识别渣罐位置，实现钢渣转运的智能化是未来的发展趋势，具有很强的现实意义和经济价值。因此迫切需要一种能够自动准确识别渣灌和挂钩的位置、缩短数据采集周期，来高效安全地完成挂钩的检测与定位的方法，从而实现钢渣转运的无人化作业。
发明内容
针对现有技术中存在的问题和不足，本发明的目的旨在提供一种基于激光雷达和相机信息融合的目标定位检测方法。
为实现发明目的，本发明采用的技术方案如下：
一种基于激光雷达和相机信息融合的目标定位检测方法，其特征在于，包括以下步骤：
S1、对获取的检测场景的3D点云数据进行预处理，消除点云噪声，滤除场景中非目标景物，得到可视化场景点云图；
S2、采用基于发线夹角的欧式聚类点云分割算法对步骤S1得到的可视化场景点云图进行点云分割处理，将目标物体与非目标景物分割，得到3D目标物体区域点云图；
S3、从步骤S2得到的3D目标物体区域点云图中挑选包含完整目标物体几何信息和语义信息特征的点云图，并将其作为模板目标物体点云图；
S4、实时采集检测场景的3D点云数据和2D图像，得到待检测3D点云数据和待检测2D图像，按所述步骤S1、S2的操作对待检测3D点云数据进行处理，得到待检测3D目标物体区域点云图；采用深度卷积神经网络对待检测2D图像进行目标物体检测，生成目标物体检测检测结果图，所述目标物体检测结果图包含目标物体的边界框、目标物体类别和置信度；
S5、将所述目标物体检测结果图与待检测3D目标物体区域点云图进行融合，对待检测3D目标物体区域点云图进行点云着色，得到具有精确坐标信息的待检目标物体区域融合点云图；
S6、采用基于局部特征的全局配准算法将待检目标物体区域融合点云图与模板目标物体点云图进行配准，根据配准信息，得到待检目标物体区域融合点云图中目标物体的位姿信息。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，采用基于发线夹角的欧式聚类点云分割算法对步骤S1得到的可视化场景点云图进行点云分割处理的步骤为：
S21、计算可视化场景点云图中在半径为r的范围内点云之间的平均距离和均方差；
S22、计算可视化场景点云图不同半径范围r内邻近点之间的法线夹角均值；
S23、利用点云法线夹角在突兀重叠、接触区域变化较大的差异，根据计算得到的不同半径范围下的邻域法线夹角均值判断点云是否为目标物体点云的边界点，然后根据目标物体点云的边界点，将可视化场景点云图中的目标物体与非目标景物进行分割。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，步骤S21的具体操作为：
S211、对于可视化场景点云图VQ中的任意一个点vqi，vqi∈VQ，遍历与其最近的k个邻近点，得到由k个点构成的集合，记作{vqi1，vqi2，...，vqik}，按式1计算{vqi1，vqi2，...，vqik}集合中每个点与qi的平均距离di；
Figure BDA0003821440900000031
式1中，di表示{vqi1,vqi2,…,vqik}集合中每个点与vqi的平均距离，
S212、按照步骤S21所述的操作计算可视化场景点云图VQ中所有点的平均距离di，然后利用式2、式3分别计算点云在不同半径r邻域下的平均距离均值d和均方差σ；
Figure BDA0003821440900000032
Figure BDA0003821440900000033
其中，N表示可视化场景点云图VQ的点云大小。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，步骤S22的具体操作为：
S221、计算不同半径范围r内邻近点之间的法线夹角均值：
对于可视化场景点云图VQ中的任意一个点vqi，vqi∈VQ，以vqi作为搜索起点，搜索半径为r内的所有邻近点，得到由k个点构成的集合，记作{vqi1,vqi2,…,vqik}，然后采用最小二乘法按式4、式5拟合出搜索起点vqi的最小二乘平面，
Figure BDA0003821440900000034
Figure BDA0003821440900000035
其中，q(n,d)中d表示搜索半径为r邻域下的平均距离，n表示最小二乘平面的单位法向量，q表示质心值，qxi表示第i个点vqi的x方向上的质心值，qyi表示第i个点vqi的y方向上的质心值，qzi表示第i个点vqi的z方向上的质心值；
S222、将点vqi的法线值记作vi，搜索点vqi的k个邻近点的法向量值，记作{vi1,vi2,…,vik}，采用式6、式7分别计算点vqi在r的半径范围内邻近点法线夹角值αi以及法线夹角均值
Figure BDA0003821440900000036
Figure BDA0003821440900000037
Figure BDA0003821440900000038
其中，αi表示法线夹角值，
Figure BDA0003821440900000039
表示法线夹角均值，g表示半径r范围内邻近点的数量，N表示半径r范围内邻近点的法线夹角的数量。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，步骤S6中采用基于局部特征的全局配准算法将待检目标物体区域融合点云图与模板目标物体点云图进行配准的具体步骤为：
S61、分别采用SIFT算法提取模板目标物体点云图、待检目标物体区域融合点云图中的关键点，并采用FPFH对提取的关键点进行特征描述，得到关键点特征；
S62、采用全局配准算法将待检目标物体区域融合点云图中的关键点与模板目标物体点云图的关键点进行配对，得到关键点对；
S63、依次采用互换一致性测试、三点测试、空间位置测试剔除关键点对中的错误匹配，并设置误差函数对关键点对进行验证，得到匹配关键点对；根据匹配关键点对信息，得到待检目标物体区域融合点云图中目标物体的位姿信息。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，步骤S63中依次采用互换一致性测试、三点测试、空间位置测试剔除关键点对中的错误匹配，并设置误差函数对关键点对进行验证，得到匹配关键点对，其具体操作为：
S631、对于待检目标物体区域融合点云图P的任意一个关键点pi，采用FPFH提取的关键点特征表示为F(pi)，则待检目标物体区域融合点云图P的关键点FPFH特征集合可定义为：F(P)＝{F(pi):pi∈P}；对于模板目标物体点云图Q的任意一个关键点qi，采用FPFH提取的关键点特征表示为F(qi)，则模板目标物体点云图Q的关键点FPFH特征集合可定义为：F(Q)＝{F(qi):qi∈Q}，设C1为F(P)和F(Q)对应关系的集合；
S632、互换一致性测试：对于关键点对(pi,qi)，当且仅当F(pi)是F(qi)在F(P)中的最近邻，且仅当F(qi)是F(pi)在F(Q)中的最近邻时，关键点对(pi,qi)被保留在结果点对C11中；
S633、三点测试：从结果点对C11中随机选取三个关键点对(p1,q1)、(p2,q2)、(p3,q3)，检验(p1,p2,p3)与(q1,q2,q3)是否符合式8所示的验证关系，满足验证关系的关键点对被保存在结果点对C111中；
Figure BDA0003821440900000041
其中，τ＝0.9；
S634、空间位置测试：按照式9计算结果点对C111中所有关键点对中所有关键点qi的点云重心Centriod，按照式10计算C111中所有关键点对中每一个关键点qi与点云重心Centriod的位置关系C(qi)，并计算所有关键点qi的C(qi)的平均值，将每一个关键点qi的C(qi)与C(qi)平均值进行比较，删除C(qi)大于C(qi)平均值的关键点对；
Figure BDA0003821440900000051
Figure BDA0003821440900000052
S635、误差函数验证：采用误差函数计算经步骤S54处理后的结果点对C111中每一个关键点对两个关键点之间的误差，得到每个关键点对的误差；然后求取结果点对C111中所有关键点对的误差平均值μ和误差方差δ2，若μ＜δ2，则验证完成，结果点对C111中剩余的关键点对即为匹配关键点对；其中，误差函数E(T,L)的计算公式如式11所示；
Figure BDA0003821440900000053
其中，λ表示随机数，其范围为：λ∈[0,1]，Ti表示第i个关键点对的刚体变换矩阵，Ti+1表示第i+1个关键点对的刚体变换矩阵，p表示待检目标物体区域融合点云图中的关键点云集，q表示模板目标物体点云图中的关键点点云集，ψ(lp,q)表示关键点对关系。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，步骤S1中所述预处理为直通滤波算法处理、基于距离的半径滤波算法处理、体素化滤波网格滤波算法处理中的至少一种。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，所述目标为渣罐和用于吊挂渣罐的吊钩。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，步骤S5中将所述目标物体检测结果图与待检测3D目标物体区域点云图进行融合的具体操作为：
S51、标定采集待检测2D图像的相机设备的内参矩阵；
S52、根据步骤S4中目标物体检测检测结果图中的边界框信息，从目标物体检测结果图选取目标物体的轮廓边缘角点并记录轮廓边缘角点的位置坐标；从待检测3D目标物体区域点云图中获取目标物体的边缘角点并记录其位置坐标；
S53、将从目标物体检测结果图选取目标物体的轮廓边缘角点与从待检测3D目标物体区域点云图中获取目标物体的边缘角点进行对应点迭代计算，得到包含残差和重投影误差的外参矩阵；
S54、根据待检测3D目标物体区域点云图中点云的位置坐标、步骤S51得到的内参矩阵和步骤S53得到的外参矩阵计算出所述相机设备的相机像素坐标，然后将目标物体检测检测结果图的RGB信息赋给待检测3D目标物体区域点云图中的点云，完成点云着色，得到具有精确坐标信息的待检目标物体区域融合点云图。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，采用激光扫描系统来获取检测场景的3D点云数据，所述激光扫描系统包括2D线性激光扫描仪和智能云台设备，所述2D线性激光扫描仪安装智能云台上。
根据上述的基于激光雷达和相机信息融合的目标定位检测方法，优选地，采用相机设备来采集检测场景的2D图像，所述相机设备为红外数字高清高速智能球机。
与现有技术相比，本发明取得的积极有益效果如下：
(1)本发明基于发线夹角的欧式聚类点云分割算法对点云进行分割处理，该点云分割算法既可以实现离群点和冗余点的去除，又可以实现对待测物体的分割需求，而且，在分割过程中能实现点云搜索距离的自调节，有效地将目标物体与非目标景物分割，点云分割准确率高，分割速度快，为后续点云配准提供良好的基础；同时也克服了传统的欧式聚类分割算法易出现欠分割和过分割的缺陷。
(2)本发明采用基于局部特征的全局配准算法将待检目标物体区域融合点云图中的关键点与模板目标物体点云图的关键点进行配对，该算法不仅计算成本低，且能够在复杂的现场工作场景中精准识别和计算目标物体的位姿矩阵；与粗配准SAC算法相比，本发明基于局部特征的全局配准算法不需要初始化，计算成本较低，解决了SAC算法迭代次数多、算法速度慢的问题；与精配准ICP算法相比，本发明基于局部特征的全局配准算法具有更高的精度和可靠性。
(3)本发明先采用深度卷积神经网络对待检测2D图像进行目标物体检测，生成目标物体检测检测结果图，然后将目标物体检测结果图与待检测3D目标物体区域点云图进行融合，使得目标定位更加精确，极大地提高了目标检测结果的准确度，鲁棒性更强。
(4)本发明在筛选匹配关键点对时，引入了误差函数进行验证，误差函数的设置能够保证待检目标物体区域融合点云图与模板目标物体点云图进行自动验证，极大提升了配准算法的速度。
(5)本发明在进行关键点配对之前，先构建了模板目标物体点云图，该模板目标物体点云图能够为之后的目标物体识别与定位建立准确的模型库。
(6)本发明深度融合了3D点云和2D图像数据，能够达到实时性准确检测，提升定位精度，分类精准，提升工作效率；同时能够准确的检测出钢渣转运过程中渣灌和挂钩的位置及相对位姿，实现钢渣转运的智能感知和无人化目标，降低安全事故发生概率，进一步缩减钢渣装卸和转运成本，准确地检测钢渣和挂钩目标抓钩与脱钩的智能决策，构建了一个兼具有效性与实用性的自动化系统。
附图说明
图1为本发明基于发线夹角的欧式聚类点云分割算法步骤图；
图2为本发明基于发线夹角的欧式聚类点云分割算法进行点云分割的效果图；
图3为本发明采用深度卷积神经网络YOLOv3对待检测2D图像进行目标物体检测的示意图；
图4为本发明基于局部特征的全局配准算法的配准效果图。
具体实施方式
以下结合具体的实施例对本发明作进一步详细说明，但并不限制本发明的范围。
实施例1：
一种基于激光雷达和相机信息融合的目标定位检测方法，包括以下步骤：
S1、采用安装在行车上的激光扫描系统采集检测场景的3D点云数据，所述激光扫描系统包括智能云台设备和安装在智能云台设备上的2D线性激光扫描仪；对获取的检测场景的3D点云数据进行预处理，消除点云噪声，滤除场景中非目标景物，得到可视化场景点云图。
所述预处理为直通滤波算法处理、基于距离的半径滤波算法处理、体素化滤波网格滤波算法处理中的至少一种，可以根据具体情况选择其中一种算法进行处理，也可以多种算法相结合进行处理。本发明优选的预处理具体操作为：
(1)采用直通滤波算法去除冗余点：由于处理数据时，采用的是直角坐标系，所以需要将球坐标系转换成直角坐标系，因为激光扫描仪不是垂直于z轴安装，所以需要考虑激光安装倾角带来的影响，具体转换公式如下所示：
Figure BDA0003821440900000081
Figure BDA0003821440900000082
其中激光坐标系中xoy平面定义为云台所在平面，z轴为垂直于旋转云台的方向，因此r，
Figure BDA0003821440900000083
θ分别定义为物体与坐标原点的距离值、物体与z轴的夹角、物体在xoy投影与x轴正方向的夹角；最终分别在x轴与z轴坐标方向上应用直通滤波算法过滤掉目标场景中左侧围栏点云、地面噪声点云；
(2)基于距离的半径滤波算法过滤去除孤立噪声点云和悬空点云；
(3)虽然上述两个步骤滤除了各种干扰噪声，但是由此来进行点云分割，分割较耗时，因此考虑对稠密的点云进行降采样以获得稀疏的点云，来提高点云处理速度。由于需要保证原始点云的特征，应用体素化网格滤波的方法，借助点云法向量和距离值计算点云重心，设置体素边长为1.0cm，近似代替邻域的点云数据，达到数据精简的目的。
S2、采用基于发线夹角的欧式聚类点云分割算法(算法步骤图如图1所示)对步骤S1得到的可视化场景点云图进行点云分割处理，将目标物体与非目标景物分割，得到3D目标物体区域点云图。采用基于发线夹角的欧式聚类点云分割算法对步骤S1得到的可视化场景点云图进行点云分割处理的步骤为：
S21、计算可视化场景点云图中在半径为r的范围内点云之间的平均距离和均方差。具体操作为：
S211、对于可视化场景点云图VQ中的任意一个点vqi，vqi∈VQ，遍历与其最近的k个邻近点，得到由k个点构成的集合，记作{vqi1,vqi2,…,vqik}，按式1计算{vqi1,vqi2,…,vqik}集合中每个点与qi的平均距离di；
Figure BDA0003821440900000084
式1中，di表示{vqi1,vqi2,…,vqik}集合中每个点与vqi的平均距离，
S212、按照步骤S21所述的操作计算可视化场景点云图VQ中所有点的平均距离di，然后利用式2、式3分别计算点云在不同半径r邻域下的平均距离均值d和均方差σ；
Figure BDA0003821440900000091
Figure BDA0003821440900000092
其中，N表示可视化场景点云图VQ的点云大小。
优选地，不同r邻域下点云的平均距离均值、均方差和运行时间如表1所示。
表1 不同r邻域下点云的平均距离均值、均方差和运行时间
Figure BDA0003821440900000093
S22、计算可视化场景点云图不同半径范围r内邻近点之间的法线夹角均值。点云中法线夹角的计算采用主成分分析的方法，具体操作为：
S221、计算不同半径范围r内邻近点之间的法线夹角均值：
对于可视化场景点云图VQ中的任意一个点vqi，vqi∈VQ，以vqi作为搜索起点，搜索半径为r内的所有邻近点，得到由k个点构成的集合，记作{vqi1,vqi2,…,vqik}，然后采用最小二乘法按式4、式5拟合出搜索起点vqi的最小二乘平面，
Figure BDA0003821440900000094
Figure BDA0003821440900000095
其中，q(n,d)中d表示搜索半径为r邻域下的平均距离，n表示最小二乘平面的单位法向量，q表示质心值，qxi表示第i个点vqi的x方向上的质心值，qyi表示第i个点vqi的y方向上的质心值，qzi表示第i个点vqi的z方向上的质心值；
S222、将点vqi的法线值记作vi，搜索点vqi的k个邻近点的法向量值，记作{vi1,vi2,…,vik}，采用式6、式7分别计算点vqi在r的半径范围内邻近点法线夹角值αi以及法线夹角均值
Figure BDA0003821440900000096
Figure BDA0003821440900000101
Figure BDA0003821440900000102
其中，αi表示法线夹角值，
Figure BDA0003821440900000103
表示法线夹角均值，g表示半径r范围内邻近点的数量，N表示半径r范围内邻近点的法线夹角的数量。
经计算，不同近邻点r数目下对应的法线夹角均值结果如表2所示。
表2 不同近邻点r数目下对应的法线夹角均值
Figure BDA0003821440900000104
S23、利用点云法线夹角在突兀重叠、接触区域变化较大的差异，根据计算得到的不同半径范围下的邻域法线夹角均值判断点云是否为目标物体点云的边界点(将计算得到的邻域法线夹角均值与表2中对应Knumber的Averagenormalangle进行比较，如果计算得到的邻域法线夹角均值对应的Averagenormalangle范围内，则判断为边界点)，然后根据目标物体点云的边界点，将可视化场景点云图中的目标物体与非目标景物进行分割。
进一步地，为了检验本发明提出的基于发线夹角的欧式聚类点云分割算法的有效性，分别采用传统欧式聚类算法和本发明基于发线夹角的欧式聚类点云分割算法对同一张螺栓数据图像进行处理，比较两种算法对目标点云的分割效果，结果如图2所示。
由图2可知，本发明基于法线夹角的欧式聚类点云分割算法比传统的欧式聚类方法可以多识别出三个螺栓物体，识别准确率达到81.8％，且比传统欧式聚类方法的准确率高出12.7％。因此，本发明先采用滤波算法进行预处理，再使用基于法线夹角的欧式聚类算法对点云进行分割，既可以实现离群点和冗余点的去除又可以实现对待测物体的分割需求；另一方面本发明的算法在速度和鲁棒性方面较原始的欧式聚类方法有明显提高。
S3、从步骤S2得到的3D目标物体区域点云图中挑选包含完整目标物体几何信息和语义信息特征的点云图，并将其作为模板目标物体点云图。
S4、采用激光扫描系统实时采集检测场景的3D点云数据，采用相机设备(红外数字高清高速智能球机)采集检测场景的左右视角2D图像对，得到待检测3D点云数据和待检测2D图像。按所述步骤S1、S2的操作对待检测3D点云数据进行处理，得到待检测3D目标物体区域点云图；采用深度卷积神经网络YOLOv3对待检测2D图像进行目标物体检测(采用深度卷积神经网络YOLOv3对待检测2D图像进行目标物体检测的示意图如图3所示)，生成目标物体检测检测结果图，所述目标物体检测结果图包含目标物体的边界框、目标物体类别和置信度。
S5、将所述目标物体检测结果图与待检测3D目标物体区域点云图进行融合，对待检测3D目标物体区域点云图进行点云着色，得到具有精确坐标信息的待检目标物体区域融合点云图。
所述目标物体检测结果图与待检测3D目标物体区域点云图进行融合的具体操作为：
S51、标定采集待检测2D图像的相机设备的内参矩阵(IntrinsicMatrix)，将获取的包含目标物体的文本格式的雷达点云转换成PCD格式；
S52、根据步骤S4中目标物体检测检测结果图中的边界框信息，从目标物体检测结果图选取目标物体的轮廓边缘角点，记录轮廓边缘角点的位置坐标，并存储在data/corner_photo.txt；从待检测3D目标物体区域点云图中获取目标物体的边缘角点，记录其位置坐标，并存储在data/corner_lidar.txt；
S53、读取data/corner_photo.txt和data/corner_lidar.txt中的数据，将从目标物体检测结果图选取目标物体的轮廓边缘角点与从待检测3D目标物体区域点云图中获取目标物体的边缘角点进行对应点迭代计算，得到包含残差和重投影误差的外参矩阵；
S54、根据待检测3D目标物体区域点云图中点云的位置坐标、步骤S51得到的内参矩阵和步骤S53得到的外参矩阵计算出所述相机设备的相机像素坐标，然后将目标物体检测检测结果图的RGB信息再赋给待检测3D目标物体区域点云图中的点云，完成点云着色，得到具有精确坐标信息的待检目标物体区域融合点云图。
S6、采用基于局部特征的全局配准算法将待检目标物体区域融合点云图与模板目标物体点云图进行配准，根据配准信息，得到待检目标物体区域融合点云图中目标物体的位姿信息。具体步骤为：
S61、分别采用SIFT(ScaleInvariantFeatureTransform)算法提取模板目标物体点云图、待检目标物体区域融合点云图中的关键点，并采用FPFH(Fast Point FeatureHistogram)算法对提取的关键点进行特征描述，得到关键点特征；
S62、采用全局配准算法将待检目标物体区域融合点云图中的关键点与模板目标物体点云图的关键点进行配对，得到关键点对；
S63、依次采用互换一致性测试、三点测试、空间位置测试剔除关键点对中的错误匹配，并设置误差函数对关键点对进行验证，得到匹配关键点对；根据匹配关键点对信息，得到待检目标物体区域融合点云图中目标物体的位姿信息。
步骤S63中采用互换一致性测试、三点测试、空间位置测试剔除关键点对中的错误匹配，并设置误差函数对关键点对进行验证，得到匹配关键点对，其具体操作为：
S631、对于待检目标物体区域融合点云图P的任意一个关键点pi，采用FPFH提取的关键点特征表示为F(pi)，则待检目标物体区域融合点云图P的关键点FPFH特征集合可定义为：F(P)＝{F(pi):pi∈P}；对于模板目标物体点云图Q的任意一个关键点qi，采用FPFH提取的关键点特征表示为F(qi)，则模板目标物体点云图Q的关键点FPFH特征集合可定义为：F(Q)＝{F(qi):qi∈Q}，设C1为F(P)和F(Q)对应关系的集合；
S632、互换一致性测试：对于关键点对(pi,qi)，当且仅当F(pi)是F(qi)在F(P)中的最近邻，且仅当F(qi)是F(pi)在F(Q)中的最近邻时，关键点对(pi,qi)被保留在结果点对C11中；
S633、三点测试：从结果点对C11中随机选取三个关键点对(p1,q1)、(p2,q2)、(p3,q3)，检验(p1,p2,p3)与(q1,q2,q3)是否符合式8所示的验证关系，满足验证关系的关键点对被保存在结果点对C111中；
Figure BDA0003821440900000121
其中，τ＝0.9；
S634、空间位置测试：按照式9计算结果点对C111中所有关键点对中所有关键点qi的点云重心Centriod，按照式10计算C111中所有关键点对中每一个关键点qi与点云重心Centriod的位置关系C(qi)，并计算所有关键点qi的C(qi)的平均值，将每一个关键点qi的C(qi)与C(qi)平均值进行比较，删除C(qi)大于C)qi)平均值的关键点对；
Figure BDA0003821440900000122
Figure BDA0003821440900000131
S635、误差函数验证：采用误差函数计算经步骤S54处理后的结果点对C111中每一个关键点对两个关键点之间的误差，得到每个关键点对的误差；然后求取结果点对C111中所有关键点对的误差平均值μ和误差方差δ2，若μ＜δ2，则验证完成，结果点对C111中剩余的关键点对即为匹配关键点对；其中，误差函数E(T,L)的计算公式如式11所示；
Figure BDA0003821440900000132
其中，λ表示随机数，其范围为：λ∈[0,1]，Ti表示第i个关键点对的刚体变换矩阵，Ti+1表示第i+1个关键点对的刚体变换矩阵，p表示待检目标物体区域融合点云图中的关键点云集，q表示模板目标物体点云图中的关键点点云集，ψ(lp,q)表示关键点对关系。
误差函数E(T,L)的推导过程为：
依次选取待检目标物体区域融合点云图P中的关键点，利用最近邻搜索算法(FLANN)在模板目标物体点云图Q中找到其对应点的索引，在后续对关键点进行法线估计的时候使用；为了找到模板目标物体点云图Q和与待检目标物体区域融合点云图P对齐的刚体变换矩阵T，设定目标公式E(T)如12所示。
E(T)＝∑(p,q)∈Kρ(||p-Tq||) 式12
这里ρ(·)是一个估算器，使用健壮的误差函数是至关重要的，因为公式12中的许多项都是由假约束贡献的，通过设定一个可以自动执行验证的估算器ρ(计算公式如式13所示)，而不增加额外的计算成本。
Figure BDA0003821440900000133
我们假设L＝{lp,q}对应过程是线性的，在T和L上优化以下联合目标：
E(T,L)＝∑(p,q)∈Klp,q||p-Tq||2+∑(p,q)∈Kψ(lp,q) 式14
点对关系为：
Figure BDA0003821440900000134
为了最小化E(T,L)对公式求偏导得到：
Figure BDA0003821440900000141
计算出结果为：
Figure BDA0003821440900000142
利用式17的结果计算式14中的lp,q，就可以计算出E(T)的值。但是当L固定时，这种解决方案不能扩展到多个曲面的配准情况，因此我们提出了更灵活的办法，将变换矩阵中的旋转变量w和变换向量t定义为六个参数的向量：ξ＝(ω,t)＝(α,β,γ,a,b,c),变换矩阵就可以线性表示为：
Figure BDA0003821440900000143
公式18中
Figure BDA0003821440900000144
是上一次迭代中的位姿估计结果，公式7是ξ的误差平方和优化目标，采用牛顿迭代法将其转化为线性关系
Figure BDA0003821440900000145
来求解ξ，其中残差为r，Jr是其雅可比行列式。通过将ξ映射到
Figure BDA0003821440900000146
来计算得到变换矩阵T。
为了验证本发明基于局部特征的全局配准算法的配准效果，采用分别本发明基于局部特征的全局配准算法、现有SAC+ICP算法对检测目标物体(渣罐和吊钩)进行配准(配准前的具体操作参见步骤S1-S5)，配准效果的对比结果如表3和图4所示。
表3 不同配准算法的目标物体位姿偏差
Figure BDA0003821440900000147
由表3和图4可知，本发明基于局部特征的全局配准算法能够在复杂的现场工作场景中精准识别和计算目标物体渣罐和吊钩的位姿，与SAC+ICP算法相比具有更高的精度和可靠性。
以上所述仅为本发明的较佳实施例而已，但不仅限于上述实例，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于激光雷达和相机信息融合的目标定位检测方法，其特征在于，包括以下步骤：
S1、对获取的检测场景的3D点云数据进行预处理，消除点云噪声，滤除场景中非目标景物，得到可视化场景点云图；
S2、采用基于发线夹角的欧式聚类点云分割算法对步骤S1得到的可视化场景点云图进行点云分割处理，将目标物体与非目标景物分割，得到3D目标物体区域点云图；
S3、从步骤S2得到的3D目标物体区域点云图中挑选包含完整目标物体几何信息和语义信息特征的点云图，并将其作为模板目标物体点云图；
S4、实时采集检测场景的3D点云数据和2D图像，得到待检测3D点云数据和待检测2D图像，按所述步骤S1、S2的操作对待检测3D点云数据进行处理，得到待检测3D目标物体区域点云图；采用深度卷积神经网络对待检测2D图像进行目标物体检测，生成目标物体检测检测结果图，所述目标物体检测结果图包含目标物体的边界框、目标物体类别和置信度；
S5、将所述目标物体检测结果图与待检测3D目标物体区域点云图进行融合，对待检测3D目标物体区域点云图进行点云着色，得到具有精确坐标信息的待检目标物体区域融合点云图；
S6、采用基于局部特征的全局配准算法将待检目标物体区域融合点云图与模板目标物体点云图进行配准，根据配准信息，得到待检目标物体区域融合点云图中目标物体的位姿信息。
2.根据权利要求1所述的基于激光雷达和相机信息融合的目标定位检测方法，其特征在于，采用基于发线夹角的欧式聚类点云分割算法对步骤S1得到的可视化场景点云图进行点云分割处理的步骤为：
S21、计算可视化场景点云图中在半径为r的范围内点云之间的平均距离和均方差；
S22、计算可视化场景点云图不同半径范围r内邻近点之间的法线夹角均值；
S23、根据计算得到的不同半径范围下的邻域法线夹角均值判断点云是否为目标物体点云的边界点，然后根据目标物体点云的边界点，将可视化场景点云图中的目标物体与非目标景物进行分割。
3.根据权利要求2所述的基于激光雷达和相机信息融合的目标定位检测方法，其特征在于，步骤S21的具体操作为：
S211、对于可视化场景点云图VQ中的任意一个点vqi，vqi∈VQ，遍历与其最近的k个邻近点，得到由k个点构成的集合，记作{vqi1，vqi2，...，vqik}，按式1计算{vqi1，vqi2，...，vqik}集合中每个点与qi的平均距离di；
Figure FDA0003821440890000021
式1中，di表示{vqi1，vqi2，...，vqik}集合中每个点与vqi的平均距离，
S212、按照步骤S21所述的操作计算可视化场景点云图VQ中所有点的平均距离di，然后利用式2、式3分别计算点云在不同半径r邻域下的平均距离均值d和均方差σ；
Figure FDA0003821440890000022
Figure FDA0003821440890000023
其中，N表示可视化场景点云图VQ的点云大小。
4.根据权利要求3所述的基于激光雷达和相机信息融合的目标定位检测方法，其特征在于，步骤S22的具体操作为：
S221、计算不同半径范围r内邻近点之间的法线夹角均值：
对于可视化场景点云图VQ中的任意一个点vqi，vqi∈VQ，以vqi作为搜索起点，搜索半径为r内的所有邻近点，得到由k个点构成的集合，记作{vqi1，vqi2，...，vqik}，然后采用最小二乘法按式4、式5拟合出搜索起点vqi的最小二乘平面，
Figure FDA0003821440890000024
Figure FDA0003821440890000025
其中，q(n，d)中J表示搜索半径为r邻域下的平均距离，n表示最小二乘平面的单位法向量，q表示质心值，qxi表示第i个点vqi的x方向上的质心值，qyi表示第i个点vqi的y方向上的质心值，qzi表示第i个点vqi的z方向上的质心值；
S222、将点vqi的法线值记作vi，搜索点vqi的k个邻近点的法向量值，记作{vi1，vi2，...，vik}，采用式6、式7分别计算点vqi在r的半径范围内邻近点法线夹角值αi以及法线夹角均值
Figure FDA0003821440890000026
Figure FDA0003821440890000031
Figure FDA0003821440890000032
其中，αi表示法线夹角值，
Figure FDA0003821440890000033
表示法线夹角均值，g表示半径r范围内邻近点的数量，N表示半径r范围内邻近点的法线夹角的数量。
5.根据权利要求4所述的基于激光雷达和相机信息融合的目标定位检测方法，其特征在于，步骤S6中采用基于局部特征的全局配准算法将待检目标物体区域融合点云图与模板目标物体点云图进行配准的具体步骤为：
S61、分别采用SIFT算法提取模板目标物体点云图、待检目标物体区域融合点云图中的关键点，并采用FPFH对提取的关键点进行特征描述，得到关键点特征；
S62、采用全局配准算法将待检目标物体区域融合点云图中的关键点与模板目标物体点云图的关键点进行配对，得到关键点对；
S63、依次采用互换一致性测试、三点测试、空间位置测试剔除关键点对中的错误匹配，并设置误差函数对关键点对进行验证，得到匹配关键点对；根据匹配关键点对信息，得到待检目标物体区域融合点云图中目标物体的位姿信息。
6.根据权利要求5所述的基于激光雷达和相机信息融合的目标定位检测方法，其特征在于，步骤S63中依次采用互换一致性测试、三点测试、空间位置测试剔除关键点对中的错误匹配，并设置误差函数对关键点对进行验证，得到匹配关键点对，其具体操作为：
S631、对于待检目标物体区域融合点云图P的任意一个关键点pi，采用FPFH提取的关键点特征表示为F(pi)，则待检目标物体区域融合点云图P的关键点FPFH特征集合可定义为：F(P)＝{F(pi)：pi∈P}；对于模板目标物体点云图Q的任意一个关键点qi，采用FPFH提取的关键点特征表示为F(qi)，则模板目标物体点云图Q的关键点FPFH特征集合可定义为：F(Q)＝{F(qi)：qi∈Q}，设C1为F(P)和F(Q)对应关系的集合；
S632、互换一致性测试：对于关键点对(pi，qi)，当且仅当F(pi)是F(qi)在F(P)中的最近邻，且仅当F(qi)是F(pi)在F(Q)中的最近邻时，关键点对(pi，qi)被保留在结果点对C11中；
S633、三点测试：从结果点对C11中随机选取三个关键点对(p1，q1)、(p2，q2)、(p3，q3)，检验(p1，p2，p3)与(q1，q2，q3)是否符合式8所示的验证关系，满足验证关系的关键点对被保存在结果点对C111中；
Figure FDA0003821440890000041
其中，τ＝0.9；
S634、空间位置测试：按照式9计算结果点对C111中所有关键点对中所有关键点qi的点云重心Centriod，按照式10计算C111中所有关键点对中每一个关键点qi与点云重心Centriod的位置关系C(qi)，并计算所有关键点qi的C(qi)的平均值，将每一个关键点qi的C(qi)与C(qi)平均值进行比较，删除C(qi)大于C(qi)平均值的关键点对；
Figure FDA0003821440890000042
Figure FDA0003821440890000043
S635、误差函数验证：采用误差函数计算经步骤S54处理后的结果点对C111中每一个关键点对两个关键点之间的误差，得到每个关键点对的误差；然后求取结果点对C111中所有关键点对的误差平均值μ和误差方差δ2，若μ＜δ2，则验证完成，结果点对C111中剩余的关键点对即为匹配关键点对；其中，误差函数E(T，L)的计算公式如式11所示；
Figure FDA0003821440890000044
其中，λ表示随机数，其范围为：λ∈[0，1]，Ti表示第i个关键点对的刚体变换矩阵，Ti+1表示第i+1个关键点对的刚体变换矩阵，p表示待检目标物体区域融合点云图中的关键点云集，q表示模板目标物体点云图中的关键点点云集，ψ(lp，q)表示关键点对关系。
7.根据权利要求6所述的基于激光雷达和相机信息融合的目标定位检测方法，步骤S1中所述预处理为直通滤波算法处理、基于距离的半径滤波算法处理、体素化滤波网格滤波算法处理中的至少一种。
8.根据权利要求7所述的基于激光雷达和相机信息融合的目标定位检测方法，其特征在于，步骤S4中所述深度卷积神经网络为YOLOv3。
9.根据权利要求8所述的基于激光雷达和相机信息融合的目标定位检测方法，所述目标为渣罐和用于吊挂渣罐的吊钩。
10.根据权利要求9所述的基于激光雷达和相机信息融合的目标定位检测方法，采用激光扫描系统来获取检测场景的3D点云数据，所述激光扫描系统包括2D线性激光扫描仪和智能云台设备，所述2D线性激光扫描仪安装智能云台上。
CN202211050420.1A 2022-08-29 2022-08-29 一种基于激光雷达和相机信息融合的目标定位检测方法 Pending CN115359021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211050420.1A CN115359021A (zh) 2022-08-29 2022-08-29 一种基于激光雷达和相机信息融合的目标定位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211050420.1A CN115359021A (zh) 2022-08-29 2022-08-29 一种基于激光雷达和相机信息融合的目标定位检测方法

Publications (1)

Publication Number Publication Date
CN115359021A true CN115359021A (zh) 2022-11-18

Family

ID=84004791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211050420.1A Pending CN115359021A (zh) 2022-08-29 2022-08-29 一种基于激光雷达和相机信息融合的目标定位检测方法

Country Status (1)

Country Link
CN (1) CN115359021A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115598656A (zh) * 2022-12-14 2023-01-13 成都运达科技股份有限公司（Cn） 基于悬挂轨道的障碍物检测方法、装置及系统
CN115797310A (zh) * 2022-12-13 2023-03-14 无锡海纳智能科技有限公司 一种光伏电站组串倾角的确定方法及电子设备
CN116148809A (zh) * 2023-04-04 2023-05-23 中储粮成都储藏研究院有限公司 基于激光雷达扫描定位的粮车扦样点自动生成方法及系统
CN116320357A (zh) * 2023-05-17 2023-06-23 浙江视觉智能创新中心有限公司 一种3d结构光相机系统、方法、电子设备和可读存储介质
CN116968758A (zh) * 2023-09-19 2023-10-31 江西五十铃汽车有限公司 一种基于三维场景表示的车辆控制方法及装置
CN117011387A (zh) * 2023-10-07 2023-11-07 湖州丽天智能科技有限公司 一种基于视觉识别的光伏板位姿拟合方法及安装机器人
CN117541537A (zh) * 2023-10-16 2024-02-09 江苏星湖科技有限公司 基于全景点云融合技术的时空差异检测方法及其系统
CN117740186A (zh) * 2024-02-21 2024-03-22 微牌科技(浙江)有限公司 隧道设备温度检测方法、装置和计算机设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797310A (zh) * 2022-12-13 2023-03-14 无锡海纳智能科技有限公司 一种光伏电站组串倾角的确定方法及电子设备
CN115598656A (zh) * 2022-12-14 2023-01-13 成都运达科技股份有限公司（Cn） 基于悬挂轨道的障碍物检测方法、装置及系统
CN116148809A (zh) * 2023-04-04 2023-05-23 中储粮成都储藏研究院有限公司 基于激光雷达扫描定位的粮车扦样点自动生成方法及系统
CN116148809B (zh) * 2023-04-04 2023-06-20 中储粮成都储藏研究院有限公司 基于激光雷达扫描定位的粮车扦样点自动生成方法及系统
CN116320357A (zh) * 2023-05-17 2023-06-23 浙江视觉智能创新中心有限公司 一种3d结构光相机系统、方法、电子设备和可读存储介质
CN116968758A (zh) * 2023-09-19 2023-10-31 江西五十铃汽车有限公司 一种基于三维场景表示的车辆控制方法及装置
CN117011387A (zh) * 2023-10-07 2023-11-07 湖州丽天智能科技有限公司 一种基于视觉识别的光伏板位姿拟合方法及安装机器人
CN117011387B (zh) * 2023-10-07 2024-01-26 湖州丽天智能科技有限公司 一种基于视觉识别的光伏板位姿拟合方法及安装机器人
CN117541537A (zh) * 2023-10-16 2024-02-09 江苏星湖科技有限公司 基于全景点云融合技术的时空差异检测方法及其系统
CN117541537B (zh) * 2023-10-16 2024-05-24 江苏星湖科技有限公司 基于全景点云融合技术的时空差异检测方法及其系统
CN117740186A (zh) * 2024-02-21 2024-03-22 微牌科技(浙江)有限公司 隧道设备温度检测方法、装置和计算机设备
CN117740186B (zh) * 2024-02-21 2024-05-10 微牌科技(浙江)有限公司 隧道设备温度检测方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN115359021A (zh) 一种基于激光雷达和相机信息融合的目标定位检测方法
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN102236794B (zh) 3d场景中3d对象的识别和姿态确定
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN110766758B (zh) 标定方法、装置、系统及存储装置
CN111369516A (zh) 基于红外图像识别的变压器套管发热缺陷检测方法
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN114118253B (zh) 一种基于多源数据融合的车辆检测方法及检测装置
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN113705564B (zh) 一种指针式仪表识别读数方法
CN116912805B (zh) 一种基于无人清扫车的井盖异常智能检测识别方法及系统
CN117314986A (zh) 基于语义分割的无人机跨模态配电设备巡检图像配准方法
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN115330832A (zh) 一种基于计算机视觉的输电铁塔全自由度位移监测系统和方法
Tang et al. An Effective Way of Constructing Static Map Using 3D LiDAR for Autonomous Navigation in Outdoor Environments
CN113554018B (zh) 一种基于机器视觉的表计自动建模方法
Baris et al. Accurate identification of 3D pose through reprojection onto a single image from mask-RCNN contour
CN116385502B (zh) 一种基于几何约束下区域搜索的图像配准方法
CN116579955B (zh) 一种新能源电芯焊缝反光点去噪和点云补全方法及系统
Meierhold et al. Referencing of images to laser scanner data using linear features extracted from digital images and range images
Yan et al. Lane Line Detection based on Machine Vision
Zhang et al. Research on Visual Servoing control of metal objects in complex and variable lighting environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination