CN114399675A - 一种基于机器视觉与激光雷达融合的目标检测方法和装置 - Google Patents

一种基于机器视觉与激光雷达融合的目标检测方法和装置 Download PDF

Info

Publication number
CN114399675A
CN114399675A CN202111388263.0A CN202111388263A CN114399675A CN 114399675 A CN114399675 A CN 114399675A CN 202111388263 A CN202111388263 A CN 202111388263A CN 114399675 A CN114399675 A CN 114399675A
Authority
CN
China
Prior art keywords
detection
point cloud
image data
target
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111388263.0A
Other languages
English (en)
Inventor
董昊天
闫威
唐波
郑智辉
郭宸瑞
王硕
闫涛
李钊
张海荣
赵玲
张伯川
朱泽林
亓欣媛
常城
朱敏
许敏
张艺佳
武鹏
彭皓
任子建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Automatic Control Research Institute
Original Assignee
Beijing Aerospace Automatic Control Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Automatic Control Research Institute filed Critical Beijing Aerospace Automatic Control Research Institute
Priority to CN202111388263.0A priority Critical patent/CN114399675A/zh
Publication of CN114399675A publication Critical patent/CN114399675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于机器视觉与激光雷达融合的目标检测方法和装置，属于目标检测技术领域，解决现有目标检测方法的检测位置精度低和检测易受环境影响的问题。方法包括：使用矩形标定板对激光雷达和摄像机进行标定；获取历史图像数据并将所述历史图像数据中的障碍物标记为检测目标；利用标记的历史图像数据对基于Haar‑like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型；将实时获取的待检测图像输入所述训练好的AdaBoost级联分类器模型以获得多个预测框检测区域；以及将实时获取的点云数据投影到所述待检测图像上，并根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别。在各种天气和复杂环境下能够更加稳定。

Description

一种基于机器视觉与激光雷达融合的目标检测方法和装置
技术领域
本发明涉及目标检测技术领域，尤其涉及一种基于机器视觉与激光雷达融合的目标检测方法和装置。
背景技术
近年来，随着现代智能技术的迅猛发展，智能目标检测技术被广泛应用到各行各业当中；在港口行业中，目标检测技术主要被应用于保障港口作业安全以及提高作业效率；目前主要有基于机器视觉的目标检测系统，基于毫米波雷达的目标检测系统以及基于激光雷达的目标检测系统，三类基于单一传感器的目标检测系统应用较为广泛。基于机器视觉的目标检测，主要通过高清摄像机采集数据，然后对图像数据进行处理提取感兴趣区域，最后通过深度学习等检测算法，对具体目标进行检测。基于毫米波雷达的目标检测系统，首先通过毫米波获取周围环境和物体的回波数据；再通过卡尔曼滤波等算法进行滤波处理，最终通过频谱分析得出检测结果。基于激光雷达的目标检测系统，是通过激光雷达的激光源发射和接收源接收光束的时间差异来获取障碍物信息，再对得到的点云数据进行分析得到检测结果。
现有方法中，存在以下问题：
1、由于港口作业环境场景相对复杂，基于机器视觉的目标检测使用摄像机获取的图像数据进行目标检测，得出的检测结果的位置精度并不高。
2、使用激光雷达的目标检测系统，会受天气影响，检测结果不够稳定。
3、使用毫米波雷达的目标检测系统，得出的目标检测结果误检率较高，稳定性同样较差。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种基于机器视觉与激光雷达融合的目标检测方法和装置，用以解决现有目标检测方法的检测位置精度低和检测易受环境影响的问题。
一方面，本发明实施例提供了一种基于机器视觉与激光雷达融合的目标检测方法，包括：使用矩形标定板对激光雷达和摄像机进行标定；获取历史图像数据并将所述历史图像数据中的障碍物标记为检测目标；利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型；将实时获取的待检测图像输入所述训练好的AdaBoost级联分类器模型以获得多个预测框检测区域；以及将实时获取的点云数据投影到所述待检测图像上，并根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别。
上述技术方案的有益效果如下：AdaBoost级联分类器的前段部分使用基于HOG特征的分类器，后段使用基于Haar-like特征的分类器，能够平衡准确率和漏检率，提高分类效果。以及根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别，使得检测方法在各种天气和复杂环境下能够更加稳定。
基于上述方法的进一步改进，根据预测框检测区域内对应的点云密度来对视觉检测结果进行融合判别进一步包括：基于投影的点云像素面积与所述预测框检测区域像素面积的比值获得以下置信度公式：
Figure BDA0003367807690000031
其中conf为置信度，ε为点云像素面积调整参数，Slaser预测框中点云像素面积，Sbox为预测框像素面积；以及当所述置信度高于置信度阈值时，确定所述多个预测框检测区域中的一个预测框检测区域是否为有效检测目标。
基于上述方法的进一步改进，利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型进一步包括：从所述标记的历史图像数据中提取Haar-like特征和HOG特征；基于Adaboost算法分别训练基于所述Haar-like特征的分类器和所述HOG特征的分类器；以及将基于所述Haar-like特征的分类器和所述HOG特征的分类器级联为所述AdaBoost级联分类器，其中，所述AdaBoost级联分类器的前面部分使用基于HOH特征的分类器以及所述AdaBoost级联分类器的后面部分使用基于Haar-like特征的分类器。
基于上述方法的进一步改进，基于Adaboost算法训练基于所述Haar-like特征的分类器进一步包括：对于每个Haar-like特征，训练一个弱分类器，其中，通过以下公式表示每个Haar-like特征featurej：
Figure BDA0003367807690000032
其中，ωi为矩形的权，RectSum(ri)为矩形ri所围图像的灰度积分，i指得是该特征所围矩形个数，j表示不同种类的矩形特征个数，N是组成featurej的矩形个数；以及通过以下公式对所述弱分类器计算权重误差：
Figure BDA0003367807690000033
其中，xi表示第i样本，yi＝1时为正样本，yi＝0表示负样本，对每个特征featurej，训练一个弱分类器hj(x)；将具有最小误差εj的弱分类器叠加到强分类器中。
基于上述方法的进一步改进，使用矩形标定板对激光雷达进行标定进一步包括：在所述激光雷达的Z轴与设备的Z轴平行的情况下，使用所述矩形标定板确定所述激光雷达与所述设备的俯仰角度和侧倾角度。
基于上述方法的进一步改进，将实时获取的点云数据投影到所述待检测图像上之前进一步包括：对所述实时获取的点云数据进行高斯滤波以去除干扰点；以及使用迭代最近点ICP算法对滤波后的点云数据进行配准。
基于上述方法的进一步改进，使用迭代最近点ICP算法对滤波后的点云数据进行配准进一步包括：在目标点云P中取点集pi，找出源点云Q中的对应点集qi，使得||qi-pi||＝min；计算旋转矩阵R和平移矩阵t，使得误差函数最小；对pi使用所述旋转矩阵R和所述平移矩阵t进行旋转和平移变换，得到新的对应点集pi＝{Rpi+t,pi∈P}；以及计算pi与对应点集qi的平均距离，如果d小于给定阈值或者大于预设的最大迭代次数，则停止迭代计算,否则返回计算旋转矩阵R和平移矩阵t的步骤，直到满足收敛条件为止。
基于上述方法的进一步改进，使用矩形标定板对摄像机进行标定进一步包括：通过以下公式将世界坐标系转换为相机坐标系，然后将所述相机坐标系转换为像素坐标系：
Figure BDA0003367807690000041
其中，(μ,ν)为所述像素坐标系的坐标，(Xw,Yw,Zw)为所述世界坐标系下的坐标；fx＝αf,fy＝βf，成像平面坐标系下的像点坐标(x,y)在水平方向上缩放α倍，在竖直方向上缩放β倍，f为相机的焦点到成像平面的距离；Z为相机内参数矩阵，以及T为相机外参数矩阵，
Figure BDA0003367807690000042
基于上述方法的进一步改进，获取历史图像数据并对所述历史图像数据中的障碍物进行标记进一步包括：通过所述摄像机拍摄港口作业场景下的包括检测目标的图像；将包括检测目标的图像通过网络传输至目标检测主机，并存储在所述目标检测主机的数据库中作为历史图像数据；以及从所述数据库中获取所述历史图像数据，并利用目标框对所述图像数据中的障碍物标记为检测目标，其中，所述障碍物包括行人和车辆。
另一方面，本发明实施例提供了一种基于机器视觉与激光雷达融合的目标检测装置，包括：标定模块，用于使用矩形标定板对激光雷达和摄像机进行标定；障碍物标记模块，用于获取历史图像数据并将所述历史图像数据中的障碍物标记为检测目标；AdaBoost级联分类器模型，利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型；以及检测模块，用于将实时获取的待检测图像输入所述训练好的AdaBoost级联分类器模型以获得多个预测框检测区域；以及融合判别模块，用于将实时获取的点云数据投影到所述待检测图像上，并根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、通过机器视觉和激光雷达数据处理算法的结合，提高了目标检测精度，位置精度能够达到0.5m，误检率为5％，在召回率是0.96时，准确率达到95％。
2、摄像机和激光雷达两种传感器相协作的目标检测装置，使得检测装置在各种天气和复杂环境下能够更加稳定，例如，雨雪等天气条件下，误检率和准确率下降不超过10％。
3、AdaBoost级联分类器的前段部分使用基于HOG特征的分类器，后段使用基于Haar-like特征的分类器，能够平衡准确率和漏检率，提高分类效果。
4、激光扫描通常会产生密度不均匀的点云数据集，其中，稀疏的离散点(噪声点)可能会造成点云配准的失败。配准能够在同一场景下可以将不同物体的部分点云(源点云)合成到一个点云下。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的基于机器视觉与激光雷达融合的目标检测方法的流程图。
图2为根据本发明实施例的相机标定原理的示意图。
图3为根据本发明实施例的Adaboost级联分类器的示意图。
图4为根据本发明实施例的机器视觉数据处理流程图。
图5为根据本发明实施例的感兴趣区域效果图。
图6为根据本发明实施例的检测结果效果图。
图7为根据本发明实施例的目标检测方法的整体流程图。
图8为根据本发明实施例的目标检测装置的整体结构图。
图9为根据本发明实施例的摄像机雷达标定示意图。
图10为根据本发明实施例的根据本发明实施例的基于机器视觉与激光雷达融合的目标检测装置的框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种基于机器视觉与激光雷达融合的目标检测方法。如图1所示，基于机器视觉与激光雷达融合的目标检测方法包括在步骤S102中，使用矩形标定板对激光雷达和摄像机进行标定；在步骤S104中，获取历史图像数据并将历史图像数据中的障碍物标记为检测目标；在步骤S106中，利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型；在步骤S108中，将实时获取的待检测图像输入训练好的AdaBoost级联分类器模型以获得多个预测框检测区域；以及在步骤S110中，将实时获取的点云数据投影到待检测图像上，并根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别。
与现有技术相比，本实施例提供的AdaBoost级联分类器的前段部分使用基于HOG特征的分类器，后段使用基于Haar-like特征的分类器，能够平衡准确率和漏检率，提高分类效果。以及根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别，使得检测方法在各种天气和复杂环境下能够更加稳定。
下文中，将参考图1，对根据本发明实施例的基于机器视觉与激光雷达融合的目标检测方法中的各个步骤进行详细描述。
在步骤S102中，使用矩形标定板对激光雷达和摄像机进行标定。使用矩形标定板对激光雷达进行标定进一步包括：在激光雷达的Z轴与设备的Z轴平行的情况下，使用矩形标定板确定激光雷达与设备的俯仰角度和侧倾角度。具体地，使用矩形标定板对摄像机进行标定进一步包括：通过以下公式将世界坐标系转换为相机坐标系，然后将相机坐标系转换为像素坐标系：
Figure BDA0003367807690000071
其中，(μ,ν)为像素坐标系的坐标，(Xw,Yw,Zw)为世界坐标系下的坐标；fx＝αf,fy＝βf，成像平面坐标系下的像点坐标(x,y)在水平方向上缩放α倍，在竖直方向上缩放β倍，f为相机的焦点到成像平面的距离；Z为相机内参数矩阵，以及T为相机外参数矩阵，
Figure BDA0003367807690000081
在步骤S104中，获取历史图像数据并将历史图像数据中的障碍物标记为检测目标。具体地，获取历史图像数据并对历史图像数据中的障碍物进行标记进一步包括：通过摄像机拍摄港口作业场景下的包括检测目标的图像；将包括检测目标的图像通过网络传输至目标检测主机，并存储在目标检测主机的数据库中作为历史图像数据；以及从数据库中获取历史图像数据，并利用目标框对图像数据中的障碍物标记为检测目标，其中，障碍物包括行人和车辆。
在步骤S106中，利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型。具体地，利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型进一步包括：从标记的历史图像数据中提取Haar-like特征和HOG特征；基于Adaboost算法分别训练基于Haar-like特征的分类器和HOG特征的分类器；以及将基于Haar-like特征的分类器和HOG特征的分类器级联为AdaBoost级联分类器，其中，AdaBoost级联分类器的前面部分使用基于HOH特征的分类器以及AdaBoost级联分类器的后面部分使用基于Haar-like特征的分类器。
具体地，基于Adaboost算法训练基于Haar-like特征的分类器进一步包括：对于每个Haar-like特征，训练一个弱分类器，其中，通过以下公式表示每个Haar-like特征featurej：
Figure BDA0003367807690000082
其中，ωi为矩形的权，RectSum(ri)为矩形ri所围图像的灰度积分，i指得是该特征所围矩形个数，j表示不同种类的矩形特征个数，N是组成featurej的矩形个数；以及通过以下公式对弱分类器计算权重误差：
Figure BDA0003367807690000091
其中，xi表示第i样本，yi＝1时为正样本(人脸)，yi＝0表示负样本(非人脸)，对每个特征featurej，训练一个弱分类器hj(x)；以及将具有最小误差εj的弱分类器叠加到强分类器中。
在步骤S108中，将实时获取的待检测图像输入训练好的AdaBoost级联分类器模型以获得多个预测框检测区域。通过高清网络摄像机实时拍摄待检测图像，并通过网络将待检测图像传送至目标检测主机，然而将待检测图像输入目标检测主机中的训练好的AdaBoost级联分类器模型，从而获得多个预测框检测区域。
将实时获取的点云数据投影到待检测图像上之前进一步包括：对实时获取的点云数据进行高斯滤波以去除干扰点；以及使用迭代最近点ICP算法对滤波后的点云数据进行配准。具体地，使用迭代最近点ICP算法对滤波后的点云数据进行配准进一步包括：在目标点云P中取点集pi，找出源点云Q中的对应点集qi，使得||qi-pi||＝min；计算旋转矩阵R和平移矩阵t，使得误差函数最小；对pi使用旋转矩阵R和平移矩阵t进行旋转和平移变换，得到新的对应点集pi＝{Rpi+t,pi∈P}；以及计算pi与对应点集qi的平均距离，如果d小于给定阈值或者大于预设的最大迭代次数，则停止迭代计算,否则返回计算旋转矩阵R和平移矩阵t的步骤，直到满足收敛条件为止。
在步骤S110中，将实时获取的点云数据投影到待检测图像上，并根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别。
具体地，根据预测框检测区域内对应的点云密度来对视觉检测结果进行融合判别进一步包括：基于投影的点云像素面积与预测框检测区域像素面积的比值获得以下置信度公式：
Figure BDA0003367807690000092
其中conf为置信度，ε为点云像素面积调整参数，Slaser预测框中点云像素面积，Sbox为预测框像素面积；以及当置信度高于置信度阈值时，确定多个预测框检测区域中的一个预测框检测区域是否为有效检测目标。
本发明的另一个具体实施例，公开了一种基于机器视觉与激光雷达融合的目标检测装置。参考图10，基于机器视觉与激光雷达融合的目标检测装置包括：标定模块1002，用于使用矩形标定板对激光雷达和摄像机进行标定；障碍物标记模块1004，用于获取历史图像数据并将历史图像数据中的障碍物标记为检测目标；AdaBoost级联分类器模型1006，利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型；检测模块1008，用于将实时获取的待检测图像输入训练好的AdaBoost级联分类器模型以获得多个预测框检测区域；以及融合判别模块1010，用于将实时获取的点云数据投影到待检测图像上，并根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别。
下文中，将参考图2至图9以具体实例的方式，对根据本发明实施例的基于机器视觉与激光雷达融合的目标检测方法进行详细描述。
根据本发明实施例的基于机器视觉与激光雷达融合的目标检测方法主要用于港口轮胎吊，桥吊，正面吊等作业设备上，在作业过程中识别设备周边障碍物。主要包括以下五个步骤：
步骤一：使用多线激光雷达。具体地，多线激光雷达：指同时发射及接收多束激光的激光旋转测距雷达，目前有4线、8线、16线、32线、64线和128线之分，多线激光雷达可以识别物体的高度信息并获取周围环境的3D扫描图(3D激光)，主要应用于无人驾驶领域。激光雷达在安装之后坐标系与设备坐标系存在一定的俯仰，偏转，旋转角度；无论是雷达还是摄像头获取的数据最后都要统一到设备坐标系上；所以要先对激光雷达进行标定，正常情况下激光雷达的Z轴和设备的Z轴属于平行状态，所以只需要使用矩形标定板，来确定雷达与设备的俯仰和侧倾角度即可；标定完成后，基于激光雷达SDK编写相关程序获取激光雷达通过网络传输的3D点云数据。
步骤二：对得到的点云数据进行高斯滤波去除干扰点，即采用加权平均的方式。因为激光扫描通常会产生密度不均匀的点云数据集，其中，稀疏的离散点(噪声点)可能会造成点云配准的失败。通过高斯滤波去除噪声点能够消除噪声点对后期处理的影响。在指定域内的权重是根据欧式距离的高斯分布，通过权重加权平均的方式得到当前点的滤波后的点。然后使用ICP算法(Iterative Closest Point，即最近点迭代算法)，对点云进行配准。基本思想是：分别在带匹配的目标点云P和源点云Q中，按照一定的约束条件，找到最邻近点(pi，qi)，然后计算出最优匹配参数R和t，使得误差函数最小。误差函数为E(R，t)为：
Figure BDA0003367807690000111
其中n为最邻近点对的个数，pi为目标点云P中的一点，qi为源点云Q中与pi对应的最近点，R为旋转矩阵，t为平移向量。主要流程为：
1.计算最近点集：在目标点云P中取点集pi∈P,找出源点云Q中的对应点集qi∈Q，使得||qi-pi||＝min；
2.计算变换矩阵：计算旋转矩阵R和平移矩阵t，使得误差函数最小；
3.应用变换矩阵：对pi使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，的到新的对应点集pi＝{Rpi+t,pi∈P}；
4.目标函数计算与阈值判断:计算pi与对应点集qi的平均距离，如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算,否则返回第2步，直到满足收敛条件为止。激光雷达相关流程如图1所示。点云配准能够在同一场景下将不同物体的部分点云(源点云)合成到一个点云下。
步骤三：使用高清网络摄像机，与步骤一相似，首先要使用矩形标定板对摄像机进行标定，机器视觉系统中，存在以下四个坐标系：世界坐标系、相机坐标系、成像平面坐标系和图像坐标系。标定过程实际分为两部分，世界坐标系到相机坐标系的三位转换，即相机外参；相机坐标系到像素坐标系的转换，即相机内参。完成标定后即可获取摄像机的图像数据。具体原理如下，相机内参分为两部分，第一部分是相机的焦点到成像平面的距离，也就是焦距f；第二部分从相机三维坐标系到像素坐标系的变换矩阵，像点坐标p＝(x,y)是成像平面坐标系下，以成像平面中心为原点，而实际像素点的表示方法是以像素来描述，坐标原点通常是图像的左上角，X轴沿着水平方向向左，Y轴竖直向下。像素是一个矩形块，这里假设其在水平和竖直方向的长度分别为：α和β。所以像素坐标和成像平面坐标之间，相差了一个缩放和原点的平移。
假设像素坐标的水平方向的轴为μ，竖直方向的轴为ν，那么将一个成像平面的坐标(x,y)在水平方向上缩放α倍，在竖直方向上缩放β倍，同时平移(cx,cy)，就可以得到像素坐标系的坐标(μ,ν)，其公式如下：
μ＝αx+cx
ν＝βy+cy
同时像点坐标p＝(x,y)是由三维坐标P＝(X,Y,Z)根据相似三角原理影射变换而来，其公式如下：
Figure BDA0003367807690000121
Figure BDA0003367807690000122
z＝f
将此公式带入并写成其次坐标的形式如下：
Figure BDA0003367807690000123
其中fx＝αf,fy＝βf所以相机内参数矩阵为：
Figure BDA0003367807690000124
相机外参指得是将相机三维坐标系下的点转化为世界坐标系下的点，所使用的变换矩阵，设Pc是P在相机坐标系坐标，Pw是其在世界坐标系下的坐标，可以使用一个旋转矩阵R和一个平移向量t，将Pc变换为Pw公式如下：
pc＝RPW+t
将其转化为矩阵齐次形式如下：
Figure BDA0003367807690000125
所以相机外参为：
Figure BDA0003367807690000131
通过相机内参和外参相乘就得到了相机矩阵：
Figure BDA0003367807690000132
而相机标定的过程就是通过标定板，可以得到n个对应的世界坐标三维点Xi和对应的图像坐标二维点xi，这些三维点到二维点的转换都可以通过上面提到的相机内参和外参K、T相互进行转换，所以得到了三维点和二维点就可以求出相机的内外参，如图2所示。
步骤四：采用基于Haar-like和HOG特征结合的AdaBoost级联分类方法进行目标检测。
Haar-like特征主要有两矩形特征，三矩形特征，三角形特征，本申请的实施例主要使用两矩形特征和三矩形特征，每个特征由2～3个矩形组成。分别检测边界、线、中心特征：
Figure BDA0003367807690000133
其中，ωi为矩形的权，RectSum(ri)为矩形ri所围图像的灰度积分，i指得是该特征所围矩形个数，j表示不同种类的矩形特征个数，N是组成featurej的矩形个数。
HOG特征的提取，通过计算机局部图像的梯度方向来构成HOG特征，其实质是梯度方向的权重分布直方图。提取过程包括：灰度化处理输入的图像；利用下式Gramma校正法对输入的图像进行标准化：
Figure BDA0003367807690000134
其中，F(x,y)为灰度化之后的图像坐标点，将其进行γ倍的压缩，最终得到压缩后的点G(x,y)之后计算图像像素的梯度大小和方向；统计block的梯度直方图并进行归一化。
HOG特征提取方法就是将一个image(要检测的目标或者扫描窗口)：
1)灰度化(将图像看做一个x,y,z(灰度)的三维图像)；
2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化)；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；
3)计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。
4)将图像划分成小cells(例如6*6像素/cell)；
5)统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor；
6)将每几个cell组成一个block(例如3*3个cell/block)，一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。
7)将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image(要检测的目标)的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了。
Adaboost是一种基于统计的学习算法，在学习过程中不断根据事先定义的各个正例和反例的特征所起的效果调整该特征的权值，最终按照特征的性能的好坏给出判断准则。其基本思想是利用分类能力一般的弱分类器通过一定的方法叠加(boost)起来，构成分类能力很强的强分类器。daboost训练强分类器的算法为，给定一系列训练样本(x1,y1)、(x2,y2)、...(xn,yn)，其中xi表示第i个样本，yi＝1时为正样本(人脸)，yi＝0表示负样本(非人脸)。对每个特征featurej，训练一个弱分类器hj(x)，之后对每个特征生成的弱分类器计算权重误差：
Figure BDA0003367807690000141
将具有最小误差εj的分类器叠加到强分类器中，并更新训练样本的概率分布。将多个这类的强分类器级联起来，首先获取港口作业场景下的行人，车辆等物体检测目标的图片，作为正负样本，然后提取样本中的haar-like和Hog特征，基于Adaboost算法分别训练基于两个特征的训练器，之后将分类器级联。单独使用HOG分类器进行分类虚警概率较高(测试正确率0.95，漏检率0.02,平均检测时间0.35s)，而单独使用haar-like分类器正确性较高但是漏检概率较高同时检测速度较慢(测试正确率0.99，漏检率0.05，平均检测时间0.65s)，所以为了平衡准确率和漏检率，提高分类效果，前面部分使用基于HOG特征的分类器，后面使用基于Haar-like特征的分类器，使得测试正确率0.97，漏检率0.03，平均检测时间0.55s，(参考图3)，机器视觉数据处理流程如图4所示。
步骤五：对摄像机获取的输入图像进行预处理，然后对预处理后的图像使用图像分割算法，产生目标候选区域(感兴趣区域)如图5所示，将产生的候选区域输入到分类器中进行验证得到视觉检测结果，然后通过多线激光雷达获取点云数据，经过滤波和配准后将其投影到二维图像中，将摄像机的障碍物分类检测结果对应到点云投影图像中，根据点云像素面积和检测结果预测框像素面积的比值计算出置信度公式如下：
Figure BDA0003367807690000151
其中conf为置信度，ε为点云像素面积调整参数，Slaser预测框中点云像素面积，Sbox为预测框像素面积置信度高于一定阈值则判定为有效目标最终完成目标检测检测结果如图6所示，最终检测结果在雨天的准确率到达92％左右，平均检测时间在0.5秒左右；整体流程如图7所示。
步骤1：以图5为例，收集港口作业现场，拍摄的图片数据，如不同衣着的行人，不同类型的车辆，不同类型的作业设备。将图片分为测试数据集和训练数据集两部分，进行AdaBoost级联分类器的训练，将训练好的分类器运用到检测流程当中。
步骤2：在需要进行检测的地方安装多线激光雷达和网络高清摄像机以及计算机，在计算机上安装编译好的目标检测程序，激光雷达和摄像机通过网络向计算机传输数据如图8所示，安装好设备后，在雷达和摄像机检测范围中央放置矩形标定板，激光雷达对标定板进行扫描，摄像机对标定板拍摄，从而确定雷达和摄像机相对于安装载体的相对位置如图9所示。
步骤3：完成数据训练和设备标定之后，即可运行编写好的程序进行目标检测，目标检测结果将返回到计算机上。
1、通过机器视觉和激光雷达数据处理算法的结合，提高了目标检测方法的精度，位置精度能够达到0.5m,误检率为5％，在召回率是0.96时，准确率达到95％。
2、通过摄像机和激光雷达两种传感器相协作的目标检测装置，在各种天气和复杂环境下，检测装置有更加稳定的表现，雨雪等天气条件下，误检率和准确率下降不超过10％。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉与激光雷达融合的目标检测方法，其特征在于，包括：
使用矩形标定板对激光雷达和摄像机进行标定；
获取历史图像数据并将所述历史图像数据中的障碍物标记为检测目标；
利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型；
将实时获取的待检测图像输入所述训练好的AdaBoost级联分类器模型以获得多个预测框检测区域；以及
将实时获取的点云数据投影到所述待检测图像上，并根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别。
2.根据权利要求1所述的基于机器视觉与激光雷达融合的目标检测方法，其特征在于，根据预测框检测区域内对应的点云密度来对视觉检测结果进行融合判别进一步包括：
基于投影的点云像素面积与所述预测框检测区域像素面积的比值获得以下置信度公式：
Figure FDA0003367807680000011
其中conf为置信度，ε为点云像素面积调整参数，Slaser预测框中点云像素面积，Sbox为预测框像素面积；以及
当所述置信度高于置信度阈值时，确定所述多个预测框检测区域中的一个预测框检测区域是否为有效检测目标。
3.根据权利要求1所述的基于机器视觉与激光雷达融合的目标检测方法，其特征在于，利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型进一步包括：
从所述标记的历史图像数据中提取Haar-like特征和HOG特征；
基于Adaboost算法分别训练基于所述Haar-like特征的分类器和所述HOG特征的分类器；以及
将基于所述Haar-like特征的分类器和所述HOG特征的分类器级联为所述AdaBoost级联分类器，其中，所述AdaBoost级联分类器的前面部分使用基于HOH特征的分类器以及所述AdaBoost级联分类器的后面部分使用基于Haar-like特征的分类器。
4.根据权利要求3所述的基于机器视觉与激光雷达融合的目标检测方法，其特征在于，基于Adaboost算法训练基于所述Haar-like特征的分类器进一步包括：
对于每个Haar-like特征，训练一个弱分类器，其中，通过以下公式表示每个Haar-like特征featurej：
Figure FDA0003367807680000021
其中，ωi为矩形的权，RectSum(ri)为矩形ri所围图像的灰度积分，i指得是该特征所围矩形个数，j表示不同种类的矩形特征个数，N是组成featurej的矩形个数；以及
通过以下公式对所述弱分类器计算权重误差：
Figure FDA0003367807680000022
其中，xi表示第i样本，yi＝1时为正样本，yi＝0表示负样本，对每个特征featurej，训练一个弱分类器hj(x)；
将具有最小误差εj的弱分类器叠加到强分类器中。
5.根据权利要求1所述的基于机器视觉与激光雷达融合的目标检测方法，其特征在于，使用矩形标定板对激光雷达进行标定进一步包括：
在所述激光雷达的Z轴与设备的Z轴平行的情况下，使用所述矩形标定板确定所述激光雷达与所述设备的俯仰角度和侧倾角度。
6.根据权利要求1所述的基于机器视觉与激光雷达融合的目标检测方法，其特征在于，将实时获取的点云数据投影到所述待检测图像上之前进一步包括：
对所述实时获取的点云数据进行高斯滤波以去除干扰点；以及
使用迭代最近点ICP算法对滤波后的点云数据进行配准。
7.根据权利要求6所述的基于机器视觉与激光雷达融合的目标检测方法，其特征在于，使用迭代最近点ICP算法对滤波后的点云数据进行配准进一步包括：
在目标点云P中取点集pi，找出源点云Q中的对应点集qi，使得||qi-pi||＝min；
计算旋转矩阵R和平移矩阵t，使得误差函数最小；
对pi使用所述旋转矩阵R和所述平移矩阵t进行旋转和平移变换，得到新的对应点集pi＝{Rpi+t,pi∈P}；以及
计算pi与对应点集qi的平均距离，如果d小于给定阈值或者大于预设的最大迭代次数，则停止迭代计算,否则返回计算旋转矩阵R和平移矩阵t的步骤，直到满足收敛条件为止。
8.根据权利要求1所述的基于机器视觉与激光雷达融合的目标检测方法，其特征在于，使用矩形标定板对摄像机进行标定进一步包括：
通过以下公式将世界坐标系转换为相机坐标系，然后将所述相机坐标系转换为像素坐标系：
Figure FDA0003367807680000031
其中，(μ,ν)为所述像素坐标系的坐标，(Xw,Yw,Zw)为所述世界坐标系下的坐标；fx＝αf,fy＝βf，成像平面坐标系下的像点坐标(x,y)在水平方向上缩放α倍，在竖直方向上缩放β倍，f为相机的焦点到成像平面的距离；Z为相机内参数矩阵，以及T为相机外参数矩阵，
Figure FDA0003367807680000032
9.根据权利要求1所述的基于机器视觉与激光雷达融合的目标检测方法，其特征在于，获取历史图像数据并对所述历史图像数据中的障碍物进行标记进一步包括：
通过所述摄像机拍摄港口作业场景下的包括检测目标的图像；
将包括检测目标的图像通过网络传输至目标检测主机，并存储在所述目标检测主机的数据库中作为历史图像数据；以及
从所述数据库中获取所述历史图像数据，并利用目标框对所述图像数据中的障碍物标记为检测目标，其中，所述障碍物包括行人和车辆。
10.一种基于机器视觉与激光雷达融合的目标检测装置，其特征在于，包括：
标定模块，用于使用矩形标定板对激光雷达和摄像机进行标定；
障碍物标记模块，用于获取历史图像数据并将所述历史图像数据中的障碍物标记为检测目标；
AdaBoost级联分类器模型，利用标记的历史图像数据对基于Haar-like特征和HOG特征结合的AdaBoost级联分类器进行训练以获取训练好的AdaBoost级联分类器模型；以及
检测模块，用于将实时获取的待检测图像输入所述训练好的AdaBoost级联分类器模型以获得多个预测框检测区域；以及
融合判别模块，用于将实时获取的点云数据投影到所述待检测图像上，并根据预测框检测区域内对应的点云密度对视觉检测结果进行融合判别。
CN202111388263.0A 2021-11-22 2021-11-22 一种基于机器视觉与激光雷达融合的目标检测方法和装置 Pending CN114399675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111388263.0A CN114399675A (zh) 2021-11-22 2021-11-22 一种基于机器视觉与激光雷达融合的目标检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111388263.0A CN114399675A (zh) 2021-11-22 2021-11-22 一种基于机器视觉与激光雷达融合的目标检测方法和装置

Publications (1)

Publication Number Publication Date
CN114399675A true CN114399675A (zh) 2022-04-26

Family

ID=81225845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111388263.0A Pending CN114399675A (zh) 2021-11-22 2021-11-22 一种基于机器视觉与激光雷达融合的目标检测方法和装置

Country Status (1)

Country Link
CN (1) CN114399675A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114987577A (zh) * 2022-05-06 2022-09-02 东莞灵虎智能科技有限公司 一种基于时空校准的3d激光钢轨廓型检测方法及系统
CN115147685A (zh) * 2022-07-20 2022-10-04 广西大学 一种甘蔗收获机运行状态的识别预测方法
CN115937826A (zh) * 2023-02-03 2023-04-07 小米汽车科技有限公司 目标检测方法及装置
CN116071667A (zh) * 2023-04-07 2023-05-05 北京理工大学 基于历史数据的指定区域内异常飞机目标检测方法及系统
CN116563391A (zh) * 2023-05-16 2023-08-08 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114987577A (zh) * 2022-05-06 2022-09-02 东莞灵虎智能科技有限公司 一种基于时空校准的3d激光钢轨廓型检测方法及系统
CN114987577B (zh) * 2022-05-06 2024-07-02 东莞灵虎智能科技有限公司 一种基于时空校准的3d激光钢轨廓型检测方法及系统
CN115147685A (zh) * 2022-07-20 2022-10-04 广西大学 一种甘蔗收获机运行状态的识别预测方法
CN115937826A (zh) * 2023-02-03 2023-04-07 小米汽车科技有限公司 目标检测方法及装置
CN115937826B (zh) * 2023-02-03 2023-05-09 小米汽车科技有限公司 目标检测方法及装置
CN116071667A (zh) * 2023-04-07 2023-05-05 北京理工大学 基于历史数据的指定区域内异常飞机目标检测方法及系统
CN116563391A (zh) * 2023-05-16 2023-08-08 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法
CN116563391B (zh) * 2023-05-16 2024-02-02 深圳市高素科技有限公司 一种基于机器视觉的激光结构自动标定方法

Similar Documents

Publication Publication Date Title
CN111201451B (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
Nabati et al. Rrpn: Radar region proposal network for object detection in autonomous vehicles
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN113156421A (zh) 基于毫米波雷达和摄像头信息融合的障碍物检测方法
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN113936198A (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN114693661A (zh) 一种基于深度学习的快速分拣方法
CN106600613B (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN111818274A (zh) 基于三维光场技术的光学无人机监测方法及系统
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
Yuan et al. Independent moving object detection based on a vehicle mounted binocular camera
CN117115784A (zh) 目标数据融合的车辆检测方法及检测装置
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN109063543B (zh) 一种考虑局部形变的视频车辆重识别方法、系统及装置
CN115497073A (zh) 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法
Wang et al. A detection and tracking system for fisheye videos from traffic intersections
Yao et al. Real-time multiple moving targets detection from airborne IR imagery by dynamic Gabor filter and dynamic Gaussian detector
Liu et al. A lightweight lidar-camera sensing method of obstacles detection and classification for autonomous rail rapid transit
CN113688819A (zh) 一种基于标记点的目标物期望点跟踪匹配方法
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination