CN109118542B - 激光雷达与相机之间的标定方法、装置、设备及存储介质 - Google Patents

激光雷达与相机之间的标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109118542B
CN109118542B CN201710480669.9A CN201710480669A CN109118542B CN 109118542 B CN109118542 B CN 109118542B CN 201710480669 A CN201710480669 A CN 201710480669A CN 109118542 B CN109118542 B CN 109118542B
Authority
CN
China
Prior art keywords
image
calibration
point
value
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710480669.9A
Other languages
English (en)
Other versions
CN109118542A (zh
Inventor
桂坡坡
谢远帆
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Apollo Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Technology Beijing Co Ltd filed Critical Apollo Intelligent Technology Beijing Co Ltd
Priority to CN201710480669.9A priority Critical patent/CN109118542B/zh
Priority to US16/011,152 priority patent/US11181624B2/en
Publication of CN109118542A publication Critical patent/CN109118542A/zh
Application granted granted Critical
Publication of CN109118542B publication Critical patent/CN109118542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了激光雷达与相机之间的标定方法、装置、设备及存储介质，其中方法包括：分别在N个位置获取N站标定数据，每站标定数据中分别包括：相机所采集的影像数据以及激光雷达所采集的点云数据，N为正整数；分别为每站影像建立影像金字塔；根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数。应用本发明所述方案，能够实现实时地在线标定等。

Description

激光雷达与相机之间的标定方法、装置、设备及存储介质
【技术领域】
本发明涉及计算机应用技术，特别涉及激光雷达与相机之间的标定方法、装置、设备及存储介质。
【背景技术】
标定是计算机视觉与机器人领域的基础问题，比如，在无人驾驶车辆等同时搭载有激光雷达和相机这两类传感器的移动平台中，则需要进行激光雷达与相机之间的标定。
现有技术中，通常采用依赖于一定的靶标的标定方式，如利用棋盘格、二维码或特定场景等。
但这种方式的灵活度不高，以线下标定为主，无法在线实时标定，甚至还需要维护固定场地以保证标定质量。
【发明内容】
有鉴于此，本发明提供了激光雷达与相机之间的标定方法、装置、设备及存储介质，能够实现实时地在线标定。
具体技术方案如下：
一种激光雷达与相机之间的标定方法，包括：
分别在N个位置获取N站标定数据，每站标定数据中分别包括：相机所采集的影像数据以及激光雷达所采集的点云数据，N为正整数；
分别为每站影像建立影像金字塔；
根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数。
根据本发明一优选实施例，所述标定参数中包括Q个参数，Q为大于一的正整数；
所述根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数包括：
针对第i层金字塔，i为正整数，且1≤i≤M，M为大于一的正整数，表示影像金字塔的层数，按照以下方式进行搜索操作：
分别对所述初始的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括所述初始的标定参数；
针对每个扩展的标定参数，分别根据各影像金字塔中的第i层金字塔对应的影像以及各点云数据，确定出所述扩展的标定参数对应的相似度；
选出对应的相似度取值最大的扩展的标定参数；
若选出的扩展的标定参数与最新得到的初始的标定参数不同，则将选出的扩展的标定参数作为更新后的初始的标定参数，根据更新后的初始的标定参数，重复进行所述搜索操作；
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且存在下一层金字塔，则将选出的扩展的标定参数作为初始的标定参数，对下一层金字塔进行所述搜索操作；
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且不存在下一层金字塔，则将选出的扩展的标定参数作为所述最优的标定参数。
根据本发明一优选实施例，所述针对每个扩展的标定参数，分别根据各影像金字塔中的第i层金字塔对应的影像以及各点云数据，确定出所述扩展的标定参数对应的相似度包括：
针对为第j站影像所建立的影像金字塔中的第i层金字塔，j为正整数，且1≤j≤N，分别计算出第i层金字塔对应的影像与第j站点云数据之间的相似度；
将计算出的N个相似度求均值，将计算出的均值作为所述扩展的标定参数对应的相似度。
根据本发明一优选实施例，所述分别为每站影像建立影像金字塔之前，进一步包括：
根据所述标定数据确定是否需要进行重新标定，如果是，则分别为每站影像建立影像金字塔。
根据本发明一优选实施例，所述根据所述标定数据确定是否需要进行重新标定包括：
分别对当前所使用的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括所述当前所使用的标定参数；
针对每个扩展的标定参数，分别计算出每站标定数据中的影像与点云数据之间的相似度，将计算出的N个相似度求均值，将计算出的均值作为所述扩展的标定参数对应的相似度；
若所有的扩展的标定参数中符合预定要求的扩展的标定参数所占比例小于预定阈值，则确定需要进行重新标定，所述预定要求为：对应的相似度小于所述当前所使用的标定参数对应的相似度。
根据本发明一优选实施例，所述对各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数包括：
针对每个参数，分别将所述参数的取值作为默认值，并在预定区间内对所述参数进行离散化处理，得到P个离散值，P为偶数；
生成各扩展的标定参数，每个扩展的标定参数中分别包括所述Q个参数，每个参数的取值为默认值或离散值，且任意两个扩展的标定参数均不完全相同。
根据本发明一优选实施例，计算影像与点云数据之间的相似度的方式包括：
分别获取所述影像中的各像素点的边缘值；
分别获取所述点云数据中的各点的边缘值；
对于所述点云数据中每个点，分别根据相机的内参以及标定参数，将所述点的坐标转换为影像坐标，若所述影像坐标位于所述影像的坐标范围内，则建立所述影像坐标处的像素点的边缘值与所述点的边缘值之间的对应关系；
分别将各对应关系中的两个边缘值相乘，并将各相乘结果相加；
计算相加之和与所建立的对应关系数之比，将计算结果作为所述相似度。
根据本发明一优选实施例，所述分别获取所述影像中的各像素点的边缘值包括：
对所述影像进行边缘提取，得到边缘影像；
将所述边缘影像作为待处理影像，对所述待处理影像进行边缘模糊处理，包括：
对所述待处理影像进行高斯模糊，将模糊后的影像与所述待处理影像按照预定权重叠加，得到虚化保边影像；
将所述虚化保边影像作为所述待处理影像，重复执行所述边缘模糊处理，直至重复次数达到预定次数；
当重复次数达到预定次数时，将最新得到的虚化保边影像作为边缘模糊图像，将所述边缘模糊图像中的各像素点的取值作为各像素点的边缘值。
根据本发明一优选实施例，所述分别获取所述点云数据中的各点的边缘值包括：
针对所述点云数据中的每个点，分别进行以下处理：
将所述点作为待处理点；
获取所述待处理点的四邻域点；
若所述四邻域点不全，则将所述待处理点的边缘值设置为1；
若所述四邻域点齐全，则分别计算所述四邻域点中的每个邻域点与所述待处理点的距离差值，并选出取值最大的距离差值，若选出的距离差值大于1，则将所述待处理点的边缘值设置为1，若选出的距离差值小于0，则将所述待处理点的边缘值设置为0，否则，将选出的距离差值作为所述待处理点的边缘值；
或者，若所述四邻域点齐全，则分别计算所述四邻域点中的每个邻域点与所述待处理点的灰度差值，并选出绝对值最大的灰度差值，计算选出的灰度差值的绝对值与0.1的乘积，若所述乘积大于1，则将所述待处理点的边缘值设置为1，否则，将所述乘积作为所述待处理点的边缘值。
一种激光雷达与相机之间的标定装置，包括：获取单元以及标定单元；
所述获取单元，用于获取分别在N个位置获得的N站标定数据，每站标定数据中分别包括：相机所采集的影像数据以及激光雷达所采集的点云数据，N为正整数；
所述标定单元，用于分别为每站影像建立影像金字塔，并根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数。
根据本发明一优选实施例，所述标定参数中包括Q个参数，Q为大于一的正整数；
所述标定单元针对第i层金字塔，i为正整数，且1≤i≤M，M为大于一的正整数，表示影像金字塔的层数，按照以下方式进行搜索操作：
分别对所述初始的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括所述初始的标定参数；
针对每个扩展的标定参数，分别根据各影像金字塔中的第i层金字塔对应的影像以及各点云数据，确定出所述扩展的标定参数对应的相似度；
选出对应的相似度取值最大的扩展的标定参数；
若选出的扩展的标定参数与最新得到的初始的标定参数不同，则将选出的扩展的标定参数作为更新后的初始的标定参数，根据更新后的初始的标定参数，重复进行所述搜索操作；
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且存在下一层金字塔，则将选出的扩展的标定参数作为初始的标定参数，对下一层金字塔进行所述搜索操作；
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且不存在下一层金字塔，则将选出的扩展的标定参数作为所述最优的标定参数。
根据本发明一优选实施例，所述标定单元针对每个扩展的标定参数，分别按照以下方式确定出所述扩展的标定参数对应的相似度包括：
针对为第j站影像所建立的影像金字塔中的第i层金字塔，j为正整数，且1≤j≤N，分别计算出第i层金字塔对应的影像与第j站点云数据之间的相似度；
将计算出的N个相似度求均值，将计算出的均值作为所述扩展的标定参数对应的相似度。
根据本发明一优选实施例，所述装置中进一步包括：检验单元；
所述检验单元，用于根据所述标定数据确定是否需要进行重新标定，如果是，则将所述标定数据发送给所述标定单元，并通知所述标定单元执行自身功能。
根据本发明一优选实施例，所述检验单元分别对当前所使用的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括所述当前所使用的标定参数；
针对每个扩展的标定参数，分别计算出每站标定数据中的影像与点云数据之间的相似度，将计算出的N个相似度求均值，将计算出的均值作为所述扩展的标定参数对应的相似度；
若所有的扩展的标定参数中符合预定要求的扩展的标定参数所占比例小于预定阈值，则确定需要进行重新标定，所述预定要求为：对应的相似度小于所述当前所使用的标定参数对应的相似度。
根据本发明一优选实施例，所述标定单元和所述检验单元针对每个参数，分别将所述参数的取值作为默认值，并在预定区间内对所述参数进行离散化处理，得到P个离散值，P为偶数，生成各扩展的标定参数，每个扩展的标定参数中分别包括所述Q个参数，每个参数的取值为默认值或离散值，且任意两个扩展的标定参数均不完全相同。
根据本发明一优选实施例，所述标定单元和所述检验单元计算影像与点云数据之间的相似度的方式包括：
分别获取所述影像中的各像素点的边缘值；
分别获取所述点云数据中的各点的边缘值；
对于所述点云数据中每个点，分别根据相机的内参以及标定参数，将所述点的坐标转换为影像坐标，若所述影像坐标位于所述影像的坐标范围内，则建立所述影像坐标处的像素点的边缘值与所述点的边缘值之间的对应关系；
分别将各对应关系中的两个边缘值相乘，并将各相乘结果相加；
计算相加之和与所建立的对应关系数之比，将计算结果作为所述相似度。
根据本发明一优选实施例，所述标定单元和所述检验单元对所述影像进行边缘提取，得到边缘影像；
将所述边缘影像作为待处理影像，对所述待处理影像进行边缘模糊处理，包括：
对所述待处理影像进行高斯模糊，将模糊后的影像与所述待处理影像按照预定权重叠加，得到虚化保边影像；
将所述虚化保边影像作为所述待处理影像，重复执行所述边缘模糊处理，直至重复次数达到预定次数；
当重复次数达到预定次数时，将最新得到的虚化保边影像作为边缘模糊图像，将所述边缘模糊图像中的各像素点的取值作为各像素点的边缘值。
根据本发明一优选实施例，所述标定单元和所述检验单元针对所述点云数据中的每个点，分别进行以下处理：
将所述点作为待处理点；
获取所述待处理点的四邻域点；
若所述四邻域点不全，则将所述待处理点的边缘值设置为1；
若所述四邻域点齐全，则分别计算所述四邻域点中的每个邻域点与所述待处理点的距离差值，并选出取值最大的距离差值，若选出的距离差值大于1，则将所述待处理点的边缘值设置为1，若选出的距离差值小于0，则将所述待处理点的边缘值设置为0，否则，将选出的距离差值作为所述待处理点的边缘值；
或者，若所述四邻域点齐全，则分别计算所述四邻域点中的每个邻域点与所述待处理点的灰度差值，并选出绝对值最大的灰度差值，计算选出的灰度差值的绝对值与0.1的乘积，若所述乘积大于1，则将所述待处理点的边缘值设置为1，否则，将所述乘积作为所述待处理点的边缘值。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出，采用本发明所述方案，当需要进行激光雷达与相机之间的标定时，可分别在N个位置获取N站标定数据，每站标定数据中分别包括相机所采集的影像数据以及激光雷达所采集的点云数据，之后可分别为每站影像建立影像金字塔，进而根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，从而根据搜索结果确定出最优的标定参数，相比于现有方式，无需依赖于靶标，从而可实现实时地在线标定，而且无需维护固定场地等，从而降低了实现成本。
【附图说明】
图1为本发明所述激光雷达与相机之间的标定方法实施例的流程图。
图2为本发明所述计算影像与点云数据之间的相似度的方法实施例的流程图。
图3为本发明所述对第i层金字塔进行搜索的方法实施例的流程图。
图4为本发明所述激光雷达与相机之间的标定装置实施例的组成结构示意图。
图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明所述激光雷达与相机之间的标定方法实施例的流程图，如图1所示，包括以下具体实现方式。
在101中，分别在N个位置获取N站标定数据，每站标定数据中分别包括：相机所采集的影像数据以及激光雷达所采集的点云数据，N为正整数。
在102中，分别为每站影像建立影像金字塔。
在103中，根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数。
对于搭载具有重叠区域的激光雷达和相机的无人驾驶车辆等移动平台来说，在开始工作前或需要验证标定参数是否正常时，可针对不同位置，采集一站或多站周围场景数据作为标定数据，即可采集N站标定数据，N的具体取值可根据实际需要而定，进而可根据获取到的标定数据确定是否需要进行重新标定，即进行标定检验，如果需要重新标定，则执行102和103，即进行搜索标定，或者，也可以不进行标定检验，而是在获取到标定数据后，直接进行搜索标定，较佳地，可采取先进行标定检验的方式。
以下分别对上述各部分的具体实现进行详细说明。
一)标定检验
为进行标定检验，可分别在不同位置采集一站或多站标定数据，每一个位置对应一站标定数据，每一站标定数据中包括：相机所采集的一张影像数据以及激光雷达所采集的一帧点云数据。
之后，可分别对当前所使用的标定参数中的各参数的取值进行离散化处理，并根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括当前所使用的标定参数。
标定参数中包括Q个参数，Q为大于一的正整数，通常取值为6，即标定参数中可包括6个参数，分别为3个旋转参数和3个平移参数。
针对标定参数中的每个参数，可分别将该参数的取值作为默认值，并在预定区间内对该参数进行离散化处理，从而得到P个离散值，P为偶数，所述预定区间和P的取值均可根据实际需要而定，比如，可在该参数周围取4个离散值，这样，针对该参数，共得到5个取值，分别为1个默认值和4个离散值。
进而可生成各扩展的标定参数，每个扩展的标定参数中分别包括上述Q个参数，每个参数的取值为默认值或离散值，且任意两个扩展的标定参数均不完全相同。
假设将标定参数中的6个参数分别称为参数1-参数6，那么每个扩展的标定参数中均会包括参数1-参数6这6个参数，只是不同的扩展的标定参数中，各参数的取值会有所不同，以任一扩展的标定参数中的参数1为例，参数1的取值可以是默认值，也可以是一个离散值，如果参数1-参数6的取值均为默认值，那么该扩展的标定参数则为当前所使用的标定参数。
之后，针对得到的每个扩展的标定参数，可分别计算出每站标定数据中的影像与点云数据之间的相似度，并可将计算出的N个相似度求均值，进而将计算出的均值作为该扩展的标定参数对应的相似度。
如前所述，共获取到了N站标定数据，针对任一扩展的标定参数，可分别计算出每站标定数据中的影像与点云数据在该扩展的标定参数下的相似度，这样，针对该扩展的标定参数，共可得到N个相似度，这N个相似度的均值即可作为该扩展的标定参数对应的相似度。
假设N的取值为3，即共获取到了3站标定数据，那么可分别计算出第1站标定数据中的影像与点云数据在该扩展的标定参数下的相似度、第2站标定数据中的影像与点云数据在该扩展的标定参数下的相似度以及第3站标定数据中的影像与点云数据在该扩展的标定参数下的相似度，进而计算出3个相似度的均值，作为该扩展的标定参数对应的相似度。
按照上述方式，可分别得到每个扩展的标定参数对应的相似度，进而可进行分析处理，若处理结果显示所有的扩展的标定参数中符合预定要求的扩展的标定参数所占比例小于预定阈值，则确定需要进行重新标定，预定要求为：对应的相似度小于当前所使用的标定参数对应的相似度。
比如，可根据对应的相似度从大到小的顺序，分别对各扩展的标定参数进行排序，如果当前所使用的标定参数排在98％的扩展的标定参数的前面，则可认为不需要进行重新标定，否则，需要进行重新标定。
如前所述，上述实现过程中，需要计算影像与点云数据之间的相似度，以下即对具体计算方式进行说明。
图2为本发明所述计算影像与点云数据之间的相似度的方法实施例的流程图，如图2所示，包括以下具体实现方式。
在201中，分别获取影像中的各像素点的边缘值。
可进行影像边缘处理，以获取适用于标定的影像边缘值信息。
具体地，可首先对影像进行边缘提取，即使用边缘提取算法如Canny边缘提取算子提取影像的边缘信息，从而得到边缘影像。
之后，可将边缘影像作为待处理影像，对待处理影像进行边缘模糊处理，包括：
A、对待处理影像进行高斯模糊，以虚化边缘；
B、将模糊后的影像与待处理影像按照预定权重(如7:3)叠加，得到虚化保边影像；
C、将虚化保边影像作为待处理影像，重复执行A-B，直至重复次数达到预定次数；
比如，可重复3-5次；
D、当重复次数达到预定次数时，将最新得到的虚化保边影像作为边缘模糊图像，将边缘模糊图像中的各像素点的取值作为各像素点的边缘值。
在202中，分别获取点云数据中的各点的边缘值。
可遍历点云数据中的各点，针对每个点，分别按照以下方式进行处理。
将该点作为待处理点，获取待处理点的四邻域点。
其中，若点云为有序点云，可根据序号直接获取待处理点的四邻域点，若点云无序，则可按其扫描角最近邻搜索相邻点，根据点云的分辨率信息寻找最似然四邻域点。
之后，可进一步确定出待处理点的边缘值。
比如，若待处理点的四邻域点不全，如存在无穷远点，那么待处理点为边缘点，可将待处理点的边缘值设置为1。
若待处理点的四邻域点齐全，可分别计算四邻域点中的每个邻域点与待处理点的距离差值(即每个邻域点的距离值与待处理点的距离值作差)，并选出取值最大的距离差值，若选出的距离差值大于1，则将待处理点的边缘值设置为1，若选出的距离差值小于0，则将待处理点的边缘值设置为0，否则，将选出的距离差值作为待处理点的边缘值。
该方式中，若激光雷达水平与垂直方向分辨率不统一，那么还需要进行统一尺度处理，即对于四邻域点中的两个垂直方向上的邻域点，在计算出对应的距离差值之后，需要分别乘以水平与垂直方向分辨率的比值，进而将得到的乘积作为所需的距离差值，参与最大值的选取。
或者，若待处理点的四邻域点齐全，也可分别计算四邻域点中的每个邻域点与待处理点的灰度差值，并选出绝对值最大的灰度差值，计算选出的灰度差值的绝对值与0.1的乘积，若乘积大于1，则将待处理点的边缘值设置为1，否则，将乘积作为待处理点的边缘值。
在203中，对于点云数据中每个点，分别根据相机的内参以及标定参数，将该点的坐标转换为影像坐标，若得到的影像坐标位于影像的坐标范围内，则建立影像坐标处的像素点的边缘值与该点的边缘值之间的对应关系。
在已知相机内参K的前提下，给定一组激光雷达相对于相机的变换参数(标定参数)R,t，点云中的每个点，假设坐标为X，均可根据公式x＝K(RX+t)转换至影像坐标x，若x在影像的坐标范围内，则影像中x处的像素点的边缘值E(Ix)与点云中X处的点的边缘值E(CX)组成对应关系。
在204中，分别将各对应关系中的两个边缘值相乘，并将各相乘结果相加，计算相加之和与所建立的对应关系数之比，将计算结果作为影像与点云数据之间的相似度。
对于一站标定数据，可建立多组上述对应关系，假设共得到100组对应关系，那么针对每组对应关系，可分别将其中的两个边缘值相乘，并将得到的100个相乘结果相加，用相加之和除以100，从而得到该站标定数据在给定的标定参数下的相似度，即得到该站标定数据中的影像与点云数据在给定的标定参数下的相似度。
二)搜索标定
若标定检验结果为需要进行重新标定，那么则需要执行搜索标定过程，即分别为每站影像建立影像金字塔，根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数等。
影像金字塔的层数可根据实际需要而定，针对每站标定数据中的影像，分别按照由粗到细的方式建立相同层数的影像金字塔。
之后，可分别对每层金字塔进行搜索，图3为本发明所述对第i层金字塔进行搜索的方法实施例的流程图，i为正整数，且1≤i≤M，M为大于一的正整数，表示影像金字塔的层数，如图3所示，包括以下具体实现方式。
在301中，分别对初始的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括初始的标定参数。
初始的标定参数可由人工设定，包括Q个参数。
针对初始的标定参数中的每个参数，可分别将该参数的取值作为默认值，并在预定区间内对该参数进行离散化处理，从而得到P个离散值，P为偶数，所述预定区间和P的取值均可根据实际需要而定，比如，可在该参数周围取4个离散值，这样，针对该参数，共得到5个取值，分别为1个默认值和4个离散值。
进而可生成各扩展的标定参数，每个扩展的标定参数中分别包括Q个参数，每个参数的取值为默认值或离散值，且任意两个扩展的标定参数均不完全相同。
在302中，针对每个扩展的标定参数，分别根据各影像金字塔中的第i层金字塔对应的影像以及各点云数据，确定出该扩展的标定参数对应的相似度。
具体地，可针对为第j站影像所建立的影像金字塔中的第i层金字塔，j为正整数，且1≤j≤N，分别计算出第i层金字塔对应的影像与第j站点云数据之间的相似度，进而将计算出的N个相似度求均值，将计算出的均值作为该扩展的标定参数对应的相似度。
对于任一扩展的标定参数，假设N的取值为2，i的取值为1，那么可计算出为第1站影像所建立的影像金字塔中的第1层金字塔对应的影像与第1站点云数据之间的相似度，并计算出为第2站影像所建立的影像金字塔中的第1层金字塔对应的影像与第2站点云数据之间的相似度，从而得到两个相似度计算结果，进而可将二者的均值作为该扩展的标定参数对应的相似度。
计算影像与点云数据之间的相似度的方式可参照前述相关说明，不再赘述。
在303中，选出对应的相似度取值最大的扩展的标定参数。
在304中，若选出的扩展的标定参数与最新得到的初始的标定参数不同，则将选出的扩展的标定参数作为更新后的初始的标定参数，根据更新后的初始的标定参数，重复执行301。
在305中，若选出的扩展的标定参数与最新得到的初始的标定参数相同，且存在下一层金字塔，则将选出的扩展的标定参数作为初始的标定参数，对下一层金字塔进行搜索操作。
在306中，若选出的扩展的标定参数与最新得到的初始的标定参数相同，且不存在下一层金字塔，则将选出的扩展的标定参数作为最优的标定参数。
也就是说，对于每一层探索，根据给定的初始的标定参数生成多组扩展的标定参数，搜索寻找相似度最高的一组扩展的标定参数作为下一次搜索的初始的标定参数，直到某一次搜索时选出的扩展的标定参数与最新得到的初始的标定参数相同，则该层金字塔搜索结束，根据最新得到的初始的标定参数，对下一层金字塔进行搜索，直到搜索至金字塔的最底层，输出最优的标定参数，完成标定。
可以看出，采用上述各方法实施例所述方案，无需依赖于靶标，可实现实时地在线标定，而且无需维护固定场地等，从而降低了实现成本。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
图4为本发明所述激光雷达与相机之间的标定装置实施例的组成结构示意图，如图4所示，包括：获取单元401以及标定单元402。
获取单元401，用于获取分别在N个位置获得的N站标定数据，每站标定数据中分别包括：相机所采集的影像数据以及激光雷达所采集的点云数据，N为正整数。
标定单元402，用于分别为每站影像建立影像金字塔，并根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数。
对于搭载具有重叠区域的激光雷达和相机的无人驾驶车辆等移动平台来说，在开始工作前或需要验证标定参数是否正常时，可分别在不同位置采集一站或多站标定数据，每一个位置对应一站标定数据，每一站标定数据中包括：相机所采集的一张影像数据以及激光雷达所采集的一帧点云数据。
根据获取到的标定数据，可首先确定是否需要进行重新标定，即进行标定检验，相应地，图4所示装置中可进一步包括：检验单元403。
检验单元403，用于根据标定数据确定是否需要进行重新标定，如果是，则将标定数据发送给标定单元402，并通知标定单元402执行自身功能。
具体地，检验单元403可分别对当前所使用的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括当前所使用的标定参数，标定参数中包括Q个参数，Q为大于一的正整数。
比如，检验单元403可针对每个参数，分别将该参数的取值作为默认值，并在预定区间内对该参数进行离散化处理，得到P个离散值，P为偶数，进而生成各扩展的标定参数，每个扩展的标定参数中分别包括Q个参数，每个参数的取值为默认值或离散值，且任意两个扩展的标定参数均不完全相同。
针对每个扩展的标定参数，检验单元403可分别计算出每站标定数据中的影像与点云数据之间的相似度，将计算出的N个相似度求均值，将计算出的均值作为该扩展的标定参数对应的相似度。
若所有的扩展的标定参数中符合预定要求的扩展的标定参数所占比例小于预定阈值，则检验单元403可确定需要进行重新标定，预定要求为：对应的相似度小于当前所使用的标定参数对应的相似度。
其中，检验单元403计算每站标定数据中的影像与点云数据之间的相似度的方式可为：分别获取影像中的各像素点的边缘值；分别获取点云数据中的各点的边缘值；对于点云数据中每个点，分别根据相机的内参以及标定参数，将该点的坐标转换为影像坐标，若影像坐标位于影像的坐标范围内，则建立影像坐标处的像素点的边缘值与该点的边缘值之间的对应关系；分别将各对应关系中的两个边缘值相乘，并将各相乘结果相加；计算相加之和与所建立的对应关系数之比，将计算结果作为所需的相似度。
为了得到影像中的各像素点的边缘值，检验单元403可首先对影像进行边缘提取，得到边缘影像，之后，可将边缘影像作为待处理影像，对待处理影像进行边缘模糊处理，包括：对待处理影像进行高斯模糊；将模糊后的影像与待处理影像按照预定权重叠加，得到虚化保边影像；将虚化保边影像作为待处理影像，重复执行所述边缘模糊处理，直至重复次数达到预定次数；当重复次数达到预定次数时，将最新得到的虚化保边影像作为边缘模糊图像，将边缘模糊图像中的各像素点的取值作为各像素点的边缘值。
而为了得到点云数据中的各点的边缘值，检验单元403可针对点云数据中的每个点，分别进行以下处理：将该点作为待处理点；获取待处理点的四邻域点；若四邻域点不全，则将待处理点的边缘值设置为1；若四邻域点齐全，则分别计算四邻域点中的每个邻域点与待处理点的距离差值，并选出取值最大的距离差值，若选出的距离差值大于1，则将待处理点的边缘值设置为1，若选出的距离差值小于0，则将待处理点的边缘值设置为0，否则，将选出的距离差值作为待处理点的边缘值；或者，若四邻域点齐全，则分别计算四邻域点中的每个邻域点与待处理点的灰度差值，并选出绝对值最大的灰度差值，计算选出的灰度差值的绝对值与0.1的乘积，若乘积大于1，则将待处理点的边缘值设置为1，否则，将乘积作为待处理点的边缘值。
如果检验单元403确定需要进行重新标定，那么标定单元402可分别为每站影像建立影像金字塔，并根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数。
具体地，标定单元402可针对第i层金字塔，i为正整数，且1≤i≤M，M为大于一的正整数，表示影像金字塔的层数，分别按照以下方式进行搜索操作。
首先，标定单元402可分别对初始的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括初始的标定参数。
比如，标定单元402可针对每个参数，分别将该参数的取值作为默认值，并在预定区间内对该参数进行离散化处理，得到P个离散值，P为偶数，生成各扩展的标定参数，每个扩展的标定参数中分别包括所述Q个参数，每个参数的取值为默认值或离散值，且任意两个扩展的标定参数均不完全相同。
之后，针对每个扩展的标定参数，标定单元402可分别根据各影像金字塔中的第i层金字塔对应的影像以及各点云数据，确定出该扩展的标定参数对应的相似度。
比如，针对为第j站影像所建立的影像金字塔中的第i层金字塔，j为正整数，且1≤j≤N，分别计算出第i层金字塔对应的影像与第j站点云数据之间的相似度，将计算出的N个相似度求均值，将计算出的均值作为该扩展的标定参数对应的相似度。
在分别得到每个扩展的标定参数对应的相似度之后，标定单元402可从中选出对应的相似度取值最大的扩展的标定参数。
若选出的扩展的标定参数与最新得到的初始的标定参数不同，标定单元402可将选出的扩展的标定参数作为更新后的初始的标定参数，根据更新后的初始的标定参数，重复进行所述搜索操作。
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且存在下一层金字塔，标定单元402可将选出的扩展的标定参数作为初始的标定参数，对下一层金字塔进行搜索操作。
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且不存在下一层金字塔，标定单元402可将选出的扩展的标定参数作为最优的标定参数，完成标定。
图4所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明，不再赘述。
可以看出，采用上述装置实施例所述方案，无需依赖于靶标，可实现实时地在线标定，而且无需维护固定场地等，从而降低了实现成本等。
图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图5显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所示实施例中的方法，即：分别在N个位置获取N站标定数据，每站标定数据中分别包括：相机所采集的影像数据以及激光雷达所采集的点云数据，N为正整数；分别为每站影像建立影像金字塔；根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数。
具体实现请参照前述各实施例中的相关说明，不再赘述。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (20)

1.一种激光雷达与相机之间的标定方法，其特征在于，包括：
分别在N个位置获取N站标定数据，每站标定数据中分别包括：相机所采集的影像数据以及激光雷达所采集的点云数据，N为正整数；
分别为每站影像建立影像金字塔；
根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数；其中，对于每一层搜索，根据初始的标定参数生成多组扩展的标定参数，搜索选出对应的相似度最高的扩展的标定参数作为下一次搜索的初始的标定参数，当选出的扩展的标定参数与最新得到的初始的标定参数相同时，若存在下一层金字塔，则将选出的扩展的标定参数作为初始的标定参数，对下一层金字塔进行搜索，若不存在下一层金字塔，则将选出的扩展的标定参数作为所述最优的标定参数。
2.根据权利要求1所述的方法，其特征在于，
所述标定参数中包括Q个参数，Q为大于一的正整数；
所述根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数包括：
针对第i层金字塔，i为正整数，且1≤i≤M，M为大于一的正整数，表示影像金字塔的层数，分别按照以下方式进行搜索操作：
分别对所述初始的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括所述初始的标定参数；
针对每个扩展的标定参数，分别根据各影像金字塔中的第i层金字塔对应的影像以及各点云数据，确定出所述扩展的标定参数对应的相似度；
选出对应的相似度取值最大的扩展的标定参数；
若选出的扩展的标定参数与最新得到的初始的标定参数不同，则将选出的扩展的标定参数作为更新后的初始的标定参数，根据更新后的初始的标定参数，重复进行所述搜索操作；
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且存在下一层金字塔，则将选出的扩展的标定参数作为初始的标定参数，对下一层金字塔进行所述搜索操作；
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且不存在下一层金字塔，则将选出的扩展的标定参数作为所述最优的标定参数。
3.根据权利要求2所述的方法，其特征在于，
所述针对每个扩展的标定参数，分别根据各影像金字塔中的第i层金字塔对应的影像以及各点云数据，确定出所述扩展的标定参数对应的相似度包括：
针对为第j站影像所建立的影像金字塔中的第i层金字塔，j为正整数，且1≤j≤N，分别计算出第i层金字塔对应的影像与第j站点云数据之间的相似度；
将计算出的N个相似度求均值，将计算出的均值作为所述扩展的标定参数对应的相似度。
4.根据权利要求3所述的方法，其特征在于，
所述分别为每站影像建立影像金字塔之前，进一步包括：
根据所述标定数据确定是否需要进行重新标定，如果是，则分别为每站影像建立影像金字塔。
5.根据权利要求4所述的方法，其特征在于，
所述根据所述标定数据确定是否需要进行重新标定包括：
分别对当前所使用的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括所述当前所使用的标定参数；
针对每个扩展的标定参数，分别计算出每站标定数据中的影像与点云数据之间的相似度，将计算出的N个相似度求均值，将计算出的均值作为所述扩展的标定参数对应的相似度；
若所有的扩展的标定参数中符合预定要求的扩展的标定参数所占比例小于预定阈值，则确定需要进行重新标定，所述预定要求为：对应的相似度小于所述当前所使用的标定参数对应的相似度。
6.根据权利要求5所述的方法，其特征在于，
所述对各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数包括：
针对每个参数，分别将所述参数的取值作为默认值，并在预定区间内对所述参数进行离散化处理，得到P个离散值，P为偶数；
生成各扩展的标定参数，每个扩展的标定参数中分别包括所述Q个参数，每个参数的取值为默认值或离散值，且任意两个扩展的标定参数均不完全相同。
7.根据权利要求5所述的方法，其特征在于，
计算影像与点云数据之间的相似度的方式包括：
分别获取所述影像中的各像素点的边缘值；
分别获取所述点云数据中的各点的边缘值；
对于所述点云数据中每个点，分别根据相机的内参以及标定参数，将所述点的坐标转换为影像坐标，若所述影像坐标位于所述影像的坐标范围内，则建立所述影像坐标处的像素点的边缘值与所述点的边缘值之间的对应关系；
分别将各对应关系中的两个边缘值相乘，并将各相乘结果相加；
计算相加之和与所建立的对应关系数量之比，将计算结果作为所述相似度。
8.根据权利要求7所述的方法，其特征在于，
所述分别获取所述影像中的各像素点的边缘值包括：
对所述影像进行边缘提取，得到边缘影像；
将所述边缘影像作为待处理影像，对所述待处理影像进行边缘模糊处理，包括：
对所述待处理影像进行高斯模糊，将模糊后的影像与所述待处理影像按照预定权重叠加，得到虚化保边影像；
将所述虚化保边影像作为所述待处理影像，重复执行所述边缘模糊处理，直至重复次数达到预定次数；
当重复次数达到预定次数时，将最新得到的虚化保边影像作为边缘模糊图像，将所述边缘模糊图像中的各像素点的取值作为各像素点的边缘值。
9.根据权利要求7所述的方法，其特征在于，
所述分别获取所述点云数据中的各点的边缘值包括：
针对所述点云数据中的每个点，分别进行以下处理：
将所述点作为待处理点；
获取所述待处理点的四邻域点；
若所述四邻域点不全，则将所述待处理点的边缘值设置为1；
若所述四邻域点齐全，则分别计算所述四邻域点中的每个邻域点与所述待处理点的距离差值，并选出取值最大的距离差值，若选出的距离差值大于1，则将所述待处理点的边缘值设置为1，若选出的距离差值小于0，则将所述待处理点的边缘值设置为0，否则，将选出的距离差值作为所述待处理点的边缘值；
或者，若所述四邻域点齐全，则分别计算所述四邻域点中的每个邻域点与所述待处理点的灰度差值，并选出绝对值最大的灰度差值，计算选出的灰度差值的绝对值与0.1的乘积，若所述乘积大于1，则将所述待处理点的边缘值设置为1，否则，将所述乘积作为所述待处理点的边缘值。
10.一种激光雷达与相机之间的标定装置，其特征在于，包括：获取单元以及标定单元；
所述获取单元，用于获取分别在N个位置获得的N站标定数据，每站标定数据中分别包括：相机所采集的影像数据以及激光雷达所采集的点云数据，N为正整数；
所述标定单元，用于分别为每站影像建立影像金字塔，并根据设置的初始的标定参数以及各点云数据，按照从上到下的顺序分别对每层金字塔进行搜索，根据搜索结果确定出最优的标定参数；其中，对于每一层搜索，根据初始的标定参数生成多组扩展的标定参数，搜索选出对应的相似度最高的扩展的标定参数作为下一次搜索的初始的标定参数，当选出的扩展的标定参数与最新得到的初始的标定参数相同时，若存在下一层金字塔，则将选出的扩展的标定参数作为初始的标定参数，对下一层金字塔进行搜索，若不存在下一层金字塔，则将选出的扩展的标定参数作为所述最优的标定参数。
11.根据权利要求10所述的装置，其特征在于，
所述标定参数中包括Q个参数，Q为大于一的正整数；
所述标定单元针对第i层金字塔，i为正整数，且1≤i≤M，M为大于一的正整数，表示影像金字塔的层数，分别按照以下方式进行搜索操作：
分别对所述初始的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括所述初始的标定参数；
针对每个扩展的标定参数，分别根据各影像金字塔中的第i层金字塔对应的影像以及各点云数据，确定出所述扩展的标定参数对应的相似度；
选出对应的相似度取值最大的扩展的标定参数；
若选出的扩展的标定参数与最新得到的初始的标定参数不同，则将选出的扩展的标定参数作为更新后的初始的标定参数，根据更新后的初始的标定参数，重复进行所述搜索操作；
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且存在下一层金字塔，则将选出的扩展的标定参数作为初始的标定参数，对下一层金字塔进行所述搜索操作；
若选出的扩展的标定参数与最新得到的初始的标定参数相同，且不存在下一层金字塔，则将选出的扩展的标定参数作为所述最优的标定参数。
12.根据权利要求11所述的装置，其特征在于，
所述标定单元针对每个扩展的标定参数，分别按照以下方式确定出所述扩展的标定参数对应的相似度：
针对为第j站影像所建立的影像金字塔中的第i层金字塔，j为正整数，且1≤j≤N，分别计算出第i层金字塔对应的影像与第j站点云数据之间的相似度；
将计算出的N个相似度求均值，将计算出的均值作为所述扩展的标定参数对应的相似度。
13.根据权利要求12所述的装置，其特征在于，
所述装置中进一步包括：检验单元；
所述检验单元，用于根据所述标定数据确定是否需要进行重新标定，如果是，则将所述标定数据发送给所述标定单元，并通知所述标定单元执行自身功能。
14.根据权利要求13所述的装置，其特征在于，
所述检验单元分别对当前所使用的标定参数中的各参数的取值进行离散化处理，根据离散化处理结果生成各扩展的标定参数，各扩展的标定参数中包括所述当前所使用的标定参数；
针对每个扩展的标定参数，分别计算出每站标定数据中的影像与点云数据之间的相似度，将计算出的N个相似度求均值，将计算出的均值作为所述扩展的标定参数对应的相似度；
若所有的扩展的标定参数中符合预定要求的扩展的标定参数所占比例小于预定阈值，则确定需要进行重新标定，所述预定要求为：对应的相似度小于所述当前所使用的标定参数对应的相似度。
15.根据权利要求14所述的装置，其特征在于，
所述标定单元和所述检验单元针对每个参数，分别将所述参数的取值作为默认值，并在预定区间内对所述参数进行离散化处理，得到P个离散值，P为偶数，生成各扩展的标定参数，每个扩展的标定参数中分别包括所述Q个参数，每个参数的取值为默认值或离散值，且任意两个扩展的标定参数均不完全相同。
16.根据权利要求14所述的装置，其特征在于，
所述标定单元和所述检验单元计算影像与点云数据之间的相似度的方式包括：
分别获取所述影像中的各像素点的边缘值；
分别获取所述点云数据中的各点的边缘值；
对于所述点云数据中每个点，分别根据相机的内参以及标定参数，将所述点的坐标转换为影像坐标，若所述影像坐标位于所述影像的坐标范围内，则建立所述影像坐标处的像素点的边缘值与所述点的边缘值之间的对应关系；
分别将各对应关系中的两个边缘值相乘，并将各相乘结果相加；
计算相加之和与所建立的对应关系数量之比，将计算结果作为所述相似度。
17.根据权利要求16所述的装置，其特征在于，
所述标定单元和所述检验单元对所述影像进行边缘提取，得到边缘影像；
将所述边缘影像作为待处理影像，对所述待处理影像进行边缘模糊处理，包括：
对所述待处理影像进行高斯模糊，将模糊后的影像与所述待处理影像按照预定权重叠加，得到虚化保边影像；
将所述虚化保边影像作为所述待处理影像，重复执行所述边缘模糊处理，直至重复次数达到预定次数；
当重复次数达到预定次数时，将最新得到的虚化保边影像作为边缘模糊图像，将所述边缘模糊图像中的各像素点的取值作为各像素点的边缘值。
18.根据权利要求16所述的装置，其特征在于，
所述标定单元和所述检验单元针对所述点云数据中的每个点，分别进行以下处理：
将所述点作为待处理点；
获取所述待处理点的四邻域点；
若所述四邻域点不全，则将所述待处理点的边缘值设置为1；
若所述四邻域点齐全，则分别计算所述四邻域点中的每个邻域点与所述待处理点的距离差值，并选出取值最大的距离差值，若选出的距离差值大于1，则将所述待处理点的边缘值设置为1，若选出的距离差值小于0，则将所述待处理点的边缘值设置为0，否则，将选出的距离差值作为所述待处理点的边缘值；
或者，若所述四邻域点齐全，则分别计算所述四邻域点中的每个邻域点与所述待处理点的灰度差值，并选出绝对值最大的灰度差值，计算选出的灰度差值的绝对值与0.1的乘积，若所述乘积大于1，则将所述待处理点的边缘值设置为1，否则，将所述乘积作为所述待处理点的边缘值。
19.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～9中任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～9中任一项所述的方法。
CN201710480669.9A 2017-06-22 2017-06-22 激光雷达与相机之间的标定方法、装置、设备及存储介质 Active CN109118542B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710480669.9A CN109118542B (zh) 2017-06-22 2017-06-22 激光雷达与相机之间的标定方法、装置、设备及存储介质
US16/011,152 US11181624B2 (en) 2017-06-22 2018-06-18 Method and apparatus for calibration between laser radar and camera, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710480669.9A CN109118542B (zh) 2017-06-22 2017-06-22 激光雷达与相机之间的标定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109118542A CN109118542A (zh) 2019-01-01
CN109118542B true CN109118542B (zh) 2021-11-23

Family

ID=64693089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710480669.9A Active CN109118542B (zh) 2017-06-22 2017-06-22 激光雷达与相机之间的标定方法、装置、设备及存储介质

Country Status (2)

Country Link
US (1) US11181624B2 (zh)
CN (1) CN109118542B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383278A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种双摄像头的标定方法、装置及设备
CN111771140A (zh) * 2019-01-30 2020-10-13 深圳市大疆创新科技有限公司 一种探测装置外参数标定方法、数据处理装置和探测系统
CN109765901A (zh) * 2019-02-18 2019-05-17 华南理工大学 基于线激光与双目视觉的动态代价地图导航方法
CN109859254B (zh) * 2019-02-28 2022-08-30 北京百度网讯科技有限公司 自动驾驶中用于发送信息的方法和装置
CN110221275B (zh) * 2019-05-21 2023-06-23 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置
FR3098929B1 (fr) * 2019-07-16 2021-06-18 Yellowscan Procédé de détermination de paramètres d'étalonnage extrinseques d'un système de mesure
CN110749876B (zh) * 2019-08-30 2021-11-19 上海禾赛科技有限公司 可用于激光雷达的校准方法以及装校结构
CN111122128B (zh) * 2020-01-03 2022-04-19 浙江大华技术股份有限公司 一种球形摄像机的标定方法及装置
CN115356711A (zh) * 2020-03-10 2022-11-18 上海高仙自动化科技发展有限公司 外参标定方法及装置、智能机器人及计算机可读存储介质
CN111340797B (zh) * 2020-03-10 2023-04-28 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN113494927A (zh) * 2020-03-20 2021-10-12 郑州宇通客车股份有限公司 一种车辆多传感器标定方法、装置及车辆
CN111551907B (zh) * 2020-05-12 2023-06-13 浙江大华技术股份有限公司 一种防区规划处理方法及装置
CN111696141B (zh) * 2020-05-22 2023-10-27 武汉天际航信息科技股份有限公司 一种三维全景扫描采集方法、设备及存储设备
CN111856436A (zh) * 2020-07-02 2020-10-30 大连理工大学 一种多线激光雷达和红外相机的联合标定装置及标定方法
CN112305557B (zh) * 2020-10-20 2023-10-20 深圳市诺达通信技术有限公司 一种全景相机与多线激光雷达外参标定系统
CN112419372B (zh) * 2020-11-11 2024-05-17 广东拓斯达科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN112630736B (zh) * 2020-12-21 2024-05-07 阿波罗智联(北京)科技有限公司 路侧雷达的参数确定方法、装置、设备及存储介质
CN112881999B (zh) * 2021-01-25 2024-02-02 上海西虹桥导航技术有限公司 一种用于多线激光雷达与视觉传感器的半自动标定方法
CN113064145B (zh) * 2021-03-24 2024-03-29 盎锐(杭州)信息科技有限公司 基于激光雷达的水平标定方法、系统及激光雷达
CN113538340A (zh) * 2021-06-24 2021-10-22 武汉中科医疗科技工业技术研究院有限公司 目标轮廓的检测方法、装置、计算机设备和存储介质
CN113791426B (zh) * 2021-09-10 2024-07-16 深圳市唯特视科技有限公司 雷达p显界面生成方法、装置、计算机设备及存储介质
CN114758005B (zh) * 2022-03-23 2023-03-28 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6333749B1 (en) * 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
CN104142157A (zh) * 2013-05-06 2014-11-12 北京四维图新科技股份有限公司 一种标定方法、装置及设备
CN104899857A (zh) * 2014-03-06 2015-09-09 汤姆逊许可公司 使用颜色编码结构的相机标定方法及装置
CN106871932A (zh) * 2017-04-20 2017-06-20 国家测绘地理信息局卫星测绘应用中心 基于金字塔搜索地形匹配的星载激光在轨指向检校方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657083B2 (en) * 2000-03-08 2010-02-02 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US6785427B1 (en) * 2000-09-20 2004-08-31 Arcsoft, Inc. Image matching using resolution pyramids with geometric constraints
KR101195942B1 (ko) * 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
CN101882313B (zh) * 2010-07-14 2011-12-21 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN102693319B (zh) * 2012-05-31 2015-09-16 北京拓维思科技有限公司 基于金字塔的海量激光雷达点云存储方法
CN103837869B (zh) * 2014-02-26 2016-06-01 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法
US10198858B2 (en) * 2017-03-27 2019-02-05 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images
JP7038346B2 (ja) * 2017-05-01 2022-03-18 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出方法、カメラパラメータ算出プログラム、及びカメラパラメータ算出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6333749B1 (en) * 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
CN104142157A (zh) * 2013-05-06 2014-11-12 北京四维图新科技股份有限公司 一种标定方法、装置及设备
CN104899857A (zh) * 2014-03-06 2015-09-09 汤姆逊许可公司 使用颜色编码结构的相机标定方法及装置
CN106871932A (zh) * 2017-04-20 2017-06-20 国家测绘地理信息局卫星测绘应用中心 基于金字塔搜索地形匹配的星载激光在轨指向检校方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Calibration of an Outdoor Distributed Camera Network with a 3D Point Cloud;Agustín Ortega等;《Sensors》;20140729;全文 *

Also Published As

Publication number Publication date
US20180372852A1 (en) 2018-12-27
CN109118542A (zh) 2019-01-01
US11181624B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
CN109118542B (zh) 激光雷达与相机之间的标定方法、装置、设备及存储介质
CN109410218B (zh) 用于生成车辆损伤信息的方法和装置
CN110163903B (zh) 三维图像的获取及图像定位方法、装置、设备和存储介质
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN109300159A (zh) 位置检测方法、装置、设备、存储介质及车辆
CN112771573A (zh) 基于散斑图像的深度估计方法及装置、人脸识别系统
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
US9563937B2 (en) High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program
CN103345738B (zh) 基于感兴趣区域的对象检测方法及装置
CN115880435A (zh) 图像重建方法、模型训练方法、装置、电子设备和介质
CN110555798A (zh) 图像变形方法、装置、电子设备及计算机可读存储介质
US11544839B2 (en) System, apparatus and method for facilitating inspection of a target object
CN114119990B (zh) 用于图像特征点匹配的方法、装置及计算机程序产品
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN114859938A (zh) 机器人、动态障碍物状态估计方法、装置和计算机设备
CN113421217A (zh) 可行驶区域检测方法和装置
CN114926549A (zh) 三维点云处理方法、装置、设备以及存储介质
CN110298797B (zh) 一种基于卷积神经网络的毫米波图像处理方法
CN114266876B (zh) 定位方法、视觉地图的生成方法及其装置
CN115393423A (zh) 目标检测方法和装置
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN115131243A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112991179B (zh) 用于输出信息的方法、装置、设备以及存储介质
CN113312979B (zh) 图像处理方法、装置、电子设备、路侧设备及云控平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211014

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant