CN111383285B - 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 - Google Patents
一种基于毫米波雷达与摄像机传感器融合标定方法及系统 Download PDFInfo
- Publication number
- CN111383285B CN111383285B CN201911166511.XA CN201911166511A CN111383285B CN 111383285 B CN111383285 B CN 111383285B CN 201911166511 A CN201911166511 A CN 201911166511A CN 111383285 B CN111383285 B CN 111383285B
- Authority
- CN
- China
- Prior art keywords
- millimeter wave
- wave radar
- fusion
- data
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 230000001360 synchronised effect Effects 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000002441 reversible effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于毫米波雷达与摄像机传感器融合标定方法及系统，包括标定摄像机传感器获取镜头畸变系数，利用角反装置采集融合标定数据，畸变矫正所述融合标定数据中的图像数据，手动提取所述角反装置中心图像坐标，将毫米波雷达坐标系中所述角反的坐标信息转换到笛卡尔坐标系，利用对应所述角反坐标点计算单应性矩阵，计算重投影误差优化结果，利用同步电路产生同步方波信号，同时触发所述毫米波雷达和所述摄像机传感器同步采集数据。通过本发明触发毫米波雷达和摄像机传感器同步采集数据，计算矩阵，优化结果，简化了标定流程、减小了标定误差，使融合效果更加精确。
Description
技术领域
本发明涉及传感器融合技术领域，尤其涉及一种基于毫米波雷达与摄像机传感器融合标定方法及系统。
背景技术
传感器数据融合把分布在不同位置的多个同类或不同类传感器所提供的局部数据资源加以综合，采用计算机技术对其进行分析，消除多传感器信息之间可能存在的冗余和矛盾，加以互补，降低其不确实性，获得被测对象的一致性解释与描述，从而提高系统决策、规划、反应的快速性和正确性，使系统获得更充分的信息。
在毫米波雷达与摄像机传感器之间的融合标定技术中，分为空间和时间两部分。在空间上，常用的方法是进行多个坐标系转换，包括图像坐标系、摄像机坐标系、毫米波雷达坐标系、世界坐标系，然后根据某些关联点来计算多个坐标系之间的转换关系，从而实现两传感器空间上的融合；在时间上，由于两传感器采集频率不同，无法实现同步采集，可以根据其数据所携带的时间戳，进行相似时间上的数据匹配，实现时间上的融合。
在空间融合上需要实现多个坐标系之间转换，流程复杂，标定难度高，并且多个转换关系之间误差会被累积；在时间融合上，利用时间戳基本可以实现时间匹配，但是还是难免会出现几毫秒的误差，目标在高速情况下，这个误差也不容小视。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种基于毫米波雷达与摄像机传感器融合标定方法及系统，减小标定误差，使融合效果更加精确。
为解决上述技术问题，本发明提供如下技术方案：标定摄像机传感器，获取镜头畸变系数；利用角反装置，采集融合标定数据；畸变矫正所述融合标定数据中的图像数据；手动提取所述角反装置中心图像坐标；将毫米波雷达坐标系中所述角反的坐标信息转换到笛卡尔坐标系；利用对应所述角反坐标点，计算单应性矩阵；计算重投影误差，优化结果；利用同步电路产生同步方波信号，同时触发所述毫米波雷达和所述摄像机传感器同步采集数据；将采集到目标点的所述毫米波雷达数据与所述单应性矩阵相乘，得到所述目标点在图像坐标系中的坐标，融合数据。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：所述畸变包括二阶径向畸变和二阶切向畸变，获取所述畸变系数包括，利用棋盘格标定板，采集13张不同位姿下的标定图像；在matlab标定工具箱内读入所述标定图像；标定所述摄像机，获取所述畸变系数；保存得到的所述摄像机内参矩阵M和二阶径向畸变系数k1、k2和二阶切向畸变系数p1、p2。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：将所述角反装置放置到空间中的不同位置；随机放置在所述毫米波雷达探测范围和所述摄像机传感器测量范围的重合区域；所述角反装置的每个位置同时采集10组所述毫米波雷达数据和所述图像数据。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：按顺序存放采集到的不同位置的角反图像；依次读取所述角反图像；使用opencv中initUndistortRectifyMap()函数，输入所述摄像机内参矩阵M和所述畸变系数矩阵[k1,k2,p1,p2]；畸变矫正所述图像。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：检测到所述角反装置的中心位置；记录所述图像坐标；提取所述角反中心图像坐标(u_i,v_i)。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：所述毫米波雷达数据默认为极坐标系中，转换到所述笛卡尔坐标系包括，获取所述毫米波雷达数据；采集所述毫米波雷达数据极坐标系下坐标(p,θ)；利用公式转换到所述笛卡尔坐标系下坐标(x,y)；其中，定义
x＝ρ*sin(θ)
y＝ρ*cos(θ)
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：将所述角反中心图像坐标(u_i,v_i)和所述笛卡尔坐标系下坐标(x_i,y_i)分别构建矩阵；利用所述opencv中initUndistortRectifyMap()函数，输入对应组点；计算并输出所述角反图像坐标和所述毫米波雷达坐标之间的所述单应性矩阵H。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法的一种优选方案，其中：利用所述单应性矩阵H计算所述笛卡尔坐标系下坐标(x_i,y_i)对应在所述图像坐标系下的坐标(u_i1,v_i1)；计算所述每个角反组点的重投影误差d_i；定义，
手动去除所述重投影误差较大的点；重新计算所述单应性矩阵H，优化结果。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定系统的一种优选方案，其中：所述采集模块包括图像识别单元和数据处理单元，所述角反装置通过所述毫米波雷达与所述摄像机传感器获取图像信息，并传输到所述图像识别单元，同时触发所述数据处理单元接收信息，对所述信息处理坐标值和标定数据；所述转换模块与所述采集模块相连，其包括接收单元和坐标变换单元，所述接收单元获取所述图像坐标值后，传递指令到所述坐标变换单元将极坐标系下的坐标变换成笛卡尔坐标系下的坐标；所述计算模块连接贯穿于所述采集模块和转换模块，所述采集模块采集所述标定数据时，所述计算模块内的运算器同时启动并计算所述标定系数和坐标值，解算转换坐标公式，通过破解所述矩阵方程、去除误差，优化数据结果，触发所述采集模块同时采集所述毫米波雷达和所述摄像机传感器采集数据。
本发明的有益效果：通过毫米波雷达和摄像机传感器同步采集数据，计算矩阵，优化结果，简化了标定流程、减小了标定误差，使融合效果更加精确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明提供的一种基于毫米波雷达与摄像机传感器融合标定方法的流程示意图；
图2为本发明提供的一种基于毫米波雷达与摄像机传感器融合标定方法的采集标定数据示意图；
图3为本发明提供的一种基于毫米波雷达与摄像机传感器融合标定系统的系统模块示意图；
图4为本发明提供的一种基于毫米波雷达与摄像机传感器融合标定系统的模块结构又一种示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～2，为本发明的第一个实施例，提供了一种基于毫米波雷达与摄像机传感器的融合标定方法，如图1，一种基于毫米波雷达与摄像机传感器的融合标定方法包括空间融合和时间融合，空间融合包括标定摄像机传感器获取镜头畸变系数；利用角反装置采集融合标定数据；畸变矫正融合标定数据中的图像数据；手动提取角反装置中心图像坐标；将毫米波雷达坐标系中角反的坐标信息转换到笛卡尔坐标系；利用对应角反坐标点计算单应性矩阵；计算重投影误差优化结果；时间融合包括利用同步电路产生同步方波信号，同时触发毫米波雷达和摄像机传感器同步采集数据；将采集到目标点的所述毫米波雷达数据与所述单应性矩阵相乘，得到所述目标点在图像坐标系中的坐标，融合数据。角反装置为雷达反射器，它是通过金属板材根据不同用途做成的不同规格的雷达波反射器，当雷达电磁波扫描到角反射器后，电磁波会在金属角上产生折射放大、很强的回波信号，在雷达的屏幕上出现回波目标。
较佳的，参照图2，在空间上，毫米波雷达坐标系是在水平面上的一个二维坐标系，图像坐标系是在空间中的位置由摄像机实际位置决定的另一个二维坐标系，将毫米波雷达坐标系和图像坐标系之间的关系用旋转矩阵R和平移向量T表示，最终由单应性矩阵H描述两个二维坐标系之间坐标点的对应关系；在时间上，利用一个同步信号触发两传感器来采集数据。
具体的，参照图1，一种基于毫米波雷达与摄像机传感器的融合标定方法包括，
S1：标定摄像机传感器获取镜头畸变系数。其中需要说明的是，畸变包括二阶径向畸变和二阶切向畸变，获取畸变系数步骤包括，
利用棋盘格标定板，采集13张不同位姿下的标定图像；
在matlab标定工具箱内读入标定图像；
标定摄像机，获取畸变系数；
保存得到的摄像机内参矩阵M和二阶径向畸变系数k1、k2和二阶切向畸变系数p1、p2。
S2：利用角反装置，采集融合标定数据。本步骤需要说明的是，
将角反装置放置到空间中的不同位置；
随机放置在毫米波雷达探测范围和摄像机传感器测量范围的重合区域；
角反装置的每个位置同时采集10组毫米波雷达数据和图像数据。
S3：畸变矫正融合标定数据中的图像数据。其中还需要说明的是，畸变矫正步骤包括，
按顺序存放采集到的不同位置的角反图像；
依次读取角反图像；
使用opencv中initUndistortRectifyMap()函数，输入摄像机内参矩阵M和畸变系数矩阵[k1,k2,p1,p2]；
畸变矫正图像。
S4：手动提取角反装置中心图像坐标。其中需要说明的是，可以使用人工提取方法和harris角点检测方法，
找到角反装置的中心位置；
记录图像坐标；
提取角反中心图像坐标(u_i,v_i)。
其中harris角点检测方法提取出图像中角反装置的三个角点坐标，计算这三个角点的坐标均值，得到角反装置在图像中的质心坐标，即角反中心的图像坐标。
S5：将毫米波雷达坐标系中角反的坐标信息转换到笛卡尔坐标系。本步骤还需要说明的是，毫米波雷达数据默认为在极坐标系中，转换到笛卡尔坐标系步骤包括，
获取毫米波雷达数据；
采集毫米波雷达数据极坐标系下坐标(p,θ)；
利用公式转换到笛卡尔坐标系下坐标(x,y)；
其中，定义
x＝ρ*sin(θ)
y＝ρ*cos(θ)
S6：利用对应角反坐标点，计算单应性矩阵。本步骤需要说明的是，
将角反中心图像坐标(u_i,v_i)和笛卡尔坐标系下坐标(x_i,y_i)分别构建矩阵；
利用opencv中initUndistortRectifyMap()函数，输入对应组点；
计算并输出角反图像坐标和毫米波雷达坐标之间的单应性矩阵H。
S7：计算重投影误差，优化结果。其中还需要说明的是，
利用单应性矩阵H计算笛卡尔坐标系下坐标(x_i,y_i)对应在图像坐标系下的坐标(u_i1,v_i1)；
计算每个角反组点的重投影误差d_i；
定义，
手动去除重投影误差较大的点；
重新计算单应性矩阵H，优化结果。
S8:利用同步电路产生同步方波信号，同时触发毫米波雷达和摄像机传感器同步采集数据。
S9：将采集到目标点的所述毫米波雷达数据与所述单应性矩阵相乘，得到所述目标点在图像坐标系中的坐标，融合数据。
优选的是，本发明方法通过毫米波雷达和摄像机两种传感器的融合，将毫米波雷达数据转换到图像坐标中，根据关联点计算坐标转换之间的关系，实现两传感器空间上的融合；利用两传感器同步采集信息，进行相似时间上的数据匹配，实现时间上的融合；解决融合技术中流程复杂、标定难度高、误差累计等问题，以应用于目标识别、测距、跟踪技术中。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文步骤的指令或程序时，本文的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
实施例2
参照图3和图4，为本发明的第二个实施例，该实施例不同于第一个实施例的是提供了一种基于毫米波雷达与摄像机传感器的融合标定系统，采集数据、计算矩阵的触发系统，其中，采集模块100包括图像识别单元101和数据处理单元102，角反装置通过毫米波雷达与摄像机传感器获取图像信息，并传输到图像识别单元101，同时触发数据处理单元102接收信息，对信息处理坐标值和标定数据；转换模块200与采集模块100相连，其包括接收单元201和坐标变换单元202，接收单元201获取图像坐标值后，传递指令到坐标变换单元202将极坐标系下的坐标变换成笛卡尔坐标系下的坐标；计算模块300连接贯穿于采集模块100和转换模块200，采集模块100采集标定数据时，计算模块300内的运算器301同时启动并计算标定系数和坐标值，解算转换坐标公式，通过破解矩阵方程、去除误差，优化数据结果，触发采集模块100同时采集毫米波雷达和摄像机传感器采集数据。
场景一：
对本方法中采用的技术效果加以验证说明，本实施例选择的不同方法和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
传统的毫米波雷达与图像融合标定方法，在空间融合上需要实现多个坐标系之间转换，流程复杂，标定难度高，并且多个转换关系之间误差会被累积；在时间融合上，利用时间戳基本可以实现时间匹配，但是还是难免会出现几毫秒的误差，目标在高速情况下，这个误差也不容小视。本发明融合标定方法相比于传统融合标定方法具有较高操作简便、结果精确的优点。
本实施例中将采用传统毫米波雷达与图像融合标定方法和本发明融合标定方法分别对仿真车辆的融合后在图像中的坐标误差进行实时测量对比。对比结果表明本发明方法可以简化标定流程、减小标定误差，使融合效果更加精确。
测试环境：将车辆运行在仿真平台模拟行驶并模拟高速驾驶场景，采用随机目标车辆的测试样本，分别利用传统方法的人工操作进行转向角测试并获得测试结果数据。采用本发明方法，则开启自动化测试设备并运用matlab实现本方法的仿真测试，根据实验结果得到仿真数据。每种方法各测试10组数据，计算获得每组数据在图像中融合后的坐标，与仿真模拟输入的实际在图像中的目标坐标进行对比计算误差。实际结果参照表1和表2。
表1：采集标定数据。
表2：重投影误差。
| 序号 | 本文方法重投影误差(pixel) | 现有方法重投影误差(pixel) |
| 1 | 1.561 | 10.660 |
| 2 | 0.249 | 6.374 |
| 3 | 4.135 | 4.315 |
| 4 | 3.556 | 12.012 |
| 5 | 0.198 | 6.365 |
| 6 | 1.633 | 8.668 |
| 7 | 1.245 | 3.012 |
| AVE | 1.796 | 7.343 |
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于毫米波雷达与摄像机传感器融合标定方法，其特征在于：包括空间融合和时间融合，所述空间融合包括，
标定摄像机传感器，获取镜头畸变系数；
利用角反装置，采集融合标定数据；
畸变矫正所述融合标定数据中的图像数据；
手动提取所述角反装置中心图像坐标；
将毫米波雷达坐标系中所述角反的坐标信息转换到笛卡尔坐标系；
利用对应所述角反坐标点，计算单应性矩阵H；
计算每组点的重投影误差，优化结果；
所述时间融合包括，
利用同步电路产生同步方波信号，同时触发所述毫米波雷达和所述摄像机传感器同步采集数据；
将采集到目标点的所述毫米波雷达数据与所述单应性矩阵H相乘，得到所述目标点在图像坐标系中的坐标，融合数据；
所述畸变包括二阶径向畸变和二阶切向畸变，获取所述畸变系数包括，
利用棋盘格标定板，采集13张不同位姿下的标定图像；
在matlab标定工具箱内读入所述标定图像；
标定所述摄像机，获取所述畸变系数；
保存得到的所述摄像机内参矩阵M和二阶径向畸变系数kl、k2和二阶切向畸变系数pl、p2；
所述采集融合标定数据包括，
将所述角反装置放置到空间中的不同位置；
随机放置在所述毫米波雷达探测范围和所述摄像机传感器测量范围的重合区域；所述角反装置的每个位置同时采集10组所述毫米波雷达数据和所述图像数据；
所述畸变矫正包括，
按顺序存放采集到的不同位置的角反图像；
依次读取所述角反图像；
使用opencv中initUndistortRectifyMap()函数，输入所述摄像机内参矩阵M和所述畸变系数矩阵[kl，k2，pl，p2]；
畸变矫正所述图像。
2.如权利要求1所述的一种基于毫米波雷达与摄像机传感器融合标定方法，其特征在于：提取所述图像数据包括，
检测到所述角反装置的中心位置；
记录所述图像坐标；
提取所述角反装置中心图像坐标(ui，vi)。
3.如权利要求2所述的一种基于毫米波雷达与摄像机传感器融合标定方法，其特征在于：所述毫米波雷达数据默认为极坐标系中，转换到所述笛卡尔坐标系包括，
获取所述毫米波雷达数据；
采集所述毫米波雷达数据极坐标系下坐标(ρ，θ)；
利用公式转换到所述笛卡尔坐标系下坐标(x，y)；
其中，定义
x＝ρ*sin(θ)，
y＝ρ*cos(θ)。
4.如权利要求1或3所述的一种基于毫米波雷达与摄像机传感器融合标定方法，其特征在于：计算所述单应性矩阵H包括，
将所述角反装置中心图像坐标(ui，vi)和所述笛卡尔坐标系下坐标(xi，yi)分别构建矩阵；
利用所述opencv中initUndistortRectifyMap()函数，输入对应组点；
计算并输出所述角反图像坐标和所述毫米波雷达坐标之间的所述单应性矩阵H。
5.如权利要求4所述的一种基于毫米波雷达与摄像机传感器融合标定方法，其特征在于：计算所述每组点的重投影误差包括，
利用所述单应性矩阵H计算所述笛卡尔坐标系下坐标(xi，yi)对应在所述图像坐标系下的坐标(ui1，vi1)；
计算所述每组点的重投影误差di；
定义，
手动去除所述每组点的重投影误差大的点；
重新计算所述单应性矩阵H，优化结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911166511.XA CN111383285B (zh) | 2019-11-25 | 2019-11-25 | 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911166511.XA CN111383285B (zh) | 2019-11-25 | 2019-11-25 | 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111383285A CN111383285A (zh) | 2020-07-07 |
| CN111383285B true CN111383285B (zh) | 2023-11-24 |
Family
ID=71216931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911166511.XA Active CN111383285B (zh) | 2019-11-25 | 2019-11-25 | 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383285B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815717B (zh) * | 2020-07-15 | 2022-05-17 | 西北工业大学 | 一种多传感器融合外参联合半自主标定方法 |
| CN111928776A (zh) * | 2020-07-31 | 2020-11-13 | 中国航空工业集团公司济南特种结构研究所 | 基于多传感器的数控机床非接触式在线测量系统与方法 |
| CN112017250B (zh) * | 2020-08-31 | 2023-07-25 | 杭州海康威视数字技术股份有限公司 | 标定参数确定方法、装置、雷视设备和雷球接力系统 |
| CN112649803B (zh) * | 2020-11-30 | 2024-02-13 | 南京航空航天大学 | 一种基于互相关系数的摄像机与雷达目标匹配方法 |
| CN113012237A (zh) * | 2021-03-31 | 2021-06-22 | 武汉大学 | 一种毫米波雷达与视频监控摄像头联合标定方法 |
| CN113359097B (zh) * | 2021-06-21 | 2022-09-02 | 北京易航远智科技有限公司 | 一种毫米波雷达和相机联合标定的方法 |
| CN113436271A (zh) * | 2021-06-23 | 2021-09-24 | 三一专用汽车有限责任公司 | 标定方法、标定装置、交通工具和可读存储介质 |
| CN113744348A (zh) * | 2021-08-31 | 2021-12-03 | 南京慧尔视智能科技有限公司 | 一种参数标定方法、装置及雷视融合检测设备 |
| CN114488047A (zh) * | 2022-01-27 | 2022-05-13 | 中国第一汽车股份有限公司 | 一种车辆传感器标定系统 |
| CN116342708A (zh) * | 2022-12-05 | 2023-06-27 | 广西北港大数据科技有限公司 | 基于单应性变换的毫米波雷达与摄像头自动标定方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109085570A (zh) * | 2018-06-10 | 2018-12-25 | 南京理工大学 | 基于数据融合的车辆检测跟踪算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10670697B2 (en) * | 2015-09-30 | 2020-06-02 | Sony Corporation | Signal processing apparatus, signal processing method, and object detection system |
-
2019
- 2019-11-25 CN CN201911166511.XA patent/CN111383285B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109085570A (zh) * | 2018-06-10 | 2018-12-25 | 南京理工大学 | 基于数据融合的车辆检测跟踪算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111383285A (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111383285B (zh) | 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 | |
| CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
| CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| CN111292364B (zh) | 一种三维模型构建过程中图像快速匹配的方法 | |
| EP2111530B1 (en) | Automatic stereo measurement of a point of interest in a scene | |
| US20220092819A1 (en) | Method and system for calibrating extrinsic parameters between depth camera and visible light camera | |
| CN110517303B (zh) | 一种基于双目相机和毫米波雷达的融合slam方法及系统 | |
| CN110579764B (zh) | 深度相机和毫米波雷达的配准方法、装置、电子设备 | |
| CN107077743A (zh) | 用于阵列相机的动态校准的系统和方法 | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| KR101759798B1 (ko) | 실내 2d 평면도의 생성 방법, 장치 및 시스템 | |
| CN105701827A (zh) | 可见光相机与红外相机的参数联合标定方法及装置 | |
| CN109247068A (zh) | 用于滚动快门补偿的方法和设备 | |
| CN106156696B (zh) | 一种信息处理方法及电子设备 | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| WO2022088881A1 (en) | Method, apparatus and system for generating a three-dimensional model of a scene | |
| CN107092905B (zh) | 一种电力巡检机器人的待识别仪器定位方法 | |
| CN107590444A (zh) | 静态障碍物的检测方法、装置及存储介质 | |
| CN110533649A (zh) | 一种无人机通用结构裂缝识别检测装置及方法 | |
| CN115588040A (zh) | 一种基于全视图成像点坐标统计定位系统及方法 | |
| EP4242609A1 (en) | Temperature measurement method, apparatus, and system, storage medium, and program product | |
| Zhao et al. | Metric calibration of unfocused plenoptic cameras for three-dimensional shape measurement | |
| CN113763478B (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
| CN111538008A (zh) | 变换矩阵确定方法、系统及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 11th Floor, Building A1, Huizhi Science and Technology Park, No. 8 Hengtai Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 211000 Applicant after: DILU TECHNOLOGY Co.,Ltd. Address before: Building C4, No.55 Liyuan South Road, moling street, Nanjing, Jiangsu Province Applicant before: DILU TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |