CN111383285A - 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 - Google Patents

一种基于毫米波雷达与摄像机传感器融合标定方法及系统 Download PDF

Info

Publication number
CN111383285A
CN111383285A CN201911166511.XA CN201911166511A CN111383285A CN 111383285 A CN111383285 A CN 111383285A CN 201911166511 A CN201911166511 A CN 201911166511A CN 111383285 A CN111383285 A CN 111383285A
Authority
CN
China
Prior art keywords
millimeter wave
wave radar
data
camera sensor
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911166511.XA
Other languages
English (en)
Other versions
CN111383285B (zh
Inventor
路晓冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN201911166511.XA priority Critical patent/CN111383285B/zh
Publication of CN111383285A publication Critical patent/CN111383285A/zh
Application granted granted Critical
Publication of CN111383285B publication Critical patent/CN111383285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于毫米波雷达与摄像机传感器融合标定方法及系统，包括标定摄像机传感器获取镜头畸变系数，利用角反装置采集融合标定数据，畸变矫正所述融合标定数据中的图像数据，手动提取所述角反装置中心图像坐标，将毫米波雷达坐标系中所述角反的坐标信息转换到笛卡尔坐标系，利用对应所述角反坐标点计算单应性矩阵，计算重投影误差优化结果，利用同步电路产生同步方波信号，同时触发所述毫米波雷达和所述摄像机传感器同步采集数据。通过本发明触发毫米波雷达和摄像机传感器同步采集数据，计算矩阵，优化结果，简化了标定流程、减小了标定误差，使融合效果更加精确。

Description

一种基于毫米波雷达与摄像机传感器融合标定方法及系统
技术领域
本发明涉及传感器融合技术领域，尤其涉及一种基于毫米波雷达与摄像机 传感器融合标定方法及系统。
背景技术
传感器数据融合把分布在不同位置的多个同类或不同类传感器所提供的 局部数据资源加以综合，采用计算机技术对其进行分析，消除多传感器信息之 间可能存在的冗余和矛盾，加以互补，降低其不确实性，获得被测对象的一致 性解释与描述，从而提高系统决策、规划、反应的快速性和正确性，使系统获 得更充分的信息。
在毫米波雷达与摄像机传感器之间的融合标定技术中，分为空间和时间两 部分。在空间上，常用的方法是进行多个坐标系转换，包括图像坐标系、摄像 机坐标系、毫米波雷达坐标系、世界坐标系，然后根据某些关联点来计算多个 坐标系之间的转换关系，从而实现两传感器空间上的融合；在时间上，由于两 传感器采集频率不同，无法实现同步采集，可以根据其数据所携带的时间戳， 进行相似时间上的数据匹配，实现时间上的融合。
在空间融合上需要实现多个坐标系之间转换，流程复杂，标定难度高，并 且多个转换关系之间误差会被累积；在时间融合上，利用时间戳基本可以实现 时间匹配，但是还是难免会出现几毫秒的误差，目标在高速情况下，这个误差 也不容小视。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较 佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或 省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略 不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种基于毫米波雷达与摄像机传感器融合标定方法及 系统，减小标定误差，使融合效果更加精确。
为解决上述技术问题，本发明提供如下技术方案：标定摄像机传感器，获 取镜头畸变系数；利用角反装置，采集融合标定数据；畸变矫正所述融合标定 数据中的图像数据；手动提取所述角反装置中心图像坐标；将毫米波雷达坐标 系中所述角反的坐标信息转换到笛卡尔坐标系；利用对应所述角反坐标点，计 算单应性矩阵；计算重投影误差，优化结果；利用同步电路产生同步方波信号， 同时触发所述毫米波雷达和所述摄像机传感器同步采集数据；将采集到目标点 的所述毫米波雷达数据与所述单应性矩阵相乘，得到所述目标点在图像坐标系 中的坐标，融合数据。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法 的一种优选方案，其中：所述畸变包括二阶径向畸变和二阶切向畸变，获取所 述畸变系数包括，利用棋盘格标定板，采集13张不同位姿下的标定图像；在 matlab标定工具箱内读入所述标定图像；标定所述摄像机，获取所述畸变系数； 保存得到的所述摄像机内参矩阵M和二阶径向畸变系数k1、k2和二阶切向畸 变系数p1、p2。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法 的一种优选方案，其中：将所述角反装置放置到空间中的不同位置；随机放置 在所述毫米波雷达探测范围和所述摄像机传感器测量范围的重合区域；所述角 反装置的每个位置同时采集10组所述毫米波雷达数据和所述图像数据。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法 的一种优选方案，其中：按顺序存放采集到的不同位置的角反图像；依次读取 所述角反图像；使用opencv中initUndistortRectifyMap()函数，输入所述摄像 机内参矩阵M和所述畸变系数矩阵[k1,k2,p1,p2]；畸变矫正所述图像。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法 的一种优选方案，其中：检测到所述角反装置的中心位置；记录所述图像坐标； 提取所述角反中心图像坐标(u_i,v_i)。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法 的一种优选方案，其中：所述毫米波雷达数据默认为极坐标系中，转换到所述 笛卡尔坐标系包括，获取所述毫米波雷达数据；采集所述毫米波雷达数据极坐 标系下坐标(p,θ)；利用公式转换到所述笛卡尔坐标系下坐标(x,y)；其中，定义
χ＝ρ*sin(θ)
y＝ρ*cos(θ)
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法 的一种优选方案，其中：将所述角反中心图像坐标(u_i,v_i)和所述笛卡尔坐 标系下坐标(x_i,y_i)分别构建矩阵；利用所述opencv中initUndistortRectifyMap ()函数，输入对应组点；计算并输出所述角反图像坐标和所述毫米波雷达坐 标之间的所述单应性矩阵H。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定方法 的一种优选方案，其中：利用所述单应性矩阵H计算所述笛卡尔坐标系下坐 标(x_i,y_i)对应在所述图像坐标系下的坐标(u_i1,v_i1)；计算所述每个角反组点 的重投影误差d_i；定义，
Figure BDA0002287589220000031
手动去除所述重投影误差较大的点；重新计算所述单应性矩阵H，优化结果。
作为本发明所述的一种基于毫米波雷达与摄像机传感器的融合标定系统 的一种优选方案，其中：所述采集模块包括图像识别单元和数据处理单元，所 述角反装置通过所述毫米波雷达与所述摄像机传感器获取图像信息，并传输到 所述图像识别单元，同时触发所述数据处理单元接收信息，对所述信息处理坐 标值和标定数据；所述转换模块与所述采集模块相连，其包括接收单元和坐标 变换单元，所述接收单元获取所述图像坐标值后，传递指令到所述坐标变换单 元将极坐标系下的坐标变换成笛卡尔坐标系下的坐标；所述计算模块连接贯穿 于所述采集模块和转换模块，所述采集模块采集所述标定数据时，所述计算模 块内的运算器同时启动并计算所述标定系数和坐标值，解算转换坐标公式，通 过破解所述矩阵方程、去除误差，优化数据结果，触发所述采集模块同时采集 所述毫米波雷达和所述摄像机传感器采集数据。
本发明的有益效果：通过毫米波雷达和摄像机传感器同步采集数据，计算 矩阵，优化结果，简化了标定流程、减小了标定误差，使融合效果更加精确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需 要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的 一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下， 还可以根据这些附图获得其它的附图。其中：
图1为本发明提供的一种基于毫米波雷达与摄像机传感器融合标定方法的 流程示意图；
图2为本发明提供的一种基于毫米波雷达与摄像机传感器融合标定方法的 采集标定数据示意图；
图3为本发明提供的一种基于毫米波雷达与摄像机传感器融合标定系统的 系统模块示意图；
图4为本发明提供的一种基于毫米波雷达与摄像机传感器融合标定系统的 模块结构又一种示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书 附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的 一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的 保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明 还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不 违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例 的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少 一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在 一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施 例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明， 表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例， 其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及 深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等 指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述 本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、 以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第 一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广 义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械 连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件 内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在 本发明中的具体含义。
实施例1
参照图1～2，为本发明的第一个实施例，提供了一种基于毫米波雷达与摄 像机传感器的融合标定方法，如图1，一种基于毫米波雷达与摄像机传感器的 融合标定方法包括空间融合和时间融合，空间融合包括标定摄像机传感器获取 镜头畸变系数；利用角反装置采集融合标定数据；畸变矫正融合标定数据中的 图像数据；手动提取角反装置中心图像坐标；将毫米波雷达坐标系中角反的坐 标信息转换到笛卡尔坐标系；利用对应角反坐标点计算单应性矩阵；计算重投 影误差优化结果；时间融合包括利用同步电路产生同步方波信号，同时触发毫 米波雷达和摄像机传感器同步采集数据；将采集到目标点的所述毫米波雷达数 据与所述单应性矩阵相乘，得到所述目标点在图像坐标系中的坐标，融合数据。 角反装置为雷达反射器，它是通过金属板材根据不同用途做成的不同规格的雷 达波反射器，当雷达电磁波扫描到角反射器后，电磁波会在金属角上产生折射 放大、很强的回波信号，在雷达的屏幕上出现回波目标。
较佳的，参照图2，在空间上，毫米波雷达坐标系是在水平面上的一个二 维坐标系，图像坐标系是在空间中的位置由摄像机实际位置决定的另一个二维 坐标系，将毫米波雷达坐标系和图像坐标系之间的关系用旋转矩阵R和平移向 量T表示，最终由单应性矩阵H描述两个二维坐标系之间坐标点的对应关系； 在时间上，利用一个同步信号触发两传感器来采集数据。
具体的，参照图1，一种基于毫米波雷达与摄像机传感器的融合标定方法 包括，
S1：标定摄像机传感器获取镜头畸变系数。其中需要说明的是，畸变包括 二阶径向畸变和二阶切向畸变，获取畸变系数步骤包括，
利用棋盘格标定板，采集13张不同位姿下的标定图像；
在matlab标定工具箱内读入标定图像；
标定摄像机，获取畸变系数；
保存得到的摄像机内参矩阵M和二阶径向畸变系数k1、k2和二阶切向畸 变系数p1、p2。
S2：利用角反装置，采集融合标定数据。本步骤需要说明的是，
将角反装置放置到空间中的不同位置；
随机放置在毫米波雷达探测范围和摄像机传感器测量范围的重合区域；
角反装置的每个位置同时采集10组毫米波雷达数据和图像数据。
S3：畸变矫正融合标定数据中的图像数据。其中还需要说明的是，畸变矫 正步骤包括，
按顺序存放采集到的不同位置的角反图像；
依次读取角反图像；
使用opencv中initUndistortRectifyMap()函数，输入摄像机内参矩阵M 和畸变系数矩阵[k1,k2,p1,p2]；
畸变矫正图像。
S4：手动提取角反装置中心图像坐标。其中需要说明的是，可以使用人工 提取方法和harris角点检测方法，
找到角反装置的中心位置；
记录图像坐标；
提取角反中心图像坐标(u_i,v_i)。
其中harris角点检测方法提取出图像中角反装置的三个角点坐标，计算这 三个角点的坐标均值，得到角反装置在图像中的质心坐标，即角反中心的图像 坐标。
S5：将毫米波雷达坐标系中角反的坐标信息转换到笛卡尔坐标系。本步骤 还需要说明的是，毫米波雷达数据默认为在极坐标系中，转换到笛卡尔坐标系 步骤包括，
获取毫米波雷达数据；
采集毫米波雷达数据极坐标系下坐标(p,θ)；
利用公式转换到笛卡尔坐标系下坐标(x,y)；
其中，定义
χ＝ρ*sin(θ)
y＝ρ*cos(θ)
S6：利用对应角反坐标点，计算单应性矩阵。本步骤需要说明的是，
将角反中心图像坐标(u_i,v_i)和笛卡尔坐标系下坐标(x_i,y_i)分别构建矩阵；
利用opencv中initUndistortRectifyMap()函数，输入对应组点；
计算并输出角反图像坐标和毫米波雷达坐标之间的单应性矩阵H。
S7：计算重投影误差，优化结果。其中还需要说明的是，
利用单应性矩阵H计算笛卡尔坐标系下坐标(x_i,y_i)对应在图像坐标系下 的坐标(u_i1,v_i1)；
计算每个角反组点的重投影误差d_i；
定义，
Figure BDA0002287589220000071
手动去除重投影误差较大的点；
重新计算单应性矩阵H，优化结果。
S8:利用同步电路产生同步方波信号，同时触发毫米波雷达和摄像机传感器 同步采集数据。
S9：将采集到目标点的所述毫米波雷达数据与所述单应性矩阵相乘，得到 所述目标点在图像坐标系中的坐标，融合数据。
优选的是，本发明方法通过毫米波雷达和摄像机两种传感器的融合，将毫 米波雷达数据转换到图像坐标中，根据关联点计算坐标转换之间的关系，实现 两传感器空间上的融合；利用两传感器同步采集信息，进行相似时间上的数据 匹配，实现时间上的融合；解决融合技术中流程复杂、标定难度高、误差累计 等问题，以应用于目标识别、测距、跟踪技术中。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或 者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法 可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介 质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义 的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级 过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程 序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语 言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外 指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合) 可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共 同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算 机程序或一个或多个应用)、由硬件或其组合来实现。计算机程序包括可由一 个或多个处理器执行的多个指令。
进一步，方法可以在可操作地连接至合适的任何类型的计算平台中实现， 包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环 境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等 等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码 来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入 存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设 备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外， 机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合 微处理器或其他数据处理器实现上文步骤的指令或程序时，本文的发明包括这 些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明的方法和技 术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行 本文的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输 出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中， 转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特 定视觉描绘。
实施例2
参照图3和图4，为本发明的第二个实施例，该实施例不同于第一个实施 例的是提供了一种基于毫米波雷达与摄像机传感器的融合标定系统，采集数据、 计算矩阵的触发系统，其中，采集模块100包括图像识别单元101和数据处理 单元102，角反装置通过毫米波雷达与摄像机传感器获取图像信息，并传输到 图像识别单元101，同时触发数据处理单元102接收信息，对信息处理坐标值 和标定数据；转换模块200与采集模块100相连，其包括接收单元201和坐标 变换单元202，接收单元201获取图像坐标值后，传递指令到坐标变换单元202 将极坐标系下的坐标变换成笛卡尔坐标系下的坐标；计算模块300连接贯穿于 采集模块100和转换模块200，采集模块100采集标定数据时，计算模块300 内的运算器301同时启动并计算标定系数和坐标值，解算转换坐标公式，通过 破解矩阵方程、去除误差，优化数据结果，触发采集模块100同时采集毫米波 雷达和摄像机传感器采集数据。
场景一：
对本方法中采用的技术效果加以验证说明，本实施例选择的不同方法和采 用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具 有的真实效果。
传统的毫米波雷达与图像融合标定方法，在空间融合上需要实现多个坐标 系之间转换，流程复杂，标定难度高，并且多个转换关系之间误差会被累积； 在时间融合上，利用时间戳基本可以实现时间匹配，但是还是难免会出现几毫 秒的误差，目标在高速情况下，这个误差也不容小视。本发明融合标定方法相 比于传统融合标定方法具有较高操作简便、结果精确的优点。
本实施例中将采用传统毫米波雷达与图像融合标定方法和本发明融合标 定方法分别对仿真车辆的融合后在图像中的坐标误差进行实时测量对比。对比 结果表明本发明方法可以简化标定流程、减小标定误差，使融合效果更加精确。
测试环境：将车辆运行在仿真平台模拟行驶并模拟高速驾驶场景，采用随 机目标车辆的测试样本，分别利用传统方法的人工操作进行转向角测试并获得 测试结果数据。采用本发明方法，则开启自动化测试设备并运用matlab实现 本方法的仿真测试，根据实验结果得到仿真数据。每种方法各测试10组数据， 计算获得每组数据在图像中融合后的坐标，与仿真模拟输入的实际在图像中 的目标坐标进行对比计算误差。实际结果参照表1和表2。
表1：采集标定数据。
Figure BDA0002287589220000091
Figure BDA0002287589220000101
表2：重投影误差。
序号 本文方法重投影误差(pixel) 现有方法重投影误差(pixel)
1 1.561 10.660
2 0.249 6.374
3 4.135 4.315
4 3.556 12.012
5 0.198 6.365
6 1.633 8.668
7 1.245 3.012
AVE 1.796 7.343
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算 机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件 或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、 处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例， 在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存 在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分 布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结 构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个 数据分组例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另 一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统 进行交互的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参 照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可 以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精 神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：包括空间融合和时间融合，所述空间融合包括，
标定摄像机传感器，获取镜头畸变系数；
利用角反装置，采集融合标定数据；
畸变矫正所述融合标定数据中的图像数据；
手动提取所述角反装置中心图像坐标；
将毫米波雷达坐标系中所述角反的坐标信息转换到笛卡尔坐标系，；
利用对应所述角反坐标点，计算单应性矩阵；
计算重投影误差，优化结果；
所述时间融合包括，
利用同步电路产生同步方波信号，同时触发所述毫米波雷达和所述摄像机传感器同步采集数据；
将采集到目标点的所述毫米波雷达数据与所述单应性矩阵相乘，得到所述目标点在图像坐标系中的坐标，融合数据。
2.如权利要求1所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：所述畸变包括二阶径向畸变和二阶切向畸变，获取所述畸变系数包括，
利用棋盘格标定板，采集13张不同位姿下的标定图像；
在matlab标定工具箱内读入所述标定图像；
标定所述摄像机，获取所述畸变系数；
保存得到的所述摄像机内参矩阵M和二阶径向畸变系数k1、k2和二阶切向畸变系数p1、p2。
3.如权利要求1或2所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：所述采集融合标定数据包括，
将所述角反装置放置到空间中的不同位置；
随机放置在所述毫米波雷达探测范围和所述摄像机传感器测量范围的重合区域；
所述角反装置的每个位置同时采集10组所述毫米波雷达数据和所述图像数据。
4.如权利要求1所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：所述畸变矫正包括，
按顺序存放采集到的不同位置的角反图像；
依次读取所述角反图像；
使用opencv中initUndistortRectifyMap()函数，输入所述摄像机内参矩阵M和所述畸变系数矩阵[k1，k2，p1，p2]；
畸变矫正所述图像。
5.如权利要求1或4所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：提取所述图像数据包括，
检测到所述角反装置的中心位置；
记录所述图像坐标；
提取所述角反中心图像坐标(u_i，v_i)。
6.如权利要求3所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：所述毫米波雷达数据默认为极坐标系中，转换到所述笛卡尔坐标系包括，
获取所述毫米波雷达数据；
采集所述毫米波雷达数据极坐标系下坐标(p，θ)；
利用公式转换到所述笛卡尔坐标系下坐标(x，y)；
其中，定义
χ＝ρ*sin(θ)
y＝ρ*cos(θ) 。
7.如权利要求1或6所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：计算所述单应性矩阵包括，
将所述角反中心图像坐标(u_i，v_i)和所述笛卡尔坐标系下坐标(x_i，y_i)分别构建矩阵；
利用所述opencv中initUndistortRectifyMap()函数，输入对应组点；
计算并输出所述角反图像坐标和所述毫米波雷达坐标之间的所述单应性矩阵H。
8.如权利要求7所述的基于毫米波雷达与摄像机传感器的融合标定方法，其特征在于：计算每组点的所述重投影误差包括，
利用所述单应性矩阵H计算所述笛卡尔坐标系下坐标(x_i，y_i)对应在所述图像坐标系下的坐标(u_i1,v_i1)；
计算所述每个角反组点的重投影误差d_i；
定义，
Figure FDA0002287589210000031
手动去除所述重投影误差较大的点；
重新计算所述单应性矩阵H，优化结果。
9.一种基于毫米波雷达与摄像机传感器的融合标定系统，其特征在于：所述系统包括采集模块(100)、转换模块(200)、计算模块(300)，
所述采集模块(100)包括图像识别单元(101)和数据处理单元(102)，所述角反装置通过所述毫米波雷达与所述摄像机传感器获取图像信息，并传输到所述图像识别单元(101)，同时触发所述数据处理单元(102)接收信息，对所述信息处理坐标值和标定数据；
所述转换模块(200)与所述采集模块(100)相连，其包括接收单元(201)和坐标变换单元(202)，所述接收单元(201)获取所述图像坐标值后，传递指令到所述坐标变换单元(202)将极坐标系下的坐标变换成笛卡尔坐标系下的坐标；
所述计算模块(300)连接贯穿于所述采集模块(100)和转换模块(200)，所述采集模块(100)采集所述标定数据时，所述计算模块(300)内的运算器(301)同时启动并计算所述标定系数和坐标值，解算转换坐标公式，通过破解所述矩阵方程、去除误差，优化数据结果，触发所述采集模块(100)同时采集所述毫米波雷达和所述摄像机传感器采集数据。
CN201911166511.XA 2019-11-25 2019-11-25 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 Active CN111383285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911166511.XA CN111383285B (zh) 2019-11-25 2019-11-25 一种基于毫米波雷达与摄像机传感器融合标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911166511.XA CN111383285B (zh) 2019-11-25 2019-11-25 一种基于毫米波雷达与摄像机传感器融合标定方法及系统

Publications (2)

Publication Number Publication Date
CN111383285A true CN111383285A (zh) 2020-07-07
CN111383285B CN111383285B (zh) 2023-11-24

Family

ID=71216931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911166511.XA Active CN111383285B (zh) 2019-11-25 2019-11-25 一种基于毫米波雷达与摄像机传感器融合标定方法及系统

Country Status (1)

Country Link
CN (1) CN111383285B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815717A (zh) * 2020-07-15 2020-10-23 西北工业大学 一种多传感器融合外参联合半自主标定方法
CN111928776A (zh) * 2020-07-31 2020-11-13 中国航空工业集团公司济南特种结构研究所 基于多传感器的数控机床非接触式在线测量系统与方法
CN112017250A (zh) * 2020-08-31 2020-12-01 杭州海康威视数字技术股份有限公司 标定参数确定方法、装置、雷视设备和雷球接力系统
CN112649803A (zh) * 2020-11-30 2021-04-13 南京航空航天大学 一种基于互相关系数的摄像机与雷达目标匹配方法
CN113012237A (zh) * 2021-03-31 2021-06-22 武汉大学 一种毫米波雷达与视频监控摄像头联合标定方法
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113436271A (zh) * 2021-06-23 2021-09-24 三一专用汽车有限责任公司 标定方法、标定装置、交通工具和可读存储介质
CN113744348A (zh) * 2021-08-31 2021-12-03 南京慧尔视智能科技有限公司 一种参数标定方法、装置及雷视融合检测设备
CN114488047A (zh) * 2022-01-27 2022-05-13 中国第一汽车股份有限公司 一种车辆传感器标定系统
CN116342708A (zh) * 2022-12-05 2023-06-27 广西北港大数据科技有限公司 基于单应性变换的毫米波雷达与摄像头自动标定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180259621A1 (en) * 2015-09-30 2018-09-13 Sony Corporation Signal processing apparatus, signal processing method, program, and object detection system
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180259621A1 (en) * 2015-09-30 2018-09-13 Sony Corporation Signal processing apparatus, signal processing method, program, and object detection system
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815717A (zh) * 2020-07-15 2020-10-23 西北工业大学 一种多传感器融合外参联合半自主标定方法
CN111928776A (zh) * 2020-07-31 2020-11-13 中国航空工业集团公司济南特种结构研究所 基于多传感器的数控机床非接触式在线测量系统与方法
CN112017250A (zh) * 2020-08-31 2020-12-01 杭州海康威视数字技术股份有限公司 标定参数确定方法、装置、雷视设备和雷球接力系统
CN112017250B (zh) * 2020-08-31 2023-07-25 杭州海康威视数字技术股份有限公司 标定参数确定方法、装置、雷视设备和雷球接力系统
CN112649803A (zh) * 2020-11-30 2021-04-13 南京航空航天大学 一种基于互相关系数的摄像机与雷达目标匹配方法
CN112649803B (zh) * 2020-11-30 2024-02-13 南京航空航天大学 一种基于互相关系数的摄像机与雷达目标匹配方法
CN113012237A (zh) * 2021-03-31 2021-06-22 武汉大学 一种毫米波雷达与视频监控摄像头联合标定方法
CN113359097B (zh) * 2021-06-21 2022-09-02 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113436271A (zh) * 2021-06-23 2021-09-24 三一专用汽车有限责任公司 标定方法、标定装置、交通工具和可读存储介质
CN113744348A (zh) * 2021-08-31 2021-12-03 南京慧尔视智能科技有限公司 一种参数标定方法、装置及雷视融合检测设备
CN114488047A (zh) * 2022-01-27 2022-05-13 中国第一汽车股份有限公司 一种车辆传感器标定系统
CN116342708A (zh) * 2022-12-05 2023-06-27 广西北港大数据科技有限公司 基于单应性变换的毫米波雷达与摄像头自动标定方法

Also Published As

Publication number Publication date
CN111383285B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN111383285B (zh) 一种基于毫米波雷达与摄像机传感器融合标定方法及系统
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
EP2111530B1 (en) Automatic stereo measurement of a point of interest in a scene
CN102506757B (zh) 双目立体测量系统多视角测量中的自定位方法
CN110517303B (zh) 一种基于双目相机和毫米波雷达的融合slam方法及系统
CN111179358A (zh) 标定方法、装置、设备及存储介质
CN110349195A (zh) 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质
CN103983186B (zh) 双目视觉系统校正方法及校正设备
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
CN111383279A (zh) 外参标定方法、装置及电子设备
CN108961184A (zh) 一种深度图像的校正方法、装置及设备
CN110298891A (zh) 相机外参精度自动评估的方法及装置
CN106169076A (zh) 一种基于透视变换的角度车牌图像库搭建方法
CN115588040A (zh) 一种基于全视图成像点坐标统计定位系统及方法
CN112102387A (zh) 一种基于深度相机深度估计性能的测试方法与测试系统
CN113077523B (zh) 一种标定方法、装置、计算机设备及存储介质
JP2018179577A (ja) 位置計測装置
JPH1079029A (ja) 立体情報検出方法及びその装置
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN111538008A (zh) 变换矩阵确定方法、系统及装置
López-Nicolás et al. Unitary torus model for conical mirror based catadioptric system
CN108226907B (zh) 用于激光测距设备的测距校准方法和装置
CN110619665A (zh) 虚拟仿真环境下双目相机的标定及验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 11th Floor, Building A1, Huizhi Science and Technology Park, No. 8 Hengtai Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 211000

Applicant after: DILU TECHNOLOGY Co.,Ltd.

Address before: Building C4, No.55 Liyuan South Road, moling street, Nanjing, Jiangsu Province

Applicant before: DILU TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant