CN108964777A - 一种高速相机校准系统及方法 - Google Patents

一种高速相机校准系统及方法 Download PDF

Info

Publication number
CN108964777A
CN108964777A CN201810826725.4A CN201810826725A CN108964777A CN 108964777 A CN108964777 A CN 108964777A CN 201810826725 A CN201810826725 A CN 201810826725A CN 108964777 A CN108964777 A CN 108964777A
Authority
CN
China
Prior art keywords
high speed
exposure
speed camera
time
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810826725.4A
Other languages
English (en)
Other versions
CN108964777B (zh
Inventor
张小富
刘天植
付晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Fu Rui Photoelectric Technology Co Ltd
Original Assignee
Nanjing Fu Rui Photoelectric Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Fu Rui Photoelectric Technology Co Ltd filed Critical Nanjing Fu Rui Photoelectric Technology Co Ltd
Priority to CN201810826725.4A priority Critical patent/CN108964777B/zh
Publication of CN108964777A publication Critical patent/CN108964777A/zh
Application granted granted Critical
Publication of CN108964777B publication Critical patent/CN108964777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50Transmitters
    • H04B10/501Structural aspects
    • H04B10/503Laser transmitters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50Transmitters
    • H04B10/508Pulse generation, e.g. generation of solitons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Abstract

本发明涉及一种高速相机校准系统及方法,所述高速相机校准系统包括标定板、测距激光雷达、高速相机、曝光时间及失帧测量装置和成像畸变校准装置。该系统及方法采用高精度皮秒激光测距技术与相机参数标定算法相结合,确定相机焦距和畸变系数,优化畸变矩阵,形成精确的由相机图像到空间位置的三维还原算法,实现相机成像畸变的空间校准;采用测量基准时钟频率高于被测高速相机频率4‑5个数量级;采用采样率为25GHz的采集分析设备采集高速相机的曝光时间,测量得到高精度的曝光时间和失帧率,为校准高速相机获取的试验参数提供数据基础。

Description

一种高速相机校准系统及方法
技术领域
本发明涉及摄影技术领域,尤其涉及一种高速相机校准系统及方法。
背景技术
高速摄影是爆轰物理、冲击波物理、加速器物理和等离子体试验等研究中重要的测试手段,高速相机采用光学成像的方式对试验过程进行实时拍摄跟踪,获得相应的参数。高速相机不仅可以记录高速运动过程,而且可以进行视觉测量,是目前唯一可以同时获取目标图像和高精度轨迹的爆破参数测量设备。目前,广泛应用于研究爆破过程试验的高速相机普遍面临着曝光时间不准确及失帧的问题。在时间上,曝光时间误差、失帧的存在会对爆破过程中碎片的速度、加速度及运行轨迹产生误判,对一次爆破和二次爆破之间的时间估计不准确;在空间上,高速相机所拍摄的图像如果存在畸变,则会导致碎片运动轨迹的误判,从而极大地影响对爆破威力的研究,已给武器性能评价及设计优化带来了困扰,影响了该类武器系统的研制进度。经分析,造成这种误差的主要原因是靶场缺乏对高速相机曝光时间不准、失帧以及目标成像畸变进行精确测量校准的技术手段,使得该类设备长期得不到有效的计量保障。
发明内容
鉴于上述的分析,本发明旨在提供一种高速相机校准系统及方法,解决高速相机曝光时间不准、失帧的测量,以及目标成像畸变校准问题。
本发明的目的主要是通过以下技术方案实现的:
一种高速相机校准系统,包括标定板、测距激光雷达、高速相机、曝光时间及失帧测量装置和成像畸变校准装置;
所述标定板为四边形网格状平板;所述网格状平板上设有多个人工标定点;
所述测距激光雷达产生高重频激光信号,测量所述人工标定点的位置坐标,将坐标信息传送到成像畸变校准装置,同时将产生高重频激光信号输出到曝光时间及失帧测量装置;
所述高速相机工作在外触发模式,将拍摄的标定板图像数据传送到所述成像畸变校准装置,将相机的曝光结果发送到所述曝光时间及失帧测量装置;
所述曝光时间及失帧测量装置触发所述高速相机进行拍摄,根据接收的所述曝光结果和所述高重频激光信号,测量高速相机的曝光时间和失帧率;
所述成像畸变校准装置根据所述测距激光雷达测量的人工标定点的位置坐标和所述高速相机拍摄的图像数据,计算与相机成像畸变有关的相机参数;对高速相机拍摄的图像进行实时畸变校准。
进一步地,所述人工标定点均匀分布在标定板上,至少包括设置在标定板的中心点和四个角点上的5个人工标定点;所述网格状平板选用光学吸收较高的材料,所述人工标定点选用高反射率的材料;所述人工标定点的最小尺寸大于测距激光雷达的成像分辨率;
所述标定板配置有起支撑作用的标定杆,所述标定杆的高度H=hL/f,其中h为标定杆在相机视场上的成像长度,f为所述高速相机焦距,L为相机到标定杆的物距;所述标定杆上设置一系列均匀分布的刻度。
进一步地,所述测距激光雷达为皮秒级激光脉冲雷达,包括激光发射器、激光接收器、计时电路和坐标解算单元;
所述激光发射器发射脉宽为皮秒级、重复频率高于被测高速相机拍摄速率4-5个数量级的激光脉冲到所述标定板,依次照射标定板上的人工标定点;所述标定板为光学吸收较高的材料,吸收激光脉冲,所述人工标定点为高反射率的材料,反射激光脉冲;
所述测距激光接收器接收人工标定点反射的激光脉冲;
所述计时电路测量激光发射脉冲和接收脉冲的时间延时;
所述坐标解算单元根据计时电路输出的时间延时解算人工标定点的位置坐标,作为高速相机成像畸变校准的位置基准坐标,解算高速相机成像畸变参数;
所述计时电路采用抽头延时线进行时间数字转换,所述抽头延时线共包含多级延时线,通过延迟锁相环控制。
进一步地,所述曝光时间及失帧测量装置包括TTL同步信号触发器、光电探测器和采集分析器;
所述TTL同步信号触发器分别与所述高速相机、光电探测器相连,产生触发信号,使高速相机、光电探测设备同步触发;
所述光电探测器在所述触发信号的控制下,将所述曝光结果调制到所述高重频激光信号上,并将调制信号输出到采集分析器;
所述采集分析器采集处理所述光电探测器输出的调制信号,计算所述高速相机的曝光时间和失帧率。
一种高速相机校准方法中的相机曝光时间及失帧测量方法,包括以下步骤:
步骤S1、将包括标定板、测距激光雷达、高速相机、曝光时间及失帧测量装置和成像畸变校准装置的高速相机校准系统设置在靶场测试现场,使标定板同时位于高速相机和测距激光雷达视场内;
步骤S2、打开测距激光雷达,发射激光脉冲信号;
步骤S3、TTL同步信号触发器产生一个与高速相机曝光时间相一致的触发信号触发光电探测设备工作;
步骤S4、当该触发信号处于高电平时,高速相机曝光进行拍摄,输出曝光结果信号,同时,光电探测设备在TTL同步触发信号的控制下,将所述相机的曝光结果信号与所述高重频激光信号进行调制,并将调制后的信号发送至采集分析设备;
步骤S5、采集分析设备对光电探测器发送的激光脉冲信号进行高速采样,测量得到曝光时间、曝光周期、曝光系数和统计失帧率。
进一步地,曝光时间的测量:在每一个曝光周期内,采集分析设备采集到调制信号的高电平的时间宽度即为曝光时间;开始时刻为t为采样后信号上升沿幅度一半时的时刻;结束时刻t’为采样后信号下降沿幅度一半时的时刻,曝光时间为Δt=t'-t;
曝光周期的测量:上一个曝光周期曝光时间的开始时刻为t,下一个曝光周期曝光时间的开始时刻为T,曝光周期为ΔT=T-t;
曝光系数:
统计失帧率:统计n个曝光周期,Δti为第i个曝光周期内的曝光时间,则n个曝光周期的失帧率所述是多次测量后Δti的算术平均值。
一种高速相机校准方法中的高速相机成像畸变校准方法,包括以下步骤:
步骤S1、将包括标定板、测距激光雷达、高速相机、曝光时间及失帧测量装置和成像畸变校准装置的高速相机校准系统设置在靶场测试现场,使标定板同时位于高速相机和测距激光雷达视场内;
步骤S2、对所述标定板上的人工标定点Di逐个进行测量,得到人工标定点Di的坐标(xwi,ywi,zwi),i=1,…,5;
步骤S3、利用高速相机对标定板进行拍摄,在相机视场测得人工标定点Di的坐标(xi,yi,zi)i=1,…,5,通过坐标转换使坐标点(xwi,ywi,zwi)与坐标点(xi,yi,zi)在同一坐标系下;
步骤S4、根据测距激光雷达和相机视场测得人工标定点Di的坐标,计算出与相机成像畸变有关的相机内参数;
步骤S5、根据步骤S4得到的参数,选取待校准图像上的像点(xw,yw,zw),计算得到理想像点p的坐标(Xb,Yb),实现图像的畸变校准。
进一步地,步骤2包括以下子步骤:
步骤S201、使用测距激光雷达测量任意两个人工标定点距离;
首先控制测距激光雷达照射到人工标定点D1,测量测距激光雷达到D1点的距离,记为d1
然后转动激光扫描头,使得激光测距仪照射到人工标定点D2点,扫描过的角度为θ12,测量激光测距雷达到D2点的距离,记为d2
根据余弦定理,D1点和D2点之间的距离可以由式计算得到;
依次步骤,测量得到任意两个标定点的距离为i,j=1,…,5且i≠j;所述任一标定点Di点为坐标为(xwi,ywi,zwi),i=1,…,5,由于标定板为四边形网格状平板,所有人工标定点在一个平面上,任意两个标定点的距离为平面上的距离,使标定点的Z轴坐标zwi相等,则,任意两个标定点的距离i,j=1,…,5且i≠j;
步骤S202、确定标定板中心的人工标定点的D1坐标;
所述标定板在设置时,通过位置测量装置对标定板中心的人工标定点D1坐标进行测量,得到D1点坐标值(xw1,yw1,zw1);
步骤S203、确定其他人工标定点的坐标;
解上述距离方程构成的完备方程组,
得到D2,…,D5点在标定板上的坐标(xwi,ywi),i=1,…,5,由于步骤S202中确定的D1点的坐标,所有标定点的Z轴坐标zwi相等,因此,得到D2,…,D5,点的坐标(xwi,ywi,zwi),i=1,…,5。
进一步地,步骤4包括以下子步骤:
步骤S401、将测距激光雷达测得的人工标定点Di坐标(xwi,ywi,zwi)和相机视场测得人工标定点Di坐标(xi,yi,zi)带入关系式i=1,…,5;其中R为3×3正交旋转矩阵,T为三维平移矩阵,是与高速相机姿态相关的外参数,分别表示成: 求解参数的Tx,Ty分量;
步骤S402、求解焦距f,畸变系数k以及平移矩阵T的分量Tz
取k初始值为0,使用Levenberg-Marquardt算法,得到焦距f,畸变系数k,平移矩阵T的分量Tz的精确解。
进一步地,根据步骤S4得到的参数,选取待校准图像上的像点(xw,yw,zw),依据公式计算得到理想像点p的坐标(Xb,Yb),实现图像的畸变校准,其中z为高速相机的Z轴坐标。
本发明有益效果如下:
采用高精度的皮秒激光测距技术与相机参数标定算法相结合,确定相机焦距和畸变系数,优化畸变矩阵,形成精确的由相机图像到空间位置的三维还原算法,从而实现相机成像畸变的空间校准;
采用测量基准时钟频率高于被测高速相机频率4-5个数量级;采用采样率为25GHz的采集分析设备采集高速相机的曝光时间,测量得到高精度的曝光时间和失帧率,为校准高速相机获取的试验参数提供数据基础。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分的从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为高速相机校准系统示意图;
图2为测距激光雷达示意图;
图3为曝光时间及失帧测量装置示意图;
图4为高速相机曝光时间及失帧测量方法流程图;
图5为高速相机成像畸变校准方法流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理。
本发明实施例提供了一种高速相机校准系统,如图1所示,包括标定板、测距激光雷达、高速相机、曝光时间及失帧测量装置和成像畸变校准装置;
所述标定板为四边形网格状平板;所述网格状平板上设有多个人工标定点;
所述测距激光雷达产生高重频激光信号,测量所述人工标定点的位置坐标,将坐标信息传送到成像畸变校准装置,同时将产生高重频激光信号输出到曝光时间及失帧测量装置;
所述高速相机工作在外触发模式,将拍摄的标定板图像数据传送到所述成像畸变校准装置,将拍摄的曝光结果发送到所述曝光时间及失帧测量装置;
所述曝光时间及失帧测量装置触发所述高速相机进行拍摄,根据接收的所述曝光结果和所述高重频激光信号,计算高速相机的曝光时间和失帧率;
所述成像畸变校准装置根据所述测距激光雷达测量的人工标定点的位置坐标和所述高速相机拍摄的图像数据,计算与相机成像畸变有关的相机参数;对高速相机拍摄的图像进行实时畸变校准。
特殊地,所述激光标定板设有至少含有5个人工标定点,其中包括标定板的中心D1,标定板的四个角点。可以通过增加标定点的数目,例如,采用田字格的方式增加四个边线中点,来降低标定不确定度与误差,并配置有起支撑作用的标定杆,所述标定杆的高度满足完全填充高速相机视场;所述标定板在设置时,通过位置测量装置测量激光标定板中心的人工标定点D1坐标(xw1,yw1,zw1),所述坐标通过两个参数确定,第一个是中心点在标定板上的额定位坐标,由标定板的几何中心确定并由标定板的制作过程保证;另一方面,由标定板的放置位置坐标确定。
所述网格状平板选用光学吸收较高的材料,所述人工标定点选用高反射率的材料。
特殊地,所述标定杆的高度H=hL/f,其中h为标定杆在相机视场上的成像长度,f为相机焦距,L为相机到标定杆的物距,校准时,所述h完全填充相机视场,标定杆在相机CCD上的成像结果为贯穿相机成像芯片的一条线;所述标定杆上设置一系列均匀分布的刻度(直尺形式的刻度);所述标定板上人工标定点选用高反射率的材料;而对非人工标定点选用光学吸收较高的材料,增加二者之间的对比度,有利于高速相机拍摄到清晰、成像质量高的图像,人工标定点与标定杆上的刻度重合,或者使人工标定点均匀分布起到坐标作用,所述人工标定点的最小尺寸大于激光雷达的成像分辨率。
特殊的,如图2所示,所述测距激光雷达为皮秒级激光脉冲雷达,包括激光发射器、激光接收器、计时电路和坐标解算单元;
所述激光发射器发射脉宽为皮秒级、重复频率高于被测高速相机拍摄速率4-5个数量级的激光脉冲到所述标定板,依次照射标定板上的人工标定点;所述标定板为光学吸收较高的材料,吸收激光脉冲,所述人工标定点为高反射率的材料,反射激光脉冲;
所述激光接收器接收所述人工标定点反射回来的激光脉冲;
所述计时电路测量激光发射脉冲和人工标定点反射的激光脉冲时间延时,计算人工标定点到测距激光雷达的相对位置,得到人工标定点的位置坐标。
特殊的,所述测距激光雷达测量的人工标定点的坐标为畸变校准的基准坐标,要求测距激光雷达具有高的测量精度;
在本发明中,从时钟来源,激光脉宽,计时精度三个方面提高测距激光雷达的测量精度。
1)采用高精度晶体振荡器作为时钟来源,频率稳定度可达1%量级;
2)采用皮秒级激光脉冲,激光的脉宽为10ps;
3)采用基于CMOS采用抽头延时线的时间数字转换(TDC)电路作为计时电路,并结合异步读出电路实现高的时间分辨率,所述计时电路共包含128级延时线,通过延迟锁相环(Delay—locked Loop,简称DLL)控制,可以实现高达5ps的计时精度。
由以上分析可得,
测距激光雷达测量误差为:(102+52)1/2ps×3×108m/s=3.35mm。
本发明采用延迟锁相环代替了PLL电路,PLL电路内的振荡器部分,取而代之的是一根延迟量可控制的延迟线。与PLL相比,DLL没有抖动累加、具有更小的锁定时间并且环路滤波器易集成,利用DLL可以使测量过程中的各种不确定量减小到最低,消除计算中的误差。
所述坐标解算单元根据计时电路计算的时间延时解算人工标定点的位置坐标。
特殊的,如图3所示,所述曝光时间及失帧测量装置包括TTL同步信号触发器、光电探测器和采集分析器;
所述TTL同步信号触发器分别与所述高速相机、光电探测器相连,产生触发信号,使高速相机、光电探测设备同步触发;
所述光电探测器在所述触发信号的控制下,将所述曝光结果调制到所述高重频激光信号上,并将调制信号输出到采集分析器;
所述高重频激光信号比高速相机的曝光频率高4~5个数量级,还输出到采集分析设备,使采集分析设备对信号的采集和处理与高重频激光信号同步;具体地,所述时钟信号的产生可利用高重频激光器FPGA内部锁相环实现,也可通过分相多路(多路等相位差)技术产生;
所述采集分析器采集处理所述光电探测器输出的调制信号,计算所述高速相机的曝光时间和失帧率;
所述采集分析设备采集处理所述光电探测器输出的调制信号,计算高速相机的曝光时间误差和失帧率;所述采集分析设备采集处理的带宽为5GHz,采样率为25GSa/s;
所述光电探测器的输入信号为相机的曝光结果信号、和高重频激光信号;所述相机的曝光结果信号与所述高重频激光信号进行调制,输出信号为以相机的曝光结果信号作为信号包络的高重频激光信号。所述输出信号中包含激光信号载波的脉冲信号宽度反映高速相机的曝光时间,具有激光信号载波的脉冲信号之间的时间间隔反映高速相机的曝光周期,当一个曝光周期内,相机的曝光时间小于曝光时间阈值时,即认为是高速相机失帧。
高速相机的曝光时间通过外部触发控制,而曝光时间在测量中决定了曝光时间误差和失帧率测量的不确定度(如较长的曝光时间会减小不确定度和失帧的虚警概率),所述曝光时间阈值指示了在一定的不准确度指标要求下此测量系统的极限水平。
例如,曝光时间均值为300ns,不确定度(即标准差)为0.057ns,其概率密度函数符合高斯分布。根据探测概率大于99.9%,虚警概率小于0.01%的设计要求,将判断失帧的曝光时间阈值设置在100~200ns。
实际测量中,所述光电探测设备探测的相机曝光时间测量结果误差为一个激光器的驱动时间周期,激光器的驱动频率越高,对应单个周期越短。测量引起的误差越小。测量基准时钟频率即高重频激光器的重复频率高于被测高速相机频率4-5个数量级时,测量误差小于高速相机曝光周期的万分之一至十万分之一。
例如,所述高重频激光器的脉冲重频为1GHz,脉宽约为3~5ps;所述光电探测器的探测脉冲上升沿时间为1.4ps;所述采集分析设备的采样率为25GSa/s,采集时间间隔0.04ns。对于帧速率为10000帧/秒、曝光时间为300ns的高速相机,曝光时间和曝光周期的测量精度可以达到0.14‰。
采集分析设备采样率为25GHz,采样点之间的时间间隔为0.04ns。假设曝光开始时刻为t1,曝光结束时刻为t2,则t1和t2的测量不确定度均为0.04ns,根据误差传递公式σa+b=(σ2 a+σ2 b)2,所述σa为t1时刻测量不确定度,所述σb为t2时刻测量不确定度;采集分析设备的曝光时间测量的不确定度为0.057ns。假设高速相机的帧速率为10000帧/秒,每帧曝光时间为300ns,则曝光时间测量相对不确定度为0.18‰。实际上,现在的高速相机曝光时间通常都大于300ns,因此曝光时间测量的相对不确定度优于0.1‰。因此,采用采样率为25GHz的采集分析设备采集高速相机的曝光时间可得到很高的测量精度,即因测量设备因素引起的测量误差在0.1‰以内。
一种高速相机校准方法实现高速相机曝光时间及失帧率的测量和高速相机成像畸变校准,本实施例通过以下两种方法实现高速相机的标定校准:
一种采用上述装置进行高速相机曝光时间及失帧测量方法,如图4所示,包括以下步骤:
步骤S1、将包括标定板、测距激光雷达、高速相机、曝光时间及失帧测量装置和成像畸变校准装置的高速相机校准系统设置在靶场测试现场,使标定板同时位于高速相机和测距激光雷达视场内;
步骤S2、打开测距激光雷达,发射激光脉冲信号;
步骤S3、TTL同步信号触发器产生一个与高速相机曝光时间相一致的触发信号触发光电探测设备工作;
具体地,使用高速相机的曝光外部触发模式(边沿或电平),利用TTL同步信号触发器来同步这个外部触发信号,从而同步高速相机和光电探测设备。
步骤S4、当该触发信号处于高电平时,高速相机曝光进行拍摄,并输出曝光结果信号,同时,光电探测设备在TTL同步触发信号的控制下,将所述相机的曝光结果信号与所述高重频激光信号进行调制,并将调制后的信号发送至采集分析设备;
步骤S5、采集分析设备对光电探测器发送的激光脉冲信号进行处理,得到曝光时间、曝光周期、曝光系数和统计失帧率。
S501、对激光脉冲信号进行高速采集
对光电探测器的探测信号进行高速采样,所述采样带宽为5GHz,采样率为25GSa/s。
S502、计算曝光时间、曝光周期、曝光系数和统计失帧率。
对曝光周期内的高速采样数据进行计时处理得到精确的高速相机的曝光时间;采用高重频激光信号作为光电探测信号的载波,采用高速数据采集降低了曝光时间的误差。
曝光时间的测量:在每一个曝光周期内,采集分析设备采集到调制信号的高电平的时间宽度即为曝光时间;开始时刻为t为采样后信号上升沿幅度一半时的时刻;结束时刻t’为采样后信号下降沿幅度一半时的时刻,曝光时间为Δt=t'-t;
曝光周期的测量:上一个曝光周期曝光时间的开始时刻为t,下一个曝光周期曝光时间的开始时刻为T,曝光周期为ΔT=T-t;
曝光系数:
统计失帧率:统计n个曝光周期,Δti为第i个曝光周期内的曝光时间,则n个曝光周期的失帧率所述是多次测量后Δti的算术平均值。
一种高速相机成像畸变校准方法,如图5所示,包括以下步骤:
步骤S1、将高速相机、测距激光雷达和标定板设置在靶场测试现场,使标定板同时位于高速相机和测距激光雷达视场内;
步骤S2、对所述标定板上的人工标定点Di逐个进行测量,得到人工标定点Di的坐标(xwi,ywi,zwi),i=1,…,5;
步骤2包括以下子步骤:
步骤S201、使用测距激光雷达测量任意两个人工标定点距离;
首先控制测距激光雷达照射到人工标定点D1,测量测距激光雷达到D1点的距离,记为d1
然后转动激光扫描头,使得激光测距雷达照射到人工标定点D2点,扫描过的角度为θ12,测量激光测距雷达到D2点的距离,记为d2
根据余弦定理,D1点和D2点之间的距离可以由式计算得到;
依次步骤,测量得到任意两个标定点的距离为i,j=1,…,5且i≠j;所述任一标定点Di点为坐标为(xwi,ywi,zwi),i=1,…,5,由于标定板为四边形网格状平板,所有人工标定点在一个平面上,任意两个标定点的距离为平面上的距离,使标定点的Z轴坐标zwi相等,则,任意两个标定点的距离i,j=1,…,5且i≠j;
步骤S202、确标定定板中心的人工标定点的D1坐标;
所述标定板在设置时,通过位置测量装置对标定板中心的人工标定点D1坐标进行测量,得到D1点坐标值(xw1,yw1,zw1)。
步骤S203、确定其他人工标定点的坐标;
解上述距离方程构成的完备方程组,
得到D2,…,D5点在标定板上的坐标(xwi,ywi),i=1,…,5,由于步骤S202中确定的D1点的坐标,所有标定点的Z轴坐标zwi相等,因此,得到D2,…,D5,点的坐标(xwi,ywi,zwi),i=1,…,5。
步骤S3、利用高速相机对标定板进行拍摄,在相机视场测得人工标定点Di的坐标(xi,yi,zi),i=1,…,5,通过坐标转换使坐标点(xwi,ywi,zwi),i=1,…,5与坐标点(xi,yi,zi),i=1,…,5在同一坐标系下;
步骤S4、根据测距激光雷达和相机视场测得人工标定点Di的坐标,计算出与相机成像畸变有关的相机内参数;
步骤S401、将测距激光雷达测得的人工标定点Di坐标(xwi,ywi,zwi)和相机视场测得人工标定点Di坐标(xi,yi,zi)带入关系式i=1,…,5;其中R为3×3正交旋转矩阵,T为三维平移矩阵,是与高速相机姿态相关的外参数,分别表示成: 求解参数的Tx,Ty分量;
步骤S402、求解焦距f,畸变系数k以及平移矩阵T的分量Tz
初始取k初始值为0,使用Levenberg-Marquardt算法,得到焦距f,畸变系数k,平移矩阵T的分量Tz的精确解。
步骤S5、根据步骤S4得到的参数,选取待校准图像上的像点(xw,yw,zw),计算得到理想像点p的坐标(Xb,Yb),实现图像的畸变校准。
具体为:根据公式其中z为高速相机的Z轴坐标,
上述公式展开并消去z可得
将上式转化为矩阵形式:
则p点的实际坐标(xw,yw,zw)为:[xw yw zw]T=(ATA)-1ATB,将待校准图像上的像点(xw,yw,zw)代入上式计算得到理想像点p的坐标(Xb,Yb)。
本发明有益效果如下:
采用高精度的皮秒激光测距技术与相机参数标定算法相结合,确定相机焦距和畸变系数,优化畸变矩阵,形成精确的由相机图像到空间位置的三维还原算法,从而实现相机成像畸变的空间校准;
采用测量基准时钟频率高于被测高速相机频率4-5个数量级;采用采样率为25GHz的采集分析设备采集高速相机的曝光时间,测量得到高精度的曝光时间和失帧率,为校准高速相机获取的试验参数提供数据基础。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种高速相机校准系统,其特征在于,包括标定板、测距激光雷达、高速相机、曝光时间及失帧测量装置和成像畸变校准装置;
所述标定板为四边形网格状平板;所述网格状平板上设有多个人工标定点;
所述测距激光雷达产生高重频激光信号,测量所述人工标定点的位置坐标,将坐标信息传送到成像畸变校准装置,同时将产生高重频激光信号输出到曝光时间及失帧测量装置;
所述高速相机工作在外触发模式,将拍摄的标定板图像数据传送到所述成像畸变校准装置,将相机的曝光结果发送到所述曝光时间及失帧测量装置;
所述曝光时间及失帧测量装置触发所述高速相机进行拍摄,根据接收的所述曝光结果和所述高重频激光信号,测量高速相机的曝光时间和失帧率;
所述成像畸变校准装置根据所述测距激光雷达测量的人工标定点的位置坐标和所述高速相机拍摄的图像数据,计算与相机成像畸变有关的相机参数;对高速相机拍摄的图像进行实时畸变校准。
2.根据权利要求1所述的高速相机校准系统,其特征在于,
所述人工标定点均匀分布在标定板上,至少包括设置在标定板的中心点和四个角点上的5个人工标定点;所述网格状平板选用光学吸收较高的材料,所述人工标定点选用高反射率的材料;所述人工标定点的最小尺寸大于测距激光雷达的成像分辨率;
所述标定板配置有起支撑作用的标定杆,所述标定杆的高度H=hL/f,其中h为标定杆在相机视场上的成像长度,f为所述高速相机焦距,L为相机到标定杆的物距;所述标定杆上设置一系列均匀分布的刻度。
3.根据权利要求1所述的高速相机校准系统,其特征在于,
所述测距激光雷达为皮秒级激光脉冲雷达,包括激光发射器、激光接收器、计时电路和坐标解算单元;
所述激光发射器发射脉宽为皮秒级、重复频率高于被测高速相机拍摄速率4-5个数量级的激光脉冲到所述标定板,依次照射标定板上的人工标定点;所述标定板为光学吸收较高的材料,吸收激光脉冲,所述人工标定点为高反射率的材料,反射激光脉冲;
所述测距激光接收器接收人工标定点反射的激光脉冲;
所述计时电路测量激光发射脉冲和接收脉冲的时间延时;
所述坐标解算单元根据计时电路输出的时间延时解算人工标定点的位置坐标,作为高速相机成像畸变校准的位置基准坐标,解算高速相机成像畸变参数;
所述计时电路采用抽头延时线进行时间数字转换,所述抽头延时线共包含多级延时线,通过延迟锁相环控制。
4.根据权利要求1所述的高速相机校准系统,其特征在于,所述曝光时间及失帧测量装置包括TTL同步信号触发器、光电探测器和采集分析器;
所述TTL同步信号触发器分别与所述高速相机、光电探测器相连,产生触发信号,使高速相机、光电探测设备同步触发;
所述光电探测器在所述触发信号的控制下,将所述曝光结果调制到所述高重频激光信号上,并将调制信号输出到采集分析器;
所述采集分析器采集处理所述光电探测器输出的调制信号,计算所述高速相机的曝光时间和失帧率。
5.一种采用权利要求1-4所述高速相机校准系统的高速相机校准方法,其特征在于,所述方法中的高速相机曝光时间及失帧测量方法,包括以下步骤:
步骤S1、将包括标定板、测距激光雷达、高速相机、曝光时间及失帧测量装置和成像畸变校准装置的高速相机校准系统设置在靶场测试现场,使标定板同时位于高速相机和测距激光雷达视场内;
步骤S2、打开测距激光雷达,发射激光脉冲信号;
步骤S3、TTL同步信号触发器产生一个与高速相机曝光时间相一致的触发信号触发光电探测设备工作;
步骤S4、当该触发信号处于高电平时,高速相机曝光进行拍摄,输出曝光结果信号,同时,光电探测设备在TTL同步触发信号的控制下,将所述相机的曝光结果信号与所述高重频激光信号进行调制,并将调制后的信号发送至采集分析设备;
步骤S5、采集分析设备对光电探测器发送的激光脉冲信号进行高速采样,测量得到曝光时间、曝光周期、曝光系数和统计失帧率。
6.根据权利要求5所述的高速相机校准方法,其特征在于,
曝光时间的测量:在每一个曝光周期内,采集分析设备采集到调制信号的高电平的时间宽度即为曝光时间;开始时刻为t为采样后信号上升沿幅度一半时的时刻;结束时刻t’为采样后信号下降沿幅度一半时的时刻,曝光时间为Δt=t'-t;
曝光周期的测量:上一个曝光周期曝光时间的开始时刻为t,下一个曝光周期曝光时间的开始时刻为T,曝光周期为ΔT=T-t;
曝光系数:
统计失帧率:统计n个曝光周期,Δti为第i个曝光周期内的曝光时间,则n个曝光周期的失帧率所述是多次测量后Δti的算术平均值。
7.一种采用权利要求1-4所述高速相机校准系统的高速相机校准方法,其特征在于,所述方法中的高速相机成像畸变校准方法,包括以下步骤:
步骤S1、将包括标定板、测距激光雷达、高速相机、曝光时间及失帧测量装置和成像畸变校准装置的高速相机校准系统设置在靶场测试现场,使标定板同时位于高速相机和测距激光雷达视场内;
步骤S2、对所述标定板上的人工标定点Di逐个进行测量,得到人工标定点Di的坐标(xwi,ywi,zwi),i=1,…,5;
步骤S3、利用高速相机对标定板进行拍摄,在相机视场测得人工标定点Di的坐标(xi,yi,zi),i=1,…,5,通过坐标转换使坐标点(xwi,ywi,zwi)与坐标点(xi,yi,zi)在同一坐标系下;
步骤S4、根据测距激光雷达和相机视场测得人工标定点Di的坐标,计算出与相机成像畸变有关的相机内参数;
步骤S5、根据步骤S4得到的参数,选取待校准图像上的像点(xw,yw,zw),计算得到理想像点p的坐标(Xb,Yb),实现图像的畸变校准。
8.根据权利要求7所述的高速相机校准方法,其特征在于,步骤2包括以下子步骤:
步骤S201、使用测距激光雷达测量任意两个人工标定点距离;
首先控制测距激光雷达照射到人工标定点D1,测量测距激光雷达到D1点的距离,记为d1
然后转动激光扫描头,使得激光测距仪照射到人工标定点D2点,扫描过的角度为θ12,测量激光测距雷达到D2点的距离,记为d2
根据余弦定理,D1点和D2点之间的距离可以由式计算得到;
依次步骤,测量得到任意两个标定点的距离为i,j=1,…,5且i≠j;所述任一标定点Di点为坐标为(xwi,ywi,zwi),i=1,…,5,由于标定板为四边形网格状平板,所有人工标定点在一个平面上,任意两个标定点的距离为平面上的距离,使标定点的Z轴坐标zwi相等,则,任意两个标定点的距离i,j=1,…,5且i≠j;
步骤S202、确定标定板中心的人工标定点的D1坐标;
所述标定板在设置时,通过位置测量装置对标定板中心的人工标定点D1坐标进行测量,得到D1点坐标值(xw1,yw1,zw1);
步骤S203、确定其他人工标定点的坐标;
解上述距离方程构成的完备方程组,
得到D2,…,D5点在标定板上的坐标(xwi,ywi),i=1,…,5,由于步骤S202中确定的D1点的坐标,所有标定点的Z轴坐标zwi相等,因此,得到D2,…,D5,点的坐标(xwi,ywi,zwi),i=1,…,5。
9.根据权利要求7所述的高速相机校准方法,其特征在于,步骤4包括以下子步骤:
步骤S401、将测距激光雷达测得的人工标定点Di坐标(xwi,ywi,zwi)和相机视场测得人工标定点Di坐标(xi,yi,zi)带入关系式i=1,…,5;其中R为3×3正交旋转矩阵,T为三维平移矩阵,是与高速相机姿态相关的外参数,分别表示成: 求解参数的Tx,Ty分量;
步骤S402、求解焦距f,畸变系数k以及平移矩阵T的分量Tz
取k初始值为0,使用Levenberg-Marquardt算法,得到焦距f,畸变系数k,平移矩阵T的分量Tz的精确解。
10.根据权利要求9所述的高速相机校准方法,其特征在于,根据步骤S4得到的参数,选取待校准图像上的像点(xw,yw,zw),依据公式计算得到理想像点p的坐标(Xb,Yb),实现图像的畸变校准,其中z为高速相机的Z轴坐标。
CN201810826725.4A 2018-07-25 2018-07-25 一种高速相机校准系统及方法 Active CN108964777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810826725.4A CN108964777B (zh) 2018-07-25 2018-07-25 一种高速相机校准系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810826725.4A CN108964777B (zh) 2018-07-25 2018-07-25 一种高速相机校准系统及方法

Publications (2)

Publication Number Publication Date
CN108964777A true CN108964777A (zh) 2018-12-07
CN108964777B CN108964777B (zh) 2020-02-18

Family

ID=64464693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810826725.4A Active CN108964777B (zh) 2018-07-25 2018-07-25 一种高速相机校准系统及方法

Country Status (1)

Country Link
CN (1) CN108964777B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109682398A (zh) * 2018-12-25 2019-04-26 中国科学院长春光学精密机械与物理研究所 立体测绘相机整机内方位元素定标方法、装置及系统
CN109901142A (zh) * 2019-02-28 2019-06-18 东软睿驰汽车技术(沈阳)有限公司 一种标定方法及装置
CN109901141A (zh) * 2019-02-28 2019-06-18 东软睿驰汽车技术(沈阳)有限公司 一种标定方法及装置
CN110456330A (zh) * 2019-08-27 2019-11-15 中国人民解放军国防科技大学 一种相机与激光雷达之间外参无目标自动标定方法及系统
CN110988901A (zh) * 2019-12-31 2020-04-10 重庆九洲星熠导航设备有限公司 一种tdc结合相位激光测距方法及系统
CN112146848A (zh) * 2019-06-27 2020-12-29 华为技术有限公司 一种确定摄像头的畸变参数的方法及装置
CN112308933A (zh) * 2020-11-06 2021-02-02 歌尔光学科技有限公司 相机内参标定的方法、装置及计算机存储介质
CN112816949A (zh) * 2019-11-18 2021-05-18 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
CN113298880A (zh) * 2021-05-27 2021-08-24 武汉天远视科技有限责任公司 一种相机标定板、相机标定方法及装置
CN113518219A (zh) * 2021-07-09 2021-10-19 中国人民解放军63660部队 一种基于标校灯的相机曝光时间偏差检测方法
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102342089A (zh) * 2009-03-02 2012-02-01 弗莱克斯电子有限责任公司 相机模块的校准技术
WO2016185024A1 (en) * 2015-05-20 2016-11-24 Cognimatics Ab Method and arrangement for calibration of cameras
CN106950917A (zh) * 2017-01-23 2017-07-14 深圳市卓翼科技股份有限公司 相机校准方法及装置
CN207250479U (zh) * 2017-07-21 2018-04-17 常州雷射激光设备有限公司 一种激光设备中相机精确校准装置
CN108093173A (zh) * 2017-12-14 2018-05-29 北京理工大学 光耦合式图像采集时刻标定的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102342089A (zh) * 2009-03-02 2012-02-01 弗莱克斯电子有限责任公司 相机模块的校准技术
WO2016185024A1 (en) * 2015-05-20 2016-11-24 Cognimatics Ab Method and arrangement for calibration of cameras
CN106950917A (zh) * 2017-01-23 2017-07-14 深圳市卓翼科技股份有限公司 相机校准方法及装置
CN207250479U (zh) * 2017-07-21 2018-04-17 常州雷射激光设备有限公司 一种激光设备中相机精确校准装置
CN108093173A (zh) * 2017-12-14 2018-05-29 北京理工大学 光耦合式图像采集时刻标定的系统和方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109682398A (zh) * 2018-12-25 2019-04-26 中国科学院长春光学精密机械与物理研究所 立体测绘相机整机内方位元素定标方法、装置及系统
CN109682398B (zh) * 2018-12-25 2022-07-08 中国科学院长春光学精密机械与物理研究所 立体测绘相机整机内方位元素定标方法、装置及系统
CN109901142A (zh) * 2019-02-28 2019-06-18 东软睿驰汽车技术(沈阳)有限公司 一种标定方法及装置
CN109901141A (zh) * 2019-02-28 2019-06-18 东软睿驰汽车技术(沈阳)有限公司 一种标定方法及装置
CN109901142B (zh) * 2019-02-28 2021-03-30 东软睿驰汽车技术(沈阳)有限公司 一种标定方法及装置
CN112146848A (zh) * 2019-06-27 2020-12-29 华为技术有限公司 一种确定摄像头的畸变参数的方法及装置
WO2020259506A1 (zh) * 2019-06-27 2020-12-30 华为技术有限公司 一种确定摄像头的畸变参数的方法及装置
CN110456330A (zh) * 2019-08-27 2019-11-15 中国人民解放军国防科技大学 一种相机与激光雷达之间外参无目标自动标定方法及系统
CN110456330B (zh) * 2019-08-27 2021-07-09 中国人民解放军国防科技大学 一种相机与激光雷达之间外参无目标自动标定方法及系统
WO2021098439A1 (zh) * 2019-11-18 2021-05-27 商汤集团有限公司 传感器标定方法及装置、存储介质、标定系统和程序产品
CN112816949A (zh) * 2019-11-18 2021-05-18 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
CN112816949B (zh) * 2019-11-18 2024-04-16 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
CN110988901A (zh) * 2019-12-31 2020-04-10 重庆九洲星熠导航设备有限公司 一种tdc结合相位激光测距方法及系统
CN110988901B (zh) * 2019-12-31 2023-04-14 重庆九洲星熠导航设备有限公司 一种tdc结合相位激光测距方法及系统
CN112308933A (zh) * 2020-11-06 2021-02-02 歌尔光学科技有限公司 相机内参标定的方法、装置及计算机存储介质
CN112308933B (zh) * 2020-11-06 2023-01-20 歌尔光学科技有限公司 相机内参标定的方法、装置及计算机存储介质
CN113298880A (zh) * 2021-05-27 2021-08-24 武汉天远视科技有限责任公司 一种相机标定板、相机标定方法及装置
CN113518219A (zh) * 2021-07-09 2021-10-19 中国人民解放军63660部队 一种基于标校灯的相机曝光时间偏差检测方法
CN113518219B (zh) * 2021-07-09 2022-11-22 中国人民解放军63660部队 一种基于标校灯的相机曝光时间偏差检测方法
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN116091610B (zh) * 2021-11-08 2023-11-10 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法

Also Published As

Publication number Publication date
CN108964777B (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN108964777A (zh) 一种高速相机校准系统及方法
CN109146978A (zh) 一种高速相机成像畸变校准装置及方法
US7471376B2 (en) Method and system for fast calibration of three-dimensional (3D) sensors
US10545222B2 (en) LIDAR data acquisition and control
CN108627849B (zh) 一种应用于高速相机校准的测距激光雷达系统
CN103335819B (zh) 一种用于高精度角锥棱镜光学检测的装置与方法
CN108050933B (zh) 角锥棱镜回射光斑定位精度检测装置与方法
CN102375144A (zh) 单光子计数压缩采样激光三维成像方法
CN104391291B (zh) 一种焦点位置可调细粒子激光雷达系统及自标定方法
CN108900834B (zh) 一种高速相机曝光时间及失帧测量装置及方法
CN109724532A (zh) 一种复杂光学曲面几何参量的精确测试装置及方法
CN108318053A (zh) 一种空间光学遥感相机成像时刻标定精度测量方法及系统
CN103674058A (zh) 一种摆镜角跟踪精度室内检测方法
Liu et al. Multicycle synchronous digital phase measurement used to further improve phase-shift laser range finding
CN113671483B (zh) 一种基于秒脉冲的星载复合数据融合方法
CN115616608A (zh) 一种单光子三维成像距离超分辨方法及系统
CN106411493A (zh) 街景采集数据同步方法、装置及系统
CN103529687B (zh) 脉冲时间间隔测量装置
CN105182433A (zh) 一种时间关联计算重力仪及测量方法
CN108917624A (zh) 用于发动机内表面绝热层厚度检测的挠度计算方法、装置及绝热层厚度检测方法、系统
RU2451904C1 (ru) Способ измерения дальности
CN108132357A (zh) 一种外测法评价转台速率指标的方法
RU2535526C1 (ru) Двухкоординатный фотоэлектрический цифровой автоколлиматор
Huang et al. Research and discussion on high precision image location technology in large scale surveying and mapping mission
CN201203669Y (zh) 激光几何定距装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant