CN117911540A - 一种用于事件相机标定装置与方法 - Google Patents
一种用于事件相机标定装置与方法 Download PDFInfo
- Publication number
- CN117911540A CN117911540A CN202410307498.XA CN202410307498A CN117911540A CN 117911540 A CN117911540 A CN 117911540A CN 202410307498 A CN202410307498 A CN 202410307498A CN 117911540 A CN117911540 A CN 117911540A
- Authority
- CN
- China
- Prior art keywords
- led
- led lamp
- spline
- camera
- event camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013519 translation Methods 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims description 16
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 238000011426 transformation method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000001503 joint Anatomy 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 2
- 238000001179 sorption measurement Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了应用于相机标定技术领域的一种用于事件相机标定装置与方法,包括事件相机、闪烁LED灯条、计算机、一维平移台、支撑架、旋转台、LED控制器及平移台控制器;闪烁LED灯条可通过平移台实现一维平移运动,一维平移台连接平移台控制器,LED控制器连接闪烁LED灯条,其中,闪烁LED灯条包含12个LED发光点,相邻LED发光点的间距为20mm,LED控制器、平移台控制器、旋转台、事件相机连接计算机;通过将相互适配的花键套a和花键轴a,可实现对旋转方向相互垂直的下轴架和上轴架的旋转驱动控制,有利于降低旋转台使用伺服电机的数量,从而有效降低旋转台的制造成本,有利于更加便捷精准的实现对事件相机的标定。
Description
技术领域
本申请涉及相机标定技术领域,特别涉及一种用于事件相机标定装置与方法。
背景技术
事件相机作为一种新兴的动态视觉相机引起了学者们的广泛关注并迅速发展,大致主要分为以下三类:DVS (Dynamic vision sensor)、ATIS(Asynchronous time basedimage sensor)、DAVIS(Dynamic and active pixel vision Sensor),事件相机与传统相机成像原理不同,事件相机拍摄的是事件,即像素亮度的变化,输出的是像素亮度的变化情况,当某个像素的亮度变化累计达到一定阈值后,输出一个事件,事件相机仅仅捕捉场景中动态变化的像素点,拥有低延迟、低功耗、高动态、不受运动模糊干扰,应用前景十分广阔。
目前,事件相机的标定技术在图像测量或者机器视觉应用中还十分欠缺,标定参数的标定是非常关键的环节,其标定结果的精度会直接影响相机工作结果的准确性,现有技术中的相机标定方法精度低、对于动态过程中的标定准确度较低,因此,做好相机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在。
发明内容
本申请目的在于实现动态过程的精确标定,提升标定装置的简单便捷性,并有效提高标定精度,相比现有技术提供一种用于事件相机标定装置,包括事件相机、闪烁LED灯条、计算机、一维平移台、支撑架、旋转台、LED控制器及平移台控制器;
闪烁LED灯条可通过平移台实现一维平移运动,一维平移台连接平移台控制器,LED控制器连接闪烁LED灯条,其中,闪烁LED灯条包含12个LED发光点,相邻LED发光点的间距为20mm,LED控制器、平移台控制器、旋转台、事件相机连接计算机。
进一步的,旋转台包括设置于底部的底座,底座的顶部转动安装有下轴架,且下轴架上转动安装有水平设置的转轴,下轴架的外侧活动套设有与转轴固定连接的上轴架,事件相机固定安装于上轴架的顶部,下轴架的底部活动贯穿有与其同轴设置的花键杆,且花键杆的上端外侧活动套设有与转轴传动连接的花键套a,花键杆的外侧滑动套接有与花键套a内部尺寸相适配的花键轴a,且花键轴a设置于花键套a的下方,花键杆的外侧活动套设有花键套b,花键杆的外侧滑动套接有与花键套b内部尺寸相适配的花键轴b,且花键轴b设置于花键套b的上方,花键杆的外侧活动套设有与下轴架固定连接的承载架,且承载架的上下两侧均固定安装有电磁铁,花键轴a和花键轴b内部固定镶嵌有永磁铁,底座上固定安装有与花键杆传动连接的伺服电机。
进一步的,转轴上固定安装有与其同轴设置的锥齿轮a,花键套a的顶端固定安装有与其同轴设置的锥齿轮b,且锥齿轮b与锥齿轮a相啮合,花键杆的底端固定连接有转动安装于底座内部的蜗轮,底座的内部转动安装有与蜗轮相啮合的蜗杆,且蜗杆与伺服电机的驱动轴同轴固定连接,锥齿轮b、花键套a和花键杆的轴心位置开设有上下贯通的通孔,电磁铁的导线自上而下活动贯穿于通孔内。
进一步的,底座的顶部固定安装有同轴套设于下轴架外侧的环形激光接收器a,下轴架上固定安装有对应设置于环形激光接收器a内侧的激光发射器a,下轴架的侧端壁上固定安装有同轴套设于上轴架外侧的环形激光接收器b,上轴架上固定安装有对应设置于环形激光接收器b内侧的激光发射器b。
本发明还提供一种用于事件相机标定的方法,包括如下步骤:
本发明提供了本发明提供了一种用于事件相机标定的方法,包括如下步骤:
S1、LED灯条图像的获取准备:闪烁LED灯条安置在支撑架上,支撑架固定于一维平移台,闪烁LED灯条可通过平移台实现一维平移运动,其中,LED灯条包含N个LED发光点,相邻LED发光点的间距为,每个LED发光点所在的高度记为/>,LED灯条的亮灭是同步的,时间通过单片机控制器调节,将事件相机固定在旋转台上,在标定的过程中,控制器来控制旋转台转动,使事件相机等角度的左右转动,事件相机和闪烁LED灯条同步触发开启工作,在该位置事件相机完成拍摄后,LED灯组为灭状态,捕获的图像可以通过USB接口传输到计算机中;
S2、获取LED灯条的图像;
S3、对所述LED灯条的图像采用高斯滤波进行去噪,对去噪后的LED灯条的图像进行特征点提取,得到LED灯的二维图像坐标;
S4、将所述固定闪烁LED灯条的一维平移台前后或不同角度移动,重复步骤2-3,采集M张位姿的LED灯图像;
S5:将所述二维特征点的提取与所述LED灯柱面虚拟三维标靶采用两步法进行标定,首先利用直接线性变换方法求解相机的一部分参数,再把求得的参数作为初始值,将相机本身的畸变因素考虑进去,利用优化算法提高相机标定的精度,得到优化后的相机参数值。
进一步的,所述S2中的获取LED灯条的图像步骤为调节旋转台装置,使LED灯条与相机成像面平行,设置此位置为旋转台转动轴的角度零点位置,作为标定过程中角度转动的起点;事件相机位于LED灯条正前方,通过控制器控制事件相机在旋转台上等角度左右各旋转x次,旋转的角度为/>;事件相机进行同步拍摄以获取对应的LED灯条图像,并将所得的LED灯条图像合成为一张N×N的LED灯二维图像;
旋转台在左右转动时,把左右的转动转换为LED的旋转,LED灯条在空间中围绕相机以半径为R进行左右旋转,建立统一的坐标系,得到LED灯在空间中呈柱面分布的虚拟三维标靶。
进一步的,所述S1中的N个LED发光点所在的高度为,建立OXYZ世界坐标系,其虚拟标靶的三维坐标/>为/>O为事件相机的初始位置光心,LED灯条法向为Y轴,LED灯条的方向与X轴一致,与X轴与Y轴垂直的方向作为Z轴,坐标系为左手坐标系。
进一步的,所述S3中的图像使用高斯滤波进行去噪:待处理的事件,使用二维高斯函数公式:/>式中:/>为该事件与其他事件的空间距离,/>为该事件与其他事件的时间戳距离;
将事件流用二维高斯核进行卷积,得到该事件的真实事件概率。式中:/>表示卷积运算,/>表示卷积运算,/>及时间距离/>的标准差,与事件相机分辨率和事件流的时间间隔相关;/>
当事件概率小于阈值时,认为该事件为背景事件;当事件数大于阈值/>时,认为该事件为真实事件;基于事件的滤波方法,滤除噪声干扰,保证事件触发的有效性。
进一步的,所述直接线性变换法(DLT)通过对相机的参数矩阵进行分解,利用直接线性方法求解相机内部参数和外部参数,DLT需要利用至少6个特征点来计算投影矩阵,如果有6个以上的点,DLT 先将重投影的平方误差最小化,然后利用投影矩阵进行计算:式中:/>为像素坐标系下点的齐次坐标;/>为世界坐标系下空间点的欧氏坐标;K为内参矩阵;t为平移向量;/>的透视投影矩阵;s为未知尺度因子。
进一步的,所述优化后的相机参数值,采用Levenberg-Marquardt方法进一步优化内外参数和畸变因子,可求解出径向畸变参数k1,k2,优化的目标函数为:式中,M表示采集标靶的方位数;N²表示一副标靶图像的特征点总数;/>表示第i个方位上的第j个特征点,/>表示使用内参数求得的反投影点坐标;使上述式子取得最小值,求得优化后的相机内外参数。
一种用于事件相机标定装置与方法,包括事件相机、闪烁LED灯条、计算机、一维平移台、支撑架、旋转台、LED控制器及平移台控制器;闪烁LED灯条可通过平移台实现一维平移运动,所述一维平移台连接平移台控制器,所述LED控制器连接闪烁LED灯条,其中,闪烁LED灯条包含个LED发光点,相邻LED发光点的间距为mm,所述LED控制器、平移台控制器、旋转台、事件相机连接计算机。
本发明的优点:
(1)本申请提供的一种用于事件相机标定的方法,通过LED灯条和旋转台组成标定装置,可以构建覆盖全视场的标靶,同时,通过使用LED灯条作为光源,使其发光点可以避免像点不清晰的现象,使得标定的精度较高。
(2)本申请提供的一种用于事件相机标定方法的装置,其标定过程实现了自动化,人为干扰因素较少,在每个位置上通过旋转台旋转的角度来计算LED发光点的三维坐标,从而使标定过程更为便捷。
(3)本申请通过将相互适配的花键套a和花键轴a,以及花键套b和花键轴b安装于花键杆的上下两侧,借助电磁铁对花键轴a和花键轴b内永磁铁的磁性吸附和相斥的切换,实现花键套a和花键轴a,以及花键套b和花键轴b的对接以及分离,使得仅需使用单个伺服电机,即可实现对旋转方向相互垂直的下轴架和上轴架的旋转驱动控制,有利于降低旋转台使用伺服电机的数量,从而有效降低旋转台的制造成本,有利于更加便捷精准的实现对事件相机的标定。
附图说明
图1为本申请标定系统初始位置示意图;
图2为本申请标定系统旋转后示意图;
图3为本申请标定方法原理图;
图4为本申请中LED在坐标系中的位置关系示意图;
图5为本申请相机采集三张位姿LED图像示意图;
图6为本申请旋转台正面视角下的立体图;
图7为本申请旋转台背面视角下的立体图;
图8为本申请旋转台底部视角下的立体图;
图9为本申请旋转台的俯视图;
图10为本申请图9中A-A处结构的剖面图;
图11为本申请图9中B-B处结构的剖面图;
图12为本申请旋转台内花键套a和花键轴a、花键套b和花键轴b对接后的立体图。
图中标号说明:
1、支撑架;2、闪烁LED灯条;3、一维平移台;4、计算机;5、事件相机;
6、旋转台;601、底座;602、下轴架;603、转轴;604、上轴架;605、花键杆;606、花键套a;607、花键轴a;608、花键套b;609、花键轴b;610、承载架;611、电磁铁;612、伺服电机;613、锥齿轮a;614、锥齿轮b;615、蜗轮;616、蜗杆;617、环形激光接收器a;618、激光发射器a;619、环形激光接收器b;620、激光发射器b;
7、LED控制器;8、平移台控制器;9、LED在第一个位置上形成的弧形虚拟标靶;10、LED在第二个位置上形成的弧形虚拟标靶;11、LED在第三个位置上形成的弧形虚拟标靶。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
本发明提供了一种用于事件相机标定装置,请参阅图1-图12,包括事件相机5、闪烁LED灯条2、计算机4、一维平移台3、支撑架1、旋转台6、LED控制器7及平移台控制器8,的闪烁LED灯条2安置在支撑架1上,支撑架1固定于一维平移台3,闪烁LED灯条2可通过平移台实现一维平移运动;
一维平移台3连接平移台控制器8,LED控制器7连接闪烁LED灯条2,其中,闪烁LED灯条2包含12个LED发光点,相邻LED发光点的间距为20mm,LED控制器7、平移台控制器8、旋转台6、事件相机5连接计算机4;
每个LED发光点所在的高度记为;闪烁LED灯条2的亮灭是同步的,时间通过单片机控制器调节;事件相机5固定在旋转台6上,在标定的过程中,控制器来控制旋转台6转动,使事件相机1等角度的左右转动;事件相机5和闪烁LED灯条2同步触发开启工作,在该位置事件相机5完成拍摄后,LED灯组为灭状态;捕获的图像可以通过USB接口传输到计算机中;
请参阅图7-图12,旋转台6包括设置于底部的底座601,底座601的顶部转动安装有下轴架602,且下轴架602上转动安装有水平设置的转轴603,下轴架602的外侧活动套设有与转轴603固定连接的上轴架604,事件相机5固定安装于上轴架604的顶部,下轴架602的底部活动贯穿有与其同轴设置的花键杆605,且花键杆605的上端外侧活动套设有与转轴603传动连接的花键套a606,花键杆605的外侧滑动套接有与花键套a606内部尺寸相适配的花键轴a607,且花键轴a607设置于花键套a606的下方,花键杆605的外侧活动套设有花键套b608,花键杆605的外侧滑动套接有与花键套b608内部尺寸相适配的花键轴b609,且花键轴b609设置于花键套b608的上方,花键杆605的外侧活动套设有与下轴架602固定连接的承载架610,且承载架610的上下两侧均固定安装有电磁铁611,花键轴a607和花键轴b609内部固定镶嵌有永磁铁,底座601上固定安装有与花键杆605传动连接的伺服电机612。
该装置使用过程中,将本装置连接外接电源,使得外接电源为本装置提供电力支持,在随后可以通过为伺服电机612提供电力驱动旋转台6启用,通过控制花键套a606和花键轴a607,以及花键套b608和花键轴b609的对接,实现对下轴架602水平方向的旋转控制,以及上轴架604上下方向上的旋转控制。
常态下,安装于承载架610上下两侧的电磁铁611通电启动后,会同时对花键轴a607和花键轴b609内的永磁铁进行磁性吸附,此时在磁力吸引作用下,花键轴a607向下移动,贴合于上方的电磁铁611顶部,与花键套a606处于分离状态,同理,花键轴b609向上移动,贴合于下方的电磁铁611底部,与花键套b608处于分离状态,此状态下,伺服电机612通电启动带动花键杆605旋转时,不会将动力接入驱动下轴架602和上轴架604旋转。
下轴架602和底座601之间的旋转连接紧密,其连接位置具有一定的摩擦阻力,在无动力驱动下轴架602旋转时,下轴架602不会自动发生旋转,上轴架604与下轴架602之间的旋转连接同样紧密,在无动力驱动上轴架604旋转时,上轴架604同样保持不会主动旋转的稳定状态。
在需要控制下轴架602进行水平方向的旋转时,仅需控制安装于承载架610下方的电磁铁611切换磁极方向,使得该电磁铁611为下方花键轴b609内的永磁铁提供磁性相斥作用,在磁性相斥作用下,花键轴b609沿花键杆605向下移动,花键轴b609下移后嵌入花键套b608内,与其完成对接操作,此时花键杆605旋转时会带动适配套接于其外侧的花键轴b609旋转,进而带动花键套b608旋转,对下轴架602的旋转提供动力接入,使得安装于上轴架604顶部的事件相机5可以进行水平方向的旋转调整。
同理,当需要控制上轴架604进行上下方向的旋转时,仅需控制安装于承载架610上方的电磁铁611切换磁极方向,使得该电磁铁611为上方花键轴a607内的永磁铁提供磁性相斥作用,在磁性相斥作用下,花键轴a607沿花键杆605向上移动,花键轴a607上移后嵌入花键套a606内,与其完成对接操作,此时花键杆605旋转时会带动适配套接于其外侧的花键轴a607旋转,进而带动花键套a606旋转,带动转轴603旋转,对上轴架604的旋转提供动力接入,使得安装于上轴架604顶部的事件相机5可以进行上下方向的旋转调整。
该装置使用过程中,通过将相互适配的花键套a606和花键轴a607,以及花键套b608和花键轴b609安装于花键杆607的上下两侧,借助电磁铁611对花键轴a607和花键轴b609内永磁铁的磁性吸附和相斥的切换,实现花键套a606和花键轴a607,以及花键套b608和花键轴b609的对接以及分离,使得仅需使用单个伺服电机612,即可实现对旋转方向相互垂直的下轴架602和上轴架604的旋转驱动控制,有利于降低旋转台6使用伺服电机612的数量,从而有效降低旋转台6的制造成本。
花键轴a607和花键轴b609的内部尺寸与花键杆605的外侧尺寸相适配,这使得花键轴a607和花键轴b609仅可以相对的在花键杆605的外侧上下滑动,限制其与花键杆605发生相对旋转,使得花键杆605上旋转动力向下轴架602和上轴架604上传递的稳定性,花键轴a607的上端和花键轴b609的下端均设置为圆台型结构,这使得其端头位置形成向内倾斜结构,可以在与花键套a606和花键套b608对接时进行引导,保障对接操作更加顺畅地完成。
请参阅图7和图9,转轴603上固定安装有与其同轴设置的锥齿轮a613,花键套a606的顶端固定安装有与其同轴设置的锥齿轮b614,且锥齿轮b614与锥齿轮a613相啮合,花键杆605的底端固定连接有转动安装于底座601内部的蜗轮615,底座601的内部转动安装有与蜗轮615相啮合的蜗杆616,且蜗杆616与伺服电机612的驱动轴同轴固定连接,锥齿轮b614、花键套a606和花键杆605的轴心位置开设有上下贯通的通孔,电磁铁611的导线自上而下活动贯穿于通孔内。
该装置使用过程中,伺服电机612通电启动后,带动与其驱动轴同轴固定的蜗杆616旋转,借助蜗杆616与蜗轮615之间的啮合连接,驱动615带动花键杆605旋转,通过改变伺服电机612驱动轴的旋转方向,灵活调整下轴架602和上轴架604的旋转方向,借助蜗杆616与蜗轮615之间的减速传动,可以放缓伺服电机612对花键杆605的旋转驱动,有利于进一步实现下轴架602和上轴架604旋转调整的精准性。
当花键杆605的旋转传递至花键套a606上时,会带动固定安装于花键套a606顶端的锥齿轮b614旋转,借助锥齿轮b614与锥齿轮a613之间的啮合传动,驱动转轴603旋转,将竖直设置的花键杆605上的径向旋转,传递至水平设置的转轴603上,灵活且稳定地改变动力驱动方向,同时,通过将锥齿轮b614、花键套a606和花键杆605的轴心位置开设有自上而下贯通的通孔,并将连接电磁铁611的导线管贯穿通孔进行布置,可以避免导线布置在外侧,与下轴架602的旋转相互干扰影响,有利于保障该旋转台6运行过程中的稳定性。
请参阅图7、图8、图11和图12,底座601的顶部固定安装有同轴套设于下轴架602外侧的环形激光接收器a617,下轴架602上固定安装有对应设置于环形激光接收器a617内侧的激光发射器a618,下轴架602的侧端壁上固定安装有同轴套设于上轴架604外侧的环形激光接收器b619,上轴架604上固定安装有对应设置于环形激光接收器b619内侧的激光发射器b620。
该装置使用过程中,连接激光发射器a618和环形激光接收器b619的导线同样布置于花键杆605内的通孔中,连接激光发射器b620的导线穿插于转轴603的轴心位置,并在转轴603的中间位置贯穿至花键杆605内的通孔中,保障激光发射器a618、环形激光接收器b619和激光发射器b620的导线不会对下轴架602和上轴架604的旋转造成干扰。
通电启动后,激光发射器a618和激光发射器b620通电后射出激光,分别照射于环形激光接收器a617和环形激光接收器b619上,环形激光接收器a617和环形激光接收器b619上会感应照射到其上的激光点,当下轴架602和上轴架604发生旋转时,环形激光接收器a617和环形激光接收器b619上感应到的激光点的位置发生变化,通过激光点的变化核验下轴架602和上轴架604的旋转角度,实现对下轴架602和上轴架604旋转角度的精准控制。
本发明提供一种用于事件相机标定的方法的装置,包括事件相机5、闪烁LED灯条2、计算机4、一维平移台3、支撑架1、旋转台6、LED控制器7及平移台控制器8,所述的闪烁LED灯条2安置在支撑架1上,支撑架1固定于一维平移台3,闪烁LED灯条2可通过平移台实现一维平移运动,所述一维平移台3连接平移台控制器8,所述LED控制器7连接闪烁LED灯条2,其中,闪烁LED灯条2包含12个LED发光点,相邻LED发光点的间距为,所述LED控制器7、平移台控制器8、旋转台6、事件相机5连接计算机4;每个LED发光点所在的高度记为。闪烁LED灯条2的亮灭是同步的,时间通过单片机控制器调节。所述事件相机5固定在旋转台6上,在标定的过程中,控制器来控制旋转台6转动,使事件相机1等角度的左右转动;事件相机5和闪烁LED灯条2同步触发开启工作,在该位置事件相机5完成拍摄后,LED灯组为灭状态。捕获的图像可以通过USB接口传输到计算机中。
如图6所示,本发明提供的一种用于事件相机标定的方法,该标定方法具体包括以下步骤:包括如下步骤:
S1、LED灯条图像的获取准备:闪烁LED灯条2安置在支撑架1上,支撑架1固定于一维平移台3,LED可通过平移台实现一维平移运动,其中,LED灯条包含N个LED发光点,相邻LED发光点的间距为,每个LED发光点所在的高度记为/>,LED灯条的亮灭是同步的,时间通过单片机控制器调节,将事件相机5固定在旋转台6上,在标定的过程中,控制器来控制旋转台6转动,使事件相机5等角度的左右转动,事件相机5和闪烁LED灯条2同步触发开启工作,在该位置事件相机5完成拍摄后,LED灯组为灭状态,捕获的图像可以通过USB接口传输到计算机4中;
S2:获取LED灯条的图像;调节旋转台装置,使LED灯条与相机成像面平行,设置此位置为旋转台6转动轴的角度零点位置,作为标定过程中角度转动的起点。在实施方案中,事件相机5位于LED灯条正前方,通过控制器控制事件相机5在旋转台6上从初始位置(图1)上等角度向左旋转11次,旋转的角度为5°,图2为旋转台6旋转之后位置的相机标定系统图。事件相机5进行同步拍摄以获取对应的LED灯条图像,并将所得的LED灯条图像合成为一张12×12的LED灯二维图像。
在实施方案中,旋转台6在向左转动时,可以把向左的转动转换为LED的旋转,因此可以认为旋转台静止,而LED灯条在空间中围绕相机以半径为进行向左旋转,根据这一关系,建立统一的坐标系,如图3所示,可得到LED灯在空间中呈柱面分布的虚拟三维标靶。
所述步骤S1中N个LED发光点所在的高度记为,灯条的第一个LED发光点为0mm,相邻LED发光点的间距为20mm,LED灯的高度范围为/>,建立如图4所示OXYZ世界坐标系,以事件相机的初始位置光心为原点O,LED灯条法向为Y轴,LED灯条的方向与X轴一致,与X轴与Y轴垂直的方向作为Z轴,坐标系为左手坐标系,其虚拟标靶的三维坐标为/>
S3:事件相机5拍摄的闪烁LED灯条图像可能会受到噪声的影响,对所述LED灯条的图像进行去噪,图像去噪常采用均值滤波、中值滤波、高斯滤波等方法,本系统采用高斯滤波进行去噪,对去噪后的LED灯条的图像进行特征点提取,得到LED灯的二维图像坐标;
所述S3中高斯滤波进行去噪:待处理的事件,使用二维高斯函数公式:/>
式中:为该事件与其他事件的空间距离,/>为该事件与其他事件的时间戳距离。
将事件流用二维高斯核进行卷积,得到该事件的真实事件概率。
式中:表示卷积运算,/>是事件间的空间距离/>及时间距离/>的标准差,与事件相机分辨率和事件流的时间间隔相关。
如下式所示,当事件概率小于阈值时,认为该事件为背景事件;当事件数大于阈值/>时,认为该事件为真实事件。基于事件的滤波方法,滤除噪声干扰,保证事件触发的有效性。
S4:将所述固定闪烁LED灯条的一维平移台前后或者不同角度移动,重复步骤2-3,在实施方案中,如图5所示,本发明采集3张位姿的LED灯图像;
S5:将所述二维特征点的提取与所述LED灯柱面虚拟三维标靶采用两步法进行标定,首先利用直接线性变换方法求解相机的一部分参数,再把求得的参数作为初始值,将相机本身的畸变因素考虑进去,利用优化算法提高相机标定的精度,得到优化后的相机参数值。
所述S5:所使用的的直接线性变换法(DirectLinearTransform,DLT)。该方法通过对相机的参数矩阵进行分解,利用直接线性方法求解相机内部参数和外部参数。DLT需要利用至少6个特征点来计算投影矩阵,如果有6个以上的点,DLT 先将重投影的平方误差最小化,然后利用投影矩阵进行计算。
式中:为像素坐标系下点的齐次坐标;/>为世界坐标系下空间点的欧氏坐标;K为内参矩阵;t为平移向量;/>的透视投影矩阵;s为未知尺度因子。
所述S5:采用Levenberg-Marquardt方法进一步优化内外参数和畸变因子,可求解出径向畸变参数k 1 ,k 2 ,优化的目标函数为:式中,M表示采集标靶的方位数;N²表示一副标靶图像的特征点总数;/>表示第i个方位上的第j个特征点,/>表示使用内参数求得的反投影点坐标。使上述式子取得最小值,求得优化后的相机内外参数。
尽管参考附图详地公开了本发明,但应理解的是,这些描述仅仅是示例性的,并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定,并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。
Claims (6)
1.一种用于事件相机标定装置,包括事件相机(5)、闪烁LED灯条(2)、计算机(4)、一维平移台(3)、支撑架(1)、旋转台(6)、LED控制器(7)及平移台控制器(8),其特征在于:
所述一维平移台(3)连接平移台控制器(8),所述LED控制器(7)连接闪烁LED灯条(2),其中,闪烁LED灯条(2)包含12个LED发光点,相邻LED发光点的间距为20mm,所述LED控制器(7)、平移台控制器(8)、旋转台(6)、事件相机(5)连接计算机(4);
所述旋转台(6)包括设置于底部的底座(601),所述底座(601)的顶部转动安装有下轴架(602),所述下轴架(602)上转动安装有上轴架(604),所述事件相机(5)固定安装于上轴架(604)的顶部;
所述下轴架(602)的底部活动贯穿有花键杆(605),且花键杆(605)的上端活动套设有与上轴架(604)传动连接的花键套a(606),所述花键杆(605)的外侧滑动套接有花键轴a(607),所述花键杆(605)的外侧活动套设有花键套b(608),所述花键杆(605)的外侧滑动套接有花键轴b(609),所述花键杆(605)的外侧活动套设有承载架(610),且承载架(610)的上下两侧均固定安装有电磁铁(611),所述花键轴a(607)和花键轴b(609)内部固定镶嵌有永磁铁。
2.根据权利要求1所述的一种用于事件相机标定装置,其特征在于:所述花键杆(605)的底端固定连接有蜗轮(615),且蜗轮(615)外侧啮合有蜗杆(616),所述花键杆(605)的轴心位置开设有上下贯通的通孔。
3.根据权利要求2所述的一种用于事件相机标定装置,其特征在于:所述底座(601)的顶部固定安装有环形激光接收器a(617),所述下轴架(602)上固定安装有激光发射器a(618),所述下轴架(602)的侧端壁上固定安装有环形激光接收器b(619),所述上轴架(604)上固定安装有激光发射器b(620)。
4.一种根据权利要求1-3任一项所述的用于事件相机标定装置的方法,其特征在于,包括如下步骤:
S1、LED灯条图像的获取准备:闪烁LED灯条(2)安置在支撑架(1)上,支撑架(1)固定于一维平移台(3),闪烁LED灯条(2)可通过平移台实现一维平移运动,其中,闪烁LED灯条(2)包含N个LED发光点,相邻LED发光点的间距为,每个LED发光点所在的高度记为,闪烁LED灯条(2)的亮灭是同步的,时间通过单片机控制器调节,将事件相机(5)固定在旋转台(6)上,在标定的过程中,控制器来控制旋转台(6)转动,使事件相机(5)等角度的左右转动,事件相机(5)和闪烁LED灯条(2)同步触发开启工作,在该位置事件相机(5)完成拍摄后,LED灯组为灭状态,捕获的图像可以通过USB接口传输到计算机(4)中;
S2、获取LED灯条的图像;
S3、对LED灯条的图像采用高斯滤波进行去噪,对去噪后的LED灯条的图像进行特征点提取,得到LED灯的二维图像坐标;
S4、将固定闪烁LED灯条的一维平移台前后或不同角度移动,重复步骤2-3,采集M张位姿的LED灯图像;
S5、将二维特征点的提取与LED灯柱面虚拟三维标靶采用两步法进行标定,首先利用直接线性变换方法求解相机的一部分参数,再把求得的参数作为初始值,将相机本身的畸变因素考虑进去,利用优化算法提高相机标定的精度,得到优化后的相机参数值。
5.根据权利要求4所述的一种用于事件相机标定装置的方法,其特征在于:S2中的获取LED灯条的图像步骤为调节旋转台(6),使闪烁LED灯条(2)与相机成像面平行,设置此位置为旋转台(6)转动轴的角度零点位置,作为标定过程中角度转动的起点;事件相机(5)位于闪烁LED灯条(2)正前方,通过控制器控制事件相机(5)在旋转台(6)上等角度左右各旋转x次,旋转的角度为/>;事件相机(5)进行同步拍摄以获取对应的LED灯条图像,并将所得的LED灯条图像合成为一张N×N的LED灯二维图像;
旋转台(6)在左右转动时,把左右的转动转换为LED的旋转,闪烁LED灯条(2)在空间中围绕相机以半径为R进行左右旋转,建立统一的坐标系,得到LED灯在空间中呈柱面分布的虚拟三维标靶。
6.根据权利要求4所述的一种用于事件相机标定装置的方法,其特征在于:S1中的N个LED发光点所在的高度为,建立OXYZ世界坐标系,其虚拟标靶的三维坐标为
,
O为事件相机(5)的初始位置光心,闪烁LED灯条(2)法向为Y轴,闪烁LED灯条(2)的方向与X轴一致,与X轴与Y轴垂直的方向作为Z轴,坐标系为左手坐标系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410307498.XA CN117911540A (zh) | 2024-03-18 | 2024-03-18 | 一种用于事件相机标定装置与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410307498.XA CN117911540A (zh) | 2024-03-18 | 2024-03-18 | 一种用于事件相机标定装置与方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117911540A true CN117911540A (zh) | 2024-04-19 |
Family
ID=90692587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410307498.XA Pending CN117911540A (zh) | 2024-03-18 | 2024-03-18 | 一种用于事件相机标定装置与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117911540A (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9489735B1 (en) * | 2015-09-17 | 2016-11-08 | Qualcomm Incorporated | Multiplexed temporal calibration for event-based cameras |
CN106767913A (zh) * | 2016-12-02 | 2017-05-31 | 中国科学技术大学 | 一种基于单led发光点和二维转台的复眼系统标定装置及标定方法 |
CN107993266A (zh) * | 2017-12-05 | 2018-05-04 | 西北工业大学 | 光场相机内参数标定装置及方法 |
CN110455198A (zh) * | 2019-08-22 | 2019-11-15 | 吉林大学 | 基于线结构光视觉的矩形花键轴键宽及直径测量方法 |
CN110455225A (zh) * | 2019-08-22 | 2019-11-15 | 吉林大学 | 基于结构光视觉的矩形花键轴同轴度及键位置度测量方法 |
CN112700502A (zh) * | 2020-12-29 | 2021-04-23 | 西安电子科技大学 | 双目相机系统和双目相机空间标定方法 |
CN112710230A (zh) * | 2020-12-14 | 2021-04-27 | 安徽大学 | 一种单目机器视觉球形电机位置检测算法数据集采集装置 |
CN214149170U (zh) * | 2020-12-14 | 2021-09-07 | 新拓三维技术(深圳)有限公司 | 一种相机标定装置 |
WO2021238923A1 (zh) * | 2020-05-25 | 2021-12-02 | 追觅创新科技(苏州)有限公司 | 相机参数标定方法及装置 |
CN114913239A (zh) * | 2022-04-06 | 2022-08-16 | 清华大学 | 一种事件相机传感器与rgb相机联合标定方法和装置 |
US20220319031A1 (en) * | 2021-03-31 | 2022-10-06 | Auris Health, Inc. | Vision-based 6dof camera pose estimation in bronchoscopy |
CN115494436A (zh) * | 2022-08-30 | 2022-12-20 | 香港中文大学(深圳) | 一种基于事件相机的磁畴快速反馈控制方法及装置 |
US20230060421A1 (en) * | 2021-08-27 | 2023-03-02 | Summer Robotics, Inc. | Multi-sensor superresolution scanning and capture system |
CN115994954A (zh) * | 2023-03-22 | 2023-04-21 | 浙江伽奈维医疗科技有限公司 | 一种高精度大视野近红外光学相机标定装置及标定方法 |
CN116309864A (zh) * | 2023-02-22 | 2023-06-23 | 合肥工业大学 | 一种短波红外双相机标定装置及标定方法 |
US20230252678A1 (en) * | 2022-01-21 | 2023-08-10 | Motional Ad Llc | Universal sensor performance and calibration target for multi-sensor imaging systems |
US20230324988A1 (en) * | 2020-07-09 | 2023-10-12 | Apple Inc | Display calibration |
CN116977449A (zh) * | 2023-09-25 | 2023-10-31 | 安徽大学 | 一种基于闪烁棋盘格的复眼事件相机主动标定方法 |
-
2024
- 2024-03-18 CN CN202410307498.XA patent/CN117911540A/zh active Pending
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9489735B1 (en) * | 2015-09-17 | 2016-11-08 | Qualcomm Incorporated | Multiplexed temporal calibration for event-based cameras |
CN106767913A (zh) * | 2016-12-02 | 2017-05-31 | 中国科学技术大学 | 一种基于单led发光点和二维转台的复眼系统标定装置及标定方法 |
CN107993266A (zh) * | 2017-12-05 | 2018-05-04 | 西北工业大学 | 光场相机内参数标定装置及方法 |
CN109615661A (zh) * | 2017-12-05 | 2019-04-12 | 西北工业大学 | 光场相机内参数标定装置及方法 |
CN110455198A (zh) * | 2019-08-22 | 2019-11-15 | 吉林大学 | 基于线结构光视觉的矩形花键轴键宽及直径测量方法 |
CN110455225A (zh) * | 2019-08-22 | 2019-11-15 | 吉林大学 | 基于结构光视觉的矩形花键轴同轴度及键位置度测量方法 |
WO2021238923A1 (zh) * | 2020-05-25 | 2021-12-02 | 追觅创新科技(苏州)有限公司 | 相机参数标定方法及装置 |
US20230324988A1 (en) * | 2020-07-09 | 2023-10-12 | Apple Inc | Display calibration |
CN214149170U (zh) * | 2020-12-14 | 2021-09-07 | 新拓三维技术(深圳)有限公司 | 一种相机标定装置 |
CN112710230A (zh) * | 2020-12-14 | 2021-04-27 | 安徽大学 | 一种单目机器视觉球形电机位置检测算法数据集采集装置 |
CN112700502A (zh) * | 2020-12-29 | 2021-04-23 | 西安电子科技大学 | 双目相机系统和双目相机空间标定方法 |
US20220319031A1 (en) * | 2021-03-31 | 2022-10-06 | Auris Health, Inc. | Vision-based 6dof camera pose estimation in bronchoscopy |
US20230060421A1 (en) * | 2021-08-27 | 2023-03-02 | Summer Robotics, Inc. | Multi-sensor superresolution scanning and capture system |
US20230252678A1 (en) * | 2022-01-21 | 2023-08-10 | Motional Ad Llc | Universal sensor performance and calibration target for multi-sensor imaging systems |
CN114913239A (zh) * | 2022-04-06 | 2022-08-16 | 清华大学 | 一种事件相机传感器与rgb相机联合标定方法和装置 |
CN115494436A (zh) * | 2022-08-30 | 2022-12-20 | 香港中文大学(深圳) | 一种基于事件相机的磁畴快速反馈控制方法及装置 |
CN116309864A (zh) * | 2023-02-22 | 2023-06-23 | 合肥工业大学 | 一种短波红外双相机标定装置及标定方法 |
CN115994954A (zh) * | 2023-03-22 | 2023-04-21 | 浙江伽奈维医疗科技有限公司 | 一种高精度大视野近红外光学相机标定装置及标定方法 |
CN116977449A (zh) * | 2023-09-25 | 2023-10-31 | 安徽大学 | 一种基于闪烁棋盘格的复眼事件相机主动标定方法 |
Non-Patent Citations (2)
Title |
---|
MANASI MUGLIKAR等: "How to Calibrate Your Event Camera", 《2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》, 31 December 2021 (2021-12-31), pages 1403 - 1409 * |
徐兴波: "基于机器视觉的轴类零件尺寸测量系统的研制", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 May 2017 (2017-05-15), pages 138 - 836 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106570932B (zh) | 基于图像的人体头部三维数据采集系统及其方法 | |
JP7049364B2 (ja) | 仮想現実システムにおける物体の位置および向きの追跡 | |
CN108225798B (zh) | 基于边缘增强识别的轮胎滑移量测试系统及测试方法 | |
CN108032011B (zh) | 基于激光结构光焊缝初始点导引装置及方法 | |
CN216590694U (zh) | 一种基于多目视觉的三维重建拍摄装置 | |
CN210719158U (zh) | 一种高效全方位影像测量仪 | |
CN215773734U (zh) | 一种加工设备 | |
CN110594703B (zh) | 一种激光医疗的照明装置 | |
CN117911540A (zh) | 一种用于事件相机标定装置与方法 | |
CN116678896A (zh) | 基于人工智能机器视觉的线缆全角度成像及质量检测装置 | |
CN204859345U (zh) | 一种球型3d动态影像的图像采集装置 | |
CN114083129A (zh) | 一种三维视觉跟踪焊接机器人及其控制方法 | |
CN108347561B (zh) | 激光引导扫描系统及扫描方法 | |
CN111486419A (zh) | 一种无影灯自动定位的方法和装置 | |
CN109397266B (zh) | 一种通过视觉编程的示教器装置 | |
CN116531012A (zh) | 悬吊dr-ct摄影系统及其控制方法 | |
CN109114523B (zh) | 数字媒体艺术设计用照明装置及其控制系统与控制方法 | |
CN208026707U (zh) | 一种环境检测装置安置架 | |
CN113568157B (zh) | 一种小直径直侧视电动旋转对焦内窥镜 | |
CN211532335U (zh) | 一种自动激光逗猫器 | |
CN215272859U (zh) | 锥束ct扫描系统 | |
CN115919206A (zh) | 一种清洁机器人 | |
CN113189834A (zh) | 一种三维数据采集棚及其拍摄方法 | |
CN218935859U (zh) | 一种图像建模用3d拍摄设备 | |
CN220455175U (zh) | 植物数据采集装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |