CN115100294A - 基于直线特征的事件相机标定方法、装置及设备 - Google Patents

基于直线特征的事件相机标定方法、装置及设备 Download PDF

Info

Publication number
CN115100294A
CN115100294A CN202210751355.9A CN202210751355A CN115100294A CN 115100294 A CN115100294 A CN 115100294A CN 202210751355 A CN202210751355 A CN 202210751355A CN 115100294 A CN115100294 A CN 115100294A
Authority
CN
China
Prior art keywords
straight line
dimensional
reference object
camera
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210751355.9A
Other languages
English (en)
Other versions
CN115100294B (zh
Inventor
关棒磊
刘子宾
尚洋
李璋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210751355.9A priority Critical patent/CN115100294B/zh
Publication of CN115100294A publication Critical patent/CN115100294A/zh
Application granted granted Critical
Publication of CN115100294B publication Critical patent/CN115100294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于直线特征的事件相机标定方法、装置、计算机设备和存储介质。所述方法包括：采用事件相机拍摄具有直线特征的标定参照物，获得事件帧；然后选取事件帧进行去噪和二维直线特征提取；再利用提取的直线特征与标定参照物的直线结构对应关系求解相机的内参数、外参数、畸变系数初值；最后通过非线性优化高精度标定相机的内参数、外参数、畸变系数。采用本方法能够提高相机标定效率。

Description

基于直线特征的事件相机标定方法、装置及设备
技术领域
本申请涉及相机标定技术领域，特别是涉及一种基于直线特征的事件相机标定方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的进步，自动驾驶、移动机器人与无人机等领域迅速发展，基于光学相机的视觉导航方法被越来越多的专家和学者关注。然而，一般的光学相机(如单目、双目相机)普遍面临着对光线敏感、运动模糊等缺点，难以获得高动态、高时间分辨率的图像，限制其在计算机视觉领域的应用。20世纪90年代，研究人员受生物视网膜原理启发，设计了一种神经拟态视觉传感器——“硅视网膜”相机，这是首个输出地址-事件流的视觉传感器，被视为事件相机的雏形。在过去的30年里，事件相机作为一种新兴的动态视觉相机引起了学者们的广泛关注并迅速发展，大致主要分为以下三类：DVS(Dynamic vision sensor)、ATIS(Asynchronous time based image sensor)、DAVIS(Dynamic and active pixel visionsensor)。其中，DVS属于纯事件相机，输出纯事件流数据；而ATIS和DAVIS属于事件与灰度图融合的相机，能够输出事件流数据以及灰度图像。与传统相机成像原理不同，事件相机基于事件驱动的模式感知场景的动态变化，当现实场景发生变化时，事件相机会单独检测图像中每个像素的亮度变化，当某一像素点的亮度变化大于阈值时，触发事件记录下来，输出光强变化的像素地址-事件流。事件相机仅仅感知和记录了场景中动态变化的像素点，因此，对数据存储和计算资源需求极小，拥有低延迟、低功耗等优点。尤其在高速、高动态等对于传统相机颇具挑战性的场景中，例如自动驾驶、目标检测、特征跟踪等领域，事件相机具有极大的优势：高动态、高时间分辨率、不受运动模糊干扰，应用前景广阔。
事件相机在进行视觉导航、图像测量等任务之前，首先要对相机进行标定，标定的精度直接影响后续任务的导航、测量精度。然而，目前事件相机标定通常采用以下三类方法：第一类方法是拍摄闪烁图案进行标定，包括闪烁LED板和闪烁电脑屏幕等。通过产生明显的亮度变化触发事件，记录事件帧当作标定图像。该方法能够保证标定精度，但是需要硬件配合，控制LED灯和屏幕的闪烁，标定板成本高、标定过程复杂。第二类方法是将事件帧重建得到完整图像，再回归传统相机的标定方法，完成事件相机的标定，标定精度取决于图像重建的精度。第三类方法是直接提取图像特征的方法，例如使用圆形标定板，直接提取事件帧的圆特征，再使用传统标定方法完成事件相机标定，这一类方法既不需要复杂的标定场景，也不需要进行图像重建，标定精度取决于特征的提取精度。现有的事件相机标定方法存在操作繁琐、标定板复杂且成本高的问题，标定效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高标定效率的基于直线特征的事件相机标定方法、装置、计算机设备和存储介质。
一种基于直线特征的事件相机标定方法，所述方法包括：
步骤1：获取标定参照物；标定参照物具有直线特征；对标定参照物上的所有直线进行测量，得到标定参照物直线的端点三维坐标；
步骤2：根据标定参考物采集事件帧；
步骤3：对事件帧进行去噪，根据直线提取算法对去噪后的事件帧进行二维直线提取，得到事件帧的二维直线；
步骤4：将二维直线与标定参照物直线进行初始标定，得到相机参数的初值；
步骤5：根据非线性优化算法对初值进行优化，得到优化后相机参数值；
步骤6：重复步骤2-5，采集多张事件帧的优化后相机参数值构建全局优化函数，对全局优化函数进行求解，得到最终的相机参数。
在其中一个实施例中，初值包括相机内参矩阵、旋转矩阵、平移向量和畸变系数，将二维直线与所述标定参照物直线进行初始标定，得到相机参数的初值，包括：
根据透视投影模型，将二维直线与三维直线进行直线匹配，得到投影关系式；
对标定参照物的结构进行判断，根据判断结果设置投影矩阵；
根据二维直线的端点坐标构建二维直线的参数方程，根据参数方程和所述投影关系式构建投影矩阵求解关系式；
利用DLT算法对投影矩阵求解关系式进行求解，得到相机内参矩阵、旋转矩阵和平移向量；
根据畸变模型和投影矩阵求解关系式进行计算，得到畸变系数。
在其中一个实施例中，根据透视投影模型，将二维直线与三维直线进行直线匹配，得到投影关系式，包括：
根据透视投影模型，将二维直线的任意点与三维直线上的对应的点信息进行直线匹配，得到投影关系式为
Figure BDA0003721146450000031
其中，从世界坐标系转换到相机坐标系下的外参数包括旋转矩阵R和平移向量t，r1～r9分别表示旋转矩阵R的元素，t1～t3表示平移向量t的元素，相机内参矩阵K包括等效焦距fx,fy，主点[cx,cy]T，[Xi,Yi,Zi]T表示标定参照物直线的端点Pi的三维坐标，[ui,vi]T表示标定参照物直线对应的二维直线的端点pi的坐标。
在其中一个实施例中，对标定参照物的结构进行判断，根据判断结果设置投影矩阵，包括：
对标定参照物的结构进行判断，若标定参照物为非平面结构，则投影矩阵为
Figure BDA0003721146450000032
若相标定参照物为平面结构，则将平面定义为X-O-Y平面，则平面上所有的直线的三维坐标的Z坐标值为零，即Zi＝0，则投影矩阵为
Figure BDA0003721146450000041
在其中一个实施例中，根据二维直线的端点坐标构建二维直线的参数方程，包括；
根据二维直线的端点坐标构建二维直线的参数方程为l＝[a,b,c]T＝p1×p2，其中p1和p2为二维直线上任意两点。
在其中一个实施例中，根据参数方程和投影关系式模型构建投影矩阵求解关系式，包括：
根据参数方程和投影关系式模型构建投影矩阵求解关系式为lTpi＝lTMPi＝0。
在其中一个实施例中，根据非线性优化算法对初值进行优化，得到优化后相机参数值，包括；
根据投影关系式、二维直线的参数方程和畸变模型构建全局优化函数，通过求解初始全局优化函数，得到优化后的优化后相机参数值。
在其中一个实施例中，根据投影关系式、二维直线的参数方程和畸变模型构建全局优化函数，包括：
根据投影关系式、二维直线的参数方程和畸变模型构建全局优化函数为
Figure BDA0003721146450000042
其中，N表示直线数量，[aj,bj,cj]代表第j条从标定参照物直线投影到事件帧上的二维直线参数，
Figure BDA0003721146450000043
表示二维直线上第i个去畸变的像点。
一种基于直线特征的事件相机标定装置，所述装置包括：
预处理模块，用于获取标定参照物；标定参照物具有直线特征；对标定参照物上的所有直线进行测量，得到标定参照物直线的端点三维坐标；
直线提取模块，用于根据标定参考物采集事件帧；对事件帧进行去噪，根据直线提取算法对去噪后的事件帧进行二维直线提取，得到事件帧的二维直线；
初始标定模块，用于将多个二维直线与标定参照物直线进行初始标定，得到相机参数的初值；
参数优化模块，用于根据非线性优化算法对初值进行优化，得到优化后相机参数值；采集多张事件帧的优化后相机参数值构建全局优化函数，对全局优化函数进行求解，得到最终的相机参数。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
步骤1：获取标定参照物；标定参照物具有直线特征；对标定参照物上的所有直线进行测量，得到标定参照物直线的端点三维坐标；
步骤2：根据标定参考物采集事件帧；
步骤3：对事件帧进行去噪，根据直线提取算法对去噪后的事件帧进行二维直线提取，得到事件帧的二维直线；
步骤4：将二维直线与标定参照物直线进行初始标定，得到相机参数的初值；
步骤5：根据非线性优化算法对初值进行优化，得到优化后相机参数值；
步骤6：重复步骤2-5，采集多张事件帧的优化后相机参数值构建全局优化函数，对全局优化函数进行求解，得到最终的相机参数。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
步骤1：获取标定参照物；标定参照物具有直线特征；对标定参照物上的所有直线进行测量，得到标定参照物直线的端点三维坐标；
步骤2：根据标定参考物采集事件帧；
步骤3：对事件帧进行去噪，根据直线提取算法对去噪后的事件帧进行二维直线提取，得到事件帧的二维直线；
步骤4：将二维直线与标定参照物直线进行初始标定，得到相机参数的初值；
步骤5：根据非线性优化算法对初值进行优化，得到优化后相机参数值；
步骤6：重复步骤2-5，采集多张事件帧的优化后相机参数值构建全局优化函数，对全局优化函数进行求解，得到最终的相机参数。
上述基于直线特征的事件相机标定方法、装置、计算机设备和存储介质，首先采用事件相机拍摄具有直线特征的标定参照物，获得事件帧；然后进行去噪和二维直线特征提取；再利用提取的直线特征与标定参照物的直线结构对应关系求解相机参数的初值；最后通过非线性优化高精度标定相机的相机参数，可采用单个事件帧完成标定，也可以利用多帧事件帧进行联合标定。本发明利用生活中最常见的直线特征作为标定参照物，比如窗户、门、地板、天花板、书籍、箱子等物体的边缘直线，仅需要4条及以上平面非平行直线或6条及以上异面直线即可完成事件相机的参数标定，对标定参照物要求低，通用性强，并且利用提取的二维直线与标定参照物直线对应关系求解相机参数初值，将初值结合非线性优化精确求解出相机参数，最后结合多幅事件帧进行联合优化，输出最终的相机的内外参数、畸变系数，标定方法精确高效，标定流程简单便捷，可广泛服务于后续的视觉导航、图像测量等任务,该方法不仅适用于事件相机，还可拓展到其他相机标定，如单目相机、双目相机、RGBD相机等。
附图说明
图1为一个实施例中一种基于直线特征的事件相机标定方法的流程示意图；
图2为一个实施例中事件相机标定示意图；
图3为一个实施例中一种基于直线特征的事件相机标定装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于直线特征的事件相机标定方法，包括以下步骤：
步骤1，获取标定参照物；标定参照物具有直线特征；对标定参照物上的所有直线进行测量，得到标定参照物直线的端点三维坐标。
标定参照物为生活场景中常见的直线结构特征作为标定参照物，比如窗户、门、地板、天花板、书籍、箱子等物体的边缘直线。
步骤2，根据标定参考物采集事件帧。
拍摄标定参考物采集事件帧，如图2所示，T1,T2,...,Tn分别表示不同的时刻拍摄平面标定参照物的事件帧，标定参照物包括平面标定参照物和非平面标定参照物，在所有的事件帧中选取一张事件帧，事件帧中直线尽可能覆盖整个相机视野。直线尽可能覆盖整个相机视野不仅可以更好的提取直线，同时直线布满事件帧在进行相机参数的计算时可以得到更准确的相机参数。
步骤3，对事件帧进行去噪，根据直线提取算法对去噪后的事件帧进行二维直线提取，得到事件帧的二维直线。
利用直线提取算法提取二维直线，比如：LSD算法、EDlines算法、MCMLSD算法等，记录二维直线的端点坐标，二维直线的端点坐标用于与上述标定参照物上的直线的坐标进行直线匹配后进行初始标定。
步骤4，将二维直线与标定参照物直线进行初始标定，得到相机参数的初值。
利用生活中最常见的直线特征作为标定参照物，仅需要4条及以上平面非平行直线或6条及以上异面直线即可完成事件相机的参数标定，对标定参照物要求低，通用性强。
步骤5，根据非线性优化算法对初值进行优化，得到优化后相机参数值。
步骤6，重复步骤2-5，采集多张事件帧的优化后相机参数值构建全局优化函数，对全局优化函数进行求解，得到最终的相机参数。
利用提取的二维直线与标定参照物直线对应关系求解相机参数初值，将初值结合非线性优化精确求解出相机参数，最后结合多幅事件帧进行联合优化，可以减小单张事件帧带来的误差，使得输出更加准确的最终的相机参数，标定方法精确高效，标定流程简单便捷，可广泛服务于后续的视觉导航、图像测量等任务。
上述基于直线特征的事件相机标定方法中，首先采用事件相机拍摄具有直线特征的标定参照物，获得事件帧；然后进行去噪和二维直线特征提取；再利用提取的直线特征与标定参照物的直线结构对应关系求解相机参数的初值；最后通过非线性优化高精度标定相机的相机参数，可采用单个事件帧完成标定，也可以利用多帧事件帧进行联合标定。本发明利用生活中最常见的直线特征作为标定参照物，比如窗户、门、地板、天花板、书籍、箱子等物体的边缘直线，仅需要4条及以上平面非平行直线或6条及以上异面直线即可完成事件相机的参数标定，对标定参照物要求低，通用性强，并且利用提取的二维直线与标定参照物直线对应关系求解相机参数初值，将初值结合非线性优化精确求解出相机参数，最后结合多幅事件帧进行联合优化，输出最终的相机的内外参数、畸变系数，标定方法精确高效，标定流程简单便捷，可广泛服务于后续的视觉导航、图像测量等任务,该方法不仅适用于事件相机，还可拓展到其他相机标定，如单目相机、双目相机、RGBD相机等。
在其中一个实施例中，初值包括相机内参矩阵、旋转矩阵、平移向量和畸变系数，将二维直线与所述标定参照物直线进行初始标定，得到相机参数的初值，包括：
根据透视投影模型，将二维直线与三维直线进行直线匹配，得到投影关系式；
对标定参照物的结构进行判断，根据判断结果设置投影矩阵；
根据二维直线的端点坐标构建二维直线的参数方程，根据参数方程和所述投影关系式构建投影矩阵求解关系式；
利用DLT算法对投影矩阵求解关系式进行求解，得到相机内参矩阵、旋转矩阵和平移向量；
根据畸变模型和投影矩阵求解关系式进行计算，得到畸变系数。
在其中一个实施例中，根据透视投影模型，将二维直线与三维直线进行直线匹配，得到投影关系式，包括：
根据透视投影模型，将二维直线与三维直线进行直线匹配，得到投影关系式为
Figure BDA0003721146450000081
其中，R表示旋转矩阵，平移向量t表示从世界坐标系转换到相机坐标系下的外参数，r1～r9分别表示旋转矩阵R的元素，t1～t3表示平移向量t的元素，相机内参矩阵K包括等效焦距fx,fy，主点[cx,cy]T，[Xi,Yi,Zi]T表示直线的端点Pi的坐标，[ui,vi]T表示标定参照物直线对应的二维直线的端点pi的坐标。
在其中一个实施例中，对标定参照物的结构进行判断，根据判断结果设置投影矩阵，包括：
对标定参照物的结构进行判断，若标定参照物为非平面结构，则投影矩阵为
Figure BDA0003721146450000091
若标定参照物为平面结构，则将平面定义为X-O-Y平面，则平面上所有的直线的三维坐标的Z坐标值为零，即Zi＝0，则投影矩阵为
Figure BDA0003721146450000092
在其中一个实施例中，根据二维直线的端点坐标构建二维直线的参数方程，包括；
根据二维直线的端点坐标构建二维直线的参数方程为l＝[a,b,c]T＝p1×p2，其中p1和p2为二维直线上任意两点。
在其中一个实施例中，根据参数方程和投影关系式构建投影矩阵求解关系式，包括：
根据参数方程和投影关系式构建投影矩阵求解关系式为lTpi＝lTMPi＝0。
在具体实施例中，首先根据透视投影模型，设空间中三维点Pi在世界坐标系的坐标为[Xi,Yi,Zi]T，投影到像素坐标系pi＝[ui,vi]T，根据针孔相机模型可得投影关系式为αipi＝K[R|t]Pi，即：
Figure BDA0003721146450000093
其中，从世界坐标系转换到相机坐标系下的外参数包括旋转矩阵R和平移向量t，r1～r9分别表示旋转矩阵R的元素，t1～t3表示平移向量t的元素，相机内参矩阵K包括等效焦距fx,fy，主点[cx,cy]T，[Xi,Yi,Zi]T表示标定参照物直线的端点Pi的三维坐标，[ui,vi]T表示标定参照物直线对应的二维直线的端点pi的坐标。
为了描述标定参照物直线投影到事件帧的透视投影关系，定义投影矩阵M＝K[R|t]，投影矩阵M根据标定参照物是否为平面结构具有不同表示形式。
(1)如果标定参照物为非平面结构，则投影矩阵M：
Figure BDA0003721146450000101
(2)若标定参照物为平面结构，则将平面定义为X-O-Y平面，则平面上所有的直线的三维坐标的Z坐标值为零，即Zi＝0，则投影矩阵M：
Figure BDA0003721146450000102
将二维直线的端点坐标与直线的端点坐标进行直线匹配，事件帧上二维直线l的参数方程[a,b,c]T可以通过该直线上的任意两点p1,p2叉乘表示：
l＝[a,b,c]T＝p1×p2 (4)
像素坐标系点pi位于二维直线l，满足lTpi＝0，联立(1)得：
lTpi＝lTMPi＝0 (5)
可以通过DLT(Direct Linear Transform)算法直接求解投影矩阵M：
(1)若标定参照物为非平面结构，直接分解投影矩阵M得到相机内参矩阵K，旋转矩阵R，平移向量t。
(2)若标定参照物为平面结构，假设相机主点位于事件帧的中心，再分解投影矩阵M得到相机内参矩阵K，旋转矩阵R，平移向量t。
在实际成像过程中，由于镜头存在畸变，导致光线发生偏移，需要对事件帧去除畸变，常用的畸变模型包括除法模型、布朗(Brown)模型等。以布朗模型为例，设理想的归一化图像点的坐标记为[xd,yd]T，实际的归一化图像点的坐标记为[xu,yu]T，畸变系数k＝[k1,k2,k3,k4,k5]。
布朗模型可以表示为：
Figure BDA0003721146450000111
Figure BDA0003721146450000112
Figure BDA0003721146450000113
将三维直线通过公式(2)或(3)求解的旋转矩阵R，平移向量t投影到归一化图像平面上，联立公式(5)(6)(7)(8)，得
Figure BDA0003721146450000114
其中，a1...an,b1...bn,c1...cn表示理想的投影直线参数，(xd1,yd1),…,(xd(2n),yd(2n))表示理想的投影直线的端点，(xu1,yu1),…,(xu(2n),yu(2n))表示实际的事件帧平面直线的端点，根据最小二乘法可以求解畸变系数k1,k2,k3,k4,k5。
在其中一个实施例中，根据非线性优化算法对初值进行优化，得到优化后相机参数值，包括；
根据投影关系式、二维直线的参数方程和畸变模型构建全局优化函数，通过求解初始全局优化函数，得到优化后的优化后相机参数值。
在其中一个实施例中，根据投影关系式、二维直线的参数方程和畸变模型构建全局优化函数，包括：
根据投影关系式、二维直线的参数方程和畸变模型构建全局优化函数为
Figure BDA0003721146450000121
其中，N表示直线数量，[aj,bj,cj]代表第j条从标定参照物直线投影到事件帧上的二维直线参数，
Figure BDA0003721146450000122
表示二维直线上第i个去畸变的像点。
在具体实施例中，将求解的事件相机内参矩阵K，旋转矩阵R，平移向量t，畸变系数k1,k2,k3,k4,k5作为初值，投影标定参照物直线到事件帧上，计算投影直线端点到二维直线l的距离，最小化这一距离作为全局优化函数,联立公式(1)(4)(6)(7)(8)得到全局优化函数
Figure BDA0003721146450000123
其中，N表示直线数量，[aj,bj,cj]代表第j条从标定参照物直线投影到事件帧上的直线参数，
Figure BDA0003721146450000124
表示该直线上第i个去畸变的像点。
采用非线性优化算法迭代优化所有参数，通过对理想的投影直线参数和实际的事件帧平面直线的端点进行优化，进而利用优化后的理想的投影直线参数和实际的事件帧平面直线的端点进行相机标定时，可以得到准确的事件相机内参矩阵K，旋转矩阵R，平移向量t，畸变系数k1,k2,k3,k4,k5。
采集多张事件帧进行联合优化，输出最终的相机参数：内参矩阵K，旋转矩阵R，平移向量t，畸变系数k1,k2,k3,k4,k5，全局优化函数为：
Figure BDA0003721146450000125
其中，L表示采集的事件帧数量，l表示其中某一张事件帧。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种基于直线特征的事件相机标定装置，包括：预处理模块302、直线提取模块304、初始标定模块306和参数优化模块308，其中：
预处理模块302，用于获取标定参照物；标定参照物具有直线特征；对标定参照物上的所有直线进行测量，得到标定参照物直线的端点三维坐标；
直线提取模块304，用于根据标定参考物采集事件帧；对事件帧进行去噪，根据直线提取算法对去噪后的事件帧进行二维直线提取，得到事件帧的二维直线；
初始标定模块306，用于将多个二维直线与标定参照物直线进行初始标定，得到相机参数的初值；
参数优化模块308，用于根据非线性优化算法对初值进行优化，得到优化后相机参数值；采集多张事件帧的优化后相机参数值构建全局优化函数，对全局优化函数进行求解，得到最终的相机参数。
在其中一个实施例中，初始标定模块306还用于将二维直线与所述标定参照物直线进行初始标定，得到相机参数的初值，包括：
根据透视投影模型，将二维直线与三维直线进行直线匹配，得到投影关系式；
对标定参照物的结构进行判断，根据判断结果设置投影矩阵；
根据二维直线的端点坐标构建二维直线的参数方程，根据参数方程和所述投影关系式构建投影矩阵求解关系式；
利用DLT算法对投影矩阵求解关系式进行求解，得到相机内参矩阵、旋转矩阵和平移向量；
根据畸变模型和投影矩阵求解关系式进行计算，得到畸变系数。
在其中一个实施例中，初始标定模块306还用于根据透视投影模型，将二维直线与三维直线进行直线匹配，得到投影关系式为
Figure BDA0003721146450000141
其中，从世界坐标系转换到相机坐标系下的外参数包括旋转矩阵R和平移向量t，r1～r9分别表示旋转矩阵R的元素，t1～t3表示平移向量t的元素，相机内参矩阵K包括等效焦距fx,fy，主点[cx,cy]T，[Xi,Yi,Zi]T表示标定参照物直线的端点Pi的三维坐标，[ui,vi]T表示标定参照物直线对应的二维直线的端点pi的坐标。
在其中一个实施例中，初始标定模块306还用于对标定参照物的结构进行判断，根据判断结果设置投影矩阵，包括：
对标定参照物的结构进行判断，若标定参照物为非平面结构，则投影矩阵为
Figure BDA0003721146450000142
若标定参照物为平面结构，则将平面定义为X-O-Y平面，则平面上所有的直线的三维坐标的Z坐标值为零，即Zi＝0，则投影矩阵为
Figure BDA0003721146450000143
在其中一个实施例中，初始标定模块306还用于根据二维直线的端点坐标构建二维直线的参数方程，包括；
根据二维直线的端点坐标构建二维直线的参数方程为l＝[a,b,c]T＝p1×p2，其中p1和p2为二维直线上任意两点。
在其中一个实施例中，初始标定模块306还用于根据参数方程和投影关系式构建投影矩阵求解关系式，包括：
根据参数方程和投影关系式构建投影矩阵求解关系式为lTpi＝lTMPi＝0。
在其中一个实施例中，参数优化模块308还用于根据非线性优化算法对初值进行优化，得到优化后相机参数值，包括；
根据投影关系式、二维直线的参数方程和畸变模型构建初始全局优化函数，通过求解初始全局优化函数，得到优化后的优化后相机参数值。
在其中一个实施例中，参数优化模块308还用于根据投影关系式、二维直线的参数方程和畸变模型构建初始全局优化函数为
Figure BDA0003721146450000151
其中，N表示直线数量，[aj,bj,cj]代表第j条从标定参照物直线投影到事件帧上的二维直线参数，
Figure BDA0003721146450000152
表示二维直线上第i个去畸变的像点。
关于基于直线特征的事件相机标定装置的具体限定可以参见上文中对于基于直线特征的事件相机标定方法的限定，在此不再赘述。上述基于直线特征的事件相机标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于直线特征的事件相机标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于直线特征的事件相机标定方法，其特征在于，所述方法包括：
步骤1：获取标定参照物；所述标定参照物具有直线特征；对所述标定参照物上的所有直线进行测量，得到标定参照物直线的端点三维坐标；
步骤2：根据所述标定参考物采集事件帧；
步骤3：对所述事件帧进行去噪，根据直线提取算法对去噪后的事件帧进行二维直线提取，得到事件帧的二维直线；
步骤4：将所述二维直线与所述标定参照物直线进行初始标定，得到相机参数的初值；
步骤5：根据非线性优化算法对所述初值进行优化，得到优化后相机参数值；
步骤6：重复步骤2-5，采集多张事件帧的优化后相机参数值构建全局优化函数，对所述全局优化函数进行求解，得到最终的相机参数。
2.根据权利要求1所述的方法，其特征在于，所述初值包括相机内参矩阵、旋转矩阵、平移向量和畸变系数，将所述二维直线与所述标定参照物直线进行初始标定，得到相机参数的初值，包括：
根据透视投影模型，将所述二维直线与所述三维直线进行直线匹配，得到投影关系式；
对所述标定参照物的结构进行判断，根据判断结果设置投影矩阵；
根据所述二维直线的端点坐标构建二维直线的参数方程，根据所述参数方程和所述投影关系式构建投影矩阵求解关系式；
利用DLT算法对所述投影矩阵求解关系式进行求解，得到相机内参矩阵、旋转矩阵和平移向量；
根据畸变模型和所述投影矩阵求解关系式进行计算，得到畸变系数。
3.根据权利要求2所述的方法，其特征在于，根据透视投影模型，将所述二维直线与所述三维直线进行直线匹配，得到投影关系式，包括：
根据透视投影模型，将所述二维直线的任意点与所述三维直线上的对应的点信息进行直线匹配，得到投影关系式为
Figure FDA0003721146440000021
其中，从世界坐标系转换到相机坐标系下的外参数包括旋转矩阵R和平移向量t，r1～r9分别表示旋转矩阵R的元素，t1～t3表示平移向量t的元素，相机内参矩阵K包括等效焦距fx,fy，主点[cx,cy]T，[Xi,Yi,Zi]T表示标定参照物直线的端点Pi的三维坐标，[ui,vi]T表示标定参照物直线对应的二维直线的端点pi的坐标。
4.根据权利要求3所述的方法，其特征在于，对所述标定参照物的结构进行判断，根据判断结果设置投影矩阵，包括：
对所述标定参照物的结构进行判断，若所述标定参照物为非平面结构，则投影矩阵为
Figure FDA0003721146440000022
若所述标定参照物为平面结构，则将平面定义为X-O-Y平面，则平面上所有的直线的三维坐标的Z坐标值为零，即Zi＝0，则投影矩阵为
Figure FDA0003721146440000023
5.根据权利要求4所述的方法，其特征在于，根据所述二维直线的端点坐标构建二维直线的参数方程，包括：
根据所述二维直线的端点坐标构建二维直线的参数方程为l＝[a,b,c]T＝p1×p2，其中p1和p2为二维直线上任意两点。
6.根据权利要求5所述的方法，其特征在于，根据所述参数方程和所述投影关系式构建投影矩阵求解关系式，包括：
根据所述参数方程和所述投影关系式构建投影矩阵求解关系式为lTpi＝lTMPi＝0。
7.根据权利要求6所述的方法，其特征在于，根据非线性优化算法对所述初值进行优化，得到优化后相机参数值，包括；
根据所述投影关系式、所述二维直线的参数方程和畸变模型构建初始全局优化函数，通过求解所述初始全局优化函数，得到优化后的优化后相机参数值。
8.根据权利要求7所述的方法，其特征在于，根据所述投影关系式、所述二维直线的参数方程和畸变模型构建全局优化函数，包括：
根据所述投影关系式、所述二维直线的参数方程和畸变模型构建全局优化函数为
Figure FDA0003721146440000031
其中，N表示直线数量，[aj,bj,cj]代表第j条从标定参照物直线投影到事件帧上的二维直线参数，
Figure FDA0003721146440000032
表示所述二维直线上第i个去畸变的像点。
9.一种基于直线特征的事件相机标定装置，其特征在于，所述装置包括：
预处理模块，用于获取标定参照物；所述标定参照物具有直线特征；对所述标定参照物上的所有直线进行测量，得到标定参照物直线的端点三维坐标；
直线提取模块，用于根据所述标定参考物采集事件帧；对所述事件帧进行去噪，根据直线提取算法对去噪后的事件帧进行二维直线提取，得到事件帧的二维直线；
初始标定模块，用于将所述多个二维直线与所述标定参照物直线进行初始标定，得到相机参数的初值；
参数优化模块，用于根据非线性优化算法对所述初值进行优化，得到优化后相机参数值；采集多张事件帧的优化后相机参数值构建全局优化函数，对所述全局优化函数进行求解，得到最终的相机参数。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
CN202210751355.9A 2022-06-29 2022-06-29 基于直线特征的事件相机标定方法、装置及设备 Active CN115100294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210751355.9A CN115100294B (zh) 2022-06-29 2022-06-29 基于直线特征的事件相机标定方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210751355.9A CN115100294B (zh) 2022-06-29 2022-06-29 基于直线特征的事件相机标定方法、装置及设备

Publications (2)

Publication Number Publication Date
CN115100294A true CN115100294A (zh) 2022-09-23
CN115100294B CN115100294B (zh) 2024-07-16

Family

ID=83294224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210751355.9A Active CN115100294B (zh) 2022-06-29 2022-06-29 基于直线特征的事件相机标定方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115100294B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937261A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于事件相机的空间目标运动参数测量方法
CN116977449A (zh) * 2023-09-25 2023-10-31 安徽大学 一种基于闪烁棋盘格的复眼事件相机主动标定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264528A (zh) * 2019-06-25 2019-09-20 中国人民解放军国防科技大学 一种鱼眼镜头双目像机快速自标定方法
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
WO2021139176A1 (zh) * 2020-07-30 2021-07-15 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质
CN113393533A (zh) * 2021-06-11 2021-09-14 深圳锐视智芯科技有限公司 Dvs相机标定方法、装置及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264528A (zh) * 2019-06-25 2019-09-20 中国人民解放军国防科技大学 一种鱼眼镜头双目像机快速自标定方法
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
WO2021139176A1 (zh) * 2020-07-30 2021-07-15 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质
CN113393533A (zh) * 2021-06-11 2021-09-14 深圳锐视智芯科技有限公司 Dvs相机标定方法、装置及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹朋朋;张滋黎;王平;汪启跃;周维虎;: "基于共线向量与平面单应性的双目相机标定方法", 光学学报, no. 11, 31 December 2017 (2017-12-31) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937261A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于事件相机的空间目标运动参数测量方法
CN116977449A (zh) * 2023-09-25 2023-10-31 安徽大学 一种基于闪烁棋盘格的复眼事件相机主动标定方法
CN116977449B (zh) * 2023-09-25 2024-03-15 安徽大学 一种基于闪烁棋盘格的复眼事件相机主动标定方法

Also Published As

Publication number Publication date
CN115100294B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
CN111414798B (zh) 基于rgb-d图像的头部姿态检测方法及系统
CN111311685B (zh) 一种基于imu与单目图像的运动场景重构无监督方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN110108258B (zh) 一种单目视觉里程计定位方法
WO2019219013A1 (zh) 联合优化人体体态与外观模型的三维重建方法及系统
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
Zhang et al. Deepptz: Deep self-calibration for ptz cameras
Stewart et al. Laps-localisation using appearance of prior structure: 6-dof monocular camera localisation using prior pointclouds
CN115100294A (zh) 基于直线特征的事件相机标定方法、装置及设备
CN102509304A (zh) 基于智能优化的摄像机标定方法
CN113011401B (zh) 人脸图像姿态估计和校正方法、系统、介质及电子设备
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
CN113160275A (zh) 一种基于多个视频的自动目标跟踪和轨迹计算的方法
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN114273826A (zh) 用于大型待焊接工件的焊接位置自动识别方法
CN111553954A (zh) 一种基于直接法单目slam的在线光度标定方法
CN114419259B (zh) 一种基于物理模型成像仿真的视觉定位方法及系统
Hou et al. Octree-based approach for real-time 3d indoor mapping using rgb-d video data
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN115719363A (zh) 可进行二维动态检测和三维重建的环境感知方法与系统
CN113808256B (zh) 一种结合身份识别的高精度全息人体重建方法
CN115830707A (zh) 一种基于超图学习的多视角人体行为识别方法
Zhang et al. A portable multiscopic camera for novel view and time synthesis in dynamic scenes
CN114972530A (zh) 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant