CN112750168A - 事件相机内参的标定方法、装置、计算机设备和存储介质 - Google Patents
事件相机内参的标定方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112750168A CN112750168A CN202110031239.5A CN202110031239A CN112750168A CN 112750168 A CN112750168 A CN 112750168A CN 202110031239 A CN202110031239 A CN 202110031239A CN 112750168 A CN112750168 A CN 112750168A
- Authority
- CN
- China
- Prior art keywords
- circle
- camera
- event
- calibration
- calibration plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000002441 reversible effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000035508 accumulation Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 101100335307 Xenopus laevis foxe4 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请提供的一种事件相机内参的标定方法、装置、计算机设备和存储介质，通过事件相机对带有圆特征的标定板进行连续拍摄以获取对应的事件输出；将事件积累为参考帧，并对参考帧中的事件进行聚类以得到多个不同极性的簇；基于相反极性的簇提取圆特征，据以识别标定板得到有效参考帧；采用标定算法初始化事件相机的内参，并估计有效参考帧位姿，据以初始化轨迹的连续时间表示；基于有效参考帧找到对应每一个标定板圆的所有事件，以对所有参数进行多段连续时间轨迹优化并得到最终的内参结果。本申请可直接根据相机和校准图案之间的相对运动过程中捕获的事件进行校准，利用标定工具进行初始化，通过多段连续时间轨迹优化参数以得到最终的内参结果。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种事件相机内参的标定方法、装置、计算机设备和存储介质。
背景技术
近年来，智能移动设备作为下一个颠覆性技术的出现，有可能像汽车的发明或互联网那样改变我们的社会。智能车辆、智能增强设备如智能手机、工厂自动化服务机器人等，这些智能解决方案的引入将为社会和工业的发展带来显著的促进作用，比如，高效益低成本的交通运输系统、艰苦乏味或危险工作的自动化进程，以及卫生保健领域的紧急救援等。与纯AI相比，智能移动设备是在现实世界中主动或被动移动的物理设备。该设备执行特定的任务，例如在环境中导航、通过虚拟元素对环境进行增强，甚至对环境的某些部分进行操作，在这些情况下，智能设备在移动时需要认知其周围环境并跟踪其位置。这个感知问题就是即时定位与地图构建(SLAM)，需要通过板载传感器提供的信息在设备上进行实时几何感知。
SLAM系统常用传感器有传统相机、深度相机或激光测距仪等。其中，普通相机因其成本低、重量轻和能耗低等特点而受到青睐，但也存在高延迟、运动模糊和低动态范围等缺陷。例如普通相机的图像采集有固定的帧率，因而在信息传递中有一定的最小时延。普通相机在高动态的情况下，会出现运动模糊。当安装在智能增强设备上时，这种情况很容易发生。普通相机只能在有限的动态范围内测量光度反射，因此同一视图在复杂(特别是变化的)光照条件下的性能变差；事件相机具有异步特性和高时间分辨率，其不会受到运动模糊之类的伪影的影响，因此，在高动态场景中可获得高性能并且延迟非常低。此外，事件相机具有非常高的动态范围，使其具有强大的潜力来应对复杂的照明场景。
事件相机的物理结构与传统相机相似，因此他们可使用相同的相机内参模型。传统相机使用已知标定板的静态图片建立2D-3D的对应关系，以进行内参标定。由于事件相机是异步产生事件信息。因此，无法将这种成熟的标定技术直接应用于事件相机的标定。
现有的事件相机标定方法主要有以下几种：将事件相机与传统相机结合共用同一个镜头，通过直接标定传统相机内参的方式间接获得事件相机内参；使用带同步闪烁的LED的标定板生成的标定板图片使用传统方法标定；在显示器中产生虚拟的同步闪烁的标定板生成的标定板图片使用传统方法标定。
尽管上述方法听起来非常直接，它们仍有以下缺点：
1.可操作性：获得闪烁标定板图案的最直接方法是简单地在屏幕上可视化图案。但是，有时需要移动标定板而不是相机，这使得屏幕的使用变得不可行。此外，尤其是随着屏幕变大，难以确保屏幕的机械性能，例如平坦度和刚度。
2.可构造性：通过使用由同一电路同时触发的LED阵列提供替代方案。尽管这种构造是可行的，但是鉴于对LED的放置的高精度要求，它们的制造困难且昂贵。
3.事件与传统的复合相机的标定方法不具有通用性。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种事件相机内参的标定方法、装置、计算机设备和存储介质，以解决现有技术中事件相机标定方法存在的问题。
为实现上述目的及其他相关目的，本申请提供一种事件相机内参的标定方法，所述方法包括：通过事件相机对带有圆特征的标定板进行连续拍摄以获取对应的事件输出；将毫秒级局部时间内的事件积累为参考帧，并对参考帧中的正负极性事件基于像素坐标分别进行聚类以得到多个不同极性的簇；基于相反极性的簇提取圆特征，据以识别标定板并得到被识别的有效参考帧；采用普通相机的标定算法初始化事件相机的内参，并使用随机抽样一致位姿估计算法估计有效参考帧位姿，据以初始化轨迹的连续时间表示；基于有效参考帧找到对应每一个标定板圆的所有事件，以对所有参数进行多段连续时间轨迹优化并得到最终的内参结果。
于本申请的一实施例中，所述时间相机输出的事件的属性包括：时间、像素位置、及与亮度变化相关的极性；其中，极性包括正极性与负极性；若当前像素位置的亮度大于等于前一时间的亮度，则产生正极性事件；若当前像素位置的亮度小于前一时间的亮度，则产生负极性事件。
于本申请的一实施例中，所述基于相反极性的簇提取圆特征，包括：针对每一个簇寻找其最近的k个相反极性簇，以得到k对簇组合；对每个簇组合进行圆拟合，并将得到的拟合圆与该簇组合中两个簇中心连线作为直径所构成的参考圆进行比较；选取与参考圆的圆心位置和直径的差距分别小于预设阈值的拟合圆；将各拟合圆的误差除以其半径以得到归一化误差，并选择归一化误差最小的拟合圆所对应的簇组合作为圆特征。
于本申请的一实施例中，所述基于相反极性的簇提取圆特征，包括：针对每一个簇寻找其最近的相反极性簇，以得到一对簇组合；将该簇组合中两个簇中心连线作为直径所构成的参考圆作为圆特征；通过检查参考圆归一化的圆拟合误差，以滤除错误的圆特征。
于本申请的一实施例中，所述方法还包括：基于所针对的簇的相反极性簇进行反向匹配，以验证所选圆特征的结果是否一致；其中，各所述簇以中位数样本作为簇中心。
于本申请的一实施例中，所述方法还包括以下任意一种或多种组合：1)在将标定板已被识别的有效参考帧保存之前，计算其与时序相邻帧之间于图像平面上标定板的每一行的夹角；选取全部夹角的中位数，并除以两帧时间差以得到角速度的估计，据以排除错误帧；2)在得到初始化事件相机的内参和外参后，对所有的相邻帧进行线速度和角速度的检查，以排除错误帧；3)当得到初始化事件相机的内参和外参后，将标定板上的每一个圆投影到图像平面；删除位于图像平面之外的圆特征，并根据投影的圆位置重新聚类事件，并重新拟合圆特征；将新拟合的圆与投影的圆进行比较，以删除差异明显的圆特征，或将圆特征数量少于阈值的参考帧删除；若两圆相近，将新拟合的圆作为圆特征。
于本申请的一实施例中，所述方法还包括参数优化方法：基于输出的原始事件，通过最小化事件的3D反向投影及其对应的圆之间的几何距离对多段连续时间轨迹进行优化，以供共同优化运动参数和固有相机参数；具体包括：采用一个7维的B样条来表示相机的连续时间位姿：
其中，u是时间参数，
是第l个B样条的控制点集合，t是事件相机的位置，其可用一个三维B样条表示，而q是旋转姿态的单位四元数，可用一个4维B样条表示。通过初始的相机姿态，基于时间间隔阈值初始化将整个轨迹分为L个B样条，L代表分段过程产生的段个数；令
表示相机二维到三维的反向投影，其是相机内参k的函数；通过假定标定板处于z＝0的平面上，来计算反向投影
的深度λi；
其中，mi表示事件ei的其像素位置，ti表示时间戳，fi表示其所属段索引；
将相机坐标系中的归一化平面上的三维点转换到由标定板定义的世界坐标系中；
是位置t的第三个元素，row(,3)代表旋转矩阵的第三行；最终的目标函数为：
其中，Xi代表事件ei在标定板平面上的反向投影三维坐标，r是标定板圆的半径，
是事件ei所对应的标定板圆的圆心坐标，ρ是一种损失函数，
为实现上述目的及其他相关目的，本申请提供一种事件相机内参的标定装置，所述装置包括：获取模块，用于通过事件相机对带有圆特征的标定板进行连续拍摄以获取对应的事件输出；处理模块，用于将毫秒级局部时间内的事件积累为参考帧，并对参考帧中的正负极性事件基于像素坐标分别进行聚类以得到多个不同极性的簇；基于相反极性的簇提取圆特征，据以识别标定板并得到被识别的有效参考帧；采用普通相机的标定算法初始化事件相机的内参，并使用随机抽样一致位姿估计算法估计有效参考帧位姿，据以初始化轨迹的连续时间表示；优化模块，用于基于有效参考帧找到对应每一个标定板圆的所有事件，以对所有参数进行多段连续时间轨迹优化并得到最终的内参结果。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请的一种事件相机内参的标定方法、装置、计算机设备和存储介质，通过事件相机对带有圆特征的标定板进行连续拍摄以获取对应的事件输出；将毫秒级局部时间内的事件积累为参考帧，并对参考帧中的正负极性事件基于像素坐标分别进行聚类以得到多个不同极性的簇；基于相反极性的簇提取圆特征，据以识别标定板并得到被识别的有效参考帧；采用普通相机的标定算法初始化事件相机的内参，并使用随机抽样一致位姿估计算法估计有效参考帧位姿，据以初始化轨迹的连续时间表示；基于有效参考帧找到对应每一个标定板圆的所有事件，以对所有参数进行多段连续时间轨迹优化并得到最终的内参结果。
具有以下有益效果：
本申请直接根据相机和校准图案之间的相对运动过程中捕获的事件进行校准，包含一种新颖校准模式的特征提取机制，并利用现有标定工具进行初始化，最后通过多段连续时间轨迹优化所有参数以得到最终的内参结果。
附图说明
图1显示为本申请于一实施例中事件相机内参的标定方法的流程示意图。
图2A显示为本申请于一实施例中圆特征提取的效果示意图。
图2B显示为本申请于另一实施例中圆特征提取的效果示意图。
图3显示为本申请于一实施例中参考帧、聚类、圆特征提取、及识别标定板的效果示意图。
图4显示为本申请于一实施例中事件相机校准的原理示意图。
图5显示为本申请于一实施例中原始特征提取结果与修正后特征提取结果的效果示意图。
图6显示为本申请于一实施例中使用本方法内参去畸变结果的效果示意图。
图7显示为本申请于一实施例中事件相机内参的标定装置的模块示意图。
图8显示为本申请于一实施例中计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本申请范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
通常相机标定是解决3D计算机视觉问题的重要先决条件。传统方法依赖于校准图案的静态图像，这对事件相机的实际使用提出了有趣的挑战，因为事件相机需要动态变化以产生足够的测量值。因此，事件相机标定的当前方法包括使用同步闪烁的标定板，它们具有在标定板所有的图案特征位置同时触发事件的优点，但是很难构造或使用此类标定板。
因此，本申请提出了一种事件相机内参的标定方法、装置、计算机设备和存储介质。其直接根据相机和校准图案之间的相对运动过程中捕获的事件进行校准。该方法包含一种新颖校准模式的特征提取机制，并利用现有标定工具进行初始化，最后通过多段连续时间轨迹优化所有参数以得到最终的内参结果。
如图1所示，展示为本申请一实施例中的事件相机内参的标定方法的流程示意图。如图所示，所述方法包括：
步骤S101：通过事件相机对带有圆特征的标定板进行连续拍摄以获取对应的事件输出。
需说明的是，本申请使用一种不受上述缺陷影响的新型相机传感器--事件相机。事件相机(event cameras)，又称动态视觉传感器(dynamic vision sensors，DVS)，是一种新型的图像传感器。与传统图像传感器生成的图像不同，事件相机不再测量入射光束的原始强度，而是量化其相对于参考时间的相对强度。量化在每个像素独立发生，当其相对强度的对数绝对值变化量超过某一阈值时，事件就被“触发”。每个事件都与从中央时钟读取的时间戳相关联，该时间戳的时间分辨率约为1μs。
事件相机的异步特性和高时间分辨率意味着触发的事件模式不会受到运动模糊之类的伪影的影响，因此，在高动态场景中可获得高性能并且延迟非常低。此外，事件相机具有非常高的动态范围，使其具有强大的潜力来应对复杂的照明场景。
简单来说，事件相机也称为神经形态像机，硅视网膜或动态视觉传感器，是一种能够响应局部亮度变化的成像传感器。事件相机不像常规相机那样使用快门捕获图像。相反，事件像机中的每个像素都独立且异步地运行，并在发生亮度变化时输出这些变化，否则保持沉默。
本申请所采用的标定板为常见用于相机标定的带有若干圆的标定板。
步骤S102：将毫秒级局部时间内的事件积累为参考帧，并对参考帧中的正负极性事件基于像素坐标分别进行聚类以得到多个不同极性的簇。
优选地，在聚类后得到的全部簇中去除样本数较少的簇。
于本申请中，每个事件都与从中央时钟读取的时间戳相关联，该时间戳的时间分辨率约为1μs。即本申请可在毫秒级局部时间内得到多个事件积累，并以此作为参考帧。
需说明的是，所述时间相机输出的事件的属性包括：时间、像素位置、及与亮度变化相关的极性；极性包括正极性与负极性；若当前像素位置的亮度大于等于前一时间的亮度，则产生正极性事件；若当前像素位置的亮度小于前一时间的亮度，则产生负极性事件。
事件相机的最基本的原理，即：当某个像素的亮度变化累计达到一定阈值后，输出一个事件。这里强调几个概念：a)亮度变化：说明事件相机的输出和变化有关，而与亮度的绝对值没有关系；b)阈值：当亮度变化达到一定程度时，将输出数据，这个阈值是相机的固有参数。
于本申请中，对参考帧中的正负极性事件以像素坐标为参考分别进行聚类，去除样本数较少的簇，并将每个簇的中位数样本作为簇的中心，用于簇间距离计算。
步骤S103：基于相反极性的簇提取圆特征，据以识别标定板并得到被识别的有效参考帧。
于本申请中，针对提取圆特征，本申请提供了两种可选的提取方式：
于本申请一实施例中，所述基于相反极性的簇提取圆特征，包括：
A1、针对每一个簇寻找其最近的k个相反极性簇，以得到k对簇组合；
A2、对每个簇组合进行圆拟合，并将得到的拟合圆与该簇组合中两个簇中心连线作为直径所构成的参考圆进行比较；
A3、选取与参考圆的圆心位置和直径的差距分别小于预设阈值的拟合圆；
A4、将各拟合圆的误差除以其半径以得到归一化误差，并选择归一化误差最小的拟合圆所对应的簇组合作为圆特征。
具体来说，对于每一个簇，寻找其最近的k个相反极性簇，因此可以得到k对簇组合；然后，对每个簇组合应用圆拟合，然后将拟合圆与两个簇中心连线作为直径所构成的圆进行比较。如果拟合圆的与参考圆的圆心位置和直径的差距分别小于预设阈值，则选取。再将比较它们的归一化圆拟合误差，以选择最佳的簇对。同时从这个匹配的簇的相反极性簇出发，进行反向匹配，以确保结果一致性。图2A展示为本实施例中圆特征提取的效果示意图。该方法提供了可靠的特征提取结果，但由于其严格的约束而有效的有效参考帧较少。
于本申请另一实施例中，所述基于相反极性的簇提取圆特征，包括：
B1、针对每一个簇寻找其最近的相反极性簇，以得到一对簇组合；
B2、将该簇组合中两个簇中心连线作为直径所构成的参考圆作为圆特征；
B3、通过检查参考圆归一化的圆拟合误差，以滤除错误的圆特征。
具体来说，为了应对嘈杂的场景或相机在校准图案上采用更倾斜的视角的情况，本申请引入了一种简化的特征提取机制。对于每个簇，本实施例中只需找到其最近的相反极性簇即可。然后，采用两个聚类中心之间的线作为直径的圆作为特征，通过检查归一化的圆拟合误差可以滤除错误的特征。同样地，再进行反向搜索以确保结果一致性。图2B展示为本实施例中圆特征提取的效果示意图。该方法的稳定性稍差，但在极富挑战性的情况下会生成更多有效参考帧。
步骤S104：采用普通相机的标定算法初始化事件相机的内参，并使用随机抽样一致位姿估计算法估计有效参考帧位姿，据以初始化轨迹的连续时间表示(B样条)。
具体来说，本申请使用传统的标定板模式识别方法从提取的圆特征集合中识别标定板。如图3所示，其分别展示了本申请步骤S101～S104中涉及参考帧、聚类、圆特征提取、及识别标定板过程中的效果示意图。
当得到足够多的标定板被识别的参考帧之后，可以采用传统的普通相机的标定算法来初始化相机内参。然后，使用随机抽样一致(RANSAC)2D-3D位姿估计算法(如PnP)估计有效参考帧位姿。
简单来说，在通过步骤S101～S103得到标定板上圆特征及有效参参考帧后，可通过如MATLAB、Opencv等仿真分析软件，采用传统的普通相机的标定算法即可算出事件相机的内参，以及有效参考帧位姿。
举例来说，一般相机标定的输出摄像机的内参、畸变、外参系数。例如依赖库opencv3.4.6编译工具vs2017，其主要程序步骤如下：
1)调用获取图片路径函数，将文件夹下的图片读入到程序中；
2)读取每一张图片进行斑点检测(Simple Blob Detector)提取圆心点的坐标；
3)生成每张图片标定板的三维坐标(标定板的世界坐标)；
4)执行标定程序；
5)评价标定结果。
需要说明的是，由于采用传统普通相机标定算法采用现有技术即可，且其并非是本申请的主要创新点，故本申请针对具体的标定算法未展开详细说明，但本领域人员应知的是，在通过事件相机得到标定板上圆特征及有效参参考帧后，利用一般相机标定算法是可以得到事件相机的初始内参、以及有效参考帧初始位姿等参数。
于本申请中，本申请针对所述方式还涉及了如何去除和修正错误参考帧和圆特征的方法，其包括以下任意一种或多种组合：
实施例一
A、在将标定板已被识别的有效参考帧保存之前，计算其与时序相邻帧之间于图像平面上标定板的每一行的夹角；
B、选取全部夹角的中位数，并除以两帧时间差以得到角速度的估计，据以排除错误帧。
于本实施例中，在将标定板已被识别的有效参考帧保存之前，即未计算出内外参时，本申请可计算有效参考帧与时序相邻帧之间的图像平面的标定板每一行的夹角，然后取其中位数，除以两帧时间差以得到角速度的估计，这里在得到角度后除以时间即可得到角速度，然后进行检查，以排除错误帧。
实施例二
在得到初始化事件相机的内参和外参后，对所有的相邻帧进行线速度和角速度的检查，以排除错误帧。
于本实施例中，当得到初始的内外参之后，本申请可对所有的相邻帧进行线速度和角速度的检查，以排除错误帧。
实施例三
A、当得到初始化事件相机的内参和外参后，将标定板上的每一个圆投影到图像平面；
B、删除位于图像平面之外的圆特征，并根据投影的圆位置重新聚类事件，并重新拟合圆特征；
C、将新拟合的圆与投影的圆进行比较，以删除差异明显的圆特征，或将圆特征数量少于阈值的参考帧删除；若两圆相近，将新拟合的圆作为圆特征。
于本实施例中，当得到初始的内外参之后，本申请可将标定板上每一个圆投影到图像平面。首先删除位于图像平面之外的圆特征。然后根据新重新投影的圆位置重新聚类事件，并重新拟合圆特征。总之，将新拟合的圆与投影的圆进行比较。如果两个圆之间存在明显差异，则相应的特征将被删除。最后，剩余特征太少的参考帧也将被删除。
需要说明的是，本申请旨在提供一种简便的通用的事件相机内参的标定方法，其中特别创新地提出了一种基于事件相机的校准模式的特征提取机制和一种将多段B样条应用于内参优化的方法。
步骤S105：基于有效参考帧(具体为时间戳和特征圆位置)找到对应每一个标定板圆的所有事件，以对所有参数进行多段连续时间轨迹优化并得到最终的内参结果。
于本申请中，本步骤完整优化校准过程的中直接使用原始的异步事件而不是拟合的圆。优化目标包括多段连续时间轨迹优化，通过最小化事件的3D反向投影及其对应的圆之间的几何距离，共同优化运动参数和固有相机参数。
如图4所示，展示为事件相机校准的原理示意图。通过保持相机运动，使图案可见。选择分布均匀的轨迹子段，并与相机固有参数一起进行优化。具体如下：
假定
代表所有参与优化的事件样本，每个事件ei由其像素位置mi，时间戳ti和极性bi定义。初始化中得到的参考帧表示为
每个事件根据时间距离精确地分配给一个参考帧，更确切地说，分配给该帧中的一个圆(根据像素坐标距离)。令si表示标定板中其相应圆的索引。
但是，很明显，并非总是能够检测到校准图案，这就是为什么本申请必须根据多个平滑段而不是一条长曲线来表达优化问题的原因。尤其是因为只有在有足够的运动动态时才能检测到标定板。为了初始化多个样条线段，本申请基于时间邻近度对参考帧进行分组。子集包含一系列连续参考帧，其时间戳之间的差异保持在某个阈值以下。L代表此分组过程产生的段个数。令fi表示事件ei的所属的段索引。
本申请使用一个7维的B样条(B-spline)来表示相机的连续时间位姿：
其中，u是时间参数，
是第l个B样条的控制点集合，t是事件相机的位置，其可用一个三维B样条表示，而q是旋转姿态的单位四元数，可用一个4维B样条表示。
本申请通过初始的相机姿态，基于时间间隔阈值将整个轨迹分为L个B样条，L代表分段过程产生的段个数。
令
表示相机二维到三维的反向投影，它是相机内参k的函数。
可以是任何连续可微的相机模型的逆向表示。需要注意的是通过
反向投影得到的三维点是没有深度的，因此，本申请需要通过假定标定板处于z＝0的平面上，来计算反向投影
的深度λi。
其中，mi表示事件ei的像素位置，ti表示时间戳，fi表示其所属段索引；
将相机坐标系中的归一化平面上的三维点转换到由标定板定义的世界坐标系中。
是位置t的第三个元素，row(,3)代表旋转矩阵的第三行。
最终的目标函数为：
其中，Xi代表事件ei在标定板平面上的反向投影三维坐标，r是标定板圆的半径，
是事件ei所对应的标定板圆的圆心坐标，ρ是一种损失函数，可以减轻异常值的影响(例如，Huber Loss)，
如图5所示，展示了原始特征提取结果与修正后特征提取结果的效果示意图。其中，白色圆圈表示修正后的圆特征。
为进一步证实本申请所述方法的有效性，本申请采用复合相机同时获得事件和图片数据，并通过光学跟踪系统获得相机的真实轨迹，通过若干次实验，最终证明本申请所提出的方法可应用在事件相机标定中，并且与普通相机标定对照，本申请方法给出了更好的结果。
于实验中使用了反径向畸变相机模型，并使用了3种镜头，具体参数如表1所示。
表1镜头参数信息表
| 镜头名称 | 标签 | 视角(FOV) | TV畸变 |
| Lens1 | HIK-MVL-MF1220M | 40.2 | -1.01 |
| Lens2 | Kowa-LM5JCM | 82.4 | -0.50 |
| Lens3 | Kowa-LM6JC | 81.9 | 10.70 |
本申请在具有不同镜头，运动特性和照明条件的几个真实序列上测试本方法。对于不同的镜头类型，这些序列称为lensx-slowx，它们是在正常条件下捕获的，没有高度动态的运动或充满挑战的照明。接下来本申请执行短于10s的序列的高速校准测试，这些序列称为lens1-fast1和lens1-fast2，它们仍是在正常照明条件下用lens1镜头获取的。最后，以高速运动下的长序列和短序列以及糟糕照明条件下的实验作为结尾，此条件下事件数据充满了噪声和图像会变得模糊，它们的序列分别称为lens1-blur1和lens1-blur2。
从表1中可以看到，本方法和普通相机标定方法产生了相似的相机内参，并且与真实轨迹的误差微乎其微，并且在高速运动以及很差的照明条件下本方法依旧有效，而普通相机标定方法则失效。如图6展示为使用本方法内参去畸变结果的效果示意图。这些结果都证明了本方法的有效性。
如表2所示，本申请事件相机标定方法以及普通相机标定方法，与真实轨迹比较的结果(绝对位置误差，ATE)，及所得到的相机内参，其中，rmse表示一般指均方根误差；mean表示算术平均值；median表示中间值；std表示标准偏差(其中，普通相机标定结果中采用的畸变模型与本方法所中采用的畸变模型的k1参数是相反的)。最终可证明本申请所提出的方法可应用在事件相机标定中，并且与普通相机标定对照，本申请方法给出了更好的结果。
表2事件相机标定与普通相机标定对照表
如图7所示，展示为本申请于一实施例中的事件相机内参的标定装置的模块示意图。如图所示，所述装置700包括：
获取模块701，用于通过事件相机对带有圆特征的标定板进行连续拍摄以获取对应的事件输出；
处理模块702，用于将毫秒级局部时间内的事件积累为参考帧，并对参考帧中的正负极性事件基于像素坐标分别进行聚类以得到多个不同极性的簇；基于相反极性的簇提取圆特征，据以识别标定板并得到被识别的有效参考帧；采用普通相机的标定算法初始化事件相机的内参，并使用随机抽样一致位姿估计算法估计有效参考帧位姿，据以初始化轨迹的连续时间表示；
优化模块703，用于基于有效参考帧找到对应每一个标定板圆的所有事件，以对所有参数进行多段连续时间轨迹优化并得到最终的内参结果。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置700的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块702可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块702的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)；或，一个或多个微处理器(digital signal processor，简称DSP)；或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等；再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器；再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图8所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备800包括：存储器801、及处理器802；所述存储器801用于存储计算机指令；所述处理器802运行计算机指令实现如图1所述的方法。
在一些实施例中，所述计算机设备800中的所述存储器801的数量均可以是一或多个，所述处理器802的数量均可以是一或多个，而图8中均以一个为例。
于本申请一实施例中，所述计算机设备800中的处理器802会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器801中，并由处理器802来运行存储在存储器801中的应用程序，从而实现如图1所述的方法。
所述存储器801可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器801存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器802可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中，所述计算机设备800的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图8中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
综上所述，本申请提供的一种事件相机内参的标定方法、装置、计算机设备和存储介质，通过事件相机对带有圆特征的标定板进行连续拍摄以获取对应的事件输出；将毫秒级局部时间内的事件积累为参考帧，并对参考帧中的正负极性事件基于像素坐标分别进行聚类以得到多个不同极性的簇；基于相反极性的簇提取圆特征，据以识别标定板并得到被识别的有效参考帧；采用普通相机的标定算法初始化事件相机的内参，并使用随机抽样一致位姿估计算法估计有效参考帧位姿，据以初始化轨迹的连续时间表示；基于有效参考帧找到对应每一个标定板圆的所有事件，以对所有参数进行多段连续时间轨迹优化并得到最终的内参结果。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种事件相机内参的标定方法，其特征在于，所述方法包括：
通过事件相机对带有圆特征的标定板进行连续拍摄以获取对应的事件输出；
将毫秒级局部时间内的事件积累为参考帧，并对参考帧中的正负极性事件基于像素坐标分别进行聚类以得到多个不同极性的簇；
基于相反极性的簇提取圆特征，据以识别标定板并得到被识别的有效参考帧；
采用普通相机的标定算法初始化事件相机的内参，并使用随机抽样一致位姿估计算法估计有效参考帧位姿，据以初始化轨迹的连续时间表示；
基于有效参考帧找到对应每一个标定板圆的所有事件，以对所有参数进行多段连续时间轨迹优化并得到最终的内参结果。
2.根据权利要求1所述的方法，其特征在于，所述时间相机输出的事件的属性包括：时间、像素位置、及与亮度变化相关的极性；
其中，极性包括正极性与负极性；若当前像素位置的亮度大于等于前一时间的亮度，则产生正极性事件；若当前像素位置的亮度小于前一时间的亮度，则产生负极性事件。
3.根据权利要求1所述的方法，其特征在于，所述基于相反极性的簇提取圆特征，包括：
针对每一个簇寻找其最近的k个相反极性簇，以得到k对簇组合；
对每个簇组合进行圆拟合，并将得到的拟合圆与该簇组合中两个簇中心连线作为直径所构成的参考圆进行比较；
选取与参考圆的圆心位置和直径的差距分别小于预设阈值的拟合圆；
将各拟合圆的误差除以其半径以得到归一化误差，并选择归一化误差最小的拟合圆所对应的簇组合作为圆特征。
4.根据权利要求1所述的方法，其特征在于，所述基于相反极性的簇提取圆特征，包括：
针对每一个簇寻找其最近的相反极性簇，以得到一对簇组合；
将该簇组合中两个簇中心连线作为直径所构成的参考圆作为圆特征；
通过检查参考圆归一化的圆拟合误差，以滤除错误的圆特征。
5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：
基于所针对的簇的相反极性簇进行反向匹配，以验证所选圆特征的结果是否一致；
其中，各所述簇以中位数样本作为簇中心。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括以下任意一种或多种组合：
1)在将标定板已被识别的有效参考帧保存之前，计算其与时序相邻帧之间于图像平面上标定板的每一行的夹角；
选取全部夹角的中位数，并除以两帧时间差以得到角速度的估计，据以排除错误帧；
2)在得到初始化事件相机的内参和外参后，对所有的相邻帧进行线速度和角速度的检查，以排除错误帧；
3)当得到初始化事件相机的内参和外参后，将标定板上的每一个圆投影到图像平面；
删除位于图像平面之外的圆特征，并根据投影的圆位置重新聚类事件，并重新拟合圆特征；
将新拟合的圆与投影的圆进行比较，以删除差异明显的圆特征，或将圆特征数量少于阈值的参考帧删除；若两圆相近，将新拟合的圆作为圆特征。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括参数优化方法：
基于输出的原始事件，通过最小化事件的3D反向投影及其对应的圆之间的几何距离对多段连续时间轨迹进行优化，以供共同优化运动参数和固有相机参数；具体包括：
采用一个7维的B样条来表示相机的连续时间位姿：
其中，u是时间参数，
是第l个B样条的控制点集合，t是事件相机的位置，其可用一个三维B样条表示，而q是旋转姿态的单位四元数，可用一个4维B样条表示。通过初始的相机姿态，基于时间间隔阈值将整个轨迹分为L个B样条，L代表分段过程产生的段个数；
令
表示相机二维到三维的反向投影，其是相机内参k的函数；
通过假定标定板处于z＝0的平面上，来计算反向投影
的深度λi；
其中，mi表示事件ei的像素位置，ti表示时间戳，fi表示其所属段索引；
最终的目标函数为：
其中，Xi代表事件ei在标定板平面上的反向投影三维坐标，r是标定板圆的半径，
是事件ei所对应的标定板圆的圆心坐标，ρ是一种损失函数，
8.一种事件相机内参的标定装置，其特征在于，所述装置包括：
获取模块，用于通过事件相机对带有圆特征的标定板进行连续拍摄以获取对应的事件输出；
处理模块，用于将毫秒级局部时间内的事件积累为参考帧，并对参考帧中的正负极性事件基于像素坐标分别进行聚类以得到多个不同极性的簇；基于相反极性的簇提取圆特征，据以识别标定板并得到被识别的有效参考帧；采用普通相机的标定算法初始化事件相机的内参，并使用随机抽样一致位姿估计算法估计有效参考帧位姿，据以初始化轨迹的连续时间表示；
优化模块，用于基于有效参考帧找到对应每一个标定板圆的所有事件，以对所有参数进行多段连续时间轨迹优化并得到最终的内参结果。
9.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110031239.5A CN112750168B (zh) | 2021-01-11 | 2021-01-11 | 事件相机内参的标定方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110031239.5A CN112750168B (zh) | 2021-01-11 | 2021-01-11 | 事件相机内参的标定方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112750168A true CN112750168A (zh) | 2021-05-04 |
| CN112750168B CN112750168B (zh) | 2023-09-26 |
Family
ID=75650611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110031239.5A Active CN112750168B (zh) | 2021-01-11 | 2021-01-11 | 事件相机内参的标定方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112750168B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023288067A1 (en) * | 2021-07-15 | 2023-01-19 | Summer Robotics, Inc. | Automatic parameter adjustment for scanning event cameras |
| US11704835B2 (en) | 2021-07-29 | 2023-07-18 | Summer Robotics, Inc. | Dynamic calibration of 3D acquisition systems |
| US11785200B1 (en) | 2022-03-14 | 2023-10-10 | Summer Robotics, Inc. | Stage studio for immersive 3-D video capture |
| US11808857B2 (en) | 2021-08-27 | 2023-11-07 | Summer Robotics, Inc. | Multi-sensor superresolution scanning and capture system |
| US11974055B1 (en) | 2022-10-17 | 2024-04-30 | Summer Robotics, Inc. | Perceiving scene features using event sensors and image sensors |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102794763A (zh) * | 2012-08-31 | 2012-11-28 | 江南大学 | 基于线结构光视觉传感器引导的焊接机器人系统标定方法 |
| CN103035008A (zh) * | 2012-12-15 | 2013-04-10 | 北京工业大学 | 一种多相机系统的加权标定方法 |
| CN107492127A (zh) * | 2017-09-18 | 2017-12-19 | 丁志宇 | 光场相机参数标定方法、装置、存储介质和计算机设备 |
| WO2018037079A1 (en) * | 2016-08-24 | 2018-03-01 | Universität Zürich | Simultaneous localization and mapping with an event camera |
| CN107883874A (zh) * | 2017-11-09 | 2018-04-06 | 中国科学技术大学 | 一种圆结构光的标定方法 |
| CN109102546A (zh) * | 2018-07-16 | 2018-12-28 | 珠海市微半导体有限公司 | 一种基于多标定板的机器人相机的标定方法 |
| WO2019001410A1 (zh) * | 2017-06-30 | 2019-01-03 | 杭州海康威视数字技术股份有限公司 | 一种相机参数标定方法、装置、设备及系统 |
| CN209328084U (zh) * | 2019-03-19 | 2019-08-30 | 易思维（杭州）科技有限公司 | 一种用于多相机标定的标定板 |
| CN110378972A (zh) * | 2019-08-22 | 2019-10-25 | 北京双髻鲨科技有限公司 | 一种内参标定的方法、装置及设备 |
| WO2020237574A1 (zh) * | 2019-05-30 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 |
| CN112150561A (zh) * | 2020-10-20 | 2020-12-29 | 叠境数字科技（上海）有限公司 | 一种多相机标定方法 |
-
2021
- 2021-01-11 CN CN202110031239.5A patent/CN112750168B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102794763A (zh) * | 2012-08-31 | 2012-11-28 | 江南大学 | 基于线结构光视觉传感器引导的焊接机器人系统标定方法 |
| CN103035008A (zh) * | 2012-12-15 | 2013-04-10 | 北京工业大学 | 一种多相机系统的加权标定方法 |
| WO2018037079A1 (en) * | 2016-08-24 | 2018-03-01 | Universität Zürich | Simultaneous localization and mapping with an event camera |
| WO2019001410A1 (zh) * | 2017-06-30 | 2019-01-03 | 杭州海康威视数字技术股份有限公司 | 一种相机参数标定方法、装置、设备及系统 |
| CN107492127A (zh) * | 2017-09-18 | 2017-12-19 | 丁志宇 | 光场相机参数标定方法、装置、存储介质和计算机设备 |
| CN107883874A (zh) * | 2017-11-09 | 2018-04-06 | 中国科学技术大学 | 一种圆结构光的标定方法 |
| CN109102546A (zh) * | 2018-07-16 | 2018-12-28 | 珠海市微半导体有限公司 | 一种基于多标定板的机器人相机的标定方法 |
| CN209328084U (zh) * | 2019-03-19 | 2019-08-30 | 易思维（杭州）科技有限公司 | 一种用于多相机标定的标定板 |
| WO2020237574A1 (zh) * | 2019-05-30 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 |
| CN110378972A (zh) * | 2019-08-22 | 2019-10-25 | 北京双髻鲨科技有限公司 | 一种内参标定的方法、装置及设备 |
| CN112150561A (zh) * | 2020-10-20 | 2020-12-29 | 叠境数字科技（上海）有限公司 | 一种多相机标定方法 |
Non-Patent Citations (2)
| Title |
|---|
| HAO PENG, BAOFU LI: "Vision Based Pose Detection of Joint Bearing of Helicopter Automatic Tilter", 《IEEE XPLORE》 * |
| 徐遵义;韩绍超;: "基于相机标定和最大连通区域算法的指针式仪表读数识别", 现代电子技术, no. 09 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023288067A1 (en) * | 2021-07-15 | 2023-01-19 | Summer Robotics, Inc. | Automatic parameter adjustment for scanning event cameras |
| US11704835B2 (en) | 2021-07-29 | 2023-07-18 | Summer Robotics, Inc. | Dynamic calibration of 3D acquisition systems |
| US11887340B2 (en) | 2021-07-29 | 2024-01-30 | Summer Robotics, Inc. | Dynamic calibration of 3D acquisition systems |
| US11808857B2 (en) | 2021-08-27 | 2023-11-07 | Summer Robotics, Inc. | Multi-sensor superresolution scanning and capture system |
| US11785200B1 (en) | 2022-03-14 | 2023-10-10 | Summer Robotics, Inc. | Stage studio for immersive 3-D video capture |
| US11974055B1 (en) | 2022-10-17 | 2024-04-30 | Summer Robotics, Inc. | Perceiving scene features using event sensors and image sensors |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112750168B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112750168B (zh) | 事件相机内参的标定方法、装置、计算机设备和存储介质 | |
| Sahu et al. | Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review | |
| JP7057454B2 (ja) | 改良されたカメラ較正システム、標的、およびプロセス | |
| JP6811296B2 (ja) | コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体 | |
| US10984545B2 (en) | Estimating depth for a video stream captured with a monocular rgb camera | |
| US11074706B2 (en) | Accommodating depth noise in visual slam using map-point consensus | |
| Singh et al. | Bigbird: A large-scale 3d database of object instances | |
| CN106650662B (zh) | 目标对象遮挡检测方法及装置 | |
| Treible et al. | Cats: A color and thermal stereo benchmark | |
| CN108960045A (zh) | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 | |
| CN113888639B (zh) | 基于事件相机与深度相机的视觉里程计定位方法及系统 | |
| JP2013033468A (ja) | 画像処理方法およびシステム | |
| CN110400315A (zh) | 一种缺陷检测方法、装置及系统 | |
| Panek et al. | Meshloc: Mesh-based visual localization | |
| CN110213491B (zh) | 一种对焦方法、装置及存储介质 | |
| KR20170113122A (ko) | 정보 처리장치 및 그 제어방법 | |
| AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
| CN110853085B (zh) | 基于语义slam的建图方法和装置及电子设备 | |
| CN110544278B (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉系统 | |
| O’Mahony et al. | Computer vision for 3d perception: a review | |
| Zhao et al. | Real-time visual-inertial localization using semantic segmentation towards dynamic environments | |
| Jung et al. | Object detection and tracking-based camera calibration for normalized human height estimation | |
| CN115546681A (zh) | 一种基于事件和帧的异步特征跟踪方法和系统 | |
| Bhayani et al. | Calibrated and partially calibrated semi-generalized homographies | |
| CN112258647A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |