CN106575363A - 用于追踪场景中的关键点的方法 - Google Patents

用于追踪场景中的关键点的方法 Download PDF

Info

Publication number
CN106575363A
CN106575363A CN201580039719.9A CN201580039719A CN106575363A CN 106575363 A CN106575363 A CN 106575363A CN 201580039719 A CN201580039719 A CN 201580039719A CN 106575363 A CN106575363 A CN 106575363A
Authority
CN
China
Prior art keywords
image
patch
pixel
keypoint
temporal contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580039719.9A
Other languages
English (en)
Inventor
托拜厄斯·德尔布鲁克
克里斯蒂安·布兰德利
马克·奥萨瓦尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Zuerich
Original Assignee
Universitaet Zuerich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Zuerich filed Critical Universitaet Zuerich
Publication of CN106575363A publication Critical patent/CN106575363A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明涉及用于追踪相对于光学传感器移动的对象的图像中的至少一个关键点的位置的方法，其中，从对象(12)反射的光被检测以生成对象的图像，以及其中，所述图像中的至少一个关键点(Kj)的位置使用光学传感器的时间对比度时间(Ev)来检测和更新。本发明还涉及相对应的计算机程序和设备。

Description

用于追踪场景中的关键点的方法
说明书
本发明涉及用于使用时间对比度事件追踪视觉关键点的方法、计算机程序和设备。
特别是对于诸如执行与世界的实时交互的移动机器人、移动设备(智能手机和平板电脑)或可穿戴计算机(例如智能眼镜或智能手表)的移动平台/设备而言，低延迟和低功耗是重要的。这些平台可配备有用于定位和映射(SLAM)应用、移动增强现实(AR)或深度评估的计算机视觉系统。当前的计算机视觉技术基于图像，并因此它们因高帧速率而具有低延迟或者因低帧速率而具有低功耗。为了实现低延迟和低功耗，处理必须是有效的。基于事件的时间对比度传感器(例如[7](方括号中的数字指下面的参考文献))允许视觉信息的更有效处理，因为它们抑制了已经在像素级上的冗余信息。这些传感器的一个主要问题在于，它们的输出与现有的基于帧的机器视觉算法和系统不兼容。这些算法中的许多算法基于定位、识别和匹配帧中的特定关键点(例如[8]、[5])。关键点是图像(例如x和y坐标)中表示特定区域或特征的点，特定区域或特征例如边缘、角落或斑点或者作为场景的特性的其它特征。关键点在同一场景的不同图像中的相同点处使用如边缘、角落或斑点检测器的方法来可靠地检测出来。因为这些点是场景的特性，它们的环境可使用关键点描述符来描述，其中关键点描述符允许对不同图像中的不同组的关键点进行比较。通过这种方式，两个图像可被比较，并且特性点的相对性可被建立。大多数关键点仅改变它们在两个图像(也表示为帧)之间的位置，并因此期望的是在不重新评估整个图像的情况下追踪它们的位置。
这种问题通过具有权利要求1的特征的方法来解决。多个实施方式记载在从属权利要求中或如下文中所描述。
根据权利要求1，用于追踪由相对于对象(此处，相对于是意味着光学传感器在对象静止时移动，反之亦然，或者光学传感器以及对象移动)移动的光学传感器(或光学传感装置)观察到的对象的图像中的至少一个关键点的位置的方法，包括以下步骤：
a)检测从对象反射的光以生成包括图像像素的对象的图像，其中，像素值分配给每个图像像素，其中，对于相应的图像像素，每个像素值与检测到的光的强度单调地相关联(对象可用由光源提供的具有优选对比度强度的光照亮，而光源还可包括由作为光源的太阳提供的自然光)；
b)检测所述图像中的至少一个关键点Kj的位置；
c)凭借光学传感器检测由对象反射的光，其中，光学传感器包括多个传感器像素，其中，像素坐标(u,v)分配给每个传感器像素(其坐标与所述图像的所述图像像素的坐标特别地对齐，例如，相对应的坐标映射是预先知道或确定的)，以及其中，每个传感器像素生成与撞击在相应的传感器像素上的光的强度成正比的光电流，并且生成与光电流相关联的信号，以及其中，因为最后的时间对比度事件Ev来自相应的传感器像素，所以每个传感器像素仅在相应的信号因撞击在相应的传感器像素上的光而增加大于第一阈值的量或者减小大于第二阈值的量时输出时间对比度事件Ev，其中，每个时间对比度事件Ev(u,v,t)携带其相关联的传感器像素的坐标(u,v)、发生相应的时间对比度事件Ev的时间t以及指示相应的时间对比度事件Ev是使信号增加大于第一阈值的量的打开事件的极性值(例如，正常数(+const)的极性值(如+1))还是使信号减小大于第二阈值的量的关闭事件的极性值(例如，负常数(-const)的极性值(如-1))；
d)使用所述时间对比度事件(Ev)更新至少一个关键点(Kj)的位置；以及
e)优选地，重复步骤c)至d)，直至在进行步骤a)至e)的情况下生成新的图像，其中，在步骤a)中的所述图像现在为所述新的图像。
当然，也可检测多个关键点Kj。另外，遵从一个或多个标准的不同的关键点的变量可被追踪/检测。本发明尤其涉及追踪。熟知的关键点的突出的示例为角落，角落可使用也能够在本发明中使用的快速角落检测器算法(FAST corner detector algorithm)[10]来检测。关键点还可使用诸如用于SIFT[8]或SURF[5]中的斑点检测器、诸如用于AGAST[9]或BRISK[6]算法中的角落传感器或者如坎尼边缘检测器[4]的边缘检测器来检测。
换言之，本发明涉及允许使用异步时间对比度事件来追踪关键点的方法(以及计算机程序和设备，见下文)。时间对比度事件能够以低延迟、低功率、高时间分辨率和超过高动态范围来产生。本发明允许在基于关键点的机器视觉应用领域中利用这些特性。本发明基于在(例如强度)图像(也表示图像帧，以将所述图像与异步采样的对比度事件区分开)中检测关键点K并使用时间对比度事件来更新它们的位置的想法。所述图像和时间对比度事件可以使用具有两种读出模式的光学传感器或者通过使用两个校准的独立光学传感器(即，提供时间对比度事件的光学传感器和一次性提供整个图像的另外的光学传感器)来对准。具有两种读取模式的这种传感器中的一个为动态和有源像素视觉传感器(DAVIS，具体参见例如PCT/EP2012/076093，其通过引用并入本文)，其由检测异步地传输但也允许读取完整的强度图像帧的时间对比度事件的像素构成。因为不是消耗与光强度成正比的电流来计算时间对比度时间，并因此该电流也能够用于计算绝对强度，所以这种双重读取是可能的(例如，[1]、[2])。
根据本发明的方的的实施方式，步骤b)还包括以下步骤：
-特别地，将描述符矢量分配给至少一个关键点Kj(特别地，这种描述符矢量以矢量的形式描述至少一个关键点的图像像素周围，其中描述符方法特别地为已被变换的另一图像中的相同的关键点传输相似的矢量，以及其中描述符矢量特别地对不同的关键点(例如尽可能)是不同的；对于某些任务，其可能要求具有关键点的描述符，并且标识符是足够的，例如来自运动的单结构)。
-生成图像补丁，其中，图像补丁将图像补丁的相应的图像像素的像素值分配给排列在至少一个关键点Kj周围的预定数量的图像像素；以及特别地，
-计算沿着图像补丁的自由度的至少一个梯度补丁，其中，所述至少一个梯度补丁将图像补丁在相应的图像像素处沿着自由度的梯度分配给图像补丁的每个图像像素(自由度可例如在x-、y-或z-方向上而言是横移自由度中的一个，或者在下面的情况下而言是旋转自由度；这还为计算机程序和设备保持如此)。
根据本发明的方法的进一步实施方式，步骤c)还包括以下步骤：
-将一定数量N的最近的时间对比度事件Bj存储在至少一个关键点的最后的位置周围的至少一个梯度补丁的范围内；
-特别地，通过加上存储的时间对比度事件根据时间对比度补丁内的它们的位置(x,y)加权的极性值来计算时间对比度补丁SE；
-特别地，计算至少一个梯度补丁与时间对比度补丁之间的比较；以及
-特别地，使用所述比较(例如使用所述计算出的比较最大化相似性)计算图像中的至少一个关键点沿着自由度的运动。
根据本发明的方法的进一步实施方式，步骤d)还包括：使用沿着自由度的运动更新与至少一个关键点相关联的至少一个梯度补丁的位置。
另外，根据本发明的方法的实施方式，步骤c)中存储有如下时间对比度事件：
即，具有索引j的关键点Kj的缓冲Bj包含处于距离使用度量d()的关键点Kj的一定距离内的至少N个事件Ev(x,y,t)。
度量d()可包含空间和时间分量，空间和时间分量保证仅关键点的周边区域中的最相关的时间被缓冲。
如已指示的，根据本发明的方法的变型，所述图像还用所述光学传感器采样，即，光学传感器设计成生成所述时间对比度事件以及一次性地采样整个图像/场景。可选地，所述图像可通过另外的(基于帧的)光学传感器采样，过另外的(基于帧的)光学传感器与其它光学传感器/时间对比度时间对齐。即，两个传感器之间的坐标映射是已知的或者可通过校准建立的。
另外，根据本发明的方法的实施方式，关键点Kj的时间对比度补丁SE根据以下来计算：
其中，根据缓冲的所有事件使用加权函数w()为每个像素pj相加。
Pj(x，y)＝{Ev(x′，y′，t)：Ev∈Bj∩x＝x′∩y＝y′}
另外，根据方法的实施方式，加权函数w()对于具有打开极性的所有事件未+1，并且对于具有关闭极性的所有事件未-1。发明的其它实施方式可使用根据一些空间或时间标准(例如，旧事件计数少)分配权重的函数或恒定值。为了避免最大的空间对比度处的互相关峰值来替代最佳匹配，均值得分特别地减去时间对比度补丁中的所有像素(零均值互相关)。
另外，根据本发明的方法的实施方式，运动(Δx)通过比较和最大化时间对比度补丁和空间梯度补丁来计算。根据发明的实施方式，比较可为互相关，并且运动根据计算，其中，*表示至少一个梯度补丁dl/dx与时间对比度补丁SE之间的互相关。
当然，并且，与图像补丁的数个自由度(例如，x和y例如跨越图像平面)相对应的多个梯度补丁dl/dx、dl/dy、dl/dz、dl/dα、dl/dβ、dl/dγ可被计算，其中，相应的梯度补丁将沿着相应的自由度的相应的图像像素处的图像补丁I的像素值的梯度分配给图像补丁I的每个图像像素。
根据本发明的方法的进一步实施方式，所述比较通过预计算固定量的所述运动(例如，Δx)最大得分的时间对比度补丁而计算性地被简化。所述最大得分的时间对比度补丁与所述事件缓冲Bj相乘以确定所述固定量的运动的最大可能性。
特别地，沿着所述两个平面横移自由度x、y的梯度可通过使用卷积方案，例如，以用于(强度)图像的两维的Sobel卷积内核的形式被近似。卷积内核可具有3x 3的范围，并具有以下形式：
沿着z和沿着旋转自由度的强度梯度的计算值可被计算关键点专用(具有坐标xj和yj的关键点Kj)。
对于z导数，直接在关键点周围的值可被忽略或不同地计算，因为旋转的Sobel内核直接在关键点周围是无意义的。
对于z导数，关键点周围的值可被忽略：对于α导数，具有相似的y坐标，对于β导数，具有相似的x坐标。
并且，对于γ导数，关键点周围的值可被忽略。
另外，本发明下的问题通过根据权利要求13的计算机程序来解决。
根据此，用于追踪相对于光学传感器或光学传感装置移动的对象的图像中的至少一个关键点的位置的计算机程序，其中，所述计算机程序包括当所述计算机程序在计算机上执行时用于进行以下步骤的程序编码：
a)检测所述图像中的至少一个关键点Kj的位置；
b)使用因为最后的时间对比度事件Ev来自相应的传感器像素而仅在与光电流相关的所述光学传感器的信号因撞击在光学传感器的传感器像素上的光而增加大于第一阈值的量或者减小大于第二阈值的量时由所述光学传感器输出的时间对比度事件Ev更新所述至少一个关键点Kj的所述位置，其中，每个时间对比度事件Ev(u,v,t)携带其相关联的传感器像素的坐标(u,v)、发生相应的所述时间对比度事件Ev的时间t以及指示相应的所述时间对比度事件Ev是使所述信号增加大于第一阈值的量的打开事件还是使所述信号减小大于第二阈值的量的关闭事件的极性值；以及
c)特别地，重复步骤a)至b)，直至在进行步骤a)至c)的情况下提供新的图像，其中步骤a)中的所述图像现在为所述新的图像。
根据本发明的计算机程序的实施方式，步骤a)还包括以下步骤：-特别地，将描述符矢量分配给至少一个关键点Kj(也见上文)；
-生成图像补丁I，其中，图像补丁将图像补丁的相应的图像像素的像素值分配给排列在至少一个关键点Kj周围的预定数量的图像像素；以及
-特别地，计算沿着图像补丁的自由度的至少一个梯度补丁，其中，所述至少一个梯度补丁将图像补丁在相应的图像像素处沿着自由度的梯度分配给图像补丁的每个图像像素，
根据本发明的计算机程序的实施方式，步骤b)还包括一下步骤：
-将一定数量N的最近的时间对比度事件Bj存储在至少一个关键点Kj的最后的位置周围的至少一个梯度补丁的范围内；
-通过加上存储的时间对比度事件Bj根据时间对比度补丁内的它们的位置加权的极性值来计算时间对比度补丁SE；
-计算至少一个梯度补丁与时间对比度补丁之间的比较；以及
-使用所述计算出的比较计算图像中的至少一个关键点Kj沿着所述自由度的运动。
根据本发明的计算机程序的实施方式，步骤b)还包括：使用沿着所述自由度的所述运动更新与关键点相关联的梯度补丁的位置。
另外，根据本发明的计算机程序的实施方式，步骤b)还包括：存储如下的最近时间对比度事件Bj：
另外，根据本发明的计算机程序的实施方式，时间对比度补丁SE根据以下来计算：
其中，
Pj(x，y)＝{Ev(x′，y′，t)：Ev∈Bj∩x＝x′∩y＝y′}。
另外，根据本发明的计算机程序的实施方式，所述运动根据计算，其中，*表示至少一个梯度补丁与时间对比度补丁SE之间的零均值互相关。
另外，根据本发明的计算机程序的实施方式，与图像补丁的数个自由度相对应的多个梯度补丁dl/dx、dl/dy、dl/dz、dl/dα、dl/dβ、dl/dγ被计算，其中，相应的梯度补丁将沿着相应的自由度的相应的图像像素处的图像补丁的像素值的梯度分配给图像补丁的每个图像像素。
另外，根据本发明的计算机程序的实施方式，比较是零均值互相关的。
另外，根据本发明的问题通过根据权利要求14的设备来解决。尤其是，根据本发明的实施方式，这种设备可为以下中的一种：
-移动设备；
-可穿戴计算机；
-智能电话；
-平板电脑；
-(例如，智能)眼镜；
-(例如，智能)表
-移动机器人；
-(例如，微型)飞行器(例如，无人飞机)。
根据权利要求14，用于追踪相对于光学传感装置(或光学传感器)移动的对象的图像中的至少一个关键点的位置的设备，包括：
-光学传感装置，设计成检测从对象反射的光并且生成包括图像像素的对象的图像，其中，像素值分配给每个图像像素，其中，对于相应的图像像素，每个像素值与检测到的光的强度单调地相关联；
-其中，所述设备(或其上例如与根据本发明的计算机程序相同地执行计算机程序的设备的处理单元)设计成检测所述图像中的至少一个关键点Kj的位置，以及
-其中，所述光学传感装置还设计成凭借多个传感器像素检测由所述对象反射的光，其中，像素坐标(u,v)分配给每个传感器像素，以及其中，每个传感器像素设计成生成与撞击在相应的所述传感器像素上的所述光的所述强度成正比的光电流，并且生成与所述光电流相关联的信号，以及其中，因为最后的时间对比度事件Ev来自相应的传感器像素，所以每个传感器像素设计成仅在相应的所述信号因撞击在相应的所述传感器像素上的所述光而增加大于第一阈值的量或者减小大于第二阈值的量时输出时间对比度事件Ev，其中，每个时间对比度事件Ev(u,v,t)携带其相关联的传感器像素的坐标(u,v)、发生相应的所述时间对比度事件Ev的时间t以及指示相应的所述时间对比度事件Ev是使所述信号增加大于所述第一阈值的量的打开事件还是使所述信号减小大于所述第二阈值的量的关闭事件的极性值。
根据本发明的另一方面，所述设备设计成进行根据本发明的方法。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成使用所述时间对比度事件更新至少一个关键点Kj的位置。
另外，根据本发明的设备的实施方式，所述设备设计成将描述符矢量或标识符(也见上文)分配给至少一个关键点Kj。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成生成图像补丁，图像补丁将图像补丁的相应的图像像素的像素值分配给排列在至少一个关键点周围的预定数量的图像像素。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成计算沿着图像补丁的自由度的至少一个梯度补丁，其中，所述至少一个梯度补丁将图像补丁在相应的图像像素处沿着所述自由度的梯度分配给图像补丁的每个图像像素。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成将一定数量N的最近的时间对比度事件Bj存储在至少一个关键点的最后的位置周围的至少一个梯度补丁的范围内。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成通过加上存储的时间对比度事件根据时间对比度补丁内的它们的位置(x,y)加权的极性值来计算时间对比度补丁SE，
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成计算至少一个梯度补丁与时间对比度补丁之间的比较(例如，互相关)，并且使用所述计算出的比较计算图像中的至少一个关键点沿着所述自由度的运动。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成使用沿着所述自由度的所述运动来更新与至少一个关键点相关联的梯度补丁的位置。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成为每个关键点存储如下的最近时间对比度事件Bj：
(也见上文)。
另外，根据本发明的设备的实施方式，光学传感装置形成为单个光学传感器，单个光学传感器设计成采样或生成所述图像以及采样或生成所述时间对比度事件以使得时间对比度事件与所述图像对齐，
另外，根据本发明的设备的可选实施方式，传感装置包括设计成生成所述时间对比度事件的光学传感器以及设计成采样/生成所述图像的独立的另外的光学传感器，其中，所述另外的光学传感器与所述光学传感器对齐，以使得时间对比度事件与所述图像对齐。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成根据以下来计算时间对比度补丁SE(也见上文)：
其中，
Pj(x，y)＝{Ev(x′，y′，t)：Ev∈Bj∩x＝x′∩y＝y′}。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成根据计算所述运动，其中，*表示至少一个梯度补丁dl/dx与时间对比度补丁SE之间的零均值互相关。
另外，根据本发明的设备的实施方式，所述设备(例如，执行例如所述计算机程序的处理单元)设计成计算与图像补丁的数个自由度相对应的多个梯度补丁dl/dx、dl/dy、dl/dz、dl/dα、dl/dβ、dl/dγ，其中，相应的梯度补丁将沿着相应的自由度的相应的图像像素处的图像补丁的像素值的梯度分配给图像补丁的每个图像像素。
本发明的追踪关键点的方式具有低延迟和功耗，并因此在移动平台上是高度有用的，移动平台与它们的环境交互或显示它们的环境，包括移动计算机(如平板、膝上型)、移动电话(如智能电话)、可穿戴计算机(如智能表或智能眼镜)、自主或遥控机器人(如微型飞行器或腿式机器人)。
在下文中，将参考附图对本发明的进一步的优点和特征以及本发明的实施方式进行描述，其中：
图1示出了基于时间对比度事件来追踪关键点的过程的流程图；
图2示出了用于基于时间对比度事件的关键点追踪的设备/装置的示意性图形代表或实施方式；
图3是关键点的一维运动的示例性计算的图；以及
图4示出了所使用的坐标系。
本发明涉及允许使用异步时间对比度事件自动追踪对象12的图像中的关键点的方法/算法、计算机程序和设备。时间对比度事件可以以低延迟、低功率、高时间分辨率和超过高动态范围来产生。本发明允许在基于关键点的机器视觉应用领域中利用这些特性。特别地，本发明基于在(例如强度)图像帧中检测关键点K并使用时间对比度事件来更新它们的位置的想法。图像帧和时间对比度事件可以使用具有两种读出模式的光学传感器(例如，动态和有源像素视觉传感器(DAVIS)[1、2])或者通过使用两个校准的独立光学传感器13、14来对准，正如图2中所示。
特别地，本发明背后的主要假设是，如果场景的照明保持恒定，则所有时间对比度事件是由相对于光学传感器13、14的空间对比度移动引起的。在关键点的环境中使时间对比度与空间对比度匹配，从而因此允许推断关键点的运动。
如图2中所描述的，本发明的第一实施方式包括分析装置(例如，计算机15)，分析装置也可以整合到根据本发明的设备中，而其将能够追踪图像(也表示为强度图像或图像帧或强度图像帧)中的关键点，该关键点例如是通过相同的设备经由光学传感器(也称为时间对比度传感器)14(或两个光学传感器13、14)采样，光学传感器(也称为时间对比度传感器)14(或两个光学传感器13、14)是指待分析的场景或一个或多个对象，例如，如图1和图4中所示的树12。如果使用仅一个(时间对比度)传感器14，则需要具有获取整个图像帧的场景的(强度)图像的可能性，例如[1]。如果不是这种情况，则可以另外使用第二基于帧的光学传感器(例如照相机)13(见上文)。这种基于框架的光学传感器13特别地以如下方式校准，即，该方式使得映射在两个传感器13、14之间的坐标可被建立。传感器13、14可以从不同的位置观察场景。在观察场景时，光源16可以是太阳，光源16在不观察场景时不改变其强度或者仅缓慢地(以大于秒的时间尺度)改变。本发明的方法和计算机程序在计算机或所述处理单元15上执行，而计算机或所述处理单元15可整合到根据本发明的设备中。所述计算机或处理单元15特别地包括用于存储和处理传入的图像和事件的装置。所述处理包括执行本发明所需的基本操作。所述计算机或处理单元15可以同步或异步地操作。所述存储装置可以是模拟或数字的。所述处理可以被串行或并行执行。
根据图1，在第一步骤中，(例如，强度)图像帧T被获取1并且被发送到计算机15，在计算机15中如果必要则被转换为灰度级并且被归一化。强度图像I可以被对数压缩，以使得I＝log(T)。这些步骤可以使用DAVIS传感器14形式的光学传感器来完成，DAVIS传感器14经由例如USB线缆连接至所述计算机或处理单元15，而在本发明的示例中所述计算机或处理单元15为膝上型计算机(即，具有英特尔酷睿(Intel Core)i7-3740QM CPU和16GB RAM的HP精英笔记本(EliteBook)8570p)。该步骤可以涉及存储和传送有强度帧(即图像)的格式的改变。
标记图像的特征部分的关键点K是使用关键点或特征检测方法来检测的2。关键点是图像中表示诸如作为场景的特性的边缘、角落或斑点的特定区域的图像中的点(例如x和y坐标)。它们在同一场景的不同图像中的相同点处使用如边缘、角落或斑点检测器的方法来可靠地检测出来。因为这些点是场景的特性，所以它们的环境可使用关键点描述符来描述，其中关键点描述符允许在不同图像中的不同组的关键点进行比较。通过这种方式，两个图像可被比较，并且特性点的相对性可被建立。该步骤可使用快速角落检测器算法(FASTcorner detector algorithm)[10]来进行。关键点还可使用诸如用于SIFT[8]或SURF[5]中的斑点检测器、诸如用于AGAST[9]或BRISK[6]算法中的角落传感器或者如坎尼边缘检测器[4]的边缘检测器来检测。每个图像I包含关键点K的一组k个坐标元组：
K＝{(u1,v1),(u2,v2),....，(uk，vk)}
关键点K是使用关键点或特征描述符描述的3。
每个关键点获得赋值的空间位置、描述符矢量(或短描述符)3和梯度补丁4(见下文)，并且这些元组被存储到存储器。所述描述符矢量是使用如下描述符方法来计算，其中所述描述符方法应在尽可能多的变换(横移、旋转、缩放、倾斜、亮度)下可靠地产生相同但高度有区别的描述符矢量。良好的关键点描述符为不同的关键点产生不同的描述符矢量，但是对于不同的图像(不同的相机，不同的视角，...)中的相同的关键点产生相同的描述符矢量。所述描述符可计算关键点或二进制像素比较周围的空间梯度，以按照旋转不变方法对它们进行排序，并收集在矢量中的结果。空间位置和描述符矢量可以被传送到其它过程，在其它过程中它们可以用于基于关键点的计算机和机器视觉。
使用关键点描述符来描述关键点可以使用BRISK关键点描述符[6]来进行，BRISK关键点描述符不需要大量的存储器并且可以与低的计算量相匹配。描述关键点的其它描述符包括SIFT[8]、SURF[5]和BRIEF[3]描述符。
此外，关键点K周围的限定大小的图像补丁被存储4。这些补丁可具有角落检测器核的大小。特别地，(例如，对于快速角落检测器)这种补丁可具有7x 7像素的范围，其中关键点在中间。
(强度)图像补丁上的强度梯度被计算5。强度梯度可独立地沿着补丁24的所有自由度计算(参见图4)。自由度可以限于图像平面内的x-,y横移，以使得仅沿着这些轴dl/dx和dl/dy的梯度被计算。沿着所述两个平面横移的梯度可以通过使用卷积方案来近似。该步骤可使用用于强度图像的两维的两个Sobel卷积内核来进行。卷积内核可具有3x 3的范围，并具有以下形式：
沿着z和沿着旋转自由度的强度梯度的计算值可被类似地计算。
在为一个关键点计算多个图像补丁的情况下，它们特别地被分配给关键点。
特别地，相应的描述符矢量3被链接到其相关联的关键点的位置。特别地，这通过将它们保持在同一软件对象中或通过将它们放置在存储器中(例如在硬件解决方案中)来进行。这种链接也可通过在关键点和描述符之间共享的ID或索引来建立。
基于事件的传感器产生时间对比度事件流7。该流可由光学传感器14(例如DAVIS)产生并且通过例如USB传输到计算机15。根据本发明的该光学传感器14的输出被描述为一组时间对比度事件，并且每个事件Ev携带其u-地址和v-地址时间戳及其极性值(例如，如果其为打开(ON)事件，则为+1的值，而对于关闭(OFF)事件为a-1)：
其中Δln(Iu，v)表示因为最近事件而导致具有坐标u,v的像素处的亮度中的变化。和表示必须交叉以触发事件的事件阈值。这些阈值可独立地设置，这允许了平衡打开(ON)事件和关闭(OFF)事件的数量。
最近事件通过为关键点运动分析存储它们而被缓冲8。不在关键点周围的所有事件可被过滤掉。缓冲器标准可以是在关键点的最近位置周围的梯度补贴的范围内的一定数量N的最近事件。N可以取决于梯度补贴中的对比度的量。用于关键点j的缓冲事件B可以被描述为：
该公式将时间排序的列表描述为一组。换言之，也可记载为B仅保留最近事件。
缓冲事件被映射以计算时间对比度补丁SE 9。时间对比度补丁是时间对比度事件的空间积累，其表示哪些区域变得更亮，哪些区域变得更暗。时间对比度补丁可根据它们在补丁内的空间位置、它们的极性和到达时间而使用加上加权函数w()通过加上缓冲的时间对比度事件来计算。
其中：
Pj(x，y)＝{Ev(x′，y′，t)：Ev∈Bj∩x＝x′∩y＝y′}
时间对比度用于推断可能已引起时间对比度补丁的空间对比度补丁的最可能的运动10。补丁22、23的运动被约束到六个自由度24：补丁可沿着三维空间横移以及绕它们旋转。如果补丁沿着z-轴移动，则其移动得靠近观察者并因此变得更大。对于沿着x-轴和y-轴的运动而言，补丁不会失真。绕z-轴的旋转不会导致补丁的失真，但是沿着其它轴的旋转挤压或拉伸补丁。
最可能的运动是使用梯度补丁与时间对比度补丁之间的零均值互相关(zero-mean cross-correlation)或另一适当比较并且确定最大得分横移来计算的。沿着所有自由度的运动是独立计算的。对于x-方向上的运动Δx和y方向上的运动Δy而言，这可通过以下方式进行：
通过相同的方式，z-运动和旋转运动可被估计。为了提高本发明的性能，关键点的变换和相关运动可被离散化和预计算。为了执行所述预计算，相应的图像补丁沿着自由度x移动固定量mx，并且计算图像补丁和移动的图像补丁之差。该差值对应于给定固定量mx的最高得分的时间对比度补丁，并且可以用作变换映射M。用于计算效率的变换映射M可被存储为整数值或布尔值。对于沿x-轴和y-轴的横移，两个方向上的一个像素可分别选择为mx或my。然后，缓冲区中的每个新事件与事件坐标处的变换映射的值相乘。对于每个变换映射，这些乘法被相加，并且一旦一个变换映射得分好于阈值，则使关键点移动离散量mx,my，而这用于计算映射，并且相应的变换映射被重置。阈值可取决于图像补丁中的对比度或者变换映射中的绝对值之和。阈值还可通过最后变换映射的衰减值或指示如何能够不使补丁移动的任意其它测量值来计算。以离散形式预计算导数的这种方式允许将在时间对比度事件到达时执行的计算减少到几次乘法、加法和比较。
根据沿着x轴的示例性强度分布17，沿着x-轴的强度梯度可被计算18。通过比较，特别是互相关，具有可能的时间对比度补丁19的强度梯度补丁可借助于任何适当的比较(例如，在诸如PCA(主成分分析；principle component analysis)、DFT(离散傅里叶变换；discrete Fourier transform)或DWT(离散小波变换；discrete wavelet transform)等的压缩空间中的零均值互相关、平方差、卷积、欧几里德或其它距离之和)、测量C中的最大值来确定20，并且相应的Δx展现补丁的运动以及相应的关键点沿着自由度x。这也可对其它自由度进行。
计算的空间对比度补丁运动用于更新关键点位置，而这然后可被传送到基于关键点的处理11。
本发明允许以低延迟追踪视觉场景中的关键点。
参考文献
[1]Berner,R.,Brandli,C,Yang,M.,Liu,S.-C,Delbruck,T.,2013.A240x 18010mW 12us Latency Sparse-Output Vision Sensor for Mobile Applications,in:2013Symposium on VLSI Circuits(VLSIC).Presented at the 2013Symposium on VLSICircuits(VLSIC),pp.C186-C187.
[2]Berner,R.,Delbruck,T.,2012.Photoarray,particularly for combiningsampled brightness sensing with asynchronous detection of time-dependentimage data.PCT patent application PCT/EP2012/076093
[3]Calonder,M.,Lepetit,V.,Strecha,C,Fua,P.,2010.BRIEF:Binary RobustIndependent Elementary Features,in:Daniilidis,K.,Maragos,P.,Paragios,N.(Eds.),Computer Vision-ECCV 2010,Lecture Notes in Computer Science.SpringerBerlin Heidelberg,pp.778-792.
[4]Canny,J.,1986.A Computational Approach to Edge Detection.IEEE
Transactions on Pattern Analysis and Machine Intelligence PAMI-8,679-698.
doi:10.1 109/TPAMI.1986.4767851
[5]Funayama,R.,Yanagihara,H.,Van,G.L.,Tuytelaars,T.,Bay,H.,2009.Robust Interest Point Detector and Descriptor.US2009238460(A1).
[6]Leutenegger,S.,Chli,M.,Siegwart,R.Y.,201 1.BRISK:Binary Robustinvariant scalable keypoints,in:201 1IEEE International Conference onComputer Vision(ICCV).Presented at the 201 1IEEE International Conference onComputer Vision(ICCV),pp.2548-2555.doi:10.1 109/ICCV.201 1.6126542
[7]Lichtsteiner,P.,Delbruck,T.,2008.Photoarray for Detecting Time-Dependent Image Data.US2008135731(A1).
[8]Lowe,D.G.,2004.Method and apparatus for identifying scaleinvariant features in an image and use of same for locating an对象in animage.US671 1293(B1).
[9]Mair,E.,Hager,G.D.,Burschka,D.,Suppa,M.,Hirzinger,G.,2010.Adaptiveand Generic Corner Detection Based on the Accelerated Segment Test,in:Daniilidis,K.,Maragos,P.,Paragios,N.(Eds.),Computer Vision-ECCV 2010,LectureNotes in Computer Science.Springer Berlin Heidelberg,pp.183-196.
[10]Rosten,E.,Drummond,T.,2006.Machine Learning for High-Speed CornerDetection,in:Leonardis,A.,Bischof,H.,Pinz,A.(Eds.),Computer Vision-ECCV 2006,Lecture Notes in Computer Science.Springer Berlin Heidelberg,pp.430-443

Claims (15)

1.用于追踪相对于光学传感器移动的对象的图像中的至少一个关键点的位置的方法，包括以下步骤：
a)检测从所述对象(12)反射的光，并且生成包括图像像素的所述对象(12)的图像，其中，像素值分配给每个图像像素，其中，对于相应的所述图像像素，每个像素值与检测到的所述光的强度单调地相关联；
b)检测所述图像中的至少一个关键点(Kj)的位置；
c)凭借光学传感器(14)检测由所述对象反射的光，其中，所述光学传感器包括多个传感器像素，其中，每个传感器像素生成与撞击在相应的所述传感器像素上的所述光的所述强度成正比的光电流，并且生成与所述光电流相关联的信号，以及其中，因为最后的时间对比度事件(Ev)来自相应的传感器像素，所以每个传感器像素仅在相应的所述信号因撞击在相应的所述传感器像素上的所述光而增加大于第一阈值的量或者减小大于第二阈值的量时输出时间对比度事件(Ev)，其中，每个时间对比度事件(Ev(u,v,t))携带其相关联的传感器像素的坐标(u,v)、发生相应的所述时间对比度事件(Ev)的时间(t)以及指示相应的所述时间对比度事件(Ev)是使所述信号增加大于第一阈值的量的打开事件还是使所述信号减小大于第二阈值的量的关闭事件的极性值；
d)使用所述时间对比度事件(Ev)更新所述至少一个关键点(Kj)的所述位置；以及
e)特别地重复步骤c)至d)，直至在进行步骤a)至e)的情况下生成新的图像。
2.根据权利要求1所述的方法，其特征在于，步骤b)还包括以下步骤：
-将描述符矢量特别地分配给所述至少一个关键点(Kj)；
-生成图像补丁(I)，其中，所述图像补丁(I)将所述图像补丁(I)的相应的所述图像像素的所述像素值分配给排列在所述至少一个关键点(Kj)周围的预定数量的图像像素；以及
-计算沿着所述图像补丁(I)的自由度(x)的至少一个梯度补丁(dl/dx)，其中，所述至少一个梯度补丁(dl/dx)将所述图像补丁(I)在相应的所述图像像素处沿着所述自由度的梯度分配给所述图像补丁(I)的每个图像像素。
3.根据权利要求2所述的方法，其特征在于，步骤c)还包括以下步骤：
-将一定数量(N)的最近的所述时间对比度事件(Bj)存储在所述至少一个关键点(Kj)的最后的位置周围的所述至少一个梯度补丁(dl/dx)的范围内；
-通过加上存储的所述时间对比度事件根据时间对比度补丁(SE)内的它们的位置(x,y)加权的极性值来计算时间对比度补丁(SE)；
-计算所述至少一个梯度补丁(dl/dx)与所述时间对比度补丁(SE)之间的比较(C)；以及
-使用计算出的所述比较(C)计算所述图像中的所述至少一个关键点(Kj)沿着所述自由度的运动(Δx)。
4.根据权利要求3所述的方法，其特征在于，步骤d)还包括：
使用沿着所述自由度的所述运动(Δx)更新与所述至少一个关键点(Kj)相关联的所述至少一个梯度补丁(dl/dx)的所述位置。
5.根据权利要求3所述的方法，其特征在于，下面的最近的时间对比度事件(Bj)以每个关键点存储：
B j = { E v ( x , y , t ) : ( d ( ( x , y , t ) , K j ) < &theta; ) &cap; ( | B | = N ) &cap; ( &ForAll; t > &ForAll; t ^ &Element; B j ^ ) } ,
B j ^ = { ( E v ( x ^ , y ^ , t ^ ) : ( d ( ( x ^ , y ^ , t ^ ) , K j ) < &theta; ) &cap; ( E v ( x ^ , y ^ , t ^ ) &NotElement; B j ) } .
6.根据前述权利要求中的一项所述的方法，其特征在于，所述图像还用所述光学传感器(14)采样，以使得所述时间对比度事件(Ev)与所述图像对齐。
7.根据权利要求1至5中的一项所述的方法，其特征在于，所述图像通过与所述光学传感器(14)对齐的另外的光学传感器(13)采样。
8.根据权利要求3所述的方法，其特征在于，所述时间对比度补丁(SE)根据以下来计算：
S E j ( x , y ) = &Sigma; P j ( x , y ) w ( E v ) - | { ( x , y ) : &Exists; E v ( x , y , t ) &Element; B j } | &Sigma; { ( x , y ) : &Exists; E v ( x , y , t ) &Element; B j } S E j
其中，
Pj(x，y)＝{Ev(x′，y′，t)：Ev∈Bj∩x＝x′∩y＝y′}。
9.根据权利要求3或8所述的方法，其特征在于所述运动(Δx)根据计算，其中，*表示所述至少一个梯度补丁(dl/dx)与所述时间对比度补丁(SE)之间的互相关。
10.根据权利要求2至9中的一项所述的方法，其特征在于，与所述图像补丁的数个自由度相对应的多个梯度补丁(dl/dx、dl/dy、dl/dz、dl/dα、dl/dβ、dl/dγ)被计算，其中，相应的所述梯度补丁将沿着相应的所述自由度的相应的所述图像像素处的所述图像补丁(I)的所述像素值的梯度分配给所述图像补丁(I)的每个图像像素。
11.根据权利要求3所述的方法，其特征在于，所述比较(C)是互相关的，特别是零均值互相关的。
12.根据权利要求3所述的方法，其特征在于，所述至少一个关键点的所述比较(C)和所述位置根据单个或固定数量的时间对比度事件(Ev)的获得而被更新。
13.用于追踪相对于光学传感器移动的对象的图像中的至少一个关键点的位置的计算机程序，其中，所述计算机程序包括当所述计算机程序在计算机上执行时用于进行以下步骤的程序编码：
a)检测所述图像中的至少一个关键点(Kj)的位置；
b)使用因为最后的时间对比度事件(Ev)来自相应的传感器像素而仅在与光电流相关的所述光学传感器(14)的信号因撞击在光学传感器(14)的传感器像素上的光而增加大于第一阈值的量或者减小大于第二阈值的量时由所述光学传感器(14)输出的时间对比度事件(Ev)更新所述至少一个关键点(Kj)的所述位置，其中，每个时间对比度事件(Ev(u,v,t))携带其相关联的传感器像素的坐标(u,v)、发生相应的所述时间对比度事件(Ev)的时间(t)以及指示相应的所述时间对比度事件(Ev)是使所述信号增加大于第一阈值的量的打开事件还是使所述信号减小大于第二阈值的量的关闭事件的极性值；以及
c)特别地重复步骤a)至b)，直至在进行步骤a)至c)的情况下提供新的图像。
14.用于追踪相对于光学传感器移动的对象的图像中的至少一个关键点的位置的设备，包括：
-光学传感装置(14、13)，设计成检测从对象(12)反射的光并且生成包括图像像素的所述对象(12)的图像；
-其中，所述设备设计成检测所述图像中的至少一个关键点(Kj)的位置，以及
-其中，所述光学传感装置(14、13)还设计成凭借多个传感器像素检测由所述对象(12)反射的光，其中，每个传感器像素设计成生成与撞击在相应的所述传感器像素上的所述光的所述强度成正比的光电流，并且生成与所述光电流相关联的信号，以及其中，因为最后的时间对比度事件(Ev)来自相应的传感器像素，所以每个传感器像素设计成仅在相应的所述信号因撞击在相应的所述传感器像素上的所述光而增加大于第一阈值的量或者减小大于第二阈值的量时输出时间对比度事件(Ev)，其中，每个时间对比度事件(Ev(u,v,t))携带其相关联的传感器像素的坐标(u,v)、发生相应的所述时间对比度事件(Ev)的时间(t)以及指示相应的所述时间对比度事件(Ev)是使所述信号增加大于第一阈值的量的打开事件还是使所述信号减小大于第二阈值的量的关闭事件的极性值。
15.根据权利要求14所述的设备，其特征在于，所述光学传感装置形成为设计成采样所述图像以及生成所述时间对比度事件(Ev)以使得所述时间对比度事件(Ev)与所述图像对齐的单个光学传感器(14)，或者其特征在于，所述传感装置包括设计成生成所述时间对比度事件(Ev)的光学传感器(14)以及设计成采样所述图像的独立的另外的光学传感器(13)，其中，所述另外的光学传感器(13)与所述光学传感器(14)对齐，以使得所述时间对比度事件(Ev)与所述图像对齐。
CN201580039719.9A 2014-07-24 2015-07-24 用于追踪场景中的关键点的方法 Withdrawn CN106575363A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14178447.0 2014-07-24
EP14178447.0A EP2977931A1 (en) 2014-07-24 2014-07-24 Method for tracking keypoints in a scene
PCT/EP2015/067091 WO2016012624A1 (en) 2014-07-24 2015-07-24 Method for tracking keypoints in a scene

Publications (1)

Publication Number Publication Date
CN106575363A true CN106575363A (zh) 2017-04-19

Family

ID=51229812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580039719.9A Withdrawn CN106575363A (zh) 2014-07-24 2015-07-24 用于追踪场景中的关键点的方法

Country Status (6)

Country Link
US (1) US10262207B2 (zh)
EP (2) EP2977931A1 (zh)
JP (1) JP2017522669A (zh)
KR (1) KR20170036747A (zh)
CN (1) CN106575363A (zh)
WO (1) WO2016012624A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739016A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质
CN114708478A (zh) * 2022-06-06 2022-07-05 季华实验室 事件相机与标准相机的数据融合方法、装置、设备及介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489677B2 (en) * 2017-09-07 2019-11-26 Symbol Technologies, Llc Method and apparatus for shelf edge detection
EP3808085A1 (en) * 2018-08-14 2021-04-21 Huawei Technologies Co., Ltd. Event-based adaptation of coding parameters for video image encoding
CN109522910B (zh) * 2018-12-25 2020-12-11 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
EP3693698A1 (de) * 2019-02-05 2020-08-12 Leica Geosystems AG Vermessungsgerät mit ereignisbasierter kamera
US11475242B2 (en) * 2020-07-27 2022-10-18 Seiko Epson Corporation Domain adaptation losses
JP7376839B2 (ja) * 2020-12-17 2023-11-09 日本電信電話株式会社 ３次元情報推定方法、３次元情報推定装置およびプログラム
KR20230057109A (ko) * 2021-10-21 2023-04-28 삼성전자주식회사 센싱 데이터의 처리 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110228A (zh) * 2009-12-23 2011-06-29 Metaio有限公司 确定在光学对象初始化追踪过程中使用的参考特征的方法以及对象初始化追踪方法
EP2428931A1 (en) * 2010-09-13 2012-03-14 Thomson Licensing Method for sequentially displaying a colour image
CN103679180A (zh) * 2012-09-19 2014-03-26 武汉元宝创意科技有限公司 一种基于单摄像头单光源的视线追踪方法
FR2997572A1 (fr) * 2012-10-31 2014-05-02 Thales Sa Dispositif d'amplification d'un laser impulsionnel a contraste temporel ameliore

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP5244587B2 (ja) 2005-06-03 2013-07-24 ウニヴェルズィテート チューリッヒ 時間依存性の画像データを検出するフォトアレイ
ATE470912T1 (de) 2006-04-28 2010-06-15 Toyota Motor Europ Nv Robuster detektor und deskriptor für einen interessenspunkt
US8773430B2 (en) * 2009-12-09 2014-07-08 Thomson Licensing Method for distinguishing a 3D image from a 2D image and for identifying the presence of a 3D image format by feature correspondence determination
EP2617012B1 (en) * 2010-09-16 2015-06-17 Mor Research Applications Ltd. Method and system for analyzing images
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
KR101724513B1 (ko) 2011-12-19 2017-04-07 유니베르시태트 취리히 포토어레이, 특히 시간 의존성 이미지 데이터의 비동기성 검출과 샘플링된 밝기의 감지를 동시 실시하기 위한 포토어레이

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110228A (zh) * 2009-12-23 2011-06-29 Metaio有限公司 确定在光学对象初始化追踪过程中使用的参考特征的方法以及对象初始化追踪方法
EP2428931A1 (en) * 2010-09-13 2012-03-14 Thomson Licensing Method for sequentially displaying a colour image
CN103679180A (zh) * 2012-09-19 2014-03-26 武汉元宝创意科技有限公司 一种基于单摄像头单光源的视线追踪方法
FR2997572A1 (fr) * 2012-10-31 2014-05-02 Thales Sa Dispositif d'amplification d'un laser impulsionnel a contraste temporel ameliore

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CENSI ANDREA ET AL: ""Low latency event-based visual odometry"", <2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION(ICRA)> *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739016A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质
CN111739016B (zh) * 2020-07-20 2020-12-08 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质
CN114708478A (zh) * 2022-06-06 2022-07-05 季华实验室 事件相机与标准相机的数据融合方法、装置、设备及介质
CN114708478B (zh) * 2022-06-06 2022-09-02 季华实验室 事件相机与标准相机的数据融合方法、装置、设备及介质

Also Published As

Publication number Publication date
EP2977931A1 (en) 2016-01-27
EP3172699A1 (en) 2017-05-31
JP2017522669A (ja) 2017-08-10
WO2016012624A1 (en) 2016-01-28
KR20170036747A (ko) 2017-04-03
US20170206422A1 (en) 2017-07-20
US10262207B2 (en) 2019-04-16

Similar Documents

Publication Publication Date Title
CN106575363A (zh) 用于追踪场景中的关键点的方法
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111344716B (zh) 经由单应性变换适应的全卷积兴趣点检测和描述
CN111192293B (zh) 一种运动目标位姿跟踪方法及装置
CN113272713B (zh) 用于执行自改进的视觉测程法的系统和方法
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
JP5833507B2 (ja) 画像処理装置
US9280209B2 (en) Method for generating 3D coordinates and mobile terminal for generating 3D coordinates
KR20150127381A (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
US20200380723A1 (en) Online learning for 3d pose estimation
Benito-Picazo et al. Motion detection with low cost hardware for PTZ cameras
Gao et al. Improved binocular localization of kiwifruit in orchard based on fruit and calyx detection using YOLOv5x for robotic picking
EP4118565A1 (en) Computer implemented methods and devices for determining dimensions and distances of head features
Qiu et al. The image stitching algorithm based on aggregated star groups
US9824455B1 (en) Detecting foreground regions in video frames
He et al. Human behavior feature representation and recognition based on depth video
Tang et al. Algorithm of object localization applied on high-voltage power transmission lines based on line stereo matching
Friedel Event-based visual-inertial odometry using smart features
Ashok et al. VOEDHgesture: A Multi-Purpose Visual Odometry/Simultaneous Localization and Mapping and Egocentric Dynamic Hand Gesture Data-Set for Virtual Object Manipulations in Wearable Mixed Reality.
Shiratori et al. Detection of pointing position by omnidirectional camera
Abdellaoui et al. Template matching approach for automatic human body tracking in video
Damirchi et al. Aras-iref: An open-source low-cost framework for pose estimation
Chen et al. A real-time photogrammetric system for acquisition and monitoring of three-dimensional human body kinematics
EP4292777A1 (en) Assistance system, image processing device, assistance method and program
Differt Real-time rotational image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170419