CN104205822B - 采用异步传感器的场景三维重建方法 - Google Patents

Abstract

本发明涉及一种场景的三维重建方法，包括至少两个传感器的实现以及三维重建算法的实现，每个传感器包括一系列基本接收器，这些接收器被安排成根据不同的各自立体视角观看所述场景并且各自对源自所述场景的由所述接收器接收的信号的物理特性敏感，所述传感器各自适于发出事件的异步流，所述三维重建算法包括利用所述传感器所生成的信号来将所述传感器中的每一个的基本接收器进行配对的步骤，所述配对包括通过将由所述传感器中的每一个生成的且在时间上接近的事件配对在一起。

Description

采用异步传感器的场景三维重建方法

该发明涉及一种采用异步传感器的场景三维重建方法。

发明背景

基于由拍摄同一场景的图像的至少两个同步相机所拍摄的图像来进行三维重建是已知实践。第一个立体视觉算法出现在二十世纪七十年代。近年来已经有了显著的进展。这一进展涉及到日益高效的匹配算法。

所使用的光学传感器包括被按照矩阵来安排的基本接收器(例如相机的像素)，以便从各自单独的立体角观察所述场景，并按照规律的时间间隔(通常每秒若干图像)捕获场景的图像。然后，每个图像由值(每个基本接收器一个值)的表来表示，每一个值表示由相应基本接收器所接收到的来自场景的信号的一个物理特征，例如光照强度。

更确切而言，每隔时间增量t_k，并且对于每个放置在x,y处的基本接收器，这些光学传感器会生成信息项f_k(x,y)＝δ(t,t_k)·f(x,y,t)。其中f是放置在x,y处的接收器感知的光照强度，且δ是克罗内克(Kronecker)符号。然后，这样的传感器发回的信息项是矩阵或者帧I_k＝{f_k(x,y)},x∈N,y∈M，其中N,M是矩阵的维数，这一信息是每隔时间增量进行发送的。

然后，匹配算法搜索这些信息项以寻找可归因于该场景的同一个元素的模式，并将对应的基本传感器匹配在一起。知道了这些相匹配的基本接收器的位置，就很容易通过三角测量来获得这两个基本接收器所观察的场景的点，并因而将其纳入该场景的三维重建中。

每一图像可以表示为若干兆字节的大小，并且速率是每秒若干图像(典型的是每秒24幅图像)，这表示相当大的带宽。然后，三维重建算法在各个传感器所拍摄的图像中执行对模式的搜索，同时带有将与场景的同一个元素相对应的模式匹配在一起的目的。这些算法需要会消耗大量功率和计算时间的软件包，这对实时应用而言是不可想象的。

发明主题

本发明的主题是一种允许用合理计算装置来实时实现的场景三维重建方法。

发明公开

为了达到这个目标，提出一种场景的三维重建方法，包括：

-实现至少两个传感器，每个传感器包括一系列基本接收器，所述基本接收器被安排成以从分开的各自立体角观察场景并且各自都对所述接收器接收到的源自场景的信号的物理特性敏感。

-实现三维重建算法，所述算法包括使用由传感器中的每一个所生成的信号来匹配该传感器的接收器的步骤；

根据本发明，所述方法包括传感器的使用，每个传感器适于发出事件异步流，所述事件指示在给定时刻由基本接收器之一接收到的信号的变化，所述匹配包括通过选择时间上接近的事件将每个传感器生成的事件匹配在一起。

使用这些传感器使得显著地减少来自传感器的信息输出以及相当大程度地简化匹配成为可能。匹配时间上接近的事件实际上归结为匹配每个传感器上的生成所匹配的事件的接收器。采用适中的处理装置，实现该匹配是非常简单的。

本发明的三维重建方法可以采用合理的装置实现，例如配置有合适的数据采集卡的简单的个人计算机。

附图说明

借助于附图将更好地理解本发明，附图中：

-图1是示出了根据所述发明的观察同一个场景的两个异步传感器的焦平面的示图；

-图2是由图1中传感器检测到的事件的时序图；

-图3是示出了根据所述发明的观察同一个场景的三个异步传感器的焦平面的示图；

-图4是由图3中传感器检测到的事件的时序图。

发明的详细描述

参考图1，在下文详细描述的实现模式中，使用两个传感器C1和C2来拍摄场景，每个传感器包括CCD或者CMOS相机(分别称之为右和左)。每个相机包括MxN个像素，每个像素相当于一个基本传感器。每个像素从一个给定立体角查看场景，并且对在这个立体角下接收到的光照强度敏感。图1示出了两个传感器C1和C2的焦平面。

然而，在本发明的上下文中，相机不是按传统方式来使用的。并非使用相机来使其以固定时间间隔生成帧I_k＝{f_k(x,y)},x∈N,y∈M，其每个基本信息项表示每个像素在时刻t_k接收到的光照强度，在此，它是感兴趣的信息的导数项，在这种情况下是每个像素接收到的光照强度的变化方向。因此，感兴趣的量是它可取两个值：在像素接收到的信号的光照强度减少的情况下是-1，以及在像素接收到的信号的光照强度增加的情况下是1。在采样时刻t_k对这个量进行采样： $e_k(x,y)=\mathrm{\δ}(t,t_k)\·\mathrm{sign}\frac{\∂f}{\∂t}(x,y,t),$ 其中δ是克罗内克符号。

因此，这一事件指示由位于x,y的像素P_xy在时刻t_k感知到的光照强度的增加(+1)或者减少(-1)。

例如，这样的信息项可以通过对与从相机的每个像素接收到的光照强度有关的信息进行后处理来生成，这一后处理被嵌入在连接到相机的数字处理卡上且被嵌入在相机本身中或者相机链接到的计算机中。

根据所述发明，通常由这样的相机生成并被用于按已知方法进行三维重建的矩阵信息项I_k＝{f_k(x,y)},x∈N,y∈M随后由矩阵信息项E_k＝{e_k(x,y)},x∈N,y∈M来替代。

这种矩阵信息项比传统图像显然消耗更少的存储空间，因为该矩阵信息项的每个数据项很容易被包含在单个八位字节中。

然而，根据本发明的一个特定优点方面，并非按矩阵形式来传送信息项，传送事件Ei的异步流是可能的，每个事件通过以下来标识：

-启用像素的标识的数据，该像素的量e具有已改变的值，在这种情况下是对应像素P_xy的坐标x,y；

-值发生改变的时刻；

-由像素感知到的信号的变化的指示符，在这种情况下采用量e在这一变化下达到的值(-1；1)(此处之后被称为事件值)。

这个异步流可以通过下列记法来表示：

{x₁,y₁,t₁,e₁；x₂,y₂,t₂,e₂；x₃,y₃,t₃,e₃；……x_n,y_n,t_n,e_n}

其中E₁＝[x₁,y₁,t₁,e₁]是第一事件,而E_n[x_n,y_n,t_n,e_n]是第n事件。

在此，这个异步流是由提供对相机数据的后处理的电子卡来生成的。每个事件的标识信息项具有适中的存储器大小，并可被顺序地发送。这些信息项当然只在事件E已经被实际生成的情况下被发送，这相当大地降低了必需的输出。在没有事件的情况下(例如固定场景和固定相机)，什么都不发送。因此，创建了异步信号，该信号可以通过简单的串行链路传送，但包含允许场景三维重建的足够信息，如现在将详细描述的。

为此，根据本发明，实现了一种基于由两个传感器C1、C2生成的事件的非常简单的匹配方法，其中这两个传感器的相机拍摄同一场景。这一匹配的原理包括提出如下假设：即由两个相机生成的在时间上接近的事件有非常大可能与场景中同一个模式或者点相关。随后将尝试将左手侧传感器和右手侧传感器生成的两个在时间上接近的事件进行匹配。以此方式，将执行在空间上和时间上的匹配。

然而，如果在给定时刻，例如由于场景中的移动引起的光照强度变化影响到两个相机上这样的像素，并且其中在适用时为每一个传感器生成了事件，则这些事件发生的时刻不是非常可能彼此完全一致。首先，相机对于响应和生成事件有等待时间，这也经常随每个像素而变化。其次，在信息产生和传输时会发生延迟。从而，这使得仅仅以两个相机所生成的事件的确切时间一致性为基础来匹配事件是有危险的。

然而，如图2所示，为左手侧相机生成的每个事件E₁(称为左手侧事件或源事件，并且其对应像素P₁可在图1中看到)选择由右手侧相机产生一组的事件(在此是事件E₂,E₂′,E₂″)(称为右手侧事件，并且其对应像素P₂,P₂′,P″2可被看到)，该组事件都发生在左手侧事件的发生时刻附近的给定时间窗口△T中。从而，该一个或多个右手侧事件被选择为与源事件在时间上接近。显而易见，时间窗口越小，如此确定的组中将包含的右手侧事件越少。

这个初步选择使得只保留少量右手侧事件成为可能，这些少量事件之一将与左手侧事件匹配。在适用时，选中单个右手侧事件。然后，将执行所需匹配。如果不是这种情况，那么就是如下问题：过滤右手侧事件以便只保留与所考虑的左手侧事件相对应的一个事件。为了做到这一点，应用以下筛选过程中的至少一个：

-对每一个选中的右手侧事件，计算对应像素和与链接到左手侧事件的像素P₁相对应的右手侧相机的焦平面中的核线L1之间的距离。因此，其如此确定的距离大于给定限度D的所有右手侧事件都被排除。优选地，所考虑的距离是欧几里得距离。

-不具有与左手侧事件相同值的所有被选中的右手侧事件都被排除。因此，如果左手侧事件对应于光照强度增强，则只有也对应于光照强度增强的右手侧事件将被保留。

-根据应用唯一性原理，已经成为匹配主体的所有被选择的右手侧事件被排除。

优选地，所述筛选过程按照所示次序来被应用，直到只有一个右手侧事件被保留。这些选择和排序过程消耗很少的存储器空间和计算时间，并且因此可以很容易地采用合理装置(例如简单的个人计算机)实时实现。

因此，两个事件的匹配使得确定两个对应像素的匹配以及这两个像素必定匹配的时刻成为可能。常规的三角测量使得确定如此匹配的两个像素所看到场景点的位置成为可能。

根据特定的有利的实施例，至少三个传感器被用于观察同一个场景，如图3中所示。下面的解释涉及三个传感器C₁,C₂,C₃的使用，但很容易一般化到多于三个传感器的情况。

使用至少三个传感器允许对事件进行精细分辨。为了做到这一点，有必要了解链接每一对传感器的基本矩阵F_AB,F_AC,F_BC。

如前所述的时间选择的实现使得保留每个传感器所生成的一定数量的事件以及可能与所述场景中的同一个点相对应成为可能。

例如此处，对于平面C1中的像素P1的事件E1，选择平面C₂中的相应像素P₂,P₂′,P₂″的事件E₂,E₂′,E₂″，并且选择平面C₃中的相应像素P₃,P₃′,P₃″的事件E₃,E₃′,E₃″。

为了确定事件E₂,E₂′,E₂″和E₃,E₃′,E₃″中的哪些事件对应于事件E1，使用基本矩阵足够确定在平面C₁中，对应于平面C₁中每个事件的核线。对应于该事件的像素P₁随后位于由两个事件(此处是像素P₂和P₃的事件E₂和E₃)生成的两条核线(此处是线L₁₂和L₁₃)的交点处。

相互地，观察到像素P₂位于由平面C₂中事件E₁和E₃生成的核线L₂₃和L₂₁的交点处，而像素P₃位于由平面C₃中事件E₁和E₂产生的核线L₃₁和L₃₂的交点处。这一属性使得非常快地确定在时间上选择的事件中的哪些必定匹配成为可能。

当然，本发明不限于上述已经描述的内容，而是相反，包括落入权利要求书所限定的上下文中的任意变化。

为了完成匹配过程，这些所描述的筛选过程可以按照所示次序被应用，或者按照其它的次序被应用。当然，可以执行其它筛选，只要时间上接近的事件被匹配在一起。

当然，使用与传统相机不同的其它传感器是可能的，该传感器的信号被处理以传递与像素接收到的光照强度的变化相关的事件。例如，使用如在文献“A128x128120dB15μs latency asynchronous temporalcontrast vision sensor(128x128的120分贝15微秒等待时间异步时间上对比视觉传感器)”P.Lichtsteiner,C.Posch,T.Delbruck,IEEE固态电路期刊，第43卷，第2期，2008年2月中描述的那些传感器等传感器。此类型的传感器包括以独立且连续的方式来量化光照强度的相对变化以生成事件的接收器。该传感器通过设计事件异步流来传递，并且完美地适应于本发明的方法。

虽然在所描述的示例中，传感器的接收器感知的是信号的光照强度，当然使用对源自场景的其它信号(例如红外辐射，声音强度，雷达回波等)敏感的传感器也是可能的。

虽然基本接收器感知到的信号的变化在此处是用基本方式(第一值用于所述信号的升高，第二值用于所述信号的降低)量化，当然用更复杂的方式(例如通过灰度级或者色彩等级，或者通过光照强度等级)量化这些变化也是可能的，代价是事件指示符的存储器大小适度增加。

当然，基本接收器可以是真实的接收器，这些接收器被排列以一起形成传感器，该传感器的视野包括像基本接收器一样多的像素。然而，基本接收器可以通过在计算上隔离对所述信号敏感的传感器的表面上的基本区域并通过生成与各单独区域一样多的信号来虚拟地创建，其中对于每个虚拟地创建的基本接收器，在所述区域接收到的信号的物理特性的变化被检测。特别是，如果该组接收器形成同一个传感器，则它们可以假设任意几何形状，不一定是平面。例如，该组接收器可以被安排成球形。在这样的几何形状中，链接到由另一传感器检测到的事件的核线将更一般地采取测地线的形状。

当然，本发明的方法适用于具有固定传感器的移动场景，正如也适用于具有移动传感器(例如振动传感器)的固定场景。

最后，本发明的方法可以立即被一般化到使用两个以上异步传感器。

Claims (9)

1.一种场景的三维重建方法，包括：

-至少两个传感器(C₁,C₂)的实现，每个传感器包括一系列基本接收器，这些接收器被安排成从各自分开的立体视角观察所述场景并且各自对源自所述场景的由所述接收器接收的信号的物理特性敏感，所述传感器各自适于发出事件(E_i)的异步流，每一事件各自指示在给定时刻由所述基本接收器之一接收到的信号的变化；

-三维重建算法的实现，包括

·采用所述传感器所生成的信号来匹配所述传感器中的每一个的基本接收器，所述匹配包括将每一传感器的接收器所生成的、与所述场景中同一个模式相关的事件匹配在一起；

·通过三角测量来确定所述场景的与所述场景的模式相对应的点的位置，以将它集成到所述场景的3D重建中，所述场景的所述模式已被生成所选择的事件的两个接收器看到；

其特征在于，所述匹配步骤包括：

-通过对于由所述传感器中的一个传感器所生成的一个给定源事件保留由另一传感器生成的发生在所述源事件的发生时刻周围的给定时间窗口(ΔT)内的一组事件，来执行时间上接近的事件的初步选择；

-如果所述初步选择保留了由所述另一传感器生成的若干事件，则通过施加筛选过程来过滤这些事件以只保留与所述源事件相对应的一个事件。

2.如权利要求1所述的方法，其特征在于，每一事件包括下列数据：

-使得能够标识已经生成所述事件的基本接收器的数据；

-所述基本接收器感知到的所述信号的变化的指示符，并且所述指示符至少在所述基本接收器接收到的信号升高的情况下取第一值且在所述信号降低的情况下取第二值；

-所述信号的变化发生的时刻。

3.如权利要求2所述的方法，其特征在于，所述筛选过程包括对于在给定发生时刻由第一传感器生成的源事件，选择由第二传感器生成的并且发生在所述源事件的发生时刻(t)周围的给定宽度(ΔT)的时间窗口中的任意事件。

4.如权利要求3所述的方法，其特征在于，所述传感器具有焦平面，并且其中所述筛选过程包括：

-对每个所选择的事件，计算所述第二传感器的焦平面的同生成所选择的事件的基本接收器相对应的点与同所述第一传感器的生成所述源事件的基本接收器相关联的所述焦平面中的核线之间的距离，

-排除如此确定的所述距离超过给定限度D的所有所选择的事件。

5.如权利要求3所述的方法，其特征在于，所述筛选过程包括排除其指示符不具有与所述源事件相同的值的所有所选择的事件。

6.如权利要求3所述的方法，其特征在于，已经是匹配的主体的所有所选择的事件被排除。

7.如权利要求1所述的方法，其特征在于，实现至少三个异步传感器(C₁,C₂,C₃)，然后，在时间选择之后，所述传感器中的每一个所生成的事件通过如下方式被保留：所保留的事件中的每一个在对应焦平面中的由其他所保留的事件生成的核线的交点处被找到。

8.如权利要求1所述的方法，其特征在于，所述传感器构成CCD或CMOS类型的结合有适于生成所述异步流的后处理的相机。

9.如权利要求1所述的方法，其特征在于，所述传感器是如下类型：包括接收器，所述接收器以独立且连续的方式量化光照强度的相对变化来以传递事件的异步流的方式生成事件。