CN107750372A - 场景三维(3d)重建的方法 - Google Patents

场景三维(3d)重建的方法 Download PDF

Info

Publication number
CN107750372A
CN107750372A CN201680016173.XA CN201680016173A CN107750372A CN 107750372 A CN107750372 A CN 107750372A CN 201680016173 A CN201680016173 A CN 201680016173A CN 107750372 A CN107750372 A CN 107750372A
Authority
CN
China
Prior art keywords
sensor
pixel
event
component
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680016173.XA
Other languages
English (en)
Other versions
CN107750372B (zh
Inventor
伊恩格·西奥-霍伊
贝诺斯梅恩·尔亚德
施·伯特拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Universite Pierre et Marie Curie Paris 6
Institut National de la Sante et de la Recherche Medicale INSERM
Original Assignee
Centre National de la Recherche Scientifique CNRS
Universite Pierre et Marie Curie Paris 6
Institut National de la Sante et de la Recherche Medicale INSERM
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Universite Pierre et Marie Curie Paris 6, Institut National de la Sante et de la Recherche Medicale INSERM filed Critical Centre National de la Recherche Scientifique CNRS
Publication of CN107750372A publication Critical patent/CN107750372A/zh
Application granted granted Critical
Publication of CN107750372B publication Critical patent/CN107750372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种适用于场景三维(3D)重建的方法,所述方法包括根据成本函数(E)的最小化(609)将第一个传感器的第一组异步连续事件之中的第一个事件与第二个传感器的第二组异步连续事件之中的第二个事件相匹配(610)。成本函数包括以下分量中的至少一个分量:‑亮度分量(EI),至少取决于通过卷积核(gσ(t))卷积的第一个亮度信号(Iu),所述像素的亮度取决于所述第一个信号的最大值(te‑,u,te+,u)之间的差值;以及通过所述卷积核卷积的第二个亮度信号(Iv),所述像素的亮度取决于所述第二个信号的最大值(te‑,v,te+,v)之间的差值;‑运动分量(EM),至少取决于与其位置与第一个传感器的像素相间隔预定距离的事件的发生相关的时间值,以及与其位置与第二个传感器的像素相间隔预定距离的事件的发生相关的时间值。

Description

场景三维(3D)重建的方法
技术领域
本发明涉及适用于场景三维(3D)重建的领域,尤其是利用异步传感器来捕捉所述场景。
背景技术
与以常规采样间隔来记录连续图像的标准摄像机不同,生物视网膜仅仅只能传递有关待观察的场景的少量重复性信息,而且这一过程是异步的。
基于事件的异步视觉传感器传送以事件形式压缩的数字数据。
这种传感器的介绍可以查看由T.Delbrück等人发表的《活动驱动型基于事件的视觉传感器》文章(详见在2010年IEEE国际电路与系统研讨会(ISCAS)的会议记录第2426-2429页,“Activity-Driven,Event-Based Vision Sensors”,T.Delbrück,et al.,Proceedings of 2010IEEE International Symposium on Circuits and Systems(ISCAS),pp.2426-2429)。与标准摄像机相比,基于事件的视觉传感器的优点是提高重复性、减少延迟时间以及增加时间动态和灰度级的范围。
这种视觉传感器的输出可包括针对每一个像素地址的一系列异步事件,以表示在产生场景时场景反射系数的变化。
传感器的各个像素都是独立的,并且通过最后一个事件(例如,强度对数的对比度为15%)的传递来检测出高于阈值的光强度的变化。当强度变化超出阈值集时,可由像素根据强度增加或者减少(DVS传感器)来产生ON事件或者OFF事件。某些异步传感器将所检测到的事件与光强度(ATIS传感器)的绝对测量值相连接。
该传感器,不像标准传感器那样采用时钟进行采样,而是通过非常高的时间精确度(例如,约为1μs)来绘制事件排序的图表。与标准摄像机的几十赫相比较,如果利用这种传感器来重建一系列图像,则可以达到数千赫的图像率。
此外,在场景三维(3D)重建的框架中,要针对传感器的每个像素来计算空间中的位置。为了实现这一点,有利用多个摄像机或其它标准传感器的很多方法。因此,这些方法利用标准的二维(2D)图像来实现测定,其中,像素具有至少一个值(即,像素是确定的)。
对于异步传感器而言,如前文所定义的,显然不能采用这种方法,因为“标准”二维(2D)图像不适合离开传感器:为了采用这些方法,有必要人为地通过来自传感器的异步信息来“重建”二维(2D)图像。然而,这种重建可能比较繁重,而且处理完整的图像还需要后续的处理装置。此外,如此重建使得时间信息离散,并因此,实际上忽略了可视信息的时间依赖性。
因此,需要开发三维(3D)场景重建方法,该方法适合于异步传感器。
发明内容
本发明的目的旨在改善现状。
为此目的,本发明提出一种方法,尤其适合于重建通过三维(3D)观察的场景的异步传感器。
因此,本发明的目的在于一种适合于场景三维(3D)重建的方法,该方法包括:
-接收来自第一个传感器的第一条异步信息,所述第一个传感器具有面对场景的第一个像素矩阵,对于第一个矩阵的每个像素而言,第一条异步信息包括来自所述像素的第一组连续事件;
-接收来自第二个传感器的第二条异步信息,所述第二个传感器具有面对场景的第二个像素矩阵,对于第二个矩阵的每个像素而言,第二条异步信息包括来自所述像素的第二组连续事件,第二个传感器是与第一个传感器分离的;
-根据成本函数的最小化,匹配第一组连续事件之中的第一个事件与第二组连续事件之中的第二个事件;
其中,成本函数包括下列分量之中的至少一个分量:
-亮度分量,所述亮度分量至少取决于:
-来自具有卷积核的第一个卷积传感器的像素的第一亮度信号,所述像素的亮度取决于所述第一个信号最大值之间的差值;以及,
-来自具有卷积核的第二个卷积传感器的像素的第二亮度信号,所述像素的亮度取决于所述第二个信号最大值之间的差值;
-运动分量,所述运动分量至少取决于:
-与相距第一个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值;
-与相距第二个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值。
因此,对于重建利用数个DVS或ATIS异步传感器来捕捉三维(3D)场景而言,就没有必要重建标准的二维(2D)图像,以便利用适用于这些图像的现有技术的方法。
因此,这种三维(3D)重建的精确度非常精确/高,对异步时间信息进行更精确的采样。
此外,成本函数可额外包括:
-时间分量,所述时间分量取决于以下两者之差:
-关于第一个传感器的事件的时间值;
-关于第二个传感器的事件的时间值。
因此,就有可能避免连接时间上分隔太大的事件。
在一个具体实施例中,成本函数还可额外包括:
-几何分量,所述几何分量取决于:
-在极线直线处或者由第一个传感器的至少一个像素界定的极线直线交叉处的第二个传感器的像素的空间距离。
因此,就有可能避免连接不与场景同一个点X(t)相对应的事件。
有利的是,第一个传感器的像素和第二个传感器的像素的亮度信号包括最大值,给亮度变化的发生时间编码,卷积核可以是预定的高斯方差。
在一个具体实施例中,所述亮度分量还可额外取决于:
-第一个传感器的像素的亮度信号,其空间位置与第一个传感器的第一个像素相间隔预定的距离,与卷积核相卷积;以及,
-第二个传感器的像素的亮度信号,其空间位置与第二个传感器的第二个像素相间隔预定的距离,与卷积核相卷积。
因此,考虑到接近待连接的像素的事件,使之能够检查整体是否对应,并且检查实现两个像素的局部对应这一事实就不再是简单的伪像或简单的奇点。
此外,所述运动分量还可额外取决于:
-与相距第一个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值的平均值;
-与相距第二个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值的平均值。
在一个具体实施例中,所述运动分量可取决于,对于给定时间而言:
-对于空间位置与第一个传感器的像素相间隔预定距离的事件所发生相关的每个当前时间值而言,它可取决于函数值,所述函数值从所述给定时间的距离减少到所述当前时间值;
-对于与空间位置与第二个传感器的像素相间隔预定距离的事件的发生相关的每个当前时间值而言,它可取决于函数值,所述函数值从所述给定时间的距离减少到所述当前时间值。
在一个选择性实施例中,所述运动分量可取决于:
-递减函数与信号的第一个卷积,其信号包括与空间位置与第一个传感器的像素相间隔预定距离的事件所发生相关的每个时间值的狄拉克Dirac;
-递减函数与信号的第二个卷积,其信号包括与空间位置与第二个传感器的像素相间隔预定距离的事件所发生相关的每个时间值的狄拉克Dirac。
本发明的目的还在于一种场景三维重建的装置,该装置包括:
-接口,用于接收来自第一个传感器的第一条异步信息,所述第一个传感器具有面对场景的第一个像素矩阵,对于第一个矩阵的每个像素而言,第一条异步信息包括来自所述像素的第一组连续事件;
-接口,用于接收来自第二个传感器的第二条异步信息,所述第二个传感器具有面对场景的第二个像素矩阵,对于第二个矩阵的每个像素而言,第二条异步信息包括来自所述像素的第二组连续事件,第二个传感器是与第一个传感器分离的;
-处理器,适合于根据成本函数的最小化来匹配第一组连续事件之中的第一个事件与第二组连续事件之中的第二个事件;
其中,成本函数包括下列分量之中的至少一个分量:
-亮度分量,所述亮度分量至少取决于:
-来自于与卷积核相卷积的第一个传感器的像素的第一个亮度信号,所述像素的亮度取决于所述第一个信号的最大值之间的差值;以及,
-来自于通过所述卷积核卷积的第二个传感器的像素的第二个亮度信号,所述像素的亮度取决于所述第二个信号的最大值之间的差值;
-运动分量,所述运动分量至少取决于:
-与相距第一个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值;
-与相距第二个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值。
用于执行整个或部分上述方法并安装在业已存在的设备上的计算机程序本身是有优势的。
因此,本发明的目的还在于一种计算机程序,当通过处理器执行所述计算机程序时,所述计算机程序包括执行前述方法的指令。
该程序可采用任何编程语言(例如,目标语言或其它语言),其形式是可编译的源代码、局部编译代码或完全编译代码。
下文详细描述的图6可构成这种计算机程序的一般算法流程图。
附图说明
本发明的其它特征和优点可通过阅读以下说明再次呈现。该说明纯粹只是阐释性的说明,阅读时可参考附图,在附图中:
-图1是ATIS异步光传感器的概览视图;
-图2是显示由异步传感器产生的事件的图表,所述异步传感器面对着包括旋转星的场景;
-图3是计算两个单独传感器的两个点的亮度分量的实例;
-图4a和图4b显示了给定像素的活动信号的典型实例;
-图4c显示了利用单独异步传感器所产生的运动卡;
-图5a和图5b显示了在本发明的实施例中计算几何分量的实例;
-图6阐释了显示根据本发明的实施例的流程图;
-图7阐释了执行根据本发明的实施例的装置。
具体实施方式
图1阐释了ATIS的原理。
构成传感器的矩阵的像素101包括两个光敏元件102a、102b,比如分别连接着电子检测电路103a、103b的光电二极管。
当光电二极管102a所接收到的光强度从预定数量变化时,传感器102a和电路103a产生脉冲P0
标志着这种光强度变化的脉冲P0触发连接着其它光电二极管102b的电子电路103b。然后,一旦光电二极管102b接收到给定量的光强度(光子数),电路103b就产生第一个脉冲P1而后产生第二个脉冲P2
脉冲P1与脉冲P2之间的时间差δt与刚好出现脉冲P0之后像素101所接收到的光强度成反比。
来自ATIS的异步信息包括每个像素(104)的两个组合脉冲序列序列:第一个脉冲序列P0表示光强度在检测阈值以外变化的时刻,而第二个序列由脉冲P1和P2构成,其时间差δt表示相应的光强度或灰度级。
因此,来自于在ATIS矩阵中处于位置p的像素101的事件e(p,t)包括两种类型的信息:由脉冲P0的位置所给定的与时间相关的信息,给出事件的时刻t,以及由脉冲P1和P2之间的时间差δt所给定的灰度级信息。
然后,可以三维空间/时间的表示来放置像素的事件,如图2所示。在该图中,通过按照方框A中图表所示的恒定角速度旋转的星的移动,每个点p都可识别出在传感器的像素p的水平异步产生时刻t的事件e(p,t),其这些点的主要部分的分布接近于大体呈螺旋形式的表面。此外,该图显示了与螺旋面相间隔一定距离的一定数量的事件,用于测量不与星的实际运动相对应的事件。这些事件来自于噪声的采集。
然后,事件e(p,t)可以通过以下所有信息来确定:
式中:C表示传感器的空间区域,pol表示极性,代表亮度变化的方向(例如,1代表增加或者-1代表减少),以及I(p,t)表示在时刻t点p的光强度信号。
光强度信号因此可以是所有组合脉冲序列104,如图1所示。如果tu表示事件发生的时间,而且te+,u与te-,u之间的差值表示与所接收的光强度成反比的值,则可以I(p,t)=δ(t-tu)+δ(t-te+,u)+δ(t-te-,u)的方式利用三个狄拉克δ对强度进行编码。位于坐标p的像素强度信号因此使之能够暂时对亮度信息进行编码。该信息可直接来自传感器的电子电路,其转换量最少。
图3是计算两个独立传感器u和v的两个点p和q的亮度分量的实例。
为了确定两个传感器的两个点p和q是否与所观察的场景中的同一点相对应,假设包括所观察场景的表面是朗伯表面(换言之,无论观察角度如何,其亮度都相同的表面)。
因此,对于这些表面而言,在同一时刻,两个传感器的光强度必须是相同的,也就是Iu(p,t)=Iv(q,t)。
例如,就有可能计算这两个信号Iu(p,t)和Iv(q,t)之间的相关性。
为了能够简单地比较狄拉克组合光强度信号,可有利地通过非空支持核gσ(t)对这些信号进行卷积。然后,可以计算两个信号 之间相关性。
此外,不限制两个单点的比较并且还考虑到位置接近p和q的点(换言之,位置与p或q相间隔预定的距离,距离是数学意义上的术语)是有益的:所有接近p的点定义了setvu(p),所述有接近q的点定义了setvv(q)(N是这些集合的基数)。因此,亮度分量可表达如下:
当然,可以通过将ω定义为位于p或q附近的所有点的卷积函数的支持来减少整合终端:
最后,可以概括出利用两个以上传感器的公式。例如,对于Q个传感器{u,v,w,…},可以写作:
图4c显示了利用单独的异步传感器所产生的卡401和402。
为了产生这些卡,可以将函数S定义为和,对于给定像素p的每个事件以及对于给定极性pol而言,在给定时刻t,其语言原语为式中:h是预定值,θ是预定因数且与语言原语的减少速度相对应。
语言原语的“和”在数学上还可以视之为卷积:
‐其语言原语为(或者更普遍而言,是任何递减函数),
-其信号包括发生事件的每个时间tp的狄拉克。
作为例证,图4a显示了传感器的三个像素p1、p2和p3(对于给定极性值pol而言)的三个可能性活动信号t→S。
不存在事件的情况下,S(p1,t)、S(p2,t)或S(p3,t)的值为零。然而,在发生极性事件pol(例如,410)时,在像素p1,S(p1,t)的水平,取预定阈值(在此为h,其值h可以是单位值)。
然后,活动信号S(p1,t)的值逐渐减少,在该事件之后达到0。
对于像素p1的事件411、像素p2的事件412或者像素p3的事件413/414而言,都同样如此。
如果活动信号S的减少是线性的,则可以预料到任何类型的减少都会呈现出指数类型的减少:
通过图4b可以阐释这种指数类型的减少(见曲线4b和事件320)。
此外,对于所考虑的像素(例如,在此为p4)发生事件的时候,关于h的值(例如,事件421暂时接近于事件422),则函数S的值并不是可以忽略的。
在一个实施例中,在发生后来的事件422的时候,可将活动信号S的值设为刚好在事件422之前(即h0)S的当前值(可对其进行加权)与h之和。因此,曲线S的下降从图4b所示的值h+h0开始。此外,还可以预料到h+h0的值的上限为预定值h1(即,最小值(h1,h+h0))。
在另一个实施例中,在发生后来的事件422的时候,将曲线S的值设置为值h,且无论值h0(也就是,忽略最后的事件的前一个事件(即,后来的事件))是什么,亦是如此。在其它实施例中,还有可能将时间定义为如下定义的“最后事件的时间”:
T(p,pol,i)=max(tj)|j<i
或者
T(p,pol,t)=max(tj)|tj<t
式中:tj为针对具有极性pol像素p的像素发生事件的时间。
在概念上讲,p→T(p,pol,t)定义刚好在参考时间(即t)之前暂时发生的相同极性的最后的事件的时间卡。
因此,在其它实施例中可以定义为p→S(p,pol,t),如同该时间集合T(p,pol,t)的函数一样。
例如,p→S(p,pol,t):
式中:τ和h是预定的时间常数(S可以是任何递减函数,时间t在包括下部终端T(p,pol,t)的区间内)。
创建代表这些像素的事件的“新鲜度”的像素卡S是有益的,因为它使之能够连续简单地表示不连续的概念(即事件)。该创建的卡使之能够表示要转化为简单的理解区域的事件。
于是,其创建简化了事件的处理和比较。
该函数S表示针对该像素所发生的事件的“新鲜度”。
图4c所示的卡401和402表示关于给定时间t以及关于两个异步传感器的函数S,所述两个异步传感器可从两个不同视角来捕捉同一只手的运动。
最黑的点表示所述点的最后的事件相对于时间t而言是最近的(换言之,具有最大的S值)。
最清晰的点表示所述点的最后的事件相对于时间t而言是最远的(换言之,具有最小的S值,图像的背景变成灰色,以便使清晰值更容易突出,尽管背景与函数S的零值相对应)。
分散的变暗的点与传感器所捕捉的噪声相对应。
对于在日期t0所发生的每个事件,可以确定像素p的运动卡。因此,卡的各个像素p的值为S(p,t0)。
为了确定传感器的两个点p和q是否与所观察的场景中的同一个点相对应,假设处于各自点p和q的两个传感器的S值相似(在某些受限情况下,不一定如此),或者S(p)=S(q)或者至少S(p)≈S(q)。
这样的话,例如,就有可能计算这两个值S(q)和S(q)之间的相关性。
此外,不限制两个单点的比较是有益的,而是还考虑到位于p(403)和q(404)附近的点(即,其位置与p或q相间隔预定的距离,所述距离是数学意义上的距离):接近p的所有点定义了集合vu(p)(405),接近q的所有点定义了集合vv(q)(406)(N是这些集合的基数)。
就可以确定接近点p和q的两个卡405和406的关联性。此外,为了使传感器免受时间差的影响,可以各自分别减掉表示光流405和406的平均值(分别为
因此,对于给定时刻t而言,运动分量可表达如下:
式中:i是集合vu(p)中的点或集合vv(q)中的点的指数。
最后,可以概括出利用两个以上传感器的公式。例如,对于Q个传感器{u,v,w,…},就可以写为(利用与之前针对亮度分量所采用的相同的记法):
图5a和图5b显示了在本发明实施例中计算几何分量的实例。
在两个传感器501和502都面对着同一个场景的情况下(例如,场景包括点X(t),见图5a)且如果第一个传感器501的点代表点X(t)(即,点X(t)和Ru是对齐的),则可以界定传感器502上的极线直线luv
Ru是传感器501的突出中心,Rv是传感器502的突出中心。
该极线直线luv被定义为平面(X(t),Ru,Rv)与传感器502的交叉。
更普遍而言,最后的传感器501的点p界定第二个传感器502上的极线直线lv(p),第二个传感器502的点q界定第一个传感器501上的极线直线lu(q)。
因此,可以针对第一个传感器和第二个传感器的两个点p和q来定义几何分量:
如果摄像装置包括三个传感器(见图3b),每个传感器可定义两条极线直线,通过考虑在另外两个传感器上的点来定义这些直线。因此,这两条极线呈直线交叉,下文将其称为极性交叉点。因此:
-第一个传感器的点p和第二个传感器的点q界定第三个传感器上的极性交叉点iw(p,q);
-第一个传感器的点p和第三个传感器的点r界定第二个传感器上的极性交叉点iv(p,r);
-第二个传感器的点q和第三个传感器的点r界定第一个传感器上的极性交叉点iu(q,r)。
于是,可以针对第一个传感器、第二个传感器和第三个传感器的三个点p、q和r来定义几何分量:
式中:∈g表示最大可接受几何差的距离的预定值。
如果摄像装置包括三个以上传感器(例如,Q个传感器),则可以概括之前的公式,将传感器的极性交叉点视之为位置离极线直线的集合最近的点,所述极线直线通过其它传感器的当前点界定在该传感器上(例如,使距离的和最小化或者使极性直线的所述点的距离的平方最小化)。
还可以确定第一个传感器的事件e(p,tu)以及第二个传感器的事件e(q,tv)的时间分量:
式中:∈t为时间维度的数量且表示这两个事件之间的最大可接受时间差。
如果摄像装置包括三个以上传感器(例如,Q个传感器),则可以把之前的公式概括为:
图6阐释了呈现根据本发明实施例的流程图。
一旦接收到来自两个单独异步传感器的两组异步事件601和602,并且与同一个场景比较之后,可以从这些传感器中选择两个事件(步骤603,通过第一个传感器的像素pi和时间t1i以及第二个传感器的像素qj和时间t2j所定义的)。
一旦选中这些事件,便可以确定以下分量之中的至少一个分量,如前文所述:
-几何分量(步骤604);
-时间分量(步骤605);
-运动分量(步骤606);
-亮度分量(步骤607)。
关于第一个传感器的事件e1(pi,t1i)集合,可以(例如,通过使指数j变化)对很多事件e2(qj,t2j)进行迭代(测试608,输出j+1):迭代可以概括出第二个传感器的所有事件或者有利地仅概括出这些事件的子集(例如,仅为位置与极线直线或者至少由pi定义的极线直线相交处相间隔所预定几何距离的事件和/或仅为位于时间t1i的预定时间距离的事件)。
一结束迭代(测试608,输出OK),便可以确定使事件e1(pi,t1i)集合的成本函数E最小的事件e2(qj,t2j)(步骤609)。成本函数可以是,例如之前计算的分量的简单和(E=ET+EM+EG+EI)或者加权和(E=ωTETMEMGEGIEI)(也可以是涉及到这些分量的任何其它函数)。
通过实验观察到,将亮度分量和/或运动分量考虑在内的成本函数应该使之能够明显提高三维重建的精确度。
一旦实施了最小化,则可以连接点pi和qj(步骤610),并因此可以计算所观察的场景的点X(t)在空间中的距离或位置,表示连接的点pi和qj(步骤611)。
然后,返回(612)所计算的距离(或者空间中点X(t)的位置)。
图7阐释了执行根据本发明实施例的装置。
在该实施例中,装置包括计算机700,所述计算机包括存储器705,用于储存能够执行所述方法的指令、来自所接收的测量值的数据以及时间数据,以便执行如前文所述的方法的不同步骤。
计算机还额外包括电路704。该电路可以是,例如:
-能够解释计算机程序形式的指令的处理器,或者,
-电子卡,在所述电子卡的硅片中描述本发明的方法的步骤,或者还可以是
-可编程电子芯片,比如FPGA(“现场可编程门阵列”)芯片。
该计算机包括输入接口703,用于接收来自传感器的事件,以及输出接口706,以便提供距离707。最后,为了便于与使用者交互作用,计算机可以包括屏幕701和键盘702。当然,键盘是可选的,例如,尤其是作为平板电脑形式的计算机的一部分。
此外,图6所示的功能图是程序的典型实例,可以针对所述装置所编制的程序的某些指令。就此而言,图6可相当于就本发明的意义而言的计算机程序的一般算法的流程图。
当然,本发明不仅仅只限于上文作为实例所述的实施例的形式;本发明可以拓展其它变体。
可以有其它实施例。
例如,图6所示的流程图还可以包括关于事件e1(pi,t1i)的迭代,以便将第一个传感器的多个事件与第二个传感器的事件相连接。

Claims (10)

1.场景三维(3D)重建的方法,该方法包括:
-接收(601)来自第一个传感器(501)的第一条异步信息,所述第一个传感器(501)具有面对场景的第一个像素矩阵,对于第一个矩阵的每个像素(p)而言,第一条异步信息包括来自所述像素的第一组连续事件;
-接收(602)来自第二个传感器(502)的第二条异步信息,所述第二个传感器(502)具有面对场景的第二个像素矩阵,对于第二个矩阵的每个像素(q)而言,第二条异步信息包括来自所述像素的第二组连续事件,第二个传感器是与第一个传感器分离的;
-根据成本函数(E)的最小化(609),匹配(610)第一组连续事件之中的第一个事件与第二组连续事件之中的第二个事件;
其中,成本函数包括下列分量之中的至少一个分量:
-亮度分量(EI),所述亮度分量至少取决于:
-来自通过卷积核(gσ(t))卷积的第一个传感器的像素的第一亮度信号(Iu),所述像素的亮度取决于所述第一个信号最大值(te-,u,te+,u)之间的差值;以及,
-来自通过所述卷积核卷积的第二个卷积传感器的像素的第二亮度信号(Iv),所述像素的亮度取决于所述第二个信号最大值(te-,v,te+,v)之间的差值;
-运动分量(EM),所述运动分量至少取决于:
-与相距第一个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值;
-与相距第二个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值。
2.根据权利要求1所述的方法,其特征在于,所述成本函数(E)还额外包括:
-时间分量(ET),所述时间分量取决于以下两者之差:
-关于第一个传感器的事件的时间值;
-关于第二个传感器的事件的时间值。
3.根据前述权利要求任一项所述的方法,其特征在于,所述成本函数(E)还额外包括:
-几何分量(EG),所述几何分量取决于:
-相距极线直线处或者由第一个传感器的至少一个像素所界定的极线直线交叉处的第二个传感器的像素的空间距离。
4.根据前述权利要求任一项所述的方法,其特征在于,所述第一个传感器的像素和第二个传感器的像素的亮度信号(Iu,Iv)包括最大值,给亮度变化的发生时间编码,卷积核是预定的高斯方差。
5.根据前述权利要求任一项所述的方法,其特征在于,所述亮度分量(EI)还额外取决于:
-第一个传感器的像素的亮度信号,其空间位置与第一个传感器的第一个像素相间隔预定的距离,与卷积核相卷积;以及,
-第二个传感器的像素的亮度信号,其空间位置与第二个传感器的第二个像素相间隔预定的距离,与卷积核相卷积。
6.根据前述权利要求任一项所述的方法,其特征在于,所述运动分量(EM)取决于:
-与第一个传感器的像素事件发生相关的时间值的平均值所述事件的空间位置与第一个传感器的像素相间隔预定距离;
-与第二个传感器的像素事件发生相关的时间值的平均值所述事件的空间位置与第二个传感器的像素相间隔预定距离。
7.根据前述权利要求任一项所述的方法,其特征在于,所述运动分量(EM)取决于,对于给定时间而言:
-对于与空间位置与第一个传感器的像素相间隔预定距离的事件的发生相关的每个当前时间值而言,其取决于函数值,所述函数值从所述给定时间的距离减少至所述当前时间值;
-对于与空间位置与第二个传感器的像素相间隔预定距离的事件的发生相关的每个当前时间值而言,其取决于函数值,所述函数值从所述给定时间的距离减少至所述当前时间值。
8.根据权利要求1至6中任一项所述的方法,其特征在于,所述运动分量(EM)取决于:
-递减函数与信号的第一个卷积,其信号包括与空间位置与第一个传感器的像素相间隔预定距离的事件的发生相关的每个时间值的狄拉克(Dirac);
-递减函数与信号的第二个卷积,其信号包括与空间位置与第二个传感器的像素相间隔预定距离的事件的发生相关的每个时间值的狄拉克(Dirac)。
9.场景三维(3D)重建装置,该装置包括:
-接口(703),用于接收(601)来自第一个传感器(501)的第一条异步信息,所述第一个传感器具有面对场景的第一个像素矩阵,对于第一个矩阵的每个像素(p)而言,第一条异步信息包括来自所述像素的第一组连续事件;
-接口(703),用于接收(602)来自第二个传感器(502)的第二条异步信息,所述第二个传感器具有面对场景的第二个像素矩阵,对于第二个矩阵的每个像素(q)而言,第二条异步信息包括来自所述像素的第二组连续事件,第二个传感器是与第一个传感器分离的;
-处理器(704),适合根据成本函数(E)的最小化(609),将第一组连续事件之中的第一个事件与第二组连续事件之中的第二个事件相匹配(610);
其中,所述成本函数包括下列分量之中的至少一个分量:
-亮度分量(EI),所述亮度分量至少取决于:
-来自于通过卷积核(gσ(t))卷积的第一个传感器的像素的第一个亮度信号(Iu),所述像素的亮度取决于所述第一个信号的最大值(te-,u,te+,u)之间的差值;以及,
-来自于通过所述卷积核卷积的第二个传感器的像素的第二个亮度信号(Iv),所述像素的亮度取决于所述第二个信号的最大值(te-,v,te+,v)之间的差值;
-运动分量(EM),所述运动分量至少取决于:
-与相距第一个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值;
-与相距第二个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值。
10.计算机程序产品,通过处理器执行所述计算机程序时,所述计算机程序产品包括执行根据权利要求1至8中任一项所述的方法的指令。
CN201680016173.XA 2015-03-16 2016-03-15 一种场景三维重建的方法、装置及计算机可读介质 Active CN107750372B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1552154 2015-03-16
FR1552154A FR3033973A1 (fr) 2015-03-16 2015-03-16 Procede de reconstruction 3d d'une scene
PCT/FR2016/050575 WO2016146938A1 (fr) 2015-03-16 2016-03-15 Procede de reconstruction 3d d'une scene

Publications (2)

Publication Number Publication Date
CN107750372A true CN107750372A (zh) 2018-03-02
CN107750372B CN107750372B (zh) 2021-12-10

Family

ID=53879566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016173.XA Active CN107750372B (zh) 2015-03-16 2016-03-15 一种场景三维重建的方法、装置及计算机可读介质

Country Status (7)

Country Link
US (1) US11335019B2 (zh)
EP (1) EP3272119B1 (zh)
JP (1) JP6839091B2 (zh)
KR (1) KR102432644B1 (zh)
CN (1) CN107750372B (zh)
FR (1) FR3033973A1 (zh)
WO (1) WO2016146938A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764078B (zh) * 2018-05-15 2019-08-02 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
CN108765487B (zh) 2018-06-04 2022-07-22 百度在线网络技术(北京)有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
EP3690736A1 (en) 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
EP3694202A1 (en) * 2019-02-11 2020-08-12 Prophesee Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
CN111369482B (zh) * 2020-03-03 2023-06-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2022050279A1 (ja) 2020-09-07 2022-03-10 ファナック株式会社 三次元計測装置
US20230345142A1 (en) 2020-11-25 2023-10-26 Fanuc Corporation Three-dimensional-measurement device and three-dimensional-measurement method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533234A (zh) * 2012-07-05 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法
CN104205169A (zh) * 2011-12-21 2014-12-10 皮埃尔和玛利居里大学(巴黎第六大学) 基于异步光传感器估计光流的方法
CN104205822A (zh) * 2011-12-08 2014-12-10 皮埃尔和玛利居里大学(巴黎第六大学) 采用异步传感器的场景三维重建方法
CN104346427A (zh) * 2013-07-29 2015-02-11 三星电子株式会社 用于分析包括事件信息的图像的设备和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731350B1 (ko) * 2005-07-26 2007-06-21 삼성전자주식회사 공간적 균일성 보상 장치 및 그 방법
US8290250B2 (en) * 2008-12-26 2012-10-16 Five Apes, Inc. Method and apparatus for creating a pattern recognizer
US8797387B2 (en) * 2011-04-27 2014-08-05 Aptina Imaging Corporation Self calibrating stereo camera
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
KR20140095793A (ko) * 2013-01-25 2014-08-04 삼성디스플레이 주식회사 패널 얼룩 평가 방법 및 시스템
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
KR101861515B1 (ko) * 2016-04-21 2018-05-25 송경희 급수 가압용 부스터 펌프 시스템에서 설정 양정에 대한 회전수별 유량 계산 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205822A (zh) * 2011-12-08 2014-12-10 皮埃尔和玛利居里大学(巴黎第六大学) 采用异步传感器的场景三维重建方法
CN104205169A (zh) * 2011-12-21 2014-12-10 皮埃尔和玛利居里大学(巴黎第六大学) 基于异步光传感器估计光流的方法
CN103533234A (zh) * 2012-07-05 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法
CN104346427A (zh) * 2013-07-29 2015-02-11 三星电子株式会社 用于分析包括事件信息的图像的设备和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JURGEN KOGLER,ET AL.: "Event-Based Stereo Matching Approaches for Frameless Address Event Stereo Data", 《SPRINGER》 *
PAUL ROGISTER,ET AL.: "Asynchronous Event-Based Binocular Stereo Matching", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *

Also Published As

Publication number Publication date
EP3272119A1 (fr) 2018-01-24
FR3033973A1 (fr) 2016-09-23
WO2016146938A1 (fr) 2016-09-22
US11335019B2 (en) 2022-05-17
US20180063506A1 (en) 2018-03-01
EP3272119B1 (fr) 2021-11-10
CN107750372B (zh) 2021-12-10
JP2018516395A (ja) 2018-06-21
KR102432644B1 (ko) 2022-08-16
KR20180020952A (ko) 2018-02-28
JP6839091B2 (ja) 2021-03-03

Similar Documents

Publication Publication Date Title
CN107750372A (zh) 场景三维(3d)重建的方法
US12062249B2 (en) System and method for generating image landmarks
US11163991B2 (en) Method and apparatus for detecting body
US20190392587A1 (en) System for predicting articulated object feature location
CN109448090B (zh) 图像处理方法、装置、电子设备及存储介质
US20210035325A1 (en) Pose estimation method, pose estimation apparatus, and training method for pose estimation
Camuñas-Mesa et al. Event-driven stereo visual tracking algorithm to solve object occlusion
US20220051004A1 (en) Image processing method, apparatus, device and storage medium
CN108171244A (zh) 对象识别方法和系统
CN111783620A (zh) 表情识别方法、装置、设备及存储介质
US9628777B2 (en) Method of 3D reconstruction of a scene calling upon asynchronous sensors
Ieng et al. Neuromorphic event-based generalized time-based stereovision
CN107873097A (zh) 适用于处理异步信号的方法
US8483431B2 (en) System and method for estimating the centers of moving objects in a video sequence
CN111695681A (zh) 一种高分辨率动态视觉观测方法及装置
CN113592932A (zh) 深度补全网络的训练方法、装置、电子设备及存储介质
Sielhorst et al. Measurement of absolute latency for video see through augmented reality
Pourazad et al. A non-intrusive deep learning based fall detection scheme using video cameras
CN113313048B (zh) 脸部表情识别方法和装置
US20040001074A1 (en) Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
CN113837130A (zh) 一种人体手部骨架检测方法及系统
CN204131656U (zh) 应用于增强现实系统的辅助图像处理装置
CN111027387A (zh) 人数评估及评估模型获取方法、装置及存储介质
CN115205750B (zh) 基于深度学习模型的运动实时计数方法和系统
CN112541436B (zh) 专注度分析方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant